JP2017526079A - 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証 - Google Patents

眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証 Download PDF

Info

Publication number
JP2017526079A
JP2017526079A JP2017511569A JP2017511569A JP2017526079A JP 2017526079 A JP2017526079 A JP 2017526079A JP 2017511569 A JP2017511569 A JP 2017511569A JP 2017511569 A JP2017511569 A JP 2017511569A JP 2017526079 A JP2017526079 A JP 2017526079A
Authority
JP
Japan
Prior art keywords
user
headgear
iris
images
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017511569A
Other languages
English (en)
Other versions
JP6550460B2 (ja
Inventor
パブリカバー,ネルソン・ジョージ
マルクグラーフ,ルイス・ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2017526079A publication Critical patent/JP2017526079A/ja
Application granted granted Critical
Publication of JP6550460B2 publication Critical patent/JP6550460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • H04W12/065Continuous authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Graphics (AREA)
  • Bioethics (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

リアルタイムで眼信号を用いて個人の実質的に連続的なバイオメトリック認証(CBID)を行なうための装置、システムおよび方法が提供される。装置はウェアラブルコンピューティングデバイス内に含まれる。デバイス着用者の識別は、一方の眼または両方の眼に方向付けられた1つ以上のカメラ内の虹彩認識に基づいて、ならびに/または、他の生理学的、解剖学的および/もしくは行動学的な基準に基づいて、なされる。デバイスユーザアイデンティティの検証を用いて、セキュアな情報の表示を可能にするかまたは不可能にすることができる。アイデンティティ検証はまた、リモート処理ユニットによる適切なセキュリティ手段を決定するためにデバイスから送信される情報内に含めることができる。装置は、視力矯正、頭部装着型ディスプレイ、シーンカメラを用いた周囲環境の観察、マイクロホンを介する音声データの記録、および/または、他の検知機器を含む他の機能を実行するウェアラブルコンピューティング内に組込まれてもよい。

Description

発明の技術分野
本発明は、概して、リアルタイムでの個人による、実質的に連続的なバイオメトリック認証(continuous biometric identification:「CBID」)、視線追跡および眼信号(eye-signal)制御のためのシステムおよび方法に関する。CBIDは、バイオメトリックベースの識別、暗号化およびサイバーセキュリティの分野における技術を利用するものであって、頭部装着型ディスプレイ、リモートディスプレイ、視線追跡カメラ、デバイス着用者の環境を観察するシーンカメラ、および/または他のウェアラブルセンサに関連付けることができる目立たないプロセッサ内に実装される。CBIDはセキュリティ問題に対処し得るが、このセキュリティ問題に関連する企てとしては、デバイスユーザのアイデンティティを故意に誤り伝えようとすること、および/または、個人情報の盗難が挙げられる。これらは、虹彩コード判定、他のバイオメトリック特徴の識別、SoS(system of systems)アーキテクチャ内のネットワークデバイスとのセキュアインターフェイスといった工程を用いて行なわれる可能性がある。
背景
インターネットおよびコンピューティング/通信デバイスが広く用いられることにより、情報の電子的普及が爆発的に成長してきた。しかしながら、セキュアな情報の受信者に対して検証可能な制御を行なうことは、依然として、サイバーセキュリティの分野においては重要な問題点となっている。さらに、情報の受信者は機密情報のソースになる可能性もあり、この場合、このようなソースのアイデンティティをリアルタイムで知ることが、重要なセキュリティ問題になる可能性もある。
この状況の一例として、オンライン購入するプロセス中に個人が入力するクレジットカード(または他のアカウント)情報のアイデンティティを知る状況が挙げられる。セキュアな情報の受信者またはソースを遠隔で識別するために一般に用いられている現在の技術は、詐欺による被害を受けやすい。米国においては、個人情報盗難が毎年、約1500万の個人に影響を及ぼすとともに推定で500億ドルもの経済的影響を及ぼしている。
インターネットから情報を受信するコンピュータまたは電気通信デバイスは、一般に、いわゆるIP(すなわちインターネット・プロトコル(internet protocol))アドレスによって、および/または典型的には中央処理装置(central processing unit:CPU)もしくはファームウェア内に埋込まれた識別コードによって識別される。情報を受信または送信する装置を識別するためにIPアドレスおよび/または埋込み型デバイス識別を用いることができるが、IPアドレスではデバイスのユーザは検証可能には識別されない。
デバイスを個々のユーザと関連付けるよう試みるスキームは、一般に、パスワード、セキュリティに関する質問、および/または(「トラッカー」もしくは「クッキー」などの用語で称される)履歴記録を用いている。しかしながら、これらのスキームは、ユーザがたとえば「ログイン」してしまうと、容易に出し抜くことができる。これは、デバイスが紛失もしくは盗難された場合、またはデバイスへのアクセスが情報の指定受信者以外の他の誰かによって入手された場合、特に重大な問題になる可能性がある。さらに、特定のマシンのIPおよび/またはハードウェア埋込みアドレスの真のアイデンティティおよび/または位置をマスクするかまたは隠すためのスキームが存在している。
ユーザのアイデンティティを検証しようと試みる最も一般的なサイバーセキュリティ方法では、パスワードおよび/またはセキュリティ関連の質問が用いられる。パスワードが入力されると、および/またはセキュリティ関連の質問に対して回答がなされると、ユーザを切換えることができ、セキュリティスキームの役割を無効にすることができる。さらに、パスワードおよび/またはセキュリティ関連の質問に対する回答を不正に得るために多くの方法が用いられている。これらはパスワード入力中にキーストロークを傍受すること;名前の姓、位置、ペットまたは単純な英数字配列などのファクタに基づいてパスワードを「推測する」こと;インターネット全体にわたって送信される際にパケットに埋込まれた情報を解読すること(公衆回線の場合、無線送信は特に脆弱なアクセスポイントとなる);共通に用いられている一連のパスワードにより自動的に配列決定すること;埋め込まれたマルウェアを介してパスワードを取得すること;パスワード入力を必要とする正当なウェブサイトを装うこと;および、いわゆる「フィッシング」の他の形式;を含む。
ユーザ識別のためのバイオメトリック方式は、一意的に個人を識別するためのマシンベースの方法として、ますます普及してきている。バイオメトリック認証は、個々人に固有の物理的属性、遺伝的属性、生理学的属性および/または行動上の属性の検知を必要とする。実質的に連続的にリアルタイムでバイオメトリック認証を行なう場合、迅速で、非侵入的かつ非侵襲的な技術が要求される。
バイオメトリック認証技術の一例として、米国特許第8,432,252号は、個人を識別するために指を光学的にスキャンして、指紋の認識に基づいて安全な通信を可能にするかまたは中断させるデバイスを開示している。指のスキャンに基づいた識別技術を利用するいくつかの特許が米国特許第8,432,252号の譲受人に対して発行された。自動的な顔認識、音声認識および署名認識は他のバイオメトリック認証方法についての基礎となる。しかしながら、これらの技術は、一般に、実質的に連続的なユーザの識別を目立たない態様で行なうことができず、セキュリティ特徴を無効にしてしまう比較的単純な方法から被害を被り易い。
たとえば、大抵の場合、このようなバイオメトリックデバイスは、スキャン時に個人を確実に識別することができる。しかしながら、次に、別の個人がセキュアな情報を受信すること、またはそのソースとなることも可能にしてしまう。スキャン時であっても、セキュアな情報を表示および/または入力するのに用いられるデバイスは、一般に、ユーザ識別用のデバイスに直接連結されていない。たとえば、別個の個人がキーボード入力を行なっている間、自動顔認識を実行することができる。バイオメトリック機能により識別された個人にとって、彼または彼女のアイデンティティを故意に隠すかまたは転送することに潜在的利点がある場合、ユーザの真のアイデンティティを無効にするためのこれらの比較的単純な方法が特に問題となる。
情報の受信者が真のアイデンティティを故意に偽ることを所望する可能性のある場合の一例として、オンラインでの学力試験の遠隔管理が挙げられる。この場合、別個の個人が実際の試験問題に取り組んでいる間、試験成績の最終的な受信者がセキュリティのあらゆる課題に対処することが可能となる。高度なアイデンティティスワッピング方式が、GRE(Graduate Record Examination:大学院入学資格試験)、GMAT(Graduate Management Admissions Test:卒業判定入学試験)、LSAT(Law School Admissions Test:法学大学院進学適性試験)、MCAT(Medical College Admissions Test:医学大学院進学適性テスト)、および他の専門昇進試験を管理する際に日常的に報告されている。教育および他の情報ベースのサービスプロバイダが大規模公開オンラインコース(massive open online course:MOOC)、通信教育および査定フォーマットを使用することがますます増えてくるのに伴い、学力試験または他の形式の試験の遠隔管理に伴うセキュリティ問題がますます重要になってくることが予想される。
虹彩認識は、現在、最も安全なバイオメトリック認証技術のうちの1つであると見なされている。虹彩は、後成的表現型特徴である微細構造を示しており、胚形成中に成分がランダムに発達してできたものである。このため、DNA指紋法とは異なり、(母集団の約1%に含まれる)遺伝的一卵性双生児同士であってもそれぞれが完全に固有の虹彩色素および構造を有している。虹彩の後成的性質をさらに証明するものとして、個人の(遺伝学的に同一である)左眼および右眼は同様の構造および色を有しているが、個人の左眼および右眼の構造上の詳細はそれぞれ極めて特異的であるという事実が挙げられる。
たとえ、虹彩を非侵襲的に観察することができたとしても、虹彩は、指紋とは異なり、損傷および摩耗から全体的に保護されている十分に保護された器官(すなわち眼)の内部にある。眼内の微細構造および色素を変更することができるほんの数種の医学的処置が存在しているが、虹彩組織は、一般に、(たとえば、顔の特徴とは異なり)数十年の期間にわたって著しく安定したままとなる。
ジョン・ダーグマン(John Daugman)が、ケンブリッジ大学(University of Cambridge)に在籍中、初めに虹彩認識アルゴリズムを開発した。今日使用されている内で商業上最も発展した虹彩認識システムは(たとえば、米国特許第5,291,560号に開示されている)Daugmanのアルゴリズムである。市販で入手可能な虹彩認識システム(たとえば、Iris ID Systems Inc., BI2 Technologies, IrisGuard Inc., Eyelock Corp.)は、一般に、携帯型デバイスまたは架台据付けデバイスを用いており、虹彩とカメラとの間の10センチメートルから数メートルまでの距離で動作する。
ダーグマンは、リアルタイム映像条件を用いて収集された虹彩画像に基づいて二次元ガボールウェーブレット(Gabor wavelet)(すなわち、短サンプリングフーリエ変換の特殊なケース)係数を開発して適用した。デカルト座標ベースの画像を極座標に変換して2Dガボール・フィルタを小さな領域に適用することによって、主として位相角を反映する複雑なドット積を計算することができる。全体的な光振幅(すなわち画像輝度、コントラストなど)に対する感度が欠如していることで、映像録画条件におけるばらつきを考慮に入れることが容易になる。
さまざまな領域から得られるドット積のうち最上位ビットは、いわゆる虹彩のコード(またはこの明細書中において以下「irisCode」と称する)にアセンブルされる。オリジナルの最も一般的に実現されているirisCodeは、何百万もの固有の個人を識別することができる2048ビット(すなわち256バイト)値を生成するために各々の領域から2ビットを利用している。irisCodesを計算するためのアルゴリズムは、CPUベースのデバイス内のソフトウェアおよびハードウェア埋込み型ファームウェアの両方として符号化されている。
現在では、光彩パターンに基づいた識別のために、170ヶ国における6000万人を超える個人が登録されている。インド政府は、現在、10億人を超えるその全人口の個人の虹彩スキャンおよび指紋を記録している。これらの技術を利用する会社および政府機関には、IBM、パナソニック、LG、サーノフ、ロンドン・ヒースロー空港(さらには、バーミンガム、ガトウィックおよびマンチェスター)、IrisAccess(韓国)、IrisPass(日本)、CanPass(カナダのネクサス・システム)、アフガニスタン帰還プログラム、および米国国防総省捕虜集団管理プログラムが含まれる。
虹彩は、瞳孔の直径を制御する2つの対向する筋肉(括約筋乳頭突起および拡張筋乳頭突起)が収縮した場合にのみ変化する、輪郭が明確な幾何学的形状を有する。この均一性および安定性により、典型的な画質を有し、頭部の傾斜および動きへの対応を含めて、109.6分の1(すなわち、約40億分の1)ほどの(ストリンジェンシー選択に応じた)低い、先例がないほどの誤合致率がもたらされた。
概要
明細書および添付の特許請求の範囲の全体を読むことによって本発明を最適に理解することができるが、この概要は、この明細書中のシステムおよび方法における新しく有用な特徴のうちのいくつかを読者に熟知させるために提供されている。当然、この概要は、この明細書中におけるシステムおよび方法の特徴のすべてを完全に記載するように意図されたものではなく、本願の詳細な説明の終わりに提示されている特許請求の範囲を限定するように意図されたものでもない。
一実施形態に従うと、頭部装着型デバイスのための装置、システムおよび方法が提供される。頭部装着型デバイスは、少なくとも1つのイメージャに接続された少なくとも1つのプロセッサを含む、イメージャのうちの1つは、ユーザの眼の方に向けられ、プロセッサは、実質的に連続的、同時、および/または、定期的のうち少なくとも1つの態様で、視線予測を判断するように構成されているか、または、イメージャが眼の1つ以上の特異な特徴を検出する。プロセッサはさらに、ユーザの顔特徴、声または虹彩データを含むユーザのバイオメトリックデータを判断する。この場合、バイオメトリックデータは、少なくとも頭部装着型デバイス、接続されたデバイス、ワイヤレスデバイスおよびリモートサーバのアクセスおよび制御を目的としたユーザの識別および認証のために用いられる。
別の実施形態に従うと、デバイスユーザの実質的に連続的なバイオメトリック認証(continuous biometric identification:CBID)のための装置、システムおよび方法が提供される。装置は、実質的に目立たないようにヘッドウェアに取付けることができ、一般の眼鏡フレーム内に埋込み可能であるかもしくは一般の眼鏡フレームに取付け可能であるか、またはたとえばグーグル・グラス(Google Glass)(登録商標)(Google Inc.)として公知のデバイスなどいわゆるウェアラブルコンピューティングデバイス内に埋込み可能である。より具体的には、例示的な実施形態は、デバイス着用者の一方の虹彩または両方の虹彩を照らすことができる1つ以上の照明源と;光通過メカニズムを通って、または反射系を介して、デバイス着用者の一方の眼または両方の眼を直接観察するように向けられた1つ以上のマイクロカメラと;1)デバイス着用者のアイデンティティを決定するために眼の画像を分析し得る、および/または、2)デバイス着用者のアイデンティティを決定する別の処理ユニットに眼の画像を送信し得る処理ユニットと;を含み得る。
この開示においては、コンピューティングデバイスと対話するように意図された随意の眼の動きが「眼信号」と称されている。
加えて、バイオメトリック認証情報(たとえばirisCodes)およびCBIDに関連付けられるすべての情報はともに、確実に送信されなければならず、この場合、通信ステップは、ヘッドセットデバイスとの無線通信を含み得る。CBIDベースの通信は、セキュアモバイル通信で眼信号を用いるためのシステムおよび方法(Systems and Methods for Using Eye Signals with Secure Mobile Communications)(2015年5月9日に提出された出願連続番号第14/708,229号)において記載された態様で安全に実行される。
第1の実施形態に従うと、実質的に連続的に、定期的に、および/またはオンデマンドで、ウェアラブルデバイスを利用して虹彩認識を実行し得る装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを着用しているユーザの真のアイデンティティを確立し得る装置、システムおよび方法が提供される。
別の実施形態に従うと、行動上のバイオメトリックによってユーザの真のアイデンティティを確立し得る装置、システムおよび方法が提供される。
別の実施形態に従うと、トークンを必要とすることのない、セキュリティのための、ユーザが使いやすい、単純および/または直観的な方法およびシステムを提供する装置、システムおよび方法が提供される。この場合、トークンは、パスワードおよび物理デバイスのうち少なくとも1つを含み、物理デバイスは、クレジットカード、キーフォブまたは他の物理的トークンを含む。
別の実施形態に従うと、デバイス着用者のバイオメトリック認証が検証された場合にのみ眼信号を機能させることを可能にする装置、システムおよび方法が提供される。
別の実施形態に従うと、ユーザアイデンティティの不正行為および個人情報盗難を防止し得る装置、システムおよび方法が提供される。
別の実施形態に従うと、1人のユーザ、複数ユーザ、およびウェアラブルデバイスの全ユーザによる無限のアクセスのうち少なくとも1つのための複数レベルのデバイスセキュリティを確立するフィルタを用いる装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを用いて、教育目的、法律上の目的、ライセンス目的およびサービスデリバリ目的のうち少なくとも1つのためにユーザを認証するための装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを用いて、安全な空間、制限区域、自動車、飛行機および海洋船舶のうち少なくとも1つへのアクセスを許可するようにユーザを認証するための装置、システムおよび方法が提供される。
別の実施形態に従うと、デバイス着用者によって視認および知覚された現実のオブジェクトおよび仮想オブジェクトの両方の画像が、パーソナル増強メモリ(personal augmented memory:PAM)の形式として将来参照できるように記憶され得るかまたはタグ付され得る装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを用いて、ドキュメントまたはデータのソースを検証可能に注釈付けするための装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを用いて、ドキュメントまたはデータが識別された個人によって検査または処理されたことを検証可能に注釈付けするための装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを用いて、現実のオブジェクトまたは仮想オブジェクトが識別された個人によって検査または処理されたことを検証可能に注釈付けするための装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを用いて、書込み、署名または他の手書情報が、識別された個人によって生成されたか、変更されたかまたは再検討されたことを検証可能に注釈付けするための装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを用いて、識別された個人が聴覚情報を話したかまたは聞いたことを検証可能に注釈付けするための装置、システムおよび方法が提供される。
別の実施形態に従うと、頭部装着型デバイスを用いて、識別された個人が頭部装着型デバイスによって識別可能なオブジェクトおよびいくつかの物理的アクションを見ることを含むアクティビティを実行したことを、検証可能に注釈付けするための装置、システムおよび方法が提供される。
別の実施形態に従うと、投獄されたか、仮釈放されたか、執行猶予にされたか、もしくは禁止命令が下された識別された個人、または、法廷によって科された行状に従っている識別された個人の活動、挙動、能力またはバイオメトリックスを検証可能に監視するか、制限するか、制御するかまたは影響を与える目的で頭部装着型デバイスを用いる装置、システムおよび方法が提供される。
別の実施形態に従うと、或る一時点における、または或る期間にわたるアルコール、薬品または他の物質の影響を受けた疑いのある個人の酩酊時の能力または状態を検証可能に評価する目的で頭部装着型デバイスを用いる装置、システムおよび方法が提供される。
別の実施形態に従うと、薬品または他の処方薬のテスト、処置または研究のために管理下での医療活動に従事した識別された個人のバイオメトリック反応または他のメトリクスを検証可能に注釈付けするために頭部装着型デバイスを用いる装置、システムおよび方法が提供される。
別の実施形態に従うと、購入を認証する目的で頭部装着型デバイスを用いる装置、システムおよび方法が提供される。この場合、認証された購入は、オンライン購入セキュリティおよびオフライン購入セキュリティのためのものであり、オフラインとは、オブジェクトの購入が所望される小売店または如何なる場所をも含む。
別の実施形態に従うと、識別された個人がデータを視認することを許可するが、それ以外の個人がデータを視認することは許可しないようにするために頭部装着型デバイスを用いる装置、システムおよび方法が提供される。
別の実施形態に従うと、外方向に向けられたプロセッサに接続された第2のイメージャを含む頭部装着型デバイスを用いる装置、システムおよび方法が提供される。この場合、第2のイメージャがプロセッサによって復号され得るコードを検出し、コードはバーコードおよびQRコード(登録商標)のうちの1つであり、プロセッサが復号したデータはプロダクトについての情報を表わしている。
別の実施形態に従うと、外方向に向けられたプロセッサに接続された第2のイメージャを含む頭部装着型デバイスを用いる装置、システムおよび方法が提供される。この場合、第2のイメージャは、画像認識を用いてプロセッサによって識別可能なオブジェクトを検出し、プロセッサはプロダクトについての情報を表わしている。
別の実施形態に従うと、認証されたユーザがプロダクトを安全に購入することを可能にするためにプロダクトに関する情報を用いる装置、システムおよび方法が提供される。
別の実施形態に従って提供される装置、システムおよび方法においては、識別されたデバイス着用者によって実際に視認されているモニタの領域における情報が、(リアルタイムで)高空間分解能で表示可能であり、および/または、高い時間的頻度で更新可能である一方で、周囲領域(すなわち、デバイス着用者によって視認されていない領域)がより低い空間分解能で表示されているおよび/またはより低い頻度で更新されている。
別の実施形態に従って提供される装置、システムおよび方法においては、識別されたデバイス着用者によって実際に(リアルタイムで)視認されているモニタの領域における情報が、より低い空間分解能で表示されているおよび/またはより低い時間的頻度で更新されている周囲領域(すなわち、デバイス着用者によって視認されていない領域)よりも高い空間分解能で表示される場合、および/または、より高い頻度で更新されている場合、より低い空間分解能区域内における指定された領域または指定されたオブジェクトが、より低い空間分解能区域よりもより高い空間分解能で表示されてもよく、および/または、高い頻度で更新される。たとえば、眼などの顔の特徴は、高分解能の中心窩レンダリング中に中心窩区域の外側でレンダリングされる場合、より高い分解能で表示される可能性がある。
別の実施形態に従うと、エンティティと別のエンティティとが互いを見ることによって当該エンティティが別のエンティティと安全な通信チャネルを開始することを可能にする装置、システムおよび方法が提供される。この場合、通信チャネルのセキュリティは、通信よりも前に確立されてもよく、通信中に連続的にまたは間隔を空けて再度有効にされてもよい。
別の実施形態に従うと、或るアクションをパーティ間で協調して実行させるためのセキュアプロトコルを可能にして、各々のパーティが何らかのアクションを実行し、その間それらパーティのアイデンティティをCBIDで連続的に検証させるための装置、システムおよび方法が提供される。
別の実施形態に従うと、互いに目が合ったことに基づいて、選択された情報を交換するように、1人以上の識別された個人による要望について個人に警告するシステムおよび方法が提供される。
別の実施形態に従うと、シーンカメラデータおよび/または音声データと一時的に結合された視線データ(gaze data)のプライバシーを維持するセキュアな手段を使用可能にする装置、システムおよび方法が提供される。
ここで提供されたシステムおよび方法の局面および応用例が、例示的な実施形態についての図面および詳細な説明において以下に述べられている。
図面の簡単な説明
本発明は、添付の例示的な図に関連して考慮される際に詳細な説明を参照することによってより完全に理解され得る。図においては、同様の参照番号が、図の全体にわたって同様の要素または動作を指している。ここに記載される例示的な実施形態が添付の図面において示される。
デバイスの着用者を識別するためのシステムの具体的な実施形態の基本的要素を示す概略図である。 デバイス着用者のアイデンティティを判断するために用いられる例示的なステップを示す図である。 デバイス着用者の識別状態を実質的に連続的に導き出すために用いられる例示的なロジックを示すフローチャートである。 デバイス着用者のアイデンティティに基づいてセキュアな情報の視認および生成を制御するための回路類の具体的な実施形態を示す概略図である。 単一の虹彩を指し示す複数の照明源および複数のカメラについての例示的な位置を示す斜視図である。 マルチカメラ撮像システムの具体的な実施形態を示す図である。 ネットワークと通信しているヘッドウェアの一実施形態を示す図である。 オンラインで安全な購入を実行するために採用される例示的なステップを示すフローチャートである。 図9Aは、頭部装着型ディスプレイの組込みを説明する図であり、図9Bは頭部装着型ディスプレイの組込みを説明する図であって、デバイス着用者以外の人がディスプレイのコンテンツを視認することを禁じる視界シールドの配置を示す図である。
詳細な説明
以下の記載において、説明の目的で、例示的な実施形態のさまざまな局面の充分な理解を可能にするために多数の具体的な詳細が述べられる。しかしながら、当業者であれば、この明細書中における装置、システムおよび方法がこれらの具体的な詳細なしで実施され得ることを理解するだろう。他の実施形態が利用され得ること、および、構造的変更および機能的変更がこの明細書中における装置、システムおよび方法の範囲から逸脱することなく実施され得ることを理解するはずである。他の場合には、例示的な実施形態を不明瞭にすることを避けるために公知の構造およびデバイスがより概略的に図示または説明されている。多くの場合、動作は、特にその動作がソフトウェアで実現されるべき場合にさまざまな形式で実現することを可能にするのに十分に記載されている。開示された実施形態が適用され得る多くのさまざまな代替的構成、デバイスおよび技術が存在することに留意されたい。実施形態の範囲全体は、以下に記載される例に限定されない。
例示される実施形態の以下の例においては、その一部を形成し、さまざまな実施形態が例示により図示されている添付の図面が参照される。
虹彩認識システム
最新の虹彩認識システムは、(研究成果として3〜10メートルほどの広い距離を目標として)虹彩とカメラとの間の10〜20センチメートルの範囲の距離で動作する。この明細書中のシステムは、目立たないヘッドウェアに付随する約20〜30ミリメートル(20〜30mm)の比較的短距離にわたって実質的に連続的に虹彩認識を実行し得る。
このような短距離であれば、全体的な画像解像度は、適切な照明が提供されているとすれば、現在市販されている虹彩認識デバイスによって用いられる距離にわたって記録される画像品質と同等になり得るかまたは当該画像品質さえも上回ることも可能である。しかしながら、実質的なスキューを含む空間収差が、マイクロレンズおよび/または虹彩追跡マイクロカメラに取付けられた他の光学部品によって生成される可能性もある。空間収差は、虹彩の画像および眼の領域における他の構造の画像を歪める可能性がある。
「ターゲット」(すなわち、指定受信者に属しているものとして確認されている)およびデバイスユーザ認証irisCodesの両方を計算するために短焦点距離プラットフォームを用いることによって、空間収差は虹彩認識アルゴリズム内で明らかにされ得る。これにより、irisCodesを比較した場合にこれらirisCodes間の一貫性の度合いが維持される。
また、虹彩識別は、虹彩のほぼ軸上にある画像(すなわち、眼の表面に対して垂直に視認され、虹彩および/または瞳孔を中心として位置している)を取得するための能力に依存している。険しい角度(すなわち軸外)で視認された場合、虹彩の特徴が歪められてしまう可能性があり、結果として情報が失われる可能性がある。これは、カメラが目立たない位置に配置されるとともに眼のすぐ近くにあるヘッドウェア内に位置する場合には特に問題となる。眼が通常の動きをしている間、虹彩は、目立たない位置にあるカメラの視野角に対して軸外へと移動可能であり、結果として、ターゲットのirisCodeに対する高ストリンジェンシーに匹敵し得るirisCodesを生成するための能力が失われてしまう可能性がある。
この状況に対処する例示的な実施形態においては、システムは、低ストリンジェントの虹彩認識と連動して軸上モードで虹彩を観察することができる場合に高ストリンジェンシー虹彩認識を用いてもよく、および/または、虹彩がカメラによって観察されている方向に対して軸外を指している場合に眼の領域における他の構造の特徴認識を用いてもよい。軸外期間中に追跡された特徴について以下にさらに説明するが、強膜の形状、強膜内の血管のパターンおよび位置、まぶたの形状、ならびに/またはまつ毛の位置を含み得る。虹彩とは異なり、これらの特徴は一生の間に変化する可能性がある。しかしながら、このような特徴は、デバイスを着用している1回のセッションの時間経過中にはさほど変化しない。
このため、通常動作中、ユーザは、最初にデバイスを着用した後、少なくとも定期的に、高ストリンジェンシーのirisCodeを登録するために、カメラに直接目を向ける可能性がある。所望のセキュリティレベルに応じて、ガボール係数の精度および数ならびに識別基準またはハミング距離(すなわち、等しい長さである0と1との2つのベクトル間の差の基準)を広範囲のストリンジェンシーへと調整することができる。高ストリンジェンシーのirisCodesを用いる登録の合間の時間に、眼の領域およびその回りにおける特徴を追跡して、実質的に連続的なユーザの識別を確実にする。同様のラインに沿っていれば、デバイス着用者のアイデンティティが分かっている場合の画像と比較された眼周囲の記録済み特徴の画像内の一致度合いについてのしきい値は、所望のセキュリティレベルに応じて調整することができる。
たとえば、入国する際に個人を識別する(または退去させる)ために用いられる商業上利用可能なシステムと比較して、このシステムは以下の問題に対処し得る:時間内の如何なる所与の瞬間においても、ヘッドウェアを着用している個人の虹彩の特徴が、単一(すなわちターゲット)の個人の虹彩のガボール係数ベースの記述と一致しているか?技術的には、これは、虹彩画像が一致していること、または、虹彩画像が何百万もの光彩パターンを含み得るデータベース内で一致しないこと、を証明するほど困難ではない。
CBIDシステムは、デバイス着用者の環境を観察する頭部装着型ディスプレイ、視線追跡、および/または1つ以上のシーンカメラを備えたヘッドウェア内に実現することができる。シーンカメラは複数のセンサを含み得る。これら複数のセンサは、RF波長またはIR波長のエネルギなどの、それでなければ着用者によって識別することが困難な「シーン(scene)」情報を捕えるものであり得る。ヘッドウェアはまた、他のセンサ、たとえば、マイクロホン、加速度計、タッチパッド、周囲光検出器、ガルバニック皮膚センサ、温度計、パルスオキシメータ、脳波計(electroencephalograph:EEG)、筋電計(electromyograph:EMG)、心電図記録法(electrocardiography:EKG)、および心拍数変動(heart rate variability:HRV)検知式ローカルヘッドウェア測位システム、全地球測位システム(global positioning system:GPS)、ならびに/または、ヘッドウェアデバイスの構造的整合性および/または性能を測定するための電気部品などを含み得る。このようなウェアラブルセンサから実質的に連続的に取得されたデータは、情報源の明確な識別を確実にするために、ユーザ識別コードでタグ付けすることができる。
連続バイオメトリック認証(Continuous Biometric Identification:CBID)
図1は、CBIDシステム100における要素の具体的な実施形態を示す。CBIDシステム100は、虹彩照明源130、135および140、虹彩115および/または眼の他の特徴を観察するために向けられたカメラ125、ならびに処理ユニット165を含む。解剖学的には、虹彩115は瞳孔145を囲んでおり、それ自体が、強膜150によって、または血管および他の識別可能な標識を含む眼の白色領域によって囲まれている。定期的に、まぶた105および110は、眼のまばたき中、または自発的に眼を閉じている間に、虹彩115および強膜150の視野を覆ってしまう。
処理ユニット165は、irisCodesおよび/または眼の画像を生成して、通信リンク155を介して、セキュアな情報のソースおよび/または受信機である(かまたは機能的に結合される)リモート処理ユニット160に送信することができる。ヘッドウェアデバイス600(図5)上に搭載された処理ユニット165とリモート処理ユニット160との間の通信リンク155を介する送信は、暗号化することができ、無線および有線の両方の送信方式155の組合せを用いることができる。実質的に連続的で確実な識別の有無に応じて、リモート処理ユニット160は、セキュアな情報の処理および/または送信を許可するか隠すステップを取り得る。
照明源130、135および140は、赤外線もしくは近赤外線の発光ダイオード(light emitting diode:LED)または有機LED(organic LED:OLED)であってもよい。照明源130、135および140の輝度は、たとえば米国特許第8,890,946号に記載されるように、カメラの125度の視野内で検知されるターゲット輝度レベルに基づいて制御することができる。
マイクロカメラ125は、ここでは以下イメージャと称される電荷結合素子(charge coupled device:CCD)または相補性金属酸化膜半導体(complementary metal oxide semiconductor:CMOS)技術に基づいた電磁放射の検知を組込むことができる。マイクロレンズ120は、眼の領域からカメラ125の検知領域上に対して電磁放射の焦点を合わせる。
処理ユニット165は、フィールドプログラマブルゲートアレイ(field-programmable gate array:FPGA)、マイクロコンピュータ、マイクロコントローラ、特定用途向け集積回路(application specific integrated circuit:ASIC)または他のコンピューティングデバイスであってもよい。処理ユニット165は単一のデバイスであってもよく、または、処理機能は、別個の物理デバイスを組み付けることによって実行することができる。
図2は、デバイスユーザを識別するためのステップの具体的な実施形態を示す。虹彩115の領域を含む画像200は、当該技術において周知のいわゆる「フレームグラビング(frame grabbing)」技術を用いてデジタル化される(プロセス205)。瞳孔145の中心は、デジタル化された画像200内において最も濃い領域の位置に基づいて、および/または、瞳孔145と虹彩115との間の境界250の数学的表現の中心を識別することに基づいて、決定される(プロセス210)。虹彩250の内側端縁は、瞳孔145の濃い領域と虹彩115のうち濃さの薄い大理石模様の領域との間の変化に基づいて決定することができる(プロセス215)。虹彩245の外側端縁(すなわち縁郭)は、虹彩115の形状がほぼ円形であるという解剖学的な情報と共に、虹彩115の大理石模様領域または構造化領域と強膜150の白色領域との間の変化に基づいて、決定される(プロセス215)。瞳孔145の中心における目玉の表面に対して非垂直な角度から見た場合、虹彩115の内側端縁250および外側端縁245は、概して、カメラ画像200内では楕円形に表わすことができる。このため、虹彩の内側端縁250および外側端縁245について追跡された全体的形状は、ほぼ楕円形となる。irisCodesの詳細な構造により、虹彩115の円形形状(特に虹彩と強膜245との間の境界)からの特徴的なずれの原因が明らかになるはずである。
次いで、ガボール変換計算(プロセス220)が、虹彩115の内側端縁250と外側端縁245との間に位置する画像200内の画素に適用される。次いで、ガボール変換の係数がいわゆる「irisCode」にアセンブルされる(プロセス225)。この場合、最もよく用いられている2048ビットのirisCodeは、虹彩115の各々の領域におけるガボール変換計算の2つの最上位ビットからアセンブルされる。場合によっては、虹彩115のうちのある領域が、まぶた105および110が部分的に閉じたり、陰影240ができたり、またはまつ毛235があるせいで、不明瞭になる可能性もある。ストリンジェンシー基準は、このような欠落情報または不確かな情報を明らかにするためにirisCodesに関連付けることができる(プロセス230)。
デバイス着用者のアイデンティティがirisCodeによって決定されると、虹彩115を囲む領域の画像が、デバイス着用者に属するものとして記憶および登録される。この画像は、irisCodeが、もはや、眼球の動きに応じて計算することができない状況下で、比較基準として用いることができる。虹彩115の画像は、陰影240のせいで;まぶた105、110もしくはまつ毛235によって遮断されるせいで;または、虹彩115がカメラ125の中心視野と比べて十分に軸外に位置するせいで、不明瞭になる可能性がある。これらの状況が発生すると、基準画像内の顕著な特徴を用いて、デバイス着用者のアイデンティティを実質的に連続的に判断する。これらの特徴は、強膜150;強膜150内の血管の位置およびパターン、まぶた105および110の形状;ならびにまつ毛235の位置および形状;さらには、以下にさらに記載されるような補足的なバイオメトリック(すなわち、生理学的および解剖学的な)基準を含み得る。
図3は、デバイス着用者が所定の時間に確実に識別されるかどうかを判断するための実質的に連続的な意思決定プロセスを示すフローチャートである。この意思決定プロセスは、虹彩追跡カメラ125から画像を取得し(プロセス300)、irisCodeを計算しようと試みることで開始される。カメラ画像をデジタル化し、irisCodesを計算するための方法は、図2によってより十分に記載されており、たとえば米国特許第5,291,560号に記載されるように当該技術においては公知である。次のステップ(プロセス305)は実行可能なirisCodeが決定されたかどうかを判断するステップである。irisCodesが実行不可能となる理由として、まぶたが部分的に閉じてしまうこと、まぶたが完全に閉じてしまうこと(すなわち、自発的に閉じることもしくは非自発的なまばたき)、虹彩115を覆う陰影240、ほぼロッド状の領域を覆うまつ毛235、および/または、虹彩115がカメラ125の視野の中心から十分に向きを変えていること、が挙げられる。
実行可能なirisCodeを計算することができれば、それが、意図されたデバイスユーザまたはターゲットのデバイスユーザの予め定められたirisCodeと比較される(プロセス310)。この比較のストリンジェンシーは、デバイスユーザのセキュリティについての所望のレベルに応じて調整することができる。着用者の同一性と確実な一致がある場合、確実に一致している時間が、フリーランニングクロック335から取得した現在時間に設定され(プロセス315)、眼のまわりの領域における特徴がターゲットデバイスユーザに属しているものとして記憶および登録され(プロセス320)、確実な識別のブール指標の状態が「真」に設定される(プロセス345)。
irisCodeを計算することができない(プロセス305)場合、irisCodesが長期間にわたって利用不可能であったかどうかを判断するためにチェックがなされる(プロセス325)。irisCodeが最近決定された場合、眼のまわりの領域の画像内の特徴が、確実な識別がなされたときに記憶された画像(プロセス345)と比較される(プロセス310)。これらの特徴が十分に一致していれば、確実な識別のブール指標がその「真の」状態で維持され、新しい画像が取得される。
新しく決定された虹彩コードが意図したデバイス着用者と一致しない(プロセス325)場合、または、irisCodeがいくらかの期間にわたって計算されておらず(プロセス330)、眼のまわりの特徴の一致が不十分である(プロセス340)場合、フリーランニングクロックによって登録された現在時間(プロセス330)と確実な識別がなされた最新の時間との差が計算される。この差が予め定められたしきい値時間よりも大きいと判断された場合、確実な識別のブール指標の状態が「偽」に設定される(プロセス340)。
予め定められたしきい値時間は、「通常の」デバイス着用者のまばたき中などのユーザを確実に識別することができないほんのわずかな期間を設けることを可能にする値に調整される。このため、この明細書中において用いられる「連続的に」および「実質的に連続的に」判断するとは、ユーザを確実に識別することができないこのようなほんのわずかな期間を含み得る。概して、しきい値時間は、0.1秒(すなわち素早いまばたきの期間)と10秒との間の値に設定される。この場合、後者の値は、安全性が最も低く、デバイス着用者が短期間にヘッドウェアから視線をそらすことを許してしまう。典型的なしきい値は0.3秒である。
新しい画像が取得される(プロセス300)と、全体的な意思決定プロセスが実質的に連続的な識別を行なうために繰返される。ユーザ識別状態は、システムに関連付けられたすべての送信に追加することができる(プロセス345)。代替的には、虹彩115の画像は外部処理ユニットに転送することができ、デバイス着用者が確実に識別されるかどうかを判断するための意思決定プロセスを遠隔で実行することができる。
図4は、ディスプレイ710の制御の適用中および/または外部装置によるセキュアな情報155の送信中における具体的な実施形態である。虹彩の画像および/または眼115の領域における特徴の画像は、カメラ125によって実質的に連続的に取得され、さらに、これらの画像内の一致の度合いに基づいて、実質的に連続的なデバイス着用者識別状態が処理ユニット165によって決定される。デバイス着用者識別状態は通信リンク155を介して外部処理ユニットに転送される。次いで、他の処理ユニット400はいくつ設けられていても、セキュアな情報を表示する(710)ことを可能にし、実質的に連続的に認可された個人によって視認することを可能にし得る。
バイオメトリック認証は、1回以上(すなわち複数セッション)実行可能であるか、または、ユーザ認証を必要とする眼信号制御プロセスの前、間もしくは後における如何なる組合せの時間中でも、実行可能である。たとえば、試験を受ける個人は、眼信号コマンドシーケンスを実行するように要求され、結果として、試験期間の前および後の両方にバイオメトリック認証を受ける可能性がある。オンライン購入では、購入が実行される前(たとえば、トランザクション用のトータルコストについての認可前ステップが発生し得る期間中)、さらには購入につながる眼信号シーケンスと同時に、認証が要求される可能性がある。眼信号制御および場合によっては他の制御を用いてセキュアな法律文書を読取る場合、読取りプロセス中に用いられるすべての眼信号と同期してバイオメトリック認証を繰返し行なうことが必要となるかもしれない。
補足的なバイオメトリック基準
別の具体的な実施形態は、個人のアイデンティティ状態および機能状態の両方をさらに実質的に連続的に監視するために解剖学的特徴および生理学的特徴を用いることを必要とする。眼信号を正確に追跡するために、眼の解剖学的特徴の形状、寸法および/または相対的な空間位置がヘッドウェアデバイスに認識されていなければならない。このため、通常の動作中、これらの特徴は一般にデバイスにとって入手可能となる。というのも、これら特徴は、正確な視線追跡を行なうために用いられる較正係数のうち多くの係数についての根本的基礎を形成しているからである。ともに、これら特徴は(実質的に連続的に)デバイス着用者のアイデンティティを検証するのにも用いることができる。これは、irisCodesがまばたき中などに連続的に利用できなくなる期間中、虹彩がまつ毛もしくは他の構造によって覆われている期間中、および/または、虹彩が一方の眼または両方の眼を観察するカメラから遠ざかる方に向けられている期間中に、特に有用になる。ユーザアイデンティティの要素になり得るこのような解剖学的特徴の例を以下に列挙する。
・角膜半径(形状が楕円状であり得るので、二次的パラメータを含む)
・瞳孔深さ
・眼球半径
・縁郭半径
・光軸と視軸との間のオフセット
・合成レンズパラメータ(天然のレンズを合成レンズと置換えるために、米国では白内障手術が年間あたり270万回実行されている)
・瞼裂斑(眼の白い(強膜)部分のうち結膜の帯黄色に突起した肥厚部分)、翼状片(くさび形成長)、斜視(内斜視)、弱視(斜視)などのさまざまな病理学的症状
・眼に対する全体的なまぶたの位置
・まつ毛の濃さ、密度、色、範囲、長さ
・眼瞼裂の形状および測定値
・カメラの視野(field-of-view:FOV)に応じた眉の毛、構造、位置、色
・カメラのFOVに応じたまぶたおよび周囲組織の皮膚組成。
ユーザ識別の目的ではそれほど有用ではない(概して、頭部の上に如何にデバイスが位置するかに影響し、このため、眼に対するカメラおよび照明源の位置に影響を及ぼす)鼻の寸法および形状などの他の解剖学的要因がある。しかしながら、(ここでも、主としてデバイスが如何に鼻の上に載っているかによって影響される)カメラと眼の特徴との間の距離の測定を用いることにより、デバイスがたとえば頭から取外されているかどうかを判断することができる。デバイスが頭から取外されていれば、デバイスが頭部上で置換えられて高ストリンジェンシー(たとえば、一致したirisCode)識別手順が実行されるまで、デバイスが高度にセキュアなアクションまたはトランザクションを実施することを禁じる表示を設定することができる。
デバイスによって測定された生理学的反応は、識別の範囲内の一意識別子の要素または個人の「署名」の構成要素にもなり得る。デバイスによって測定され、このため、ユーザアイデンティティの構成要素になり得る生理学的特徴の例として、以下が挙げられる。
・(デバイス着用者の年齢に大いに依存する)光の変化に反応する、または特殊な刺激(光、感情的反応、認識負荷)に反応する、瞳孔狭窄または瞳孔拡大の度合い
・光の変化に反応する瞳孔狭窄または瞳孔拡大の速度
・瞳孔が収縮するかまたは拡大するのに応じた瞳孔の水平方向および垂直方向へのずれ
・自発的なサッカード運動の範囲および速度
・マイクロサッカードの範囲、頻度および速度
・眼震動、眼球浮遊運動および他の眼の動きの度合い、存在、範囲、頻度およびパターン
・(両眼を監視した場合における)眼球輻輳運動間の相関の度合い
・デバイス着用者が新しいターゲットを識別して追跡する速度
・まばたきについての発生の頻度、速度、期間、情況などの挙動
・ユーザが眼球制御のための基本モデルまたは相互作用モデルの一部となり得る眼信号を実行する際の態様
・視覚刺激、バイオメトリックデータ、ならびに、位置、時間、アクティビティ、物理的または認識的状態および意図を含む他のデータ、のある状況下での眼信号
・場合によっては「顔面動作符号化システム」(Facial Actions Coding System:FACS)で分類整理された視認可能な皮膚、筋肉および動きに基づいたまぶたおよび周囲の皮膚組織の動き
・(ノービス・ユーザに対する)デバイス着用者の「経験」に関連付けられたさまざまなパラメータ。
このリストにおける後者の特徴、すなわちデバイス着用者の経験は、「生理学的」基準としては厳密に分類されない可能性もある。経験は、主として、デバイスで費やされた時間、固定時間、反応時間の履歴、さまざまなデータタイプの文脈付け、および、デバイス着用者による意図しない(すなわち、その後補正される)選択の頻度に基づいて、ユーザの「経験」を反映するデバイスによって維持された係数のクラスタ内に反映される。デバイスによって用いられるこれらのデータの一例は、眼信号の円滑な追跡中にいわゆる「eyemovers」(すなわち、N個の選択肢から1つを選択するためにユーザ自身の眼を動かすように当該ユーザを促すターゲット)の速度を調整するためのものである。
ユーザ経験は、オブジェクトを調査するかまたはテキストを読取るなどのアクションを実行する際に測定することができるいくつかの行動特徴の一例である。アクティビティを実行するこれらの行動上のバイオメトリックスまたは「スタイル」は、過去の経験、熟知度、関心などのファクタに基づき得る。いくつかの行動特徴は解剖学的影響および生理学的影響を含み得る。類似点として、個人の足取り(gait)はこのようなアクティビティの大規模な一例である。眼信号の場合、各々の眼を制御する6つの筋肉の正確な付着点および収縮の強度が、眼の動きの行動上のバイオメトリックスに影響を及ぼす可能性がある。
現実のオブジェクトおよび仮想オブジェクトと対話するための生体力学ベースの眼信号のためのシステムおよび方法に記載されているように、眼信号を分類するための一方法は、個人の眼の動きの特徴を識別するようにトレーニングされたニューラルネットワークのアプリケーションである。ユーザ経験および特定の動き特徴(すなわち、類推によれば、個人の「眼の動き(eye-gait)」)も同様に、個人を識別するために用いることができる。
これらの解剖学的特徴、生理学的特徴および/または行動学的特徴の組合せは個々人に固有のものであるが、極めて特徴的な一卵性双生児などのいくつかの場合には、いくつかの解剖学的特徴のうちの特異的な相違は、バイオメトリック認証で実際に使用されるには軽微すぎる可能性がある。このような欠点が認識されているため、独立した特徴を組合わせることで識別能力がもたらされる。たとえば、縁郭半径の測定値が、個人を一貫して(すなわち繰返し)10グループのうちの1グループに分類するための分解能を有する場合、かつ、(おそらく、縁郭半径には左右されない)大きなサッカード運動中に得られる最大速度により、個々人を15グループのうちの1グループにさらに分類することができる場合、個人を識別する際のこれらの独立した2つの基準を組合わせた能力は、10´15=150のうちの1となる。独立した顕著な特徴の乗法的性質は、個人を識別するための有意な能力を提供する。
特に虹彩識別が利用不可能である場合(たとえば、虹彩がまぶたやまつ毛によって覆われているかまたは焦点がずれている場合)、ユーザアイデンティティの連続性を維持するために解剖学的パラメータ、生理学的パラメータおよび行動学的パラメータを用いることができる。加えて、多くの応用例の場合、デバイスは、着用者の特徴が単一の識別された個人の特徴と一致するかどうか、または少数の既知の個々人のうちの1メンバーであるかどうかを判断するように試みることが必要となる。これは、たとえば、多数の個々人の中からデバイスを着用している人が除外され得るかどうかを識別する場合よりもはるかに単純な分類プロセスである。1つ以上の解剖学的、生理学的または行動学的な測定値にずれがあれば、それは、デバイスユーザが切換わったことを示す可能性もある。
このような識別特徴は、情報トークン(パスワード)、物理的トークン(キー)、生成されたトークン(スピーチ、ジェスチャ、書込み)、他のバイオメトリックトークン(指紋、声紋)などの他のセキュリティトークンと組合わされてもよい。
この明細書中におけるシステムおよび方法の別の具体的な実施形態は、個々のユーザに関連付けられた較正パラメータを捜し出して検索するために虹彩識別を用いる必要がある。未知または新規のデバイスユーザが彼/彼女の頭にデバイスを装着している場合、較正パラメータは概して未知である。眼を観察するカメラの全体的な方向を見るためにユーザを方向付けるプロセス、または、通常の眼の動きの間に1つ以上のカメラに虹彩を観察させるプロセスにより、最初のirisCodeを生成することができる。
複数カメラ構成
虹彩の部分が眼の通常の動きの間に覆われる可能性がある場合、単一のカメラによってさまざまな時間に撮影された虹彩画像の部分同士、および/または、複数のカメラを用いて異なる方向から観察された虹彩画像同士を「縫い合わせる」ことが有用であり得る。眼を観察する複数のカメラの使用が図5および図6に示される。
代替的には、irisCodes自体(すなわち、セグメンテーションプロセスの後に計算される)は、虹彩のさまざまな画像から「縫い合わせる」ことができる。これらの画像は、再び、さまざまな時間に、またはさまざまなカメラによって、またはさまざまな時間とさまざまなカメラアングルとの組合せによって得られる可能性もある。このアプローチの構成要素として、信頼性を向上させるために、および/または、画像ノイズの影響を抑制するために、虹彩のうち複数の画像内で観察するのに成功した部分を(irisCodeの計算前または後に)平均化することができる。
CBIDが目立たないに場合に伴う問題のうち1つは、眼に方向付けられたカメラが眼の視軸または光軸と比べて概して「軸外」にあるという事実に関連付けられる。これにより、結果として、虹彩の「軸外」の視野が得られる。さらに、眼球が通常の眼信号の機能中に動くと、虹彩が「軸外」になる度合いが変化する。ユーザが所与の方向を見ているときに虹彩テンプレートが登録された場合、虹彩テンプレートが登録された方向から眼が離れる方向に回転するときと同じ虹彩を一致として識別することがますます困難になる。
「軸外」の問題点についての一解決策は、さまざまな視野角で眼を観察する複数のカメラを使用することである。いずれの所与の時間にも、画像は、たとえば、(極めて楕円形であるのに対して)最も円形である内側および外側の虹彩境界に基づいて識別され得る「軸上」に最も近接しているカメラから選択することができる。最も「軸上」にあるカメラは、眼が通常のアクティビティ中に動くのに応じて変化する可能性がある。
この問題点についての別の解決策は、さまざまな観察方向で収集された個人についての複数の虹彩テンプレートを記憶することである。眼を追跡した結果、ユーザの視認方向が既知となっているので、1)複数の既知の視認方向にirisCodesを記憶すること、および、2)次に、既知の視認方向で所与の時間に収集されたirisCodesを、同じ視認方向または最も近い視認方向で収集および登録されたirisCodesと比較することが可能となる。
軸外での視野の度合いは複数のカメラおよび/または複数のirisCodesを用いて下げることができる。「軸上」で最も近接するカメラから画像を選択することによって、虹彩の最も直接的な視野を得ることができる。既知の個人からのirisCodesの登録、およびリアルタイムでの個人の識別はともに、識別のロバスト性を向上させるために最も軸上にあるカメラについての画像に基づき得る。
同様のラインに沿っていれば、これらのスキームはすべて、テンプレートを登録する前に、または識別するためにリアルタイムでirisCodeを計算する前に、虹彩の画像を軸上になるように数値的に「回転させる」こととも適合している。多くの視線追跡スキームでは、光軸とおよびカメラの観察方向との角度が、目視方向(gaze direction)を計算するために分かっていなければならない。これにより、回転変換を適用するために主要な係数が適用されて、眼の画像を、瞳孔(または縁郭)の中心に対して垂直な軸に沿って観察されているかのように表示させる。
これらのirisCodesは、所望の視界に対応させるように従来のレンズまたはホログラフィレンズを用いて集めることができるかもしれない。IrisCodesは、眼の画像が1つ以上の反射面で反射した場合に集めることができる。このような表面は、単一の大きな反射面または複数の反射面(すなわち複数のマイクロミラー)の周囲に設計することができる。これらのミラーベースのシステムは、従来の反射面の形状であってもよく、または、光学系の物理的特徴(たとえば重量、寸法)を最小限にするように設計されたいわゆる自由形状の光学経路内にあってもよい。これらはまた、光の可視波長での視界を遮ることなくCBIDを促進するように、光のうち選択された波長を反射させることもできる(たとえばいわゆる「ホットミラー(hot mirrors)」)。自由形状の光学部品設計により、アイウエアの端縁に沿ってカメラを目立たないように配置しながらも、その光軸でまたはその光軸付近で眼を観察する能力を維持することが可能となる。眼の画像は、代替的には、1つ以上の検出器(たとえばフォトダイオード)によって集めることができ、この場合、空間の選択および分解能は、切換え可能なブラッググレーティング(switchable Bragg gratings:SBG)ベースのデバイスにおいて見出されるような切換え可能な表面によって制御されている。
図5は、複数の照明源130、135、140および複数のカメラ125についての配置位置を示す例示的なシステム600を示す。照明源130、135、140およびカメラ125はともに、中心瞳孔145および周囲の強膜150と共に虹彩115を含む1つの眼の領域に方向付けられる。単一の光源400と比較すると、複数の照明源130、135、140を使用することにより、デバイス着用者による広範囲の眼の動きにわたって虹彩115を十分に照らすことが確実にされ、陰影240を発生させる傾向が低減される。複数のカメラ125を使用することにより、デバイス着用者による広範囲の視野角にわたる軸上の虹彩を撮像するための能力を向上させ、より鋭い角度でのカメラベースの撮像に起因する虹彩画像の歪みを低減させる。
カメラはまた、眼、眼特徴、まぶた、まつ毛、眉毛、周囲の皮膚および顔面筋肉の画像を取込むことで、関心のある領域が不連続な画像の集合として、または、縫い合わされた隣接する領域として個々に近接して観察され得るように構成されてもよい。複数のカメラは、カメラによって観察された領域を照らすように構成された複数のLEDまたは照明源によってサポートされてもよい。眼、瞳孔、特徴、まぶた、眉毛および皮膚の画像取込みを用いることにより、オンスクリーンディスプレイからの刺激またはユーザ環境内での刺激に対する感情的な反応を測定することができる。これは、たとえば、対人間の通信用に、目視方向に関連付けられた感情の反応についての研究のために、かつゲーム中の感情ベースの対話のために、用いられてもよい。他の顔面情報と結合された、カメラによって測定されるプレーヤの目視方向の関係は、ユーザの感情状態を定義するように解釈することができる。次いで、ゲーム中またはエンターテインメント体験中のアクターは、アクティビティに反応して、ユーザの眼、顔、頭、手、体およびバイオメトリックの挙動と同期してユーザから離れる方向またはユーザに向かう方向を目視して、レンダリングされた顔面の特徴、体および眼の動きにより感情を伝え、キャラクタ/ユーザの感情的な関与および対話の可変の動的レベルを刺激し得る。これらのアクターは人為的に知能的なキャラクタであってもよく、または、実現性の乏しい人のキャラクタのためのアバターであってもよく、ユーザは実現性の乏しいアバターによって表現されてもよい。
図5に例示されるシステム600の場合、構成要素が1対の眼鏡フレーム内に取付けられている。図5における透視図は、単に明確にするために左眼に方向付けられた眼鏡の左半分だけを示している。眼鏡フレームは、鼻当て510および耳ステム515を利用して頭に載せられている。この例においては、内蔵された処理ユニット165が左側の耳ステム515内に位置している。この図では示されていないが、デバイスに携帯電源を供給するバッテリパックは、たとえば、右の耳ステムに取付けることができる。この斜視図には十分に示されていないが、任意には、デバイス着用者の環境を観察するためにフレーム上のシーンカメラを用いることができる。この図には示されていないが、任意には、単眼用画像または立体画像をユーザの眼に対して表示する1つ以上のディスプレイがフレームに装着されてもよい。フレームは、実世界のユーザの視界を増大させるための画像、軸外に示される画像もしくはユーザの直線視線上には示されない画像、または仮想現実を作成する没入型画像を表示するディスプレイを含んでもよい。
複数のカメラの例示的な構成を図6に示す。複数のカメラ2000a〜2000fは、眼の視野が複数あることで、上瞼105、下瞼110および覆いとなるいずれのまつげ236をも含む障害物を回避することができる。さまざまな(すなわち、さまざまなカメラによって観察される)角度から観察された場合、特定の障害物(たとえば図6におけるまつげ236)によって覆われる領域は異なってくる。これらの状況下では、眼の表面を全体的に表示する場合、さまざまなカメラからの画像を用いて集められた画像からの情報を抽出するかまたは「縫い合わせる」ことによって再構築することができる。眼のさまざまな視野を用いるさまざまなカメラは、部分的に重なり合う視界または部分的に重なり合わない視界を有する可能性がある。さまざまなカメラはまた、さまざまなレンズ、光学フィルタ、フレームレートまたは分解能を有し得る。2Dおよび3Dの撮像カメラを組合せたものであってもよい。カメラ2000a〜2000fの如何なる組合せはどの時点でも使用可能にする(たとえば、電源がオンにされて動作可能にする)ことができる。さまざまなサンプリング条件下で集められた画像にアクセスすることにより、虹彩認識、瞳孔認識、特徴認識および眼信号認識のロバスト性を向上させる。
複数のカメラ用いても眼の三次元ビューを構築することができる。眼内の三次元構造を観察するための代替的方法として、空間的位相イメージングがある。眼内の構造の形状、寸法および位置を決定するための方法には関係なく、それらの三次元形態の情報は、目視追跡(gaze tracking)のための分解能、利便性(すなわち較正のための要件の抑制)およびロバスト性を高めることができる。
両眼(すなわち複数のカメラによって観察される各々の眼)に方向付けられた複数のカメラは、さらに、両眼転導測定の精度を高める。両眼転導により、事実上、眼信号制御の範囲が追加されてしまう。たとえば、両眼転導を用いることにより、選択パネルのさまざまな層内のアイコンをデバイス着用者が指定することができる。
広い角度範囲にわたって眼を実質的に同時に観察する複数のカメラはまた、まぶた、皮膚、眉毛さらには顔面筋肉の部分を含む周囲特徴の動きを観察するために用いることもできる。これらの特徴の範囲内の動きは感情の状態を含む他のユーザ条件を抽出するために用いることができる。例示的な実施形態においては、感情の状態を示す他の眼測定値は瞳孔拡張、レンズ形状および心拍数を含む。付加的な実施形態においては、1つ以上のカメラを用いると、特に強膜内における眼の脈管構造の画像内のわずかな拡張および収縮の速度を判断することによって、ユーザの心拍数を判断することができる。
感情状態を含むユーザ条件の判断
デバイスユーザ条件および感情状態を判断するためにヘッドウェアに付加的なセンサを追加することもできる。実質的に連続的に監視されたデータの例は、パルスオキシメトリ、ガルバニック皮膚抵抗、EEG、ECG、および温度センサを含む。
ユーザ感情のデバイス情報は識別のために用いることができ、さらには、広範囲のアプリケーションを調節するために用いることができる。感情は、賭博に特に有力な付加的入力情報になり得る。たとえば、ユーザによる不安またはストレスに対するゲームへの反応により、賭博プロセスに含まれるタスクがより簡単になる可能性がある。他方で、複数のユーザで行われるゲーム内で表わされるストレスを用いて、敗北を引起こし得ることもある。「実際の」人の感情の反映はアバターに結び付けることができる。この場合、アバターの動作および反応は感情の状態によって影響を受ける。
ユーザ感情の情報が有益になりうる別の分野として、合成された顔の表情の生成を含む会議が挙げられる。テレビ会議中にストリーミングビデオを送信する場合と比較して、1つ以上の合成された顔を構築して表示することにより、会議開催位置間で必要とされる帯域幅を大幅に狭くすることができる。合成された顔を表示する際に生じる問題点としては、適切な表情が欠如していることである。これは、閲覧者の側に「不快」感を発生させる傾向がある。会議内容の根源となる個人の感情の状態(および真のアイデンティティ)が分かっていれば、より適切かつより動的な合成表情を生成することが可能になる。感情の状態は、(所望のとおりに)任意数の受信者または受信者の部分集合に制限され得るかまたは広く同報通信され得る。
合成された顔またはアバターによって実施される対人間の対話内では、他のアバターの「仮想の」存在の範囲内であっても、対話を1組の個人または小集団に隔離させることもできる。これは、ゲーミングおよびテレビ会議の応用例において特に有用である。室内における個人間での現実世界の会話と同様に、たとえば、現実世界の参加者のアイデンティティまたは地理的位置に対する制限なしに「仮想的なアイコンタクト」を用いることを含めて、同時かつ複数の仮想の会話を行なうことができる。
認識による負荷は多くの感情状態の主要な要因となる。所与の照明状態では、瞳孔直径は、認識による負荷を大いに反映している。このため、たとえば、シーンカメラ画像内において観察された全体的な輝度レベルから査定することができる既知の照明状態であれば、瞳孔直径の変化を観察することにより、認識による負荷(および認識による負荷の変化)を実質的に連続的に評価することができる。感情の状態についての情報と同様に、認識による負荷を入力として含める場合、ゲーミング、会議、文書を検討するペース、試験問題の難易度および/または難易レベル、広告宣伝の有効性の査定、外傷後ストレス障害を含む医療査定、画像観察後の心理学的アセスメントなどにおける広範囲の応用例が含まれる。
眼を観察するために複数のカメラと結合された1つ以上のシーン(すなわち、ユーザ環境を観察する)カメラを用いることにより、没入型環境のためのポテンシャルがさらにより高くなる。たとえば、ゲーミングオペレーションにおいては、デバイス着用者の環境は、ゲーミング空間内のプレーヤのアバターまたは他の画像の環境に投影することができる。頭の動きおよび/または「現実世界」におけるオブジェクトの表示は仮想環境に変換され得る。現実の環境と仮想環境との変換は、三次元の「ケーブ(cave)」投影システム内ではデバイス着用者にとって特に有効であるが、同様の効果は大型表示スクリーンまたはマルチディスプレイスクリーンを用いて得ることもできる。
複数のシーンカメラを用いて「環境コンテキスト」を生成することにより、ユーザの満足、安全性、パフォーマンス強化などを高めることができる。たとえば、1人以上の選択された会議参加者によってリアルタイムで観察されている位置を視認するために、会議中に複数の画像を配向させることができる。個人(特に会議司会者)が焦点を合わせるものを認識することは、個人が伝えようとしているものを解釈するのに極めて有用である。逆に、1人以上の視聴者メンバーが提示されている内容に関心がないようであることが明らかである場合、これは内容を変更するための手がかりとなり得る。
CBIDベースの眼信号デバイス構成
用途に応じて、CBIDベースの眼信号デバイスの機能は多数の構成で配置することができる。処理および/または認証は自己完結型であってもよく、および/またはリモートで実行されてもよい。認証は発信データに適用することができ、および/または、着信データのフローを制限することができる。デバイス動作は、単一の人もしくは人々のグループに制限することができるか、または無制限のままであってもよい。デバイス動作は、いくつかの動作条件下でのみタスクを実行するようにさらに制限することができる。情報の表示はデバイスユーザ以外のすべてのユーザから隠され得るか、またはすべてのユーザが閲覧できるように利用可能になり得る。認証は、ユーザ要求に応じてのみ、または自動的に、いくつかのデータもしくはすべてのデータに適用することができる。他のデバイスの眼信号制御は個人もしくは個人のグループに制限され得るか、または無制限であり得る。
以下の表は、構成のクラスのうちのいくつかおよび各々の例を列挙している。眼信号デバイス構成を記載するのに用いられる定義および頭文字は以下のとおりである:
IC − irisCode:バイオメトリック認証の目的で、虹彩内の後成的パターンを同等のビットパターンに定量化するために、眼の画像にパターン認識技術を適用した結果。
EIC − 暗号化されたIC:虹彩のオリジナル画像へと逆設計することができないように暗号化されたirisCode、または他のいずれかの虹彩ベースの派生パラメータ。
TEIC − ターゲットEIC:眼の画像から計算されたICとの一致が関連付けを示している識別されたEIC、およびこれによる、確実なバイオメトリック認証。
CBID − 連続的なバイオメトリック認証:ヘッドセットデバイス上で実行可能であるか、またはEIC、片眼もしくは両眼の画像をリモートでリモートプロセッサに送信することによって実行可能であるバイオメトリック認証の繰返しプロセス。CBIDは、一定の割合(たとえば毎秒30回)または非同期的な割合(たとえばデバイスが動かされるかもしくは再装着されるたびに)に行なうことができる。
UUID − 汎用一意識別子:ヘッドセットデバイスを含むいずれかの処理装置のためのファームウェア符号化一意識別子(すなわち数値符号)。
GPS − 全地球測位システム:地球の表面上または表面付近のどこかにあるデバイスの位置を判断することができる衛星ベースのナビゲーションシステム。



上述の表は、EICの送信および比較に言及しているが、場合によっては、眼の画像をICに変換し、その後EICに変換することがアルゴリズムにより可能である。このため、CBIDは、虹彩の画像、IC、EICまたは他の派生パラメータを含む情報の比較および/または交換を同等に必要とし得る。同様に、バイオメトリック比較のために用いられるデータベースは、同等に(識別を目的として)、IC、EIC、眼の画像、(眼を含む)顔の画像、虹彩の画像、眼の解剖学的特徴、いわゆる「広げられた」(すなわち、極座標で表現された)虹彩画像、強膜における血管を含む他の眼特徴の画像、縁郭、または、他の取込まれたパラメータまたは派生したパラメータを含み得る。したがって、EICの交換または比較に言及する場合、これは、バイオメトリック認証の目的で他の派生データセットを交換または比較することを指している。
irisCodeが計算されると、それは、公知のirisCodesおよび/または補助的なバイオメトリック基準のデータベース内でのサーチに用いることができる。ここで、irisCode(および他の基準)の一致が発見された場合、関連する較正ファクタおよび他の情報(ユーザ名、年齢、性別など)を、眼追跡および他の動作中に使用するためにヘッドセットデバイスに送信し返すことができる。このサーチは、いくつかのさまざまなプラットフォーム構成内で行なうことができる:
・ヘッドセット自体は、たとえば、ファミリーのうちのいずれかのメンバーがヘッドセットを用いることができるように、いくつか(典型的に少数)のirisCodesおよび較正セットを含み得る。IrisCode生成、サーチおよびマッチングは全体的にヘッドセット上で実行される。
・irisCodeまたは虹彩画像は、識別およびマッチングのために特定のリモートプロセッサに送信することができる。このプロセッサは、たとえば自宅、ビジネス、学校、劇場または地理的領域の範囲内で1組のヘッドウェアデバイスのために機能することができる。
・irisCodeまたは虹彩画像は、識別およびマッチングのためにクラウドに送信することができる。識別された人のデータセットをクラウドベースで検索することにより、個人に関連付けられた較正データおよび他のデータを世界中のいかなる場所でも、如何なるときにも使用される如何なるヘッドセットデバイスにも利用可能にすることができる。較正データおよび他のデータを支援なしで検索する場合、ユーザにとって、任意のウェアラブルデバイスの特徴「上のインスタント」として見えるだろう。この構成についての全体的なデータフローを図7に示す。
ユーザ識別が確立されると、あるデバイス形状因子上に集められた較正セットを別のデバイスの形状因子に適用することもできる。たとえば、デバイスの設計がアップグレードされており、ヘッドセット内のカメラおよび照明源の位置および/または向きがアップグレードによって影響を受けている場合、古いデバイスとアップグレードされたデバイスとの間で認識されているずれを較正セットに追加することができる。これにより、ユーザが、同じ形状因子または異なる形状因子を有する可能性のある複数のウェアラブルデバイス間で単一の較正セットを利用することが可能となる。
付加的な実施形態においては、CBIDを用いることにより、現実のオブジェクトおよび仮想オブジェクトと対話するために生物力学ベースの眼信号のためのシステムおよび方法に記載されている「眼信号」または眼信号制御を使用可能または使用不可能にすることができる。すべての眼信号または眼信号のサブセットの性能は、CBIDの存在に応じたものにすることができる。このような眼信号は、単にデバイス着用者の一方の眼または両方の眼で得られる信号だけでなく、現実世界または他の仮想オブジェクトとの対話が存在する場合に得られる信号も含み得る。たとえば、眼信号は、デバイス着用者の指によってなされたジェスチャの(外方向に向けられたシーンカメラを用いた)デバイスユーザによる視認を含み得る。このようなジェスチャは、CBID条件下で独占的に有効にすることができる(すなわち、結果として、或るアクションを引起こし得る)。
さらなる実施形態においては、CBID対応のアクションは、1つ以上のシーンカメラの視野内に識別された人または他の識別されたオブジェクトが存在している時に制限することができる。顔認識、オブジェクト認識、および/または、他の形状の識別は、デバイス着用者と1人以上の他の識別された個人を含むこのようなオブジェクトとのコロケーションを検証するために用いることができる。アクションは、たとえば、それらの個人が存在する場合にのみ実行されるように制限することができる。
代替的には、1人以上の他の個人の存在および/または承認は、これら個々人が着用している別のCBIDベースのデバイスによって実行することができる。この場合、個人は他のデバイス識別済み個人と同じ位置に配置することができるか、または、デバイス間(任意には、データ送信デバイスの介入を含む)で直接的に、または、より中央集約化された(たとえばクラウドベースの)認証サービスによって、伝送される認証を用いてリモートで位置特定することができる。個々人が同じ個所に位置している場合、認証クレデンシャルの送信は、必要に応じて、近距離通信(near field communications:NFC、すなわち、特に他のデータ送信デバイスの使用を排除する)にさらに制限され得る。
逆に、デバイス着用者の環境に未識別の個人が存在することおよび/またはアクションの実行中に存在しないように特に指定されている1人以上の識別済み個人が存在することにより、如何なるアクションまたは実現可能なアクションのサブセットをもデバイスが実行することを禁止することができる。この禁止は、(たとえば、送信中にUUIDによって識別される)特定のヘッドセットデバイス、カメラ、マイクロホン、(たとえば軍事状況または警備監視状況における)対立的な容姿などを含む、環境内の如何なるオブジェクトの存在をも除外するように拡張することができる。
同様のラインに沿っていれば、デバイス着用者環境における(人を含む)オブジェクトのアクションの実行および/または存在は、権限を持つものがCBIDに基づいてアクションを実行するための能力を、一時的にであれ永久的にであれ、取消すための原因になり得る。この取消しは、たとえば、不正行為が実行されたかまたは実行されていると判断し得るリモートソースからの命令に基づいて実行することもできる。クレデンシャルの取消しは、個人、個人のグループ、デバイス、特定の機能、または機能のグループに制限することができる。
CBID対応のセキュアな購入トランザクション
セキュアなショッピングについての別の実施形態においては、デバイス着用者のアイデンティティをリアルタイムで知ることにより、会計明細を、選択および購入された各々のアイテムと電子的に交換することが可能となる。これにより、各々のトランザクションまたはトランザクションのグループについてのパスワード、セキュリティ関連の質問またはアカウント情報を繰返し入力する必要がなくなる。結果として、このような即時購入システムにより、いわゆるオンライン・ショッピング「カート」に関連するプロセスがなくなる。なぜなら、アカウント情報を入力する目的でアイテムをクラスタ化することがもはや必要ではなくなるからである(図8)。単に顧客利便性のためだけに、オンラインショッピングセッション中に購入されたアイテムのグループをクラスタとして処理することができるか、または購入者のために集計することができる。
図8は、(オンライン「カート」にアイテムをクラスタ化する必要なしに)CBIDにより認可されたオンライン購入を行うための一連のステップを示す。購入されるべきアイテムが識別される(2900)と、購入したいという要求を示すために眼信号を実行する(2910)ことができる。購入すべきアイテムが確認される(2910)と、CBIDベースのirisCode2930が、認可された購入者に属するirisCodesのデータベース2940と比較される(2950)。一致すると判断される(2950)(かつ、十分な資金、認可などが可能である)場合、購入トランザクションが実行される(2960)。次いで、デバイス着用者は、追加のアイテムの買い物を続ける(2900)ことができ、購入プロセスを何回でも繰返すことができる。
別の実施形態に従うと、いわゆる「ブリック・アンド・モルタル(従来型の店舗)」の小売店において買い物をする際のセキュリティおよびストリームラインを向上させるためのシステムおよび方法が提供される。この場合、デバイス着用者の環境を観察するヘッドウェアデバイス上に取付けられたカメラは、購入するかどうか関心を持たれる可能性のあるオブジェクトを識別するために用いることができる。識別は、一般に購入可能なアイテムに取付けられているバーコードまたはクイックレスポンス(すなわちQR(quick-response))コードに基づき得る。このようなオブジェクト識別では、当該技術において周知の画像処理方法を用いる。
提案された購入価格を含むアイテムについての情報は小売店に関連付けられた処理ユニットによって生成され得る。この情報は、次いで、近くのモニタ上に、またはデバイス着用者に関連付けられた頭部装着型ディスプレイ上に表示させることができる。顧客が所与のアイテムを購入することを欲する場合、顧客はCBIDベースのトランザクションを開始することができる。このようなトランザクションは、店舗の至る所で繰返し実行することができる。次いで、搬送されたアイテムとトランザクション記録とが一致すると、顧客がアイテムを店舗から検証可能に取出すことが可能になるだろう。CBIDベースの小売り購入では、チェックスタンドまたはレジの必要性がなくなる。多くの状況において、購入プロセス中に情報を自動的にリアルタイムで表示することにより、店員が見込みのある顧客を補佐する必要性が少なくなる。
CBIDアプローチの特定の具体的な実現例は、「見て買う(look to buy)」と称される眼信号方法またはプロセスを用いて「売り場の通路で買う(buy at the aisle)」ことである。この場合、購入プロセスは、アイテムに関連付けられた識別記号(たとえばバーコード、QRコード)または購入すべきアイテムのオブジェクト識別を見て、購入実施シーケンスを実行するプロセスからなる。識別記号は、アイテムまたはそのパッケージングに物理的に添付することができるか、または、アイテムに関連付けられる(たとえば、ビン内のバルクアイテムに関連付けられる)標識内に物理的に添付することができる。購入実施シーケンスは、以下のステップのいずれかの組合せを含み得る:
・識別記号またはオブジェクト認識を、データベースからアイテムについての情報を検索するために用いることができるインデックスに復号する。
・アイテムについての、コストを含む情報を(HMDまたはリモートディスプレイのデバイス上に)表示する。
・眼信号および/または他の対話手段を用いて、購入者が所望する如何なる追加情報(たとえば明細、同様のアイテムの入手可能性、保証情報)を任意に選択して提供する。
・任意に交渉して価格を取り決める。
・眼信号シーケンスを用いて、購入が要求されていることを示す。
・CBIDを用いて、識別されたデバイスユーザが認可されており購入するのに十分な資金を有することを確認する。
・セキュアな電気通信を用いて、購入プロセスを実行する。
・購入がなされたというフィードバックをユーザに提供する。
・店舗から取出すことができるアイテムをアイテムの「仮想のカート」または金額・数量計算器に追加する。
・同様のステップを用いて追加購入を行なう。
・実際のアイテムまたはそれらの同等物がいずれかの将来に取出され得るようにおよび/または配達され得るように、店舗から物理的にアイテムを取出すかまたは購入されたアイテムに仮想的に「タグ付けする」。
・キャッシュレジスターがない場合に、物理的なすべてのアイテムが仮想の購入カートにあるアイテムと一致することを確実にするために、(たとえば、RFID法を用いて)目視検査により、または自動的に、店舗から取り出されているアイテムについての認証を検証することができる。
この「見て買う」プロセスは以下の利点を有する:
・アイテムを見たときにディスプレイを介して詳細情報が利用可能であれば、店員と対話する必要を大幅に減らすことができ、店員の必要性を減らすかまたはなくすことができる。
・購入情報が中央データベースに記憶されておりアクセスされるので、価格などの重要な要素を瞬間的に調整することができるか、またはアイテムごとに購入者と交渉することもできる。
・購入プロセスを実行するための小売りインフラストラクチャ(すなわちハードウェア)は(購入者が主要なハードウェアを提供するので)最小限であるかまたは存在しない。同様に、小売りのハードウェアをメンテナンスまたはアップグレードする必要がない。
・「見て買う」形式の購入ためにレジスタまたはチェックスタンドが(従業員がそれらを稼働させることを含め)必要ない。
・購入者がアイテムを詳細に観察している時に購入がなされるので、同様に見え得るかまたは同様に機能し得るアイテムとの曖昧さがなくなる。
・購入されたすべてのアイテムが個々に識別されるので、在庫管理を完全に自動化することができる。
・「見て買う」は、従来の小売り購入方法とも共存し得る。
「見て買う」方式のより一般化された例として、「世界はあなたの店舗である(world is your store)」が挙げられる。この場合、オブジェクト認識は、ユーザの環境内で単に観察されるだけの購入用のアイテムを識別するのに用いられる。これは、ユーザの環境において眼信号および目視追跡を用いて詳細に観察されるオブジェクトに基づき得る。一例として、ドレスが店頭内で観察されるかまたは別の人によって着用されている場合、および、オブジェクト認識を用いて、ドレスを購入するための1つ以上のオンラインソースを識別することができる場合、たとえば、テレビ放送中にディスプレイ上に表示されるかまたは標識上に描かれる現実世界におけるこのような観察されたオブジェクトを認識することに主として基づいて、購入を即時に行うことができる。
「世界はあなたの店舗である」方式の購入はオンライン購入と同様の態様で進められるだろう。主要な相違点は、任意には、購入されるべきオブジェクトの指定が、任意には、オブジェクトに添付された任意の識別タグ(たとえばバーコード、QRコード)を観察して登録することによって強化されたオブジェクト認識に基づいてなされる点である。この指定も、任意には、デバイスユーザとの対話によって支援され得る。たとえば、オブジェクトの主要部分が観察されていなかった場合、ユーザは、オブジェクトアイデンティティをより十分にかつ一意的に確認するためにオブジェクトを観察して当該オブジェクトと相互に対話することができる。一例として、ドレスを購入する場合、もともと前方から見られていたドレスの裏側を見る必要があるかもしれない。インタラクティブプロセスにより、裏側を観察するようにユーザに勧めることもできる。ユーザの視野内のテキスト、図表情報、方向情報または重ね合わされた「拡張現実(augmented reality)」情報をユーザに提示する対話型ダイアログにより、材料、能力、性能、品質、レーティング、友人同士での共通使用、価格、発送タイミングなどに関する眼信号により情報を対話式に提供するユーザの意思決定プロセスが容易になり得る。ダイアログはさらに、ユーザアイデンティティを検証したり、特定情報に関するユーザアクティビティの追跡を阻止したりするために、実質的に連続的または臨時にユーザ認証される可能性がある。購入の際に、アイデンティティまたは過去の振舞、能力、好みおよび要望、たとえばデバイスユーザのドレス寸法などに関する個人的基本情報のデータベースへのアクセスが必要となる可能性もある。オンライン購入中のように、購入のための認可はCBIDに基づいている。オブジェクトはユーザに関連付けられたアドレスに配達することができる。
代替的には、配達位置はまた、場所または個々人を自動的に認識することに基づいて指定することができる。たとえば、配達は、デバイスユーザによって視認されている人に関する個人アドレスに対して行なうことができる。配達はまた、デバイス着用者に関連付けられた場所の(たとえば、GPSを用いた)認識または指定に基づいて指定することができる。場所の認識は、たとえば道路標識または建造物のオブジェクト認識に基づき得る。
他のCBID対応のセキュアアプリケーション
さらに別の実施形態に従うと、有意義な情報を望ましくない受信者から遠ざけた状態で、デバイス着用者とセキュアな情報のソースとの間でのセキュアデータの交換を制御する装置、システムおよび方法が提供される。送信されたデータに最高レベルの精巧さでアクセスしようとする場合、CBIDシステムとセキュアサーバとの間の双方向通信を模倣しようと試みる潜在的な攻撃メカニズムが実行されるだろう。この理由のために、CBIDシステムと如何なるリモートコンピュータとの間の通信も暗号化される。暗号化キーは、製造された各々のヘッドウェアシステム、ターゲットirisCodeに割当てられた固有の識別コードを含み得るものであって、時間依存性/用途依存性であり得る。上述のとおり、CBIDシステム内での暗号化および復号化プロセスはまた、アクセスするのが困難なハードウェア要素を含み得るものであって、送信されたデータのセキュリティをさらに高めることができる。
眼信号制御シーケンスが認証を用いているアクティビティの例は、自動預金受払機から金銭を引出すこと;オンライン購入の実施;アイデンティティ(身元)が確認された眼信号シーケンスで任意に署名され得る電子署名を必要とするドキュメント;オンライン、プライベート、グループまたは他のテストのいずれかの形式中にアイデンティティ検証要件に準拠すること;専門家の運転、操舵または他の輸送などのさまざまな形式の雇用について記録(ロギング)時間などのアイデンティティと結び付けられる能力要件に準拠すること;ユーザによって口頭で提供されるかまたは読まれるインフォームドコンセントに対する承認を確認し、その後、読取中に起こるサッカード動作中に実質的に連続的にアイデンティティを確認すること;法的に拘束力のある合意の承認を確認すること;臨床試験または他の医学的研究、治療またはテストプログラムについてのデータの収集中にアイデンティティ検証要件に準拠すること;仮釈放、執行猶予のための読取り、チェックイン、作業または行為を必要とする任意の裁判所命令の活動中に、または刑務所内の囚人もしくはまたは他の形態で投獄されている囚人により、アイデンティティ検証要件に準拠すること;運輸保安局(Transportation Security Administration:TSA)トレーニングもしくはアクティビティ、戦闘もしくは情報機関トレーニングアクティビティ、情報機関トレーニングもしくはアクティビティ、センサストレーニングもしくはアクティビティを含むタスクの実行中に監視またはテストされている、政府監視下の従業員、エージェントまたは軍人のアイデンティティ検証要件に準拠すること;ユーザが手書きプロセスの取込みに関連する眼信号を用いているインスタンスを含む手書き中にアイデンティティを確認すること;眼信号開始または対話を含む、競い合うようなまたは専門家のビデオゲーム対戦中にアイデンティティを確認すること;後に情報に対して個人のアイデンティティが確認されたアクセスを行うために眼信号によって促進される情報の取込みまたは記録を行っている間に、減量、スポーツトレーニング、恐怖症克服、講演、禁煙、リハビリテーションプログラム、アイデンティティに対するタグ付けを含む個人の自己改善プログラム中にアイデンティティを確認すること;検証可能に識別可能なパーティが情報を共有すると決めた場合に互いに目視しているインスタンスに関連付けられる情報共有に関与するためにアイデンティティを確認すること;を含む。
別の実施形態に従うと、コンピューティングデバイスに対する共通のパスワードベースのアクセスを交換するかまたは強化する装置、システムおよび方法が提供される。このようなシステムは、パスワードおよび/またはセキュリティ質問と比べて、優れたセキュリティを提供し得る。これは、ユーザ識別がバイオメトリック的に行われる(すなわち完全に個人に固有となる)結果、さらには、自己完結型システム(self-contained system)内で完全にデバイス着用者を実質的に連続的に監視する能力を有する結果として、生じるものである。当該システムは、ほぼ1秒おきに、または任意の所望の頻度で、デバイス着用者のアイデンティティを実質的に連続的に再検証するように設計されており、潜在的には、現実の環境または仮想環境における生物または無生物の実体および動作を観察することを含む、眼信号形成または他の眼の活動中に起こるサッカード、マイクロサッカード中に再検証するのに十分なほど高速なサンプリングレートを含んでいる。パスワード入力後にユーザが(公然とまたは不注意に)交代することができる従来のパスワード入力とは異なり、CBIDベースのコンピュータアクセスシステムは、確実なデバイス着用者識別が失われた直後にセキュア動作を停止させることができる。
さらに別の実施形態に従うと、いわゆる「デジタル」または「電子」署名のセキュリティおよび利便性を向上させる装置、システムおよび方法が提供される。電子署名は、1)メッセージまたはドキュメントのソースが既知の送信元からであること;2)送信側はメッセージの送信を後に拒否することができないこと;および/または3)メッセージが送信中に変化しなかったこと;を示すために、さまざまな暗号化技術を用いている。CBIDベースのデジタル署名を生成することにより、メッセージの真のソースとして固有の個人を検証するためのトレーサブルな方法が提供される。デジタル署名の例に含まれるものとして、単純なバイオメトリック認証、任意の形式の個人の生産的生成が挙げられ、たとえば、アーティファクトを作成するためにタイピング、書込み、会話などを行い、その後、実質的に連続的な同時バイオメトリック認証でなされる生成動作にユーザの目視の焦点を合わせ得ることが挙げられる。
さらに、デバイス着用者のアイデンティティを実質的に連続的に検証することにより、連続的な一連のトレーサブルなドキュメントの生成を可能にする。このような電子的に署名されたドキュメントが法的拘束力のあるものとして容認される場合、法律文書を速やかに交換することができれば、多くの専門のサービスプロバイダがそれらのサービスのより多くをオンラインで安全に実行することが可能になり得る。このようなサービスプロバイダの例には、財務顧問、保険会社、弁護士、遠隔治療ベースでの医療診断および処方に関与する医者、および不動産販売業が含まれる。
通信リンク155は、有線イーサネット(登録商標)または無線技術、たとえば、IEEE802.11に記述された通信プロトコル、Bluetooth(登録商標)、Zigbee、ならびにLTE、GSM(登録商標)、CDMAおよびGPRSなどの携帯電話通信プロトコルなどを含み得る。慣例的に、多数の通信媒体およびプロトコルが、遠隔のセキュア処理ユニットに着用者識別状態および他のデータを送信することに関与している可能性がある。たとえば、無線(たとえばIEEE802.11)通信は、ヘッドウェアデバイスとローカルルータとの間で用いられてもよく、ローカルルータが次いで、いわゆるツイストペアワイヤードシステムを介してパケットを送信し、さらに、いくらか離れたところにある中央受信処理ユニット(たとえばサーバシステム)に対して光ファイバケーブルを介してデータを送信する。
いくつかの応用例では、外部処理ユニットに対するセキュア(たとえば、暗号化された)情報の一方向ソーシングと結び付けられるデバイス着用者識別の検証が必要となる。オンライン購入を実行するためのクレジットカード情報またはアカウント情報の入力は、このモードの例示的な応用例である。他の応用例は、デバイス着用者が確実に識別されているときにだけセキュアな情報の受信を必要とする可能性がある。機密扱いの読取り専用ドキュメントの表示はこのモードの例示的な応用例である。他の応用例では、デバイス着用者が確実に識別されている場合、セキュア送信を両方向に行う必要もあり得る。学力試験でなされる質問およびユーザ回答の両方を保護すべきとの要求は、この後者のモードの例示的な応用例である。
さらなる実施形態として、セキュアな情報の受信者を限定数の識別済み個人に制限するためのシステムおよび方法が提供される。たとえば、受信者側でドキュメントを記録または記憶する可能性なしに、プロプライエタリのビジネスドキュメントを識別された個人のグループに分配することが望ましいかもしれない。この場合、ドキュメントは、埋込み型デバイスにリンクされた復号化キーならびにデバイスユーザおよび/または特定のヘッドウェアシステムのirisCodesで、暗号化された状態で送信される。ドキュメントの復号化は、確実なCBIDがある場合、かつ任意には、個人の視界シールド(以下を参照)が適所に配置されている場合に、限定数の受信側ユーザ/システム内でのみ行なわれる。
さらに別の実施形態として、CBIDは、識別された個人(または個人のグループ)によってアクティビティの実行を検証可能に文書化するために用いることができる。この場合、特定のデータセットを読取るおよび/または観察する場合、デバイス着用者の視野の全体的な方向に向けられたシーンカメラによって取込まれた映像シーケンス、および/または、マイクロホンによって記録された音声シーケンスが記録される。デバイス着用者およびタイムスタンプの実質的に連続的な識別がこれらのデータに追加される。次いで、アクティビティ(たとえば、読取、観察)が実行されたことおよび誰がそれを実行したかについての証拠書類として、シーケンスを、リモートで、または(必要に応じて)短期間または長期間にわたってヘッドウェアデバイス内においてアーカイブすることができる。
このような実施形態の応用例には、アクティビティ中、たとえば、高価な材料(たとえばダイヤモンド)の処理、組立てラインの点検の改善(たとえば、不良品が除去されたかどうか)、トレーニングプロセス(たとえばドライバ教育)、医療処置(たとえば手術中に実行される処置)、大惨事(たとえば衝突に関わったドライバのアイデンティティ)、または、適切な個人によって十分に実行されている所要の点検(たとえばパイロットによる飛行前の飛行機点検)などのアクティビティ中に、個人のアイデンティティを検証可能に文書化することが含まれる。
他の応用例は、有名人、プロのスポーツ選手、熟練したビデオゲーマー、画期的な手術を実行する外科医、または動作を実行する他のエキスパートを含む。この場合、専門家の目視は、実質的に連続的に認証しながら、または間隔を空けて認証しながら、シーンカメラでの同時記録または仮想ディスプレイの記録によって取込まれる。結果として生じる「視線を向ける(gaze-cast)」こと(すなわち、ユーザの目視をレチクルの形状に同時に重ね合わせるかまたは関連するオブジェクトもしくは区域に焦点を合わせて外部映像を記録すること)は、認証可能であり、販売、ライセンス、娯楽用の個人へのリース、能力開発または他の用途に利用可能となる。
セキュリティの度合い
他の実施形態においては、システムおよび方法は、極度のセキュリティが必要とされるセキュリティレベルを含む広範囲のセキュリティレベルに適合可能である。極度のセキュリティレベルは、たとえば、高付加価値の軍事施設(たとえば核貯蔵庫)または秘密工作にアクセスするために、軍事用途時に採用されてもよい。このような極端な場合には、システムは、虹彩追跡カメラの視野の範囲内に虹彩または抽出された眼の画像を配置するなどの策略における高度な企てを警戒しなければならない。このような企てに対処するための手段の一例として、眼の生理学的反応を監視することができる。
セキュリティプロトコルは、イベントをロック解除するか、開始させるかまたは認証するために、複数の個人が何らかのアクションに従事することを必要とするかまたは一連の眼信号を必要とする可能性がある。CBID済みの視線追跡されているHMD着用中の個人は、イベントを開始するために、認証された並行アクション、連続アクションまたは相関したアクションの実行を必要とするセキュリティプロトコルに従うだろう。
これらの高セキュリティレベルの実施形態内では、セキュリティベースの測定は、環境が安全であるという単一の確信基準と融合させることができる。このようなコンポジット・セキュリティ・インデックス(Composite Security Index:CSI)は、セキュアな情報が表示されるべきであるかどうか、および/または信頼性があるとみなされるべきであるかどうか、を評価するために用いることができる。CSIを減らすと、たとえば、結果として、デバイスユーザの回答をさらにテストするためにセキュリティの質問または「ダミー」情報が追加される可能性がある。CSIが低下し続けると、さまざまな追加手順を取ることができる。たとえば、CBIDプラットフォームは、リモートのセキュアサーバによって、デバイス着用者の環境に関連する映像および/または音声を送信することが要求されるかもしれない。CSIに寄与するコンポーネントは、所望のセキュリティレベルに応じて、ナローまたはブロードになるように選択することができる。CSIコンポーネントは、以下のうち1つ以上を含み得る:
a.リアルタイムの虹彩スキャンに関連付けられた識別係数の(ストリンジェンシー基準を含む)一致の度合い;
b.高ストリンジェンシー(すなわち軸上)の虹彩認識から経過した時間;
c.軸外を目視中の眼周囲の領域とのパターンマッチングの信頼度;
d.虹彩の幾何学的形状、位置および動きを含む眼のバイオメトリックス;
e.デバイス着用者がディスプレイに関連付けられる方向を見るのに費やす時間(および一貫性);
f.眼のまばたき(すなわち、まぶたが虹彩を覆っている短期間)の存在、頻度および速度;
g.ヘッドウェアデバイスの構造的保全性を判断するセンサの出力;
h.ヘッドアップディスプレイまたは付近のディスプレイモニタ上の情報(たとえば質問)の表示時間と比較された、デバイス着用者フィードバック応答に関連付けられた時間経過の基準;
i.周囲照明条件の変化(瞳孔反応がこのような変化についての通常の範囲内にあるかどうかを含む);
j.ランダムな間隔でヘッドウェアシステムによって(照明を制御することによって)引起こされる瞳孔の光反射のタイミング;
k.(たとえば、ヘッドウェアを変更しようとする明らかな企てに対してディスプレイモニタを観察して)シーンカメラによって観察される画像が予想される環境と概ね一致しているかどうか;
l.マイクロホンによって監視された音声が予想される環境と概ね一致しているかどうか;
m.シーンカメラによって後に観察された画像と比較して、セキュアな情報源から生成されて付近のモニタに表示された符号化された映像パターンの一致の度合い;ならびに/または、
n.デバイス着用者のみに知られている(かつ、時間依存性であり得る)識別コードの入力。
上述のバイオメトリックアイテムfおよびjの使用の一例は、CBIDシステムを危険にさらす企てとして用いられる詐称者の写真の眼のコピー、コンタクトレンズまたは所有者から外科的に摘出された眼(陰惨)などではなく、眼に面しているカメラが、認証されるべきユーザの生体の眼を実際に視認していることを保証することであるだろう。
追加の実施形態においては、眼信号判断および認証は、システムアーキテクチャの最下位レベル内で維持される論理および機能として識別方法および認証方法をシリコン内に構築することによって、攻撃者を制限するように設計された特注のシリコン(特定用途向け集積回路(application specific integrated circuit:ASIC)を含む)内において実行される。これは、デバイスのプログラマブルソフトウェアを変更することに基づいてセキュリティ攻撃を防ぐのを支援する。また、この低レベルのシステムアーキテクチャ内で、ファームウェアまたはハードウェアにより符号化された命令を暗号化するための方法も利用可能である。
識別された個人による「眼のみ」の視認
別の実施形態に従うと、セキュアコンテンツを他人が観察することによって記録または記憶させることなく、セキュアな情報の受信者を実質的に連続的に識別された単一の個人に限定するためのシステムおよび方法が提供される。たとえば、オンライン試験の遠隔管理中に、試験を受けている人が試験問題を読むことができるようにする必要がある。しかしながら、他者に試験内容を知らせる意図をもって質問を記憶または転写する目的で、別の個人または記録装置(たとえば図1、カメラ125)が試験問題を観察するための方法があった場合、後日に行われる他者に対する同じ(または同様の)試験の管理の保全性が損なわれてしまうだろう。
このような応用例の場合、CBIDシステム100は頭部装着型ディスプレイと共に実現することができる。デバイス着用者のみに対してディスプレイを表示するように機能を制限するために、1つ以上の視界シールドをディスプレイのまわりに配置する。この構成の主要な局面は、実質的に連続的なユーザ識別およびセキュアな情報の表示の両方が同じデバイス内で実行されるという点である。セキュアコンテンツは、確実なCBIDを確立して、別の個人がセキュアコンテンツを観察できないようにするときにのみ、表示される。頭部装着型ディスプレイとデバイス着用者の眼との間の光経路に配置された如何なるオブジェクトによってもCBIDは機能しなくなる。
追加の実施形態においては、視界シールドが適所にあり、CBIDシステムのコンポーネントが不正に変更されていないことを確実にするために、センサを追加することによって、さらなるレベルのセキュリティを確立することができる。これを実現するための比較的単純な方法は、システムのすべての構造的要素および電子要素を通って直列に延びる導電性経路を追加することである。いずれかのシステムコンポーネントを不正に変更するかまたは取外すことによって、システムによって検知することができる電気的導通が遮断される。このような危殆化により、結果として、確実なCBIDが無効化される、および/または、セキュアな情報サーバに送信されたこのような危殆化が表示されることとなる。
同様に、頭部装着型ディスプレイを囲む視界シールドの構造的保全性は、接点スイッチ、押しボタンスイッチ、ホール効果スイッチ、反射光電池および/または容量性センサなどの広範囲の電子部品によって検知することができる。視界シールドは、たとえば、頭部装着型ディスプレイがシー・スルー・モード(すなわちシールドが取り外されている)または高セキュリティの「個人閲覧者」モード(すなわち、視界シールドが取付けられている)の両方で使用されることを可能にする非セキュアなアプリケーション時に目立たなくなるように、デュアル・ユース用に構築することができる。
極端な場合のセキュリティ用途のための別の実施形態においては、高度な不正防止機能をもつ視界シールドが永続的に配置された頭部装着型ディスプレイを製造することができる。極端な場合のセキュリティ用途のための別の実施形態においては、頭部装着型ディスプレイは、その不透明度が電子的に制御され得るエレクトロクロミック材料からなる追加の層または一体層を含む可能性もある。
さらに図7を参照すると、リモート処理ユニット160およびデータを表示するに用いられるデバイス400は、別個のデバイスであってもよく、互いからいくらかの距離をあけて配置され、セキュア(たとえば、暗号化された)通信リンク155を必要とし得る。代替的には、リモート処理ユニット160および表示装置400は、単一のパッケージに一体化されてもよい。処理および表示機能が一体化されたこのようなデバイスの例は、ラップトップコンピュータ、タブレットおよび携帯電話であって、ユーザ識別が確実になされた場合にのみセキュアデータを復号化するためのソフトウェアが符号化され得る。
図9Aおよび図9Bは、アイウエア・デバイス500への例示的なシステムの組込みを示す。アイウエア・デバイス500は、(ヘッドアップディスプレイ、HUD(head-up display)、網膜ディスプレイ、バーチャル・リアリティ・グラス、拡張現実グラス、またはスマートグラスなどのさまざまな他の名前でも知られている)頭部装着型ディスプレイ505を含む。図9Aに示されるように、システムは、虹彩115の領域を照らす視認可能なまたは近赤外線の光源400を含む。カメラ125は、虹彩115の画像および眼の領域における特徴を集めるために用いられる。ディスプレイは、構造化された(すなわち、表示画像を構成する)光が反射されるかまたは網膜52に投影されるように配置されている。アイウエア・デバイスは、1対の典型的な眼鏡と同様の態様でシステムの着用を可能にする耳ステム515および鼻当て510を含む。CBIDシステム100は、アイウエア・デバイス内に組込むことができるか、または、ウェアラブルコンピューティングデバイスまたはアイウエア・デバイスの付属品として構築することができる。
図9Aの場合、ディスプレイ505は、デバイス着用者が環境を見るために投影映像を通り超えて視認することができるように配置される。図9Bにおいては、視界シールド520は、デバイス着用者を除いては、個人(または映像システム)がウェアラブルディスプレイ505のコンテンツを見ることができないように、戦略的に配置されている。結果として、デバイス着用者は、ディスプレイ505を見るのに用いられているのと同じ眼を用いて周囲環境を見ることができなくなる。この設定により、ディスプレイ505のコンテンツの転記または記録が禁止される。スイッチ525および/または他の検知素子を用いることにより、視界シールド520が適所に配置されているかどうか、および/または、視界シールド520の隠蔽機能を無効にするような試みがなされたかどうか、を検出することができる。
ここに記載される「機械的な」視界シールドの代替例として、別の具体的な実施形態は、コンテンツが表示されている(すなわち、眼に向けられた)領域と外部環境との間の領域におけるヘッドアップディスプレイ(または眼に近い他の表示装置)の透明度を電子制御する。これは、外部環境における任意の人または記録装置がディスプレイのコンテンツを見ることができるかどうかを制御する「電子シャッタ」として機能する。光学的透明性またはエレクトロクロミズムの電子制御は、液晶(すなわち液晶表示デバイス(liquid crystal display device:LCD)において用いられるのと同じ原理)、懸濁粒子デバイス(suspended particle device:SPD)、ナノ結晶を含むいくつかのメカニズム、およびいわゆる「スマートグラス」内においてしばしば用いられる他のメカニズムによって実現することができる。
ここに記載される取外し可能な機械的シールドと同様に、HUDのまわりの材料の不透明度を制御することにより、デバイス着用者以外の者がディスプレイのコンテンツを見ることが禁止される(図9Bを参照)。電子制御の主要な利点は、たとえば、セキュアな情報が表示されていることをデバイスが認識している場合にのみ光送信を阻止するといった、不透明度を制御するためのデバイス自体の機能である。セキュアモードでない場合、HUDは、ユーザがディスプレイの「向こう側の」現実世界の環境を見ることができる通常のディスプレイモードで動作することができる。セキュア(すなわち、不透明)モードである場合、ユーザは、ディスプレイの向こう側の外界を見ることができず、より重要なことには、外部環境におけるどの人もディスプレイのコンテンツを見ることができない。この戦略は、表示機能を実行するコンポーネント、および阻止機能を実行するコンポーネントが、機能を無効にせずに分離することができない単一構造に接合されている場合に、特に有効になり得る。
付加的な動作モードとして、光遮断モードまたは不透明モードを用いることにより、HUD内の微細な詳細の視認を向上させるために外界からの干渉光を最小限にすることもできる。たとえば、ファインコントラスト構造、ダークコントラスト構造または低コントラスト構造の写真が表示されている場合、これらの構造は、環境からの干渉光(すなわち、いわゆる「ノイズ」)がブロックされている場合にデバイス着用者にとってよりよく観察され得る。不透明度を電子制御することにより、自動的に(すなわち、表示内容に応じて)、またはユーザ管理下でこの形式の制御を行なうことが可能となる。
この実施形態に対するさらなる改善例として、(表示領域全体に対する)HUDの特定領域における不透明度を制御することも可能である。不透明度を空間的に対処可能に制御するこのような場合、デバイスが、特定のセキュアな情報のまわりの1つ以上の領域だけをブロックすることが可能となる。たとえば、ユーザがセキュア領域以外の区域において外界を観察し続けることを可能にしながらも、アカウント番号または従来のユーザパスワードのまわりの領域が外部からの閲覧からブロックされる可能性がある。不透明度を対処可能に空間的に制御することは、同様のメカニズムがLCD投影デバイス内で用いられている(背面光がない)LCD技術に特によく適している(かつ、エレクトロニクス産業の範囲内で充分に開発されている)。
セキュアパーソナル増設メモリ(Personal Augmented Memory:PAM)
PAMは、媒体を、識別されたデバイス着用者の中長期メモリにまで電子的に向上させるためのコンポーネントとして眼追跡を利用するシステムである。情報のPAM記憶および検索は、完全に交換可能な情報モダリティ(画像、音声、ボイス、テキスト、アイコンなど)を含み得る。以下はPAMについての3つの全体的なステップである:
1.個人にとって重要な追跡可能なオブジェクトを識別し;
2.1つ以上の識別された追跡可能なオブジェクトまたは属性を含むマルチモードの結合されたデータセットの動的な履歴アーカイブを維持し;
3.追跡可能なオブジェクト規格または属性のいずれかのモードに基づいて1つ以上のデータセットを識別して検索する。
PAMにおける第1のステップは、識別された個人にとって「重要である」追跡可能なオブジェクトの記録を生成することである。これらの追跡可能なオブジェクトは、画像、オーディオクリップ、ビデオクリップ、テキスト、アイコン、タグ(たとえば価格、製造業者)、マップ上の位置ベースのタグ付けされたオブジェクトを含むさまざまなモードであり得る。変換アルゴリズムは、各々の追跡可能なオブジェクトに関連付けられたさまざまな記憶モードをすべて結合するために用いることができる。たとえば、画像認識は、1つ以上の画像内のオブジェクトを識別(たとえばテキストに変換)するために用いることができ、音声認識は音声をテキストに変換するために用いることができ、テキスト・トゥ・ボイス(text-to-voice)はテキストを音声に変換するために用いることができ、アイコンは、特定のオブジェクトまたはオブジェクトのグループに関連付けることができる、などである。さらに、目視によって示される関心のある領域は、シーン処理要件を減らし、単にユーザ識別済みオブジェクトが関連付けられているだけの情報を識別するために、irisCodeベースの認証と同時に、関心のある領域と結び付けられてもよい。
情報の付加的変換を必要に応じて適用することができる。たとえば、テキストまたは音声は1つの言語から別の言語に変換することができる。画像認識は特定のオブジェクトを認識するために拡張することができる。たとえば、自動車を認識するためのアルゴリズムはデバイス着用者の特定の自動車をさらに識別するように構成することができる。オブジェクトの価格および物理的特徴(材料、設計特微など)を識別することができ、アーカイブアルゴリズムに含めることができる。
個人ユーザは、個人化された追跡可能なオブジェクトをいくつでも生成することができる。最も一般には、目視追跡は、1つの環境において観察されているオブジェクトを識別するために用いられる。追跡可能な画像オブジェクトもダウンロードされた画像または写真(たとえば道路標識、エッフェル塔)から識別することができ、この場合も、目視追跡は観察中にオブジェクトを識別するために用いられる。観察されたオブジェクトは、たとえば、画像認識に基づいて識別およびインデックス付けすることができる。他のモダリティ(たとえば音声フレーズ)は、同様に、将来の検索のために分類(すなわち認識)およびインデックス付けすることができる。
PAMの第2のステップは、画像、映像、テキスト、音声などを含み得るそれらの関連付けられたモダリティと共に、観察されたオブジェクトのインデックス付けされたサーチ可能な履歴アーカイブを動的に追加して維持するステップを含む。記録生成時に利用可能な追加情報も追加オブジェクト「属性」を定義するために記憶することができる。これは、たとえば、存在しているデータセット、地理的位置、他の識別された個人などを発生させた作成の日および時間、ユーザならびに/またはデバイスを含み得る。
何回でも繰返すことができる最終ステップとして、インデックス付けされオブジェクトおよびそれらの関連するデータの検索は、たとえば、オブジェクトまたは同様のオブジェクトを観察することに基づき得る。情報検索のための基準は、たとえば、音声認識、テキストのセグメント、特定のオブジェクトまたはオブジェクトのクラスに関連付けられたアイコンなどを含み得る。追加の実施形態においては、最初に情報を記憶するために用いられる情報モードは、データアーカイブから情報を検索するために用いられるモードと一致させる必要はない。
たとえば、GPSベースの位置で特定の財布を識別するために財布の画像を用いることができるかもしれない。財布についてデータ検索は、「私の財布はどこにあるのか?」などの口頭での質問に応答するものであってもよい。財布について検索される後の情報は、デバイスユーザの現在位置に対する財布の位置を示す、方向性マップの形式(すなわち、さらに別のデータ形式)であってもよい。
特定の所望のデータセットの検索は、さらに、オブジェクトの属性に基づいて分離することができる。上述のとおり、属性は、オブジェクトについて記憶された補足的情報を含む。属性が位置、日付/時間およびコストを含む場合、PAMシステムは質問に答えることができる):「私が先週の火曜日にデパートで見た最も安価なシャツはどれであるか?」
2つ以上のデータセットが検索基準に一致する場合、デバイスユーザは、1)如何なるモード(オブジェクトをより厳密に観察すること、言葉を話すこと、属性を指定することなど)を用いて、追加の入力に基づいたさらなる分離を可能にするか、または、2)実現可能な所望のデータセットのサムネイルスケッチを、たとえば逆の時系列で表示することができる。
PAMを利用する別の例示的なシナリオは、1組の机引出しキーなどの新しく観察されたオブジェクトを常時監視しておくための能力である。デバイスユーザは、キーを視認することから始めて、「私の机の引出しのキー」と述べる。キーが視認されている場合は常に、キーが視認されている場所および時間を含むデータセットが記憶される。その後、「私の机のキーはどこにあるのか?」と尋ねられた時に、デバイスは、キーが位置している場所の画像と、それらキーが最後に見られた時間とを返答する。
PAMデータの記憶をトリガする最初のイベントが「仮想オブジェクト」であるPAMのさらなる一例として、個人を、その人のオンライン画像または映像の形式で観察することができる。その個人は、オンライン情報により、または、視認されたときにたとえば「ジム・スミス(Jim Smith)」と名前を述べることによって、識別することができる。次いで、他の所望の属性(年齢、仕事など)を述べることができる。後続のデータセットは、個人本人がまたは実際に観察されたときにはいつでも追加される。その後、ユーザは、「私がジム・スミスに最後に会ったのはいつであるか?」という質問を尋ねることができる。加えて、デバイスは、ジム・スミスがシーンカメラによって観察されている場合は常に、彼を識別することができる。
PAMの使用の別の例は、個人の自動車を視認して「私の自動車」と述べることから始まる。自動車が駐車されると、その自動車が識別され、新しい画像および自動車の位置を含むデータセットが作成される。その後、デバイスは、「私の自動車はどこにあるのか?」という質問に対する回答を表わすスクリーン上のアイコンに応答することができる。
「あまりにも多くの情報」が利用可能になる場合、デバイスユーザは、指定されたデータセットおよび/またはターゲットオブジェクトを「忘れる」ためのメカニズムを組込んでもよい。たとえば、データセット生成の時間は、キーまたは個人の自動車からなる特定のセットについての前回の位置などのより古いアイテムを「忘れる」ために用いることができる。異なる基準を異なる追跡可能なオブジェクトに割当てることができる。
情報の記憶および検索はともにCBIDに基づき得る。データセットは、リモートプロセッサ内において、および/またはクラウドベースのシステム全体にわたって分配されて、ウェアラブルデバイス上に存在し得る。アーカイブの位置に関係なく、このような情報の記憶および検索はともに、PAMのCBIDソースに限定することができるか、またはPAMのCBIDソースによって認可された個人のグループに限定することができる。CBIDを用いると、単一のデバイスが複数の個人によって着用されている場合であっても、ある個人への情報を切り離すことによって、その個人に限定することができる。
現実のオブジェクトおよび仮想オブジェクトと対話するための生体力学に基づいた眼信号のためのシステムおよび方法に記載されているように、眼信号(特に機械学習技術を含む信号)はユーザの意図を見分けるために用いることができる。これらの方法を用いると、PAMベースの情報を検索し、デバイス着用者に「提案する」ことができる。これは、データ検索についての(特定の質問に対処する場合と比べて)より抽象的な方法である。しかしながら、デバイスは、環境において観察されているオブジェクト、行なわれた問合せ、時刻、地理的位置、認識された言葉などに基づいて、アーカイブされたデータを提示することができる。さらに、将来の「提案」は、デバイス着用者が「提案」を容認するかまたは拒絶するかどうかに基づいた機械学習アプローチに対する変更に基づき得る。
セキュアな人同士の通信(EyeConnect)
一形式として、我々は、共通の関係を見出したり共有の関心分野を見出したりしたとき、ビジネスの状況下であろうと、社交の状況下であろうとも、個人で会合する際に有線通信を行う。通信すべきかどうか、どのように通信すべきか、および何について通信すべきかを決定するプロセスは、本質的に非効率的であり、しばしば社会的に厄介である。さらに、人の記憶力は不完全であり、我々は、しばしば、名前または以前の会合での状況などの前の会合の詳細を我々が忘れてしまった人に遭遇することがある。我々はみな、このような遭遇に起因する社交上の気まずさと、これが社交的会話を妨げる度合いに関して敏感である。
「EyeConnect」と称されるプロセスおよびアプリケーションは、ウェアラブルコンピューティングユーザのための方法であって、明確に選択され適切に制御されたレベルのセキュリティおよびプライバシーを維持しつつ、対人間のさまざまなレベルの接続を向上させ、より効率的にするための方法である。EyeConnectは、単純な互いとのアイコンタクトに応じて、互いの視界内で個人同士の接続および通信を向上させる。CBIDベースのEyeConnectは、たとえば、セキュリティおよびプライバシーのレベルが確立されているCBID登録済み個々人間における接続を確立することによって、個人のプライバシーを提供する。
このアプリケーションについての実施形態の例は:
1.互いに知り合いであるが、以前の遭遇の詳細を忘れた人々のために、EyeConnectが、最初に視線を交わした後に忘れられた名前を即座に提供し、個人的に直接会ったことを裏付けする、他の状況的に関連する情報をシームレスに提供する。
2.ビジネス関連、教育関連、政治関連、社交関連のイベントまたは他の会場で初めて会う人々のために、有意義なつながり、関連するつながりおよび有益なつながりは主として偶然に任せられるものであって、発展するのに時間がかかる。現在、個人間のつながりを自動化するかまたは向上させようと試みるシステムおよび手順が存在しているが、これらシステムおよび手順は、既存の通信フローおよび社会的交流にとっては非効率であり、不確かであり、不正確であり、しばしば不便であって混乱を招くものである。EyeConnectは、このような集まりにおいて新しいつながりを確立する際に安全なレベルの効率性および流動性を可能にする。
3.個人的な(すなわち第三者、CBIDに登録済み)紹介を介して初めて会合する個人同士のために、EyeConnectは、関連する共通のつながり、経験、関心などで個人間のやり取りを向上させつつ、状況的に関連する情報のやり取りを促進する。
4.ビジネス上または社交上の交流のために集まる個人のグループのために、EyeConnectは、情報を共有するために確立された動的に形成されたグループ内において個人を追加したり含めたりすることを容易にする。
EyeConnectionに従って交換され得る情報のモダリティの範囲は、また、EyeConnectの値を拡張する。ディスプレイ(たとえばHUD)上に即座かつ別々に共有される目視情報だけではなく、聴覚情報も、距離をあけて視線を交わす2人の個人間で確立され得る瞬間的「通話」として交換され得る。これは、いくつかのセキュリティ・アプリケーション、社交的状況(たとえばパーティ、法廷現場)、および人々が互いを見つけて離れた所からチャットすることを所望し得る他の集まりのために、有用になり得る。
具体的な実施形態においては、EyeConnectは、顔面認識または他のオブジェクト識別ソフトウェアに対する如何なる禁止をも尊重しながらも、これらの機能を実行する。とは言うものの、EyeConnectに関連付けられたアーキテクチャは、ウェアラブルカメラの視野内の人々を自動的に認識することを最終的に許可することを意図している。実際には、CBIDは、カメラ画像を取得した個人のアイデンティティがそれらの画像に関連付けられること、および/または、このようなアクティビティが行なわれていることが観察されているいずれの人にも通知するのに用いられること、を確実にすることによって、プライバシー問題点を緩和するのに役立ち得る。CBIDは、個人が画像取得者(image-taker)のアイデンティティに基づいてこのような画像を許可する場合にのみ、カメラ画像の記憶および/または転送を許可または禁止することができる。さらに、識別済みデバイスユーザを取得されたいずれかの画像に関連付けることにより、不適当な画像の取得を阻止する役割が果たされるはずである。再犯者は、画像ファイルおよび映像ファイル内に記憶された彼らのアイデンティティに基づいて、識別可能となるはずである。
EyeConnectアプリケーションはまた、近接度が関連している個人同士の情報交換のための地理的位置特定およびその準備を、それが一方向であろうと双方向であろうと、サポートする。別の具体的な実施形態においては、EyeConnectの2人のユーザは、彼らが接続されるべきであるかどうかまたは既に接続されているかどうかを判断するために、しばらくの間、互いを目視する。同時かつ同じ地理的位置において開始させるために互いの眼を目視することで、「スパーク(Spark)」を発生させる。2人のユーザがまだEyeConnectedされておらず、十分な「共通性」を有している場合、スパークが「点火(Ignites)」し、ユーザは、導入的な個人的会話をサポートするために状況的に適切な情報とともに「接続アラート(Connect Alert)」を受信する。
眼を用いて、接続アラートに従ってディスプレイと即座に対話すると、接続した1組のユーザは、互いに関する選択情報をブラウズすることができる。これは、互いと物理的に会話する前、会話する間または会話した後に行なわれてもよい。EyeConnectはまた、接続アラートによって最初に共有されるもの以外の、どちらかのユーザが提供すると決めた追加情報の共有および転送を容易にする。
EyeConnectをサポートするのは2つの主要なコンポーネント、すなわち1)ユーザの「ペルソナ」および2)ユーザの「イベント・プロファイル」、である。ユーザのペルソナは、Facebook(登録商標)またはLinkedlnなどのリンクされたアカウントからの情報が手動で入力されるかもしくは自動入力されてもよく、および/または、ユーザのオンライン・フットプリントからの他の情報を活用してもよい。ペルソナデータは、名前、目的、関心、職業、雇用者、家族メンバー、同僚、交際関係、趣味、故郷、お気に入りのスポーツチーム、お気に入りの音楽などのような情報を含む。
ユーザのイベント・プロファイルは、一致および共有の両方を容易にするための情報を含んでいる。ユーザは、1組の標準化されたイベント・テンプレートから始まるイベント・プロファイルを、フィールドがユーザのペルソナからのデータでポピュレートされた状態で確立する。イベント・プロファイルは、自動的にまたは手動でポピュレートされてもよい。「スパーク」(すなわち、同時にローカルで交換された視線)の後、EyeConnectは、2人のユーザのアクティブなイベント・プロファイルからのデータを比較することにより、「点火」して接続アラートを生成すべきかどうかを判断する。選択されたトピック、接続の関心および/または他のファクタの範囲内の共通性に基づいたしきい値を用いて、点火がいつ行なわれるべきかを判断する。一致を評価するための情報を提供することに加えて、各々のイベント・プロファイルはまた、どんな情報を接続アラートにおいて共有しなければならないかを正確に規定する。そのため、イベント・プロファイルは、点火が行なわれるべきかどうかと、もし行なわれるべきであるのであれば、どのような導入的情報が自動的に共有されるべきであるかとを判断するために用いられる。
1組の標準化されたイベント・プロファイル・テンプレートは、ビジネス会議、パーティ、法廷現場、クラスルーム、仕事場、休暇、街頭風景、スポーツイベント、海岸風景、教会、セールスミーティングなどのイベントのために利用可能になり得る。各々のテンプレートは、ユーザまたはユーザのグループによって特定用途向けに受注により構成されていてもよく、新しいイベント・テンプレートはEyeConnectユーザーコミュニティ内で作成されて共有されてもよい。
デバイスユーザはまた、広範囲の日常的な条件を満たすためのカスタマイズされたプロファイルをいくつでも維持することができる。たとえば、ユーザは、一般的なビジネス、複数の特定のビジネス会議および他のイベント、教育イベント、趣味の集まり、社会的相互関係、教会、などといった状況をカバーするためにプロファイルを維持し得る。異なる状況ごとに異なるプロファイルを維持することによって、家族、友人、親しい友人、仕事関係者、親しい仕事関係者、教師、利益を共有する個人同士などのグループに対する情報の普及を、注意深く、予め計画された態様で制御することができる。
ある状況から別の状況への移行は、1)状況が変化したことをユーザがデバイスに知らせる場合には明示的であり得るか、または、2)デバイスが異なる状況を認識する場合には暗黙的であり得る。状況の条件は、顔認識、(なじみのある)オブジェクト認識(たとえば自宅内のオブジェクト)、(たとえばゴルフをプレイするスポーツイベントにおける)特徴的なアクティビティの認識、地理的位置(たとえば空港、病院)、標識、ユーザのカレンダ上の予定されたイベント、デバイスによって最近実行された他のアクティビティ(たとえば、会議またはホテルの登録)、(たとえばコンサートにおける)音楽の存在などを含むいくつかのファクタを考慮に入れることに基づいて、認識することができる。いくつかの状況においては、2つ以上のプロファイルは一度に実施されてもよい(たとえば、趣味および社会事業が同時に企てられてもよい)。この場合、交流は如何なる適用可能なプロファイル内の許可に基づいてなされてもよい。交流はまた、(たとえば、同じ都市に住んでいる特定の時間フレーム内での)興味関心および/または特定条件での重複の度合などの他のファクタに基づいて「条件付き」で行なうこともできる。
すべてのレベルの対話では、情報の交換は、参加者についての確立されたアイデンティティと情報交換のための予め確立されたプライバシーのレベルとに基づいている。たとえば、侵入者が、一時的に配置されたデバイスを別のデバイスと置換えるかまたは拾い上げてEyeConnectのプライベートなデバイス所有者情報を第三者に転送し始めるために、CBIDを用いることは不可能であるだろう。
別の実施形態として、以前にEyeConnectを介して会った2人のユーザ、またはEyeConnectのネットワーク内の知り合いとして互いに接続した2人のユーザが、互いの名前を思い出すことができないといった当惑する場面に直面することは二度とないだろう。EyeConnectは「目に見えない名札」などを有効に提供する。2人の元知人同士が、名前を思い出すことおよび前回会った時の情況全体のおかげで、即座に互いに再び知己となることができる。これは、前回出会ったイベント、場所、時間、共有される情報、およびさらには、前回会ったときまたはその後に記録された補足的情報についてのリマインダを含む。
さらに、EyeConnectは、状況的に関連する情報を即時に提示する、関係する個人についての瞬時のオンラインサーチの結果を提供する。このような会合におけるユーザはともに、同等の立場にあり、EyeConnectによって提供される無害で流動的な記憶の強化に安心感を得る。
さらなる実施形態においては、2人以上のEyeConnectされた個人同士の重複する関心事項を識別して表示することができる。このような関心事項は、前回の会合および識別されたトピックについての情報交換の履歴コンテキストに配置することができる。
実施形態を例示するのを支援するシナリオとして、デバイスユーザ1(U1)は、会議においてはユーザ2(U2)に遭遇する。彼らは会ったことがないが、ともに、以前は同じ会社で働いており、共通する多くの人々と知り合いである。彼らは、会議より前にEyeConnectについてのビジネス会議イベント・プロファイルをロードしていた。このイベント・プロファイルは、会議に出席する彼らの個人的な目標、彼らのジョブ履歴、前の会社の親しい同僚の名前、さらには、EyeConnectionの「スパーク」に関するものと見なしている他の情報をも含んでいる。彼らはまた各々が、彼らのお気に入りの趣味、彼らの妻子の名前、子どもが通う学校、およびさらなる個人レベルのつながりをもたらし得る他の個人データを含めるようにビジネス会議イベント・プロファイルを構成した。U1は、彼の専門背景に関するものについてのみ情報共有を許可するために彼/彼女のビジネス会議イベント・テンプレートを構成した。U2の構成は、すべての一致するアイテムの共有を許可する。
EyeConnectをアクティブにした状態で昼食の列に並んでいる間、彼らは、接続すべきかどうかを確かめるために、一瞬の間、お互いを見る。彼らのウェアラブルデバイスの各々は接続アラートを表示する。両者は、彼らが以前に共通の会社に所属していたことを読取り、U1は、彼の子どもとU2の子どもとが同じ学校に通っていることを知る。彼らは各々、他方の目的が会議に関するものであることを知り、彼らのプロファイルから選択的に共有される他の情報をスクロールして見る。彼らは、次いで、会話を始めて、直ちに、彼らの関心の共通分野を共有し、会議について彼らの目的をさらに詳しく説明する。彼らは、EyeConnectアプリケーションを介してクレデンシャルを交換し、面会する時間を調整する。数分の内に、彼らは初期接続を終えて、他の出席者とのEyeConnectに移る。
他の実施形態を示すためにシナリオを拡張すると、U2との会議中、U1また、ユーザ3(U3)とも簡潔にEyeConnectする。その後、U1はパーティでU3を見つけ、彼女/彼が知り合いであると考える。U3およびU1は互いを見て、スパークを発生させ、EyeConnectは、U3およびU1が既にEyeConnectしていたことに気付く。パーティイベント・プロファイルは、知人プロファイルによって無効にされ、U3およびU1のためにEyeKnowUアラートが生成される。U1は、U3の名前、彼らが会った別のイベントについての言及、およびU3がイベントで共有した情報を見る。U1は、現在のパーティイベントについて新しい一致によるイグニションがあることに気付き、眼信号により、パーティについての接続アラートを見ることを選択する。U1は、パーティ情況についてU3によって提供された何らかの追加情報を確認し、U3もパイロットであることに気付く。U3が同じことに気付く。彼らは、互いに挨拶し、前回会ったことを認めて、飛行についての彼らの情熱に関してディスカッションを始める。
EyeConnectサービスは、他の個人の画像に顔認識を選択的に適用することができる。特にこの機能が禁止されている環境においては、視野内の人々についての情報を不正に提供することを回避するためのステップを採用することができる。2人が互いを同時に目視する場合、EyeConnectの視線追跡ソフトウェアは、ウェアラブルシーンカメラとともに機能して、ユーザが使用を許可した情報から引出すスパークイベントを定義する。たとえば、上述の例においては、U1のEyeConnectアプリケーション内の視線追跡ソフトウェアは、U1が別の人の眼を目視していることに気付く。U2のEyeConnectソフトウェアは、同時に、U2が別の人の眼を目視していることに気付く。各々は、目視されている人の顔を仮に一時使用できるように写真に取るので、
U2はU1の顔を捉え、U1はU2の顔を捉える。顔の特徴は突合せのために各々の顔から抽出されてもよく、画像はユーザ確認のために保持される。
各々の画像は、時間および地理的位置がスタンプされ、スパークテストのためにサーバに送信される。U2の画像が(EyeConnectのために登録されたときにU1によってEyeConnectに提供されるU1の顔の予め記憶された画像を用いて)U1の時間、顔および位置と一致する場合、かつ、U1の画像がU2の時間、顔および位置と一致する場合、サーバは、U1とU2との間の「スパーク」を公開する。彼らには各々、接続アラートの一部として確認用のオリジナル画像が提示される。任意には、各々のユーザのペルソナ画像が、依頼するユーザと共有されてもよい。
サーバは、次いで、個人のプライバシーを尊重して、一時的に取込まれた画像および抽出された顔の特徴を破棄し、彼らのイベント・プロファイル情報を用いて、「共通性のしきい値」のためにスクリーニングする。接続しきい値がクロスされていると想定すると、サーバがそれらの間の「接続」を公開し、さらに、互いの接続アラートが生成されて、彼らのイベント・プロファイルによって指定される情報を共有させる。
例外処理および追加特徴
電力消費および利用可能な帯域幅はすべてのウェアラブルデバイスについての普遍的な問題である。EyeConnectが使用可能にされると、たとえば、規定されたユーザの視野(FOV)内で、1秒で、または他の所望の間隔で、目視追跡を実行することができる。各々の取込まれた視線について、目視ポイントがウェアラブルカメラのFOVの範囲内における制限された関心エリア(area-of-interest:AOI)上にマッピングされる。EyeConnectアプリケーションはこのAOI内にある顔を探す。顔が発見されて、その顔がヘッドウェアデバイスを着用しているように見える場合、その顔の画像をEyeConnectクラウドに送信して、そのユーザが互いに見つめ合うことに関与しているかどうか判断することができる。許容可能なデバイスレイテンシのための多くの最適化機会が存在している一方で、眼によって開始される接続要求を含む電力消費の低下を維持しながらも、プッシュまたはプルされた地理的位置データが、他のアクティブなEyeConnectユーザへの近接性に基づきアクティブなEyeConnectユーザに送達され、さらには、ヘッドウェアデバイスを着用している顔についての画像処理を最適化するための方法がある。
さらに具体的な実施形態として、EyeConnectは、アイデンティティおよび/または追跡の精度が低いことまたは全くないことに起因して性能がグレースフルデグラデーションとなっている状態で、ウエアラブルコンピュータ上の広いFOV内で、低精度の視線追跡または一時的にでも実行不可能になる視線追跡に対する許容差で、動作するように設計されている。目視追跡技術は、画像内から単一の顔を選択するのを支援する。1組のユーザの選択も時間スタンプおよび地理的位置スタンプによってスクリーニングされる。
上述したように、EyeConnectはユーザの目視に基づいてAOIを抽出する。AOIのサイズは推定された目視精度によって判断される。たとえば、±10度の目視点精度は、画像分析の場合には20+度の半径AOIを要求する可能性がある。システムが目視追跡に完全に失敗すれば、AOIはシーンカメラのFOV全体になるだろう。これは、互いに見つめ合うデバイス着用者の顔を識別するのにより多くの処理パワーを必要とするだろう。
互いに見つめ合う人同士のスクリーニングおよび認識はまた、デバイスを着用している個々人について視覚的にスクリーニングするコンピュータ・ビジョン(computer vision:CV)法を用いて向上させることもできる。デバイスは、デバイスおよび/またはユーザに付された1つ以上の外装された赤外線(infrared:IR)発光ダイオード(light-emitting diode:LED)および/または特定の認識可能パターン(たとえば、可視もしくは赤外線)などの制御された視覚情報によってこのようなCV方法を支援することができる。IR LEDは、IRベースの視線追跡または他のデバイスと対立することを避けるために、または(特定の変調パターンを符号化することによって)特定の個人を識別するために、変調することができる。他の形式の調節型の/特徴的な情報交換も含まれ得る。
さらに具体的な実施形態として、まれではあるが、いくつかの同時に同じ場所に位置するEyeConnectユーザの間で発生し得る潜在的な誤接続の問題について検討する。デバイスを着用している4人のEyeConnectアクティブユーザについて検討する。U1およびU2は並んで着席し、U3およびU4は互いの隣りに着席している。U1およびU3は互いを見て接続を希望し、U2およびU4はまた互いを目視している。精度が不正確であれば、システムは、U1とU4とが互いを目視し、U2とU3とが互いを目視していると考える可能性がある。この場合、システムは、この状況に対処するためにいくつかのメカニズムのうちのいずれかを提供する可能性もある。
1.EyeConnectは、エラーについての可能性に気付き、ユーザに警告し得る。
2.EyeConnectは、最良の推測を行い、容易な訂正を利用可能した状態で、確認を要求し得る。
3.EyeConnectは、各々のユーザが潜在的にターゲットとなる個々人の中から選択することを要求し得る。
2人のユーザが互いを見たときに各々のユーザの顔を映したスナップショットが、2人のユーザが互いを実際に見ていることを検証するための情報を提供するために一時的に維持されることが、想起される。上述において示唆されるように、このスナップショットの入手可能性および適切に時間調節された表示により、意図された接続が保証され得る。スナップショット、またはターゲットのペルソナからの既存の画像はこの目的のために用いられてもよい。
精度のために、1人の付加的なデバイス着用中のEyeConnectユーザからさえも遠ざかる方向に視線が向けられてしまっているこの例の変形例は、ユーザインターフェイス内の適切な情報と結び付けられたより大規模なAOIのさらなる処理を組合わせることで対処され得る。潜在的なエラーの発生率は、偽陽性であろうと、偽陰性であろうとも、視線追跡の精度が低くなるにつれ、かつEyeConnectユーザがより多くなるにつれて、高くなる。
以下は、付加的な任意の例示的特徴であって、そのいずれか1つ以上はEyeConnectシステム内に含まれ得る:
1.EyeTalk − 「音声接続」をサポートするEyeConnect
2.地理的に位置付けられたメタ情報 − 以下のa)〜c)に関する迅速に視覚的に提示された情報:a)近辺の知人(近くにいる知り合い);b)接続しようとしている潜在的なEyeConnectユーザへの近接度(彼らユーザをどこで探すべきか、なぜ接続すべきかなどについてのガイダンスを含む);ならびに、c)名前を想起させるものおよび絵のリストを含む促進型接続。
3.EyeNotes − 音声転写可能であるか;テキストとして追加することができるか;またはFacebook、Linkedlnなどへのスクリーニングされたアクセスに基づき得る、知人に関する注釈。
4.プレイベント接続 − ユーザがイベント・プロファイルをロードすると直ちに、ConnectionAlertsも許可され得るイベントについての時間および場所を指定する。
5.眼信号方式なしでの動作 − 地理的位置を含む任意の形式の識別に基づいた人々についての一般的情報。
6.UniSpark − 彼らのペルソナまたはイベント情報への一致および/またはアクセスを許可することを選択した他のデバイス着用中の個人の眼信号の選択。たとえば、ユーザ1(U1)は、依頼するユーザとの一致(一方向に共有または双方向に共有)を許可することをEyeConnectを介して選択した別のデバイス着用中の個人であるユーザ2(U2)を目視し得る。一致した場合、U1はU2についての情報とともにConnectionAlertを受信する。任意には、U2がConnectionAlertを受信してもよい。EyeConnectがU2に対してアクティブであり、U2が非目視(non-gaze)アラートを使用可能にした場合、U2は、目視なしでの(Gazeless)接続アラートを使用可能にする。U2がEyeConnectを実行していない場合、U2は、依頼者である一致するユーザから、ログされた接続アラート情報で確立されたいずれの接続についてのそれ以降の報告をすべて受信し得る。
7.AnySpot − 顔認識が許可されている位置、時間および/または状態で、デバイスユーザは、情報を取得するために、ユーザがウェアラブルコンピューティング/EyeConnectを用いていようと用いていなくても、如何なる顔をも見る可能性がある。顔認識を用いると、デバイスユーザは、自身が目視している各個人に関して、自分自身の接点を含めて、如何なる使用可能情報を如何なるソースからも受信する。EyeConnectは、(想起、注釈などを含む)一方向の情報アクセスおよび2方向の情報交換をサポートしながら、情報のAR表示を含むディスプレイベースの情報を提供する。
以下は、各々の構成内の特徴的な要素と共に付加的な具体的接続構成からなるリストである。すべての実現例は、CBIDベースであり得るものであって、コンタクトレンズ、電話および/または外部カメラ、さらには、視線追跡、および非拡張現実/仮想現実、拡張現実および仮想現実の状況のためのディスプレイに適応し得る。
ダイアログによって任意に支援された目視支援型オブジェクト識別
静止場面または急速に変化する一連の画像からオブジェクトを識別するためのコンピュータ・ビジョン技術は、典型的には、実質的な処理パワー、非局所的な処理のための画像データの高帯域幅送信、高解像度のデジタル画像、非実時間処理、限定的な処理パワー、カメラ解像度、伝送速度、バッテリ電力および/またはメモリによって制約されているウェアラブルカメラ搭載型コンピュータ上での有意義な汎用のインスタントオブジェクト識別に貢献しない他の要素、からなる何らかの組合せを必要とする。視線追跡技術における近年の進歩により、低出力で、低処理、自己完結型のウェアラブル技術のデプロイメントが可能になる。この技術は効率的であり、集中型であり、かつディスクリート(すなわち、専用的)である。シーン内の関心分野、または急速に変化する一連の画像にわたる関心分野を指定するために人による認識的選択を追加することにより、異なる情況におけるオブジェクトを視覚的に識別するのに必要なリソースを劇的に減らすことができる。さらに、ウエアラブルコンピュータが、リソースが制限された状態で、コンテキストにわたってオブジェクトを識別することを可能にするために、人による認識処理をマシン処理と流動的、直観的かつ急速にマージするインテリジェントな交換をコンピュータビジョンサーチ中に可能し得る視覚フィードバックシステムが望ましい。
ソフトウェアとユーザとの間の「ダイアログ」はオブジェクト識別を確認するかまたはオブジェクト識別に寄与するために用いることができる。オブジェクトは、確認されると、EyeConnectionsおよび/または情報共有のために用いることができる。
個人情報についての構造化された交換
情報の選択的な共有を許可して容易にするためのペルソナベースのマッチングは、ディスプレイの有る無しに関わらず、リアルタイムで、近接して(地理的位置)、特定の共有のためのイベントベースのプロファイルで、ウェアラブルコンピュータシステムを用いることを含み得る。共有したいという意思を示す他の表示は、互いに見つめ合うこと、一方が見ること、握手、および/または、他の信号(たとえばボディランゲージ)もしくはジェスチャを含む。システムは、局所的もしくは遠隔的な情報管理、スクリーニング、および/または、ユーザ指定の情報の転送を含み得る。システムはまた、特定のスクリーニング基準および共有基準を含み得るイベント・プロファイル属性のコミュニティ共有、改良およびレーティングをも含み得る。
関連性を判断するための情報のイベントベースの選択
イベントフィルタは、個人/対話の関係の関連性を判断するために用いることができる。これらは、ユーザロード可能な基準、カレンダロード可能な基準、アルゴリズムによって生成されるフィルタ、相互にもしくは協同的に選択された基準、および/または、動的にロードされた基準、を含み得る。ダイナミックフィルタはイベント前、イベント中またはイベント後にロードすることができる。
関与する当事者を同時目視によってプライベートに判断
システムは、ウェアラブルデバイスを用いて、互い同士の方を見ている個々人の画像を比較することができる。当該システムは、イベント・プロファイル、タイムスタンプ、および/または地理的位置を用いることができ、(仮の画像または演繹的画像以外の)顔認識ソフトウェアを回避することができる。このシステムは、別のスクリーニング法として「デバイスを着用している」ユーザの識別を含み得る。このための方法は、ウェアラブルデバイスを識別するためのコンピュータ・ビジョン、互いに見つめ合おうとしている/互いに見つめ合っているユーザ、IR、および/または、デバイス間における、もしくはEyeConnectがアクティブな状態で別のデバイスが見られている場合の他のシグナリングプロトコルを含む。
イベント開始のための相互目視ベースのプロトコル
いくつかの異なる基準およびヒューリスティックスは、目視ベースのイベントを開始および拡張する(または逆に、そのプライバシーを維持する)のに用いることができる。これらのうち最も重要なものはイベントを開始するために同時に行なわれるアイコンタクトの検出である。他の基準は、a:ウェアラブルシステム、カメラベースの会議システム、1:1目視、1:n目視、n:m目視(情報を共有するためにイベントのグループ開始)、1:1より大規模なグループ内でのプライベート共有、1:nより大規模なグループの参加者内でのプライベート共有、および/または、アイコンタクトを規定するためのしきい値時間、の存在を含む。加えて、基準は、イベントの対象にするための付加的なスクリーニングを含む他のアクションが含まれているかどうか;イベントが何らかのタイプの制御を引起こし得るかどうか(たとえば、イベント登録、情報の変更);イベントにより、結果として、一方の関係者から別の関係者に一方向に、または関係者間で双方向に情報を転送することが可能となるかどうか;ならびに/または、アクションがリアルタイムであるかもしくは遅れているかどうかに;に依存し得る。
同時に配置およびマッピングするためのデータについての共通の目視の寄与
ユーザの目視は、ウェアラブルディスプレイからのガイダンスおよびフィードバックを用いてユーザ間で調整して方向付けることができる。ディスプレイはデバイスと一列になっていてもよく、またはデバイスの周囲にあってもよい。たとえば、何人かのユーザの目視は競技場スクリーンに方向付けることができる。焦点が特定の方向に向いていることの確認および/または分析は、地理的に配置された複数のユーザから判断することができる。
マルチモーダル情報交換の共通の目視の開始
EyeConnectionsは、視覚情報交換(たとえば映像もしくは画像)またはリアルタイム音声情報交換を含む情報交換の他のモダリティを含み得る。
便宜上、動作は、さまざまな相互接続された機能的ブロックまたは別個のソフトウェアモジュールとして記載される。しかしながら、これは必要とは限らず、これらの機能的ブロックまたはモジュールが、不明瞭な境界で、単一のロジックデバイス、プログラムまたは動作に同等に集約される場合もあり得る。いかなる場合も、機能的ブロックおよびソフトウェアモジュールまたは記載された特徴は、単独で、または、ハードウェアもしくはソフトウェアのいずれかにおける他の動作と組合わせて実現することができる。
例示的な実施形態の上述の開示は例示および記載を目的として提示されてきたものであって、網羅的になるように意図されたものではなく、または、本発明を開示された正確な形態に制限するように意図されたものでもない。この明細書中に記載された実施形態の多くの変更例および変形例が、上述の開示を考慮すると、当業者にとって明らかになるだろう。
さらに、代表的な実施形態を説明する際に、明細書は、方法および/またはプロセスを特定のシーケンスのステップとして提示した可能性もある。しかしながら、方法またはプロセスがこの明細書中に記載されたステップの特定の順序に依拠しない範囲では、方法またはプロセスは記載された特定のシーケンスのステップに限定されるべきではない。当業者であれば、他のシーケンスのステップが実現可能であり得ることを認識するであろう。したがって、明細書において記載されたステップの特定の順序は添付の特許請求の範囲に対する限定として解釈されるべきでない。
この明細書中におけるいずれかの実施形態を用いて示された要素または構成要素は特定の実施形態にとって例示的なものであって、この明細書中に開示される他の実施形態上でまたは他の実施形態と組合わせて用いられ得ることが認識されるだろう。
本発明の原理を、その例示的な実施形態において説明および例示してきたが、本発明の構成および詳細がこのような原理から逸脱することなく変更され得ることが明らかになるはずである。添付の特許請求の範囲内に収まるすべての変更例および変形例に対して主張がなされる。

Claims (50)

  1. ユーザの実質的に連続的なバイオメトリック認証を提供するためのシステムであって、
    ユーザの頭に着用されるように構成されたヘッドギアと、
    複数のカメラとを含み、前記複数のカメラは、前記ヘッドギアが前記ユーザの眼の動きを監視するために着用されたときに、前記複数のカメラが異なる角度から前記ユーザの眼の方に向けられるように前記ヘッドギア上に装着され、前記システムはさらに、
    処理ユニットとを含み、前記処理ユニットは、
    前記眼の虹彩を識別するために前記複数のカメラからの1つ以上の画像を分析し、
    前記複数のカメラから、前記1つ以上の画像に基づいて前記虹彩の所望のビューを提供する第1のカメラを選択し、
    前記虹彩の複数の特徴を識別するために前記第1のカメラからの画像を分析し、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別し、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するように、
    検出器および電子ディスプレイに動作可能に連結される、システム。
  2. ヘッドギアを着用しているユーザの実質的に連続的なバイオメトリック認証を提供するための方法であって、前記ヘッドギアは、異なる角度から前記ユーザの眼の方に向けられた複数のカメラを含み、前記方法は、
    前記眼の虹彩を識別するために前記複数のカメラからの1つ以上の画像を分析するステップと、
    前記複数のカメラから、前記1つ以上の画像に基づいて前記虹彩の所望のビューを提供する第1のカメラを選択するステップと、
    前記虹彩の複数の特徴を識別するために前記第1のカメラからの画像を分析するステップと、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別するステップと、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するステップとを含む、方法。
  3. 前記第1のカメラは、前記第1のカメラからの複数の画像において識別される前記虹彩の形状に少なくとも部分的に基づいて選択される、請求項2に記載の方法。
  4. 前記第1のカメラは、他の複数のカメラからの複数の画像において識別された前記虹彩の実質的に円形の形状により近い、前記第1のカメラからの複数の画像において識別された前記虹彩の形状に少なくとも部分的に基づいて選択される、請求項3に記載の方法。
  5. 前記第1のカメラは、前記第1のカメラからの複数の画像における照明コントラストに少なくとも部分的に基づいて選択される、請求項2に記載の方法。
  6. 前記ユーザが1つ以上のアクションを実行することを認可した後、
    前記虹彩の複数の特徴を識別するために前記第1のカメラからの別の画像を分析するステップと、
    前記別の画像からの虹彩の複数の特徴に少なくとも部分的に基づいて前記ユーザの前記アイデンティティを確認するステップとをさらに含む、請求項1に記載の方法。
  7. 前記ステップが実質的に連続的に繰返される、請求項6に記載の方法。
  8. 前記ステップが定期的に繰返される、請求項6に記載の方法。
  9. 予め定められたアクションを実行する前にアイデンティティの確認を必要とする前記ユーザによって前記予め定められたアクションが選択されるとき、前記ステップが繰返される、請求項6に記載の方法。
  10. 前記ユーザを識別するために必要とされる最小のストリンジェンシーしきい値を満たすために前記虹彩のうち十分に広い部分が前記画像から識別可能であるので、前記第1のカメラが選択される、請求項1に記載の方法。
  11. ユーザの実質的に連続的なバイオメトリック認証を提供するためのシステムであって、
    ユーザの頭に着用されるように構成されたヘッドギアと、
    複数のカメラとを含み、前記複数のカメラは、前記ヘッドギアが前記ユーザの眼の動きを監視するために着用される場合に前記複数のカメラが異なる角度から前記ユーザの眼の方に向けられるように、前記ヘッドギア上に装着され、前記システムはさらに、
    処理ユニットとを含み、前記処理ユニットは、
    前記眼の虹彩を識別するために前記複数のカメラからの1つ以上の画像を分析し、
    前記虹彩の所望の複数のビューを提供する前記複数のカメラから、複数のカメラからの複数の画像を選択し、
    前記選択された複数の画像から合成irisCodeを作成し、
    前記合成irisCodeに少なくとも部分的に基づいて前記ユーザを識別し、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するように、
    検出器および電子ディスプレイに動作可能に連結される、システム。
  12. ヘッドギアを着用しているユーザの実質的に連続的なバイオメトリック認証を提供するための方法であって、前記ヘッドギアは、異なる角度から前記ユーザの眼の方に向けられた複数のカメラを含み、前記方法は、
    前記眼の虹彩を識別するために前記複数のカメラからの1つ以上の画像を分析するステップと、
    前記虹彩の所望の複数のビューを提供する前記複数のカメラから、複数のカメラからの複数の画像を選択するステップと、
    前記選択された複数の画像から合成irisCodeを作成するステップと、
    前記合成irisCodeに少なくとも部分的に基づいて前記ユーザを識別するステップと、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するステップとを含む、方法。
  13. 前記選択された複数の画像は、複数の角度から前記虹彩の複数の画像を提供し、
    前記合成irisCodeを作成するステップは、前記選択された複数の画像から前記虹彩のうち複数の部分を選択し、前記虹彩の合成画像に前記虹彩のうち前記複数の部分を組合わせるステップを含む、請求項12に記載の方法。
  14. 前記合成irisCodeを作成するステップはさらに、前記選択された複数の画像のうち1つ以上を回転させて、前記選択された複数の画像における前記虹彩の前記複数の画像を共通軸に位置合わせしてから、前記虹彩のうち前記複数の部分を組合わせるステップを含む、請求項12に記載の方法。
  15. 前記ユーザが1つ以上のアクションを実行することを認可した後、
    前記複数のカメラからの複数の追加画像を分析するステップと、
    前記複数の追加画像から新しい合成irisCodeを作成するステップと、
    前記新しい合成irisCodeに少なくとも部分的に基づいて前記ユーザの前記アイデンティティを確認するステップとをさらに含む、請求項12に記載の方法。
  16. ヘッドギアを着用しているユーザの実質的に連続的なバイオメトリック認証を提供するための方法であって、前記ヘッドギアは、前記ユーザの眼の方に向けられたカメラを含み、前記方法は、
    前記カメラからの複数の画像を分析するステップと、
    前記複数の画像に基づいて合成irisCodeを作成するステップと、
    前記合成irisCodeに少なくとも部分的に基づいて前記ユーザを識別するステップと、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するステップとを含む、方法。
  17. 前記ユーザが1つ以上のアクションを実行することを認可した後、
    前記カメラからの複数の追加画像を分析するステップと、
    前記複数の追加画像から新しい合成irisCodeを作成するステップと、
    前記新しい合成irisCodeに少なくとも部分的に基づいて前記ユーザの前記アイデンティティを確認するステップとをさらに含む、請求項16に記載の方法。
  18. ユーザの実質的に連続的なバイオメトリック認証を提供するためのシステムであって、
    ユーザの頭に着用されるように構成されたヘッドギアと、
    検出器とを含み、前記検出器は、前記ヘッドギアが着用されるときに前記検出器が前記ユーザの眼の方に向けられるように前記ヘッドギア上に装着され、前記システムはさらに、
    ディスプレイを含み、前記ディスプレイは、前記ヘッドギアが着用されるときに前記ディスプレイが前記ユーザによって視認可能となるように前記ヘッドギア上に装着され、前記システムはさらに、
    処理ユニットを含み、前記処理ユニットは、
    前記眼の虹彩の複数の特徴を識別するために前記検出器からの1つ以上の画像を分析し、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別し、
    前記ユーザのアイデンティティの確認後、前記ユーザが前記ディスプレイを介して1つ以上のアクションを実行することを認可し、
    前記ユーザに対して前記ディスプレイ上に提示された情報のセキュリティを保存するために前記ディスプレイの不透明度を変更するように、
    前記検出器および電子ディスプレイに動作可能に連結される、システム。
  19. 前記処理ユニットは、セキュアな情報が提示されている前記ディスプレイ上の1つ以上の領域を識別し、前記セキュアな情報が提示されている間に前記1つ以上の領域を実質的に不透明にするように前記1つ以上の領域を変更するように構成される、請求項18に記載のシステム。
  20. 前記処理ユニットは、前記ディスプレイ上に後に提示されるセキュアな情報を保護するために、前記ユーザのアイデンティティが予め定められたしきい値セキュリティ認可に関連付けられている場合に、前記ディスプレイ全体を実質的に不透明にするように構成される、請求項18に記載のシステム。
  21. ヘッドギアを着用しているユーザの実質的に連続的なバイオメトリック認証を提供するための方法であって、前記ヘッドギアは、前記ユーザの眼の方に向けられたカメラを含み、前記方法は、
    前記眼の虹彩の複数の特徴を識別するために前記カメラからの1つ以上の画像を分析するステップと、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別するステップと、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するステップと、
    その後、前記ヘッドギアが前記ユーザによって依然として着用されていることを確認するために追加の分析を実行するステップとを含む、方法。
  22. 前記追加の分析は、前記ユーザの眼が前記1つ以上の画像内に残存していることを確認するために前記カメラからの1つ以上の画像を分析するステップを含む、請求項21に記載の方法。
  23. 前記追加の分析は、前記ユーザの眼が前記1つ以上の画像内でアクティブなままであることを確認するために前記カメラからの1つ以上の画像を分析するステップを含む、請求項22に記載の方法。
  24. 前記追加の分析は、最初の認可よりも低いストリンジェンシーで前記眼の虹彩の複数の特徴を識別するために前記カメラからの1つ以上の画像を分析するステップを含む、請求項21に記載の方法。
  25. 前記ユーザが1つ以上のアクションを実行することを認可した後、
    前記虹彩の複数の特徴を識別するために1つ以上の追加画像を分析するステップと、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザの前記アイデンティティを確認するステップとを、
    1回以上実行するステップをさらに含む、請求項21に記載の方法。
  26. 請求項25に記載の前記ステップは、a)実質的に連続的に、b)定期的に、および、c)予め定められたアクションを実行する前にアイデンティティの確認を必要とする前記ユーザによって前記予め定められたアクションが選択されるとき、のうち1つ以上で実行される、請求項25に記載の方法。
  27. 前記ヘッドギアから前記1つ以上の画像を通信するステップをさらに含み、前記分析するステップ、前記識別するステップおよび前記認可するステップは、前記ヘッドギアからの遠隔位置で実行され、前記認可は遠隔位置から前記ヘッドギアに通信され、さらに、
    前記ヘッドギアを用いて1つ以上の認可されたアクションを実行するステップを含む、請求項21から26のいずれか1項に記載の方法。
  28. 前記分析するステップ、前記識別するステップおよび前記認可するステップのうち1つ以上は前記ヘッドギア上の処理ユニットによって実行され、前記方法はさらに、
    前記分析するステップ、前記識別するステップおよび前記認可するステップのうちの残りを実行するために遠隔位置にある処理ユニットと通信するステップを含む、請求項21から26のいずれか1項に記載の方法。
  29. 前記分析するステップ、前記識別するステップおよび前記認可するステップは、前記ヘッドギア上の処理ユニットによって実行される、請求項21から26のいずれか1項に記載の方法。
  30. ヘッドギアを着用しているユーザの実質的に連続的なバイオメトリック認証を提供するための方法であって、前記ヘッドギアは、前記ユーザの眼の方に向けられた検出器を含み、前記方法は、
    前記眼の虹彩の複数の特徴を識別するために前記検出器からの1つ以上の画像を分析するステップと、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別するステップと、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するステップと、
    前記ユーザに対してディスプレイ上に提示された情報のセキュリティを保存するために前記ディスプレイの不透明度を変更するステップとを含む、方法。
  31. ユーザの実質的に連続的なバイオメトリック認証を提供するためのシステムであって、
    ユーザの頭に着用されるように構成されたヘッドギアと、
    検出器とを含み、前記検出器は、前記ヘッドギアが着用されるときに前記検出器が前記ユーザの眼の方に向けられるように前記ヘッドギア上に装着され、前記システムはさらに、
    ディスプレイを含み、前記ディスプレイは、前記ヘッドギアが着用されるときに前記ディスプレイが前記ユーザによって視認可能になるように前記ヘッドギア上に装着され、前記システムはさらに、
    視界シールドを含み、前記視界シールドは、前記ディスプレイ上に提示された情報が前記ディスプレイの向こう側で視認可能となることを防ぐために前記ディスプレイを少なくとも部分的に覆うように前記ヘッドギアに装着可能であり、前記システムはさらに、
    処理ユニットを含み、前記処理ユニットは、
    前記眼の虹彩の複数の特徴を識別するために前記検出器からの1つ以上の画像を分析し、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別し、
    前記ユーザのアイデンティティの確認後、および、前記視界シールドが前記ヘッドギアに装着されたことの確認後、前記ユーザが前記ディスプレイを介して情報にアクセスすることを認可するように、
    前記検出器および電子ディスプレイに動作可能に連結される、システム。
  32. ヘッドギアを着用しているユーザの実質的に連続的なバイオメトリック認証を提供するための方法であって、前記ヘッドギアは、前記ユーザの眼の方に向けられた検出器を含み、前記方法は、
    前記眼の虹彩の複数の特徴を識別するために前記検出器からの1つ以上の画像を分析するステップと、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別するステップと、
    前記ディスプレイ上に提示された情報が前記ディスプレイの向こう側で視認可能となること防ぐために、前記ディスプレイを少なくとも部分的に覆うように視界シールドが前記ヘッドギアに装着されているかどうかを検出するステップと、
    前記ユーザのアイデンティティの確認後、および、前記視界シールドが前記ヘッドギアに装着されたことの確認後、前記ユーザが前記ディスプレイを介して情報にアクセスすることを認可するステップとを含む、方法。
  33. 前記視界シールドが前記ヘッドギアから取外されたことを検出するステップと、
    前記視界シールドが前記ヘッドギアから取外されたときに、セキュアな情報が前記ディスプレイ上に提示されるのを防ぐステップとをさらに含む、請求項32に記載の方法。
  34. 前記視界シールドが前記ヘッドギアから取外されたことを検出するステップと、
    前記視界シールドが前記ヘッドギアから取外されたときに、前記ユーザの認可を無効にするステップとをさらに含む、請求項32に記載の方法。
  35. ユーザの実質的に連続的なバイオメトリック認証を提供するためのシステムであって、
    ユーザの頭に着用されるように構成されたヘッドギアと、
    検出器とを含み、前記検出器は、前記ヘッドギアが着用されるときに前記検出器が前記ユーザの眼の方に向けられるように前記ヘッドギア上に装着され、前記システムはさらに、
    処理ユニットを含み、前記処理ユニットは、
    前記眼の虹彩の複数の特徴を識別するために前記検出器からの1つ以上の画像を分析し、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別し、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するように、
    前記検出器および電子ディスプレイに動作可能に連結される、システム。
  36. 前記処理ユニットに動作可能に関連付けられたディスプレイをさらに含み、前記処理ユニットは、前記ユーザが前記ディスプレイを介して1つ以上のアクションを実行することを認可するように構成される、請求項35に記載のシステム。
  37. 前記ディスプレイは、前記ヘッドギアが着用されるときに前記ディスプレイが前記ユーザによって視認可能となるように前記ヘッドギア上に装着される、請求項36に記載のシステム。
  38. 前記ディスプレイは前記ヘッドギアから離れており、前記システムはさらに、前記ヘッドギア上に装着されたシーンカメラを含み、前記シーンカメラは、前記ディスプレイが前記ユーザの前に位置決めされたときに前記ディスプレイが前記シーンカメラの視野内にあるように向けられる、請求項36に記載のシステム。
  39. 前記処理ユニットは、前記ヘッドギアに装着されたプロセッサを含む、請求項35に記載のシステム。
  40. 前記ヘッドギア上に無線トランシーバをさらに含み、前記処理ユニットは、前記ヘッドギアから遠隔にあるプロセッサを含み、前記プロセッサは、前記トランシーバを介して前記検出器およびディスプレイに無線接続される、請求項35に記載のシステム。
  41. 前記検出器は、前記ヘッドギア上に装着された1つ以上のカメラを含む、請求項35に記載のシステム。
  42. 1つ以上の照明源をさらに含み、前記1つ以上の照明源は、前記ヘッドギアが着用されたときに前記1つ以上の照明源が前記眼の方に向けられるように前記ヘッドギア上に装着される、請求項35に記載のシステム。
  43. 前記処理ユニットはさらに、前記ユーザが1つ以上のアクションを実行することを認可した後、
    前記虹彩の複数の特徴を識別するために1つ以上の追加画像を分析するステップと、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザの前記アイデンティティを確認するステップとを、
    1回以上実行するように構成される、請求項35に記載のシステム。
  44. 前記処理ユニットは、a)実質的に連続的に、b)定期的に、または、c)予め定められたアクションの実行前にアイデンティティの確認を必要とする前記ユーザによって前記予め定められたアクションが選択されるときに、前記ステップを繰返すように構成される、請求項43に記載のシステム。
  45. ヘッドギアを着用しているユーザの実質的に連続的なバイオメトリック認証を提供するための方法であって、前記ヘッドギアは、前記ユーザの眼の方に向けられた検出器を含み、前記方法は、
    前記眼の虹彩の複数の特徴を識別するために前記検出器からの1つ以上の画像を分析するステップと、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザを識別するステップと、
    前記ユーザのアイデンティティの確認後、前記ユーザが1つ以上のアクションを実行することを認可するステップとを含む、方法。
  46. 前記ユーザが1つ以上のアクションを実行することを認可した後、
    前記虹彩の複数の特徴を識別するために1つ以上の追加画像を分析するステップと、
    前記虹彩の前記複数の特徴に少なくとも部分的に基づいて前記ユーザの前記アイデンティティを確認するステップと、
    を1回以上実行するステップをさらに含む、請求項45に記載の方法。
  47. 請求項46の前記ステップは、a)実質的に連続的に、b)定期的に、および、c)予め定められたアクションの実行前にアイデンティティの確認を必要とする前記ユーザによって前記予め定められたアクションが選択されるとき、のうち1つ以上で、実行される、請求項46に記載の方法。
  48. 前記ヘッドギアからの前記1つ以上の画像を通信するステップをさらに含み、前記分析するステップ、前記識別するステップおよび前記認可するステップは、前記ヘッドギアからの遠隔位置で実行され、前記認可は遠隔位置から前記ヘッドギアに通信され、さらに、
    前記ヘッドギアを用いて1つ以上の認可されたアクションを実行するステップを含む、請求項45から47のいずれか1項に記載の方法。
  49. 前記分析するステップ、前記識別するステップおよび前記認可するステップのうち1つ以上は前記ヘッドギア上の処理ユニットによって実行され、前記方法はさらに、前記分析するステップ、前記識別するステップおよび前記認可するステップのうちの残りを実行するために遠隔位置にある処理ユニットと通信するステップをさらに含む、請求項45から47のいずれか1項に記載の方法。
  50. 前記分析するステップ、前記識別するステップおよび前記認可するステップは、前記ヘッドギア上の処理ユニットによって実行される、請求項45から47のいずれか1項に記載の方法。
JP2017511569A 2014-05-09 2015-05-09 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証 Active JP6550460B2 (ja)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US201461991435P 2014-05-09 2014-05-09
US61/991,435 2014-05-09
US201462023940P 2014-07-13 2014-07-13
US62/023,940 2014-07-13
US201462027774P 2014-07-22 2014-07-22
US201462027777P 2014-07-22 2014-07-22
US62/027,774 2014-07-22
US62/027,777 2014-07-22
US201462038984P 2014-08-19 2014-08-19
US201462039001P 2014-08-19 2014-08-19
US62/038,984 2014-08-19
US62/039,001 2014-08-19
US201462046072P 2014-09-04 2014-09-04
US62/046,072 2014-09-04
US201462074927P 2014-11-04 2014-11-04
US201462074920P 2014-11-04 2014-11-04
US62/074,927 2014-11-04
US62/074,920 2014-11-04
PCT/US2015/030052 WO2016018488A2 (en) 2014-05-09 2015-05-09 Systems and methods for discerning eye signals and continuous biometric identification

Publications (2)

Publication Number Publication Date
JP2017526079A true JP2017526079A (ja) 2017-09-07
JP6550460B2 JP6550460B2 (ja) 2019-07-24

Family

ID=54368077

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017511569A Active JP6550460B2 (ja) 2014-05-09 2015-05-09 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証
JP2017511567A Pending JP2017527036A (ja) 2014-05-09 2015-05-09 セキュアなモバイル通信で眼信号を用いるためのシステムおよび方法
JP2017511568A Pending JP2017526078A (ja) 2014-05-09 2015-05-09 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2017511567A Pending JP2017527036A (ja) 2014-05-09 2015-05-09 セキュアなモバイル通信で眼信号を用いるためのシステムおよび方法
JP2017511568A Pending JP2017526078A (ja) 2014-05-09 2015-05-09 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法

Country Status (7)

Country Link
US (7) US9600069B2 (ja)
EP (3) EP3140780B1 (ja)
JP (3) JP6550460B2 (ja)
KR (4) KR102230172B1 (ja)
CN (3) CN107087431B (ja)
AU (3) AU2015255652B2 (ja)
WO (3) WO2016018488A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168915A (ja) * 2018-03-23 2019-10-03 株式会社セガゲームス 認証システム
US11170087B2 (en) 2017-02-23 2021-11-09 Advanced New Technologies Co., Ltd. Virtual reality scene-based business verification method and device
JP2022105185A (ja) * 2017-03-24 2022-07-12 マジック リープ, インコーポレイテッド 虹彩コードの蓄積および信頼性割当
WO2023047572A1 (ja) 2021-09-27 2023-03-30 日本電気株式会社 認証システム、認証装置、認証方法、及び記録媒体

Families Citing this family (912)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US10463248B2 (en) * 2011-03-02 2019-11-05 Brien Holden Vision Institute Limited Systems, methods, and devices for measuring eye movement and pupil response
US10895917B2 (en) 2011-03-12 2021-01-19 Uday Parshionikar Multipurpose controllers and methods
JP6559062B2 (ja) 2012-03-26 2019-08-14 ニューヨーク ユニバーシティ 中枢神経系の完全性を評価するための方法およびキット
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US11389059B2 (en) 2013-01-25 2022-07-19 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
US10231614B2 (en) 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US10716469B2 (en) 2013-01-25 2020-07-21 Wesley W. O. Krueger Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods
US11504051B2 (en) 2013-01-25 2022-11-22 Wesley W. O. Krueger Systems and methods for observing eye and head information to measure ocular parameters and determine human health status
US10602927B2 (en) 2013-01-25 2020-03-31 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
US11490809B2 (en) 2013-01-25 2022-11-08 Wesley W. O. Krueger Ocular parameter-based head impact measurement using a face shield
US12042294B2 (en) 2013-01-25 2024-07-23 Wesley W. O. Krueger Systems and methods to measure ocular parameters and determine neurologic health status
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US10082870B2 (en) * 2013-03-04 2018-09-25 Tobii Ab Gaze and saccade based graphical manipulation
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
JP6676522B2 (ja) 2013-06-17 2020-04-08 ニューヨーク ユニバーシティ 対象における眼球運動を追跡するためのデバイスの作動方法、および当該デバイスによって追跡された眼球運動のデータの中枢神経系病変を位置特定するための使用方法
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US20150051508A1 (en) 2013-08-13 2015-02-19 Sync-Think, Inc. System and Method for Cognition and Oculomotor Impairment Diagnosis Using Binocular Coordination Analysis
US10310597B2 (en) * 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
EP3041400A1 (en) 2013-09-03 2016-07-13 Tobii AB Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US9958939B2 (en) * 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
JP2015114865A (ja) * 2013-12-12 2015-06-22 ソニー株式会社 情報処理装置、中継コンピュータ、情報処理システム、および情報処理プログラム
WO2015103444A1 (en) * 2013-12-31 2015-07-09 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
US20160019715A1 (en) * 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US12112089B2 (en) 2014-02-11 2024-10-08 Mentor Acquisition One, Llc Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US9706910B1 (en) * 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9880401B2 (en) * 2014-06-13 2018-01-30 Verily Life Sciences Llc Method, device and system for accessing an eye-mountable device with a user interface
JP6369543B2 (ja) * 2014-06-19 2018-08-08 日本電気株式会社 認証装置、認証システム、認証方法およびコンピュータプログラム
DE102014211823A1 (de) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Verfahren zur Personenidentifizierung
KR102266195B1 (ko) * 2014-06-20 2021-06-17 삼성전자주식회사 객체와 관련된 정보를 제공하는 방법 및 장치
US9269328B2 (en) * 2014-06-24 2016-02-23 Google Inc. Efficient frame rendering
US9817959B2 (en) * 2014-06-27 2017-11-14 Intel Corporation Wearable electronic devices
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9961307B1 (en) * 2014-06-30 2018-05-01 Lee S. Weinblatt Eyeglass recorder with multiple scene cameras and saccadic motion detection
BR112017000466A2 (pt) * 2014-07-07 2017-11-07 3M Innovative Properties Co detecção de fármacos autoadministrado e inviolável
KR101645087B1 (ko) * 2014-07-10 2016-08-02 아이리텍 잉크 홍채인식용 착용 감지 기능을 가진 손 부착형 웨어러블 장치를 이용한 보안강화세트 및 그 제어방법
US10540907B2 (en) * 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
AU2015301370B2 (en) 2014-08-04 2020-04-30 New York University Methods and kits for diagnosing, assessing or quantitating drug use, drug abuse and narcosis, internuclear ophthalmoplegia, attention deficit hyperactivity disorder (ADHD), chronic traumatic encephalopathy, schizophrenia spectrum disorders and alcohol consumption
US9829708B1 (en) * 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
HK1203120A2 (en) * 2014-08-26 2015-10-16 高平 A gait monitor and a method of monitoring the gait of a person
US10425814B2 (en) 2014-09-24 2019-09-24 Princeton Identity, Inc. Control of wireless communication device capability in a mobile device with a biometric key
KR102295496B1 (ko) 2014-09-29 2021-09-01 매직 립, 인코포레이티드 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
GB2532438B (en) * 2014-11-18 2019-05-08 Eshare Ltd Apparatus, method and system for determining a viewed status of a document
EP3227816A4 (en) 2014-12-03 2018-07-04 Princeton Identity, Inc. System and method for mobile device biometric add-on
EP3229205B1 (en) * 2014-12-05 2021-10-13 Sony Group Corporation Information processing device, information processing method, and program
KR102139795B1 (ko) * 2014-12-15 2020-07-31 삼성전자주식회사 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치
US9690292B1 (en) * 2015-01-13 2017-06-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for transitioning between autonomous and manual modes of vehicle operations
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9652035B2 (en) * 2015-02-23 2017-05-16 International Business Machines Corporation Interfacing via heads-up display using eye contact
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
USD779556S1 (en) * 2015-02-27 2017-02-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with an icon
US9836663B2 (en) * 2015-03-05 2017-12-05 Samsung Electronics Co., Ltd. User authenticating method and head mounted device supporting the same
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
NZ773826A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
IN2015CH01313A (ja) * 2015-03-17 2015-04-10 Wipro Ltd
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
CN106155288B (zh) * 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
US10305895B2 (en) * 2015-04-14 2019-05-28 Blubox Security, Inc. Multi-factor and multi-mode biometric physical access control device
KR102393228B1 (ko) 2015-05-11 2022-04-29 매직 립, 인코포레이티드 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들
US9860452B2 (en) * 2015-05-13 2018-01-02 Lenovo (Singapore) Pte. Ltd. Usage of first camera to determine parameter for action associated with second camera
US10254544B1 (en) * 2015-05-13 2019-04-09 Rockwell Collins, Inc. Head tracking accuracy and reducing latency in dynamic environments
US20160358181A1 (en) * 2015-05-14 2016-12-08 Magic Leap, Inc. Augmented reality systems and methods for tracking biometric data
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US20200321107A1 (en) * 2015-05-19 2020-10-08 Iryou Jyouhou Gijyutu Kenkyusyo Corporation Integrated multi-facility electronic medical record system
US9716834B2 (en) * 2015-05-20 2017-07-25 Panasonic Intellectual Property Management Co., Ltd. Image display device and image processing device
AU2016264503B2 (en) * 2015-05-20 2021-10-28 Magic Leap, Inc. Tilt shift iris imaging
US10937064B2 (en) * 2015-06-08 2021-03-02 Samsung Electronics Co.. Ltd. Method and apparatus for providing content
IN2015CH02866A (ja) * 2015-06-09 2015-07-17 Wipro Ltd
RU2601169C1 (ru) * 2015-06-11 2016-10-27 Виталий Витальевич Аверьянов Способ и устройство для взаимодействия с виртуальными объектами
US20160366317A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for image based biometric recognition
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示制御方法、表示制御装置及び制御プログラム
US10130261B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Detecting physiological responses while taking into account consumption of confounding substances
US10216981B2 (en) 2015-06-14 2019-02-26 Facense Ltd. Eyeglasses that measure facial skin color changes
US10080861B2 (en) 2015-06-14 2018-09-25 Facense Ltd. Breathing biofeedback eyeglasses
US10045699B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Determining a state of a user based on thermal measurements of the forehead
US10076250B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses based on multispectral data from head-mounted cameras
US10092232B2 (en) 2015-06-14 2018-10-09 Facense Ltd. User state selection based on the shape of the exhale stream
US10076270B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses while accounting for touching the face
US10045737B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Clip-on device with inward-facing cameras
US9968264B2 (en) 2015-06-14 2018-05-15 Facense Ltd. Detecting physiological responses based on thermal asymmetry of the face
US10085685B2 (en) 2015-06-14 2018-10-02 Facense Ltd. Selecting triggers of an allergic reaction based on nasal temperatures
US10299717B2 (en) 2015-06-14 2019-05-28 Facense Ltd. Detecting stress based on thermal measurements of the face
US10130299B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Neurofeedback eyeglasses
US10136852B2 (en) 2015-06-14 2018-11-27 Facense Ltd. Detecting an allergic reaction from nasal temperatures
US10136856B2 (en) 2016-06-27 2018-11-27 Facense Ltd. Wearable respiration measurements system
US10130308B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Calculating respiratory parameters from thermal measurements
US10154810B2 (en) 2015-06-14 2018-12-18 Facense Ltd. Security system that detects atypical behavior
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US10113913B2 (en) 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US10151636B2 (en) 2015-06-14 2018-12-11 Facense Ltd. Eyeglasses having inward-facing and outward-facing thermal cameras
US10159411B2 (en) 2015-06-14 2018-12-25 Facense Ltd. Detecting irregular physiological responses during exposure to sensitive data
US10165949B2 (en) 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
US10064559B2 (en) 2015-06-14 2018-09-04 Facense Ltd. Identification of the dominant nostril using thermal measurements
US10523852B2 (en) 2015-06-14 2019-12-31 Facense Ltd. Wearable inward-facing camera utilizing the Scheimpflug principle
US10554758B2 (en) 2015-06-15 2020-02-04 Blub0X Security, Inc. Web-cloud hosted unified physical security system
KR20230025933A (ko) 2015-06-15 2023-02-23 매직 립, 인코포레이티드 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템
US10043487B2 (en) * 2015-06-24 2018-08-07 Samsung Electronics Co., Ltd. Apparatus and method for split screen display on mobile device
US10685488B1 (en) * 2015-07-17 2020-06-16 Naveen Kumar Systems and methods for computer assisted operation
CN104966359B (zh) * 2015-07-20 2018-01-30 京东方科技集团股份有限公司 防盗报警系统和方法
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
WO2017024118A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
US10178150B2 (en) * 2015-08-07 2019-01-08 International Business Machines Corporation Eye contact-based information transfer
KR102511490B1 (ko) 2015-08-18 2023-03-16 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
CN112836664A (zh) 2015-08-21 2021-05-25 奇跃公司 使用眼睛姿态测量的眼睑形状估计
CN105184246B (zh) * 2015-08-28 2020-05-19 北京旷视科技有限公司 活体检测方法和活体检测系统
US10223160B2 (en) * 2015-08-31 2019-03-05 Ayla Networks, Inc. Compact schedules for resource-constrained devices
AU2015261614A1 (en) * 2015-09-04 2017-03-23 Musigma Business Solutions Pvt. Ltd. Analytics system and method
US9857871B2 (en) * 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US20170200316A1 (en) * 2015-09-10 2017-07-13 Sphere Optics Company, Llc Advertising system for virtual reality environments
IN2015DE02924A (ja) * 2015-09-16 2015-10-23 Hcl Technologies Ltd
WO2017048713A1 (en) 2015-09-16 2017-03-23 Magic Leap, Inc. Head pose mixing of audio files
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
US10096130B2 (en) 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
CN118584664A (zh) 2015-09-23 2024-09-03 奇跃公司 采用离轴成像器的眼睛成像
CN105260016B (zh) * 2015-09-24 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
USD791787S1 (en) * 2015-09-28 2017-07-11 Google Inc. Display screen with a transitional graphical user interface for a photo album
CN107710197B (zh) 2015-09-28 2021-08-17 谷歌有限责任公司 在通信网络上共享图像和图像相册
US20170090588A1 (en) * 2015-09-29 2017-03-30 Kabushiki Kaisha Toshiba Electronic device and method
US9635167B2 (en) * 2015-09-29 2017-04-25 Paypal, Inc. Conversation assistance system
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
WO2017059570A1 (zh) * 2015-10-08 2017-04-13 华为技术有限公司 一种保护隐私信息的方法和终端设备
EP3156880A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Zoom effect in gaze tracking interface
CA3170014A1 (en) 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10831922B1 (en) * 2015-10-30 2020-11-10 United Services Automobile Association (Usaa) System and method for access control
US10260864B2 (en) 2015-11-04 2019-04-16 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
EP3363507B1 (en) * 2015-11-19 2024-02-14 Angel Playing Cards Co., Ltd. Management system for table games and substitute currency for gaming
US10061552B2 (en) * 2015-11-25 2018-08-28 International Business Machines Corporation Identifying the positioning in a multiple display grid
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
US9703374B1 (en) * 2015-12-16 2017-07-11 Google, Inc. In-cell gaze tracking for near-eye display
US10097443B2 (en) * 2015-12-16 2018-10-09 Fluke Corporation System and method for secure communications between a computer test tool and a cloud-based server
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10102358B2 (en) * 2015-12-29 2018-10-16 Sensory, Incorporated Face-controlled liveness verification
CN105892642A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种根据眼部动作对终端进行控制的方法及装置
US10372289B2 (en) * 2015-12-31 2019-08-06 Beijing Pico Technology Co., Ltd. Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method
CN106940766A (zh) * 2016-01-04 2017-07-11 由田新技股份有限公司 视线轨迹认证系统及方法
JP6231585B2 (ja) * 2016-01-05 2017-11-15 株式会社Qdレーザ 画像投影装置
KR102466996B1 (ko) * 2016-01-06 2022-11-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
JP2017123050A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及びサーバ
KR20230134159A (ko) 2016-01-07 2023-09-20 매직 립, 인코포레이티드 깊이 평면들에 걸쳐 분포된 동일하지 않은 수의 컴포넌트 컬러 이미지들을 갖는 가상 및 증강 현실 시스템들 및 방법들
JP2019506694A (ja) 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
JP6952713B2 (ja) 2016-01-19 2021-10-20 マジック リープ, インコーポレイテッドMagic Leap,Inc. 反射を利用する拡張現実システムおよび方法
WO2017127366A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Eye image collection, selection, and combination
US10536690B2 (en) 2016-01-29 2020-01-14 Magic Leap, Inc. Display for three-dimensional image
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
KR101729434B1 (ko) * 2016-02-16 2017-04-24 주식회사 시큐브 공간분할 세그먼트에 대한 동적이동 추적 기반 수기서명 인증 시스템 및 방법
US10129510B2 (en) 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
JP6991981B2 (ja) 2016-02-24 2022-01-13 マジック リープ, インコーポレイテッド 光エミッタのための薄型相互接続子
KR102682340B1 (ko) 2016-02-24 2024-07-04 매직 립, 인코포레이티드 낮은 광 누설을 가진 편광 빔 분할기 및 이를 포함하는 디스플레이 시스템
US10775545B2 (en) 2016-02-26 2020-09-15 Magic Leap, Inc. Display system having a plurality of light pipes for a plurality of light emitters
IL261148B2 (en) 2016-02-26 2023-12-01 Magic Leap Inc Light output system with reflector and lenses for high spatially uniform light output
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
AU2017227598B2 (en) 2016-03-01 2022-03-17 Magic Leap, Inc. Reflective switching device for inputting different wavelengths of light into waveguides
NZ745738A (en) * 2016-03-04 2020-01-31 Magic Leap Inc Current drain reduction in ar/vr display systems
EP3427185B1 (en) 2016-03-07 2024-07-31 Magic Leap, Inc. Blue light adjustment for biometric security
EP3329316B1 (en) * 2016-03-11 2023-09-20 Facebook Technologies, LLC Corneal sphere tracking for generating an eye model
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
JP6889728B2 (ja) 2016-03-11 2021-06-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. 畳み込みニューラルネットワークにおける構造学習
US10579708B1 (en) * 2016-03-22 2020-03-03 Massachusetts Mutual Life Insurance Company Systems and methods for improving workflow efficiency and for electronic record population utilizing intelligent input systems
US10867314B2 (en) 2016-03-22 2020-12-15 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
US10360254B1 (en) 2016-03-24 2019-07-23 Massachusetts Mutual Life Insurance Company Intelligent and context aware reading systems
US10306311B1 (en) 2016-03-24 2019-05-28 Massachusetts Mutual Life Insurance Company Intelligent and context aware reading systems
JP6728863B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 情報処理システム
AU2017238847A1 (en) 2016-03-25 2018-10-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10088898B2 (en) 2016-03-31 2018-10-02 Verizon Patent And Licensing Inc. Methods and systems for determining an effectiveness of content in an immersive virtual reality world
WO2017173228A1 (en) 2016-03-31 2017-10-05 Princeton Identity, Inc. Biometric enrollment systems and methods
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
US10373008B2 (en) 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
DE102016106390A1 (de) * 2016-04-07 2017-10-12 Bundesdruckerei Gmbh Brillen-authentifikationsvorrichtung zum authentifizieren einer person
CA3019946C (en) 2016-04-08 2023-02-28 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US20170291723A1 (en) * 2016-04-11 2017-10-12 Honeywell International Inc. System and method for validating flight checklist items for maintenance and inspection applications
KR102548818B1 (ko) 2016-04-21 2023-06-28 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
KR101904889B1 (ko) * 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
AU2017257549B2 (en) 2016-04-26 2021-09-09 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
CN105897428B (zh) * 2016-04-28 2019-06-25 武汉大学 一种基于虹膜识别的实时视频安全通讯系统及方法
CN113484944A (zh) 2016-05-06 2021-10-08 奇跃公司 具有用于重定向光的非对称光栅的超表面及其制造方法
CN115177208A (zh) 2016-05-09 2022-10-14 奇跃公司 用于用户健康分析的增强现实系统和方法
AU2017261844A1 (en) 2016-05-10 2018-11-22 Commonwealth Scientific And Industrial Research Organisation Authenticating a user
US9904058B2 (en) 2016-05-12 2018-02-27 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
US11328484B2 (en) 2016-05-20 2022-05-10 Magic Leap, Inc. Contextual awareness of user interface menus
US10065658B2 (en) * 2016-05-23 2018-09-04 International Business Machines Corporation Bias of physical controllers in a system
US20180249941A1 (en) * 2016-05-24 2018-09-06 neuroFit, Inc. Oculometric Neurological Examination (ONE) Appliance
EP3467792B1 (en) * 2016-05-25 2024-04-24 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
US10037080B2 (en) 2016-05-31 2018-07-31 Paypal, Inc. User physical attribute based device and content management system
IL299710A (en) 2016-06-03 2023-03-01 Magic Leap Inc Identity verification in augmented reality
USD796551S1 (en) * 2016-06-03 2017-09-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US11108708B2 (en) 2016-06-06 2021-08-31 Global Tel*Link Corporation Personalized chatbots for inmates
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
KR102448938B1 (ko) 2016-06-10 2022-09-28 매직 립, 인코포레이티드 텍스처 투사 전구용 적분 점광원
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10339659B2 (en) * 2016-06-13 2019-07-02 International Business Machines Corporation System, method, and recording medium for workforce performance management
KR102362001B1 (ko) * 2016-06-16 2022-02-14 애플 인크. 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
US10565287B2 (en) * 2016-06-17 2020-02-18 International Business Machines Corporation Web content layout engine instance sharing across mobile devices
JP7385993B2 (ja) 2016-06-20 2023-11-24 マジック リープ, インコーポレイテッド 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
CN106200905B (zh) * 2016-06-27 2019-03-29 联想(北京)有限公司 信息处理方法及电子设备
US11354863B2 (en) * 2016-06-30 2022-06-07 Honeywell International Inc. Systems and methods for immersive and collaborative video surveillance
NZ749449A (en) 2016-06-30 2023-06-30 Magic Leap Inc Estimating pose in 3d space
US10146609B1 (en) 2016-07-08 2018-12-04 Splunk Inc. Configuration of continuous anomaly detection service
US10200262B1 (en) * 2016-07-08 2019-02-05 Splunk Inc. Continuous anomaly detection service
US10650593B2 (en) * 2016-07-12 2020-05-12 Tyco Fire & Security Gmbh Holographic technology implemented security solution
KR102648770B1 (ko) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
KR102442569B1 (ko) 2016-07-14 2022-09-08 매직 립, 인코포레이티드 각막 곡률을 이용한 홍채 경계 추정
WO2018016189A1 (ja) 2016-07-22 2018-01-25 ソニー株式会社 イメージセンサおよび画像処理システム
KR20230133940A (ko) * 2016-07-25 2023-09-19 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
CN109788901B (zh) 2016-07-25 2024-01-02 奇跃公司 光场处理器系统
CA3032282A1 (en) 2016-07-29 2018-02-01 Magic Leap, Inc. Secure exchange of cryptographically signed records
CA3032606A1 (en) 2016-08-02 2018-02-08 New York University Methods and kits for assessing neurological function and localizing neurological lesions
US9844321B1 (en) * 2016-08-04 2017-12-19 Novartis Ag Enhanced ophthalmic surgical experience using a virtual reality head-mounted display
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information
CA3033344A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
CN117198277A (zh) 2016-08-12 2023-12-08 奇跃公司 单词流注释
JP6813666B2 (ja) 2016-08-22 2021-01-13 マジック リープ, インコーポレイテッドMagic Leap,Inc. 多層回折接眼レンズ
KR102529137B1 (ko) * 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
US10835120B2 (en) * 2016-08-23 2020-11-17 Welch Allyn, Inc. Extended medical test system
CN106899567B (zh) 2016-08-24 2019-12-13 阿里巴巴集团控股有限公司 用户核身方法、装置及系统
DE112017004394T5 (de) * 2016-09-01 2019-05-16 Mitsubishi Electric Corporation Gestenbeurteilungseinrichtung, Gestenbedienungseinrichtung und Gestenbeurteilungsverfahren
DE102016116770A1 (de) * 2016-09-07 2018-03-08 Bundesdruckerei Gmbh Datenbrille zum kryptographischen Signieren von Bilddaten
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
AU2017328161B2 (en) 2016-09-13 2022-02-17 Magic Leap, Inc. Sensory eyewear
US10230719B2 (en) * 2016-09-19 2019-03-12 Intel Corporation Head mounted secure display system
CN112987303A (zh) 2016-09-21 2021-06-18 奇跃公司 用于具有出瞳扩展器的光学系统的系统和方法
US10210320B2 (en) 2016-09-21 2019-02-19 Lextron Systems, Inc. System and method for secure 5-D user identification
US10671159B2 (en) * 2016-09-22 2020-06-02 Apple Inc. Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness
KR102266343B1 (ko) 2016-09-22 2021-06-17 매직 립, 인코포레이티드 증강 현실 분광기
KR20240011881A (ko) 2016-09-26 2024-01-26 매직 립, 인코포레이티드 가상 현실 또는 증강 현실 디스플레이 시스템에서 자기 및 광학 센서들의 교정
US10750560B2 (en) 2016-09-27 2020-08-18 Extreme Networks, Inc. IoT device management using multi-protocol infrastructure network devices
WO2018064169A1 (en) 2016-09-28 2018-04-05 Magic Leap, Inc. Face model capture by a wearable device
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
US10430042B2 (en) * 2016-09-30 2019-10-01 Sony Interactive Entertainment Inc. Interaction context-based virtual reality
US10863902B2 (en) 2016-10-03 2020-12-15 Oculogica Inc. Method for detecting glaucoma
US10489680B2 (en) 2016-10-04 2019-11-26 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
IL295059A (en) 2016-10-05 2022-09-01 Magic Leap Inc A blind eye test for mixed reality calibration
CN107018121B (zh) * 2016-10-13 2021-07-20 创新先进技术有限公司 用户身份验证的方法及装置
US10925479B2 (en) * 2016-10-13 2021-02-23 Ronald Michael Kurtz Networked system of mobile communication platforms for nonpharmacologic constriction of a pupil
CN106997239A (zh) * 2016-10-13 2017-08-01 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
US9769166B1 (en) * 2016-10-19 2017-09-19 International Business Machines Corporation Wearable sensor based system for person identification
US10201274B2 (en) * 2016-10-20 2019-02-12 Oculogica Inc Eye tracking system with biometric identification
KR102603745B1 (ko) 2016-10-21 2023-11-17 매직 립, 인코포레이티드 다수의 동공내 시차 뷰들을 제공함으로써 다수의 깊이평면들 상에 이미지 콘텐츠를 제공하기 위한 시스템 및 방법
US20180125405A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Mental state estimation using feature of eye movement
US10660517B2 (en) 2016-11-08 2020-05-26 International Business Machines Corporation Age estimation using feature of eye movement
US11074325B1 (en) * 2016-11-09 2021-07-27 Wells Fargo Bank, N.A. Systems and methods for dynamic bio-behavioral authentication
KR102217797B1 (ko) 2016-11-11 2021-02-18 매직 립, 인코포레이티드 전체 얼굴 이미지의 안구주위 및 오디오 합성
WO2018086399A1 (zh) * 2016-11-14 2018-05-17 华为技术有限公司 一种图像渲染的方法、装置及vr设备
ES2936390T3 (es) * 2016-11-14 2023-03-16 Mastercard International Inc Método para la firma de documento basada en biométrica
AU2017361061B2 (en) * 2016-11-15 2022-02-03 Magic Leap, Inc. Deep learning system for cuboid detection
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
AU2017361245B2 (en) 2016-11-16 2023-06-22 Magic Leap, Inc. Mixed reality system with reduced power rendering
KR102595171B1 (ko) 2016-11-16 2023-10-26 매직 립, 인코포레이티드 웨어러블 컴포넌트들을 위한 열 관리 시스템들
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
AU2017361424B2 (en) 2016-11-18 2022-10-27 Magic Leap, Inc. Spatially variable liquid crystal diffraction gratings
CN110199220B (zh) 2016-11-18 2022-11-01 奇跃公司 使用交叉光栅的波导光复用器
JP7019695B2 (ja) 2016-11-18 2022-02-15 マジック リープ, インコーポレイテッド 広入射角範囲の光を再指向するための多層液晶回折格子
BR112018074062A2 (pt) * 2016-11-18 2019-03-06 Eyedaptic, Inc. sistemas melhorados para auxílio e ferramentas visuais de realidade aumentada
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
CN107066079A (zh) * 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
KR20180061956A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 눈 위치 예측 방법 및 장치
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
EP3549109B1 (en) 2016-12-05 2023-04-19 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
IL304304B2 (en) 2016-12-08 2024-08-01 Magic Leap Inc Light beam breaking devices based on cholesteric liquid crystal
US10796147B1 (en) * 2016-12-12 2020-10-06 Keith Hanna Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye
EP3555581B1 (en) 2016-12-13 2022-11-23 Magic Leap, Inc. Augmented and virtual reality eyewear for delivering polarized light and determing glucose levels
EP3555865B1 (en) 2016-12-13 2024-09-18 Magic Leap, Inc. 3d object rendering using detected features
CN110291453B (zh) 2016-12-14 2022-11-01 奇跃公司 使用具有表面对准图案的软压印复制对液晶图案化
CA3046662A1 (en) 2016-12-22 2018-06-28 Magic Leap, Inc. Systems and methods for manipulating light from ambient light sources
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
CN117251053A (zh) 2016-12-29 2023-12-19 奇跃公司 基于外部条件的可穿戴显示装置的自动控制
US10853775B1 (en) * 2016-12-29 2020-12-01 Wells Fargo Bank, N.A. Computing systems for proximity-based fees
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
JP7071374B2 (ja) 2017-01-05 2022-05-18 マジック リープ, インコーポレイテッド プラズマエッチングによる高屈折率ガラスのパターン化
EP3568783A4 (en) 2017-01-11 2020-11-11 Magic Leap, Inc. MEDICAL ASSISTANT
IL268135B2 (en) 2017-01-23 2024-03-01 Magic Leap Inc Eyepiece for virtual, augmented or mixed reality systems
IL307294A (en) 2017-01-27 2023-11-01 Magic Leap Inc Diffraction gratings produced using a surface cell with differently oriented nanobeams
WO2018140502A1 (en) 2017-01-27 2018-08-02 Magic Leap, Inc. Antireflection coatings for metasurfaces
US10404804B2 (en) * 2017-01-30 2019-09-03 Global Tel*Link Corporation System and method for personalized virtual reality experience in a controlled environment
US10824703B1 (en) * 2017-02-01 2020-11-03 United Services Automobile Association (Usaa) Authentication based on motion and biometric data
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US10416769B2 (en) * 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
US20180239422A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Tracking eye movements with a smart device
US11141095B2 (en) 2017-02-17 2021-10-12 Oculogica Inc. Method and system for detecting concussion
IL307602A (en) 2017-02-23 2023-12-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
CN106932904A (zh) 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10866633B2 (en) 2017-02-28 2020-12-15 Microsoft Technology Licensing, Llc Signing with your eyes
US10683100B2 (en) * 2017-03-06 2020-06-16 Bell Helicopter Textron Inc. Pilot and passenger seat
US10568573B2 (en) * 2017-03-07 2020-02-25 Sony Interactive Entertainment LLC Mitigation of head-mounted-display impact via biometric sensors and language processing
US10628994B2 (en) * 2017-03-07 2020-04-21 Google Llc Reducing visually induced motion sickness in head mounted display systems
JP7057893B2 (ja) * 2017-03-07 2022-04-21 マツダ株式会社 視認状態判定装置
US10169973B2 (en) * 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
EP3376367A1 (de) * 2017-03-13 2018-09-19 Siemens Aktiengesellschaft Quittieren eines überführens eines gutes
IL301886A (en) 2017-03-14 2023-06-01 Magic Leap Inc Waveguides with light absorbing layers and processes for their creation
CN107122642A (zh) * 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
US10657838B2 (en) 2017-03-15 2020-05-19 International Business Machines Corporation System and method to teach and evaluate image grading performance using prior learned expert knowledge base
US10657376B2 (en) 2017-03-17 2020-05-19 Magic Leap, Inc. Room layout estimation methods and techniques
US11079603B2 (en) 2017-03-21 2021-08-03 Magic Leap, Inc. Display system with spatial light modulator illumination for divided pupils
IL303471B2 (en) 2017-03-21 2024-08-01 Magic Leap Inc An eye imaging device that uses optical refractive elements
WO2018175344A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
KR20240069826A (ko) 2017-03-21 2024-05-20 매직 립, 인코포레이티드 저-프로파일 빔 스플리터
IL269085B2 (en) 2017-03-21 2023-12-01 Magic Leap Inc Stacked waveguides with different refractive gratings for an integrated field of view
EP4246214A3 (en) 2017-03-21 2023-12-06 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
WO2018175625A1 (en) 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
US10410349B2 (en) * 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
JP7175281B2 (ja) 2017-03-28 2022-11-18 マジック リープ, インコーポレイテッド ユーザ走査仮想オブジェクトに関係している空間化されたオーディオを用いる拡張現実システム
CN107391983B (zh) 2017-03-31 2020-10-16 创新先进技术有限公司 一种基于物联网的信息处理方法及装置
CN106990843B (zh) * 2017-04-01 2021-01-08 维沃移动通信有限公司 一种眼睛跟踪系统的参数校准方法及电子设备
US10607096B2 (en) 2017-04-04 2020-03-31 Princeton Identity, Inc. Z-dimension user feedback biometric system
US10609025B2 (en) * 2017-04-06 2020-03-31 Htc Corporation System and method for providing simulated environment
CA3058669A1 (en) * 2017-04-14 2018-10-18 Magic Leap, Inc. Multimodal eye tracking
CN107097227B (zh) * 2017-04-17 2019-12-06 北京航空航天大学 一种人机协作机器人系统
US10401954B2 (en) 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
US10242486B2 (en) * 2017-04-17 2019-03-26 Intel Corporation Augmented reality and virtual reality feedback enhancement system, apparatus and method
JP7516048B2 (ja) 2017-04-18 2024-07-16 マジック リープ, インコーポレイテッド 反射性流動可能材料によって形成された反射性層を有する導波管
AU2018256365A1 (en) 2017-04-19 2019-10-31 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US10564733B2 (en) 2017-04-21 2020-02-18 Htc Corporation Operating method of tracking system, controller, tracking system, and non-transitory computer readable storage medium
US10620779B2 (en) * 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
EP3616110A1 (en) * 2017-04-24 2020-03-04 Siemens Aktiengesellschaft Unlocking passwords in augmented reality based on look
US11163416B2 (en) 2017-04-27 2021-11-02 Magic Leap, Inc. Light-emitting user input device for calibration or pairing
US10397594B2 (en) 2017-04-28 2019-08-27 Hewlett Packard Enterprise Development Lp Real-time processing of IoT data
KR20180123354A (ko) * 2017-05-08 2018-11-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
EP3568787B1 (en) 2017-05-17 2024-04-10 Google LLC Automatic image sharing with designated users over a communication network
TWI669657B (zh) * 2017-05-17 2019-08-21 宏碁股份有限公司 具自適性控制之主機、頭戴式顯示裝置、攜帶式裝置、虛擬實境系統及其控制方法
CN117891335A (zh) 2017-05-19 2024-04-16 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
IL270564B (en) 2017-05-22 2022-07-01 Magic Leap Inc Pairing with a companion device
GB2563004A (en) * 2017-05-23 2018-12-05 Nokia Technologies Oy Methods and apparatuses for handling visual virtual reality content
US10339334B2 (en) * 2017-05-25 2019-07-02 Ca, Inc. Augmented reality captcha
CN107224292B (zh) * 2017-05-27 2019-12-31 西南交通大学 一种调度员的注意广度的测试方法和系统
KR102627882B1 (ko) 2017-05-30 2024-01-22 매직 립, 인코포레이티드 전자 디바이스를 위한 팬 조립체를 갖는 전력 공급기 조립체
US10671160B2 (en) 2017-05-31 2020-06-02 Magic Leap, Inc. Eye tracking calibration techniques
DE102017111933A1 (de) * 2017-05-31 2018-12-06 Krohne Messtechnik Gmbh Verfahren zur sicheren Kommunikation mit einem Feldmessgerät der Prozesstechnik und entsprechendes Feldmessgerät
US10242476B2 (en) * 2017-05-31 2019-03-26 Verizon Patent and Licensong Inc. Methods and systems for dynamically representing, within a virtual reality data stream being presented to a user, a proxy object that corresponds to an object in the real-world environment of the user
WO2018222897A1 (en) * 2017-06-01 2018-12-06 University Of Washington Smartphone-based digital pupillometer
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10528794B2 (en) * 2017-06-05 2020-01-07 Motorola Solutions, Inc. System and method for tailoring an electronic digital assistant inquiry response as a function of previously detected user ingestion of related video information
US10657401B2 (en) 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
EP3413226A1 (en) * 2017-06-07 2018-12-12 Gemalto Sa Method for authenticating a user and corresponding device and system
US10853918B2 (en) * 2017-06-09 2020-12-01 Sony Interactive Entertainment Inc. Foveal adaptation of temporal anti-aliasing
WO2018231784A1 (en) 2017-06-12 2018-12-20 Magic Leap, Inc. Augmented reality display having multi-element adaptive lens for changing depth planes
CN107633196A (zh) * 2017-06-14 2018-01-26 电子科技大学 一种基于卷积神经网络的眼球移动预测方案
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10620710B2 (en) * 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
EP3646581A1 (en) 2017-06-30 2020-05-06 PCMS Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
US10482229B2 (en) * 2017-06-30 2019-11-19 Wipro Limited Method of providing content access permission to a user and a device thereof
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10319151B2 (en) * 2017-07-07 2019-06-11 Motorola Solutions, Inc. Device and method for hierarchical object recognition
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
US10691945B2 (en) 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US11073904B2 (en) * 2017-07-26 2021-07-27 Microsoft Technology Licensing, Llc Intelligent user interface element selection using eye-gaze
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
JP2020529073A (ja) 2017-07-26 2020-10-01 プリンストン・アイデンティティー・インコーポレーテッド 生体セキュリティシステムおよび方法
AU2018308418A1 (en) 2017-07-26 2020-01-16 Magic Leap, Inc. Training a neural network with representations of user interface devices
US11237691B2 (en) * 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
US11355023B2 (en) * 2017-07-27 2022-06-07 Kennesaw State University Research And Service Foundation, Inc. System and method for intervention with attention deficient disorders
CN107360424B (zh) * 2017-07-28 2019-10-25 深圳岚锋创视网络科技有限公司 一种基于视频编码器的码率控制方法、装置及视频服务器
CA3068612A1 (en) 2017-07-28 2019-01-31 Magic Leap, Inc. Fan assembly for displaying an image
US10748340B1 (en) * 2017-07-31 2020-08-18 Apple Inc. Electronic device with coordinated camera and display operation
KR102026526B1 (ko) * 2017-08-03 2019-09-30 주식회사 에스지엠 생체정보를 사용하는 인증 시스템 및 이를 이용한 스크린 골프 시스템
US11587419B2 (en) * 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
TWI642030B (zh) * 2017-08-09 2018-11-21 宏碁股份有限公司 視覺效用分析方法及相關眼球追蹤裝置與系統
EP3443883B1 (de) * 2017-08-14 2020-07-29 Carl Zeiss Vision International GmbH Vorrichtungen und verfahren zur durchführung augenbezogener messungen
WO2019036533A1 (en) * 2017-08-16 2019-02-21 Veritaz Inc. PERSONAL DISPLAY HELMET FOR LIMITING USER ACCESS TO UNAUTHORIZED RESOURCES
US20190057694A1 (en) * 2017-08-17 2019-02-21 Dolby International Ab Speech/Dialog Enhancement Controlled by Pupillometry
CN107610235B (zh) * 2017-08-21 2020-11-10 北京精密机电控制设备研究所 一种基于深度学习的移动平台导航方法和装置
CN109426710A (zh) * 2017-08-22 2019-03-05 上海荆虹电子科技有限公司 一种电子虹膜印章实现方法、系统及电子签章设备
KR102577681B1 (ko) * 2017-08-23 2023-09-14 한국전자통신연구원 자기 수치화 서비스 장치
WO2019040665A1 (en) 2017-08-23 2019-02-28 Neurable Inc. BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS
US10313315B2 (en) * 2017-08-25 2019-06-04 Bank Of America Corporation Ensuring information security in data transfers by utilizing proximity keys
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
JP7178403B2 (ja) 2017-09-01 2022-11-25 マジック リープ, インコーポレイテッド ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
WO2019055504A1 (en) 2017-09-13 2019-03-21 Oculogica Inc. EYE TRACKING SYSTEM
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
US10719951B2 (en) 2017-09-20 2020-07-21 Magic Leap, Inc. Personalized neural network for eye tracking
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
KR102481884B1 (ko) 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
WO2019057496A1 (de) * 2017-09-25 2019-03-28 Continental Automotive Gmbh Head-up-display
KR102650507B1 (ko) 2017-09-27 2024-03-21 매직 립, 인코포레이티드 별개의 위상 및 진폭 변조기들을 갖는 근안 3d 디스플레이
US10929993B2 (en) * 2017-09-29 2021-02-23 L'oreal Automated imaging system for evaluating the curl of a keratinous substrate
EP3466338A1 (en) * 2017-10-03 2019-04-10 Tata Consultancy Services Limited Cognitive load estimation based on pupil dilation
WO2019069171A1 (en) * 2017-10-06 2019-04-11 Novartis Ag MONITORING THE MOVEMENT OF AN EYE IN A TRACKING BEACH
CN111465887A (zh) 2017-10-11 2020-07-28 奇跃公司 包括具有透明发射显示器的目镜的增强现实显示器
US10712899B2 (en) * 2017-10-17 2020-07-14 Microsoft Technology Licensing, Llc Human-machine interface tethered to a user position in a three-dimensional VR or AR environment
CN111566723A (zh) 2017-10-26 2020-08-21 奇跃公司 用于增强现实显示器的宽带自适应透镜组件
CA3078774A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same
CA3078530A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
CN111480181A (zh) 2017-10-27 2020-07-31 奇跃公司 增强现实系统的虚拟标线
US10492725B2 (en) * 2017-10-29 2019-12-03 Orlando Efrain Abreu Oramas Method and system of facilitating monitoring of an individual based on at least one wearable device
US20190129174A1 (en) * 2017-10-31 2019-05-02 Google Llc Multi-perspective eye-tracking for vr/ar systems
US10984508B2 (en) 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
CN108038884B (zh) * 2017-11-01 2020-12-11 北京七鑫易维信息技术有限公司 校准方法、装置、存储介质和处理器
US11410564B2 (en) 2017-11-07 2022-08-09 The Board Of Trustees Of The University Of Illinois System and method for creating immersive interactive application
US11175736B2 (en) 2017-11-10 2021-11-16 South Dakota Board Of Regents Apparatus, systems and methods for using pupillometry parameters for assisted communication
CN111542800B (zh) 2017-11-13 2024-09-17 神经股份有限公司 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
CA3080005A1 (en) 2017-11-14 2019-05-23 Magic Leap, Inc. Meta-learning for multi-task learning for neural networks
CN109799899B (zh) * 2017-11-17 2021-10-22 腾讯科技(深圳)有限公司 交互控制方法、装置、存储介质和计算机设备
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
US20190156447A1 (en) * 2017-11-21 2019-05-23 Lorenzo Curci Flight Logging and Resource Management System
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
CN107968937B (zh) * 2017-11-30 2018-08-17 泰州腾翔信息科技有限公司 一种缓解眼球疲劳的系统
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
CN109871674A (zh) * 2017-12-04 2019-06-11 上海聚虹光电科技有限公司 Vr或ar设备分区域操作权限管理方法
US10656706B2 (en) * 2017-12-04 2020-05-19 International Business Machines Corporation Modifying a computer-based interaction based on eye gaze
CN109870873B (zh) * 2017-12-05 2022-04-22 青岛海信激光显示股份有限公司 一种波长转换装置、光源装置及投影系统
KR20190067433A (ko) * 2017-12-07 2019-06-17 주식회사 비주얼캠프 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ, インコーポレイテッド 光学導波管上の反射防止性コーティング
CA3083105A1 (en) 2017-12-11 2019-06-20 Magic Leap, Inc. Waveguide illuminator
KR102045743B1 (ko) * 2017-12-11 2019-11-18 상명대학교산학협력단 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치 및 방법
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
CN107992896A (zh) * 2017-12-13 2018-05-04 东南大学 一种基于眼动追踪技术的科学概念评测方法
AU2018383539A1 (en) 2017-12-14 2020-06-18 Magic Leap, Inc. Contextual-based rendering of virtual avatars
WO2019118930A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Eyepieces for augmented reality display system
CN108108019B (zh) * 2017-12-15 2021-03-19 歌尔光学科技有限公司 虚拟现实设备及其显示方法
WO2019118886A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Enhanced pose determination for display device
US11921289B2 (en) 2017-12-20 2024-03-05 Vuzix Corporation Augmented reality display system
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
JP7474696B2 (ja) 2018-01-04 2024-04-25 マジック リープ, インコーポレイテッド 無機材料を組み込むポリマー構造に基づく光学要素
CN110022454B (zh) * 2018-01-10 2021-02-23 华为技术有限公司 一种在视频会议中识别身份的方法及相关设备
US10360419B1 (en) * 2018-01-15 2019-07-23 Universal City Studios Llc Interactive systems and methods with tracking devices
CA3088116A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
IL275822B2 (en) 2018-01-17 2024-02-01 Magic Leap Inc Eye center for determining rotation, choosing depth plane and processing camera position in display systems
CN111712192B (zh) * 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
US10706300B2 (en) * 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
CN110120229B (zh) * 2018-02-05 2024-09-20 北京三星通信技术研究有限公司 虚拟现实vr音频信号的处理方法及相应设备
US11533272B1 (en) * 2018-02-06 2022-12-20 Amesite Inc. Computer based education methods and apparatus
CN108337430A (zh) * 2018-02-07 2018-07-27 北京联合大学 360度无死角智能眼镜
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154510A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN108764007A (zh) * 2018-02-10 2018-11-06 集智学园(北京)科技有限公司 基于ocr与文本分析技术对注意力的测量方法
US11048785B2 (en) * 2018-02-14 2021-06-29 Samsung Electronics Co., Ltd Method and apparatus of performing authentication
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
KR102495796B1 (ko) * 2018-02-23 2023-02-06 삼성전자주식회사 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
CN108537111A (zh) 2018-02-26 2018-09-14 阿里巴巴集团控股有限公司 一种活体检测的方法、装置及设备
JP7342008B2 (ja) 2018-02-27 2023-09-11 マジック リープ, インコーポレイテッド 仮想アバタのためのメッシュの合致
AU2019228458A1 (en) 2018-02-28 2020-08-06 Magic Leap, Inc. Head scan alignment using ocular registration
CN108491072B (zh) * 2018-03-05 2020-01-21 京东方科技集团股份有限公司 一种虚拟现实交互方法及装置
CN111819487A (zh) 2018-03-05 2020-10-23 奇跃公司 具有低延迟瞳孔跟踪器的显示系统
WO2019172503A1 (ko) * 2018-03-05 2019-09-12 고려대학교 산학협력단 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
WO2019173390A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
EP4212222A1 (en) 2018-03-07 2023-07-19 Magic Leap, Inc. Visual tracking of peripheral devices
CN111954837A (zh) 2018-03-12 2020-11-17 奇跃公司 基于折射率极高的目镜基板的观察光学组件架构
US10528133B2 (en) * 2018-03-13 2020-01-07 Facebook Technologies, Llc Bracelet in a distributed artificial reality system
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
US10878620B2 (en) 2018-03-14 2020-12-29 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11430169B2 (en) 2018-03-15 2022-08-30 Magic Leap, Inc. Animating virtual avatar facial movements
CN112106066A (zh) 2018-03-16 2020-12-18 奇跃公司 根据眼睛跟踪相机的面部表情
JP7381482B2 (ja) 2018-03-16 2023-11-15 マジック リープ, インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
CN108416322B (zh) * 2018-03-27 2019-05-17 吉林大学 一种虚拟装配坐式操作中目视动作识别方法
JP7118697B2 (ja) 2018-03-30 2022-08-16 株式会社Preferred Networks 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
WO2019195174A1 (en) 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
EP3776029A4 (en) 2018-04-02 2022-06-29 Magic Leap, Inc. Hybrid polymer waveguide and methods for making the same
US11886000B2 (en) 2018-04-02 2024-01-30 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
WO2019204164A1 (en) 2018-04-16 2019-10-24 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
CN108459720B (zh) * 2018-04-19 2023-11-21 京东方科技集团股份有限公司 视控装置及用视控装置控制终端的方法
US11067805B2 (en) 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US10789753B2 (en) 2018-04-23 2020-09-29 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
WO2019213220A1 (en) 2018-05-03 2019-11-07 Magic Leap, Inc. Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character
JP7471279B2 (ja) * 2018-05-04 2024-04-19 グーグル エルエルシー 検出された口運動および/または注視に基づく自動化アシスタントの適応
EP4130941A1 (en) 2018-05-04 2023-02-08 Google LLC Hot-word free adaptation of automated assistant function(s)
EP4307093A3 (en) 2018-05-04 2024-03-13 Google LLC Invoking automated assistant function(s) based on detected gesture and gaze
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
KR102400085B1 (ko) * 2018-05-07 2022-05-19 애플 인크. 크리에이티브 카메라
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
JP7099036B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US20210217166A1 (en) * 2018-05-11 2021-07-15 Visionairy Health, Inc. Automated screening of medical data
WO2019221325A1 (ko) * 2018-05-14 2019-11-21 한국과학기술원 눈동자 반응을 이용한 연속 인증 시스템
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
WO2019222401A2 (en) 2018-05-17 2019-11-21 Magic Leap, Inc. Gradient adversarial training of neural networks
WO2019226494A1 (en) 2018-05-21 2019-11-28 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
CN108763394B (zh) * 2018-05-21 2021-11-23 浙江工业大学 面向协同交互的多用户眼动跟踪数据可视化方法和系统
WO2019226549A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Computer generated hair groom transfer tool
CN112437950A (zh) 2018-05-22 2021-03-02 奇跃公司 用于对虚拟头像制作动画的骨架系统
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ, インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
CN108854064B (zh) * 2018-05-25 2023-03-28 深圳市腾讯网络信息技术有限公司 交互控制方法、装置、计算机可读介质及电子设备
CN108416341B (zh) * 2018-05-25 2023-11-21 重庆青腾致汇科技有限公司 一种新型生物识别系统
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US11187906B2 (en) 2018-05-29 2021-11-30 Eyedaptic, Inc. Hybrid see through augmented reality systems and methods for low vision users
CN112236713B (zh) 2018-05-30 2023-01-24 奇跃公司 紧凑的可变聚焦配置
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10509467B1 (en) * 2018-06-01 2019-12-17 Facebook Technologies, Llc Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
KR102701323B1 (ko) * 2018-06-01 2024-08-30 파퉁 인베스트먼츠 엘티디. 인증된 데이터의 캡쳐 및 표시
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
WO2019232075A1 (en) 2018-06-01 2019-12-05 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US10360304B1 (en) * 2018-06-04 2019-07-23 Imageous, Inc. Natural language processing interface-enabled building conditions control system
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11238143B2 (en) * 2018-06-05 2022-02-01 Google Llc Method and system for authenticating a user on a wearable heads-up display
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
JP7421505B2 (ja) 2018-06-08 2024-01-24 マジック リープ, インコーポレイテッド 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
WO2019237175A1 (en) * 2018-06-14 2019-12-19 Integrity Advocate Inc. Method and system for assessing participants
WO2019238230A1 (en) * 2018-06-14 2019-12-19 Brainlab Ag Registration of an anatomical body part by detecting a finger pose
EP3807711A4 (en) 2018-06-15 2022-02-23 Magic Leap, Inc. WIDE FIELD OF VIEW POLARIZATION SWITCHES AND METHOD OF MANUFACTURING LIQUID CRYSTAL OPTICAL ELEMENTS WITH FORWARD TILT
CN108962182A (zh) * 2018-06-15 2018-12-07 广东康云多维视觉智能科技有限公司 基于眼球追踪的三维图像显示装置及其实现方法
WO2019241575A1 (en) 2018-06-15 2019-12-19 Magic Leap, Inc. Wide field-of-view polarization switches with liquid crystal optical elements with pretilt
WO2019246098A1 (en) * 2018-06-18 2019-12-26 New Jersey Institute Of Technology Method, system and apparatus for diagnostic assessment and screening of binocular dysfunctions
JP7378431B2 (ja) 2018-06-18 2023-11-13 マジック リープ, インコーポレイテッド フレーム変調機能性を伴う拡張現実ディスプレイ
US11694435B2 (en) 2018-06-18 2023-07-04 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
JP7214986B2 (ja) * 2018-06-25 2023-01-31 日本電信電話株式会社 反射性判定装置、反射性判定方法、プログラム
KR102501599B1 (ko) * 2018-06-26 2023-02-17 애플 인크. 뷰-기반 정지점
WO2020005757A1 (en) 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
JP7437327B2 (ja) 2018-07-02 2024-02-22 マジック リープ, インコーポレイテッド 異種入力の補間のための方法およびシステム
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US12073416B2 (en) 2018-07-04 2024-08-27 Solmaz Gumruk Musavirligi A.S. Method using artificial neural networks to find a unique harmonized system code from given texts and system for implementing the same
KR20200004666A (ko) 2018-07-04 2020-01-14 주식회사 링크트리 머신러닝과 블록체인을 이용한 생체정보 인증 시스템
US11106033B2 (en) 2018-07-05 2021-08-31 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
EP3821404A1 (en) * 2018-07-10 2021-05-19 Carrier Corporation Applying image analytics and machine learning to lock systems in hotels
US10936163B2 (en) 2018-07-17 2021-03-02 Methodical Mind, Llc. Graphical user interface system
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
US10884492B2 (en) 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
WO2020023399A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Deep predictor recurrent neural network for head pose prediction
WO2020023303A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
JP7456995B2 (ja) 2018-07-24 2024-03-27 マジック リープ, インコーポレイテッド 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
US11067808B2 (en) 2018-07-24 2021-07-20 Magic Leap, Inc. Diffractive optical elements with mitigation of rebounce-induced light loss and related systems and methods
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
WO2020023491A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Thermal management system for electronic device
US11567336B2 (en) 2018-07-24 2023-01-31 Magic Leap, Inc. Display systems and methods for determining registration between display and eyes of user
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
WO2020023788A1 (en) 2018-07-27 2020-01-30 Magic Leap, Inc. Pose space dimensionality reduction for pose space deformation of a virtual character
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
WO2020028867A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11012659B2 (en) * 2018-08-07 2021-05-18 International Business Machines Corporation Intelligent illumination and sound control in an internet of things (IoT) computing environment
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ, インコーポレイテッド 患者視認システム
CN109165939A (zh) * 2018-08-23 2019-01-08 唐剑虹 基于生物识别技术的区块链vr硬件钱包
WO2020046815A1 (en) * 2018-08-26 2020-03-05 The Research Foundation For The State University Of New York System and method for inter-individual discrimination based on oculomotor kinematics
DE102018214976A1 (de) * 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Steuerung einer Multimedia-Einrichtung sowie Computerprogramm und Einrichtung dazu
GB2576910B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc User profile generating system and method
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
CN109145566A (zh) 2018-09-08 2019-01-04 太若科技(北京)有限公司 基于注视点信息解锁ar眼镜的方法、装置及ar眼镜
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
US10936061B2 (en) * 2018-09-17 2021-03-02 Facebook Technologies, Llc Eye tracking using reverse-biased light-emitting diode devices
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
US20200089855A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Password Authentication by Eye Tracking in Virtual Reality System
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
EP3856098A4 (en) 2018-09-24 2022-05-25 Eyedaptic, Inc. IMPROVED AUTONOMOUS HANDS-FREE CONTROL OF ELECTRONIC VISION AIDS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
CN113168008A (zh) 2018-09-26 2021-07-23 奇跃公司 具有针孔和狭缝相机的眼镜
JP7444861B2 (ja) 2018-09-26 2024-03-06 マジック リープ, インコーポレイテッド 屈折力を有する回折光学要素
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11055388B2 (en) * 2018-10-08 2021-07-06 Advanced New Technologies Co., Ltd. Passive affective and knowledge-based authentication through eye movement tracking
CN111083299A (zh) * 2018-10-18 2020-04-28 富士施乐株式会社 信息处理装置及存储介质
MX2021003713A (es) * 2018-10-19 2021-09-14 Univ Emory Sistemas y metodos para la evaluacion automatica pasiva de la memoria y/o prominencia visoespacial.
CN109040604B (zh) * 2018-10-23 2020-09-15 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
JP7455121B2 (ja) 2018-10-26 2024-03-25 マジック リープ, インコーポレイテッド 電磁追跡のための周囲電磁歪み補正
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN109376666B (zh) 2018-10-29 2022-01-25 百度在线网络技术(北京)有限公司 一种商品售卖方法、装置、售卖机及存储介质
SE542887C2 (en) * 2018-10-31 2020-08-11 Tobii Ab Gaze tracking using mapping of pupil center position
EP3874679A4 (en) 2018-11-01 2022-08-03 3M Innovative Properties Company DEVICE, USER OR SERVER REGISTRATION AND VERIFICATION
US10896492B2 (en) 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
US10417497B1 (en) 2018-11-09 2019-09-17 Qwake Technologies Cognitive load reducing platform for first responders
US11890494B2 (en) 2018-11-09 2024-02-06 Qwake Technologies, Inc. Retrofittable mask mount system for cognitive load reducing platform
US10833945B2 (en) * 2018-11-13 2020-11-10 International Business Machines Corporation Managing downloading of content
EP3881232A4 (en) 2018-11-15 2022-08-10 Magic Leap, Inc. DEEP NEURON NETWORK POSE ESTIMATION SYSTEM
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ, インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US11237393B2 (en) 2018-11-20 2022-02-01 Magic Leap, Inc. Eyepieces for augmented reality display system
WO2020107022A1 (en) * 2018-11-23 2020-05-28 Slingshot Aerospace, Inc. Signal processing workflow engine incorporating graphical user interface for space situational awareness
CN109683704B (zh) * 2018-11-29 2022-01-28 武汉中地地科传媒文化有限责任公司 一种ar界面交互方法及ar显示设备
CN113330390A (zh) 2018-11-30 2021-08-31 奇跃公司 用于化身运动的多模态手的位置和取向
CN111277857B (zh) * 2018-12-04 2021-04-13 清华大学 一种流媒体调度方法及装置
KR102707598B1 (ko) * 2018-12-04 2024-09-19 삼성전자주식회사 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
CN109799838B (zh) * 2018-12-21 2022-04-15 金季春 一种训练方法和系统
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
US11443515B2 (en) * 2018-12-21 2022-09-13 Ambient AI, Inc. Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management
WO2020132941A1 (zh) * 2018-12-26 2020-07-02 中国科学院深圳先进技术研究院 识别方法及相关装置
EP3903143A4 (en) 2018-12-28 2022-10-12 Magic Leap, Inc. VARIABLE PIXEL DENSITY DISPLAY SYSTEM WITH MECHANICALLY ACTUATED IMAGE PROJECTOR
WO2020139754A1 (en) 2018-12-28 2020-07-02 Magic Leap, Inc. Augmented and virtual reality display systems with shared display for left and right eyes
US11139071B2 (en) 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
WO2020147948A1 (en) 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11036043B2 (en) * 2019-01-17 2021-06-15 Advanced New Technologies Co., Ltd. Identity authentication using lens features
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11458040B2 (en) 2019-01-23 2022-10-04 Meta Platforms Technologies, Llc Corneal topography mapping with dense illumination
JP7431246B2 (ja) 2019-01-25 2024-02-14 マジック リープ, インコーポレイテッド 異なる露光時間を有する画像を使用した眼追跡
CN109828734A (zh) * 2019-01-29 2019-05-31 深圳市海派通讯科技有限公司 智能终端显示屏幕控制方法、系统及存储介质
US12105289B2 (en) 2019-02-01 2024-10-01 Magic Leap, Inc. Inline in-coupling optical elements
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
KR102246408B1 (ko) * 2019-02-14 2021-05-18 엔에이치엔 주식회사 딥러닝 기반 유사상품 제공방법
CN109919065A (zh) * 2019-02-26 2019-06-21 浪潮金融信息技术有限公司 一种使用眼球追踪技术在屏幕上获取关注点的方法
US11138302B2 (en) * 2019-02-27 2021-10-05 International Business Machines Corporation Access control using multi-authentication factors
JP7518844B2 (ja) 2019-02-28 2024-07-18 マジック リープ, インコーポレイテッド 光エミッタアレイによって形成される複数の瞳孔内視差ビューを使用して可変遠近調節キューを提供するためのディスプレイシステムおよび方法
KR102190527B1 (ko) * 2019-02-28 2020-12-14 현대모비스 주식회사 자동 영상 합성 장치 및 방법
EP3938818B1 (en) 2019-03-12 2024-10-09 Magic Leap, Inc. Method of fabricating display device having patterned lithium-based transition metal oxide
RU2715300C1 (ru) * 2019-03-12 2020-02-26 Алексей Федорович Хорошев Способ создания данных соответствия объекта и информации о нем
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
WO2020185954A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Waveguides with high index materials and methods of fabrication thereof
CN110059232B (zh) * 2019-03-15 2021-05-07 杭州电子科技大学 一种基于用户体验度量的数据可视化方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN110011985A (zh) 2019-03-19 2019-07-12 阿里巴巴集团控股有限公司 用于操作物联网设备的方法和系统
JP2022525922A (ja) 2019-03-20 2022-05-20 マジック リープ, インコーポレイテッド 光を収集するためのシステム
JP7564818B2 (ja) 2019-03-20 2024-10-09 マジック リープ, インコーポレイテッド 眼の照明を提供するためのシステム
US11099384B2 (en) * 2019-03-27 2021-08-24 Lenovo (Singapore) Pte. Ltd. Adjusting display settings of a head-mounted display
US11644897B2 (en) 2019-04-01 2023-05-09 Evolution Optiks Limited User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same
EP3948402B1 (en) * 2019-04-01 2023-12-06 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
TWI754806B (zh) * 2019-04-09 2022-02-11 栗永徽 利用深度學習定位虹膜之裝置與方法
USD916892S1 (en) * 2019-04-09 2021-04-20 Google Llc Display screen or portion thereof with graphical user interface with icon
CN114008514A (zh) 2019-04-15 2022-02-01 奇跃公司 用于电磁跟踪的传感器融合
CN110060678B (zh) * 2019-04-16 2021-09-14 深圳欧博思智能科技有限公司 一种基于智能设备的虚拟角色控制方法及智能设备
JP7060544B6 (ja) * 2019-04-26 2022-05-23 塁 佐藤 運動用設備
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
CN111897411A (zh) * 2019-05-05 2020-11-06 Oppo广东移动通信有限公司 基于大气光通信的交互方法、装置和穿戴设备
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
SE543144C2 (en) * 2019-05-15 2020-10-13 Tobii Ab Method and system for dwell-less, hands-free interaction with a selectable object
CN114127610A (zh) 2019-05-20 2022-03-01 奇跃公司 用于估计眼睛姿势的系统和技术
EP3973468A4 (en) 2019-05-21 2022-09-14 Magic Leap, Inc. HANDPOSITION ESTIMATING
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
WO2020243014A1 (en) 2019-05-24 2020-12-03 Magic Leap, Inc. Variable focus assemblies
JP7357081B2 (ja) 2019-05-28 2023-10-05 マジック リープ, インコーポレイテッド ポータブル電子デバイスのための熱管理システム
JP6830981B2 (ja) * 2019-05-29 2021-02-17 株式会社東芝 ウェアラブル機器及び表示方法
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
EP3744227A1 (en) * 2019-05-31 2020-12-02 Essilor International Binocular refraction instrument, set of test images, binocular refraction method and computer program associated thereof
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US10885173B2 (en) * 2019-06-04 2021-01-05 Nant Holdings Ip, Llc Content authentication and validation via multi-factor digital tokens, systems, and methods
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN110338748B (zh) * 2019-06-13 2022-03-08 宁波明星科技发展有限公司 快速定位视力值的方法、存储介质、终端及视力检测仪
EP3987343A4 (en) 2019-06-20 2023-07-19 Magic Leap, Inc. EYEWEARS FOR AUGMENTED REALITY DISPLAY SYSTEM
CN114270312A (zh) 2019-06-21 2022-04-01 奇跃公司 经由模态窗口的安全授权
JP7386267B2 (ja) 2019-06-24 2023-11-24 マジック リープ, インコーポレイテッド ディスプレイシステム
US11307650B1 (en) * 2019-06-25 2022-04-19 Apple Inc. Modifying virtual content to invoke a target user state
US10976816B2 (en) * 2019-06-25 2021-04-13 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
US10901502B2 (en) * 2019-06-27 2021-01-26 Facebook, Inc. Reducing head mounted display power consumption and heat generation through predictive rendering of content
EP3994510A4 (en) 2019-07-05 2023-08-02 Magic Leap, Inc. EYE TRACKING LATENCY IMPROVEMENTS
US11379610B2 (en) * 2019-07-10 2022-07-05 Blackberry Limited Methods and devices for automatically encrypting files
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
EP3997706A1 (en) * 2019-07-12 2022-05-18 Orion Corporation Electronic arrangement for therapeutic interventions utilizing virtual or augmented reality and related method
TW202103646A (zh) * 2019-07-15 2021-02-01 美商外科劇院股份有限公司 用於遠距監督手術程序之擴增實境系統及方法
US11868525B2 (en) 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
JP2022540691A (ja) 2019-07-19 2022-09-16 マジック リープ, インコーポレイテッド 回折格子を加工する方法
EP3999884A4 (en) 2019-07-19 2023-08-30 Magic Leap, Inc. DISPLAY DEVICE HAVING DIFFRACTION GRATINGS WITH REDUCED POLARIZATION SENSITIVITY
US11907417B2 (en) 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US11354805B2 (en) * 2019-07-30 2022-06-07 Apple Inc. Utilization of luminance changes to determine user characteristics
EP4005147A4 (en) 2019-07-31 2023-08-02 Magic Leap, Inc. USER DATA MANAGEMENT FOR AUGMENTED REALITY USING A DISTRIBUTED LEDGER
CN114223194B (zh) * 2019-08-06 2024-04-26 爱尔康公司 用于玻璃体视网膜手术的场景相机系统和方法
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法
US11263634B2 (en) 2019-08-16 2022-03-01 Advanced New Technologies Co., Ltd. Payment method and device
US11380065B2 (en) * 2019-08-20 2022-07-05 Red Pacs, Llc Advanced head display unit for fire fighters
US11915376B2 (en) 2019-08-28 2024-02-27 Qwake Technologies, Inc. Wearable assisted perception module for navigation and communication in hazardous environments
US11282297B2 (en) * 2019-09-10 2022-03-22 Blue Planet Training, Inc. System and method for visual analysis of emotional coherence in videos
CN114616210A (zh) 2019-09-11 2022-06-10 奇跃公司 带有具有降低的偏振灵敏度的衍射光栅的显示装置
US11295309B2 (en) * 2019-09-13 2022-04-05 International Business Machines Corporation Eye contact based financial transaction
US11010980B2 (en) 2019-09-25 2021-05-18 International Business Machines Corporation Augmented interface distraction reduction
US11354910B2 (en) * 2019-09-27 2022-06-07 Ncr Corporation Frictionless authentication and monitoring
US11601693B2 (en) 2019-09-30 2023-03-07 Kyndryl, Inc. Automatic adaptation of digital content
CN110751064B (zh) * 2019-09-30 2022-06-24 四川大学 基于图像处理的眨眼次数分析方法和系统
US20210097436A1 (en) * 2019-10-01 2021-04-01 Kelley S. Weiland Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms
US11436655B2 (en) * 2019-10-01 2022-09-06 Ebay Inc. Different action user-interface components in a comparison view
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
KR102128894B1 (ko) * 2019-10-10 2020-07-01 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법
CN110837294B (zh) * 2019-10-14 2023-12-12 成都西山居世游科技有限公司 一种基于眼球追踪的面部表情控制方法及系统
JP7423248B2 (ja) * 2019-10-23 2024-01-29 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム及び記憶媒体
US10901505B1 (en) 2019-10-24 2021-01-26 Tectus Corporation Eye-based activation and tool selection systems and methods
US11662807B2 (en) * 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
US10607077B1 (en) * 2019-10-28 2020-03-31 EyeVerify Inc. Identity authentication using an inlier neural network
CN110745000B (zh) * 2019-10-29 2021-09-28 上海天马有机发光显示技术有限公司 一种车辆仪表及其显示方法、车速监控显示系统
CN110727352A (zh) * 2019-10-31 2020-01-24 哈雷医用(广州)智能技术有限公司 一种对抑郁症具有改善作用的电子产品及其控制方法
US11830318B2 (en) 2019-10-31 2023-11-28 8 Bit Development Inc. Method of authenticating a consumer or user in virtual reality, thereby enabling access to controlled environments
US10795984B1 (en) 2019-11-01 2020-10-06 Capital One Services, Llc Active locking mechanism using machine learning
TWI731461B (zh) * 2019-11-01 2021-06-21 宏碁股份有限公司 真實人臉的識別方法與真實人臉的識別裝置
US20220395394A1 (en) * 2019-11-05 2022-12-15 The Regents Of The University Of Colorado, A Body Corporate Systems And Methods To Probe Ocular Structures
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
JP7467619B2 (ja) 2019-11-08 2024-04-15 マジック リープ, インコーポレイテッド 複数の材料を含む光再指向構造を伴うメタ表面およびその加工方法
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
US11423624B2 (en) 2019-11-18 2022-08-23 Magic Leap, Inc. Mapping and localization of a passable world
US12094139B2 (en) 2019-11-22 2024-09-17 Magic Leap, Inc. Systems and methods for enhanced depth determination using projection spots
WO2021102165A1 (en) 2019-11-22 2021-05-27 Magic Leap, Inc. Method and system for patterning a liquid crystal layer
WO2021108327A1 (en) 2019-11-26 2021-06-03 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
US11665379B2 (en) * 2019-11-26 2023-05-30 Photo Sensitive Cinema (PSC) Rendering image content as time-spaced frames
US11273341B2 (en) * 2019-11-27 2022-03-15 Ready 2 Perform Technology LLC Interactive visualization system for biomechanical assessment
CN112904997B (zh) * 2019-12-04 2023-05-26 Oppo广东移动通信有限公司 设备控制方法及相关产品
US10871825B1 (en) * 2019-12-04 2020-12-22 Facebook Technologies, Llc Predictive eye tracking systems and methods for variable focus electronic displays
JP7569856B2 (ja) 2019-12-06 2024-10-18 マジック リープ, インコーポレイテッド 静止画内のステレオスプラッシュスクリーンのエンコーディング
WO2021113322A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Dynamic browser stage
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
US11640572B2 (en) * 2019-12-19 2023-05-02 Senseye, Inc. Ocular system to optimize learning
CN113010066B (zh) * 2019-12-20 2022-11-11 华为技术有限公司 显示参数确定方法及装置
US20210192853A1 (en) * 2019-12-20 2021-06-24 Abdul Zalil Method and system for wireless transmission of audio/video media content to a display device
CN111091595B (zh) * 2019-12-23 2023-06-02 吉林省广播电视研究所(吉林省广播电视局科技信息中心) 斜视三维测绘方法及测绘系统
CN111159678B (zh) * 2019-12-26 2023-08-18 联想(北京)有限公司 一种身份识别方法、装置及存储介质
CN111292850A (zh) * 2020-01-22 2020-06-16 福建中医药大学 一种adhd儿童注意力智能康复系统
EP4094119A4 (en) 2020-01-24 2024-04-10 Magic Leap, Inc. MOVING AND INTERACTING WITH CONTENT USING ONE CONTROL DEVICE
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
WO2021154646A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Neutral avatars
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
JP2023511311A (ja) 2020-01-27 2023-03-17 マジック リープ, インコーポレイテッド ユーザ入力デバイスの機能性の注視タイマベースの拡張
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
JP7490784B2 (ja) 2020-01-27 2024-05-27 マジック リープ, インコーポレイテッド 拡張現実マップキュレーション
JP7538871B2 (ja) 2020-01-27 2024-08-22 マジック リープ, インコーポレイテッド アンカベースのクロスリアリティアプリケーションのための向上された状態制御
CN115039012A (zh) 2020-01-31 2022-09-09 奇跃公司 用于测眼评估的增强和虚拟现实显示系统
CN111402100A (zh) * 2020-02-03 2020-07-10 重庆特斯联智慧科技股份有限公司 一种通过目标追踪实现的人口登记方法和系统
CN111880662A (zh) * 2020-02-06 2020-11-03 北京师范大学 一种应用于交互式地图的眼动控制系统
CN111880663A (zh) * 2020-02-06 2020-11-03 北京师范大学 一种应用于交互式地图的眼动控制方法及装置
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view
CN115087905A (zh) 2020-02-10 2022-09-20 奇跃公司 在混合现实环境中相对于三维容器的以身体为中心的内容定位
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
US11016656B1 (en) * 2020-02-14 2021-05-25 International Business Machines Corporation Fault recognition self-learning graphical user interface
EP4104436A4 (en) 2020-02-14 2024-03-13 Magic Leap, Inc. VIRTUAL OBJECT MOVEMENT SPEED CURVE FOR VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEMS
US11300784B2 (en) * 2020-02-21 2022-04-12 Fotonation Limited Multi-perspective eye acquisition
US11664194B2 (en) 2020-02-26 2023-05-30 Magic Leap, Inc. Procedural electron beam lithography
JP7251614B2 (ja) * 2020-02-28 2023-04-04 アステラス製薬株式会社 ウェアラブル機器、情報処理装置、情報処理システム、及びプログラム
US11840034B2 (en) 2020-02-28 2023-12-12 Magic Leap, Inc. Method of fabricating molds for forming eyepieces with integrated spacers
KR102379350B1 (ko) * 2020-03-02 2022-03-28 주식회사 비주얼캠프 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
KR102359602B1 (ko) * 2020-03-10 2022-02-08 한국과학기술원 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들
EP3883235A1 (en) 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
EP4121813A4 (en) 2020-03-20 2024-01-17 Magic Leap, Inc. SYSTEMS AND METHODS FOR RETINA IMAGING AND TRACKING
US11940639B2 (en) 2020-03-25 2024-03-26 Magic Leap, Inc. Optical device with one-way mirror
CN111383313B (zh) * 2020-03-31 2023-05-12 歌尔股份有限公司 一种虚拟模型渲染方法、装置、设备及可读存储介质
US11537701B2 (en) 2020-04-01 2022-12-27 Toyota Motor North America, Inc. Transport related n-factor authentication
CN115769174A (zh) 2020-04-03 2023-03-07 奇跃公司 用于最佳注视辨别的化身定制
CN115698824A (zh) 2020-04-03 2023-02-03 奇跃公司 具有纳米线led微型显示器的可穿戴显示系统
US11536970B1 (en) * 2020-04-07 2022-12-27 Google Llc Tracking of item of interest using wearable heads up display
US11587388B2 (en) 2020-04-22 2023-02-21 Igt Determining a player's emotional state using player gaze movement at gaming devices
CN111399659B (zh) * 2020-04-24 2022-03-08 Oppo广东移动通信有限公司 界面显示方法及相关装置
US11950022B1 (en) 2020-04-24 2024-04-02 Apple Inc. Head-mounted devices with forward facing cameras
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
DE102020113579A1 (de) * 2020-05-19 2021-11-25 Audi Aktiengesellschaft Kameravorrichtung zum Erzeugen eines Abbilds einer Umgebung sowie Scheinwerferanordnung
EP4154050A4 (en) 2020-05-22 2024-06-05 Magic Leap, Inc. AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS WITH CORRELATED OPTICAL REGIONS
US11615205B2 (en) * 2020-05-28 2023-03-28 Bank Of America Corporation Intelligent dynamic data masking on display screens based on viewer proximity
US11195490B1 (en) * 2020-05-29 2021-12-07 International Business Machines Corporation Smart contact lens with adjustable light transmittance
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN115668106A (zh) 2020-06-05 2023-01-31 奇跃公司 基于图像的神经网络分析的增强眼睛跟踪技术
JP7218978B2 (ja) 2020-06-15 2023-02-07 株式会社mediVR リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
US11706656B2 (en) 2020-06-29 2023-07-18 Qualcomm Incorporated Downlink data prioritization for time-sensitive applications
GB202010326D0 (en) * 2020-07-06 2020-08-19 Palakollu Vamsee Krishna A virtual reality headset
US11690435B2 (en) 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
TW202206030A (zh) * 2020-07-14 2022-02-16 美商外科劇院股份有限公司 用於四維血管造影之系統及方法
JP7545564B2 (ja) 2020-07-15 2024-09-04 マジック リープ, インコーポレイテッド 非球面角膜モデルを使用した眼追跡
WO2022015319A1 (en) * 2020-07-17 2022-01-20 Hewlett-Packard Development Company, L.P. Head-mountable display (hmd) image and foveal region brightness computation
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
WO2022025921A1 (en) * 2020-07-31 2022-02-03 Hewlett-Packard Development Company, L.P. Change blindness detection via bio-analytics
WO2022032198A1 (en) 2020-08-07 2022-02-10 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
JP7154260B2 (ja) * 2020-08-11 2022-10-17 株式会社トプコン 眼科装置
JP7154259B2 (ja) * 2020-08-11 2022-10-17 株式会社トプコン 眼科装置
CN114365214A (zh) 2020-08-14 2022-04-15 海思智财控股有限公司 叠合虚拟影像于即时影像的系统与方法
US11321797B2 (en) * 2020-08-25 2022-05-03 Kyndryl, Inc. Wearable watermarks
US12029483B2 (en) * 2020-08-27 2024-07-09 Revieve Oy System and method for finding an area of an eye from a facial image
WO2022046120A1 (en) * 2020-08-31 2022-03-03 Hewlett-Packard Development Company, L.P. User authentication using event cameras
US11620855B2 (en) 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses
WO2022051688A1 (en) 2020-09-03 2022-03-10 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
CN114531904A (zh) * 2020-09-09 2022-05-24 京东方科技集团股份有限公司 Ar/vr图像显示方法、ar/vr图像显示设备和计算机程序产品
CN112084990A (zh) * 2020-09-16 2020-12-15 重庆科技学院 一种基于卷积神经网络及回溯的课堂抬头率统计系统
KR102230797B1 (ko) * 2020-09-23 2021-03-22 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
JP2023545653A (ja) 2020-09-29 2023-10-31 エイヴギャント コーポレイション ディスプレイパネルを照明するためのアーキテクチャ
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
WO2022074973A1 (ja) * 2020-10-05 2022-04-14 ソニーグループ株式会社 視線検出装置及び表示装置
GB2599900B (en) * 2020-10-09 2023-01-11 Sony Interactive Entertainment Inc Data processing system and method for image enhancement
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11609629B2 (en) 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11281291B1 (en) 2020-10-20 2022-03-22 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11320903B1 (en) 2020-10-20 2022-05-03 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11659266B2 (en) * 2020-10-21 2023-05-23 Qualcomm Incorporated Power control based at least in part on user eye movement
US11803237B2 (en) 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
US11184294B1 (en) * 2020-12-04 2021-11-23 Capital One Services, Llc Methods and systems for managing multiple content delivery networks
JP7252296B2 (ja) * 2020-12-09 2023-04-04 株式会社トプコン 眼科装置及び眼科測定方法
EP4213482A4 (en) * 2020-12-16 2024-03-20 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR TRANSMITTING SEVERAL PARTS OF APPLICATION DATA WITH LOW LATENCY
EP4278366A1 (en) 2021-01-12 2023-11-22 Emed Labs, LLC Health testing and diagnostics platform
US11869650B2 (en) * 2021-01-12 2024-01-09 Tandem Diabetes Care, Inc. Remote access for medical device therapy
CN114765558B (zh) 2021-01-15 2024-04-09 台达电子工业股份有限公司 工业设备监控方法及工业设备监控系统
WO2022159630A1 (en) 2021-01-22 2022-07-28 Zinn Labs, Inc. Gaze sensors and display elements for detection of gaze vectors and user control at headset
WO2022159628A1 (en) * 2021-01-22 2022-07-28 Zinn Labs, Inc. Headset integrated into healthcare platform
JP7119145B2 (ja) * 2021-01-25 2022-08-16 株式会社東芝 ウェアラブル機器及び表示方法
KR102715596B1 (ko) 2021-02-05 2024-10-11 호서대학교 산학협력단 장애인을 위한 전자책 제어 장치 및 제어 방법
WO2022182916A1 (en) * 2021-02-24 2022-09-01 Lifebrand, Llc System and method for determining the impact of a social media post across multiple social media platforms
US20220293241A1 (en) * 2021-03-12 2022-09-15 Facebook Technologies, Llc Systems and methods for signaling cognitive-state transitions
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11273074B1 (en) * 2021-03-24 2022-03-15 Stroma Medical Corporation Systems and methods for for physical and electronic security of medical devices
WO2022203620A1 (en) * 2021-03-25 2022-09-29 Dm Dayanikli Tüketi̇m Mallari Sanayi̇ Ve Ti̇caret Li̇mi̇ted Şi̇rketi̇ Digital cinema system
CN113077795B (zh) * 2021-04-06 2022-07-15 重庆邮电大学 一种通道注意力传播与聚合下的声纹识别方法
US11823148B2 (en) 2021-04-15 2023-11-21 Bank Of America Corporation Augmented reality-enabled ATM for secure augmented reality check realization
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12118825B2 (en) * 2021-05-03 2024-10-15 NeuraLight Ltd. Obtaining high-resolution oculometric parameters
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
CN113297994B (zh) * 2021-05-31 2023-08-18 中国航天科工集团第二研究院 一种飞行员行为分析方法及系统
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US20220398302A1 (en) * 2021-06-10 2022-12-15 Trivver, Inc. Secure wearable lens apparatus
US12099654B1 (en) 2021-06-21 2024-09-24 Apple Inc. Adaptation of electronic content
US11610682B2 (en) 2021-06-22 2023-03-21 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
US20230008868A1 (en) * 2021-07-08 2023-01-12 Nippon Telegraph And Telephone Corporation User authentication device, user authentication method, and user authentication computer program
CN113434511B (zh) * 2021-07-12 2023-08-29 北京林业大学 一种基于希尔伯特曲线的聚类索引方法
US20230040163A1 (en) * 2021-08-09 2023-02-09 Jpmorgan Chase Bank, N.A. Systems and methods for processing intelligence of users captured through quantitative data collection
WO2023023628A1 (en) * 2021-08-18 2023-02-23 Advanced Neuromodulation Systems, Inc. Systems and methods for providing digital health services
KR102644877B1 (ko) * 2021-08-20 2024-03-08 주식회사 경신 차량 제어 장치 및 방법
CN113655927B (zh) * 2021-08-24 2024-04-26 亮风台(上海)信息科技有限公司 一种界面交互方法与设备
US11651404B2 (en) 2021-08-31 2023-05-16 Kyndryl, Inc. Virtual shopping assistant
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
US20230097716A1 (en) * 2021-09-25 2023-03-30 FiveGen, LLC Authenticating Individuals Based on Game Decisions and Behaviors
US20230102506A1 (en) * 2021-09-25 2023-03-30 FiveGen, LLC Selective Recommendation by Mapping Game Decisions and Behaviors to Predefined Attributes
CN113923252B (zh) * 2021-09-30 2023-11-21 北京蜂巢世纪科技有限公司 图像显示装置、方法和系统
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
WO2023075771A1 (en) * 2021-10-28 2023-05-04 Hewlett-Packard Development Company, L.P. Avatar training images for training machine learning model
US20230289535A1 (en) * 2021-11-03 2023-09-14 Virginia Tech Intellectual Properties, Inc. Visual language processing modeling framework via an attention-on-attention mechanism
WO2023091403A2 (en) * 2021-11-17 2023-05-25 Meta Platforms Technologies, Llc Gaze-based user interface with assistant features for smart glasses in immersive reality applications
US11789530B2 (en) 2021-11-17 2023-10-17 Meta Platforms Technologies, Llc Gaze-based user interface with assistant features for smart glasses in immersive reality applications
US20230305632A1 (en) * 2021-12-02 2023-09-28 SoftEye, Inc. Systems, apparatus, and methods for gesture-based augmented reality, extended reality
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US12020704B2 (en) 2022-01-19 2024-06-25 Google Llc Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant
US12118138B2 (en) 2022-02-14 2024-10-15 Tectus Corporation Vergence authentication
US11852825B1 (en) * 2022-03-08 2023-12-26 Meta Platforms Technologies, Llc Selective notifications from eye measurements
US20230360057A1 (en) * 2022-05-04 2023-11-09 AT&T Communications Services India Private Limited System for augmented intelligence for sentiment analysis in a virtual agent
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
US20240012920A1 (en) * 2022-07-05 2024-01-11 Bank Of America Corporation System and method for controlling access security protocols in a database management system
CN115658933B (zh) * 2022-12-28 2023-04-07 四川大学华西医院 心理状态知识库构建方法、装置、计算机设备及存储介质
GB2627210A (en) * 2023-02-15 2024-08-21 Sony Interactive Entertainment Inc Graphics rendering apparatus and method
US20240293749A1 (en) 2023-03-01 2024-09-05 Tencent America LLC Deck building for real-time strategy game
US20240302902A1 (en) * 2023-03-07 2024-09-12 Sony Interactive Entertainment Inc. Leveraging eye gestures to enhance game experience
US12112511B1 (en) 2023-04-05 2024-10-08 Sony Interactive Entertainment Inc. Optimization of eye capture conditions for each user and use case
CN116436919B (zh) * 2023-06-13 2023-10-10 深圳市明源云科技有限公司 云资源消耗优化方法、装置、电子设备及可读存储介质
TWI839285B (zh) * 2023-08-04 2024-04-11 上弘醫療設備股份有限公司 影像轉語音之視障輔助裝置
CN118053196B (zh) * 2024-04-15 2024-07-05 北京航空航天大学 基于扫视与凝视的单波段骨干网络架构的特征提取方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08504979A (ja) * 1991-07-15 1996-05-28 ドーグマン、ジョン・ジー 虹彩解析に基づく生体測定学的人物識別システム
JP2001197400A (ja) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体
JP2004127286A (ja) * 2002-09-13 2004-04-22 Matsushita Electric Ind Co Ltd 虹彩コード化方法、個人認証方法、虹彩コード登録装置、虹彩認証装置、および虹彩認証プログラム
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
JP2007159610A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 登録装置、認証装置、登録認証装置、登録方法、認証方法、登録プログラムおよび認証プログラム
JP2007226327A (ja) * 2006-02-21 2007-09-06 Oki Electric Ind Co Ltd 個人識別装置,個人識別方法
US20130051631A1 (en) * 2011-08-22 2013-02-28 Eyelock Inc. Systems and methods for capturing artifact free images
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US20130169683A1 (en) * 2011-08-30 2013-07-04 Kathryn Stone Perez Head mounted display with iris scan profiling
JP2014044654A (ja) * 2012-08-28 2014-03-13 Nikon Corp 情報入出力装置

Family Cites Families (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3863243A (en) 1972-01-19 1975-01-28 Max Skolnick Sleep inhibiting alarm
US3798599A (en) 1972-02-24 1974-03-19 H Kafafian Single input controller for a communication system
US4359724A (en) 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
US4737040A (en) 1985-02-15 1988-04-12 Moon Tag Y Keyboard device and method for entering Japanese language text utilizing Romaji character notation
EP0280124A1 (en) 1987-02-12 1988-08-31 Omron Tateisi Electronics Co. Doze detector
US4850691A (en) 1987-03-18 1989-07-25 University Of Illinois Method and apparatus for determining pupillary response parameters
US4815839A (en) 1987-08-03 1989-03-28 Waldorf Ronald A Infrared/video electronystagmographic apparatus
US5214456A (en) 1991-10-09 1993-05-25 Computed Anatomy Incorporated Mapping of corneal topography with display of pupil perimeter
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5402109A (en) 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
US5481622A (en) 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
CA2126142A1 (en) 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US5469143A (en) 1995-01-10 1995-11-21 Cooper; David E. Sleep awakening device for drivers of motor vehicles
US5566067A (en) 1995-03-23 1996-10-15 The President And Fellows Of Harvard College Eyelid vigilance detector system
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
US5682144A (en) 1995-11-20 1997-10-28 Mannik; Kallis Hans Eye actuated sleep prevention devices and other eye controlled devices
US6003991A (en) 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US5886683A (en) 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US5748113A (en) 1996-08-19 1998-05-05 Torch; William C. Method and apparatus for communication
US6246344B1 (en) 1996-08-19 2001-06-12 William C. Torch Method and apparatus for voluntary communication
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US5867587A (en) 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis
AU1091099A (en) 1997-10-16 1999-05-03 Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
US6007202A (en) 1997-10-23 1999-12-28 Lasersight Technologies, Inc. Eye illumination system and method
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6867752B1 (en) 1998-08-31 2005-03-15 Semiconductor Energy Laboratory Co., Ltd. Portable information processing system
US6243076B1 (en) 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
US6087941A (en) 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
AUPP612998A0 (en) 1998-09-23 1998-10-15 Canon Kabushiki Kaisha Multiview multimedia generation system
US6526159B1 (en) 1998-12-31 2003-02-25 Intel Corporation Eye tracking for resource and power management
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
GB2348520B (en) 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6116736A (en) 1999-04-23 2000-09-12 Neuroptics, Inc. Pupilometer with pupil irregularity detection capability
JP3636927B2 (ja) 1999-05-18 2005-04-06 三菱電機株式会社 顔画像処理装置
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
DK1285409T3 (da) 2000-05-16 2005-08-22 Swisscom Mobile Ag Fremgangsmåde ved biometrisk identificering og autentificering
US6608615B1 (en) 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
JP3586431B2 (ja) * 2001-02-28 2004-11-10 松下電器産業株式会社 個人認証方法および装置
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US6712468B1 (en) 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
US7715595B2 (en) * 2002-01-16 2010-05-11 Iritech, Inc. System and method for iris identification using stereoscopic face recognition
US7155035B2 (en) * 2002-02-05 2006-12-26 Matsushita Electric Industrial Co., Ltd. Personal authentication method, personal authentication apparatus and image capturing device
US6873714B2 (en) 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
US6919907B2 (en) 2002-06-20 2005-07-19 International Business Machines Corporation Anticipatory image capture for stereoscopic remote viewing with foveal priority
US20040061680A1 (en) 2002-07-10 2004-04-01 John Taboada Method and apparatus for computer control
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
CN100345163C (zh) * 2002-09-13 2007-10-24 松下电器产业株式会社 虹膜编码方法、个人认证方法、虹膜编码登录装置、虹膜认证装置
EP2204118B1 (en) 2002-10-15 2014-07-23 Volvo Technology Corporation Method for interpreting a drivers head and eye activity
US6932090B1 (en) 2003-02-06 2005-08-23 The United States Of America As Represented By The United States National Aeronautics And Space Administration Motion sickness treatment apparatus and method
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7881493B1 (en) 2003-04-11 2011-02-01 Eyetools, Inc. Methods and apparatuses for use of eye interpretation information
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US8098901B2 (en) * 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
EP1755441B1 (en) 2004-04-01 2015-11-04 Eyefluence, Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7195355B2 (en) 2004-04-28 2007-03-27 Neurocom International, Inc. Isolating and quantifying functional impairments of the gaze stabilization system
ES2535364T3 (es) 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
US7797040B2 (en) * 2004-12-16 2010-09-14 California Institute Of Technology Prosthetic devices and methods and systems related thereto
CN101132729A (zh) 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量
US20060274918A1 (en) * 2005-06-03 2006-12-07 Sarnoff Corporation Method and apparatus for designing iris biometric systems for use in minimally constrained settings
JP2007006393A (ja) * 2005-06-27 2007-01-11 Institute Of Physical & Chemical Research 情報提示システム
US7438414B2 (en) 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
WO2007025258A2 (en) * 2005-08-25 2007-03-01 Sarnoff Corporation Methods and systems for biometric identification
CA2627068C (fr) * 2005-10-24 2015-02-03 Itesoft S.A. Dispositif et procede d'interaction avec un utilisateur
EP1943583B1 (en) * 2005-10-28 2019-04-10 Tobii AB Eye tracker with visual feedback
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US7760910B2 (en) 2005-12-12 2010-07-20 Eyetools, Inc. Evaluation of visual stimuli using existing viewing data
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP2007319174A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 撮影装置およびそれを用いた認証装置
US20070297653A1 (en) * 2006-06-22 2007-12-27 Rudolf Maarten Bolle Fingerprint representation using localized texture features
US7574021B2 (en) * 2006-09-18 2009-08-11 Sarnoff Corporation Iris recognition for a secure facility
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
JP2008206143A (ja) * 2007-01-23 2008-09-04 Kanazawa Univ 画像処理機能を備える撮像装置
JP2008198028A (ja) * 2007-02-14 2008-08-28 Sony Corp ウェアラブル装置、認証方法、およびプログラム
JP2008288767A (ja) 2007-05-16 2008-11-27 Sony Corp 情報処理装置および方法、並びにプログラム
IL184399A0 (en) * 2007-07-03 2007-10-31 Yossi Tsuria Content delivery system
WO2009029757A1 (en) * 2007-09-01 2009-03-05 Global Rainmakers, Inc. System and method for iris data acquisition for biometric identification
US8462949B2 (en) 2007-11-29 2013-06-11 Oculis Labs, Inc. Method and apparatus for secure display of visual content
CN101681201B (zh) 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
US8259169B2 (en) * 2008-02-28 2012-09-04 Panasonic Corporation Eye-gaze detecting device and eye-gaze detecting method
US20100045596A1 (en) 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
WO2010042557A2 (en) 2008-10-06 2010-04-15 Neuro Kinetics, Inc. Method and apparatus for corrective secondary saccades analysis with video oculography system
EP2238889B1 (en) 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US8472681B2 (en) * 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
WO2011008793A1 (en) 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
ES2746378T3 (es) 2009-07-16 2020-03-05 Tobii Ab Unidad de detección ocular que usa flujo de datos paralelo
US20110047377A1 (en) * 2009-08-19 2011-02-24 Harris Corporation Secure digital communications via biometric key generation
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8922342B1 (en) * 2010-02-15 2014-12-30 Noblis, Inc. Systems, apparatus, and methods for continuous authentication
US9091851B2 (en) * 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9759917B2 (en) * 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
KR20110125460A (ko) * 2010-05-13 2011-11-21 김석수 시선추적을 이용한 제품 정보 제공 시스템 및 방법
US9916006B2 (en) 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8682073B2 (en) * 2011-04-28 2014-03-25 Sri International Method of pupil segmentation
US9256720B2 (en) * 2011-05-18 2016-02-09 Nextgenid, Inc. Enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems
EP2710514A4 (en) * 2011-05-18 2015-04-01 Nextgenid Inc REGISTRATION TERMINAL HAVING MULTIPLE BIOMETRIC APPARATUSES INCLUDING BIOMETRIC INSCRIPTION AND VERIFICATION SYSTEMS, FACIAL RECOGNITION AND COMPARISON OF FINGERPRINTS
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
WO2013001143A2 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
ES2620762T3 (es) * 2011-10-27 2017-06-29 Tobii Ab Gestión de potencia en un sistema de rastreo ocular
EP2774353A4 (en) * 2011-11-03 2015-11-18 Intel Corp PICTURES BASED ON EYE PERSONALIZATION
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8955973B2 (en) * 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
WO2013111140A2 (en) * 2012-01-26 2013-08-01 Umoove Services Ltd. Eye tracking
US9001030B2 (en) * 2012-02-15 2015-04-07 Google Inc. Heads up display
KR101158501B1 (ko) * 2012-02-16 2012-06-20 김유정 홍채 이미지 캡쳐 장치
EP2827758B1 (en) * 2012-03-09 2020-08-26 Ocuspecto OY Method for assessing function of the visual system and apparatus thereof
KR101620777B1 (ko) * 2012-03-26 2016-05-12 애플 인크. 증강된 가상 터치패드 및 터치스크린
US9082011B2 (en) 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
US8864310B2 (en) 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
EP2847648A4 (en) 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
DE102012105664A1 (de) 2012-06-28 2014-04-10 Oliver Hein Verfahren und Vorrichtung zur Kodierung von Augen- und Blickverlaufsdaten
US9189064B2 (en) 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US9176581B2 (en) * 2012-09-28 2015-11-03 Intel Corporation System and method for inferring user intent based on eye movement during observation of a display screen
JP5873982B2 (ja) 2012-10-09 2016-03-01 パナソニックIpマネジメント株式会社 3次元表示装置、3次元画像処理装置および3次元表示方法
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
US9083757B2 (en) 2012-11-21 2015-07-14 Telefonaktiebolaget L M Ericsson LLP Multi-objective server placement determination
US9674510B2 (en) 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
JP5652886B2 (ja) * 2012-11-28 2015-01-14 Necカシオモバイルコミュニケーションズ株式会社 顔認証装置、認証方法とそのプログラム、情報機器
US20140218281A1 (en) 2012-12-06 2014-08-07 Eyefluence, Inc. Systems and methods for eye gaze determination
US9195890B2 (en) * 2012-12-10 2015-11-24 Sri International Iris biometric matching system
US20140173407A1 (en) 2012-12-17 2014-06-19 Empire Technology Development Llc Progressively triggered auto-fill
US10884577B2 (en) 2013-01-15 2021-01-05 Poow Innovation Ltd. Identification of dynamic icons based on eye movement
US9829971B2 (en) 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US9070015B2 (en) * 2013-02-07 2015-06-30 Ittiam Systems (P) Ltd. System and method for iris detection in digital images
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
KR102093198B1 (ko) 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
KR102175853B1 (ko) 2013-02-22 2020-11-06 삼성전자주식회사 동작 제어 방법 및 그 전자 장치
US20140247210A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US10268276B2 (en) * 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US10270748B2 (en) * 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
US9367676B2 (en) 2013-03-22 2016-06-14 Nok Nok Labs, Inc. System and method for confirming location using supplemental sensor and/or location data
KR101627290B1 (ko) * 2013-04-16 2016-06-21 구태언 보안강화 머리착용형 디스플레이 장치 및 그 장치를 통해 암호화된 정보에 액세스 하는 방법
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
EP3041400A1 (en) * 2013-09-03 2016-07-13 Tobii AB Portable eye tracking device
US9582716B2 (en) * 2013-09-09 2017-02-28 Delta ID Inc. Apparatuses and methods for iris based biometric recognition
WO2015103444A1 (en) 2013-12-31 2015-07-09 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US20160364609A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for iris based biometric recognition

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08504979A (ja) * 1991-07-15 1996-05-28 ドーグマン、ジョン・ジー 虹彩解析に基づく生体測定学的人物識別システム
JP2001197400A (ja) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体
JP2004127286A (ja) * 2002-09-13 2004-04-22 Matsushita Electric Ind Co Ltd 虹彩コード化方法、個人認証方法、虹彩コード登録装置、虹彩認証装置、および虹彩認証プログラム
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
JP2007159610A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 登録装置、認証装置、登録認証装置、登録方法、認証方法、登録プログラムおよび認証プログラム
JP2007226327A (ja) * 2006-02-21 2007-09-06 Oki Electric Ind Co Ltd 個人識別装置,個人識別方法
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US20130051631A1 (en) * 2011-08-22 2013-02-28 Eyelock Inc. Systems and methods for capturing artifact free images
US20130169683A1 (en) * 2011-08-30 2013-07-04 Kathryn Stone Perez Head mounted display with iris scan profiling
JP2014044654A (ja) * 2012-08-28 2014-03-13 Nikon Corp 情報入出力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊藤 康一 他: "位相限定相関法とそのバイオメトリクス認証への応用", 映像情報メディア学会技術報告, vol. 第32巻 第58号, JPN6018034858, 18 December 2008 (2008-12-18), JP, pages 17 - 24, ISSN: 0003872635 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170087B2 (en) 2017-02-23 2021-11-09 Advanced New Technologies Co., Ltd. Virtual reality scene-based business verification method and device
JP2022105185A (ja) * 2017-03-24 2022-07-12 マジック リープ, インコーポレイテッド 虹彩コードの蓄積および信頼性割当
JP7342191B2 (ja) 2017-03-24 2023-09-11 マジック リープ, インコーポレイテッド 虹彩コードの蓄積および信頼性割当
JP2019168915A (ja) * 2018-03-23 2019-10-03 株式会社セガゲームス 認証システム
WO2023047572A1 (ja) 2021-09-27 2023-03-30 日本電気株式会社 認証システム、認証装置、認証方法、及び記録媒体

Also Published As

Publication number Publication date
KR20200127267A (ko) 2020-11-10
AU2015255652B2 (en) 2018-03-29
AU2015297036A1 (en) 2016-11-24
CN107087431A8 (zh) 2017-12-22
CN106537290A (zh) 2017-03-22
AU2015297035A1 (en) 2016-11-24
US20160062459A1 (en) 2016-03-03
AU2015297036B2 (en) 2017-09-28
JP2017526078A (ja) 2017-09-07
WO2016018488A9 (en) 2016-03-24
WO2016018487A3 (en) 2016-05-19
US10156900B2 (en) 2018-12-18
EP3140780A2 (en) 2017-03-15
US20160274660A1 (en) 2016-09-22
US20160085302A1 (en) 2016-03-24
EP3140779A4 (en) 2017-11-29
KR20170046108A (ko) 2017-04-28
CN107087431A (zh) 2017-08-22
CN106537290B (zh) 2019-08-27
US9823744B2 (en) 2017-11-21
EP3140779A1 (en) 2017-03-15
US10620700B2 (en) 2020-04-14
EP3140780B1 (en) 2020-11-04
WO2016018487A2 (en) 2016-02-04
WO2016018487A9 (en) 2016-03-24
EP3140780A4 (en) 2018-04-11
CN106462743A (zh) 2017-02-22
EP3140719B1 (en) 2021-07-07
EP3140719A2 (en) 2017-03-15
US20150324568A1 (en) 2015-11-12
EP3140719A4 (en) 2017-12-27
WO2016018488A3 (en) 2016-05-12
WO2016018487A8 (en) 2016-12-08
JP6550460B2 (ja) 2019-07-24
WO2016018488A2 (en) 2016-02-04
AU2015255652A1 (en) 2016-11-24
US20150326570A1 (en) 2015-11-12
WO2015172124A1 (en) 2015-11-12
KR20170045149A (ko) 2017-04-26
KR20170047195A (ko) 2017-05-04
AU2015297035B2 (en) 2018-06-28
US9600069B2 (en) 2017-03-21
CN107087431B (zh) 2021-02-05
KR102230172B1 (ko) 2021-03-19
US20170235931A1 (en) 2017-08-17
JP2017527036A (ja) 2017-09-14
KR102173699B1 (ko) 2020-11-03
US20150338915A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
US10156900B2 (en) Systems and methods for discerning eye signals and continuous biometric identification
US11216965B2 (en) Devices, methods and systems for biometric user recognition utilizing neural networks
US11874910B2 (en) Facial recognition authentication system including path parameters
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
EP4325383A1 (en) Techniques to provide user authentication for a near-eye display device
KR20230043749A (ko) 전자 디바이스들에 대한 적응적 사용자 등록
CN118202347A (zh) 具有监测和/或控制的相机循环的面部识别和/或认证系统
CN117592027A (zh) 为近眼显示设备提供用户认证的技术

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170622

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R150 Certificate of patent or registration of utility model

Ref document number: 6550460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250