CN109154983A - 被配置为交换生物测定信息的头戴式显示系统 - Google Patents

被配置为交换生物测定信息的头戴式显示系统 Download PDF

Info

Publication number
CN109154983A
CN109154983A CN201780031396.8A CN201780031396A CN109154983A CN 109154983 A CN109154983 A CN 109154983A CN 201780031396 A CN201780031396 A CN 201780031396A CN 109154983 A CN109154983 A CN 109154983A
Authority
CN
China
Prior art keywords
biometric information
wearer
display system
wear
type display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780031396.8A
Other languages
English (en)
Other versions
CN109154983B (zh
Inventor
A·克勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=59898990&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN109154983(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202210698201.8A priority Critical patent/CN115032795A/zh
Publication of CN109154983A publication Critical patent/CN109154983A/zh
Application granted granted Critical
Publication of CN109154983B publication Critical patent/CN109154983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0217Discounts or incentives, e.g. coupons or rebates involving input on products or services in exchange for incentives or rewards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Collating Specific Patterns (AREA)

Abstract

公开了头戴式显示系统,其被配置为促进在头戴式显示系统与另一计算设备之间的生物测定信息的交换。该头戴式显示系统可以包括虚拟或增强现实设备。在用该头戴式显示系统显示关于生物测定信息的同意请求之后,可以确定对包括与关于生物测定信息的方面的同意指示的同意请求的响应。在利用例如该头戴式显示器的相机从穿戴者获得生物测定信息并处理该生物测定信息之后,可以生成生物测定信息处理结果。该结果可以从该头戴式显示系统传输到另一个计算设备。

Description

被配置为交换生物测定信息的头戴式显示系统
相关申请的交叉引用
本申请要求于2016年3月22日提交的名称为“生物测定信息交换系统”,序列号为62/311,745的美国专利申请的优先权的权益,其内容通过引用全部并入本文。
技术领域
本公开涉及虚拟现实和增强现实成像和可视化系统,特别是用于在这杨的成像与可视化系统之间交换信息的系统和方法。
背景技术
诸如虚拟或增强现实设备的可穿戴显示系统可以捕获用户的生物测定信息。生物测定信息可以包括与穿戴者相关的生理特征和/或行为特征。生理特征可包括身体姿态(例如,眼睛凝视)、瞳孔扩张状态、面部特征(例如,露齿笑或皱眉)、嗓音特征、脉搏率或血压、皮肤情况(例如,出汗)等。行为特征可以包括穿戴者的步态、声音特征、倾向等。
发明内容
本文公开的是诸如增强或虚拟现实显示设备的可穿戴显示系统的实施例,可穿戴显示系统被配置为交换该可穿戴显示系统的穿戴者的生物测定信息。在一些实施例中,头戴式显示系统包括:第一图像捕获设备,被配置为捕获用户眼睛的多个眼睛图像;第二图像捕获设备,被配置为捕获多个外部世界图像;显示器,被配置为向该头戴式显示器的穿戴者的眼睛显示虚拟图像;以及硬件处理器,其与第一捕获设备、第二捕获设备和显示器通信,该硬件处理器被编程为:使用该显示器向头戴式显示器的穿戴者传输同意请求,该请求包括用于该穿戴者的生物测定信息的多个同意类别;接收对同意请求的响应;确定响应包括来自头戴式显示器的穿戴者的同意指示,该同意指示与该穿戴者已经指示认同的同意类别相关;获得由第一图像捕获设备捕获的头戴式显示器的穿戴者的多个眼睛图像;并且响应于来自生物测定信息获取器计算设备的对生物测定信息的请求,至少部分地基于穿戴者已经指示认同的同意类别和对生物测定信息的请求,将多个眼睛图像传送到生物测定信息获取器计算设备。
在附图和下面描述中阐述本说明书中描述的主题中的一个或多个实施的细节。根据描述、附图和权利要求,其他特征、方面和优点将变得显而易见。本发明内容和下面具体实施方式都不旨在限定或限制本发明主题的范围。
附图说明
图1描绘了由人观看的具有某些虚拟现实对象和某些实际现实对象的增强现实场景的图示。
图2示意性地示出了可穿戴显示系统的示例。
图3示意性地示出了使用多个深度平面模拟三维图像的方法的各方面。
图4示意性地示出了用于向用户输出图像信息的波导堆叠的示例。
图5示出了可以由波导输出的示例出射光束。
图6是示出显示系统的示意图,该显示系统包括波导装置、用于将光光耦合到波导装置或从波导装置光耦合光的光耦合器子系统以及控制子系统,并且被用于多焦点体积显示、图像或光场的生成。
图7是描绘说明性操作环境的框图,在该操作环境中,生物测定信息交换系统在穿戴者的生物测定信息的潜在获取器的可穿戴显示系统与计算设备之间交换信息。
图8A示出了由生物测定信息交换系统为可穿戴显示系统的穿戴者生成的示例显示页面,以提供对观看生物测定信息报价的同意。
图8B示出了由生物测定信息交换系统生成的示例显示页面,以及当穿戴者同意观看如图8A所发起的生物测定信息交换系统提供的报价时可以在该示例显示页面上显示的对应弹出窗口。
图8C示出了由生物测定信息交换系统为穿戴者生成的示例显示页面,以提供对接收关于穿戴者的某些类别生物测定信息的报价的同意。
图8D示出了由生物测定信息交换系统生成的示例显示页面,以及当穿戴者同意采用生物测定信息交换系统接收如图8C所发起的关于某些类别的生物测定信息的报价时可以在该示例显示页面上显示的对应弹出窗口。
图8E示出了由生物测定信息交换系统为穿戴者生成的示例显示页面,以提供对共享穿戴者的生物测定信息的同意。
图9示出了用于交换生物测定信息的说明性方法的流程图。
贯穿附图,参考编号可被再次用于指示参考元素之间的对应。提供附图是为了说明在此描述的示例实施例,而不是旨在限制本公开的范围。
具体实施方式
示例增强现实场景
现代计算和显示技术促进了用于所谓“虚拟现实”或“增强现实”体验的系统的开发,其中,数字再现的图像或其部分以看起来真实或可被感知为真实的方式呈现给用户。虚拟现实“VR”场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息;增强现实“AR”场景通常涉及将数字或虚拟图像信息的呈现为对用户周围的实际世界可视化的增强;或者是混合现实“MR”场景,其通常涉及合并现实世界和虚拟世界以产生物理和虚拟对象共存并实时交互的新环境。事实证明,人类视觉感知系统是非常复杂的,并且在其他虚拟或现实世界图像元素当中,产生促进虚拟图像元素的舒适、感觉自然、丰富呈现的VR、AR或MR技术是一项挑战。本文中公开的系统和方法解决了与VR、AR和MR技术相关的各种挑战。
图1示出了由人观看的具有某些虚拟现实对象和某些实际现实对象的增强现实场景的图示。图1描绘了增强现实场景100,其中,AR技术的用户看到以人、树、背景中的建筑物和混凝土平台120为特征的现实世界的公园状的设置110。除了这些项目之外,AR技术的用户还感知到他“看到”站在现实世界平台120上的机器人雕像130,以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色140(例如,大黄蜂),尽管这些元素在现实世界中不存在。
为了使三维(3-D)显示器产生真实的深度感,更具体地,模拟的表面深度感,期望显示器的视野中的每个点生成与其虚拟深度相对应的适应性响应。如果对显示点的适应性响应不与该点的虚拟深度对应,如会聚和立体视觉的双目深度线索所确定的,人眼可能会经历适应冲突,导致不稳定的成像、有害的眼睛疲劳、头痛,并且在缺乏适应信息的情况下,几乎完全缺乏表面深度。
VR、AR和MR体验可以由具有显示器的显示系统来提供,在该显示系统中,与多个深度平面对应的图像被提供给观看者。对于每个深度平面(例如,提供场景或对象的略微不同的呈现),图像可能不同,并且可以由观看者的眼睛单独地聚焦,从而基于使位于不同深度平面上的场景的不同图像特征聚焦所需的眼睛适应和/或基于观察处于失焦的在不同深度平面上的不同图像特征,有助于向用户提供深度线索。如本文中其他地方所讨论的,这样的深度线索提供可信的深度感。为了产生或增强VR、AR和MR体验,显示系统可以使用生物测定信息来增强这些体验。例如,如本文所述,生物测定信息交换系统可以促进混合现实显示系统的穿戴者与生物测定信息获取器计算设备之间的生物测定信息的交换。
混合现实设备(MRD),例如头戴式MR显示系统,可以获取关于MRD穿戴者的大量生物测定信息。生物测定信息可以包括例如,关于穿戴者的头部或眼睛运动(例如,用户正在看的位置)、瞳孔尺寸(例如,这可以指示穿戴者的兴趣或兴奋)、计时(例如,用户持续看项目的时间)、穿戴者的环境图像(例如,穿戴者正在看的)、穿戴者的位置的信息等。MRD可以包括传感器来测量穿戴者的心率、脉搏、血压,皮肤反应(例如,出汗)、大脑活动等。该生物测定信息可以被存储在设备中或网络存储系统中,并且可以包括关于MRD穿戴者的大量详细信息的数据集。尽管前面已经在混合现实设备的上下文中描述了,但是捕获或获得生物测定信息的任何可穿戴显示系统(例如,图2所示的可穿戴显示系统200或图4和图6中的显示系统400)可以与本文描述的系统和方法一起使用。
实体可能希望获取穿戴者生物测定信息的某部分。例如,大型零售商可能希望确定穿戴者何时访问其零售店以及访问多长时间,穿戴者在店内什么地方行进,穿戴者在看什么项目以及看多长时间等。作为另一个示例,游戏开发者可能希望确定穿戴者在玩游戏期间看什么游戏角色,穿戴者在与角色互动时会做出什么选择,穿戴者在玩游戏中的兴趣、恐惧或兴奋级别等。
可穿戴显示系统的穿戴者可能会担心关于他们各自生物测定信息的机密性。类似地,生物测定信息的潜在获取器可能希望绝对保密地保存这样的生物测定信息。因此,穿戴者和生物测定信息的潜在获取器两者都可能希望利用保持生物测定信息机密性的用于促进该生物测定信息交换的系统和方法。本文描述的生物测定信息交换系统保持生物测定信息的机密性。例如,下文进一步描述的,在访问与可穿戴显示系统相关联的任何生物测定信息之前,生物测定信息交换系统可以向该可穿戴显示系统的穿戴者传送关于生物测定信息的同意请求。如果生物测定信息交换系统没有接收到来自穿戴者的同意指示,则在交换系统上不可以交换生物测定信息。另一方面,如果穿戴者指示对同意请求的一方面认同,生物测定信息交换系统可以例如经由安全连接促进对该穿戴者的生物测定信息的访问。
一般来说,一旦穿戴者已经指示了对指示同意请求的认同,可穿戴显示系统可以利用生物测定信息交换系统向生物测定信息获取器的计算设备提供生物测定信息,例如,生物测定信息获取器计算设备可以在生物测定信息交换期间通过安全连接获得从可穿戴显示系统检索到的生物测定信息。如果生物测定信息被绝对保密的保存,通过该安全连接,无论是通过信息被传送到生物测定信息获取器的计算设备所在的安全连接,还是通过促进这样的生物测定信息的存储以用于将来交换的交换系统,交换系统可以授权接入穿戴者的生物测定信息。因此,本文公开的系统和方法促进了可穿戴显示系统与生物测定信息的潜在获取器的计算设备之间的信息交换。
示例性可穿戴显示系统
图2示出了可穿戴显示系统200的示例,该系统可被用于向显示系统穿戴者或观看者204呈现VR、AR或MR体验。可穿戴显示系统200可被编程为执行本文所述的任何应用或实施例(例如,眼睛图像处理)。显示系统200包括显示器208以及支持显示器208的功能的各种机械和电子模块及系统。显示器208可以被耦接到框架212,该框架212可由显示系统用户、穿戴者或观看者204来穿戴,并该框架被配置成将显示器208定位在穿戴者204的眼前。显示器208可以是光场显示器。在一些实施例中,扬声器216被耦接到框架212并被定位在用户的耳道附近。在一些实施例中,另一个扬声器(未示出)被定位在用户的另一耳道附近,以提供立体/可塑形的声音控制。显示系统200可以包括观察穿戴者周围环境中的世界的面向外部的成像系统(例如,图4所示的成像系统454)。显示系统200还可以包括面向内部的成像系统(例如,图4所示的面向内部的成像系统452)。面向内部的成像系统可以跟踪一只眼睛的运动或者两只眼睛的运动。诸如通过有线引线或无线连接,显示器208可操作地被耦接220到本地数据处理模块224,该本地数据处理模块224可以以各种配置安装,诸如固定地附接到框架212、固定地附接到用户戴的头盔或帽子、嵌入耳机中或者以其他方式可移除地附接到用户204(例如,以背包式配置,以皮带耦接式配置)。
框架212可以具有附接或安装到框架212的一个或多个相机,以获得穿戴者的一个或多个眼睛的图像。在一个实施例中,一个或多个相机可以被安装到穿戴者眼前的框架212,使得眼睛可以直接成像。在其他实施例中,相机可以沿着框架212的杆安装(例如,靠近穿戴者的耳朵)。在这样的实施例中,显示器208可以涂覆将来自穿戴者眼睛的光朝向相机反射的材料。光线可以是红外光,因为在红外图像中虹膜特征很突出。
本地处理和数据模块224可以包括硬件处理器以及非暂时性数字存储器,例如非易失性存储器(例如,闪存),这两者都可被用于辅助数据的处理、捕获和存储。数据可以包括:(a)从传感器(例如,该传感器可被可操作地耦接到框架212或以其他方式附接到用户204)捕获的数据,该传感器诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、陀螺仪、全球定位卫星(GPS单元、无线电设备、语音检测器、电位传感器、脉搏或血压传感器、心电图传感器和/或脑电图传感器;和/或(b)使用远程处理模块228和/或远程数据储存库232获取和/或处理的数据。该数据在这样的处理或检索之后,可能传递到显示器208。通过通信链路236和/或240,诸如经由有线或无线通信链路,本地处理和数据模块224可以被可操作地耦接到远程处理模块228和远程数据储存库232,使得这些远程模块228、232可用作本地处理和数据模块224的资源。一个或多个图像捕获设备可被用于捕获在眼睛图像处理过程中使用的眼睛图像。此外,远程处理模块228和远程数据储存库232可被操作性地彼此耦接。
在一些实施例中,远程处理模块228可以包括一个或多个处理器,该一个或多个处理器被配置为分析和处理数据和/或图像信息,诸如由图像捕获设备捕获的视频信息。视频数据可以被本地存储在本地处理和数据模块224中和/或远程数据储存库232中。在一些实施例中,远程数据储存库232可以包括数字数据存储设施,该数字数据存储设施可以通过互联网或在“云”资源配置中的其他网络配置得到。在一些实施例中,在本地处理和数据模块224中存储全部数据并执行全部计算,允许来自远程模块的完全自主使用。
在一些实施方式中,本地处理和数据模块224和/或远程处理模块228被编程为执行如在本文所述的系统和方法的实施例。图像捕获设备可以捕获用于具体应用的视频(例如,用于眼睛跟踪应用的穿戴者眼睛的视频或者用于手势识别应用的穿戴者手部或手指的视频)。视频可以由处理模块224、228中的一者或两者来分析。在一些情况下,将虹膜代码生成中的至少一些卸载到远程处理模块(例如,到“云”中)可以提高计算的效率或速度。本文公开的系统和方法的参数可以被存储在数据模块224和/或228中。
处理模块224、228中的一者或两者可以使用分析的结果以用于附加的操作或处理。例如,在各种应用中,可穿戴显示系统200可使用生物测定识别,眼睛跟踪,手势、对象、姿态辨识或分类等。例如,可穿戴显示系统200可以分析穿戴者204的手部的所捕获的视频并辨识来自穿戴者的手的手势(例如,拿起现实或虚拟对象,发出同意或不同意的信号(例如,“大拇指向上”或“拇指向下”)等),以及可穿戴显示系统。
在一些实施中,显示系统200还可以包括皮肤电传感器(例如皮电(galvanic)感器),其可操作地检测诸如皮肤电传导或皮电反应的皮肤感测活动,这可以指示穿戴者自主神经系统中的活动(例如,导致出汗或指示压力)。显示系统200还可以包括其他类型的电传感器,诸如检测大脑活动(例如,在脑电图测试中执行的)的电传感器或检测心脏活动(例如,在心电图测试中执行的)的电传感器。通过通信链路,诸如经由有线或无线通信链路,皮肤电传感器和/或电传感器可以操作性地耦接到显示系统200。例如,有线或无线通信链路可以将皮肤电传感器和/或电传感器耦接到本地处理和数据模块224,其又与可操作地处理显示系统200的生物测定信息的任何处理模块相关联。因此,作为示例,皮肤电传感器可以检测皮肤电活动或与显示系统200的穿戴者的扫视相关联的其他测量。这样的生物测定信息也可以由显示系统200来处理。
人类视觉系统是复杂的,并且提供一种逼真的深度感是具有挑战性的。在不受理论限制的情况下,可信的是由于聚散度和适应性的结合,对象的观看者可能感知对象是三维的。两只眼睛相对于彼此的聚散运动(例如,瞳孔朝向或远离彼此的转动运动,来会聚眼睛的视线以注视在对象上)与眼睛的晶状体的聚焦(或“适应”)密切地关联。在正常情况下,在被称为“适应聚散度反射”的关系下,改变眼睛的晶状体的焦点或者调节眼睛,以使焦点从一个对象改变到不同距离处的另一个对象,将自动地导致聚散度的匹配变化到同一距离。同样,在正常情况下,聚散度的变化会引发匹配适应性的变化。在适应性与聚散度之间提供更好匹配的显示系统可以形成更逼真或更舒适的三维图像的模拟。
图3示出了使用多个深度平面模拟三维图像的方法的各方面。参照图3,眼睛302和304对在z轴上距眼睛302和304各个距离处的对象进行适应,使得这些对象对焦。眼睛302和304呈现特定的适应状态,以对沿着z轴不同距离处的对象进行聚焦。因此,可以说特定的适应状态与深度平面306中的特定的一者相关联,具有关联的焦距,使得当眼睛处于用于深度平面的适应状态时,在该特定深度平面中的对象或其部分对焦。在一些实施例中,可以通过为眼睛302和304中的每者提供图像的不同呈现,并且还通过提供与深度平面中的每者相对应的图像的不同呈现,来模拟三维图像。尽管为了说明清楚而分开示出,但是应当理解,例如随着沿z轴的距离增加,眼睛302和304的视场可以重叠。此外,尽管为了说明简洁而以平面示出,但是应当理解,深度平面的轮廓可以在物理空间中是弯曲的,使得在深度平面中的所有特征采用处于特定适应状态中的眼睛对焦。在不受理论限制的情况下,可信的是人眼通常可以解释有限数量的深度平面以提供深度感。因此,可以通过向眼睛提供与这些限定数量的深度平面中的每者相对应的图像的不同呈现,实现感知深度的高度可信的模拟。
示例波导堆叠组件
图4示出了用于向用户输出图像信息的波导堆叠的示例。显示系统400包括波导的堆叠或堆叠的波导组件405,该组件可被用于使用多个波导420、422、424、426、428向眼睛410或大脑提供三维感知。在一些实施例中,显示系统400可以与图2的系统200对应,且图4更详细地示意性地示出了系统200的一些部分。例如,在一些实施例中,波导组件405可以被集成到图2的显示器208中。
继续参考图4,波导组件405还可以包括在波导之间的多个特征430、432、434、436。在一些实施例中,特征430、432、434、436可以是透镜。在一些实施例中,特征430、432、434、436可以不是透镜。相反,它们可以是隔离物(例如,用于形成气隙的包层和/或结构)。
波导420、422、424、426、428和/或多个透镜430、432、434、436可以被配置为向眼睛发送具有不同级别的波前曲率或光线发散的图像信息。每个波导级别可以与特定深度平面相关联,并且可以被配置为输出与该深度平面对应的图像信息。图像注入设备440、442、444、446、448可被用于将图像信息注入波导420、422、424、426、428中,这些波导中的每者都可以被配置成将入射光分布在每个相应的波导上,以用于朝向眼睛410输出。光从图像注入设备440、442、444、446、448的输出表面出射,并且被注入到波导420、422、424、426、428的对应的输入边缘。在一些实施例中,可以将单束光(例如,准直光束)注入到每个波导中,以输出整个克隆的准直光束场,该准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)导向眼睛410。
在一些实施例中,图像注入设备440、442、444、446、442是分立的显示器,每个显示器产生用于分别注入到对应波导420、422、424、426、428中的图像信息。在一些其他实施例中,图像注入设备440、442、446、446、448是单个多路复用显示器的输出端,该显示器可以例如经由一个或多个光导管(例如光纤光缆)将图像信息管道传输到图像注入设备440,442、444、446、448中的每一者。
控制器450控制堆叠波导组件405和图像注入设备440、442、444、446、448的操作。在一些实施例中,控制器450包括编程(例如,非暂时性计算机可读介质中的指令),该编程调整定时和向波导420、422、424、426、428提供图像信息。在一些实施例中,控制器450可以是单个集成设备,或者通过有线或无线通信信道连接的分布式系统。在一些实施例中,控制器450可以是处理模块224或228(图2所示)的部分。在一些实施例中,控制器可以与面向内部的成像系统452(例如,数码相机)、面向外部的成像系统454(例如,数码相机)和/或用户输入设备456通信。面向内部的成像系统452(例如,数码相机)可被用于捕获眼睛410的图像,以例如确定眼睛410的瞳孔的尺寸和/或取向。面向外部的成像系统454可用于对世界458的部分成像。用户可以经由用户输入设备456向控制器450输入命令以与显示系统400进行交互。
波导420、422、424、426、428可以被配置成通过全内反射(TIR)在每个相应的波导内传播光。波导420、422、424、426、428可以各自是平面的或具有另一形状(例如,弯曲的),具有顶部主表面和底部住表面以及在这些顶部主表面和底部住表面之间延伸的边缘。在所示的配置中,波导420、422、424、426、428可以各自包括光提取光学元件460、462、464、466、468,这些光提取光学元件被配置为通过将在每个相应波导内传播的光重定向到波导之外来从波导中提取光,以将图像信息输出到眼睛410。提取到的光也可以称为耦出光,并且光提取光学元件也可以被称为耦出光学元件。在波导中传播的光照射光重定向元件所在的位置处,该波导输出提取到的光束。光提取光学元件(460、462、464、466、468)可以是例如反射和/或衍射光学特征。尽管为了便于描述和作图清晰,这些光提取光学元件被示出为设置在波导420、422、424、426、428的底部主表面,,在一些实施例中,光提取光学元件460、462、464、466、468可以被设置在顶部主表面和/或底部主表面,和/或可以被直接设置在波导420、422、424、426、428的体积中。在一些实施例中,光提取光学元件460、462、464、466、468可以在附接到透明衬底形成,从而形成波导420、422、424、426、428的材料层中。在一些其他实施例中,波导420、422、424、426、428可以是单片的材料,并且光提取光学元件460、462、464、466、468可以在该片材料的表面上和/或内部形成。
继续参考图4,如本文所讨论的,每个波导420、422、424、426、428被配置成输出光以形成对应于特定深度平面的图像。例如,最靠近眼睛的波导420可以被配置为将注入到这样的波导420中的准直光传递到眼睛410。准直光可以代表光学无限远焦平面。下一上行波导422可以被配置成发出准直光,该准直光可在到达眼睛410之前传输通过第一透镜430(例如负透镜)。第一透镜430可以被配置为产生微凸的波前曲率,使得眼睛/大脑将来自该下一上行波导422的光解释为来自从光学无限远向内更靠近眼睛410的第一焦平面的光。类似地,第三上行波导424使其输出光在到达眼睛410之前传输通过第一透镜430和第二透镜432。第一透镜430和第二透镜432的组合光焦度(optical power)可以被配置成产生另一波前曲率增量,使得眼睛/大脑将来自第三波导424的光解释为来自从光学无限远向内进一步更靠近人的第二焦平面,而不是来自下一上行波导422的光。
其他波导层(例如,波导426、428)和透镜(例如,透镜434、436)被类似地配置,且堆叠中的最高波导428将其输出发送通过其与眼睛之间的所有透镜,以获得代表距人最近的焦平面的总光焦度。为了在观看/解释来自堆叠波导组件405的另一侧的世界458的光时,补偿透镜430、432、434、436的堆叠,可以在堆叠的顶部设置补偿透镜层438,以补偿下面的透镜堆叠430、432、434、436的总光焦度。这种配置提供与可用波导/透镜配对一样多的感知焦平面。波导420、422、424、426、428的光提取光学元件460、462、464、466、468和透镜430、432、434、436的聚焦方面可以是静态的(例如,不是动态的或电活性的)。在一些替代实施例中,使用电激活特征,波导的耦出光学元件和透镜的聚焦方面中的一者或两者可以是动态的。
继续参考图4,光提取光学元件460、462、464、466、468可以被配置成既将光重新定向到它们相应的的波导之外,又为输出用与波导相关联的特定深度平面输出具有适当的发散量或准直量的光。因此,具有不同关联深度平面的波导可以具有不同配置的光提取光学元件,该光提取光学元件根据关联深度平面输出具有不同发散量的光。在一些实施例中,如本文所讨论的,光提取光学元件460、462、464、466、468可以是体积特征或表面特征,其可以被配置为以特定角度输出光。例如,光提取光学元件460、462、464、466、468可以是体积全息、表面全息和/或衍射光栅。光提取光学元件,诸如衍射光栅,在2015年6月25日公布的美国专利公开2015/0178939被描述,该专利公开全文通过引用并入本文。在一些实施例中,特征430、432、434、436、438可以不是透镜。相反,它们可以仅仅是隔离物(例如,包层和/或用于形成气隙的结构)。
在一些实施例中,光提取光学元件460、462、464、466、468是形成衍射图案的衍射特征,或“衍射光学元件”(在本文中也被称为“DOE”)。优选地,DOE具有相对较低的衍射效率,使得只有一部分光束借助DOE的每个交叉点向眼睛410偏转,而其余部分经由全内反射继续前进通过波导。因此,携带图像信息的光被分成多个相关的出射光束,这些出射光束在多个位置从波导出射,并且针对在波导内跳动的特定准直光束,结果是形成向眼睛410出射的相当均匀的图案。
在一些实施例中,一个或多个DOE可以在它们活跃地衍射的“开启”状态和它们不明显衍射的“关闭”状态之间切换。例如,可切换的DOE可以包括聚合物分散液晶层,其中,微滴包括在主体介质中的衍射图案,并且微滴的折射率可以被切换为基本匹配主体材料的折射率(在这种情况下,图案不会明显地衍射入射光),或者微滴可以被切换为与主体介质的折射率失配的折射率(在这种情况下,图案活跃地衍射入射光)。
在一些实施例中,深度平面的数量和分布和/或景深可以基于观看者眼睛的瞳孔尺寸和/或取向而动态变化。在一些实施例中,面向内部的成像系统452(例如,数码相机)可被用于捕获眼睛410的图像,以确定眼睛410的瞳孔的尺寸和/或取向。面向内部的成像系统452可被用于获得用于确定穿戴者204正在看的方向(例如,眼睛姿态)的图像。在一些实施例中,面向内部的成像系统452可以被附接到框架212(如图2所示),并且可以与处理模块224和/或228进行电通信,处理模块224和/或228可以处理来自面向内部的成像系统452的图像信息,以确定例如用户204的瞳孔直径,或者眼睛取向或眼睛姿态。
在一些实施例中,面向内部成像系统452(例如,数码相机)可以观察用户的运动,诸如眼睛运动和面部运动。面向内部成像系统452可被用于捕获眼睛410的图像,以确定眼睛410的瞳孔的尺寸和/或取向。面向内部的成像系统452可被用于获得用于确定用户正在看的方向(例如,眼睛姿态)或用于用户的生物测定识别(例如,经由虹膜识别)的图像。由面向内部的成像系统452获得的图像可以被分析以确定用户的眼睛姿态和/或情绪,显示系统400可以使用该姿态和/或情绪来决定应该向用户呈现哪些音频或视频内容。显示系统400还可以使用诸如惯性测量单元(IMU)、加速度计、陀螺仪等传感器来确定头部姿态(例如,头部位置或头部取向)。头部姿态可以被单独使用或与眼睛姿态组合使用,以与主干轨交互和/或呈现音频内容。
在一些实施例中,可以为每个眼睛使用一个相机,以单独地确定每个眼睛的瞳孔尺寸和/或取向,从而允许向每个眼睛呈现动态地定制的图像信息。在一些实施例中,可以为每个眼睛使用至少一个相机,以分开独立地确定每个眼睛的瞳孔尺寸和/或眼睛姿态,从而允许向每个眼睛呈现动态地定制的图像信息。在一些其他实施例中,仅确定单个眼睛410的瞳孔直径和/或取向(例如,每双眼睛仅使用一个相机),并且假设观看者204的两个眼睛类似。
例如,景深可能与观看者的瞳孔尺寸反向变化。因此,随着观看者眼睛瞳孔尺寸的减小,景深增加,使得一个平面不可辨别,因为位置超出眼睛的焦深的平面可能随着瞳孔尺寸的减小和景深的相应增加而变得可辨别并且显得更对焦。同样,被用于向观看者呈现不同图像的间隔深度平面的数量可以随着瞳孔尺寸的减小而减少。例如,在不对眼睛的适应性进行远离一个深度平面并且到另一个深度平面的调整的情况下,,观看者可能不能以一个瞳孔尺寸清楚地感知第一深度平面和第二深度平面两者的细节。然而,在不改变适应性的情况下,这两个深度平面可以以另一瞳孔尺寸同时充分地对焦于用户。
在一些实施例中,显示系统可以基于瞳孔尺寸和/或取向的确定,或者基于接收指示特定瞳孔尺寸和/或取向的电信号,改变接收图像信息的波导的数量。例如,如果用户的眼睛不能区分与两个波导相关联的两个深度平面,则控制器450可以被配置为或被编程为停止向这些波导中的一者提供图像信息。有利地,这可以减少系统上的处理负担,从而增加系统的响应性。在用于波导的DOE在打开与关闭状态之间可切换的实施例中,当波导确实接收到图像信息时,DOE可以被切换到关闭状态。
在一些实施例中,可能期望出射光束满足具有直径小于观看者眼睛直径条件。然而,鉴于观看者瞳孔尺寸的变化,满足该条件可能是极具挑战性的。在一些实施例中,通过响应于观看者瞳孔尺寸的确定而改变出射光束的尺寸,在宽范围的瞳孔尺寸上满足该条件。例如,随着瞳孔尺寸减小,出射光束的尺寸也可以减小。在一些实施例中,可以使用可变孔径来改变出射光束尺寸。
显示系统400可以包括对世界458的部分成像的面向外部的成像系统454(例如,数码相机)。世界458的这个部分可以被称为视场(FOV),并且成像系统454有时被称为FOV相机。可用于观看者204观看或成像的整个区域可被称为视场(FOR)。FOR可以包括围绕显示系统400的4π弧度角的立体角。在显示系统400的一些实施中,FOR可以包括显示系统400的用户204周围的基本上所有立体角,因为用户204可以移动他们的头部和眼睛来看围绕用户(在用户的前方、后方、上方、下方或侧面)的对象。从面向外部的成像系统454获得的图像可被用于跟踪由用户做出的手势(例如,手部或手指手势),检测用户前方的世界458中的对象等。
显示系统400可以包括用户输入设备456,用户可以通过该设备456向控制器450输入命令以与显示系统400交互。例如,用户输入设备456可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(D-pad)、棒、触觉设备、图腾(例如,用作虚拟用户输入设备)等。在一些情况下,用户可以使用手指(例如,拇指)在触敏输入设备上按压或滑动以向显示系统400提供输入(例如,向由显示系统400提供的用户界面提供用户输入)。在显示系统400的使用期间,用户输入设备456可以由用户手持。用户输入设备456可以与显示系统400进行有线或无线通信。
图5示出了由波导输出的出射光束的示例。示出了一个波导,但是应当理解,在波导组件405中的其他波导可以类似地起作用,其中,波导组件405包括多个波导。光505在波导420的输入边缘510处被注入波导420中,并通过全内反射(TIR)在波导420内传播。在光505照射在衍射光学元件(DOE)460的点处,该光的部分从波导出射,作为出射光束515。出射光束515被示出为基本平行,但是它们也可以被重定向成为以一定角度(例如,形成发散出射光束)传播到眼睛410,该角度取决于与波导420相关联的深度平面。应当理解,基本平行的出射光束可以指示具有光提取光学元件的波导,该光提取光学元件耦出光以形成图像,该图像看起来被设置距眼睛410较远距离(例如,光学无限远)处的深度平面上。其他波导或其他光提取光学元件组可以输出更加发散的出射光束图案,这将需要眼睛410适应更近的距离以使其对焦在视网膜上,并且将被大脑解释为来自比光学无限远更靠近眼睛410的距离的光。
图6示出了显示系统400的另一个示例,该显示系统400包括波导装置、用于将光光耦合到波导装置和控制子系统或光耦合来自波导装置和控制子系统的光。显示系统400可被用于生成多焦体积、图像或光场。显示系统400可以包括一个或多个主平面波导604(图6中仅示出了一个)和与主波导604中的至少一些中的每个相关联的一个或多个DOE 608。平面波导604可以类似于参照图4所讨论的波导420、422、424、426、428。光学系统可以采用分布波导装置,以沿着第一轴(从图6来看,纵轴或Y轴)中继光,并且沿着第一轴(例如,Y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导612和与分布平面波导612相关联的至少一个DOE 616(由双点划线示出)。分布平面波导612可以在至少一些方面与具有不同取向的主平面波导604相似或相同。同样,至少一个DOE 616可以在至少一些方面与DOE 608相似或相同。例如,分布平面波导612和/或DOE 616可以分别包括与主平面波导604和/或DOE 608相同的材料。图6所示的光学系统可以被集成到图2所示的可穿戴显示系统200中。
中继的光和出射光瞳扩展的光从分布波导装置被光学耦合到一个或多个主平面波导604中。主平面波导604沿着优选与第一轴正交的第二轴(例如,图6视图中的横轴或X轴)中继光。值得注意的是,第二轴可以与第一轴不正交的轴。主平面波导604沿着第二轴(例如,X轴)扩展光的有效出射路径。例如,分布平面波导612可以沿着纵轴或Y轴中继和扩展光,并将该光传递到主平面波导604,该主平面波导604沿着横轴或X轴中继和扩展光。
显示系统400可以包括彩色光(例如,红色、绿色和蓝色激光)的一个或多个源620,该光源可以被光学耦合到单模光纤624的近端。光纤624的远端可以通过压电材料的中空管628螺纹螺纹连接或接收。远端作为非固定柔性悬臂632从管628突出。压电管628可以与四个象限电极(未示出)相关联。电极可以例如镀在管628的外部、外表面或外周边或直径上。芯电极(未示出)也位于管628的核心、中心、内周边或内径中。
例如经由引线640电耦合的驱动电子器件636驱动相对的电极对以独立地在两个轴上弯曲压电管628。光纤624的突出远端具有机械共振模式。共振频率可以取决于光纤624的直径、长度和材料特性。通过在光纤悬臂632的第一机械共振模式附近振动压电管628,引起光纤悬臂632振动,并且可以扫过大的偏转。
通过刺发在两个轴上的共振,在填充二维(2-D)扫描区域中双轴扫描光纤悬臂632的尖端。通过与光纤悬臂632的扫描同步地调制一个或多个光源620的强度,从光纤悬臂632射出的光形成图像。美国专利公开No.2014/0003762中提供了对这样的设置的描述,该美国专利公开全文通过引用并入本文。
光耦合器子系统的部件644准直从扫描光纤悬臂632射出的光。准直光被反射镜648反射到包含至少一个衍射光学元件(DOE)616的窄的分布平面波导612中。准直光通过全内反射沿着分布平面波导612竖直(相对于图6的视图)传播,并且在这样做时重复地与DOE616相交。DOE 616优选具有低衍射效率。这导致部分光(例如,10%)在与DOE 616的每个交点处朝向较大的主平面波导604的边缘衍射,并且部分光经由TIR沿分布平面波导612的长向下继续其原始轨迹。
在与DOE 616每个交点处,额外的光朝向主波导612的入口衍射。通过将入射光分成多个耦出组,光的出射光瞳被在分布平面波导612中的DOE 616竖直扩展。从分布平面波导612耦出的该竖直扩展的光进入主平面波导604的边缘。
进入主波导604的光经由TIR沿着主波导604水平地传播(相对于图6的视图)。随着光经由TIR沿着主波导604的长的至少部分水平地传播时,光在多个点处与DOE 608相交。DOE 608可以有利地被设计或配置为具有线性衍射图案和径向对称衍射图案的总和的相位轮廓,以产生光的偏转和聚焦。DOE 608可以有利地具有低衍射效率(例如,10%),使得在DOE 608的每个交点处,仅部分光束朝向观看的眼睛偏转,而其余的光继续经由TIR传播通过波导604。
在传播光和DOE 608之间的每个交点处,部分光朝向主波导604的相邻面衍射,允许光逸出TIR,并且从主波导604的面射出。在一些实施例中,DOE 608的径向对称衍射图案附加地赋予衍射光角度(focus level),既成形单个光束的光波前(例如,赋予曲率),又以与设计的焦度相匹配的角度来转向光束。
因此,这些不同的路径可以导致光通过多个DOE 608以不同的角度、焦度从主平面波导604耦出,和/或在出射光瞳处产生不同的填充图案。在出射光瞳处的不同填充图案可以被有益地用于创建具有多个深度平面的光场显示器。可采用在波导组件中的每一层或堆叠中的层组(例如,3层)来生成相应的颜色(例如,红色、蓝色、绿色)。因此,例如,可采用第一组三个相邻层来在第一焦深处生成红光、蓝光和绿光。可采用第二组三个相邻层可来在第二焦深处生成红光、蓝光和绿光。可以采用多组来生成具有各种聚焦深度的完整3D或4D彩色图像光场。
生物测定交换操作环境的示例
图7是描绘说明性操作环境700的框图,其中生物测定信息交换系统705在可穿戴显示系统与能够从穿戴者获取生物测定信息的计算设备之间交换信息。生物测定信息可以包括与穿戴者(例如,图2中的穿戴者204)相关联的生理特征和/或行为特征。例如,生理特征可以包括,但不限于身体姿态、眼睛姿态(例如,眼睛凝视)、瞳孔扩张状态、面部特征(例如,露齿笑或皱眉)、声音特征、脉搏率或血压、皮肤情况(例如,出汗)等。例如,行为特征可以包括但不限于步态(穿戴者怎样走路的生理特征)、声音特征、穿戴者的倾向等。生理和行为特征可能不相互排斥,在一些情况下,生物测定信息可以分为生理和行为两类。例如,穿戴者的声音特征不仅可以是生理特征,还可能受到穿戴者情绪或情感影响。同样,穿戴者的步态会受到穿戴者的周围环境、穿戴者的陪同人员、穿戴者的情绪等影响。
生物测定信息交换系统705可以由计算机服务器、任何计算系统或处理模块224、228来实现。在一些实施例中,实现生物测定信息交换系统705的服务器还托管网站(例如,互联网网站),穿戴者使用可穿戴显示系统710(例如,可穿戴显示系统200)来浏览该网站。例如,生物测定信息交换系统705可以托管下面参照图8A至图8E描述的显示页面800a-800e和弹出窗口。因此,生物测定信息交换系统705可以促进生物测定信息的检索,以及提供用于将生物测定信息从生物测定信息获取器计算设备715交换给可穿戴显示系统710(例如,可穿戴显示系统200)的穿戴者的报价。生物测定信息交换系统705可以通过网络700、在可穿戴显示系统710与生物测定信息获取器计算设备715之间形成安全连接725。例如,生物测定信息交换系统705可以对在安全连接725上传送的任何信息加密。因此,生物测定信息交换系统705充当中间服务器,该中间服务器促进在某些生物测定信息获取器计算设备715中的某些可穿戴显示系统710间的安全连接725。这样的安全连接725可以保持机密性,并促进在可穿戴显示系统710和生物测定信息获取器计算设备715之间的生物测定信息的交换。在一些实施方式中,安全连接725允许由生物测定信息获取器计算设备715和可穿戴显示系统710的数据存储或处理模块(例如,本地处理和数据模块224)直接访问,在该数据存储或处理模块中可以存储穿戴者的生物测定信息。例如,在一个实施例中,生物测定信息交换系统705不分析生物测定或执行生物测定操作(诸如下面参考生物测定处理计算系统745所描述的),而是经由安全连接725充当可穿戴显示系统710与生物测定信息获取器715之间的生物测定信息通道。在各种实施方式中,如下面进一步描述的,生物测定信息交换系统705经由利用存储在穿戴者数据存储器730或项目目录735(或电子目录)中的数据而生成的生物测定处理结果,来促进对用于生物测定信息获取器计算设备715的生物测定信息的访问。
生物测定信息交换系统705可以由与托管网站的服务器(未示出)通信的单独服务器来实施,或者被实施为Web服务本身。在这种情况下,单独的服务器还可以充当中间服务器,其促进可穿戴显示系统710的穿戴者与生物测定信息获取器计算设备715之间的安全连接725。在又一实施例中,可促进穿戴显示系统710与生物测定信息的潜在获取器的计算设备715之间的信息交换分布在可穿戴显示系统710、托管网站的服务器和生物测定信息交换系统705之间。然而,为简明起见,剩余的公开涉及生物测定信息交换系统705传送同意请求,获得生物测定信息,并向其产生生物测定信息交换。在这样的实施例中,生物测定信息交换系统705可以实施交换计算系统740和生物测定处理计算系统745。
交换计算系统740和生物测定处理计算系统745可以彼此协同工作以促进交换。例如,由交换计算系统740促进的交换可以指定生物测定信息获取器认同用生物测定处理计算系统745处理眼睛图像以获得关于穿戴者的行为特征(例如,穿戴者扫视特定产品的次数或出现这些扫视的位置类型)。因此,通过显示包括使用交换计算系统740的潜在交换内容的同意请求,交换计算系统740可以与可穿戴显示系统710的穿戴者进行交互。在一些实施方式中,如下面进一步描述的,通过指定生物测定信息获取器想要访问的生物测定信息类型,交换计算系统740可以改变这样的潜在交换的同意请求的格式,以促进该交换。例如,为了获得行为特征,诸如眼睛运动发生的位置类型,生物测定处理计算系统745可以访问可穿戴显示系统710的GPS单元或者获得可穿戴显示系统710的位置,该位置例如由可穿戴显示系统710的GPS单元来确定。
交换计算系统740可以实施利用可穿戴显示系统710从穿戴者获得各种类型的生物测定信息例程,并且处理生物测定信息以生成用于生物测定信息获取器计算设备715的生物测定信息处理结果。例如,如下为文所述,交换计算系统740可以实施用于交换生物测定信息的例程900,该生物测定信息可以包括采用可穿戴显示系统710显示关于生物测定信息的同意请求,利用可穿戴显示系统710从穿戴者获得生物测定信息,和/或处理生物测定信息以生成用于生物测定信息获取器计算设备715的生物测定信息处理结果。
当已经从可穿戴显示系统710的穿戴者接收到同意指示时,交换计算系统740可以基于各种因素实施生物测定信息交换。作为示例,潜在获取器可以使用可穿戴显示系统710指定某些类别的生物测定信息(例如,生理或行为信息)、穿戴者的类型(例如,特定人群统计)以及用于生物测定信息的交换价格。
使用可穿戴显示系统710的穿戴者可以是与特定人群统计相关联的穿戴者。人群统计可以指定经常光顾具有产品项目的特定零售商店(例如,提供食物产品项目的商店)的穿戴者的类型、利用特定服务(例如,专业服务、招待服务等)的穿戴者的类型,或与特定传记体的人群统计(例如,性别、年龄、居住地、公民身份等)相关联的穿戴者的类型。生物测定信息获取器计算设备715可以基于生物测定信息或穿戴者的类型(例如,穿戴者的特定人群统计)指定生物测定信息交换。在一些实施方式中,生物测定信息获取器计算设备715还可以指定从特定类型的穿戴者获取的生物测定信息的交换价格。
生物测定处理计算系统745可以处理或获得各种类型的生物测定信息。例如,在各种实施方式中,生物测定处理计算系统745实施从可穿戴显示系统710获得图像集的例程,并且对相关的图像集执行生物测定操作。这样的例程可以生成生物测定信息,以在生物测定交换和/或生物测定应用中的利用。可以对从可穿戴显示系统710获得的图像集执行各种生物测定操作,以生成各种类型的生物测定信息。作为示例,由相机(例如,面向内部的成像系统452)捕获的穿戴者的眼睛图像和由相机(例如,面向外部的成像系统454)捕获的围绕穿戴者的外部世界的图像可以彼此相关,以利用显示系统确定穿戴者的眼睛注视。说明性地,这样的相关性可以基于时间相关性来确定(例如,基于与每个图像相关联的时间戳来确定)。例如,如果眼睛图像和外部世界图像均具有下午4:23:42的时间戳,两个图像可以基于该时间相关性而彼此关联。时间戳可以具有1s、0.1s、0.01s、1ms、0.1ms、0.01ms、1ns或更小的精度。相关性可以基于时间戳的精度来确定。其他相关性也是可能的。作为另一个示例实施例,可以基于同时关联眼睛图像和外部世界图像的对应图像获取系统来对图像进行实时相关。例如,如下文进一步描述的,诸如瞳孔扩张的眼睛的动态特征可以与外部世界图像(例如,由向外面向的成像系统454所捕获的)进行相关,以识别穿戴者感兴趣的对象,该眼睛的动态特征可以从处理眼睛图像(例如,由诸如面向内部的成像系统452之类的一个或多个眼睛跟踪相机来捕获)获得。附加地或可替代地,生物测定处理计算系统745可以处理生物测定信息或从可穿戴显示系统710获得的任何数据,以获得关于穿戴者的行为特征,如下文参照图8B进一步描述的。
作为采用眼睛图像和外部世界图像执行生物测定操作的另一个示例,从眼睛图像中的眼睛提取生物测定信息通常可以包括分割与穿戴者眼睛的虹膜相对应的每个眼睛图像的区域。虹膜分割可以包含以下操作:确定虹膜边界,确定虹膜的瞳孔和边缘边界,如果上眼睑或下眼睑遮挡虹膜则定位该上眼睑或下眼睑,检测和排除睫毛、阴影或反射等的遮挡。例如,眼睛图像可以被包括在穿戴者面部的图像中,或者可以是穿戴者眼周区域的图像。为了执行虹膜分割,瞳孔的边界(虹膜的内边界)和角膜的边界(虹膜的外边界)都可以被确定为图像数据的独立片段。当与外部世界图像(例如,如由从可穿戴显示系统710面向外部的成像系统所获得的)协同使用时,可以与眼睛图像进行时间上的相关,以指示或检测动态眼睛特征(例如,眼睛运动、眼睛图案、眼睛注视、眼睛焦点信息、瞳孔扩张或眼睛浏览历史)。
进一步地,作为处理生物测定信息(例如,眼睛姿态)的另一个示例,可以跟踪计算机的用户的眼睛运动。例如,耦接到计算机的监视器的相机可以提供用于识别眼睛运动的图像。然而,用于眼睛跟踪的相机距用户的眼睛有些距离。例如,相机可以放置在耦接到计算机的用户监视器的顶部。因此,通常用低分辨率产生由相机产生的眼睛的图像。因此,处理来自用户的生物测定信息可能会面临挑战。
眼睛图像可被用于眼睛姿态识别。可以利用虹膜特征来识别或验证穿戴者。作为另一个示例,生物测定操作可以处理眼睛图像以生成或检测眼睛运动、眼睛图案、眼睛注视、眼睛焦点信息、瞳孔扩张或眼睛浏览历史。作为又一个示例,眼睛图像可以被用于生成虹膜代码。生成的虹膜代码可被用于与存储各种穿戴者的虹膜代码的虹膜代码数据库进行比较。
生物测定信息交换系统705可以通信地连接到穿戴者数据存储器730。穿戴者数据存储器730通常可以包括能够存储穿戴者的生物测定信息的任何储存库、数据库或信息存储系统。穿戴者数据可以是任何类型的生物测定信息,包括但不限于,眼睛运动、眼睛图案、眼睛注视、用户活动信息(例如,用户过去的购买历史、眼睛浏览历史、选择通过历史或点击通过历史、眨眼通过历史、评级历史、页面请求、希望列表和购物车的添加或删除的项目、用户界面事件、标记活动或其组合组合等)和用户特性。用户特征可以包括人群统计信息(例如,年龄、性别、地理位置、职业、收入、家庭地址、送货地址、消费水平、兴趣、爱好、偏好、设置或其组合等)。穿戴者数据存储器730可以至少部分地被包括在可穿戴显示系统710中或与其相关联的数据存储中。例如,可穿戴数据存储器730可以被包括在本地数据模块224和/或远程数据储存库232中。
在其他实施例中,生物测定信息交换系统705利用从项目目录735检索的项目数据(以及例如前述眼睛运动和眼睛浏览历史)以生成用于生物测定交换的报价。用于项目的项目数据可以包括项目细节(例如,名称、类型、描述、价格、类别等)、图像、与其他项目的关系、项目评级、穿戴者评论、作者页面、用户生成的列表页面、论坛页面、博客页面等。项目目录735也可以称为电子目录。这样的报价可以出现在由生物测定信息交换系统705生成的显示页面800b和800d上,如下文参照图8B和图8D所述。
操作环境700的数据存储器可以对应于由一个或多个物理数据存储器实施的任何物理数据存储器、物理数据存储器的集合或虚拟数据存储器,该物理数据存储器例如硬盘驱动器(HDDs)、固态驱动器(SSDs)、磁带驱动器、网络附接存储器(NASs)或任何其他持久或基本持久的存储器组件。另外,项目目录735和穿戴者数据存储器730可以位于可访问生物测定信息交换系统705的同一物理数据存储器上,或者位于不同的物理数据存储器上。在一些实施例中,项目目录735和穿戴者数据存储器730可以由生物测定信息交换系统705来维护,或者由可经由网络720访问的另一网站来维护,或者由可经由由生物测定信息交换系统705进行的各种应用程序接口调用可访问的一个或多个web服务来维护。
除了项目目录735和穿戴者数据存储器730之外,操作环境700可以包括一个或多个可穿戴显示系统710,该可穿戴显示系统710经由网络720与生物测定信息交换系统705进行通信。尽管本公开涉及可穿戴显示系统710的特定示例或描述,诸如图2所示的可穿戴显示系统200或图4和图6所示的显示系统200,可以通过以下各项来利用本公开的各实施例:能够获得生物测定信息的头戴式显示设备,和/或能够向可穿戴显示系统710的穿戴者显示报价(例如,图8B和图8D所示的报价820、832)的计算设备。这样计算设备包括但不限于,便携计算机、个人计算机、信息亭、瘦客户端、平板电脑、个人数字助理(PDAs)、混合PDA/移动电话、移动电话、电子书阅读器、数字媒体播放器、可穿戴计算设备、在计算设备或应用中包含的集成组件、在车辆或机械中包含的电子设备、游戏设备、机顶盒、在电视中包含的电子设备等。这些计算设备可以与许多可视的、触觉的或听觉的输出设备中的任意一项相关联,并且可以与用于用户输入的多个输入设备相关联,该用户输入设备包括但不限于键盘、麦克风、鼠标、轨迹球、触控板、操纵杆,输入平板电脑、跟踪点、触摸屏、遥控器、游戏控制器、运动检测器等。在一些实施例中,可以协同利用多个设备来促进向可穿戴显示系统710的穿戴者显示报价。例如,第一设备(例如,图2所示的可穿戴显示系统200)可以最初显示同意请求,并提供由托管网络网站的服务器和/或实施生物测定信息交换系统705确定的响应;以及第二设备(例如,具有基于浏览器的应用的平板设备)可以提供由生物测定信息交换系统705提供的报价的显示。例如,第二设备可以显示图8A至图8E所示的显示页面800a-800e。因此,在本公开内对用户计算设备的引用可以包括多个计算设备,这些计算设备协同工作以促进获得生物测定信息并向关于生物测定信息的穿戴者提供报价。
网络720可以是有线网络、无线网络或其任意组合。网络720可以是个人局域网、局域网、广域网、电缆网络、卫星网络,蜂窝电话网络或其组合。在图7的说明性操作环境700中,网络720是全球局域网(GAN),诸如因特网。用于经由其他前述类型的通信网络进行通信的协议和组件对于计算机通信领域的技术人员来说是已知的,并且因而在此不需要更详细地描述。
生物测定交换技术的示例
生物测定交换技术、例程或方法可以经由能够获得生物测定信息的可穿戴显示系统710来实现。为了获得用于生物测定交换例程的生物测定信息,混合现实显示设备(MRD)(例如,图2所示的可穿戴显示系统200或图4和图6所示的显示系统400)的穿戴者的眼睛可以使用向内内部的成像系统452成像(例如,参见图4)。由耦合到可穿戴显示系统710的成像系统452、454获得的眼睛图像组可被用于生物测定信息交换。如本文所述,眼睛图像组包括来自向内内部的成像系统452的眼睛图像。面向外部的成像系统454可以获得外部世界的外部世界的图像,包括穿戴者眼睛正看的方向上的图像。由面向内部的成像系统452捕获的眼睛图像可以被处理以确定眼睛姿态(例如,穿戴者一个或两个眼睛的方向),产生虹膜代码,确定瞳孔尺寸,检测眼睛图案,检测眼睛运动,检测眼睛注视,或处理眼睛聚焦信息。可以使用计算机视觉技术来处理计算机视觉技术。眼睛图像可以被存储为眼睛的浏览历史(也被称为眼睛浏览历史)的部分。
说明性地,在可穿戴显示系统710(例如,可穿戴头戴式显示器200)的上下文中,相机可能比耦合到用户监视器的相机更靠近用户的眼睛。例如,照相机可以被安装在可穿戴显示系统710上,该可穿戴显示系统710本身被穿戴在用户的头部上。眼睛靠近这样的相机可以导致更高分辨率的眼睛图像。因此,计算机视觉技术可被用于从用户的眼睛提取特征,特别是虹膜的特征(例如虹膜特征)或围绕虹膜的巩膜中的特征(例如巩膜特征)。例如,当由接近眼睛的相机捕获时,眼睛的虹膜可以显示详细的结构。当在红外照明下观察时,这样虹膜特征特别明显,并且可以被用于生物测定的识别。这些虹膜特征被认为在用户与用户之间是唯一的,因此,以指纹的方式,可以被用来唯一地识别用户。眼睛特征可以包括眼睛巩膜中(虹膜外)的血管,当在红光或红外光下观察时,这些血管也可以显得特别明显。以较高分辨率观看的这样的特别的虹膜特征可以导致为各种眼睛姿态图像生成更独特或更准确的虹膜代码。
本地处理和数据模块224和/或远程数据储存库232可以存储图像文件、视频文件或图像音频和视频文件。例如,在各种实施方式中,本地处理和数据模块224和/或远程数据储存库232可以存储眼睛图像,以由本地处理和数据模块224进行处理。本地处理和数据模块224和/或远程处理模块228可以被编程为,在生物测定信息交换中使用本文公开的生物测定信息交换技术,以例如当提供生物测定信息交换时识别或认证穿戴者204的身份,或者在获得生物测定信息中,以例如当已经接收到穿戴者的同意指示时,处理用于生物测定交换的生物测定信息。因此,可以使处理模块224、228执行生物测定交换技术的各方面。附加地或可替代地,控制器450可以被编程为使得执行生物测定交换技术的各方面。
可以以各种方式处理用于生物测定信息交换的生物测定信息。仅作为示例,成像系统452、454可以捕获用于特定应用的视频(例如,用于眼睛跟踪应用的穿戴者眼睛的视频,或者用于手势识别应用的穿戴者手部或手指的视频)。通过处理模块224、228中的一者或两者,可以使用生物测定信息处理技术来分析视频。例如,处理模块224、228可以分析眼睛图像组(例如,眼睛图像和对应的外部世界图像),以检测可穿戴显示系统200的穿戴者的眼睛图案或眼睛注视。采用该分析,处理模块224、228可以执行生物测定信息交换。作为示例,本地处理和数据模块224和/或远程处理模块228可以被编程为存储从成像系统452、454获得的眼睛图像。另外,本地处理和数据模块224和/或远程处理模块228可以被编程为使用本文描述的技术(例如,例程900)来处理该图像组,并且基于穿戴者已经指示认同的同意类别来传送可穿戴显示系统200的穿戴者的生物测定信息。在一些情况下,将生物测定交换技术中的至少一些卸载到远程处理模块中(例如,在“云”中)可以提高计算的效率或速度。例如,远程处理模块可以对该眼睛图像组执行生物测定数据操作以获得生物测定信息。
如上所述,生物测定信息获取器计算设备715可以获得从可穿戴显示系统710检索的生物测定信息,该可穿戴显示系统710的穿戴者在生物测定信息交换中使用该可穿戴显示系统710。例如,可穿戴显示系统710可以利用生物测定信息交换系统705。为了在由可穿戴显示系统710的穿戴者执行的生物测定信息交换中获得生物测定信息,同意请求可以首先传送给可穿戴显示系统710的穿戴者。一旦接收到同意请求,穿戴者可以采用如下指示响应同意请求:通过由穿戴者利用的可穿戴显示系统710允许共享生物测定信息的方面的认同。同意请求可以以各种格式或显示机制来传送。例如,可穿戴显示系统710可以向穿戴者显示同意请求。作为另一示例,同意请求可以经由向穿戴者显示的显示页面或内容页面(例如,网页)向可穿戴显示系统710的穿戴者传送。如图8A至图8E所示,同意请求可以在生物测定信息获取器计算设备715可以获得的穿戴者的生物测定信息的访问量和访问类型上变化。如本文所述,当已经接收到已经传送的同意请求的包括来自穿戴者的同意指示的响应,生物测定信息仅与利用生物测定信息交换系统705的生物测定信息获取器计算设备715共享。
同意请求可以包括对从可穿戴显示系统710获得的生物测定信息类别的请求,用于由生物测定信息获取器计算设备715来获取。例如,对一眼睛图像组的同意请求可以被传送给可穿戴显示系统710的穿戴者,以便由与特定获取器相关联的特定计算设备来获取。作为另一个示例,穿戴者可以同意共享从耦接到可穿戴显示系统710的图像捕获设备捕获的眼睛图像中获得的眼睛运动,但是不同意共享由可穿戴显示系统710检测到的皮肤感测(例如,由皮电传感器检测到的皮肤电活动)。穿戴者可能已经指示对眼睛运动类别的认同,但是不认同皮肤感知活动类别。附加地或可替代地,同意请求可以包括访问耦接到(例如,经由本地处理模块224)可穿戴显示系统710的特定传感器或设备的请求。例如,同意请求可以指示的是,对GPS传感器请求访问以确定位置,但是指定不能访问其他传感器(例如,血压传感器)。
同意请求可以是各种形式或格式。一些同意请求可以请求向可穿戴显示系统710的穿戴者提供关于生物测定信息交换的报价,而不从可穿戴显示系统710获得任何生物测定信息。其他同意请求可以各自请求与特定生物测定信息获取器计算设备715共享关于某项目的所有生物测定信息,以用于由生物测定信息交换系统705促进的特定交换价格。仅作为示例,生物测定信息获取器计算设备715可以请求同意经由可穿戴显示系统710访问获得的生物测定信息(例如,在某时间段期间获得的生物测定信息或特定类型的生物测定信息)。用于生物测定信息的访问可以用于特定项目。反过来,生物测定信息获取器计算设备715可以提供用于访问关于特定项目的生物测定信息的推广项目。这样的示例交换可以被称为处于某交换价格的穿戴者生物测定交换。附加地或可替代地,同意请求可以各自请求关于可穿戴显示系统710的穿戴者的某些行为特征。关于动作的意图,诸如购买意图,可以被视为行为特征,如下文进一步描述的,该行为特征也可以在生物测定交换中交换。因此,可以向穿戴者呈现关于特定行为特征(例如,购买某种类型项目的意图),使得生物测定信息获取器可以从可穿戴显示系统710获得这样的处理过的行为特征。
由可穿戴显示系统710提供的VR和AR体验可以促进同意请求。例如,当穿戴者利用可穿戴显示系统710并观看特定小部件时,混合现实体验可以促进同意请求。可以显示包括同意请求的增强现实场景。仅作为示例,在用户在零售店观看花生酱罐时,可以在增强现实场景中显示具有不同品牌的花生酱罐(例如,竞争者的花生酱品牌)的增强现实场景。同意请求可以指示所请求的生物测定信息是在当用户在观看不同品牌的花生酱罐时利用可穿戴显示系统710的时所获得的眼睛图像。因此,如本文所述,同意请求可以采取各种格式以向可穿戴显示系统710的穿戴者进行呈现。
如下文所述,穿戴者可以通过选择允许按钮808或图标来指示同意对用于生物测定信息获取器计算设备715的生物测定信息的共享或访问。例如,在一个实施方式中,穿戴者可以以指向允许按钮808的眼睛眨眼以选择该按钮,从而指示同意与允许按钮808相关联的文本内容。作为另一示例,穿戴者可以使用手势选择允许按钮808。可以使用一个或多个计算机视觉技术来确定诸如在某个方向的眨眼的视觉命令或手势。附加地或可替代地,可以根据穿戴者可能已经指示对共享感兴趣或允许共享的某种类型的生物测定信息来过滤同意请求。例如,仅关于穿戴者已经指示对共享感兴趣或允许共享的相应同意类别的某些弹出图标可能出现。过滤同意请求的其他示例将在下面参照图8B进一步描述。
作为示例,穿戴者可以经由可以访问的用户界面控制面板将一个或多个过滤器应用于接入的报价(例如,“5美元以下”或“不需要我的GPS定位”等)。当报价到达时,它可以被过滤,并且只有在满足一个或多个的过滤条件时才呈现给穿戴者。为了减少用户界面中的混乱,系统可以通过指示报价的存在的唯一图标向穿戴者呈现报价。穿戴者可以选择图标来接受报价,并且系统可以自动获得(或开始获得)生物测定信息,将其提供给报价者,并补偿穿戴者。这样的示例实施例实际上是一类“一次点击”、“一次许可”、“一次选择”或“一次交互”的生物测定交换,在该生物测定交换中,穿戴者可以容易地选择具有最小交互的过滤后的报价。在一些这样的示例中,如果报价满足穿戴者的过滤器,则穿戴者甚至可能不需要选择图标。作为示例,穿戴者可以预先过滤来自穿戴者购物所在超市的报价,以允许超市(以适当的价格)确定穿戴者看什么项目,穿戴者实际选择购买哪些项目(例如,通过将项目放置在购物车中),穿戴者在商店的不同通道中花费多少时间等。每当穿戴者进入超市时,可穿戴显示系统710可以(可选地)显示报价图标并开始穿戴者的生物测定信息的交换而无需与穿戴者的进一步交互。继续该示例,当穿戴者进入某位置时,可选地显示报价图标的优点是穿戴者可以通过经由可穿戴显示系统710指示反对来拒绝报价图标。例如,穿戴者可以口头地或经由耦接到可穿戴显示系统710的麦克风可听见地反对该报价(例如,说“不,我不想要那个”)。作为另一个示例,穿戴者可以使用视觉命令(例如,朝着“不允许”按钮812眨眼)来反对该报价。因此,穿戴者可以不允许访问用于该特定访问该位置的生物测定信息,而在对该位置的后续访问中穿戴者的生物测定信息的交换仍然可以在与穿戴者没有进一步交互的情况下开始,如果穿戴者在一个或多个后续访问期间不反对所显示的报价图标。
计算机视觉模块可以实施一种或多种计算机视觉技术。计算机视觉模块可以确定穿戴者的视觉命令,诸如在某个方向或任何方向眨眼,或者手势(例如,用一只或两只手,或者一个或多个对象)。计算机视觉模块可以确定穿戴者正在看的对象、人或场景。计算机视觉技术的非限制性示例包括:尺度不变特征变换(SIFT),加速鲁棒特征(SURF)、定向的FAST和旋转的BRIEF(ORB)、二进制鲁棒不变可缩放关键点(BRISK)、快速视网膜关键点(RREAK)、维奥拉-琼斯(Viola-Jones)算法、特征脸方法、卢卡斯-卡纳德(Lucas-Kanade)算法、霍恩-希尔科(Horn-Schunk)算法、均值漂移(Mean-shift)算法、视觉同步定位和映射(vSLAM)技术、顺序贝叶斯估计器(例如,卡尔曼滤波器、扩展卡尔曼滤波器等)、束调整、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如,支持向量机、k近邻算法、朴素贝叶斯(Naive Bayes)、神经网络(包括卷积或深层神经网络)或其他有监督/无监督模型等)等。
语音识别模块可以实施一种或多种语音识别技术。语音识别模块可以确定穿戴者的口头或音频命令(例如,说“是”或“否”)。语音识别技术可以基于机器学习,诸如长短期记忆(LSTM)递归神经网络(RNNs)。语音识别技术可以基于隐马尔可夫模型(HMMs)、基于动态时间扭曲(DTW)的语音识别、机器学习或端到端自动语音识别。用于语音识别的机器学习技术可以基于神经网络,诸如长期短期记忆(LSTM)递归神经网络(RNNs)、时间延迟神经网络(TDNNs)、或深度转发神经网络(DNN)或递归神经网络(RNNs)。
语音识别技术和计算机视觉技术可以由各种机器学习算法附加地或可替代地执行。一旦训练过,机器学习算法可由可穿戴显示系统710存储。机器学习算法的一些示例可以包括监督或非监督的机器学习算法,其包括回归算法(诸如,普通最小二乘回归)、基于实例的算法(诸如,学习矢量量化)、决策树算法(诸如,分类和回归树)、贝叶斯算法(诸如,朴素贝叶斯)、聚类算法(诸如,k均值聚类)、关联规则学习算法(诸如,先验算法)、人工神经网络算法(诸如,感知器)、深度学习算法(诸如,深度玻尔兹曼机(Boltzmann Machine)或深度神经网络)、降维算法(诸如,主成分分析),集成算法(诸如,层叠泛化)和/或其他机器学习算法。在一些实施例中,可以为单个数据集定制单个模型。例如,可穿戴设备可以生成或存储基本模型。基本模型可以被用作起点来生成特定于数据类型(例如,在远程呈现会话中的特定用户)、数据集(例如,用户在远程呈现会话中获得的附加图像组)、条件情况或其他变化的附加模型。在一些实施例中,可穿戴显示系统710可以被配置为利用多种技术来生成用于聚合数据的分析的模型。其他技术可以包括使用预定阈值或数据值。
示例显示页面
为了便于在图中说明,在显示页面中使用假名“biometricexchange.com”来指代由生物测定信息交换系统705托管的网站。另外,假名威廉穿戴者(WilliamWearer)和亚当获取器(AdamAcquirer)被分别用于指代可穿戴显示系统710的特定穿戴者和生物测定信息获取器计算设备715。
图8A至图8E示出代表性显示内容页面或显示页面(例如网页)的格式和内容的示例,其中生物测定信息交换系统705在可穿戴显示系统710与穿戴者的生物测定信息的潜在获取器的计算设备之间交换信息。为了说明的目的,代表性显示页面被呈现为它们可能出现在例如由可穿戴显示系统710显示的web浏览器中。尽管图8A至图8E所示的示例被表示为网页,但这是用于说明而不是旨在限制。在其他实施方式中,生物测定信息交换系统705的内容可以由可穿戴显示系统710以其他格式呈现,诸如经由可以在处理模块224、228上执行的应用(例如,“app”)。诸如,在一个实施例中,弹出窗口(或警告、模式/对话、闪光通知/声音通知、灯箱/剧场、弹出通知/提示框/悬浮卡或它们的任何组合)可以呈现给穿戴者,该弹出窗口包括生物测定信息交换系统705的内容的部分(例如,指示对生物测定信息的同意请求的图标)。在一些实施例中,显示页面的内容可以无缝地集成到向穿戴者示出的场景中(例如,向图2所示的可穿戴显示系统200或图4及图6所示的显示系统400的穿戴者示出的增强现实场景100)。
图8A示出了由生物测定信息交换系统705为可穿戴显示系统710的穿戴者生成的示例显示页面800a,以提供对观看生物测定信息的报价的同意。如图所示,甚至在访问biometricexchange.com的显示页面800a之前,在穿戴者向生物测定信息交换系统705提供同意以连接到该系统的过程中,可以在图8A的显示页面800a上显示弹出窗口。在该说明性示例中,可以向威廉呈现可在显示页面800a之上显示的弹出窗口804,该弹出窗口804请求来自威廉的允许以将他的可穿戴显示系统710连接到生物测定信息交换系统705。弹出804描述了如果威廉同意将他的可穿戴显示系统710与生物测定信息交换系统705连接时生物测定信息交换系统705可以采取的动作。如果威廉决定不同意,威廉可以点击或选择不允许按钮812,并且生物测定信息交换系统705可以不尝试将威廉的可穿戴显示系统710连接或链接到生物测定信息交换系统705。在这种情况下,穿戴者的社交网络信息对生物测定信息交换系统705保持私密并且不可用。
如果威廉决定同意,则威廉可以选择允许按钮808以指示关于生物测定信息的方面的认同。如图所示,在该示例中,威廉指示他同意接收用于他的生物测定信息和生物测定信息交换的报价。通过选择允许按钮808,威廉提供了关于生物测定信息交换的报价的同意指示,并且可以访问biometricexchanage.com。如果威廉没有或还没有用生物测定信息交换系统705创建账户,则生物测定信息交换系统705可以提示威廉在生物测定信息交换系统705上创建账户。例如,生物测定信息交换系统705可以使用弹出窗口(未示出),该弹出窗口允许威廉输入他的认证凭证(例如,用户名和密码或虹膜代码),使得生物测定信息交换系统705可以被授权以从可穿戴显示系统710访问威廉的生物测定信息。弹出框804还可以包括生物测定信息交换系统的保护穿戴者个人数据隐私的政策的描述,以及穿戴者如何能使用允许按钮808和不允许按钮812的功能的描述。
在一些实施中,一旦从可穿戴显示系统710的穿戴者的响应中确定了同意指示,由可穿戴显示系统710提供的VR、AR或MR体验可以促进生物测定信息交换报价的呈现。例如,当威廉利用可穿戴显示系统710并查看特定的小部件时,AR体验可以促进同意请求。可以显示包括同意请求的增强现实场景。但仅作为示例,当用户正观看物理位置处的项目时,可以在增强现实场景中显示具有相似项目但不同类型(例如,不同品牌的项目)的增强现实场景。当威廉可能正在利用可穿戴显示系统710以用于观看这些类型的项目时,同意请求可以指示请求所获得的眼睛图像的生物测定信息。在另一实施方式中,如下面参照图8C进一步描述的,同意请求可以指示根据所获得的眼睛图像中,仅生物测定信息的一个方面要被处理。例如,同意请求可以指示在观看那些特定类型的项目时的眼睛图案可以被传送到生物测定信息交换系统705,以某交换价格接收用于该生物测定信息的报价。
图8B示出了,当穿戴者同意观看如图8A所开始的由生物测定信息交换系统705提供的报价时,由生物测定信息交换系统705生成的示例显示页面800b并可以在该示例显示页面800b上显示的对应弹出窗口。在由生物测定信息交换系统705建立了连接之后,可以向威廉呈现指示连接已经成功建立的弹出窗口8216。在一个实施方式中,生物测定信息交换系统705可以向可穿戴显示系统710的处理模块224、228使用API调用来建立在威廉的可穿戴显示系统710与生物测定信息交换系统705之间的连接。例如,在威廉的同意下,生物测定信息交换系统705可以使用威廉的认证凭证(例如,用户名和密码)以自动地登录用于威廉的生物测定信息交换系统705。在另一实施方式中,如果威廉具有在数据储存库232中存储的与可穿戴显示系统710相关联的简档,则生物测定信息交换系统705可以从数据储存库232检索威廉的简档,并利用该简档以用于提供生物测定交换报价。如上文参照图7所述,可以由服务器计算设备托管的生物测定信息交换系统705可以在可穿戴显示系统710与生物测定信息获取器计算设备715之间形成安全连接725。因此,由生物测定信息交换系统705托管的安全连接725可以促进在可穿戴显示系统710的穿戴者与生物测定信息获取器计算设备715之间的生物测定信息交换。
采用到生物测定信息交换系统705的安全连接725,显示页面800b可以显示用于生物测定信息交换的报价820。如图所示,报价820包括由可穿戴显示系统710针对某些生物测定交换价格获得的生物测定信息的描述。作为示例的报价820,在示例的大型商店(BigBoxStore)(或任何零售机构或展示室,无论是在线的还是实体的)处的特定项目的眼睛浏览历史可以以每次访问10美元的交换价格来与生物测定信息获取器计算设备715进行交换。因此,当由可穿戴显示系统710获得与示例项目相关的眼睛浏览历史时,威廉利用可穿戴显示系统710对大型商店的每次访问可以在生物测定信息交换上以10美元进行交换。作为另一个示例报价820,当威廉在US-101上驾驶时利用可穿戴显示系统710时,威廉在US-101上驾驶时的眼睛注视可以以每月99美元的交换价格来交换。因此,威廉可以查看在显示页面800b上显示的报价826,而不必同意特定的交换。如图8C至图8E所示,威廉可以基于对来自生物测定信息交换系统705的生物测定信息的同意请求来认同不同类别的同意。如图8A至8B所示,威廉已经同意基本级别的同意,该同意仅允许生物测定信息交换系统705向威廉提供关于威廉的生物测定信息的报价。
在显示页面800b上显示报价820可以结合过滤器或不同的显示设置来实施。例如,威廉可以选择过滤器(图8B未示出)以自动地排除某些报价。例如,威廉可以选择自动地排除在1美元以下报价的过滤器。作为另一个示例,威廉可以选择自动地排除与他的眼睛注视相关的报价的过滤器。在一个实施方式中,威廉可能能够看到他实际上没有资格选择的报价。例如,当在US-101上驾驶时,他可能能够看到用于眼睛注视的报价,即使威廉不居住在US-101附近的区域。在这种情况下,这样的报价可能已经由生物测定信息获取器计算设备715提供,该生物测定信息获取器计算设备715寻求获取与在US-101上驾驶的穿戴者相关的生物测定信息。附加地或可替代地,过滤器可被用于包括用户可能感兴趣选择的某些报价。
作为另一显示设置,与图8B所显示的美元价格相反,交换价格可以以不同的货币显示。例如,交换价格可以用以虚拟货币或密码货币(例如,比特币)或由生物测定信息交换系统705指定的一些其他交易媒介(例如,奖励点)来表达。在这种情况下,另一种货币可以被用于生物测定信息交换系统705上的各种其他交换,而无需实际地通过金融介质以美元获取货币。因此,生物测定信息交换系统705可以在为生物测定信息交换定制的交换介质中执行交换。
各种生物测定信息交换报价是可能的。随着威廉利用可穿戴显示系统710,生物测定信息获取器可以经由生物测定信息交换系统705向威廉穿戴者提供各种报价。如上所述,可穿戴显示系统710可以获得眼睛图像以检测或处理动态眼睛特征。动态眼睛特征可以包括眼睛运动、眼睛图案、眼睛注视、眼睛焦点信息、瞳孔扩张状态或眼睛浏览历史。另外,外部世界图像(例如,由成像系统454捕获的)也可被用于基于人群统计或位置的各种报价。例如,当在零售店中获得的来自可穿戴显示系统710的图像可以指示该零售店的人群统计。仅作为一个示例,在穿戴者浏览时的零售店的图像可以指示零售店的大多数人群的年龄不到30岁。因此,已经获得这样的图像的生物测定信息获取器计算设备715可以在该零售店中供应对该年龄人群统计流行的项目。作为另一个示例,在零售店中浏览特定部门的人的人群统计也可以指示用于项目本身类型的人群统计的兴趣水平。例如,在下午时间期间从零售店的穿戴者获得的图像可以指示,在那个时段期间,男士主要浏览杂货区域。因此,生物测定信息获取器计算设备715在获得这些图像后,可能会向在那段时段期间在那个零售店的杂货区域中的男士供应广告或报价820。生物测定信息获取器计算设备715可以将生物测定信息用于相关的生物测定信息活动或项目。因此,本文描述的系统可以向生物测定信息获取器计算设备715提供眼睛图像和/或外部世界图像,该生物测定信息获取器计算设备715利用生物测定信息交换系统705与穿戴者的相关联的可穿戴显示系统710(例如,可穿戴显示系统200)连接。
利用处理模块224、228或生物测定信息交换系统705的可穿戴显示系统200可以处理从利用可穿戴显示系统200的穿戴者处获得的生物测定信息。例如,可以处理眼睛图像以获得关于穿戴者的生物测定。作为处理眼睛图像的示例,为了基于瞳孔扩张、眼睛的指向或眼睛注视的项目的动作意图,可以分析眼睛图像。说明性地,在用户在零售店中正观看多个花生酱罐时(例如,如从与项目相关联的图像组中分析),眼睛注视在某个品牌的花生酱罐上时间持续时间可以指示购买意向。穿戴者瞳孔扩张可以确认购买该花生酱罐的意图,例如,指示是穿戴者的瞳孔在观看花生酱罐时扩张。或者作为另一个示例,在观看最初的花生酱罐某段时间后,眼睛图像可以指示眼睛已经移动到另一个不同品牌的花生酱罐。例如,对应的外部世界图像可以被用于将眼睛注视与由穿戴者观看的特定项目进行相关。这种眼睛注视的图案可以指示可以购买最初的花生酱罐。来自注册处销售点交易的购买数据可以指示该购买事实上发生了。相反,最终购买数据可以被用来推断穿戴者在购买花生酱罐时的意图。例如,最终购买最初的花生酱罐可以指示穿戴者具有观看最终购买的项目比同一项目品牌的竞争者品的更长的持续的时间牌更高的概率。获得的关于穿戴者皮肤的生物测定信息(例如,由耦接到可穿戴显示系统710的皮电传感器系统检测到的)也可被用于推断用于项目的动作(例如,行为特征)的意图。作为这种皮电传感器系统的示例,由皮电传感器系统对穿戴者汗水的检测可以指示穿戴者对在零售店购买项目感兴趣。
尽管已经参考分析在零售店中的花生酱罐的图像和穿戴者汗水的检测描述了该示例,但是可以从由可穿戴显示系统710获取的数据进行推断或处理穿戴者的附加生物测定。在各种实施方式中,从可穿戴显示系统710获取的任何数据可以被捕获、推断、处理或确定行为特征。例如,如上参照图2所述,由本地处理模块224获取的数据可包括从传感器(其可以例如可操作地耦接到框架212或以其他方式附接到穿戴者204)捕获的数据,所述传感器包括诸如图像捕获设备(诸如,相机)、麦克风、惯性测量单元、加速度计、罗盘、陀螺仪、位置传感器(例如,GPS传感器)、无线电设备、语音检测器、皮电传感器、脉搏或血压传感器,心电图传感器和/或脑电图传感器。
从眼睛图像、外部世界图像的处理中获得的信息与从可穿戴显示系统710获得的任何其他数据的相关性可被用于确定或推断穿戴者的行为特征(例如购买项目)。作为处理来自眼睛图像的行为特征的另一个示例,指示穿戴者正在进入汽车的眼睛图像以及指示穿戴者已经系好安全带的眼睛图像都可以被处理以确定穿戴者在进入汽车后戴上安全带所花费的时间。用于安全带动作的这种时间可以作为穿戴者的行为特征与汽车制造商、汽车安全组织、汽车保险公司或机动车辆部门进行交换。附加地或可替代地,以合计的方式,可以从若干可穿戴显示系统710获得的合计数据中处理或推断各种穿戴者的行为特征。这种合计的行为特征也可以被处理或分析,以获得用于某些人群统计或某些类型的=穿戴者(例如,家庭车辆驾驶员或运动车辆驾驶员)的行为特征。在一些情况下,请求生物测定信息的实体可以向生物测定信息交换系统705提供处理算法或软件(其可以保持对该实体的专有),生物测定信息交换系统705代表实体使用该处理算法或软件来处理合计的生物测定信息。
在一些实施方式中,与项目相关联的标牌可能是分析的焦点,而不是项目本身。例如,大型零售商可以放置两个具有不同格式的标识标识,在两个不同的商店里测试(例如,使用A/B测试)哪一个标识从顾客接收更多的兴趣。继续该示例,根据在此描述的方法,由于各种穿戴者已经经由同意请求认同提供生物测定信息,零售商可以从穿戴者获得合计的动态眼睛特征,以确定标识中的一者比另一者从顾客接收更多的兴趣。因此,零售商可以确定(例如,使用A/B测试或其他统计技术),具有特定格式的特定标识比具有不同格式的另一种类型的标识更受欢迎。附加地或可替代地,与项目相关联的标牌和项目本身可被用于指示用于项目的动作意图。在这两种情况下,与项目相关联的图像集可以由生物测定信息交换系统705或处理模块224、228处理,以向可穿戴显示系统710的穿戴者提供报价820,以用于生物测定信息交换,如在显示页面800b上所显示的。例如,如下文参照图9所描述的,处理模块224、228可以实施例程900来处理来自包括眼睛图像和对应的外部世界图像的图像组的生物测定信息。
尽管已经在分析在零售商店处花生酱罐的外部世界图像中描述了前述示例,但这仅用于说明而不旨在限制。在其他实施方式中,任何项目可以被用在对获得的眼睛图像的分析中。另外,从眼睛图像和外部世界图像的处理中获得的信息的任何相关性可被用于推断用于项目的动作意图(例如,购买项目)。例如,通过将在同一零售商店中的穿戴者的眼睛焦点信息和眼睛运动与每个穿戴者的对应外部世界图像进行相关,可以在信息变得更普遍可用时向各种穿戴者作出报价820。作为另一个示例,当相关性指示这种信息无用时特定类型的生物测定信息的交换价格可以降低,或者当相关性指示这种生物测定信息有用时而增加。其他因素也可能影响报价820。例如,如果大量穿戴者在US-101上驾驶时选择关于眼睛注视的特定报价,则交换价格可能会降至每月5美元,而不是图8B中显示的每月99美元的价格。如下面在图9中进一步描述的,例程900描绘了用于交换生物测定信息的示例工作流程,诸如,采用可穿戴显示系统710显示与生物测定信息相关的同意请求,利用可穿戴显示系统710从穿戴者获得生物测定信息,以及/或者处理生物测定信息以生成用于生物测定信息获取器计算设备715的生物测定信息处理结果。
在已选择加入并授权了在可穿戴显示系统710与生物测定信息交换系统705之间的连接之后,穿戴者可以改变他或她的想法,并决定选择退出到生物测定信息交换系统705的连接。例如,生物测定信息交换系统705可以生成显示页面(或其链接),使得威廉可以撤回同意并解除威廉的可穿戴显示系统710的关联。在撤回穿戴者同意之后,生物测定信息交换系统705可以移除穿戴者的认证信息(例如,用户名和密码信息)、简档信息以及从与生物测定信息交换系统705相关联的任何数据储存库或高速缓存获得的任何生物测定信息。
图8C示出了由生物测定信息交换系统705为穿戴者生成的示例显示页面800c,该显示页面800c提供用于接收关于穿戴者的某些类别的生物测定信息的报价的同意请求。如所图示的,甚至在与biometricexchange.com共享生物测定信息之前,在穿戴者提出同意生物测定信息交换系统705连接到该系统的处理期间,在图8C的显示页面800c上显示弹出窗口。在该说明性示例中,可以向威廉呈现可在显示页面800c之上显示的弹出窗口824,该弹出窗口824向威廉请求许可来将他的可穿戴显示系统710与生物测定信息交换系统705连接并共享某些生物测定信息。弹出824描述了如果威廉同意将他的可穿戴显示系统710与生物测定信息交换系统705连接并且与生物测定信息交换系统705共享他的生物测定信息的某些方面时,生物测定信息交换系统705可以采取的动作。例如,威廉可以选择某些类别(例如,眼睛运动和眼睛图案),这些类别可以与连接到生物测定信息交换系统705的第三方生物测定信息获取器共享。如果威廉决定不同意,威廉可以点击或选择不允许按钮812,并且生物测定信息交换系统705可以不尝试将威廉的可穿戴显示系统710连接或链接到生物测定信息交换系统705。在这种情况下,穿戴者的生物测定信息对生物测定信息交换系统705保持保密并且不可用。
如果威廉决定同意,则威廉可以选择允许按钮808来指示关于生物测定信息交换的方面的认同。如图所示,在这个示例中,威廉指示他认同共享他的某些类别的生物测定信息,以对生物测定信息交换的供给。通过选择允许按钮808,威廉已经提供了与用于与生物测定信息交换的某些类别的报价相关的同意指示,并且可穿戴显示系统710可以与biometricexchanage.com共享这种生物测定信息。如上所述,弹出窗口824还可以包括生物测定信息交换系统的保护穿戴者个人数据隐私的策略的描述,以及穿戴者可以如何使用允许按钮808和不允许按钮812功能的描述。
图8D示出了由生物测定信息交换系统705生成的示例显示页面800d,以及如图8C所发起的,当穿戴者同意采用生物测定信息交换系统705接收关于某些类别的生物测定信息的报价时可以在该示例显示页面800d上显示的对应弹出窗口。在由生物测定信息交换系统705建立了连接之后,可以向威廉呈现指示连接已经成功建立的弹出窗口828。如上文参照图8B所描述的,可以在从弹出窗口828接收到同意的情况下建立到生物测定信息交换系统705的连接。
在与生物测定信息交换系统705的成功连接的情况下,显示页面800d可以显示用于生物测定信息交换的报价832。如图所示,报价832包括由可穿戴显示系统710以某生物测定交换价格获得的生物测定信息的描述。作为示例报价832,对于在大型商店每10次访问,在示例大型商店(或任何零售机构或展示室,无论是在线的还是实体的)处与牙膏品牌相关的眼睛运动可以与生物测定信息获取器计算设备715交换,以用于类似于牙膏品牌(例如,竞争者或促销牙膏产品)的促销项目的交换价格。例如,在威廉访问大型商店期间,亚当获取器可能想用促销型可穿戴手表来交换竞争者可穿戴设备的眼睛运动。作为另一个示例报价832,当在威廉在US-101上驾驶时利用可穿戴显示系统710时,在US-101上驾驶经过90分钟后,威廉的眼睛图案可以被交换以由示例出租车公司提供的免费15分钟车程的交换价格。因此,如图8C至图8D所示,威廉已经同意基于来自生物测定信息交换系统的用以共享威廉生物测定信息的初始同意请求来共享某些类别的生物测定信息。反过来,如由各种生物测定信息获取器计算设备715所供应的,生物测定信息交换系统705促进以某交换价格为威廉的生物测定信息进行报价的供给。作为图8d未描绘的另一示例,可以向威廉呈现以相应的交换价格与可穿戴显示系统710的穿戴者的行为特征相关联的报价的列表,以用于在生物测定信息交换系统705上交换。
图8E示出了示例显示页面800e,该示例显示页面800e可以由生物测定信息交换系统705生成的,以提供用于共享穿戴者的一些或所有生物测定信息的同意请求。在该说明性示例中,可以向威廉呈现可在显示页面800e上方显示的弹出窗口836,该弹出窗口836向威廉请求许可以将他的可穿戴显示系统710连接到生物测定信息交换系统705并共享他的所有生物测定信息。弹出窗口836描述了如果威廉同意将他的可穿戴显示系统710与生物测定信息交换系统705连接并且与生物测定信息交换系统705共享他的任何生物测定信息时生物测定信息交换系统705可以采取的动作。例如,被威廉利用的可穿戴显示系统710可以与需要连接到生物测定信息交换系统705的第三方生物测定信息共享生物测定信息(例如,眼睛运动和眼睛图案)。这种生物测定信息可以被生物测定信息交换系统705用来由亚当获取器对威廉提供用于他的生物测定信息的任何方面的报价。因此,如果威廉认同与弹出窗口836相关联的文本内容,威廉可以选择允许按钮808。如上所述,弹出窗口836还可以包括生物测定信息交换系统用以保护穿戴者个人数据隐私的政策的描述,以及穿戴者可以如何使用允许按钮808和不允许按钮812功能的描述。
然而,如果威廉决定不同意,威廉可以点击或选择不允许按钮812,并且生物测定信息交换系统705可以不尝试将威廉的可穿戴显示系统710连接或链接到生物测定信息交换系统705。在这种情况下,穿戴者的生物测定信息对生物测定信息交换系统705保持私密并且不可用。
示例生物测定信息交换例程
图9示出了说明性生物测定信息交换例程的流程图。例程900描绘了用于如下步骤的示例工作流程:用可穿戴显示系统710显示关于生物测定信息的同意请求,利用可穿戴显示系统710从穿戴者获得生物测定信息,并处理生物测定信息以生成用于生物测定信息获取器计算设备715的生物测定信息处理结果。例程900可以由生物测定信息交换系统705来执行。
在框904处,从生物测定信息获取器计算设备715接收用于生物测定信息的请求。可以从各种来源接收用于生物测定信息的请求,这些来源包括,但不限于:托管生物测定信息交换系统705的服务器、直接连接到可穿戴显示系统710的生物测定信息获取器计算设备715、托管生物测定信息交换系统705的计算设备,或者与生物测定信息获取器计算设备715相关联并且连接到网络的任何计算设备,可穿戴显示系统710也连接到该网络。
继续例程900,在框908处,用可穿戴显示系统710显示同意请求。如上所述,可穿戴显示系统710是可穿戴显示系统710的类型。在各种实施方式中,如上文关于生物测定信息交换技术的示例所描述的,同意请求可以被显示在可穿戴显示系统710的显示器上。例如,同意请求可以被显示在可穿戴显示系统710上的增强现实场景中,在项目包括在用于生物测定信息交换的报价中的情况下,该可穿戴显示系统710显示竞争者的项目。
在判定框912,作出关于是否已经接收到同意指示的确定。同意指示可以是关于生物测定信息的方面。例如,可以响应于同意请求的显示而接收同意响应。同意响应可以包括同意指示,该同意指示与关于生物测定信息方面的认同相关联。说明性地,同意响应可以关于若干类生物测定信息,可穿戴显示系统710的穿戴者仅认同这些类别中的部分。在这种情况下,同意指示是那些认同的同意类别。在另一方面,同意指示可以是在已经被显示同意请求的穿戴者利用可穿戴显示系统710时被可穿戴显示系统710接收、捕获或检测到的任何或全部生物测定信息征得全部同意。
在某些情况下,可能没有接收到同意指示。例如,在显示同意请求的某时间段后,可能没有接收到同意指示。可替代地或附加地,同意相应可能指示没有对任何生物测定信息认同同意。例如,穿戴者可能没有指示同意任何同意类别的生物测定信息。如果用户没有对同意请求指示同意,则例程900进行回到框904。附加的同意请求可以反复地被接收并显示给穿戴者。仅作为一个示例,在一段时间内,不得再次向穿戴者显示同意请求。作为另一个示例,在框908处,可以利用可穿戴显示系统710向穿戴者显示范围更窄的不同同意请求。例如,范围较窄的同意请求可以是仅用于显示关于共享生物测定信息的报价的请求(在这种情况下,如下所述,框920可以不是例程900的部分)。在任何情况下,例程900可以反复地进行到判定框912,直到已经肯定地响应了与生物测定信息的方面相关的同意指示。在一些实施方式中,可以基于缺少向用户示出的许多同意请求(例如,2、3、4、5、10或更多)的拒绝来确定同意指示。
如果在判定框912处,已经确定在来自穿戴者的同意响应中已经接收到的同意指示,则例程900进行到框916。例如,在各种实施方式中,当经由如上文参照图8A、图8C和图8E所示的示例所描述的显示页面800a、800c、800e接收到“允许”指示时,可以确定已经接收到的关于生物测定信息方面的同意指示。
继续例程900,在框916处,利用可穿戴显示系统710获得生物测定信息。如上所述,可以使用耦接到可穿戴显示系统710的诸如图像捕获设备或皮电传感器系统的各种设备来获得生物测定信息。生物测定信息可以包括眼睛图像或处理眼睛图像的结果,诸如眼睛聚焦信息。
在框920处,基于对生物测定信息的初始请求和穿戴者已经指示认同的同意指示,将获得的生物测定信息的部分(或其全部)传送到生物测定信息交换获取器715。例如,在各种实施方式中,如上文参照图8D所示的示例所描述的,当穿戴者已连接到生物测定信息交换系统705以接收由生物测定信息交换获取器715提出的各种交换价格的生物测定信息的某些方面的报价时,可以将获得的关于生物测定信息类别的生物测定信息的部分传送到生物测定信息交换获取器715。在一个实施方式中,传送的生物测定信息依赖于或部分基于来自生物测定信息获取器计算设备715的初始请求(例如,向穿戴者显示的同意请求)和穿戴者已经指示的认同的同意指示(例如,仅向穿戴者显示与用于项目的眼睛图案相关的报价)。
在框924处,可以向穿戴者提供用于生物测定信息交换的报酬。报酬可以包括金钱补偿、商品或服务的折扣或回扣、对商品或服务的优选(例如,优选高尔夫球场的开球时间),或对生物测定信息提供者可接受的任何其他类型的报酬。可以将报酬提供给生物测定信息的提供者(例如,可穿戴显示系统710的穿戴者)或提供者的指定者。报酬可以由生物测定信息交换器、生物测定信息获取器或第三方来提供。
在框924处,生物测定信息交换可以获得用于所提供的生物测定信息交换服务的报酬。例如,生物测定信息交换可以向生物测定信息获取器收取连接获取器与生物测定信息提供者的费用。此后,例程900结束。
在一些实施中,可选地或附加地,可以基于传送的生物测定信息将关于生物测定信息的报价传送给可穿戴显示系统710。例如,如图8B和图8D所示,通过在显示页面800b、800d上显示这样的报价,可以将报价826和838传送给穿戴者。例程900可以向穿戴者提供这样的报价,以促进经由生物测定信息交换系统705进行交换。
在各种实施例中,例程900可以由诸如显示系统200的实施例中的显示系统的硬件处理器(例如,处理模块224、228或控制器450)来执行。在其他实施例中,具有计算机可执行指令的远程计算设备可以使得可穿戴显示系统710执行例程900的方面。例如,远程计算设备可以确定同意指示是关于生物测定信息的方面(例如,眼睛图案)。
在一些实施例中,一种方法在硬件处理器的控制下执行,,并且该方法包括:向用户传送同意请求,该请求包括用于用户的生物测定信息的多个同意类别,生物测定信息包括生理信息、行为信息或其任意组合;接收对同意请求的响应;确定响应包括来自用户的同意指示,关于用户已经指示认同的同意类别的同意指示;获得用户的多个眼睛图像;并且响应于来自生物测定信息获取器计算设备的对生物测定信息的请求,至少部分地基于用户已经指示认同的同意类别和对生物测定信息的请求,将多个眼睛图像发送到生物测定信息获取器计算设备。
在一些实施例中,一种方法在硬件处理器的控制下执行,并且该方法包括:使得显示关于用户的生物测定信息的同意请求;确定对同意请求的响应包括关于生物测定信息的方面的同意指示;获得根据生物测定信息处理的生物测定信息处理结果;以及将生物测定信息处理结果提供给与同意指示相关联的生物测定信息获取器计算设备。
在一些实施例中,一种方法在硬件处理器的控制下执行,并且该方法包括:接收由头戴式显示器的穿戴者同意与生物测定信息获取器交换可从头戴式显示器穿戴者获得的生物测定信息类别的指示;获得头戴式显示器的穿戴者的生物测定信息;以及将与所获得的生物测定信息相关联的生物测定信息交换数据传送给生物测定信息获取器。
附加的方面
在第1方面,公开了一种头戴式显示系统。头戴式显示器包括:第一图像捕获设备,被配置为捕获眼睛的多个眼睛图像;第二图像捕获设备,被配置为捕获多个外部世界图像;显示器,被配置为向头戴式显示器的穿戴者的眼睛显示虚拟图像;硬件处理器,被编程为:向头戴式显示器的穿戴者传同意请求,该请求包括对穿戴者的生物测定信息的多个同意类别;接收对同意请求的响应;确定响应包括来自头戴式显示器的穿戴者的同意指示,同意指示与穿戴者已经指示认同的同意类别相关;获得由第一图像捕获设备捕获的头戴式显示器的穿戴者的多个眼睛图像;并且响应于来自生物测定信息获取器计算设备的对生物测定信息的请求,至少部分地基于穿戴者已经指示认同的同意类别和对生物测定信息的请求,将多个眼睛图像传送到生物测定信息获取器计算设备。
在第2方面,根据方面1所述的头戴式显示系统,其中,用于穿戴者的生物测定信息的多个同意类别包括报价类别、部分共享类别、完整共享类别或其任意组合中的至少一个。
在第3方面,根据方面2所述的头戴式显示系统,其中,穿戴者已经指示认同的同意类别对应于完整共享类别。
在第4方面,根据方面2至3中任一方面所述的头戴式显示系统,其中,部分共享类别包括对在零售店中关于项目品牌或项目产品的多个眼睛图像的共享。
在第5方面,根据方面1至4中任一方面所述的头戴式显示系统,其中,硬件处理器被进一步编程为:对多个眼睛图像执行生物测定数据操作以获得生物测定信息,其中,为了响应于来自生物测定信息获取器计算设备的对生物测定信息的请求而传送多个眼睛图像,硬件处理器被进一步编程为:响应于来自生物测定信息获取器计算设备的对生物测定信息的请求,传送至少部分地基于穿戴者已经指示认同的同意类别而获得的生物测定信息的部分。
在第6方面,根据方面5所述的头戴式显示系统,其中,生物测定信息对应于眼睛图案、眼睛运动、眼睛注视或眼睛浏览历史中的至少一个。
在第7方面,如方面5至6中任一方面所述的头戴式显示系统,其中,为了对多个眼睛图像执行生物测定数据操作以获得生物测定信息,硬件处理器被进一步编程为:使用多个眼睛图像执行姿态估计或虹膜代码生成。
在第8方面,根据方面1至7中任一方面所述的头戴式显示系统,其中,硬件处理器被进一步编程为:利用头戴式显示系统显示同意请求。
在第9方面,根据方面1至8中任一方面所述的头戴式显示系统,其中,硬件处理器被进一步编程为:响应于接收到对同意请求的响应,利用头戴式显示器显示多个生物测定交换报价,其中,该多个生物测定交换报价包括与来自电子目录的项目的生物测定信息相关联的报价或者与基于头戴式显示系统的穿戴者的位置的生物测定信息相关联的报价。
在第10方面,根据方面9所述的头戴式显示系统,其中,硬件处理器被进一步编程为:基于阈值交换价格过滤多个生物测定交换报价。
在第11方面,根据方面9至10中任一方面所述的头戴式显示系统,其中,硬件处理器被进一步编程为:基于对生物测定信息的方面的排除来过滤多个生物测定信息交换报价,其中,排除由头戴式显示系统的穿戴者来指定。
在第12方面,根据方面1至11中任一方面所述的头戴式显示系统,其中,硬件处理器被进一步编程为:基于对报价的方面的包含来过滤多个生物测定交换报价,其中,包含由头戴式显示系统的穿戴者来指定。
在第13方面,根据方面1至12中任一方面所述的头戴式显示系统,其中,硬件处理器被进一步编程为:在头戴式显示系统与生物测定信息获取器计算设备之间形成安全连接。
在第14方面,根据方面1至13中任一方面所述的头戴式显示系统,其中,硬件处理器被进一步编程为:处理由第一图像捕获设备捕获的多个眼睛图像和由第二图像捕获设备捕获的多个外部世界图像,以获得关于头戴式显示系统的穿戴者的行为特征。
在第15方面,根据方面14所述的头戴式显示系统,其中,关于穿戴者的行为特征包括,在使用多个外部世界图像确定的多个眼睛图像中,由穿戴者的眼睛观看零售店中的项目品牌或项目产品。
在第16方面,根据方面14至15中任一方面所述的头戴式显示系统,其中,硬件处理器被进一步编程为:利用头戴式显示系统显示关于所获得的行为特征的第二同意请求。
在第17方面,根据方面16所述的头戴式显示系统,其中,硬件处理器被进一步编程为:响应于接收到对关于所获得的行为特征的第二同意请求的响应,利用头戴式显示器显示第二多个生物测定交换报价,其中,该第二多个生物测定交换报价包括:与关于来自电子目录的项目的生物测定信息相关联的报价,与基于头戴式显示系统的穿戴者的位置的生物测定信息相关联的报价、与头戴式显示系统的穿戴者的行为特征相关联的报价或其任意组合。
在第18方面,根据方面1至17中任一方面所述的头戴式显示系统,其中,显示器被配置为向头戴式显示器的穿戴者显示同意请求,其中为了向穿戴者传同意请求,硬件处理器被配置为使用显示器向穿戴者显示同意请求。
在第19方面,根据方面1至18中任一方面所述的头戴式显示系统,其中,显示器被配置为向穿戴者呈现多个深度平面。
在第20方面,根据方面1至19中任一方面所述的头戴式显示系统,其中,显示器被配置为向穿戴者呈现光场图像。
在第21方面,根据方面1至20中任一方面所述的头戴式显示系统,其中,显示器包括多个堆叠的波导。
在第22方面,公开了一种获取生物测定信息的方法。该方法在处理器的控制下,并且包括:向用户传送同意请求,该请求包括用于用户的生物测定信息的多个同意类别,生物测定信息包括生理信息、行为信息或其任意组合;接收对同意请求的响应;确定响应包括来自用户的同意指示,该同意指示关于用户已经指示认同的同意类别;获得用户的多个眼睛图像;并且响应于来自生物测定信息获取器计算设备的对生物测定信息的请求,至少部分地基于用户已经指示认同的同意类别和对生物测定信息的请求,将多个眼睛图像传送到生物测定信息获取器计算设备。
在第23方面,根据方面22所述的方法,其中,用于用户的生物测定信息的多个同意类别包括报价类别、部分共享类别以及完整共享类别中的至少一个。
在第24方面,根据方面23所述的方法,其中,用户已经指示认同的同意类别对应于部分共享类别。
在第25方面,根据方面23至24中任一方面所述的方法,其中,部分共享类别包括对关于标牌的多个眼睛图像的共享,该标牌与来自电子目录的项目相关联。
在第26方面,根据方面22至25中任一方面所述的方法,进一步包括:对多个眼睛图像执行生物测定数据操作以获得生物测定信息;并且响应于来自生物测定信息获取器计算设备的对生物测定信息的请求,至少部分地基于用户已经指示认同的同意类别来传送生物测定信息的部分。
在第27方面,根据方面26所述的方法,其中,生物测定信息对应于眼睛图案、眼睛运动、眼睛注视或眼睛浏览历史中的至少一个。
在第28方面,根据方面22至27中任一方面所述的方法,其中,对多个眼睛图像执行生物测定数据操作以获得生物测定信息包括对该多个眼睛图像执行姿态估计或虹膜代码生成。
在第29方面,根据方面22至28中任一方面所述的方法,进一步包括:利用头戴式显示器显示同意请求。
在第30方面,根据方面22至29中任一方面所述的方法,进一步包括:响应于接收对同意请求的响应,利用头戴式显示器显示多个生物测定交换报价,其中,该多个生物测定交换报价包括与关于来自电子目录的项目的生物测定信息相关联的报价或者与基于用户位置的生物测定信息相关联的报价。
在第31方面,根据方面22至30中任一方面所述的方法,进一步包括:基于过滤条件过滤多个生物测定交换报价。
在第32方面,根据方面22至31中任一方面所述的方法,进一步包括:从耦接到头戴式显示器的第二成像系统接收外部世界图像。
在第33方面,根据方面32所述的方法,进一步包括处理由多个眼睛图像和第二图像捕获的多个外部世界图像,以获得关于用户的行为特征。
在第34方面,根据方面33所述的方法,其中,关于用户的行为特征包括用户观看与来自电子目录的项目相关联的标牌。
在第35方面,公开了一种用于交换生物测定信息的方法。该方法在处理器的控制下,并且包括:使得显示关于用户的生物测定信息的同意请求;确定对同意请求的响应包括关于生物测定信息的方面的同意指示;获得根据生物测定信息处理的生物测定信息处理结果;以及将生物测定信息处理结果提供给与同意指示相关联的生物测定信息获取器计算设备。
在第36方面,根据方面35所述的方法,其中,同意请求包括提供关于生物测定信息的报价的请求。
在第37方面,根据方面35至36中任一方面所述的方法,其中,同意请求包括关于生物测定信息的多个同意类别。
在第38方面,根据方面35至37中的任一方面所述的方法,其中,同意请求包括共享对任何生物测定信息的请求。
在第39方面,根据方面35至38中任一方面所述的方法,进一步包括:从生物测定信息获取器计算设备接收对生物测定信息的请求。
在第40方面,根据方面35至39中任一方面所述的方法,其中,确定对同意请求的响应包括关于生物测定信息的方面的同意指示包括:确定该同意指示包括对共享生物测定信息的方面的认同。
在第41方面,根据方面35至40中任一方面所述的方法,还包括:从生物测定信息获取器计算设备接收关于生物测定信息的同意请求。
在第42方面,根据方面35至41中任一方面所述的方法,其中,确定对同意请求的响应包括关于生物测定信息的方面的同意指示包括:确定已经从在显示页面上的可选项目接收同意指示,其中,可选项与包括同意请求的部分的文本内容相关联。
在第43方面,公开了一种用于交换生物测定信息的方法。该方法在处理器的控制下,并且包括:接收由头戴式显示器的穿戴者同意的指示,以将可从头戴式显示器的穿戴者获得的生物测定信息类与生物测定信息获取器进行交换;获得头戴式显示器穿戴者的生物测定信息;并且将与所获得的生物测定信息相关联的生物测定交换数据传送给生物测定信息获取器。
在第44方面,根据方面43所述的方法,其中,生物测定信息包括生理信息、行为信息或其任何组合。
在第45方面,根据方面43至44中任一方面所述的方法,进一步包括向头戴式显示器的穿戴者或头戴式显示器的穿戴者的指定者提供报酬。
在第46方面,根据方面43至45中任一方面所述的方法,进一步包括从生物测定信息获取器或生物测定信息获取器的指定者接收报酬。
在第47方面,根据方面43至46中任一方面所述的方法,进一步包括处理所获得的生物测定信息以确定生物测定交换数据。
在第48方面,根据方面47所述的方法,其中,处理所获得的生物测定信息包括从生物测定信息获取器接收处理指令。
结论
本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化:代码模块,其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行;和/或电子硬件,其被配置为执行具体和特定计算机指令。例如,计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中,安装在动态链接库中,或可用解释性编程语言编写。在一些实施方式中,特定操作和方法可由特定于给定功能的电路来执行。
此外,本公开的功能的某些实施方式在数学上、计算上或技术上都足够复杂,以至于为了执行所述功能(例如,由于所涉及的计算的量或复杂性)或者为了基本实时地提供结果,专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)可能是必需的。例如,视频可以包括许多帧,每帧具有数百万像素,为了处理视频数据以在商业上合理的时间量内提供期望的图像处理任务或应用,用编程的计算机硬件是必需的。
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上,诸如物理计算机存储器,包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如,作为载波或其他模拟或数字传播信号的一部分)传输,所述传输介质包括基于无线的介质和基于有线/电缆的介质,且可采取多种形式(例如,作为单一或多路复用模拟信号的一部分,或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中,或可经由计算机可读传输介质进行传送。
本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分,它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中,额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序,且与其相关的框、步骤或状态能以适当的其他顺序来执行,例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外,本文所述的实施方式中的分离各种系统组件是出于说明的目的,且不应被理解为在所有实施方式中都需要这样的分离。应该理解,所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。许多实施方式变体是可行的。
过程、方法以及系统可在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新性方面,这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。对此公开所述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的,且在不脱离此公开的精神或范围的情况下,可将本文中限定的一般原理应用于其他实施方式。因此,权利要求不旨在限于本文所示的实施方式,而是应被赋予与本文所公开的此公开、原理和新颖特征一致的最宽范围。
在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反,在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外,尽管上文可将特征描述为以某些组合执行,甚至最初这样要求保护,但在一些情况下,来自所要求保护的组合的一个或多个特征能被从该组合中删除,且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
本文中使用的条件语,诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤,另有具体说明或在上下文中另有理解除外。因此,这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的,或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词,且以开放式的方式包含性地使用,且不排除额外的元素、特征、动作、操作等。此外,术语“或”以其包含性含义(而不是其专有性含义)使用,因此,当被用于例如连接元素列表时,术语“或”意味着列表中的一个、一些或全部元素。另外,除非另有具体说明,本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”。
如本文所使用的,涉及项目列表的“至少一个”的短语指这些项目的任何组合,包括单个成员。作为示例,“A、B或C中的至少一个”旨在覆盖:A、B、C、A和B、A和C、B和C以及A、B和C。诸如短语“X、Y以及Z中的至少一个”的连接语(除非另有声明)以通常使用的上下文来理解,以表达项目、术语等可以是X、Y或Z中的至少一个。因此,这样的连接语一般并不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个以及Z中的至少一个中的每个都存在。
类似地,虽然操作在附图中可以以特定顺序描绘,但应认识到,这样的操作不需要以所述特定顺序或以相继顺序执行,或执行所有例示的操作以实现期望的结果。此外,附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而,未示出的其他操作能并入示意性地示出的示例方法和过程中。例如,能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外,在其他实施方式中,操作可被重新排列或重新排序。在某些情况下,多任务和并行处理可具有优势。此外,上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离,且应该理解,所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外,其他实施方式处于以下权利要求的范围内。在一些情况下,权利要求中列举的动作能以不同的顺序执行,且仍实现期望的结果。以特定顺序描绘,但应认识到,这样的操作不需要以所述特定顺序或以相继顺序执行,或执行所有例示的操作以实现期望的结果。此外,附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而,未示出的其他操作能并入示意性地示出的示例方法和过程中。例如,能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外,在其他实施方式中,操作可被重新排列或重新排序。在某些情况下,多任务和并行处理可具有优势。此外,上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离,且应该理解,所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外,其他实施方式处于以下权利要求的范围内。在一些情况下,权利要求中列举的动作能以不同的顺序执行,且仍实现期望的结果。

Claims (21)

1.一种头戴式显示系统,包括:
第一图像捕获设备,被配置为捕获眼睛的多个眼睛图像;
第二图像捕获设备,被配置为捕获多个外部世界图像;
显示器,被配置为向所述头戴式显示器的穿戴者的眼睛显示虚拟图像;以及
硬件处理器,被编程为:
向所述头戴式显示器的所述穿戴者传输同意请求,所述请求包括用于所述穿戴者的生物测定信息的多个同意类别;
接收对所述同意请求的响应;
确定所述响应包括来自所述头戴式显示器的所述穿戴者的同意指示,所述同意指示与所述穿戴者已经指示认同的同意类别相关;
获得由所述第一图像捕获设备捕获的所述头戴式显示器的所述穿戴者的所述多个眼睛图像;以及
响应于来自生物测定信息获取器计算设备的对生物测定信息的请求,至少部分地基于所述穿戴者已经指示认同的所述同意类别和对生物测定信息的所述请求,将所述多个眼睛图像传送到所述生物测定信息获取器计算设备。
2.根据权利要求1所述的头戴式显示系统,其中,用于所述穿戴者的生物测定信息的所述多个同意类别包括报价类别、部分共享类别、完整共享类别或其任意组合中的至少一个。
3.根据权利要求2所述的头戴式显示系统,其中,所述穿戴者已经指示认同的所述同意类别对应于所述完整共享类别。
4.根据权利要求2所述的头戴式显示系统,其中,所述部分共享类别包括对在零售店中关于项目品牌或项目产品的所述多个眼睛图像的共享。
5.根据权利要求1所述的头戴式显示系统,
其中,所述硬件处理器被进一步编程为:
对所述多个眼睛图像执行生物测定数据操作以获得生物测定信息,以及
其中,为了响应于来自所述生物测定信息获取器计算设备的对生物测定信息的所述请求而传送所述多个眼睛图像,所述硬件处理器被进一步编程为:
响应于来自所述生物测定信息获取器计算设备的对生物测定信息的所述请求,传送至少部分地基于所述穿戴者已经指示认同的所述同意类别而获得的所述生物测定信息的部分。
6.根据权利要求5所述的头戴式显示系统,其中,所述生物测定信息对应于眼睛图案、眼睛运动、眼睛注视或眼睛浏览历史中的至少一个。
7.根据权利要求6所述的头戴式显示系统,其中,为了对所述多个眼睛图像执行所述生物测定数据操作以获得生物测定信息,所述硬件处理器被进一步编程为:使用所述多个眼睛图像执行姿态估计或虹膜代码生成。
8.根据权利要求1所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
利用所述头戴式显示系统显示所述同意请求。
9.根据权利要求1至8中任一项所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
响应于接收到对所述同意请求的所述响应,利用所述头戴式显示器显示多个生物测定交换报价,
其中,所述多个生物测定交换报价包括与关于来自电子目录的项目的生物测定信息相关联的报价或者与基于所述头戴式显示系统的所述穿戴者的位置的生物测定信息相关联的报价。
10.根据权利要求9所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
基于阈值交换价格过滤所述多个生物测定交换报价。
11.根据权利要求9所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
基于对生物测定信息的方面的排除,来过滤所述多个生物测定信息交换报价,其中,所述排除由所述头戴式显示系统的所述穿戴者来指定。
12.根据权利要求9所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
基于对报价的方面的包含来过滤所述多个生物测定交换报价,其中,所述包含由所述头戴式显示系统的所述穿戴者来指定。
13.根据权利要求1所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
在所述头戴式显示系统与所述生物测定信息获取器计算设备之间形成安全连接。
14.根据权利要求1所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
处理由所述第一图像捕获设备捕获的所述多个眼睛图像和由所述第二图像捕获设备捕获的所述多个外部世界图像,以获得关于所述头戴式显示系统的所述穿戴者的行为特征。
15.根据权利要求14所述的头戴式显示系统,其中,关于所述穿戴者的所述行为特征包括,在使用所述多个外部世界图像确定的所述多个眼睛图像中,由所述穿戴者的眼睛观看在零售店中的项目品牌或项目产品。
16.根据权利要求14所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
利用所述头戴式显示系统显示关于所获得的行为特征的第二同意请求。
17.根据权利要求16所述的头戴式显示系统,其中,所述硬件处理器被进一步编程为:
响应于接收到对关于所获得的行为特征的所述第二同意请求的响应,利用所述头戴式显示器显示第二多个生物测定交换报价,
其中,所述第二多个生物测定交换报价包括:
与关于来自电子目录的项目的生物测定信息相关联的报价,
与基于所述头戴式显示系统的所述穿戴者的位置的生物测定信息相关联的报价,
与所述头戴式显示系统的所述穿戴者的行为特征相关联的报价,或者
其任何组合。
18.根据权利要求1所述的头戴式显示系统,
其中,所述显示器被配置为向所述头戴式显示器的所述穿戴者显示所述同意请求,以及
其中,为了向所述穿戴者传输所述同意请求,所述硬件处理器被配置为使用所述显示器向所述穿戴者显示所述同意请求。
19.根据权利要求1所述的头戴式显示系统,其中,所述显示器被配置为向所述穿戴者呈现多个深度平面。
20.根据权利要求1所述的头戴式显示系统,其中,所述显示器被配置为向所述穿戴者呈现光场图像。
21.根据权利要求1所述的头戴式显示系统,其中,所述显示器包括多个堆叠的波导。
CN201780031396.8A 2016-03-22 2017-03-17 被配置为交换生物测定信息的头戴式显示系统 Active CN109154983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210698201.8A CN115032795A (zh) 2016-03-22 2017-03-17 被配置为交换生物测定信息的头戴式显示系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662311745P 2016-03-22 2016-03-22
US62/311,745 2016-03-22
PCT/US2017/023037 WO2017165231A1 (en) 2016-03-22 2017-03-17 Head mounted display system configured to exchange biometric information

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210698201.8A Division CN115032795A (zh) 2016-03-22 2017-03-17 被配置为交换生物测定信息的头戴式显示系统

Publications (2)

Publication Number Publication Date
CN109154983A true CN109154983A (zh) 2019-01-04
CN109154983B CN109154983B (zh) 2022-06-24

Family

ID=59898990

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210698201.8A Pending CN115032795A (zh) 2016-03-22 2017-03-17 被配置为交换生物测定信息的头戴式显示系统
CN201780031396.8A Active CN109154983B (zh) 2016-03-22 2017-03-17 被配置为交换生物测定信息的头戴式显示系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210698201.8A Pending CN115032795A (zh) 2016-03-22 2017-03-17 被配置为交换生物测定信息的头戴式显示系统

Country Status (10)

Country Link
US (2) US10867314B2 (zh)
EP (3) EP3779740B1 (zh)
JP (2) JP7233927B2 (zh)
KR (2) KR102504245B1 (zh)
CN (2) CN115032795A (zh)
AU (2) AU2017236782B2 (zh)
CA (1) CA3017795A1 (zh)
IL (2) IL292705B1 (zh)
NZ (1) NZ746117A (zh)
WO (1) WO2017165231A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12002073B2 (en) 2018-10-31 2024-06-04 Dwango Co., Ltd. Information display terminal, information transmission method, and computer program

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111204B (zh) 2014-09-29 2021-02-09 奇跃公司 用于从波导中输出不同波长光的架构和方法
CN104834852B (zh) * 2015-05-04 2018-07-13 惠州Tcl移动通信有限公司 一种移动终端基于高质量眼纹图像进行解锁的方法及系统
US10867314B2 (en) 2016-03-22 2020-12-15 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
WO2017196999A1 (en) 2016-05-12 2017-11-16 Magic Leap, Inc. Wavelength multiplexing in waveguides
CN110574099B (zh) * 2017-05-01 2022-07-12 安波福技术有限公司 基于头部跟踪的场序跳视分离减少
CA3006893C (en) * 2017-09-07 2023-01-10 The Toronto-Dominion Bank Digital identity network interface system
US10836403B2 (en) 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
EP3528172B1 (en) 2018-02-19 2023-12-27 Braun GmbH System for classifying the usage of a handheld consumer device
US10867218B2 (en) * 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
WO2020197537A1 (en) 2019-03-22 2020-10-01 Hewlett-Packard Development Company, L.P. Detecting eye measurements
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11537701B2 (en) * 2020-04-01 2022-12-27 Toyota Motor North America, Inc. Transport related n-factor authentication
DE102021108544A1 (de) * 2021-04-06 2022-10-06 Perfect-iD GmbH System zur nutzerseitig autorisierbaren Verarbeitung und Freigabe von nutzerattributbezogenen Daten an einen Anfrager
WO2023184039A1 (en) * 2022-04-01 2023-10-05 Lucid Inc. Method, system, and medium for measuring, calibrating and training psychological absorption

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100121227A1 (en) * 2006-01-09 2010-05-13 Applied Technology Holdings, Inc. Apparatus, systems, and methods for gathering and processing biometric and biomechanical data
US20110098928A1 (en) * 2009-09-04 2011-04-28 Nike, Inc. Monitoring and Tracking Athletic Activity
US20130286048A1 (en) * 2012-04-25 2013-10-31 Christian STERNITZKE Method and system for managing data in terminal-server environments
CN103455746A (zh) * 2013-09-10 2013-12-18 百度在线网络技术(北京)有限公司 头戴式显示设备
US20140118225A1 (en) * 2012-10-31 2014-05-01 Robert Jerauld Wearable emotion detection and feedback system
CN103843024A (zh) * 2012-01-05 2014-06-04 维萨国际服务协会 交易视觉捕获装置、方法和系统
US20140337634A1 (en) * 2013-05-08 2014-11-13 Google Inc. Biometric Authentication Substitute For Passwords On A Wearable Computing Device
US20140341441A1 (en) * 2013-05-20 2014-11-20 Motorola Mobility Llc Wearable device user authentication
US20150073907A1 (en) * 2013-01-04 2015-03-12 Visa International Service Association Wearable Intelligent Vision Device Apparatuses, Methods and Systems
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US20150235438A1 (en) * 2013-11-27 2015-08-20 Magic Leap, Inc. Using a display assembly for augmented or virtual reality
US20150326570A1 (en) * 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US20160019360A1 (en) * 2013-12-04 2016-01-21 Apple Inc. Wellness aggregator

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20050101841A9 (en) 2001-12-04 2005-05-12 Kimberly-Clark Worldwide, Inc. Healthcare networks with biosensors
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP2004171343A (ja) 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 個人情報の分散開示制御方法及びシステム
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
JP2009015449A (ja) * 2007-07-02 2009-01-22 Sony Corp 生体情報共有システム、生体情報表現装置、生体情報表現方法
JP5308747B2 (ja) 2008-09-03 2013-10-09 オリンパス株式会社 情報提示システム、プログラム及び情報記憶媒体
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
WO2012154620A2 (en) 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
EP3258671B1 (en) 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
BR112014012615A2 (pt) 2011-11-23 2017-06-13 Magic Leap Inc sistema de exibição de realidade aumentada e virtual tridimensional
US9063566B2 (en) * 2011-11-30 2015-06-23 Microsoft Technology Licensing, Llc Shared collaboration using display device
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
IL301489B1 (en) 2013-01-15 2024-04-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
KR20230113418A (ko) 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CN105829953B (zh) 2013-10-16 2019-05-28 奇跃公司 具有可调节的瞳距的虚拟或增强现实头戴设备
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10175478B2 (en) 2014-05-30 2019-01-08 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US20140324476A1 (en) 2013-12-19 2014-10-30 Jericho Systems Corporation Automated Patient Consent and Reduced Information Leakage Using Patient Consent Directives
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
KR101577751B1 (ko) * 2014-02-07 2015-12-15 주식회사 에스원 정보 관리를 위한 장치 및 방법
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10867314B2 (en) 2016-03-22 2020-12-15 Magic Leap, Inc. Head mounted display system configured to exchange biometric information

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100121227A1 (en) * 2006-01-09 2010-05-13 Applied Technology Holdings, Inc. Apparatus, systems, and methods for gathering and processing biometric and biomechanical data
US20110098928A1 (en) * 2009-09-04 2011-04-28 Nike, Inc. Monitoring and Tracking Athletic Activity
CN103843024A (zh) * 2012-01-05 2014-06-04 维萨国际服务协会 交易视觉捕获装置、方法和系统
US20130286048A1 (en) * 2012-04-25 2013-10-31 Christian STERNITZKE Method and system for managing data in terminal-server environments
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US20140118225A1 (en) * 2012-10-31 2014-05-01 Robert Jerauld Wearable emotion detection and feedback system
US20150073907A1 (en) * 2013-01-04 2015-03-12 Visa International Service Association Wearable Intelligent Vision Device Apparatuses, Methods and Systems
US20140337634A1 (en) * 2013-05-08 2014-11-13 Google Inc. Biometric Authentication Substitute For Passwords On A Wearable Computing Device
US20140341441A1 (en) * 2013-05-20 2014-11-20 Motorola Mobility Llc Wearable device user authentication
CN103455746A (zh) * 2013-09-10 2013-12-18 百度在线网络技术(北京)有限公司 头戴式显示设备
US20150235438A1 (en) * 2013-11-27 2015-08-20 Magic Leap, Inc. Using a display assembly for augmented or virtual reality
US20160019360A1 (en) * 2013-12-04 2016-01-21 Apple Inc. Wellness aggregator
US20150326570A1 (en) * 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12002073B2 (en) 2018-10-31 2024-06-04 Dwango Co., Ltd. Information display terminal, information transmission method, and computer program

Also Published As

Publication number Publication date
US10867314B2 (en) 2020-12-15
CA3017795A1 (en) 2017-09-28
WO2017165231A9 (en) 2018-01-25
JP2022078168A (ja) 2022-05-24
CN109154983B (zh) 2022-06-24
US11436625B2 (en) 2022-09-06
WO2017165231A1 (en) 2017-09-28
KR20210153151A (ko) 2021-12-16
JP7416552B2 (ja) 2024-01-17
IL261671A (en) 2018-10-31
IL292705B1 (en) 2024-06-01
AU2017236782B2 (en) 2021-01-28
AU2021202479A1 (en) 2021-05-20
IL292705A (en) 2022-07-01
EP3433707B1 (en) 2020-10-28
AU2021202479B2 (en) 2022-06-09
IL261671B (en) 2022-06-01
US20210073845A1 (en) 2021-03-11
EP3433707A1 (en) 2019-01-30
EP3433707A4 (en) 2019-10-02
CN115032795A (zh) 2022-09-09
JP7233927B2 (ja) 2023-03-07
US20170278122A1 (en) 2017-09-28
KR102338407B1 (ko) 2021-12-09
EP3779740B1 (en) 2021-12-08
JP2019512793A (ja) 2019-05-16
EP3979106A1 (en) 2022-04-06
EP3779740A1 (en) 2021-02-17
AU2017236782A1 (en) 2018-09-27
KR102504245B1 (ko) 2023-02-24
KR20180120274A (ko) 2018-11-05
NZ746117A (en) 2020-02-28

Similar Documents

Publication Publication Date Title
JP7416552B2 (ja) バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
US20190368868A1 (en) Method and system for generating a virtual user interface related to a totem
US20170115742A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US9612403B2 (en) Planar waveguide apparatus with diffraction element(s) and system employing same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant