CN107533600A - 用于跟踪生物特征数据的增强现实系统和方法 - Google Patents

Abstract

通过增强现实显示设备进行交易的方法包括：从用户捕获生物特征数据，至少部分地基于所捕获的生物特征数据确定用户的身份，以及基于所确定的身份来针对交易认证用户。

Description

用于跟踪生物特征数据的增强现实系统和方法

技术领域

本公开涉及用于利用生物特征数据促进通过增强现实(AR)设备进行的商业交易的系统和方法。

背景技术

现代计算技术和显示技术已经促进了用于所谓“虚拟现实”体验或者“增强现实”体验的系统的发展，其中，数字再现的图像或者其部分以看起来是真实或者可感知为真实的方式呈现给用户。虚拟现实“VR”场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界视觉输入并不透明。增强现实“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界的可视化的增强。

例如，参考图1，描绘了增强现实场景，其中，AR技术的用户看见以在背景中的人、树、建筑为特征的真实世界的公园状的设置以及实体平台1120。除了这些项以外，AR技术的用户也可以感知站在真实世界的平台1120上的机器人雕像1110，以及正在飞行的卡通式的头像角色2，即使这些元素(2、1110)在真实的世界中不存在。人类的视觉感知系统是非常复杂的，开发一项促进虚拟图像元素在其它虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富的呈现的增强现实场景是极具挑战的。

可以想象，这样的AR设备可以用于向用户呈现全部类型的虚拟内容。在一个或多个实施例中，AR设备可以在各种游戏应用的情况中使用，使用户能够参与模仿现实生活情况中的单人游戏或多人游戏视频/增强现实游戏。例如，不是在个人计算机上玩视频游戏，而是AR用户可以在非常接近于现实生活的情况下更大规模地玩游戏(例如，当AR用户正在公园散步时等，“依比例尺”的3D怪物可从后面的真实建筑物出现)。事实上，这大大提高了游戏体验的可信度和享受。

尽管图1示出了在游戏应用的情况中的AR设备的可能性，但是AR设备可以用在无数的其它应用中，并且可以预期取代日常计算设备(例如，个人计算机、手机、平板电脑设备等)。通过将虚拟内容战略性地放置在用户的视野中，AR设备可以被认为是步行的个人计算机，其允许用户执行各种计算任务(例如，检查电子邮件、在网络上查找术语、与其它AR用户进行电话会议、观看电影等)，同时被连接到用户的物理环境。例如，不是被约束在桌子处的物理设备，而是AR用户可以是“四处走”(例如，走路、每天通勤、除了他的/她的办公室以外的物理位置、远离他的/她的计算机等)，但是仍然能够提起虚拟电子邮件屏幕来检查电子邮件，例如，或者通过虚拟地填充AR设备上的屏幕与朋友进行视频会议，或者在另一示例中，能够在移位的位置处构建一个虚拟办公室。可以设想出大量类似的虚拟现实/增强现实场景。

潜在计算技术的性质的这种移位带来了其优势和挑战的共享。为了呈现诸如上述对人类视觉系统的生理限制敏感的增强现实场景，AR设备必须意识到用户的物理周围环境，以便投影关于用户物理环境中的一个或多个真实对象的期望的虚拟内容。为此，AR设备通常配备有各种跟踪设备(例如，眼睛跟踪设备、GPS等)、照相机(例如，视场照相机、红外照相机、深度照相机等)和传感器(例如，加速器、陀螺仪等)，以评估关于用户周围环境中的各种真实对象的用户的位置、方位、距离等，以检测和识别现实世界中的对象和其它此类功能。

鉴于AR设备被配置为跟踪关于AR用户及其周围环境的各种类型的数据，在一个或多个实施例中，可以有利地利用该数据来帮助用户进行各种类型的交易，同时确保从用户需要最小的输入，并且对用户的AR体验造成最小或不中断。

为了详细说明，传统的交易系统(金融或其它)通常要求用户物理上携带某种形式的货币令牌(例如，现金、支票、信用卡等)，并且在某些情况下，身份证明(例如，驾驶执照等)和认证(例如，签名等)参与业务交易。考虑用户走进百货公司：进行任何种类的购买，用户通常拿起物品、将物品放在购物车中、走到登记处、有秩序等待收银员、等待收银员扫描多个物品、检索信用卡、提供身份证明、签信用卡收据、以及存储收据以备将来返回物品。在传统的金融交易中，这些步骤尽管是必要的，但是耗时且低效，在某些情况下，阻止或禁止用户进行购买(例如，用户在他们的身上没有货币令牌或者身份证明等)。然而，在增强现实设备的背景下，这些步骤是冗余和不必要的。在一个或多个实施例中，AR设备可以被配置为允许用户无缝地执行许多类型的交易，而不需要用户执行上述繁重的过程。

因此，需要一种更好的解决方案来帮助AR用户参与日常交易。

发明内容

本发明的实施例涉及用于促进一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。

在一个方面中，通过增强现实设备进行交易的方法包括：从用户捕获生物特征数据，至少部分地基于所捕获的生物特征数据确定用户的身份，以及基于所确定的身份针对交易认证用户。

在一个或多个实施例中，该方法还包括将关于该交易的一组数据发送至金融机构。在一个或多个实施例中，生物特征数据是虹膜图案。在一个或多个实施例中，生物特征数据是用户的声音记录。在一个或多个实施例中，生物特征数据是视网膜签名(signature)。在一个或多个实施例中，生物特征数据是与用户皮肤相关联的特征。

在一个或多个实施例中，生物特征数据通过捕获用户眼睛的运动的一个或多个眼睛跟踪照相机来捕获。在一个或多个实施例中，生物特征数据是用户眼睛的运动的模式。在一个或多个实施例中，生物特征数据是用户眼睛的闪烁模式。

在一个或多个实施例中，增强现实设备是头戴式的，并且增强现实设备针对用户单独校准。在一个或多个实施例中，将生物特征数据与有关用户的预定数据进行比较。在一个或多个实施例中，预定数据是用户眼睛的已知的签名运动。

在一个或多个实施例中，预定数据是已知的虹膜图案。在一个或多个实施例中，预定数据是已知的视网膜图案。在一个或多个实施例中，该方法还包括：检测用户进行交易的期望，至少部分地基于检测到的期望来从用户请求生物特征数据，以及将生物特征数据与预定生物特征数据进行比较以生成结果，其中用户至少部分地基于结果来认证。

在一个或多个实施例中，交易是商业交易。在一个或多个实施例中，所述方法还包括将用户的认证通信到与用户相关联的金融机构，其中金融机构至少部分地基于该认证代表用户释放支付。在一个或多个实施例中，金融机构将支付发送到由用户指示的一个或多个供应商。

在一个或多个实施例中，该方法还包括检测与增强现实设备相关联的中断事件或交易事件。在一个或多个实施例中，从用户捕获新的生物特征数据，以便至少部分地基于检测到的事件来重新认证用户。在一个或多个实施例中，至少部分地基于从用户的头部移除增强现实设备来检测活动的中断。

在一个或多个实施例中，至少部分地基于增强现实设备与网络的连接性的损失来检测活动的中断。在一个或多个实施例中，至少部分地基于用户对交易的明确批准来检测交易事件。在一个或多个实施例中，至少部分地基于与用户的凝视相关联的热图来检测交易事件。

在一个或多个实施例中，至少部分地基于通过增强现实设备接收的用户输入来检测交易事件。在一个或多个实施例中，用户输入包括眼睛姿态。在一个或多个实施例中，用户输入包括手势。

在另一方面中，增强现实显示系统包括：生物特征数据跟踪设备以从用户捕获生物特征数据，可操作地耦合到生物特征数据跟踪设备的处理器以处理所捕获的生物特征数据，并至少部分地基于所捕获的生物特征数据确定用户的身份，以及与至少金融机构进行通信的服务器以认证交易的用户。

在一个或多个实施例中，生物特征数据是眼睛运动数据。在一个或多个实施例中，生物特征数据对应于用户的虹膜的图像。在一个或多个实施例中，服务器还向金融机构发送关于交易的一组数据。在一个或多个实施例中，生物特征数据是虹膜图案。

在一个或多个实施例中，生物特征数据是用户的声音记录。在一个或多个实施例中，生物特征数据是视网膜签名。在一个或多个实施例中，生物特征数据是与用户皮肤相关联的特征。在一个或多个实施例中，生物特征跟踪设备包括一个或多个眼睛跟踪照相机以捕获用户眼睛的运动。在一个或多个实施例中，生物特征数据是用户眼睛的运动的模式。

在一个或多个实施例中，生物特征数据是用户眼睛的闪烁模式。在一个或多个实施例中，增强现实显示系统是头戴式的，并且增强现实显示系统对于用户被单独地校准。在一个或多个实施例中，处理器还将生物特征数据与有关用户的预定数据进行比较。在一个或多个实施例中，预定数据是用户眼睛的已知签名运动。在一个或多个实施例中，预定数据是已知的虹膜图案。在一个或多个实施例中，预定数据是已知的视网膜图案。在一个或多个实施例中，处理器检测到用户期望进行交易，并且还包括用户界面，用于至少部分地基于检测来从用户请求生物特征数据，处理器将生物特征数据与预定生物特征数据进行比较，并至少部分地基于比较来认证用户。

在一个或多个实施例中，交易是商业交易。在一个或多个实施例中，处理器将用户的认证通信到与用户相关联的金融机构，并且其中金融机构至少部分地基于认证来表用户释放支付。在一个或多个实施例中，金融机构将支付发送到用户指示的一个或多个供应商。

在一个或多个实施例中，处理器检测与增强现实设备相关联的中断事件或交易事件，并且其中生物特征跟踪设备从用户捕获新的生物特征数据，以便至少部分地基于检测到的事件来重新认证用户。在一个或多个实施例中，至少部分地基于从用户的头部移除增强现实设备来检测活动的中断。

在一个或多个实施例中，至少部分地基于增强现实设备与网络的连接性的损失来检测活动的中断。在一个或多个实施例中，至少部分地基于用户对交易的明确批准来检测交易事件。在一个或多个实施例中，至少部分地基于与用户的凝视相关联的热图来检测交易事件。在一个或多个实施例中，至少部分地基于通过增强现实设备接收的用户输入来检测交易事件。在一个或多个实施例中，用户输入包括眼睛姿态。在一个或多个实施例中，用户输入包括手势。

在一个或多个实施例中，生物特征跟踪设备包括眼睛跟踪系统。在一个或多个实施例中，生物特征跟踪设备包括触觉设备。在一个或多个实施例中，生物特征跟踪设备包括测量与用户眼睛有关的生理数据的传感器。

在详细描述、附图和权利要求中描述了本发明的附加和其它目的、特征和优点。

附图说明

附图示出了本发明的各种实施例的设计和应用。应当注意，附图没有按照比例进行绘制，并且相似结构或功能的元件在全部附图中用相似的参考标记表示。为了更好的理解如何获得本发明的各种实施例的上述内容和其它优点以及目的，以上简要描述的本发明的更详细描述将通过参考其具体实施例来显现，所述具体实施例在附图中示出。需要理解，这些附图仅描绘了本发明的典型实施例，因此并不能认为限制它的范围，本发明将通过使用附图用附加特征和细节来描述和解释，在附图中：

图1示出了向用户显示的示例增强现实场景。

图2A-2D示出了示例增强现实设备的各种配置。

图3示出了根据一个实施例的与云中的一个或多个服务器通信的增强现实设备。

图4A-4D示出了为了为特定用户配置增强现实设备而采取的各种眼睛和头部测量。

图5示出了根据一个实施例的增强现实设备的各种部件的平面图。

图6示出了根据一个实施例的用于进行商业交易的增强现实系统的系统架构。

图7是描绘用于通过增强现实设备进行商业交易的方法的示例性流程图。

图8A和8B示出了根据一个实施例的用于识别用户的示例性眼睛识别方法。

图9示出了根据一个实施例的描绘使用眼睛运动来认证用户的方法的示例性流程图。

图10A-10I示出了描绘使用增强现实设备进行商业交易的示例场景的一系列处理流程图。

具体实施方式

本发明的各种实施例涉及用于在单个实施例中或在多个实施例中实现电子电路设计的多场景物理感知设计的方法、系统和制品。在详细描述、附图和权利要求中描述了本发明的其它目的、特征和优点。

现将参考附图详细描述各种实施例，其作为本发明的示例性示例而提供，以使得本领域技术人员能够实现本发明。值得注意的是，以下附图和示例并不意味着限制本发明的范围。在使用已知的组件(或方法或过程)可以部分或全部实现本发明的特定元件的情况下，将仅描述对理解本发明所需要的这种已知组件(或方法或过程)的那些部分，并且这种已知组件的其它部分的详细描述将被省略以便不会混淆本发明。进一步地，各种实施例通过说明的方式包含与在此涉及的组件等同的现在和未来已知的等同物。

公开了用于跟踪与AR用户相关联的生物特征数据并利用生物特征数据来协助商业交易的方法和系统。在一个或多个实施例中，AR设备可以利用眼睛识别技术(例如，虹膜图案、眼睛聚散、眼睛运动、锥体和杆的图案、眼睛运动中的模式(pattern)等)来认证针对购买的用户。有利地，这种类型的用户认证最小化进行商业交易中的摩擦成本，并允许用户以最小的努力和/或中断无缝地进行购买(例如，实体店、在线商店、响应于广告等)。虽然以下公开将主要关注基于与眼睛相关的生物特征数据的认证，但是应当理解，在其它实施例中也可以将其它类型的生物特征数据类似地用于认证目的。将在下面描述的各种实施例讨论在增强现实(AR)系统的背景下进行商业的新范例，但是应当理解，在此公开的技术可以独立于任何现有和/或已知的AR系统来使用。因此，下面讨论的示例仅仅是为了举例的目的，本发明不应当理解为限制于AR系统。

参考图2A-2D，示出了一些一般的组件选项。在图2A-2D的讨论之后的详细描述的部分中，呈现了各种系统、子系统和组件，用于解决为人类VR和/或AR提供高质量、舒适感知的显示系统的目的。

如图2A所示，AR系统用户60被描绘为穿戴着框架64结构，其耦接到位于用户的眼睛前方的AR显示系统62。在所描绘的配置中，扬声器66耦接到框架64并且位于邻近用户的耳道(在一个实施例中，另一个扬声器未示出，位于邻近用户的另一个耳道以提供立体的/可成形的声音控制)。显示器62可以例如通过有线导线或无线连接可操作地耦接到本地处理和数据模块70，本地处理和数据模块70可以以各种配置来安装，诸如固定地附接到框架64，固定地附接到如图2B的实施例所示的头盔或帽子80，嵌入头戴式耳机中，以如图2C的实施例所示的背包式配置中可拆卸地附接到用户60的躯干82，或者如图2D的实施例所示的皮带耦接式配置中可拆卸地附接到用户60的臀部84。

本地处理和数据模块70可以包括低功耗处理器或控制器以及诸如闪速存储器的数字存储器，它们都可以用于协助以下数据的处理、缓存和存储：(a)从可操作地耦接到框架64的传感器捕获的数据，该传感器诸如图像捕获设备(诸如照相机)、麦克风、惯性测量单元、加速器、指南针、GPS单元、无线电设备、和/或陀螺仪；和/或(b)使用远程处理模块72和/或远程数据库74来获得和/或处理的数据，在这样的处理或检索之后可能用于传送到显示器62。本地处理和数据模块70可诸如通过有线或无线通信链路可操作地将(76、78)耦接到远程处理模块72和远程数据库74，以使得这些远程模块(72、74)彼此可操作地耦接并作为对于本地处理和数据模块70的可用资源。

在一个实施例中，远程处理模块72可包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。在一个实施例中，远程数据库74可包括相对大规模的数字数据存储设施，其可通过因特网或在“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块中存储全部数据并执行全部计算，允许完全自主的使用而没有任何远程模块。

如参考图2A-2D所描述的，AR系统连续地接收来自各种设备的输入，各种设备收集关于AR用户和周围环境的数据。现在参考图3，将描述示例增强现实显示设备的各种部件。应当理解，其它实施例可以具有附加的部件。然而，图3提供了各种部件以及可由AR系统收集的数据类型的基本思想。

现在参考图3，示意性示出了云计算资产46和本地处理资产(308、120)之间的协调。在一个实施例中，云46资产可操作地耦接，经由诸如有线或无线网络(优选用于移动性的无线，优选用于可能需要的某些高带宽或高数据量传输的有线)，直接到本地计算资产(120、308)的一个或两个(40、42)，诸如处理器和存储器配置，其可以被容纳在被配置为耦接到用户的头戴式设备120或皮带308的结构中。本地用户的这些计算资产也可以经由有线和/或无线连接配置44可操作地耦接到彼此。在一个实施例中，为了保持头戴式子系统120的低惯性和小尺寸，用户和云46之间的主要传送可以经由基于皮带的子系统308和云之间的链路，其中头戴式子系统120主要使用无线连接数据系链到基于皮带子系统308，无线连接诸如超宽带(“UWB”)连接，例如目前在个人计算外围连接应用中采用的。通过云46，AR显示系统120可以与云中托管的一个或多个AR服务器110进行交互。各种AR服务器110可以具有允许服务器110彼此通信的通信链路115。

通过有效的本地和远程处理协调，以及用于用户的适当的显示设备，诸如用户界面或用户显示设备或其变体，与用户的当前实际或虚拟位置相关的一个世界的方面可以被传送或“传递”给用户并以有效的方式更新。换句话说，在可能部分存在于用户的AR系统上并且部分存在于云资源中的存储位置处不断地更新世界的地图。地图(map)(也称为“可通行的世界模型”)可以是包括光栅图像、3-D和2-D点、参数信息以及关于真实世界的其它信息的大型数据库。随着越来越多的AR用户不断地捕获关于它们的真实环境的信息(例如，通过照相机、传感器、IMU等)，地图变得越来越准确。

与当前公开更相关的，AR系统类似于图2A-2D中描述的这些AR系统，提供对用户眼睛的唯一访问，其可以有利地用于基于通过AR系统跟踪的一组生物特征数据来唯一地识别用户。这种无前例的对用户眼睛的访问自然地适用于各种应用。鉴于AR设备与用户的眼睛至关重要的相互作用，以允许用户感知3D虚拟内容，并且在许多实施例中，跟踪与用户的眼睛(例如，眼睛聚散、眼睛运动、锥体和杆、眼睛运动的模式等)相关的各种生物特征，所得到的跟踪数据可有利地用于对于各种交易的用户识别和认证，如将在下面进一步详细描述的。

AR设备通常适于特定用户的头部，并且光学部件对齐到用户的眼睛。可以使用这些配置步骤以便确保向用户提供最佳的增强现实体验，而不会引起任何生理上的副作用，诸如头痛、恶心、不适等。因此，在一个或多个实施例中，AR设备对于每个个体用户进行(物理上和数字上)配置，并且可以专门为用户进行校准。在其它情况下，松散装配的AR设备可以被各种用户舒适地使用。例如，在一些实施例中，AR设备知道用户的眼睛之间的距离、头戴式显示器与用户的眼睛之间的距离、用户的眼睛之间的距离、以及用户的前额的曲率。全部这些测量可用于提供对于给定用户的合适的头戴式显示系统。在其它实施例中，可能不需要这种测量，以便执行在本申请中描述的识别和认证功能。

例如，参考图4A-4D，可以为每个用户定制AR设备。如图4A所示，在一个或多个实施例中，当安装头戴式AR系统时，可以考虑用户的头部形状402。类似地，如图4B所示，眼睛部件404(例如，光学元件、用于光学元件的结构等)可以为了用户的舒适而水平和垂直地旋转或调整，或者为了用户的舒适而旋转。在一个或多个实施例中，如图4C所示，头戴耳机相对于用户的头部的旋转点406可以基于用户头部的结构来调整。类似地，如图4D所示，可以补偿瞳孔间距(IPD)408(即，用户的眼睛之间的距离)。

有利地，在用户识别和认证的情况下，头戴式AR设备的这个方面是至关重要的，因为系统已经具有关于用户的物理特征的一组测量(例如，眼睛尺寸、头部尺寸、眼睛之间的距离等)，以及可用于容易地识别用户的其它数据，并允许用户完成一个或多个商业交易。此外，AR系统可以容易地能够检测何时AR系统正在被不同的AR用户的佩戴，除了授权使用AR系统的用户之外。这样允许AR系统不断监控用户的眼睛，从而根据需要了解用户的身份。

除了对用户执行的各种测量和校准之外，AR设备可以被配置为跟踪关于用户的一组生物特征数据。例如，系统可以跟踪眼睛运动、眼睛运动模式，闪烁模式、眼睛聚散、眼睛颜色、虹膜图案、视网膜图案、疲劳参数、眼睛颜色的变化、焦距的变化以及许多其它参数，其可以用于向用户提供光学增强现实体验。

参考图5，示出了合适的用户显示设备62的一个简化实施例，其包括可以通过外壳或框架108安装到用户的头部或眼睛的显示器透镜106。显示透镜106可以包括一个或多个透明反射镜，透明反射镜由外壳108定位在用户的眼睛20的前面，并被配置为将投射光38反射到眼睛20中，并且有助于光束整形，同时还允许透射来自当地环境的至少一些光。在所描绘的实施例中，两个宽视场机器视觉照相机16耦接到外壳108以对用户周围的环境成像；在一个实施例中，这些照相机16是双重捕获可见光/红外光照相机。

所描绘的实施例还包括一对扫描激光整形波前(shaped-wavefront)(即，用于深度)光投影仪模块18(例如，诸如DLP的空间光调制器、光纤扫描设备(FSD)、LCD等)，如图所示具有被配置为将光38投射到眼睛20中的显示反射镜和光学元件。所描绘的实施例还包括与红外光源26(诸如发光二极管“LED”)配对的两个微型红外照相机24，其被配置为能够跟踪用户的眼睛20以支持渲染和用户输入。显示系统62还具有传感器组件39的特征，传感器组件39可以包括X、Y和Z轴加速器能力和磁罗盘以及X、Y和Z轴陀螺仪能力，优选地以相对高的频率(诸如200Hz)提供数据。所描绘的系统62还包括诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)和/或ARM处理器(高级精简指令集机器)的头部姿势处理器36，其可被配置为根据从捕获设备16输出的宽视场图像信息来计算实时或接近实时的用户头部姿势。头部姿势处理器36可操作地耦接(90、92、94；例如经由有线或无线连接)到照相机16和渲染引擎34。

还示出了另一处理器32，其被配置为执行数字和/或模拟处理以根据来自传感器组件39的陀螺仪、罗盘和/或加速器数据来得出姿势。所描绘的实施例还具有GPS 37子系统的特征，以协助姿势和定位。

最后，所描绘的实施例包括渲染(rendering)引擎34，其可以具有运行软件程序的硬件的特征，该软件程序被配置为向用户提供渲染信息局部(local)，以便于扫描器的操作和成像进入用户的眼睛，以用于用户观察世界。渲染引擎34可操作地耦接(105、94、100/102、104，即，经由有线或无线连接)到传感器姿势处理器32、图像姿势处理器36、眼睛跟踪照相机24、和投影子系统18，以使得以与视网膜扫描显示类似的方式，使用扫描激光装置18来投影所渲染的光38。投影光束38的波前可以被弯曲或聚焦以与投影光38的所需焦距一致。

微型红外照相机24可以用于跟踪眼睛以支持渲染和用户输入(例如，用户正在观察哪，他正在聚焦的深度；如下所述，眼睛聚散可用于估计聚焦的深度。)GPS 37、陀螺仪、罗盘和加速器39可用于提供粗略和/或快速姿势估计。结合来自相关联的云计算资源的数据，照相机16图像和姿势数据可用于映射(map)本地世界并与虚拟或增强现实社区共享用户观察。

图5中具有的显示系统62中的大部分硬件被描绘为直接耦接到与显示器106和用户的眼睛20相邻的外壳108，所描绘的硬件部件可以被安装到其它部件或放在其它部件内，诸如皮带安装部件70，例如在图2D中所示。

在一个实施例中，图5中具有的系统62的全部部件被直接耦接到显示外壳108，除了图像姿势处理器36、传感器姿势处理器32和渲染引擎34之外，并且后者三个和系统的其余部件之间的通信可以是通过诸如超宽带的无线通信或有线通信。所描绘的外壳108优选地被用户头戴和佩戴。它还可以具有扬声器，例如可以插入到用户的耳朵中并用于向用户提供声音的扬声器。

已经描述了标准AR设备的主要部件，应当理解，AR设备可以包括被配置为从用户和他/她的周围环境收集数据的许多部件。例如，如上所述，AR设备的一些实施例收集GPS信息以确定用户的位置。在其它实施例中，AR设备包括用于跟踪用户的眼睛的红外照相机。在其它实施例中，AR设备可以包括用于捕获用户环境的图像的视场照相机，其可以反过来被用于构建用户的物理空间的地图(包含在服务器110的一个服务器中，如图3所描述)，这允许系统相对于适当的现实生活对象渲染虚拟内容，如关于图3简要描述的。

关于光38投射到用户的眼睛20中，在一个实施例中，微型照相机24可用于测量用户眼睛20的中心在几何上接近(verge)到哪里，其一般与眼睛20的聚焦的位置或“聚焦的深度”一致。眼睛接近到的全部点的三维表面被称为“双眼单视界(horopter)”。焦距可以呈现有限数量的深度，或者可以是无限变化的。从聚散距离投射的光看起来像聚焦于被对象眼睛20，而在聚散距离之前或之后的光是模糊的。

此外，已经发现，不管眼睛聚焦哪里，具有小于约0.7毫米的光束直径的空间相干光被人类眼睛正确地分辨；鉴于这种理解，为了产生适当焦点深度的幻觉，可以利用微型照相机24跟踪眼睛聚散，并且渲染引擎34和投影子系统18可用于渲染焦点中的双眼单视界上或靠近双眼单视界的全部对象，并且全部其它对象在不同程度的散焦(即，使用故意产生的模糊)。配置成将相干光投射到眼睛中的透明光导光学元件可由诸如Lumus，Inc供应商提供。优选地，系统62以约60帧/秒或更大的帧速率渲染给用户。如上所述，优选地，微型照相机24可以用于眼睛跟踪，并且软件可以被配置为不仅拾取聚散几何，而且可以将焦点位置提示用作用户输入。优选地，这样的系统被配置为适于白天或夜间使用的亮度和对比度。

在一个实施例中，这样的系统优选地具有小于约20毫秒的视觉对象对准、小于约0.1度的角度对准、以及约1弧分钟的分辨率的延迟，其大约是人类眼睛的极限。显示系统62可以与定位系统集成，定位系统可以涉及GPS元件、光学跟踪、指南针、加速器和/或其它数据源，以协助位置和姿势确定；可以利用定位信息来促进相关世界的用户视野的准确渲染(即，这样的信息将促进眼镜知道他们相对于现实世界在哪)。已经描述了AR设备的一般部件，下面将讨论与用于进行商业交易的用户识别和认证特别相关的附加实施例。

如上面详细讨论的，用于进行商业交易的传统模式趋向于无效率且繁重，并且通常具有阻止用户参与交易的效果。例如，考虑百货公司的用户。在传统模式中，用户需要物理地去商店、选择物品、排队、等待收银员、提供付款信息和/或身份证明、以及授权付款。即使是在线购物，其可能不那么麻烦，但是带来了它的共享缺点。虽然用户不必在物理上位于商店位置处并且可以容易地选择感兴趣的物品，但付款仍然经常需要信用卡信息和认证。然而，随着AR设备的出现，传统的付款模式(例如，现金、信用卡、货币令牌等)可呈现为不必要的，因为AR设备可以容易地确认用户的身份并认证商业交易。

例如，AR用户可以悠闲地漫步到零售商店并且拾取物品。AR设备可以确认用户的身份，确认用户是否想要进行购买，并且简单地走出商店。在一个或多个实施例中，AR设备可以与将基于所确认的购买将钱从用户账户转移到与零售商店相关联的账户的金融机构进行交互。或者，在另一示例中，AR用户可以观看特定品牌鞋的广告。用户可以通过AR设备来指示用户想要购买鞋。AR设备可以确认用户的身份，并认证购买。在后端，可以在该品牌鞋的零售商处下订单，并且零售商可以简单地将一双所期望的鞋运送给用户。如上述示例所示，由于AR设备“知道”用户的身份(并且AR设备通常针对每个个体用户来构建和定制)，所以金融交易易于认证，从而大大降低了通常与进行商业相关联的摩擦成本。

更具体地，在一个或多个实施例中，为了隐私和安全目的，AR设备可以周期性地执行用户的识别测试。如上面详细讨论的，尽管AR设备通常为每个用户定制，但是为了安全目的，特别是在进行商业交易的情况下，或者为了隐私目的以确保AR设备未被未知用户使用并且被链接到云上的AR用户的账户，这种用户的周期性识别和认证是必要的。该申请描述了用于为金融/商业交易确保安全性的系统和方法，在这种情况下，用户识别和认证至关重要。类似地，这些步骤同样重要以确保用户隐私。事实上，可以在通过AR设备打开任何个人/私人用户账户(例如，电子邮件、社交网络、金融账户等)之前使用这些识别步骤。

本申请中描述的其它实施例可以在防盗管理的情况下使用。例如，AR设备可以识别用户以确保AR设备没有被盗窃。如果AR设备检测到未知用户，则AR设备可以立即将捕获的关于用户的信息和AR设备的位置发送到AR服务器。或者，在其它实施例中，如果检测到AR设备被未识别的某人使用，则AR设备可以完全关闭并自动删除AR设备的存储器中的全部内容，以使得没有机密信息被泄露或滥用。这些安全措施可以防止AR设备的盗窃，因为AR设备能够捕获关于AR设备的佩戴者的许多类型的信息。

在一个或多个实施例中，下面描述的实施例可以使AR设备能够远程操作购物机器人。例如，一旦AR设备的用户已经被识别，AR设备可以通过特定商店或特许经营的网络连接到购物机器人，并且与购物机器人通信交易。因此，一旦用户被认证，即使用户没有物理地在商店中，AR设备可以通过代理进行交易。类似地，可以设想许多其它安全和/或隐私应用。

通过跟踪的生物特征数据存在执行识别的许多方法。在一个实施例中，跟踪的生物特征数据可以是眼睛相关的生物特征数据，诸如眼睛运动中的模式、虹膜图案、眼睛聚散信息等。实质上，而不是要求用户记住密码，或呈现某种类型的识别/验证，AR设备通过使用跟踪的生物特征数据自动验证身份。鉴于AR设备具有对用户眼睛的不断访问，预期所跟踪的数据将提供关于用户身份的高度准确和个人的信息，其可被认为是唯一的用户签名。在探索跟踪生物特征数据的不同方法的细节，并使用跟踪的生物特征数据来认证用户之前，将提供与一个或多个外部实体(例如，金融机构、供应商等)进行交互的AR设备的系统架构。

现在参考图6，示出了整体AR系统架构。AR系统架构包括头戴式AR设备62、AR设备62的本地处理模块660、网络650、AR服务器612、金融机构620和一个或多个供应商(622A、622B等)。

如上所述(参考图5)，头戴式AR设备62包括许多子部件，其中一些子部件被配置为捕获和/或跟踪与用户和/或用户的周围环境相关联的信息。更具体地，在一个或多个实施例中，头戴式AR设备62可以包括一个或多个眼睛跟踪照相机。眼睛跟踪照相机可以跟踪用户的眼睛运动、眼睛聚散等。在另一个实施例中，眼睛跟踪照相机可以被配置为捕获用户的虹膜的图片。在其它实施例中，头戴式AR设备62可以包括被配置为捕获其它生物特征信息的其它照相机。例如，相关联的照相机可以被配置为捕获用户的眼睛形状的图像。或者，在另一个示例中，照相机(或其它跟踪设备)可以捕获关于用户的眼睛睫毛的数据。所跟踪的生物特征信息(例如，眼睛数据、眼睛睫毛数据、眼睛形状数据、眼睛运动数据、头部数据、传感器数据、声音数据、指纹数据等)可以被发送到本地处理模块660。如图2D所示，在一个或多个实施例中，本地处理模块660可以是AR设备62的皮带包的一部分。或者，在其它实施例中，本地处理模块可以是头戴式AR设备62的外壳的一部分。

如图6所示，用户680的头戴式AR设备62与本地处理模块660接口以提供捕获的数据。在一个或多个实施例中，本地处理模块660包括使得AR系统能够执行各种计算任务的处理器664和其它部件652(例如，存储器、电源、遥测电路等)。对于本公开的重要内容，本地处理模块660还可以包括识别模块614，用于基于由头戴式AR设备62的一个或多个跟踪设备所跟踪的信息来识别用户。

在一个或多个实施例中，识别模块614包括数据库652以存储用于识别和/或认证用户的一组数据。例如，在所示实施例中，数据库652包括可以存储一组预定数据和/或预定认证细节或模式(pattern)的映射表670。在一个或多个实施例中，捕获的数据可以与存储在映射表670中的预定数据进行比较，以确定用户680的身份。类似地，数据库652可以包括用于执行用户680的识别/认证的其它数据。在一个或多个实施例中，数据库652可以存储一个或多个眼睛测试以验证用户的身份，如下面将进一步详细描述的。

在一个或多个实施例中，本地处理模块660通过云网络650与AR服务器612进行通信。尽管图6中未示出，AR服务器612包括许多部件/电路，其对于提供真实的增强现实体验给用户680至关重要。简而言之，AR服务器612包括物理世界的地图690，其被AR设备62的本地处理模块660经常查阅以渲染与现实世界的物理对象相关的虚拟内容。因此，AR服务器612建立于通过许多用户捕获的信息，以构建不断增长的现实世界的地图690。在其它实施例中，AR服务器612可以简单地主管(host)可由第三方构建和维持的地图690。

在一个或多个实施例中，AR服务器612还可以主管个人用户的账户，其中用户的隐私捕获数据被引导。在一个或多个实施例中，该捕获的数据可以存储在数据库654中。在一个或多个实施例中，数据库654可以存储用户信息610、关于用户680的历史数据615、用户偏好616和其它实体认证信息618。实际上，AR系统的其它实施例可以包括许多对于用户个人的其它类型信息。在一个或多个实施例中，用户信息610可以包括一组个人履历信息(例如，姓名、年龄、性别、地址、位置等)。

关于用户680的历史数据615可以表示由用户执行的先前购买和/或交易。在一个或多个实施例中，用户偏好616可以包括关于用户的一组兴趣(例如，购物、活动、旅行等)和/或购买偏好(例如，配件、感兴趣的品牌、购物类别等)。在一个或多个实施例中，AR用户的行为数据可用于通知系统用户的偏好和/或购买模式。其它实体认证信息618可以表示用户的认证证书，以验证用户已经被成功认证以访问外部账户(例如，银行认证信息、各种网站的账户认证信息等)。

在一个或多个实施例中，可以分析通过AR设备62捕获的数据、通过过去活动跟踪的数据、与用户相关联的商业数据等，以识别模式和/或理解用户的行为。这些功能可以在一个或多个实施例中以隐私和安全敏感的方式由第三方执行。

数据库654还可以存储其它实体认证信息618，其允许AR服务器612与对于用户特定的金融机构和/或第三方实体通信。例如，其它实体认证信息618可以表示用户的银行信息(例如，银行名称、账户信息等)。该信息反过来可用于与金融信息、第三方实体、供应商等通信。

在一个或多个实施例中，AR服务器612可以与一个或多个金融机构620通信以便完成交易。金融机构可具有用户的金融信息。在一个或多个实施例中，出于安全目的，金融机构可执行用户认证信息的第二次验证。一旦用户被认证，AR服务器612可以被认证以与金融机构620通信。如果用户被认证用于特定购买商品630，一旦用户已经被认证，则金融机构620可以直接与一个或多个供应商(622A、622B等)通信以直接将钱发送给供应商。在其它实施例(未示出)中，AR服务器612可以直接与供应商通信，以通信关于一个或多个购买的数据。

应当理解，在一些实施例中，用户680可能不需要连接到AR服务器612以进行一个或多个金融交易。例如，在一些实施例中，AR设备62可以允许多个电子商务网站等的“离线浏览”，并且用户680可以能够通过离线ID选择一个或多个感兴趣的商品。金融机构620或供应商622可以具有为该特定交易创建的随机数生成器，一旦AR设备62连接到网络650，该随机数生成器可以稍后被验证。换句话说，即使AR设备62不连接到AR服务器，系统可以离线验证交易，然后使用附加信息(例如，随机生成的数)以在以后验证购买。即使用户当前没有连接到AR服务器612和/或金融机构或供应商，这允许AR设备62参与必要的商业交易。

在一个或多个实施例中，供应商(622A、622B等)可以具有与AR服务器612和/或金融机构620预先建立的关系，该关系使得能够通过AR设备62进行购买的这种新的范例。应当理解，上述实施例仅为了说明的目的而提供，并且其它实施例可以包括更多或更少的部件。

现在参考图7，提供了通过AR设备62进行商业交易的示例流程图。在702，可以接收关于交易的输入。例如，用户可以明确地指示(例如，通过命令、姿势等)购买商品的兴趣。在其它实施例中，AR系统可以基于过去的购买、用户兴趣等向AR用户建议购买，并且从用户接收确认。在其它实施例中，AR系统可以基于各种商品的“热图”来评估兴趣。为了详细说明，因为AR设备62知道用户正在观看哪里，以及多长时间，AR设备62可以能够确定用户已经观看各种虚拟和/或现实对象多长时间，以便确定用户对商品的兴趣。例如，如果用户正在观看特定品牌的虚拟广告，则AR设备62可以通过确定用户已经观看特定产品多长时间来估计用户的兴趣。在一个或多个实施例中，AR系统可以基于一个或多个用户观看特定产品多长时间来生成热图。如果热图指示对特定产品的兴趣(例如，观看特定商品花费的时间量超过预定阈值时间量)，则AR设备62可以向AR用户请求关于购买产品的确认。

在704，AR设备62可以执行用户识别协议。可以存在许多类型的用户识别协议，如下面将进一步详细描述的。在一个或多个实施例中，AR设备62可以简单地基于眼睛运动来请求“密码”，以确定用户是否被验证。在另一个实施例中，AR设备62可以捕获用户虹膜的图片，并且确认用户是否是AR设备62的有效用户(以及链接到AR设备62的账户)。在另一个实施例中，AR设备62可以监控剩余在用户头部上的AR设备62的连续性(例如，如果用户根本没有移除AR设备62，则用户很可能是相同的)。在一个或多个实施例中，AR设备62可以基于用户识别协议周期性地捕获虹膜图像，或周期性地执行测试以确保用户是AR设备62的验证用户。正如在此所讨论的，存在许多方法以通过生物特征数据识别用户，下面将进一步描述一些示例性方法。

在一些实施例中，识别协议可以是用户的常规(constant)识别(例如，眼睛的运动模式、与皮肤接触等)。在其它实施例中，识别协议可以简单地是一次识别(通过任何识别方法)。因此，在一些实施例中，一旦AR系统已经识别用户一次，除非发生介入事件(例如，用户移除AR设备62、网络连接中断等)，否则不需要识别相同的用户。在705，AR设备62可以确定识别协议是否需要捕获生物特征数据。如果用户协议需要捕获生物特征数据，则AR设备可以捕获生物特征数据。否则，AR设备62可以通过非生物识别捕获识别方法进行识别用户。

在706，基于用户识别协议，可以捕获生物特征数据。例如，如果用户识别协议是眼睛测试以检测已知模式，则AR设备62可以通过一个或多个眼睛跟踪照相机跟踪用户的眼睛运动。捕获的运动可以与“密码”或签名眼睛运动相关联，以确定用户是否被验证。或者，如果用户识别协议是虹膜捕获，则可以捕获虹膜的图像，并且与用户的已知图像相关联。或者，每次AR用户穿戴AR设备62时，可以执行虹膜捕获或眼睛测试以验证用户的身份。应当理解，生物特征数据在一些实施例中可以是眼睛相关的，或者可以是其它类型的生物特征数据。例如，在一个或多个实施例中，生物特征数据可以是声音。在一个或多个实施例中，生物特征数据可以是眼睛睫毛相关数据或眼睛形状数据。可以使用可以用于唯一地识别超过其它用户的用户的任何类型的生物特征数据。

在708，可以将生物特征数据与预定用户识别数据比较，以识别用户。或者，如果用户识别不要求生物特征数据，则AR设备62可确定，例如，该用户还没有取下AR设备62，因此指示用户与先前识别的用户是相同的。如果用户被识别，则AR设备62进行到710并将信息发送到一个或多个金融机构。

如果用户未被识别，则AR设备62可以执行另一用户识别协议，或者阻止用户进行交易。如果用户被识别，则在710处，关于所期望的商品的数据可被发送至云，以及至金融机构。例如，下面的上述示例，关于所期望的鞋(例如，产品号、期望的数量、关于用户的信息、运送地址、用户账户等)的信息可以与供应商和/或金融机构进行通信。

在712，AR系统可以从金融机构接收支付完成和/或授权的确认。在714，可以向用户显示确认消息以确认购买已经完成。

如上所述，在一个或多个实施例中，为验证目的(用于金融交易和其它目的)识别用户的一种方法是通过周期性地管理用户识别测试。在一个或多个实施例中，用户识别方法可以利用眼睛相关数据来完成用户识别测试。因为AR设备62配备有持续跟踪用户的眼睛运动的眼睛跟踪照相机，所以已知的眼睛运动模式可用作眼睛测试来识别和/或识别用户。例如，虽然密码可容易地被复制或被盗，但是可能难以复制其它用户的眼睛运动或其它生理特征，从而更容易识别AR设备62的非授权用户。

在一个或多个实施例中，在AR设备62的建立期间，系统可以利用用户的输入来配置对于用户唯一的已知的眼睛运动模式(即，类似于眼睛密码)。可以在每次执行用户识别协议时存储和关联这种已知的眼睛运动模式。

现在参考图8A和8B的实施例800，提供用户眼睛804的示例眼睛模式802。如图8A所示，AR设备806可以通过眼睛跟踪照相机(未示出)跟踪用户的眼睛运动，并且将模式与已知的眼睛运动模式(即，眼睛密码)关联。如果眼睛运动模式接近已知模式(在阈值内)，则AR设备806可以允许用户进行交易。如图8A所示，用户可以以标注的模式移动他的/她的眼睛。为了说明的目的，绘制了线(802)以表示眼睛模式。当然，在实践中，不会有线，但是眼睛跟踪设备将简单地跟踪这样的运动并将它转变为期望的数据格式。

在一个或多个实施例中，为了确定与预定已知的眼睛运动模式相关联的跟踪眼睛模式是否可以利用类似于图8B所示的网格904。应当理解，也可以使用其它这样的技术。通过将可用空间划分为离散区域，通过使用网格904，可以更容易地确定跟踪的眼睛模式802是否最接近类似预定模式902。例如，如图8B所示，跟踪眼睛模式802或多或少按照预定模式902(由连接与预定模式相关联的每个网格正方形的中心的粗线标注)。尽管图8B表示网格904的相当简化的版本，但是应当理解，可以减小每个网格的大小以获得更准确的确定。

在所示实施例中，如果跟踪的眼睛运动覆盖预定网格正方形的区域，则可以识别模式。在其它实施例中，在用户被认为已经通过用户识别测试之前，大多数网格正方形可能需要被击中。类似地，可以针对各种眼睛运动跟踪协议设计其它这样的阈值。在一个或多个实施例中，类似于上述，可以类似地使用闪烁模式。例如，眼睛密码不是利用眼睛运动模式，而是可以是一系列的闪烁，或者与运动相结合的闪烁，以跟踪用户的签名。

现在参考图9，描述了检测眼睛运动签名的示例性过程。在902，可以启动眼睛运动测试。例如，AR用户可以指示购买商品的期望，或者AR用户可以已经放下AR设备62、806并且可以重新开始穿戴AR设备62、806。在另一个实施例中，眼睛运动测试可以为安全目的周期性地管理。

在904，可以跟踪和接收眼睛运动模式。例如，虚拟显示屏幕可以显示“输入密码”的指令，这可以触发用户用他的/她的眼睛形成已知模式。

在906，跟踪的眼睛运动可以被转变为特定的数据格式。例如，回到网格方法，数据可以指示被眼睛运动击中的网格的坐标。可以类似地使用许多其它方法。

在908，转变的数据可以与已知的签名眼睛运动模式的预定数据进行比较。在910，AR系统可以确定跟踪的眼睛运动是否与阈值内的预定模式匹配。在912，如果确定眼睛模式与阈值内的已知眼睛模式不匹配，则用户测试失败，并且可被阻止进行购买，或者可能不得不再次进行测试。在914，如果确定眼睛模式与阈值内的已知眼睛模式匹配，则用户通过测试，并且可以允许进行购买。

在另一种方法中，不是管理眼睛测试，而是AR系统可以周期性地捕获AR用户的眼睛的图片，并且通过将捕获的用户眼睛的图像与已知信息进行比较来执行眼睛识别。在一个或多个实施例中，当用户即将进行购买时，AR设备62、806可以请求用户凝视呈现给用户的特定虚拟对象。这允许用户的眼睛静止，并且可以捕获用户的眼睛的图像并进行比较。如果眼睛的图片与已知的用户眼睛的图片相关联，则可以允许AR用户进行购买。关于眼睛识别技术的进一步细节在共同待审申请62/159,593中提供，名为“DEVICES，METHODS ANDSYSTEMS FOR BIOMETRIC USERRECOGNITION UTILIZING NEURAL NETWORKS”代理案卷号ML30028.00。

由于AR系统通常需要知道用户的眼睛注视(或“观看”)哪里以及用户的眼睛被聚焦在哪里，所以该特征可以有利地用于识别目的。因此，在各种实施例中，头戴式显示器(“HMD”)部件具有一个或多个照相机，其被定向成捕获与用户眼睛相关的图像信息。在诸如图5所示的一种配置中，用户的每只眼睛可以具有聚焦在其上的照相机，以及具有到照相机的已知偏移距离的三个或多个LED(在一个实施例中，直接在眼睛的下面示出)以引起眼睛表面的闪烁。

具有到每个照相机的已知偏移的三个或多个LED的存在允许通过三角测量在3D空间中确定从照相机到每个闪烁点的距离。使用至少3个闪烁点和眼睛的近似球形模型，系统可以推断出眼睛的曲率。利用已知的3-D偏移和对眼睛的取向，系统可形成虹膜或视网膜的精确(图像)或抽象(梯度或其它特征)模板，以用于识别用户。在其它实施例中，眼睛的其它特征，例如眼睛中和眼睛之上的静脉图案可用于(例如，与虹膜或视网膜模板一起)来识别用户。

在一种方法中，可以使用虹膜图像识别方法。眼睛的虹膜中的肌肉纤维的图案形成对于每个人的稳定唯一的图案，包括雀斑、沟和环。与可见光成像相比，使用红外或近红外成像可以更容易地捕获各种虹膜特征。系统可以以许多不同的方式将捕获的虹膜特征转变成识别码。目标是从眼睛中提取足够丰富的纹理。利用所收集的数据中的足够的自由度，系统理论上地识别唯一用户。

在另一种方法中，可以类似地使用视网膜图像识别。在一个实施例中，HMD包括由可操纵光纤线缆操纵的激光扫描仪所驱动的衍射显示。该光纤线缆还可用于可视化眼睛的内部并且对视网膜进行成像，其具有视觉接受器(杆和锥体)和血管的唯一图案。这些杆和锥体也形成了每个个体的唯一图案，并且可用于唯一识别每个人。

例如，暗的和亮的血管的图案是唯一的，并且可以通过标准技术转换成“暗-亮”码，例如将梯度算子(gradient operator)应用于视网膜图像并计算以视网膜的中心为中心的标准化网格中的高低转换。

因此，通过将由系统捕获或检测的用户特征与系统的授权用户的已知基准用户特征进行比较，对象系统可用于以增强准确性和精度来识别用户。

在其它实施例中，可以类似地使用眼睛的曲率/尺寸。例如，由于不同用户的眼睛相似但不完全相同，所以该信息可有助于识别用户。在其它实施例中，当用户遭受压力并且与已知数据相关时，可以收集时态生物特征信息。例如，可以监控用户的心率、用户的眼睛是否产生水膜、眼睛是否边缘和聚焦在一起、呼吸模式、眨眼率、脉搏率等可以类似地用于确认和/或无效用户的身份。

在其它实施例中，为了确认用户的身份(例如，如果怀疑错误身份)，AR系统可以将通过AR设备捕获的信息(例如，通过AR设备62、806的视场照相机捕获的周围环境的图像)相关联，并且确定用户是否看到与从GPS和环境的地图获得的位置相关联的相同场景。例如，如果用户被认为在家中，AR系统可以通过将用户家中的已知对象与通过用户的视场照相机所看到的内容相关联来验证。

上述AR/用户识别系统提供非常安全的用户识别形式。换句话说，该系统可用于确定用户是谁，采用相对高的准确度和精度。由于该系统可以用于知道用户是谁，采用非常高的确定度，并且在持续的基础上(例如，使用周期性监控)，它可以用于启用各种金融交易，而不需要单独的登录。确保用户识别系统高度准确的一种方法是通过使用神经网络，如在代理案卷号ML30028.00中的共同待审申请62/159,593中进一步详细描述的。

现在参考图10A-10I，示出了使用用于进行交易的生物特征数据的示例处理流程1000。如图10A所示，穿戴AR设备1004的用户1002进入商店。在商店时，用户1002可以看到他可能感兴趣购买的一双鞋1006。

现在参考图10B，示出了鞋子的示例视图，如用户1002通过AR设备1004所看到。检测用户的注视集中在一对鞋1006上，AR设备1004可以查阅关于一对鞋1006的细节(例如，通过同步到AR设备1004的产品目录等)，并将细节显示为虚拟内容1008。现在参考图10C，AR设备1004可以通过显示虚拟内容1010来确定用户是否想要购买商品。用户1002可以通过任何形式的用户输入(例如，手势、声音、眼睛控制等)来确认或拒绝。

现在参考图10D，假设用户确认购买，AR设备1004可以通过虚拟内容1012请求密码。在这一点上，如图10E所示，用户1002可以继续产生眼睛签名1016。在一个或多个实施例中，虚拟网格1014可以呈现给用户以帮助以特定方式移动眼睛。

如图10F所示，输入的签名1016可以由AR系统1004接收，并与预定的签名进行比较，以确定用户是否是已认证的用户。如果用户被认证，则如图10G所示，AR设备1004可以通过网络1018向AR服务器1020发送有关所期望产品的数据给供应商1024和金融机构1022。基于来自AR服务器1020所接收的确认，金融机构1022可以向供应商1024发送适当的货币。

如图10H所示，一旦交易已经被确认，AR设备1004可以显示确认购买鞋1006的虚拟内容1026。已经接收到确认，如图10I所示，用户1002可以带着期望的鞋1006走出商店。

应当理解，图10A-10I的处理流程仅仅是为了说明的目的而呈现的示例性实施例，不应被视为限制。可以类似地设想许多其它实施例。例如，在一个或多个实施例中，不是请求“密码”(例如，图10D)，而是AR系统可以请求用户凝视屏幕上的虚拟点，并且捕获用户的眼睛的图像(例如，视网膜、虹膜、眼睛形状等)。然后，该图像可以与用户的眼睛的已知图像相关联，并且可以确认用户的身份。如图10G所示，一旦用户的身份已经被确认，AR系统可以将信息发送给供应商1024和金融机构1022。类似地，可以设想许多其它类似的实施例。

如上所述，应当理解，这种认证和支付系统使交易比传统的支付模式更容易。而不是漫长而艰苦的旅行到百货公司，购物成为“游乐场”体验，其中，用户可以简单地走进商店，拿起任何数量的产品，并且简单地走出商店。AR系统负责大部分的支付细节，而只需要基于易于跟踪的生物特征数据进行简单的非打扰的识别检查。如上所述，根据一些实施例的识别检查在购买时不需要任何用户动作。

如上详细讨论的，使用上述的AR/用户识别系统和方法可以从个人安全交易中消除传统密码或签名/登录代码。对象系统可以采用非常高的确定度来预先识别/预先认证用户。此外，系统可以使用周期性的监控来随时间保持用户的识别。因此，在关于该站点的条款的通知(可以对用户显示为重叠用户界面项目)之后，所识别的用户可以立即访问任何站点。在一个实施例中，系统可以创建由用户预定的一组标准条款，以使得用户立即知道该站点上的条件。如果站点不依附这一组条件(例如，标准条款)，则对象系统可能不会自动允许其中的访问或交易。

此外，上述AR/用户识别系统可以用于促进“微交易”。对于用户的财务账户产生非常小的借方和贷方的微交易通常在几分钱的数量级或不到一分钱。在给定的网站上，对象系统可被配置为看到用户不仅查看或使用了一些内容，而且多长时间(快速浏览可能是免费的，但超过一定金额将被收取费用)。在各种实施例中，新闻文章可花费1/3的一分钱；一本书可会收取一分钱一页的费用；音乐在10分一听等等。在另一个实施例中，广告商可以向用户支付半分用于选择横幅广告或进行调查。该系统可以被配置为将小部分交易费用分配给服务提供商。

在一个实施例中，系统可以用于创建由用户控制的具体微交易账户，其中与微交易相关的资金以预定有意义的金额被合计并分配到/从用户的更传统的财务账户(例如，网上银行账户)。微交易账户可以定期(例如，季度)或响应于某些触发(例如，当用户在特定网站花费超过几美元)被清算或资助。

虽然微交易在传统支付范例中通常是不实际且麻烦的，但是如在此描述的支付技术中描述的通过几乎即时的用户识别和认证而发生交易的容易性消移除了通常与微交易相关联的许多障碍。这可能为即将到来的商业打开新的货币化途径。例如，可能会更容易货币化音乐、书籍、广告等。虽然用户可能犹豫要为新闻文章支付一美元，但是他们可能不会犹豫花费一分钱的一部分的一篇文章。类似地，鉴于这些交易(微观和宏观)是更容易进行，广告客户和出版商相似地可以更有可能为不同类型的支付方案开放内容。因此，AR系统有助于内容的支付和传递，从而使前端和后端处理相对无痛。

由于对象系统和功能可以由专注于增强现实的公司提供，并且由于用户的ID非常无疑且安全地已知，所以可以向用户提供对他们的账户的立即访问，金额的3-D视图、支出、支出率以及该支出的图形和/或地理图。可以允许这样的用户立即调整支出访问，包括关闭和开启支出(例如，微交易)。

对于宏观花费(即，以美元计的金额，而不是以分或分的一部分)，可以利用对象系统配置来促进各种实施例。

用户可以使用该系统来订购易腐商品以配送到其被跟踪的位置或用户所选择的地图位置。当配送到达时(例如，通过显示在AR系统中进行的配送的视频)，系统还可以通知用户。采用AR远程呈现，用户可以身体上位于远离他们房屋的办公室中，但是让配送人员进入到他们的房屋中，通过头像(avatar)远程呈现向配送人呈现，在配送产品时观察配送人，然后确保配送人离开，并通过头像锁定他们的房子。

可选地，系统可以存储用户产品偏好并且向用户警告与用户的偏好产品相关的销售或其它促销。对于这些宏观支出实施例，用户可以看到他们的账户概览、他们账户的全部统计和购买模式，从而便于在下他们的订单之前比较购物。

由于系统可以用于跟踪眼睛，所以它还可以使“一览(one glance)”购物。例如，用户可以看一个对象(说酒店里的长袍)，并说：“我想要，当我的账户回到超过3000美元时。”系统将在满足具体条件(例如，账户结余大于3000美元)时执行购买。

如上所述，在一个或多个实施例中，虹膜和/或视网膜签名数据可用于安全通信。在这样的实施例中，对象系统可被配置为允许文本、图像和内容被选择性地发送到可信任的安全硬件设备上，并且仅在可信任的安全硬件设备上显示，其仅当用户基于一个或多个动态测量的虹膜和/或视网膜签名可被授权时允许访问。由于AR系统显示设备直接投射到用户的视网膜上，所以只有预期的接收者(通过虹膜和/或视网膜签名识别)可以能够观看受保护的内容；此外，由于观看设备主动地监控用户眼睛，动态读取虹膜和/或视网膜签名可以被记录为证明内容实际上呈现给用户的眼睛(例如，作为数字收据的形式，可能伴随着诸如执行所请求的眼睛运动序列的确认动作)。

欺骗检测可以排除尝试使用基于预期的自然变化的模型的视网膜图像、静态或2D视网膜图像、生成的图像等的先前记录。唯一的基准/水印可被生成并被投射到视网膜上以生成用于审核的唯一的视网膜签名。

上述金融和通信系统提供作为可以从更准确和精确的用户识别中受益的各种常见系统的示例。因此，在此描述的AR/用户识别系统的使用不限于所公开的金融和通信系统，而是适用于需要用户识别的任何系统。

在此描述了本发明的各种示例性实施例。在非限制性的意义上参考这些示例。提供这些示例是为了示出本发明的更广泛的应用方面。在不脱离本发明的实际精神和范围的情况下，可对所描述的本发明进行各种改变并可用等同物来替换。此外，可以进行很多修改以适应针对本发明的目的、精神或范围的特定情况、材料、物质的组合物、过程、的过程动作或步骤。进一步地，如本领域的技术人员所知道的，在不脱离本发明的范围和精神的情况下，在此描述和示出的每个单独的变形具有独立的组件和特征，其可容易地与其他若干实施例的任意一个的特征分离或组合。所有这些修改意在处于与本公开相关的权利要求的范围之内。

本发明包括可使用主体装置执行的方法。该方法可包括提供这种合适的装置的动作。这种提供可由终端用户执行。换言之，“提供”动作仅需要终端用户的获得、访问、处理、定位、设置、激活、通电或其它动作，以在该方法中提供必要的装置。在此所述的方法可按逻辑上可能的所述事件的任何顺序以及以所述的事件顺序来执行。

以上已经描述了本发明的示例性方面以及关于材料选择和制造的细节。对于本发明的其它细节，可结合以上参考的专利和出版物以及本领域的技术人员通常知道或理解的来理解。这在关于如通常或逻辑上采用的附加动作的方面，关于本发明的基于方法的方面同样成立。

此外，虽然已经参考可选地包括各种特征的若干示例描述了本发明，但是本发明并不限于被描述或表示为针对本发明的每个变形所预期的。在不脱离本发明的实际精神和范围的情况下，可以对所描述的本发明进行各种变化，并且可用等同(无论是本文所陈述的还是为了简洁的目的而未被包括的)来代替。此外，如果提供值的范围，则应当理解，在该范围的上限和下限之间的每个中间值和或者在该说明的范围中的任何其它中间值被包括在本发明之内。

此外，可预期的是，所描述的发明变形的任何可选特征可独立或结合在此描述的任何一个或多个特征来陈述和要求权利。引用单数项包括可能存在相同项的复数。更具体地，如在此和在相关的权利要求中所使用的，只要不具体说明，单数形式“一”、“所述”和“该”包括复数对象。换言之，在以上描述以及与本公开相关的权利要求中，冠词的使用允许“至少一个”目标项。还需要注意的是，可起草这种权利要求以排除任何可选元件。因此，该声明意在结合权利要求要素的表述而用作使用如“单独”、“仅”等这种排他性术语的先行基础，或者使用“否定”限制。

在不使用这种排他性术语的情况下，在与本公开相关的权利要求中的术语“包括”应允许包括任何其它要素，而不考虑给定数量的要素是否列举在这种权利要求中，或者添加特征可被视为变换在权利要求中所述的要素的性质。除了在此特别定义之外，在此所使用的全部科技术语应在维持权利要求有效的同时被提供尽可能款的通常理解的含义。

本发明并不限于所提供的示例和/或本说明书，而仅由与本公开相关的权利要求语言的范围限定。

Claims (28)

1.一种通过增强现实设备进行交易的方法，包括：

从用户捕获生物特征数据；

至少部分地基于所捕获的生物特征数据确定所述用户的身份；以及

基于所确定的身份针对所述交易认证所述用户。

2.根据权利要求1所述的方法，还包括将关于所述交易的一组数据发送至金融机构。

3.根据权利要求1所述的方法，其中，所述生物特征数据是虹膜图案。

4.根据权利要求1所述的方法，其中，所述生物特征数据是所述用户的声音记录。

5.根据权利要求1所述的方法，其中，所述生物特征数据是视网膜签名。

6.根据权利要求1所述的方法，其中，所述生物特征数据是与所述用户的皮肤相关联的特征。

7.根据权利要求1所述的方法，其中，所述生物特征数据通过捕获所述用户的眼睛的运动的一个或多个眼睛跟踪照相机来捕获。

8.根据权利要求1所述的方法，其中，所述生物特征数据是所述用户的眼睛的运动的模式。

9.根据权利要求1所述的方法，其中，所述生物特征数据是所述用户的眼睛的闪烁模式。

10.根据权利要求1所述的方法，其中，所述增强现实设备是头戴式的，并且所述增强现实设备针对所述用户单独校准。

11.根据权利要求1所述的方法，其中，将所述生物特征数据与有关所述用户的预定数据进行比较。

12.根据权利要求11所述的方法，其中，所述预定数据是所述用户的眼睛的已知的签名运动。

13.根据权利要求11所述的方法，其中，所述预定数据是已知的虹膜图案。

14.根据权利要求11所述的方法，其中，所述预定数据是已知的视网膜图案。

15.根据权利要求1所述的方法，还包括：

检测所述用户进行交易的期望；

至少部分地基于所检测的期望从所述用户请求所述生物特征数据；

将所述生物特征数据与预定的生物特征数据进行比较以产生结果，其中，所述用户至少部分地基于所述结果来认证。

16.根据权利要求1所述的方法，其中，所述交易是商业交易。

17.根据权利要求1所述的方法，还包括：

将所述用户的认证通信到与所述用户相关联的金融机构，其中，所述金融机构至少部分地基于所述认证代表所述用户释放支付。

18.根据权利要求17所述的方法，其中，所述金融机构将所述支付发送到由所述用户指示的一个或多个供应商。

19.根据权利要求1所述的方法，还包括：

检测与所述增强现实设备相关联的中断事件或交易事件；以及

从所述用户捕获新的生物特征数据，以便至少部分地基于所检测的事件来重新认证所述用户。

20.根据权利要求19所述的方法，其中，至少部分地基于从所述用户的头部移除所述增强现实设备来检测活动的所述中断。

21.根据权利要求19所述的方法，其中，至少部分地基于所述增强现实设备与网络的连接性的损失来检测活动的所述中断。

22.根据权利要求19所述的方法，其中，至少部分地基于由所述用户对交易的明确批准来检测所述交易事件。

23.根据权利要求19所述的方法，其中，至少部分地基于与所述用户的凝视相关联的热图来检测所述交易事件。

24.根据权利要求19所述的方法，其中，至少部分地基于通过所述增强现实设备接收的用户输入来检测所述交易事件。

25.根据权利要求24所述的方法，其中，所述用户输入包括眼睛姿态。

26.根据权利要求24所述的方法，其中，所述用户输入包括手势。

27.根据权利要求1至26中任一项所述的方法，其被实现为系统，所述系统具有用于实施所述方法步骤的装置。

28.根据权利要求1至26中任一项所述的方法，其被实现为计算机程序产品，所述计算机程序产品包括计算机可用存储介质，所述计算机可用存储介质具有可执行代码以执行所述方法步骤。