CN105745601A

CN105745601A - 眼睛跟踪

Info

Publication number: CN105745601A
Application number: CN201480055881.5A
Authority: CN
Inventors: B·李; K·P·欣克利; S·N·巴思彻
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2013-10-11
Filing date: 2014-10-08
Publication date: 2016-07-06
Also published as: EP3055753A1; WO2015054328A1; WO2015054326A1; US20150102981A1; KR20160068830A; US20150106386A1

Abstract

本描述涉及眼睛跟踪。一个示例可使用可穿戴眼镜设备来标识用户正在看着的位置以及标识该位置处的内容，该可穿戴眼镜设备包括被配置成将可穿戴眼镜设备安置在用户的头部上的镜框、被配置成跟踪用户的眼睛的至少一个的朝向的第一传感器集、被配置成同时地标识用户的视野的第二传感器集以及被配置成将用户的眼睛的朝向与视野中的位置关联并记录来自该位置的内容的关联组件。

Description

眼睛跟踪

背景

已经作出各种尝试来协助用户使用计算资源。例如，用户搜索查询和对结果的选择可被存储来试着定制将来的搜索。然而，这些尝试除了知晓用户键入了和点击了什么之外提供非常少的对用户的洞察。

概述

本描述涉及眼睛跟踪。一个示例包括被配置成标识用户正在看着的位置的传感器。该示例还包括被配置成标识该位置处的内容的内容关联组件。

另一示例可显示数字内容并确定用户正在看着该数字内容的子集。这个示例可将用户和数字内容的子集相关。该示例可致使数字内容的子集被添加到与用户相关联的记忆模拟用户简档。该记忆模拟用户简档可包括与用户先前查看了什么有关的可搜索的数据。

以上列出的示例旨在提供快速参考以帮助读者，并且不旨在限定此处所描述的概念的范围。

附图简述

附图示出了本文档中传达的概念的实现。所示实现的特征可通过参考以下结合附图的描述来更容易地理解。只要可行，各附图中相同的附图标记用来指代相同的元素。此外，每一个如图标记的最左边的数字传达其中首次引入该附图标记的附图及相关联的讨论。

图1是根据本发明概念的一些实现的示例可视化技术的流程图。

图2-8示出根据本发明概念的一些实现的示例可视化场景。

图9-15示出根据本发明概念的一些实现的示例可视化系统。

图16-17是根据本发明概念的一些实现的示例可视化技术的流程图。

概览

本说明书涉及经由眼睛跟踪来确定用户看着什么。关于用户看着什么的信息可接着被用于向用户提供增强的用户体验和/或为了其它用途。

出于介绍目的，考虑显示方法100的图1。该方法可在102跟踪用户的视觉体验(例如，可视化)。可视化和相关联的元数据可被称为“可视化信息”。该方法相对于单个用户来解释，但也可被应用于多个用户。一些实现可针对数据内容(例如，用户看过什么数字内容)。数字内容可以是字符(诸如文本)、图像和/或其它形式的数字内容。例如，这些实现可确定当用户看着显示设备时该用户正看着该显示设备上的什么特定数字内容。例如，实现可确定用户正看着位置“A”并且在那个时间内容“B”被显示在位置“A”处。

其它实现不被限制为数字内容。这些实现可确定何时用户正看着物理内容(例如，非数字内容)。由此，对物理内容和数字内容两者的查看可被跟踪。在104，这一可视化信息可被添加到用户的简档。从一个角度考虑，可视化信息可被用于创建“记忆模拟用户简档”或被添加到现有的记忆模拟用户简档。由此，如在本文档中使用的，“内容”可以是可被用户查看的任意事物并且“经查看的内容”是用户所看的内容的子集。内容和/或经查看的内容可被视为可视化信息的一部分。

在106，该方法可通过充分利用记忆模拟用户简档的可视化信息来为用户提供增强的服务。从一个角度而言，可视化信息可被用于增强用户体验和/或将来的用户体验。例如，用户可查询“我记得阅读了关于寻找火星上的水的火星探测器任务”。记忆模拟用户简档的可视化信息可被搜索来检索用户查看的对应内容。当然，这仅仅是记忆模拟用户简档可被使用来增强用户体验的一种方式，用户体验中的一些在以下被描述。此外，可出于除了记忆模拟用户简档之外的其它目的来使用可视化信息。

图2-10整体上示出其中本发明的可视化概念可被应用的场景。图11-15示出可实现可视化概念的设备。图16-17是可视化方法的流程图。

图2示出在动物园的用户202。用户的眼睛可在动物园处被跟踪在204处。在这种情况下，用户在204(1)处看着围栏里的美洲豹(jaguar)并接着用户在204(2)处看着将该动物标识为来自中南美洲的美洲豹的信息板。这些可视化(例如，用户看过什么)可与元数据相关联，该元数据诸如位置(例如，动物园、哪个城市中的那座动物园等等)、日期、时间和/或用户与谁在一起，等等。这一可视化信息可被添加到用户的记忆模拟用户简档206，其将在以下详细描述。

图3显示其中用户202随后在用户的计算设备302上输入针对“jaguar(美洲豹)图像”的搜索查询。在这种情况下，记忆模拟用户简档206中的可视化信息可被用于确定(例如，消歧)用户可能想要看“jaguaranimal(美洲豹动物)”而非例如“jaguarcar(捷豹汽车)”或“jaguarsportsteam(捷豹运动队)”的图像。换言之，用户最近去过动物园并看过美洲豹的可视化信息可被使用来定制用户的计算体验。

图4示出当响应于图3的查询在设备302上为用户显示两个美洲豹图像404(1)和404(2)时用户的眼睛被跟踪在402。在这个示例中，眼睛跟踪402确定用户短暂地看了两幅图并接着凝望在左图像401(1)而忽略右图像404(2)。这一可视化信息可被添加到用户的记忆模拟用户简档206。

图5示出随后的实例，其中用户202在另一设备502上再次查询“jaguar(美洲豹)图像”。图6示出通过使用用户的记忆模拟用户简档206获得的结果。在这种情况下，为用户显示的图像404(1)是用户在图4中凝望的左图像。在这个示例中，记忆模拟用户简档206中相对于图4的用户的可视化信息指示用户已经查看了右图像404(2)并且不对该图像感兴趣。由此，作出不再向用户显示该图像的决定。当然，这仅仅是来自记忆模拟用户简档206的可视化信息如何可被充分利用的一个简化示例。

图7-8示出另一可视化场景。在图7中，两个用户702(1)和702(2)正在查看冰河国家公园处的访客中心内的信息显示。用户702(1)和702(2)可使用各种技术来相互区分。进一步在这个情况下，假设每个用户被标识。(用于标识和/或区分用户的技术在以下相对于图11-15来描述。)如在704(1)处指示的，左边的用户702(1)正在看着公园中的徒步。右边的用户702(2)正看着公园的地图(由从用户到地图的虚线指示，但归因于绘图页面的空间限制不被特别地指定)。针对每个用户的这一可视化信息可被添加到他们相应的记忆模拟用户简档(未示出)中。

关于图8，假设右边的用户702(2)走回到他的车并想要在他的智能电话802上查看他刚刚在访客中心中看到的地图。在这个情况下，用户输入搜索查询“冰河地图”。传统的技术可向用户提供错误的结果，诸如“阿拉斯加州内冰河的地图”。此外，即使现有技术正确地标识出用户想要冰河国家公园的地图，但是可以存在成百上千的不同的地图。相反，如在图8中证明的，本实现可使用来自用户的记忆模拟用户简档的该用户的可视化信息来检索该用户在访客中心中查看的那个地图。由此，本实现可使用可视化信息来正确地检索理想的用户结果并从而提供超越现有技术的增强的用户体验。

当然，示出的示例归因于绘制页面的限制趋向于是相对简单的示例。然而，注意，可视化信息可用各种方式来处理和使用。这些方面中的一些在以下相对于图9-15的系统和设备和/或图16-17的方法来更加详细地描述。

图9-10整体上示出涉及数字白板设备902和两个用户904(1)和904(2)的另一可视化系统900。在这个示例中，花朵的四个图像906(1)-906(4)被显示在数字白板设备上。假设用户正看着花朵图像并讨论者它们。在这个情况下，系统可检测用户看着图像。此外，在这种情况下，系统可检测用户在相同时间均看着单个图像906(2)。此外，系统可检测到在第一用户(和第二用户)看着图像906(2)的同时用户904(2)指向图像906(2)(图10)。这一可视化信息(包括两者在查看图像的同时的指向手势)可被添加到相应用户的记忆模拟用户简档。其它类型的数据也可被添加到记忆模拟用户简档。例如，用户在看着图像的同时的讨论(例如，用户关于图像说了什么)也可被添加到记忆模拟用户简档。由此，每个用户的记忆模拟用户简档可被更新来反映他/她看到了什么、何时、与谁以及伴随的讨论。

可视化信息可用各种方式来使用，诸如以确定这两个用户的重叠的兴趣并基于该重叠的兴趣对用户作出内容和/或活动的后续建议。例如，如果花朵图像是绘画的照片，则可作出关于用户可以在其中看到类似绘画的博物馆的建议，或者绘画的应刷品可在线被标识可售并被呈现给用户以供购买。如果图像是真实植物的照片，则具有这种类型的植物的植物园的位置可被提供给用户。

替换地或附加地，一些实现可生成专用于这两个用户之间的交互(例如，捕捉这些用户的共享的可视化)而非专用于单个用户的记忆模拟用户简档。

另一选项是针对所查看的内容和/或数字白板来具有记忆模拟用户简档。例如，该内容的简档可指示什么用户看了该内容、他们看了该内容多长时间、他们对该内容的反应等等。类似地，数字白板可具有关于什么内容被显示、向谁显示、他们的反应、他们接下来干了什么(例如，他们是否查看了类似的内容)等等的简档。还注意，尽管在这个示例中用户查看数字白板上的数字内容，但是类似的配置可针对物理内容来实现，诸如在图7中的冰河国家公园处或在图2中的动物园处的信息显示。

图11示出被自包含在与用户202相关联的单个设备1102上的用户可视化实现系统1100。该设备包括处理器1104、存储/存储器1106、相机1108、内容关联组件1110、记忆模拟用户简档206和/或应用1112。

在这个示例中，用户202被假定为是登录的用户，并且由此不采用进一步的用户标识技术。以下关于图12-15来描述替换场景。

在这个情况中，内容关联组件1110可跟踪用户查看设备上的什么内容。在这个示例中，多个前向相机1108(1)和1108(2)被用于跟踪用户的眼睛。内容关联组件1110可将用户的眼睛的朝向与眼睛跟踪时设备1102的特定位置上所显示的内容进行关联。换言之，内容关联组件1110可将用户正在看着的位置映射或相关到在那时该位置上所显示的内容。此外，内容关联组件1110可获得关于该查看的各种附加信息。例如，用户眼睛的移动可被相机1108检测。眼睛移动信息可被用于确定/确认例如用户正在阅读内容而非查看图像。例如，眼睛移动在阅读期间相比于在查看期间趋向于不同。此外，当用户对特定内容特别感兴趣或者阅读单词是困难的时，眼睛移动可改变。例如，如果用户对某一段落特别感兴趣，则用户可阅读该段落多次。并且，如果用户不认识特定单词，则用户的眼睛可回顾该单词多次和/或以相比于用户认识的单词而言不同的速率回顾该单词。

内容关联组件1110可将可视化信息(例如，所查看的内容和/或相关的元数据)添加到设备1102上的记忆模拟用户简档206。在这种情况下，内容是数字内容。由此，内容关联组件1110可将内容保存在记忆模拟用户简档中或诸如通过提供去往为用户显示的内容的链接来引用该内容。可视化信息还可包括对被查看的所显示的内容的子集的指示。换言之，替换于或附加于将内容发送到记忆模拟用户简档206，内容关联组件1110可发送到内容提供者的链接，使得(所显示和查看的和/或未被查看的)内容可随后通过访问记忆模拟用户简档来被访问和/或检索。

其它可视化信息也可被添加到记忆模拟用户简档206，诸如时间、位置和/或眼睛移动模式等。记忆模拟用户简档206的可视化信息可用不同的方式来被处理以增加其可用性。例如，可视化信息可，诸如通过内容类型、主题、时间、位置等被索引。内容的图像可用元数据来标记以允许索引。

随后，当服务(诸如通过应用1112)被提供给用户时，记忆模拟用户简档206的可视化信息可被使用来增强与这些服务相关联的用户体验。

设备1102可替换地或附加地包括其它元素，诸如输入/输出设备、总线、图形卡(例如，图形处理单元(GPU))等，出于简明的目的未在此被示出或讨论。

如本文所使用的术语“设备”、“计算机”或“计算设备”可意味着具有某种量的处理能力和/或存储能力的任何类型的设备。处理能力可由一个或多个处理器提供，处理器可执行计算机可读指令形式的数据以提供功能。数据(诸如计算机可读指令和/或用户相关数据)可被存储在存储上，诸如对计算机而言可以是内部或外部的存储。存储可包括易失性或非易失性存储器、硬盘驱动器、闪存设备、和/或光存储设备(例如，CD、DVD等)、远程存储(例如，基于云的存储)等等中的任何一个或多个。如本文所使用的，术语"计算机可读介质"可包括信号。相反，术语“计算机可读存储介质”排除信号。计算机可读存储介质包括"计算机可读存储设备"。计算机可读存储设备的示例包括诸如RAM之类的易失性存储介质、诸如硬盘驱动器、光盘和闪存存储器之类的非易失性存储介质，以及其他。

在一些配置中，设备可包括片上系统(SOC)类型设计。在这一情况下，设备所提供的功能可被集成在单个SOC或多个耦合的SOC上。一个或多个处理器可被配置成与共享资源协调，例如存储器、存储等，和/或与一个或多个专用资源协调，如配置成执行特定具体功能的硬件块。从而，如本文是使用的术语“处理器”还可指代中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、处理器核、或适用于在常规计算架构以及SOC设计两者中实现的其他类型的处理设备。注意各个组件(诸如处理器)可被实现为硬件、固件、软件或它们的任意组合。

设备的示例可包括传统的计算设备，诸如个人计算机、桌面计算机、笔记本计算机、蜂窝电话、智能电话、个人数字助理、平板类型计算机、数字白板、相机、可穿戴设备(诸如智能眼镜)或任何不断演进或要被开发的计算设备类型的混合中的任一。

通过仅在用户给出他们的明确同意时才允许可视化特征，用户隐私可被保护。所有的隐私和安全过程可被实现以保护用户。例如，用户可以设备1102上提供授权(和/或定义授权的条件)。设备仅根据授权的条件来进行眼睛跟踪用户。否则，用户信息不被收集。类似地，用户可被允许定义对他/她的包括可视化数据的记忆模拟用户简档的使用。对记忆模拟用户简档的任意使用必须符合所定义的用户条件。

图12示出示例分布式可视化系统1200。该系统示例包括多个设备1202(1)-1202(7)。在这个情况下，设备1202(1)-1202(5)可对包括用户可视化信息的记忆模拟用户简档206作出贡献和/或使用该记忆模拟用户简档206。在一些情况下，这些设备1202(1)-1202(5)可被认为是客户端侧设备。这些设备中的一些在以下针对图13-15更详细地描述。图11还描述可担当客户端侧设备的设备的示例。在这种情况下，该设备可独立于其它设备或与其它设备合作来维护记忆模拟用户简档206的本地副本。

出于解释的目的，在示出的配置中，设备1202(6)和1202(7)被示出为具有处理器1104和存储/存储器1106。此外，设备1202(6)可包括内容关联组件1110和记忆模拟用户简档206。(示出的组件也可出现在客户端侧设备上，但是归因于绘制页面的物理限制而没有被示出。)设备1202(7)可包括服务提供者1204，诸如应用或搜索引擎等。

客户端侧设备1202(1)-1202(5)可收集可视化信息。可视化信息可与各个用户相关联并被发送到维护记忆模拟用户简档206的设备1202(6)，如被箭头1206一般指示的。尽管仅示出了单个记忆模拟用户简档，但是设备1202(6)可包括针对各个用户的数千或甚至数百万的记忆模拟用户简档。在一些情况下，设备1202(6)可以是基于云的计算设备，诸如在服务器场中。在一些配置中，客户端侧设备可在将可视化信息发送到设备1202(6)之前对该可视化信息执行内容关联。例如，图11的设备102包括可实现这个处理的内容关联组件。替换地，可在设备1202(6)上对从各个设备1202(1)-1202(5)获得的可视化信息执行该处理。可视化信息接着可被存储在记忆模拟用户简档206中。

随后，单个用户(或用户组)可经由单个设备(诸如设备1202(1))请求服务(诸如web搜索)。如由箭头1208指示的，设备1202(1)可与另一设备(诸如提供该服务的设备1202(7))通信。设备1202(7)可与设备1202(6)通信来获得用户的记忆模拟用户简档206，如被箭头1210指示的。设备1202(6)可传递用户的记忆模拟用户简档206，如箭头1212指示的。设备1202(7)可接着使用用户的记忆模拟用户简档来执行该服务并将结果提供回计算设备1202(1)，如箭头1214指示的。

设备1202(1)可跟踪与所提供的服务相关联的附加用户可视化。如箭头1216指示的，设备1202(1)可将这个附加用户可视化信息提供到设备1202(6)，使得用户的记忆模拟用户简档206可被相应地更新。由此，输入web搜索查询的用户可不仅仅基于查询项，还基于用户先前看了什么而取得web搜索结果。总的来说，图12可被表征为示出分布式可视化系统，该分布式可视化系统可维护可包括来自多个设备的可视化数据的全局记忆模拟用户简档。全局记忆模拟用户简档可对多个设备可用来增强提供到用户的功能性。

图13示出具有相对于图12介绍的显示设备形式的设备1202(3)，诸如数字白板。这个设备可包括显示器1302和传感器1304集。传感器1304集可以是显示器1302的组成部分和/或在显示器的外部。例如，传感器中的一些可以是靠近显示器的面向外朝向用户的相机。其它传感器可被放置为远离显示器并面向显示器来检测靠近该显示器的用户姿势和/或呈现在该显示器上的内容。相机中的一些可具有广角镜头来检测用户，而其它相机可具有较窄的视野来跟踪用户眼睛移动。

传感器1304可包括可见光相机、不可见光相机、生物测定传感器、RFID传感器、一个或多个IR传感器/发射器对和/或用于检测其它设备的各种通信组件等。例如，通信组件1306可允许设备1202(3)检测可被用户携带或与用户相关联的个人设备，诸如智能电话、智能手表、智能眼镜、ID工作证等。这些设备可具有关于用户的信息，诸如可被用于标识用户的登录信息。来自设备和/或来自生物测定传感器的信息可被用于标识用户。在一些实现中，每个用户的身份可被分派置信度分数。换言之，系统可分派已经正确地标识了单个用户的置信度分数。

传感器1304的任意组合可被用于确定哪个用户看着显示器上的什么内容。这个可视化信息可被发送到维护具有可视化信息的记忆模拟用户简档的另一设备(诸如图12的设备1202(6))。可视化信息可用原始或经处理的形式来被发送。例如，内容关联组件1110可标识用户以及用户看着显示器1302上的什么位置。内容关联组件可标识在用户看着该位置时什么内容被显示在该位置上。内容关联组件可接着致使这个可视化信息被存储在用户的记忆模拟用户简档中。替换地，内容关联组件1110可标识在给定时间用户看着什么位置以及在那时什么被显示在显示器上并将该信息传送到另一设备以供处理。

图14示出图12中介绍的设备1202(4)和1202(5)的细节。在这个情况下，设备1202(4)和1202(5)可以是可穿戴设备的示例。更具体地，在示出的配置中，设备1202(4)和1202(5)被表现为智能电话设备1202(4)和眼睛跟踪眼镜设备(例如，可穿戴眼镜设备或智能眼镜)1202(5)。在这个情况下，眼睛跟踪眼镜设备和智能电话设备可被认为是可协同操作的个人设备(例如，属于同一用户)。当然，眼睛跟踪眼镜设备可更独立地操作。例如，眼睛跟踪眼镜设备可将可视化信息传递到图12的设备1202(6)以供包括在用户的记忆模拟用户简档中。然而，将眼睛跟踪眼镜设备与另一本地设备配对可减少资源使用，诸如由眼睛跟踪眼镜设备作出的电池使用。此外，眼睛跟踪眼镜设备可维护本地记忆模拟用户简档和/或对全局记忆模拟用户简档作出贡献。在示出的配置中，智能电话设备可帮助眼睛跟踪眼镜设备来对相对于图12讨论的全局记忆模拟用户简档作出贡献。

在这种情况下，智能电话设备1202(4)和眼睛跟踪眼镜设备1202(5)包括处理器1104、存储/存储器1106、传感器1304、通信组件1306、内容关联组件1110和/或电池1402的实例。眼睛跟踪眼镜设备1202(5)还可包括相机1404和1406、透镜1408(1)和1408(2)(矫正的或非矫正的、透明的或有色的)和/或镜框1410。镜框可包括一对终止于耳承1414(1)和1414(2)的镜腿1412(1)和1412(2)。

眼睛跟踪眼镜设备1202(5)可包括两个基本特征。第一，眼睛跟踪眼镜设备可包括跟踪用户的眼睛的能力。第二，眼睛跟踪眼镜设备可包括同时查看用户的眼睛正在看着的方向中的环境的能力。这些特征可由传感器1304(5)来实现。在这个实现中，第一个功能用跟踪用户的眼睛的传感器集来实现。类似地，第二个功能用同时检测用户正看着的位置处的内容的另一传感器集来实现。在这个示例中，第一传感器集包括多个每眼睛的面向内的相机1404。这些相机1404指向用户的眼睛。面向内的相机所提供的数据可整体上指示眼睛正指向的方向。第二传感器集可被表现为第二相机集。这个示例包括两个能捕捉在被眼睛正指向的方向所截取的位置处的内容的图像的面向外的相机1406。

尽管示出了具有相机1404和1406形式的不同的传感器，但是可以预想，传感器可被集成到眼镜中，诸如集成到透镜1408(1)和1408(2)和/或镜框1410中。在进一步的实现中，单个相机可通过到共同图像传感器(诸如电荷耦合设备(CCD))的两个不同相机透镜来接收图像。例如，相机可被设置为以60赫兹(或其它值)来操作。在奇数循环上相机可接收用户的眼睛的图像并且在偶数循环上相机可接收在用户前面的(例如，用户正看着的方向)事物的图像。这个配置可用更少的相机来实现所描述的功能。

在这种情况下，面向外的相机1406可由不可见光图案投影仪1416来帮助。不可见光图案投影仪可投影能帮助区分靠近(用户正看着的)位置的对象的图案或经图案化的图像(例如，经结构化的光)。经结构化的光可被投影在射频(RF)频谱的不可见部分中，使得它可被相机但不可被用户检测到。例如，如果用户看着动物园展区中的美洲豹，则图案可使得通过分析由面向外的相机1406捕捉的图像来更加容易地从栖息地中区分出美洲豹。替换于或附加于经结构化的光技术，面向外的相机可实现飞行时和/或其它技术来区分用户正看着的对象。

眼睛跟踪眼镜设备1202(5)可捕捉与位置有关的可视化信息。换言之，可视化信息可提供由面向外的相机捕捉的图像以及关于用户看着图像上的什么位置的指示。可视化信息可通过通信组件1306(5)(诸如经由蓝牙、Wi-Fi或其它技术)被传递到智能电话设备1202(4)。例如，通信组件1306(5)可以是将原始或经压缩的可视化信息传送到智能电话设备1202(4)的兼容蓝牙的传送器。

智能电话设备1202(4)可对接收自眼睛跟踪眼镜设备1202(5)的可视化信息执行内容关联处理。在一些情况下，内容关联组件1110(4)可进一步尝试标识在该位置处的内容。例如，内容关联组件可采用各种图像分析技术。

图像分析技术可包括光学字符识别(OCR)、对象识别(或标识)、面部识别、场景识别和/或GPS到位置技术等等。其它图像分析技术可替换地或附加地被包括。此外，图像分析技术的多个实例可被采用。例如，两个或更多个面部识别图像分析技术而不是仅仅一个可被采用。

简而言之，图像分析可处理由面向外的相机1406捕捉的图像上的位置的像素数据以及其它数据。其它数据可包括元数据和/或诸如由面向内的相机1404提供的眼睛移动图案之类的数据。例如，该其它数据可指示用户看着某一位置多长时间。可以有用的其它数据的另一示例是在用户看着该位置时的眼睛移动(例如，扫视和/或注视)。

图像分析技术可按串行或并行方式被应用到像素数据。一种配置可被认为是流水线配置。在这样的配置中，若干种图像分析技术可按如下方式来执行：使得像素数据和来自一种技术的输出用作到第二技术的输入以实现第二技术对该图像单独操作不能获得的结果。与所采用的配置无关，从对该位置的图像的处理中获得的任何信息可诸如以元数据的形式与该图像相关联。例如，处理可标识用户看着桌上的背包。对象(例如，背包和桌子)的标识可作为元数据与该图像相关联。该图像和元数据可接着被添加到用户的记忆模拟用户简档。在一替换配置中，图像可被视为太消耗资源并且只有元数据可被添加到用户的记忆模拟用户简档。概括地说，以上技术可标识用户看过什么和/或用户本来可以看但没有看的事物(例如，可见的但没有被查看)。该经处理的可视化数据可被传递到记忆模拟用户简档。注意，在眼睛跟踪眼镜设备1202(5)(和/或智能电话设备1202(4))上发生的对可视化信息处理的量和类型可取决于给定实现的资源。例如，当确定如何以及何处处理可视化信息时，处理资源、存储资源、功率资源和/或可用带宽可被考虑。

智能电话设备1202(4)可接收来自眼睛跟踪眼镜设备1202(5)的可视化信息。智能电话设备1202(4)可以或可以不进一步处理该可视化信息。智能电话设备可将可视化信息存储在本地记忆模拟用户简档中和/或将可视化信息传递到另一设备，诸如维护针对用户的全局记忆模拟用户简档的设备(例如，图12的设备1202(6))。

如以上提到的，将处理中的一些卸载并传送到非常接近的设备(在这个情况中为智能电话)可减少眼睛跟踪眼镜所做出的资源使用。在其它配置中，眼睛跟踪眼镜设备1202(5)可更加自包含并可直接将可视化数据传送到记忆模拟用户简档维护设备。还注意，尽管以上没有强调，但是眼睛跟踪眼镜设备1202(5)可被用于标识用户。例如，面向内的相机1404可获得眼睛的生物测定信息，其可被用于标识用户和/或在用户之间进行区分。

还注意，智能电话设备1202(4)可具有其它能将其它信息贡献到眼睛跟踪信息并由此进一步简化眼睛跟踪眼镜设备1202(5)的能力。例如，智能电话设备可具有用于确定其位置的GPS传感器/线路。智能电话设备可在将可视化数据发送到记忆模拟用户简档维护设备之前将位置信息(和/或其它信息)与该可视化数据相关联(参见图12)。这可消除将GPS线路包括在空间受限的眼睛跟踪眼镜设备内的尝试。

图15示出关于眼睛跟踪眼镜设备1202(5)和图2的动物园场景处的老虎展览来描述的另一眼睛跟踪系统1500配置。在这个示例中，传感器1304(图13)被表现为红外(IR)传感器/发射器对1502。IR传感器/发射器对1502的第一实例相对于眼睛跟踪眼镜设备1202(5)来示出。IR传感器/发射器对1502的其它实例被包括在眼睛跟踪设备1504上。眼睛跟踪设备可相互通信和/或与远程设备(未显示)通信。相对于眼睛跟踪眼镜1202(5)，单个IR传感器/发射器对1502(1)以与用户透过眼镜看着的方向相同的方向来取向。相对于老虎展览，IR传感器/发射器对1502(2)-1502(5)相对于展览以面向外的方式(例如，朝向参观者)来安排。

各个眼睛跟踪设备1504可包括至少一个IR传感器/发射器对1502。眼睛跟踪设备1504还可具有以上关于图11-14介绍的但出于简明的目的没有被重新介绍的处理器、存储、通信和内容关联组件的实例。

IR传感器/发射器对1502可被配置成通过亮眼/暗眼效果来检测用户眼睛接触。由此，眼睛跟踪设备1504可检测用户看着老虎展览。类似地，眼睛跟踪眼镜1202(5)可感测来自老虎展览的IR发射以及老虎展览上的IR传感器/发射器对检测到了眼睛接触。这些对应的信号接着实现以下推断：这个特定用户与环境中的特定传感器/发射器对进行了眼睛接触。由此，系统1500可经由由眼睛跟踪设备1504(1)-1504(4)提供的整体数据来确定并记录用户大体上(和/或在特定区域处)看过老虎展览。

作为另一示例，如果用户看着另一也佩戴眼睛跟踪眼镜1202(5)的用户，则系统还可检测用户之间的相互眼睛接触。这接着使得记忆模拟用户简档能够包括用户遇到的其他人，而无需面部识别或其它这样潜在的资源密集识别技术。

进一步注意，以上描述包括用于实现本概念的若干示例。出于简明的目的，不是所有潜在的实现都被讨论。此外，不是所有组件都相对于每个设备被讨论并且应当意识到，其它设备可包括以上提到的组件和/或其它组件的组合。

第一方法示例

图16示出示例可视化方法1600。

在这个情况下，该方法可在框1602处显示数字内容。数字内容可包括文本、手写、符号、字符、图像或任意其它类型的数字内容。

该方法可在框1604处确定用户正看着数字内容的子集。用于确定用户正看着什么的设备配置在以上相对于图11-15被描述。

该方法可在框1606处将用户和数字内容的子集相关。用户看过的(以及没有看过的)数字内容以及相关的元数据可被用于各种目的，诸如用于创建/更新记忆模拟用户简档。

第二方法示例

图17示出示例可视化方法1700。

在这个情况下，该方法可在框1702处接收关于被用户查看的内容的信息以及关于对用户可见但没有被用户查看的不同内容的其它信息。内容可以是物理内容、数字内容、其它内容或它们的混合。

该方法可在框1704处用该信息和该其它信息来扩充用户的记忆模拟用户简档。在用户不具有现有的记忆模拟用户简档的情况下，该扩充可包括创建记忆模拟用户简档。

该方法在框1706处可允许记忆模拟用户简档的该信息和该其它信息被用于定制对用户输入的响应。用户输入可以是搜索查询或命令。例如，用户输入可以是“请在我昨天看到的BBQ餐厅做出我的预定”的命令。用户可使用传统意义上的搜索查询，但可取得更加定制且准确的结果。替换地，用户可使用搜索查询来“轻触他/她自己的记忆”。例如，用户可询问“我何时看到MonaLisa？”或“当我看到MonaLisa时谁和我在一起？”用户的记忆模拟用户简档中的可视化信息可允许搜索引擎来标识正确的答案。搜索引擎可呈现元数据，诸如日期以及和用户在一起的人的姓名。搜索引擎可替换地或附加地呈现用户在那时看到的内容的图像(例如，来自用户查看的那个视角和条件的MonaLisa的视图)。由此，记忆模拟用户简档可用之前不可用的方式来支持用户。例如，用户可就像向他/她自己的记忆搜索他/她在过往看到的事物的方式那样来搜索记忆模拟用户简档。

所述的方法可以由以上关于图11-15描述的系统和/或设备来执行，和/或由其他系统和/或设备来执行。描述各方法的次序并不旨在解释为限制，并且任何数量的所述动作都可以按任何次序组合以实现方法或实现替换方法。此外，该方法还可以用任何合适的硬件、软件、固件或其组合来实现，以使得设备可实现该方法。在一种情况下，该方法作为指令集被存储在计算机可读存储介质上，以便计算设备的处理器的执行使得该计算设备执行该方法。

结语

概要地说，用户看着什么(例如，用户可视化)可被用于对什么对于该用户而言是重要的排定优先级。本实现可知晓用户看到什么(数字和物理两者)并将其添加到用户的简档(例如，记忆模拟用户简档)。通过这种方式，记忆模拟用户简档可实质上反映用户的记忆。记忆模拟用户简档可有效地允许对用户的记忆/体验的重新创建。

眼睛跟踪技术可知晓用户看了什么、达多长时间和/或用户是否是阅读而非仅看着。相比于用户掠过的事物，用户凝望的内容可被不同地加权。眼睛跟踪技术可知晓用户阅读了段落中的哪些句子和/或用户阅读了文档中的哪些段落；而不仅仅是用户看过文档。换言之，本实现可知晓用户是阅读整个文档还是仅仅一部分，并且如果是，则什么部分。

眼睛跟踪技术可实现以下情况：其中用户想“我以前看到过这个，可能在很久以前，但是我不能很好地回忆起它”。该系统知晓用户看到过什么并能帮助回忆它。该系统可在搜索的上下文中或在用户说“你能提醒我我关于‘这个主题’看过什么吗？”的情况下使用这个信息。

经可视化增强的记忆模拟用户简档可以是(大致地)匹配用户的记忆中的事物的计算模型。该计算模型可知晓用户看过什么以及用户读过什么，因为该计算模型准确地(例如，经由眼睛跟踪)知晓用户看过什么。其可存储这个信息并在之后重新创建它。可视化信息可被索引到不同的事物、时间、物理位置、用户和谁一起等。所以，用户可之后要求，“显示给我所有我和Joe在一起时看到的事物”。

记忆模拟用户简档的可视化可实现增强的服务，诸如搜索。其可创建用户之前看到了什么的模型。这个可在以下被充分利用：现在用户先要看到的可能是用户较早前看到的或替换地不像用户较早前看到的(例如，用户想要看些不同的事物)。本概念可被应用到任意类型的内容，物理或数字、文本和/或图像。

尽管已用对结构特征和/或方法动作专用的语言描述了涉及可视化信息的技术、方法、设备、系统等，但可以理解，所附权利要求书中定义的主题不必限于所述具体特征或动作。相反，上述具体特征和动作是作为实现所要求保护的方法、设备、系统等的示例性形式而公开的。

Claims

1.一种可穿戴眼镜设备，包括：

镜框，所述镜框被配置成将所述可穿戴眼镜设备安置在用户的头部上；

第一传感器集，所述第一传感器集被配置成跟踪所述用户的眼睛的至少一个的朝向；

第二传感器集，所述第二传感器集被配置成同时地标识所述用户的视野；以及

关联组件，所述关联组件被配置成将所述用户的眼睛的所述朝向与所述视野中的位置关联并记录来自所述位置的内容。

2.如权利要求1所述的可穿戴眼镜设备，其特征在于，所述镜框还包括处理器、存储、和功率源。

3.如权利要求1所述的可穿戴眼镜设备，其特征在于，还包括由所述镜框支撑的透镜对。

4.如权利要求3所述的可穿戴眼镜设备，其特征在于，所述透镜对是矫正透镜。

5.如权利要求1所述的可穿戴眼镜设备，其特征在于，所述第一传感器集和所述第二传感器集是相同的传感器，或所述第一传感器集和所述第二传感器集是不同的传感器。

6.如权利要求1所述的可穿戴眼镜设备，其特征在于，还包括被配置用于投影能由所述第一传感器集检测到但不能由所述用户检测到的经图案化的图像的投影仪。

7.如权利要求6所述的可穿戴眼镜设备，其特征在于，所述关联组件被进一步配置成使用所述经图案化的图像来区分所述位置处的对象。

8.如权利要求7所述的可穿戴眼镜设备，其特征在于，所述关联组件被进一步配置成标识所述对象。

9.如权利要求8所述的可穿戴眼镜设备，其特征在于，所述关联组件被进一步配置成将所述对象的身份作为元数据相关联到所记录的内容。

10.一种可穿戴设备，包括：

被配置成标识用户正在看着的位置的传感器；以及

被配置成标识所述位置处的内容的内容关联组件。