CN103092338B

CN103092338B - 用个性化虚拟数据更新打印内容

Info

Publication number: CN103092338B
Application number: CN201210520999.3A
Authority: CN
Inventors: S·M·斯莫尔; A·A-A·基普曼; B·I·瓦特; K·S·佩雷斯
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-12-07
Filing date: 2012-12-06
Publication date: 2016-07-06
Anticipated expiration: 2032-12-06
Also published as: US9229231B2; US20130147838A1; TWI570622B; HK1183131A1; WO2013085927A1; CN103092338A; TW201337725A

Abstract

本发明涉及用个性化虚拟数据更新打印内容。本技术允许使用透视、近眼、混合现实显示设备系统来用个性化虚拟数据更新打印内容。例如书籍或杂志等打印内容项被从显示设备上的相机所捕捉的图像数据中标识，并且基于例如眼睛注视或姿势等物理动作用户输入来标识对打印内容项内的打印内容选择的用户选择。基于用户简档数据为打印内容选择从可用的虚拟数据中选择虚拟数据，并且该显示设备系统在与该打印内容选择的位置配准的位置中显示所选择的虚拟数据。在一些示例中，基于物理动作用户输入来确定与打印内容项有关的任务，并且根据该任务与该打印的内容项配准地显示个性化虚拟数据。

Description

用个性化虚拟数据更新打印内容

技术领域

本发明涉及混合现实，尤其涉及用个性化虚拟数据更新打印内容。

背景技术

静态的打印的材料可以被认为是一种形式的只读存储器，所述存储器不需要电力并且以对人眼可见的形式来存储其数据。此外，数据通常以人眼能够舒适阅读的格式来呈现，这种格式将打印的文字呈现在白色或另一种对比色的纸的对比物理背景上。而且，大量信息可被存储在诸如教科书等打印的材料中。然而，将文学内容永久设置在卡片、书籍、杂志和用于表达文学内容的其他打印的介质上也意味着不能针对读者改编所述内容。

发明内容

混合现实是一种允许将虚拟图像与现实世界视图相混合的技术。用户可佩戴透视、近眼、混合现实显示设备来观看现实对象和以用户的视野来显示的虚拟对象的混合图像。诸如头戴式显示（HMD）设备等近眼显示设备可以更新静态的打印材料中所体现的数据。换言之，实体书籍、杂志、或静态的打印材料的其他实施例在以下意义上成为了一种形式的动态存储器：打印的纸片、打印的卡片、或其他打印介质上出现的东西可以改变，并且可以基于用户简档（profile）数据来改变。

本发明技术提供一种使用透视、近眼、混合现实显示设备来用个性化的虚拟数据更新打印的内容的方法的实施例。该方法包括：标识透视、近眼、混合现实显示设备的视野中的打印内容项，以及基于物理动作用户输入来标识用户在打印内容项内选择的打印内容选择。打印的内容项的一些示例是书籍或杂志。打印内容选择的一些示例是字、短语、图解、或段落。物理动作用户输入的一些示例是用户生成的姿势、眼睛注视、以及声音或语音。

确定虚拟数据是否对打印内容选择可用，并且响应于虚拟数据对打印内容选择可用，基于用户简档数据从可用数据中选择虚拟数据。在与打印内容选择的位置配准的位置处显示该虚拟数据。虚拟数据是虚拟对象的图像数据，并且可以是二维（2D）或三维（3D）的。与现实对象（如打印内容选择）配准的虚拟对象或虚拟数据意味着该虚拟对象参考或取决于通过该透视显示设备所看到的打印内容选择的位置来跟踪该虚拟对象在该透视显示设备的视野中的位置。

本发明技术为用于用个性化的虚拟数据来更新打印内容的透视、近眼、混合现实显示设备系统提供了系统的实施例。该系统包括由支撑结构定位的透视显示器。支撑结构的一个示例是眼镜架。至少一个面向外的相机被定位在支撑结构上以捕捉该透视显示器的视野的图像数据。一个或多个软件控制的处理器能够访问所存储的用户简档数据并且通信地耦合到搜索引擎，所述搜索引擎能够访问一个或多个数据存储，所述数据存储包括作品的内容、布局和虚拟数据以及体现所述作品的打印内容项。

所述一个或多个软件控制的处理器通信地耦合到至少一个面向外的相机以用于接收视野的图像数据。基于该视野的图像数据，所述一个或多个软件控制的处理器标识选择打印内容项中的打印内容选择的用户物理动作。该一个或多个软件控制的处理器基于用户简档数据和打印内容选择从一个或多个数据存储中选择虚拟数据，并且通信地耦合到至少一个图像生成单元以供该透视显示器致使该单元显示该虚拟数据。

该技术提供一个或多个处理器可读存储设备的实施例，该存储设备具有编码于其上的指令，所述指令致使一个或多个处理器执行一种用于使用透视、近眼、混合现实显示设备来用个性化的虚拟数据更新打印内容的方法。该方法包括：标识透视、近眼、混合现实显示设备的视野中的打印内容项，以及基于物理动作用户输入来确定与该打印内容项有关的任务。执行该任务，并且根据该任务将该个性化的虚拟数据显示为与该内容项配准。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1A是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。

图1B是描绘透视、混合现实显示设备系统的另一实施例的示例组件的框图。

图1C是描绘将移动设备用作处理单元的透视、混合现实显示设备系统的另一实施例的示例组件的框图。

图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透明、混合现实显示设备的实施例中的镜架的镜腿的侧视图。

图2B是透视、近眼、混合现实设备的显示光学系统的实施例的俯视图。

图3是从软件角度来看的用于通过透视、混合现实显示设备系统来提供混合现实用户界面的系统的框图，在其中用于用个性化虚拟数据来更新打印内容的软件可操作。

图4A示出打印内容选择元数据记录的示例。

图4B示出与打印介质相关（medium-dependent）的以及与介质无关（medium-independent）的交叉引用内容数据存储的示例。

图5A是用于用个性化的虚拟数据来更新打印内容的方法的实施例的流程图。

图5B是用于用个性化的虚拟数据来更新打印内容的方法的另一实施例的流程图。

图6是用于标识透视、混合现实显示设备的视野中的打印内容项的过程的实施例的流程图。

图7A是用于标识用户的眼睛选择打印内容选择的至少一个物理动作的过程的实现示例的流程图。

图7B是用于标识用户的眼睛选择打印内容选择的的至少一个物理动作的过程的另一实现示例的流程图。

图7C是用于标识姿势选择打印内容选择的至少一个物理动作的过程的实现示例的流程图。

图8是用于生成用户定义的姿势并将该姿势与任务相关联的过程的实现示例的流程图。

图9是用于确定虚拟数据相对于打印材料的放置的过程的实现示例的流程图。

图10是用于基于用户简档数据来从可用虚拟数据中选择虚拟数据的过程的实现示例的流程图。

图11示出在博物馆布告（placard）的示例上下文中用个性化的虚拟数据来更新打印内容的示例。

图12A示出了标识用户在作为打印内容项的示例的书籍内选择打印内容选择的姿势的示例。

图12B示出了标识并显示与打印内容选择有关的数据的示例，所述数据是在从另一应用接收的用户的用户简档数据中标识的另一人的数据。

图13示出了执行与打印内容选择和透视、近眼、混合现实显示设备系统的用户的当前位置有关的方向任务的示例。

图14A是用于执行学习辅助任务的过程的实现示例的流程图，所述学习辅助任务基于用户问题来检索虚拟数据。

图14B示出了显示在一个或多个虚拟页面上格式化的虚拟数据的学习辅助任务的示例，所述虚拟页面看上去像是作为一个或多个相邻页面而被插入包括打印内容选择的页面。

图15A是用于执行单词学习辅助任务的示例的过程的实现示例的流程图。

图15B是用于执行单词学习辅助任务的示例的过程的另一实现示例的流程图。

图15C示出了显示单词的定义的单词学习辅助任务的示例。

图15D示出了显示单词的同义词的单词学习辅助任务的示例。

图16是用于执行以下任务的过程的实现的流程图：该任务允许用户用打印内容项中的一个或多个其他单词来替换至少一个单词。

图17是可用于实现网络可访问计算系统的计算系统的一个实施例的框图。

图18是可以在本技术的各实施例中操作的示例性移动设备的框图。

具体实施方式

本技术提供用于用基于用户简档数据且由透视、近眼、混合现实显示设备系统显示的虚拟数据更新静态的打印内容的各实施例。透视显示设备系统标识用户视野中的真实书籍、杂志、报纸或其他真实的打印材料。书籍、杂志、报纸、卡片或独立的纸片都是打印内容项的示例，对象识别软件能够从面向前的相机所捕捉的图像数据中标识这些打印内容项，所述相机被置于显示设备系统上用于捕捉该显示设备的视野中的对象，该显示设备的视野近似于用户透过该显示设备看时的视野。

在某些情况下，眼睛注视数据标识用户正聚焦于视野中的何处，并且能够因此标识用户正在看打印内容项的哪一部分。对打印材料的一部分的注视持续可将该部分标识为打印内容选择。注视持续是用户使用身体部位的物理动作的示例。由用户身体部位（诸如手或手指）执行并被捕捉在图像数据中的姿势也是物理动作用户输入的示例。眨眼或眼睛的眨动序列也可以是姿势。手、手指或其他身体部位的指向或特定移动姿势也可指示打印内容选择，比如单词、句子、段落或照片。用户生成的声音命令（诸如语音命令）也可以被认为是指示用户输入的物理动作的示例。基于声音的动作通常伴随比如姿势和眼睛注视等其他物理动作。

一旦用户选择了打印内容项或项内的打印内容选择（比如图片或文本），则可将基于用户简档数据所选择的相关联的2D或3D虚拟数据（诸如视频、图片、文本和全息图）与所述选择或者所述内容项的一部分配准。此外，可针对打印内容选择或内容项执行不同的任务或应用，其根据所述任务显示个性化虚拟数据。下面描述显示个性化虚拟数据的这些任务的一些示例，并且这些示例包括学习辅助任务、方向任务、以及允许用户替换或填入一个或多个单词（比如角色的名字或位置）的任务等示例。

图1A是描绘透视、增强或混合现实显示设备系统的实施例的示例组件的框图。系统8包括作为在此示例中通过线6或者在其他示例中无线地与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在该实施例中，头戴式显示设备2的框架115为眼镜的形状，该框架115具有针对每只眼睛的显示光学系统14，其中图像数据被投影到用户的眼睛中以生成图像数据的显示，同时用户还通过显示光学系统14观看以获得现实世界的实际直接视图。

使用术语“实际直接视图”来指直接用人眼看到现实世界对象，而非看到所创建的对象的图像表示的能力。例如，透过眼镜看房间将允许用户得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。每个显示光学系统14也被称为透视显示器，并且两个显示光学系统14一起也可以被称为透视显示器。

框架115提供用于将该系统的各元件保持在原位的支撑结构以及用于电连接的管道。在该实施例中，框架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑体。在此实施例中，框架115包括鼻梁架部分104，该鼻梁架部分104具有用于记录声音并传送音频数据的话筒110。框架的镜腿或侧臂102位于用户的每只耳朵上。在此示例中，右镜腿102r包括用于显示设备2的控制电路136。

如图2A和2B中所示，在该实施例中在每个镜腿102上还包括图像生成单元120。而且，在本视图中没有示出但在图2A和图2B中示出了面向外的相机113，所述相机113用于记录数字图像和视频并将视觉记录传送到控制电路136，控制电路136可进而将所捕捉的图像数据发送到处理单元4，处理单元4还可通过网络50将该数据发送到一个或多个计算机系统12。

处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可佩戴在用户的身体（例如腕）上的单独单元，或者可以是比如图1C中示出的所示移动设备4之类的单独设备。处理单元4可通过通信网络50与一个或多个计算系统12有线地或无线地通信（例如，WiFi、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其它无线通信装置），无论位于附近还是位于远程位置。在其他实施例中，处理单元4的功能可被集成在图1B的显示设备2的软件和硬件组件中。

可以充分利用远程的、网络可访问计算机系统12来处理电力和远程数据访问。应用可在计算系统12上执行，其中该应用与显示系统8交互或为显示系统8执行处理，或者该应用可以在透视、混合现实显示系统8中的一个或多个处理器上执行。图17示出了计算系统12的硬件组件的示例。

图1B是描绘可通过通信网络50与其他设备通信的透视、增强或混合现实显示设备系统8的另一个实施例的示例组件的框图。在此实施例中，显示设备2的控制电路136经由无线收发机（参见图2A中的137）通过通信网络50与一个或多个计算机系统12无线地通信。

图1C是将移动设备用作处理单元4的透视、混合现实显示设备系统的另一实施例的框图。移动设备4的硬件和软件组件（诸如包含在智能电话或平板计算设备中）的示例在图18中描述。移动设备4的显示器7还可显示用于执行应用的数据（例如菜单），并且该显示器7可以是触摸敏感的，以接受用户输入。移动设备4的一些其他示例是智能电话、膝上型计算机或笔记本计算机以及上网本计算机。

图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备2的实施例中的框架115的镜腿102的侧视图。面向物理环境的摄像机113位于框架115前方，该摄像机能够捕捉现实世界的视频和静止图像，以映射在透视显示器的视野中并因此在用户的视野中的现实对象。所述相机还被称为面向外的相机，意思是从用户的头部面向外。每个面向前的相机113是相对于其相应的显示光学系统14的参考点来校准的，以使得可以从相应相机113所捕捉的图像数据来确定显示光学系统14的视野。这样的参考点的一个示例是其相应显示光学系统14的光轴（参见图2B中的142）。该图像数据通常是彩色图像数据。

在许多实施例中，两个相机113提供重叠的图像数据，从所述图像数据中可以基于立体视觉确定所述场景中的对象的深度信息。在一些示例中，所述相机还可以是深度敏感相机，所述深度敏感相机传送并检测红外光，从红外光可确定深度数据。该处理标识并映射用户的现实世界视野。可以包括在头戴式显示设备2上的深度感测技术的一些示例为、但不限于SONAR、LIDAR、结构化光和/或飞行时间。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。在该示例中，右镜腿102r包括用于显示设备2的控制电路136，该控制电路包括处理单元210、处理单元210可访问的用于存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的无线接口137、以及电源239，该电源为控制电路136的各组件以及显示器2的其他组件（如相机113、话筒110和下面讨论的传感器单元）提供电力。处理单元210可包括一个或多个处理器，包括中央处理单元（CPU）和图形处理单元（GPU）。

耳机130、惯性传感器132、一个或多个位置或邻近传感器144（其一些示例是GPS收发机、红外（IR）收发机、或用于处理RFID数据的射频收发机）位于镜腿102内部或安装到镜腿102。可选的电脉冲传感器128经由眼睛移动检测命令。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。在此实施例中，在其操作中使用模拟信号的设备（比如传感器设备144、128、130和132以及下面讨论的话筒110和IR照明器134A）的每一个包括控制电路，该控制电路与数字处理单元210和存储器244接口，并且为其相应的设备产生并转换模拟信号。

产生表示图像的可见光的图像源或图像生成单元120安装在镜腿102上或镜腿102内。在一个实施例中，图像源包括用于投射一个或多个虚拟对象的图像的微显示器120和用于将图像从微显示器120定向到反射表面或元件124的耦合光学透镜系统122。微显示器120可以以各种技术实现，包括投射投影技术、微有机发光二极管（OLED）技术、或反射技术，比如数字光处理（DLP）、硅基液晶（LCOS）、以及来自高通有限公司的显示技术。反射表面124将光从微显示器120定向到光导光学元件112，光导光学元件112将表示图像的光定向到用户的眼睛。可将虚拟对象的图像数据与现实对象配准，这意味着当现实对象在透视显示器14的视野中时虚拟对象跟踪其位置到通过透视显示设备2看到的现实对象的位置。

在一些实施例中，为了增强而被跟踪的一个或多个打印内容选择可被打印有一个或多个标记以改善对内容选择的检测。标记还可包括描述内容选择的元数据。例如，杂志中的照片可被打印有IR回射标记或RFID标签，所述标记或标签包括照片中的人的标识符、以及拍摄该照片的地点、日期和一天中的时间。此外，可包括已打印有标识符的作品的一个或多个打印或电子版本的标识符。IR或RFID单元144可检测所述标记并将其包含的数据发送到控制电路136。

图2B是包括显示光学系统14的透视、近眼、混合现实显示设备的一侧的实施例的俯视图。近眼显示设备2的框架115的一部分将围绕显示光学系统14以用于提供支撑和进行电连接。为了示出头戴式显示设备2中的显示光学系统14（在该情况下是右眼系统14r）的各个组件，围绕显示光学系统的框架115的一部分未被描绘。

在所示实施例中，显示光学系统14是集成眼睛跟踪和显示系统。该系统包括光导光学元件112、不透明度滤光器114、以及可选的透视透镜116和透视透镜118。用于增强虚拟图像的对比度的不透明度滤光器114处于任选的透视透镜116之后并与其对齐，用于投影来自微显示器120的图像数据的光导光学元件112处于不透明度滤光器114之后并与其对齐，而任选的透视透镜118处于光导光学元件112之后并与其对齐。下面提供光导光学元件112和不透明度滤光器114的更多细节。

光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件112还允许如表示显示光学系统14r的光轴的箭头142所示那样将来自头戴式显示设备2的前方的光通过光导光学元件112传送到眼睛140，由此除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射表面124（例如镜面或其他表面）。来自微显示器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微显示器120的入射光以使得所述光被困在波导内，在本实施例中该波导为平面波导。代表性的反射元件126表示一个或多个光学元件，比如镜、光栅以及将表示图像的可见光从平面波导引导向用户眼睛140的其他光学元件。

红外照明和反射还横穿平面波导112以供眼睛跟踪系统134跟踪用户眼睛的位置。用户眼睛的位置和眼睛的图像数据一般可用于诸如注视检测、眨眼命令检测、以及收集指示该用户的个人存在状态（stateofbeing）的生物测定信息等应用。眼睛跟踪系统134包括在此示例中位于透镜118和镜腿102之间的眼睛跟踪照明源134A以及眼睛跟踪IR传感器134B。在一个实施例中，眼睛跟踪照明源134A可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外（IR）发射器（诸如红外发光二极管（LED）或激光器（例如，VCSEL））。在一些实施例中，眼睛跟踪传感器134B可以是用于跟踪闪光位置的IR相机或IR位置敏感检测器（PSD）。

在此实施例中将平面波导用作光导光学元件112允许为图像生成单元120、照明源134A以及IR传感器134B灵活地放置进出波导的光路的进入和退出光学耦合。在此实施例中，波长选择滤光器123使来自反射表面124的可见光谱光通过并且将来自眼睛跟踪照明源134A的红外波长照明引导到平面波导112中，波长选择滤光器125使来自微显示器120的可见照明和来自源134A的IR照明以向鼻梁架104的方向前进的光学路径穿过。在此示例中的反射元件126还表示实现了双向红外（IR）滤光的一个或多个光学元件，其将IR照明导向眼睛140（优选地以光轴142为中心）并从用户眼睛140接收IR反射。除了上面提到的光栅等等之外，还可使用一个或多个热镜（hotmirror）来实现红外滤光。在本示例中，IR传感器134B也光学地耦合到波长选择滤光器125，波长选择滤光器125仅将来自波导的红外辐射（包括用户眼睛140的红外反射，优选地包括在光轴142周围捕捉的反射）导出波导112并导入到IR传感器134B中。

在其他实施例中，眼睛跟踪单元光学器件未与显示光学器件集成。关于HMD设备的眼睛跟踪系统的更多示例，参见于2008年7月22日颁发给Kranz等人的名称为“HeadMountedEyeTrackingandDisplaySystem（头戴式眼睛跟踪和显示系统）”的美国专利7,401,920；参见Lewis等人的于2011年8月30日提交的名称为“GazeDetectioninaSee-Through,Near-Eye,MixedRealityDisplay（透视、近眼、混合扩增现实显示器中的注视检测）”的美国专利申请号13/245,739；以及参见Bohn的于2011年9月26日提交的名称为“IntegratedEyeTrackingandDisplaySystem（集成眼睛跟踪和显示系统）”的美国专利申请号13/245,700，所有这些申请作为引入并入在此。

用于跟踪眼睛的方向的另一实施例基于电荷跟踪。该方案基于如下观察：视网膜携带可测量的正电荷并且角膜具有负电荷。在某些实施例中，传感器128安装在用户的耳朵附近（靠近耳机130）以检测眼睛在转动时的电势并且有效地实时读出眼睛正在进行的动作。

（参见2010年2月19日的“Controlyourmobilemusicwitheyeball-activatedearphones!（用眼球激活的耳机控制你的移动音乐！）”http://www.wirefresh.com/control-your-mobile-music-with-eyeball-actvated-headphones，其通过引用将其并入在此）。

眨眼可作为命令被跟踪。还可使用用于跟踪眼睛移动（诸如眨眼）的其他实施例，其基于在来自装载在眼镜内部上的小眼睛跟踪相机134B的图像数据中进行模式和运动识别。眼睛跟踪相机134B在控制电路136的控制下将图像数据的缓冲发送到存储器244。

与光导光学元件112对齐的不透明度滤光器114选择性地阻挡自然光使其不穿过光导光学元件112以用于增强虚拟图像的对比度。当系统为增强现实显示器而呈现场景时，该系统注意到哪些现实世界对象处于哪些虚拟对象之前，反之亦然。如果虚拟对象处于现实世界对象之前，则不透明度对于该虚拟对象的覆盖区域而言被开启。如果虚拟对象（虚拟地）处于现实世界对象之后，则不透明度以及该显示区域的任何颜色都被关闭，使得对于现实光的该相应区域而言，用户将会仅仅看到现实世界对象。不透明度滤光器帮助使虚拟对象的图像表现得更真实并且表示全范围的颜色和强度。在该实施例中，不透明度滤光器的电控制电路（未示出）通过路由经过框架的电连接从控制电路136接收指令。

再者，图2A、2B仅示出头戴式显示设备2的一半。完整的头戴式显示设备可包括另一组可选透视透镜116和118、另一不透明度滤光器114、另一光导光学元件112、另一微显示器120、另一透镜系统122、面向物理环境的相机113（也称面向外或面向前的相机113）、眼睛跟踪组件134、耳机130、以及传感器128（如果存在）。在通过引用全部包含于此的2010年10月15日提交的题为“FusingVirtualContentIntoRealContent（将虚拟内容融合到现实内容中）”的美国专利申请号12/905952中示出头戴式显示器2的附加细节。

图3示出了从软件角度来看的计算环境实施例，该计算环境实施例可由显示设备系统8、与该显示设备系统通信的远程计算系统12或两者来实现。网络连通性允许充分利用可用的计算资源。计算环境54可以使用一个或多个计算机系统实现。如图3的实施例中所示，计算环境54的软件组件包括与操作系统190通信的图像和音频处理引擎191。图像和音频处理引擎191包括对象识别引擎192、姿势识别引擎193、声音识别引擎194、虚拟数据引擎195、以及可选的眼睛跟踪软件196（如果使用了眼睛跟踪的话），这些均彼此通信。图像和音频处理引擎191处理从捕捉设备（诸如面向外的相机113）接收的视频、图像和音频数据。为了帮助检测和/或跟踪对象，图像和音频处理引擎191的对象识别引擎192可通过一个或多个通信网络50来访问结构数据200的一个或多个数据库。

虚拟数据引擎195处理虚拟对象并使虚拟对象的位置和定向相关于一个或多个坐标系配准。此外，虚拟数据引擎195使用标准图像处理方法来执行平移、旋转、缩放和视角操作以使虚拟对象显得逼真。虚拟对象位置可与相应的现实对象的位置配准或取决于该现实对象的位置。虚拟数据引擎195确定虚拟对象的图像数据在每个显示光学系统14的显示坐标中的位置。虚拟数据引擎195还可确定虚拟对象在显示设备系统8或计算系统12的存储器单元中所存储的现实世界环境的各个地图中的位置。一个地图可以是显示设备相对于用于逼近用户眼睛的位置的一个或多个参考点的视野。例如，透视显示光学系统14的光轴可被用作这样的参考点。在其他示例中，现实世界环境地图可以独立于显示设备，例如，为一地点（例如，商店、咖啡店、博物馆）的3D地图或模型。

计算系统12或显示设备8或两者的一个或多个处理器还执行对象识别引擎192来标识由面向环境的相机113所捕捉的图像数据中的现实对象。与在其他图像处理应用中一样，人可以是一种类型的对象。例如，对象识别引擎192可基于结构数据200来实现模式识别来检测特定对象，包括人。对象识别引擎192还可包括面部识别软件，该面部识别软件被用来检测特定人的面部。

结构数据200可以包括关于要跟踪的目标和/或对象的结构信息。例如，可以存储人类的骨架模型以帮助识别身体部位。在另一示例中，结构数据200可以包括关于一个或多个无生命对象的结构信息以便帮助识别所述一个或多个无生命对象。结构数据200可以将结构信息作为图像数据来存储或者将图像数据用作模式识别的参考。图像数据还可用于面部识别。因为打印材料通常包括文本，结构数据200可包括一个或多个图像数据存储，该图像数据存储包括数字、符号（例如，数学符号）、以及来自由不同语言所使用的字母表的字母和字符的图像。此外，结构数据200可包括用于识别的用户的手写样本。基于图像数据，动态的打印材料应用202可将图像数据转换成用于具有较小的存储器占用的文本的计算机标准化的数据格式。计算机标准化的文本数据格式的一些示例是基于通用字符集（UCS）的统一码（Unicode）以及美国信息交换标准码（ASCII）格式。随后可对照数据库来搜索文本数据以查找包括该文本的内容的标识或查找与该文本的内容有关的相关信息。

在对象识别引擎192检测到一个或多个对象之后，图像和音频处理引擎191可向操作系统190报告所检测到的每个对象的标识以及相应的位置和/或定向，操作系统190将该标识和位置和/或定向一直传送到比如动态的打印材料应用202等应用。

声音识别引擎194处理经由话筒110接收的音频。

在显示设备系统8的实施例中，面向外的相机113结合姿势识别引擎193来实现自然用户界面（NUI）。眼睛跟踪软件196所标识的眨眼命令或注视持续数据也是物理动作用户输入的示例。语音命令也可对诸如姿势和眼睛注视等所识别的其他物理动作进行补充。

姿势识别引擎193可以标识出由用户执行的、将控制或命令指示给执行中的应用的的动作。该动作可以由用户的身体部位（例如在阅读应用中通常为手或手指）来执行，但是眼睛的眼睛眨眼序列也可以是姿势。在一个实施例中，姿势识别引擎193包括姿势过滤器的集合，每个姿势过滤器都包括关于可由骨架模型至少一部分执行的姿势的信息。姿势识别引擎193将从所捕捉的图像数据中导出的骨架模型和与其相关联的移动与姿势库中的姿势过滤器进行比较来标识出用户（其由骨架模型来表示）何时执行了一个或多个姿势。在一些示例中，在与同显示设备系统8或计算系统12通信的显示设备2相分离的现实环境中的相机（特别是深度相机）可检测姿势并将通知转发到系统8、12。在其他示例中，姿势可在相机113的视图中由身体部位（诸如用户的手或一个或多个手指）来执行。

在一些示例中，在姿势训练会话期间将图像数据与用户的手或手指的图像模型进行匹配，而非进行骨架跟踪可用于识别姿势。

关于对象的检测和跟踪的更多信息可在2009年12月18日提交的名为“MotionDetectionUsingDepthImages（使用深度图像的运动检测）”的美国专利申请12/641,788，以及名为“DeviceforIdentifyingandTrackingMultipleHumansoverTime（用于随时间标识和跟踪多个人类的设备）”的美国专利申请12/475,308中找到，这两个申请的全部内容通过引用并入本申请。关于姿势识别引擎193的更多信息可以在2009年4月13日提交的名为“GestureRecognitionSystemArchitecture（姿势识别器系统架构）”的美国专利申请12/422,661中找到，该申请通过整体引用合并于此。关于识别姿势的更多信息可在2009年2月23日提交的名为“StandardGestures（标准姿势）”的美国专利申请12/391,150；以及2009年5月29日提交的名为“GestureTool（姿势工具）”的美国专利申请12/474,655中找到，这两个申请的全部内容通过引用并入本申请。

计算环境54还将数据存储在图像和音频数据缓存器199中。缓冲器提供：用于接收从面向外的相机113捕捉的图像数据、来自该眼睛跟踪部件（如果被使用的话）的眼睛跟踪相机的图像数据的存储器，用于保持要由图像生成单元120显示的虚拟对象的图像数据的缓冲器，以及用于经由话筒110来自用户的语音命令等音频数据以及要经由耳机130发送到用户的指令的缓冲器。

设备数据198可以包括：计算机系统8的唯一标识符、网络地址（例如IP地址）、型号、配置参数（诸如所安装的设备）、操作系统的标识、以及什么应用在该显示设备系统8中可用并正在该显示系统8中执行等等。尤其对于透视、混合现实显示设备系统8，该设备数据还可包括来自传感器的或从所述传感器（诸如定向传感器132、温度传感器138、话筒110、电脉冲传感器128（如果存在）、以及位置和邻近收发机144）确定的数据。

在此实施例中，显示设备系统8和用户所使用的其他基于处理器的系统161执行客户端侧版本的推送服务应用204_N，所述推送服务应用204_N通过通信网络50与信息推送服务引擎204通信。在此实施例中信息推送服务引擎或应用204是基于云的。基于云的引擎可包括在一个或多个联网计算机系统上执行并通过该一个或多个联网计算机系统存储数据的一个或多个软件应用。该引擎不被束缚于特定位置。基于云的软件的一些示例是社交联网站点和基于web的电子邮件站点，比如和用户可向信息推送服务引擎204注册帐户，该信息推送服务引擎授予信息推送服务监视以下数据的许可：用户正在执行的应用及其生成和接收的数据以及用户简档数据197，以及用于跟踪用户的地点和设备能力的设备数据198。基于从用户的系统8、161聚集的用户简档数据、由用户所使用的系统8、161上的正在执行的应用所接收和发送的数据、以及设备数据198₁、198_N中所存储的位置和其他传感器数据，信息推送服务204可确定用户的物理上下文、社交上下文、个人上下文（比如存在状态）或者各上下文的组合。

用户简档数据的本地副本197₁、197_N可存储相同用户简档数据197的一部分并且客户端侧推送服务应用204₁可通过通信网络50周期性地用由计算机系统12存储在可访问数据库197中的用户简档数据更新其本地副本。用户简档数据197一些示例是：用户所表达的偏好、用户的朋友的列表、用户的偏好活动、用户的最爱（用户的最爱的示例包括最爱的颜色、最爱的食物、最爱的书、最爱的作者等）、用户的提醒的列表、用户的社交团体、用户的当前位置、以及其他用户创建的内容，诸如用户的照片、图像和录制的视频。在一个实施例中，用户特定的信息可以从一个或多个数据源或应用获得，数据源或应用为诸如信息推送服务204、用户的社交联网站点、联系人或地址簿、来自日历应用的排程数据、电子邮件数据、即时消息收发数据、用户简档或者因特网上的其他源以及该用户直接输入的数据。如同下面讨论的，存在状态可以从眼睛数据推导得出并且可以被本地地或由远程推送服务应用204更新并存储在用户简档数据197中。在此实施例中，网络可访问的存在状态规则179将所标识的眼睛数据作为用于推导存在状态的参考与所述存在状态相链接。

信任等级可通过用户简档数据197来确定，用户简档数据将用户认识的人标识成例如社交网络朋友和共享相同游戏服务的家庭成员，可以基于信任等级将这些人细分为不同的分组。此外，用户可以使用客户端侧推送服务应用204_N在他们的用户简档数据197中显式地标识信任等级。在一个实施例中，基于云的信息推送服务引擎204聚集来自存储在用户的不同用户计算机系统8、161上的用户简档数据197_N的数据。

推送服务应用204的每个版本还在用户简档数据197中存储该用户的跟踪历史。跟踪在跟踪历史中的事件、人和物的一些示例是：所访问的地点、事务、购买的内容和现实物品、阅读历史、观看历史（包括对电视、电影和视频的观看）以及所检测到的与该用户交互过的人。如果电子地标识的朋友（例如，社交网络朋友）也向推送服务应用204注册，或者他们通过其他应用166使信息对用户可用或公开可用，则推送服务应用204也可使用此数据来跟踪该用户的内容和社交上下文。

如同下面进一步讨论的，动态的打印材料应用202可访问一个或多个搜索引擎203来访问用于标识打印内容选择和包括所述打印内容选择的打印内容项的信息以及相关的虚拟数据205。可被搜索以查找标识和相关虚拟数据的资源的示例被示出为发布者数据库207和用于因特网搜索的索引的与打印内容相关的资源209。例如，可访问通用搜索引擎（比如或）以及对公众可用或基于订阅（如在用户简档数据中可标识的）而可用的国会图书馆、大学图书馆或发布者数据库的搜索引擎。发布者可具有指向其数据库207中的虚拟内容的指针，因为发布者可能具有用于鼓励为其打印材料开发虚拟内容的业务模型。此外，与发布者不相关的实体或者希望维护他们自己的数据资源的人可能希望使虚拟内容可通过他们自己的网站（所述网站是因特网索引的资源）来得到。通过对从打印内容选择和包含打印内容选择的打印内容项的图像数据导出的信息进行搜索，可以用值来填充用于打印内容选择的元数据201中的数据字段。下面讨论的图4A提供了打印内容选择的元数据记录的示例。

该技术的一个优势在于：更新在没有针对虚拟增强的任何计划的情况下打印出来的先前发布的材料的能力。如同下面讨论的，用户可被请求查看有关打印内容的打印版本标识数据，例如书籍或报纸的标题页或杂志的内容表。版本标识数据的其他示例是标准化标识符，标准化标识符的一个示例是书籍的国际标准书籍号（ISBN）。书籍上的ISBN号标识诸如该书籍的语言组、发布者、标题和版次或变体等数据。对于期刊，国际标准序列号（ISSN）标识期刊的标题，而连续出版物和及其单篇文献的标识（SICI）是用来标识具体的卷、文章或期刊的其他可标识部分的标准。例如，ISSN可标识期刊，例如杂志“头戴式显示器”，而SCSI通过书目项（bibliographicitems）来标识文章，书目项的一些示例是标题、卷和号码、发行日期、开始和结束页以及内容格式，例如，用于打印文本的TX。其他内容格式可指示web发布和视听格式。来自面向外的相机的图像数据或从被查看的标识数据的图像数据转换的文本被发送到一个或多个搜索引擎203。

一旦用户正在看的作品的打印版本被标识且在其中定位了打印内容选择，则动态的打印材料应用202可查询一个或多个搜索引擎203以基于包括该打印内容选择的打印内容项来搜索该打印内容选择的虚拟内容数据205。在一些实施例中，该虚拟内容数据与作品或作品版本（包括内容选择）相关联，而与表达该内容的介质无关。例如，纸或其他可打印材料是介质的示例。表达作品的另一介质是电子显示器或音频记录。

在一些情况下，虚拟数据205是特别生成来供布置在特定的打印版上（例如，在书籍的特定页或者打印的材料的其他细分上）时与内容选择有关地出现的数据。例如，博物馆可具有多个虚拟内容数据选择，所述虚拟内容数据选择基于用户的年龄以及所跟踪的阅读和观看历史（它们指示对该主题的兴趣）而对与展览项相关联的博物馆布告可用。用于每个虚拟数据选择的图像数据可被特别地格式化以覆盖该布告或仅覆盖该布告的若干部分。

在其他示例中，虚拟内容205绑定到与介质无关的作品或作品版本。例如，教授可将她在不同点处做出的她的笔记存储在一教科书的她的打印版本中，以可用于该教科书的、与介质无关的任何版本。换言之，教科书的内容是作品。该教科书的当前的、先前的和未来的版本是作品的版本。动态的打印材料应用202将每个笔记链接到作品的与介质无关的组织中的该作品的细分。例如，可将笔记链接到可通过执行用于文本匹配的软件指令来标识的特定段落中的短语。段落是一种与介质无关的细分，而页面依赖于特定的打印或电子布局。教科书的具有较小印刷字体的平装副本与该教科书的用较大印刷字体的精装副本是不同的打印作品版本，但是它们包含该教科书内容的完全相同的版本。，教授可通过向上她的课的学生或过去的学生授予许可和访问权来允许她的虚拟笔记可用于在她的判断下存储或流传输给这些学生。

图4A示出了打印内容选择元数据记录的示例，该元数据记录包括打印内容选择描述性数据210、打印内容项版本标识符212、打印内容选择位置数据214、作品版本标识符216、以及作品版本位置数据218（如果适用）、作品标识符220和作品位置数据222。作品标识符220与特定格式或介质无关地标识该创造性作品。作品位置数据222按照一个或多个与介质无关的细分（比如段落、诗节、诗篇等）来标识打印内容选择的一个或多个位置。可包括作品版本标识符216，以描述作品210的不同版本或版次（例如，翻译），其也与特定的格式或介质无关。还可按照一个或多个与介质无关的细分来定义作品版本位置218。打印内容项版本标识符212标识特定的打印布局的特定的打印版次。打印版本标识符212绑定于为纸或被物理打印的其他材料的介质。打印内容选择位置数据214可以按照具体的静态打印布局位置，比如页面或页面上的位置。

例如，诗“贝奥武夫（Beowulf）”是一个作品。该诗的原始的旧英语形式是一个作品版本，如同用现代英语词汇替换了一些单词的是一个版本一样。版本的另一示例是法语译文。另一示例将是用评论做脚注的原始的旧英语诗。打印版本标识符212可标识图书馆中保存的一片或多片牛皮纸上的该诗的打印版本。这一打印的版本还将具有原始的旧英语形式的作品版本标识符以及与其相关联的贝奥武夫的作品标识符。不同的打印内容项版本标识符212标识已打印了贝奥武夫的用在其第37页开始的评论做了脚注的版本的英语文献的选集。这一不同的打印版本与该诗的原始的旧英语形式具有不同的打印内容项版本标识符212和作品版本标识符，但是具有相同的作品标识符。对于用户所选择的该诗的选集版本内的内容，打印内容选择的位置数据按照第37页。在此情况下，同样，作品版本位置数据218和作品位置数据222包括相同的诗节。

图4B示出打印的与介质相关的和与介质无关的内容数据存储的示例，这些数据存储在此处被示为交叉引用数据库。这些数据库211、213、215提供对包括内容选择的特定布局的访问。所述布局可以与介质无关或与介质相关。在此示例中，打印内容项版本标识符212、作品版本标识符216、或作品标识符220中的任一个可被用来交叉引用或索引到与介质无关的作品211和作品版本数据库213和与介质无关的或布局特定的打印内容项数据库215中任一个。作品的布局或位置数据、任何作品版本以及该作品的各个打印内容项版本也被交叉引用。同样，与介质无关的细分标识符的一些示例可以是向作品或作品版本提供与介质无关的组织的段落、诗节、诗篇等等。作品中的第80段在一个打印内容项版本中可以被交叉引用到第16页，且在另一打印内容项版本中被交叉引用到该作品的较大印刷字体版次中的第24页。经由打印内容项版本标识符212，开发者能够链接到打印内容项数据库215中的打印版本（例如，特定的版次）的打印布局。打印布局包括比如以下事项：页码、页边距宽度、页眉和页脚内容、字体大小、图示和照片的位置及其在页面上的大小、以及其他这种布局专用的信息。

发布者可以提供对他们的有版权的作品的数据存储的访问，以用于标识目的并作为针对虚拟内容的开发者的对该作品的布局、作品版本或打印的版本的参考。通过能够访问作品的布局、特定作品版本和特定的打印内容项版本，开发者能够为作品的与介质无关和与介质相关版本创建虚拟内容205。如所示，数据库211、213、215和虚拟内容205可彼此交叉引用。

对于没有版权的作品，可以在处于图书馆（特别是具有大的收集的那些图书馆，诸如国会图书馆、其他国家图书馆、大学、以及大的公共图书馆、以及书籍编辑网站，比如Google和由大学维护的站点）控制下的数据存储中搜索作品的副本、作品版本或打印的内容的版本，以获得将参考位置数据214、218、222引用到的布局。

响应于可用虚拟数据选择被标识，动态的打印材料应用202基于存储在可访问存储器中的虚拟数据选择规则198来从可用虚拟数据选择的候选中选择虚拟数据，该存储器可以是本地的，但是也可以是网络可访问的。虚拟数据选择规则198提供了用于标识用户简档数据197中与内容项或选择有关的相关用户数据以及虚拟数据的可用候选的逻辑。

在以下各图中呈现用于该技术的方法的实施例以及所述方法的一些步骤的示例实现过程。为说明目的，下面的方法实施例是在上述系统实施例的上下文中描述的。然而，所述方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。

图5A是用于用个性化虚拟数据来更新打印内容的方法的实施例的流程图。对象识别引擎192可将在透视、混合现实显示设备的视野中的对象识别为一项打印材料（例如，书籍或期刊或仅是一片纸），并且由操作系统190向动态的打印材料应用202通知该对象识别。在步骤302，动态的打印材料应用202标识打印内容项，并且在步骤304中基于物理动作用户输入来标识用户在打印内容项内选择的打印内容选择。在步骤303中，动态的打印材料应用202确定虚拟数据是否可用于打印内容选择，并且如果为否，则在步骤305中将控制返回到动态的打印材料应用202的另一方面或在显示设备系统8中执行的另一应用，直到另一打印内容选择被标识为止。

如果存在可用于打印内容选择的虚拟数据，则在步骤307中，应用202基于用户简档数据从可用虚拟数据中选择虚拟数据，并且在步骤309中致使将虚拟数据显示在与打印内容选择的位置配准的位置中。

图5B是用于用个性化虚拟数据来更新打印内容的方法的另一实施例的流程图。步骤302如在图5A一样执行。在步骤306，动态的打印材料应用202基于物理动作用户输入来确定与打印内容项有关的任务，并且在步骤308中执行该任务。在步骤310中根据该任务显示与打印内容项有关的个性化虚拟数据。

下面描述了显示个性化虚拟数据的任务的一些示例，并且这些示例包括学习辅助任务、方向任务、以及允许用户替换或填入角色的名字或位置的任务。如同上面提到的，用户也可定义任务。

图6是用于标识透视、混合现实显示设备的视野中的打印内容项的过程的实施例的流程图。在步骤312中，动态的打印材料应用202电子地输出请求用户将打印内容项的一个或多个版本标识片段放置到显示设备2的视野中的指令。版本标识部分的一些示例是上面讨论的ISBN、ISSN和SICI号、报纸或杂志的封面、标题页面、首页、内容表、以及版权页。书籍的版权页通常以标准格式提供ISBN号、标题、印刷日期、版次、作者、发布者以及关于先前的版权的信息。该一个或多个版本标识部分可在图像数据中被标识，例如，基于版权页的模板或用于ISBN、ISSN和SICI的标准数字格式的模板以及被提取并放入比如文本、作者、发布者等预定搜索字段中的数据。在其他示例中，可基于字母表结构数据200来标识页面上的文本将并该文本转换成用于查询的计算机标准文本数据格式。

在步骤314中，基于该一个或多个版本标识片段来制定查询，并在步骤316中将该查询发送到搜索引擎以查找打印内容项版本标识符。动态的打印材料应用202在步骤318中接收打印内容项版本标识符。可选地，在步骤320中，响应于验证打印内容项的身份，动态的打印材料应用202接收与介质无关的作品标识符以及任何适用的与介质无关的作品版本标识符。动态应用202还可通过将打印内容项版本标识符212用作发布者数据库207或因特网索引的资源209中的索引来接收作品标识符和作品版本标识符。

图7A是用于标识用户眼睛选择打印内容选择的至少一个物理动作的过程的实现示例的流程图。眼睛跟踪软件196通常基于瞳孔位置来标识眼睛在眼眶内的位置，但是虹膜位置也可以作为基础。在步骤322中，动态的打印材料应用202确定用户注视打印内容对象的持续时间已经超过了时间窗口，并且在步骤324中，致使图像生成单元120显示勾勒出打印内容对象的视觉增强。在步骤326中，响应于标识物理动作用户输入确认，动态的打印材料应用202将打印内容对象标识为用户的打印内容选择。物理动作用户输入确认的一些示例是比如指示“是”或“选择”或对任务的请求的眨眼、姿势或语音命令的动作。用户可通过对视觉增强（例如轮廓）的物理动作来指示确认之外的命令，比如改变该视觉增强的形状来包括更多或更少的内容或指示“否”或“取消”的姿势、眨眼或语音命令。

图7B是用于标识用户眼睛选择打印内容选择的至少一个物理动作的过程的另一实现示例的流程图。在步骤322中，动态的打印材料应用202标识用户眼睛在用户注视打印内容对象期间的选择动作，并且在步骤334中，致使图像生成单元120显示勾勒出该打印内容对象的视觉增强。在步骤336中，响应于标识物理动作用户输入确认，动态的打印材料应用202将该打印内容对象标识为用户的打印内容选择。

图7C是用于标识一姿势选择打印内容选择的至少一个物理动作的过程的实现示例的实施例的流程图。在步骤342中，动态的打印材料应用202接收已经检测到手指在打印内容材料的一部分（例如，一页）上的开始姿势的通知，并且在步骤344中致使图像生成单元120显示勾勒手指在打印内容材料的该部分上的移动的视觉增强。在步骤346中，动态的打印材料应用202接收已经检测到手指在该打印内容材料上的停止姿势的通知。因为手指通常在用户正在阅读的页或片或卡片的某个部分上，所以开始和停止姿势对用户正在做出请求的时候与用户只是移动手指位置的时候做出清楚的区分。其他过程示例可不要求开始和停止姿势，而是改为基于监视随时间的用户手指行为来将移动与姿势进行区分。在步骤348中，响应于标识物理动作用户输入确认，动态的打印材料应用202将该打印内容对象标识为用户的打印内容选择。

图8是用于生成用户定义的姿势并将该姿势与任务相关联的过程的实现示例的流程图。步骤352中的动态的打印材料应用202显示可用于打印内容选择的任务的菜单，其可包括用户定义的任务。用户定义的任务的示例将是用户选择内容并执行查询以查找有关该内容的评论。用户可保存该特定搜索查询，或将对查找评论的标准的搜索项保存为任务。当用户选择不同内容选择的评论任务时，检索该不同内容选择的评论。

动态的打印材料应用202在步骤354中接收选择定义姿势的用户输入，并在步骤356中接收从菜单选择任务或子任务的用户输入。面向外的相机113在步骤358中捕捉由该用户执行的姿势的图像数据（向动态的打印材料应用202通知了所述姿势），并在步骤360中，动态的打印材料应用202将所述姿势与对菜单中所选择的任务或子任务的请求相关联。

一些打印材料（比如书籍和期刊）可能是用包括用于虚拟数据的指定点的布局打印的。例如，挨着照片（该照片具有带标识该照片的元数据的标记和有关的虚拟内容或数据）的可以是预定尺寸的空间，所述有关的虚拟内容适合放入该空间。该空间也可具有标识要在那里显示的虚拟数据的标记，例如RFID标签或IR标记。然而，即便对于为了通过虚拟数据进行增强而被预先打印的内容，用户也可能激活诸如搜索任务等任务并接收该页面并未针对其预先格式化的数据。在显示设备系统8上的计算环境54、远程计算机系统12或两者中执行的软件确定要将虚拟数据放置于何处。用户也可通过物理动作来指定放置。例如，用户可注视虚拟数据一持续时间，并随后注视片或页上的空白点。在另一示例中，用户可用手指指向虚拟对象并拖动该手指到该片或页上的另一点。

图9是用于确定虚拟数据相对于打印材料的放置的过程的实现示例的流程图。在此示例中，动态的打印材料应用202具有要从中进行选择的、与打印内容选择有关的多个预定位置选项。用户可按照他或她的偏好从预定位置移动虚拟数据。在此示例中，在步骤353中，动态的打印材料应用202确定适用的执行任务是否请求替换位置。例如，一任务可能是个性化任务，该个性化任务具有改变角色名称或将角色名称插入到那些读者或者一个或多个用户指定的人中的子任务。如果想要替换，则动态的应用202在步骤355中为打印内容选择在一替换位置显示虚拟内容。在步骤357中，响应于执行任务不请求替换位置，动态的打印材料应用202确定虚拟数据内容是否合适放到行间位置并仍旧满足可见性标准。行间位置是文本的各行之间的空间，或一行文本或一图片之间的空间，或各图片之间的空间。可见性标准的一个示例是：适合放入行间位置的虚拟内容的大小对于具有平均视力的人在舒服的阅读位置进行阅读而言是否太小。虚拟数据内容是否适合放入行间位置可基于多少百分比的内容可以在行间位置被显示并仍旧可见来确定。作为定义的同义词是可适合放入行间位置并仍旧满足可见性标准的内容的一个示例。行间位置通常不适于图片。如果行间位置是适当的，则动态的应用202在步骤359中为打印内容选择在行间位置显示虚拟内容。

如果行间位置不是适当的，则在步骤361中，动态的应用202确定虚拟数据内容是否适合放入任何页边距位置并仍旧满足可见性标准。如果一个或多个满意的页边距位置可用，则动态的应用202在步骤363中选择最靠近打印内容选择的满意的页边距位置。如果满意的页边距位置不可用，则动态的打印材料应用202在步骤365中将虚拟内容格式化为一个或多个片段，所述片段具有当前片段的布局性质，并且在步骤367中，将具有经格式化的虚拟内容的该一个或多个片段显示在打印材料的布局中的当前片段之后。当前片段的一个示例是一页。作为片段的页的布局性质包括典型的页面布局设置。这些设置的一些示例是页边距、页码放置、行间距、图片周围的间距、字体和字体大小。打印材料的布局的一些示例可以是报纸、书籍、杂志或慰问卡。在打印材料为书的示例中，可以使用虚拟内容来格式化的一个或多个片段看上去像是该书籍的额外页。

在图9的示例中，虚拟数据被格式化为看上去像在物理打印材料的周界内。在其他示例中，浮动位置也可以是一个位置选项。例如，对于注释已经占用了最近的页边距的内容选择来说，页边距可以看上去被扩展为包括链接到该内容选择的图片。在另一示例中，浮动的解释性段落可以表现为在靠近它所解释的概念的行间空间中以垂直于页的方式弹出。如在下面的图13的示例中所示，可以向打印内容选择的虚拟版本分配链接到用户视野而非打印材料本身的浮动位置。

图10是用于基于用户简档数据来从可用虚拟数据中选择虚拟数据的过程的实现示例的流程图。在步骤362中，动态的打印材料应用202检索佩戴透视、头戴式、混合现实显示设备系统的用户的身份数据。而且，应用202在步骤364中确定当前存在状态。设置的一些示例是存在状态设置，比如困乏、醒着、睡觉、约会迟到、强烈的情绪，并且还可包括活动，例如，正在吃饭、正在驾车、正在火车上旅行。

存在状态可从对所感测的用户身体的数据以及也从其他应用和位置数据跟踪的信息中确定。例如，基于位置数据和日历应用，存在状态应用可指示用户对一会议是早到还是迟到。来自眼睛跟踪部件的用户眼睛的图像数据（也被称为眼睛数据）可指示用户正在经历强烈的情绪，同时还迟到了。可应用超过一个存在状态。

在眼睛数据中可标识并与存在状态规则179中的存在状态相链接的用户物理性质的一些示例是眨眼速率、瞳孔大小和瞳孔大小变化。在一些示例中，透视显示设备系统8还可具有生物测定传感器，比如压着用户太阳穴的脉搏速率测量传感器。可指示存在状态的物理性质的一个示例是从图像数据、闪光数据或传感器128中检测到的超过某一水平的眨眼。这样的眨眼可能指示强烈的情绪。更简单地，所检测到的闭合一段时间的眼睑可指示存在状态为“正在睡觉”。眼睛的含泪状态也可从其指示正在哭泣的反射性中检测。

瞳孔大小和瞳孔大小稳定性可指示存在状态为困乏的或疲惫的。瞳孔大小随着光照的改变而改变。在将瞳孔作为椭圆来对待的情况下，如果光照没有改变，则该椭圆的一个轴——即主轴——保持恒定，因为该主轴表示该瞳孔的直径。椭圆的短轴的宽度随注视改变而改变。面向前的相机113的光计量器（未示出）可检测光照变化。因此，由除了光照改变外的因素带来的瞳孔放大也可被确定。困乏和睡眠剥夺可致使瞳孔的总大小在疲惫时收缩，而瞳孔大小会变得较不稳定，大小波动。在稳定状态光照条件下超出一定标准的瞳孔放大还可指示对情绪刺激的反应。然而，瞳孔放大也可与活动相关联。

因此，如果来自面向外或面向物理环境的相机113的图像数据和运动传感器132所指示的小的头部移动指示该用户不在锻炼，例如，该用户看上去正在他或她的办公室内坐下，则下面讨论的软件（诸如客户端推送服务应用204₁）可将瞳孔放大与为“强烈感情”的至少一个存在状态数据设置相关。如由来自面向外的相机113的图像数据所指示的正在被观看的对象可提供更多数据，例如，少儿正在看真实恐龙骨架的图片或已被标识为特定的恐怖小说的打印内容项，并且基于一天中的时间、位置数据和随时间的视野数据，该读者在夜晚独自在家。在另一示例中，在动态的打印材料应用202在该视野的图像数据中标识到报纸以前，图像数据指示用户的通常午餐时间跑步路径之一的视图且运动传感器132指示在一时间段（例如两分钟）内的跑步或慢跑速度。在此示例中，存在状态数据设置可包括“醒着”以及“中立感情”，并且可将“正在锻炼”以及“正在跑步”作为活动数据设置来包括，这取决于从用于标识活动的结束的停止的时间段。

在一个实施例中，推送应用的任一版本（客户端或服务器）可包括用于确定存在状态的软件。该软件可基于存在状态规则179来实现一个或多个试探算法，以基于眼睛数据和用户周围的图像和音频数据两者来确定用户的存在状态。客户端推送服务应用204₁在步骤366中更新用户简档数据197₁、197中存储的当前存在状态数据。

在步骤368中确定基于该显示设备系统的传感器数据的当前用户位置。例如，当前用户位置可由GPS数据、位置的图像数据、甚至是与特定位置相关联的网络接入点的IP地址来标识。在步骤370中，动态的打印材料应用202标识用户简档中链接到该用户的其他人的、对该用户可用的数据，该数据与打印内容选择有关。例如，如果打印内容项是具有由作者创作的文章的科学期刊，并且该用户的社交网络朋友之一在他的社交网站页面上对该文章进行评论，则该朋友的评论将被标识。

在此实施例中，动态的打印应用202在步骤372中基于虚拟数据选择规则198来向用户简档数据分配权重。在一些示例中，虚拟数据选择规则可区分来自用户简档数据的各项的优先级。例如，以下类别的用户简档项可以按照从最高开始的次序被区分优先级：身份数据、存在状态数据、位置数据、当前或最新近的打印内容选择、被查看的打印内容项、以及与该选择或项有关的其他用户数据。在步骤374中，动态的打印应用202基于经加权的用户简档数据为该打印内容选择从虚拟数据候选中选择虚拟数据。例如，身份数据可包括该用户知晓的语言。如果该用户仅知晓英语，则具有英语文本的虚拟数据与西班牙语的虚拟数据相比具有更高的被选择的概率。而且，根据以下的示例，对于正在色彩图书中涂色的五岁大的孩子，可选择图画性的虚拟数据，而对于七岁大的孩子可显示包括简单文本的虚拟数据。

图11示出在博物馆布告的示例上下文中用个性化虚拟数据来更新打印的内容的示例。在此示例中，成年人29和6岁大的男孩30均佩戴透视、近眼、混合现实显示设备系统8。成年人佩戴与他的显示设备2无线通信的基于腕的处理单元4，而男孩4具有也与他的显示设备2无线通信的、包含在移动设备5中的处理单元。他们都在具有数据存储的自然历史博物馆处，该数据存储包括该博物馆中的每一布告和符号的打印布局和位置以及虚拟数据候选，所述虚拟数据候选可被选择以与相应的布告或符号一起显示。经由应用编程接口，博物馆的搜索引擎注册到由被标识为处于该博物馆内的每一显示设备系统8执行的动态的打印材料应用202并与该应用202通信。每一设备的位置可被标识，例如通过该设备的GPS数据或在该博物馆的无线接入点处接收到的IP地址。

男人和男孩中的每一个均在看在此示例中在剑龙的部分骨架的展览54附近的现实博物馆布告的相应的打印介质。不可见标记65经由RFID或IR或蓝牙向在该标记的一定范围内的显示设备系统8上的相应的接收器（例如，一个或多个位置传感器144）传送一标识符，动态的打印材料应用202可将该标识符包括在对博物馆的虚拟数据的数据库的请求中。在其他示例中，布告的内容（例如，标题剑龙）将是标识符。布告上的打印材料60陈述恐龙类型的名称并且包括简短的解释性文本（由XXX……表示）。基于用户简档数据，成年人29被标识为讲流利英语者，其34岁大、5英尺7英寸高、处于中性感情状态、并具有会计大学学历。他的电视跟踪历史指示他在过去一年半观看了24集电视节目“自然（Nature）”，其中包括关于在美国西部发现的恐龙骨骼的一集节目。可用虚拟数据候选的元数据包括年龄、语言、美国阅读等级、教育背景和对特定自然历史课题的兴趣等级。

动态的打印材料应用202应用虚拟数据选择规则198并将最高优先级赋予该男人的年龄和语言流利性。基于可用于虚拟数据候选的元数据，该男人的教育背景和观看自然历史相关节目的电视历史也形成用于形成用于搜索虚拟数据候选的元数据的查询的基础。已选择了虚拟文本片段62的图像数据，该虚拟文本片段提供了关于恐龙骨骼结构的附加细节。为虚拟文本片段62存储的元数据指示该文本适用于如下人：该人具有平均美国大学阅读等级、并且相对于基于2008年调查的一般美国人口而言对恐龙具有高于平均的认知。

线70m示出了该成年人与展示的骨骼所来自的剑龙物种的高度70d相比的高度

身份用户简档数据指示该男孩6岁大。他的眼睛数据指示强烈的情绪，并且已指示在过去30分钟在哭。语音识别软件已从男孩的设备上的话筒所接收到的监视音频中标识到男孩34的声音说了“我害怕”。基于在过去一小时内他的位置是靠近恐龙骨架展览，他的客户端推送服务应用204₁所实现的试探算法将存在状态选择为害怕。根据虚拟数据选择规则198，为害怕的存在状态导致与他的状态是感情更中立的状态时相比在用户简档数据中从动态的应用202接收更高优先级的加权。在此示例中年龄也具有最高优先级的加权。具有更柔和的容貌和更友好的眼睛的剑龙的动画（如可在儿童书图示中找到的）的虚拟数据66被选择，并基于与虚拟数据66相关联的元数据而被显示，该元数据指示目标观众是7岁及以下的儿童以及动画。对于6岁大的用户，选择规则198给非文本图像数据的权重比文本图像数据更高。

家长可经由信息推送服务应用204来选择针对儿童的内容类别，该应用204将家长控制存储在儿童的用户简档数据中以供儿童的动态的打印材料应用202访问。用这种方式，儿童能够看到否则不会被家长控制阻挡的内容或来自否则不会被家长控制阻挡的类别的内容。

图12A示出了标识用户在作为打印内容项的示例的书籍内选择打印内容选择的姿势的示例。所示出的是显示设备2，其具有用于捕捉用户姿势（诸如所示的手指指向姿势）的面向前的相机113l和113r。其他身体部位（诸如手、腕、上臂甚至脚、肘等）所执行的姿势也可以被用来控制比如动态的应用202等应用。手和手指姿势允许用户在执行姿势的同时维持对显示器的视野中的材料的阅读。线704l和704r表示逼近来自用户的瞳孔或视网膜的注视矢量的眼睛视线。

在此示例中，用户正在观看关于美国国家公园的指南380，该指南包括作为打印内容项的约塞米蒂国家公园。如眼睛视线704l和704r所示，用户的注视点是在约塞米蒂山谷的、被称为山谷景观（ValleyView）休息点的地点处的图片中的半圆顶（HalfDome）3811。用户的手480的用户的指尖482正指向图片382₁，动态的打印材料应用202从来自相机113l、113r的视野图像数据中将其标识为将照片382₁选择为打印内容选择的物理动作用户输入的姿势。

在此示例中，客户端推送服务应用204₁正在执行并监视在用户显示设备系统上执行的应用，包括动态的打印材料应用202。客户端应用将打印内容选择的元数据201的至少一个子集发送到信息推送服务204，该信息推送服务监视各应用以及已被授予对该用户的访问许可的其他用户的用户简档数据。信息推送服务204标识一照片，该照片在其元数据中具有与用户朋友Sue的社交网络站点上的打印内容选择的元数据201相匹配的关键词。基于该用户访问过哪些朋友在社交网络站点上的的页面以及谁访问过Sue的页面的跟踪历史，该信息推送服务204标识该用户没有看过该最近张贴的照片。信息推送服务应用204将Sue的照片的副本发送到用户的客户端推送服务应用204₁，该应用204₁通知动态的打印材料应用202。动态的应用202可执行与指南的印刷布局中的照片的图像比较来确保Sue的照片上的元数据是准确的或者来确定实际描绘的是什么。假定根据虚拟数据选择规则198来自图像比较的数据结果指示Sue的照片的满意的相关性得分，则Sue的照片如图12B中所示地被显示。

图12B示出了标识并显示与打印内容选择有关的数据的示例，所述数据是在从另一应用接收的用户的用户简档数据中标识的另一人的数据。在此示例中，在山谷景观休息点拍摄的以约塞米蒂山谷为背景的Sue自己的照片382₂被显示在覆盖指南图片的替换位置。

除了基于打印内容选择或内容项和用户简档数据之间的关系的个性化数据之外，还针对打印内容选择执行由应用实现的任务或动作。图13到16示出了可基于用户简档数据来选择并显示虚拟数据的任务的示例实施例。

图13示出了执行与打印内容选择和透视、近眼、混合现实显示设备系统的用户的当前位置有关的方向任务的示例。在此示例中，用户可通过语音命令（比如“方向”或自然问题“我如何到达哪里？”）的物理动作来启动方向任务。如上所述，用户还可能定义了启动方向任务的姿势。当用户的注视点是该图片时，动态的打印材料应用202可通过输出目的地是山谷景观休息点还是半圆顶的语音数据来请求确认。一旦确认了目的地之后，用户的当前位置被确认。动态的应用202可将用户当前位置作为起始点并将目的地作为文本数据发送到另一方向应用，并将结果格式化以供显示在与山谷景观的图片配准的位置处。在此示例中，在从最靠近图片382₁的顶部页边距延伸出去的虚拟纸片上的浮动位置383中显示方向。在其他示例中，特别是在用户的存在状态指示强烈的情绪或是困乏，以及用户的位置距目的地有多近时，非文学的虚拟符号（比如箭头）可增强方向的文本，或者改为使用该非文学的虚拟符号。在其他示例中，如果用户流利地讲多种语言，但是很疲惫，则可基于在音频数据中跟踪到的语言使用量以及如由语音识别软件确定的流利度来以用户讲得最流利的语言显示所述方向。

图14A是用于执行学习辅助任务的过程的实现示例的流程图，所述学习辅助任务基于用户问题来检索虚拟数据。为了帮助这种学习辅助任务，特别是对于教科书以及非科幻作品，发布者可能已准备了作为虚拟数据在不同读者感兴趣的不同话题上的插入（insert）。在一些示例中，所引用的参考可以是作为虚拟插入可用的，可将该虚拟插入与它所支持的打印内容选择配准。在其他示例中，虚拟插入可以是关于感兴趣的话题的教程，用户可通过向班级中的另一人（诸如教师或教授）问问题、或在做家庭作业时向朋友问问题、或者甚至通过将问题指向书籍或其他打印介质来标识感兴趣的话题。

在图14A中示出的实现过程示例中，在动态的打印材料应用202的控制之下，声音识别引擎194在步骤384中监视经由显示设备话筒接收的音频数据以寻找打印内容项的一个或多个单词，并且在步骤386中标识由用户在音频数据中所提的、与所述一个或多个单词有关的问题。例如，声音识别引擎194可从语音数据中的各间隙之间所使用的单词及这些单词在序列中的次序以及语音改变规则（诸如在问题的末尾处语音在音量方面的上升）来标识问题。声音识别引擎194访问人类语音模式的模型（特别是针对用户的语言背景）来从陈述中标识问题。动态的打印材料应用202被通知，并且在步骤388中基于该打印内容项的该一个或多个单词和该问题来制定查询，并且在步骤390中基于该查询来搜索包括虚拟数据的一个或多个数据存储。这种数据存储的一个示例是发布者数据库207（例如，打印内容项的发布者）以及因特网索引的资源209。在步骤392中，动态应用202确定该搜索是否基于该查询返回了虚拟数据，并且如果是，则动态的应用202在步骤398中致使图像生成单元在与该打印内容项中的一个或多个单词配准的位置中显示该虚拟数据。

如果该搜索没有基于该查询返回虚拟数据，则动态的打印材料应用202可在步骤394中进行因特网搜索，并随后在步骤396中格式化任何因特网搜索结果并使该搜索结果被显示在与该打印内容项中的一个或多个单词的位置配准的位置中。

图14B示出了显示在一个或多个虚拟页面上格式化的虚拟数据的学习辅助任务的示例，所述虚拟页面看上去像作为一个或多个相邻页面而被插入包括打印内容选择的页面。在该示例中，动态的打印材料应用202结合声音识别引擎194已标识了用户在她的高中生物课中问了关于共生（symbiosis）的问题。当她打开她的教科书411到第34页（该页讨论了共生462）时，开始于标题为“共生插入”的虚拟页34A的虚拟插入412表现为好像是相对且相邻的页面。

图15A是用于执行单词学习辅助任务的示例的过程的实现的流程图。此任务帮助增强用户对新单词的学习。动态的打印材料应用202在步骤422中标识在视野图像数据中的打印内容项的一个片段中的、用户先前已请求了其定义的单词，并且在步骤424中在与该片段中的该单词配准的位置中显示该单词的定义。片段的一个示例是页。

图15B是用于执行单词学习辅助任务的示例的过程的另一实现的流程图。在此版本中，步骤422被执行，但是动态的打印材料应用202在步骤428中在与该片段中的该单词配准的位置中显示该单词的同义词。

图15C示出了该单词学习辅助任务显示单词的定义的示例。当用户的注视是在用户先前请求过其定义的单词symbiosis（共生）462上时，symbiosis的定义415出现在顶部页边距中。顶部页边距可能是例如由于根据图9的方法实施例的可见性标准而被选择的。

图15D示出了该单词学习辅助任务显示单词的同义词的示例。此示例与图15C的示例的不同在于：同义词reciprocity（互惠）463被显示在用户先前请求过其定义的单词symbiosis上方的行间位置处。

图16是用于执行以下任务的过程的实现的流程图：该任务允许用户用打印内容项中的一个或多个其他单词来取代至少一个单词。要取代的至少一个单词的一些示例是角色或地点的名称。例如，用户可能选择她的名称和她的朋友的一些名称来取代角色名称，并且用她的邻居地点的名称来取代地点名称。为了取代打印内容项中的单词并使得该至少一个单词看上去像是打印内容项中的其余单词，围绕被取代的一个或多个单词的文本使其间距被虚拟数据调整。通常，包括一个或多个取代单词的至少每个段落的虚拟版本被生成为具有经调整的间距。如果该取代致使该段落延伸到另一行或另一页上，则生成具有经调整的间距的至少一个接下来的段落的虚拟版本。当虚拟段落再次终止于它所配准的打印段落的相同布局位置中时，另一虚拟段落的生成可以停止。

在步骤502中，动态的打印材料应用202接收要取代的一个或多个单词，并且在步骤504中经由用户输入来接收用于要取代的一个或多个单词的一个或多个替换单词。例如，用户可经由虚拟菜单、处理单元4的用户输入设备、或者经由音频数据列表（例如地点）、或者指向人和角色名称或者对人和角色名称的注视持续时间等等来输入用于要取代的和替换的单词。在步骤506中，要包括该一个或多个替换单词的每个段落被标识，并且在步骤508中，基于打印内容项的布局性质来生成每个所标识的段落的虚拟版本。布局性质的一些示例是字体、页边距和行间距。基本上，目标是使被替换上去的单词看上去像是它们原本就打印在该书籍中一样。

除了其中被替换上去和被取代的单词具有相同尺寸（例如，相同数量的字母并且组合的字母宽度相同）的不常见情况之外，被替换上去的单词将使该段落变短或变长。在步骤510中，动态应用510确定是否存在其内容的可见性受到段落的虚拟版本影响的任何段落。打印段落的可见性可能受到被虚拟段落部分覆盖的影响。如果未受影响，则打印内容项的虚拟段落版本是完整的，并且随后在步骤514中每个虚拟版本段落在该段落位于透视显示设备2的视野中时被显示。否则，在步骤512中生成其可见性受影响的每个段落的虚拟版本。在每次生成虚拟段落时，打印段落的可见性可能受影响，重复步骤510中的确定，直到不再存在具有受影响的可见性的打印段落为止。如果使用此过程被替换上去的单词更短，则这里及那里可能有额外的行空间，但是与更改字体大小或行间距等等相比那不那么令人分心。

图17是计算系统的一个实施例的框图，该计算系统可用于实现一个或多个网络可访问计算系统12，所述计算系统12可以托管计算环境54的软件组件中的至少一些或者图3所描绘的其他元件。参考图17，用于实现本发明的一个示例性系统包括计算设备，诸如计算设备800。在其最基本的配置中，计算设备800一般包括一个或多个处理单元802，并且还可包括不同类型的处理器，诸如中央处理单元（CPU）和图形处理单元（GPU）。计算设备800还包括存储器804。取决于计算设备的确切配置和类型，存储器804可以包括易失性存储器805（如RAM）、非易失性存储器807（如ROM、闪存等）或是两者的某种组合。该最基本配置在图17中由虚线806来示出。另外，设备800还可具有附加特征/功能。例如，设备800还可包含附加存储（可移动和/或不可移动），包括但不限于磁盘、光盘或磁带。这样的附加存储在图17中由可移动存储808和不可移动存储810示出。

设备800还可以包含允许该设备与其他设备通信的通信连接812，比如一个或多个网络接口和收发器。设备800还可以具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等输入设备814。还可以包括诸如显示器、扬声器、打印机等输出设备816。所有这些设备在本领域是众知的并且不必在此详细讨论。

如同上面讨论的，处理单元4可被嵌入在移动设备5中。图18是可以在本技术的各实施例中操作的示例性移动设备900的框图。描绘了典型移动电话的示例性电子电路。电话900包括一个或多个微处理器912，以及存储由控制处理器912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器910（例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器）。

移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器1010。处理器912可实现通信以及任何数量的应用，包括本文中所描述的交互应用。存储器1010可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。设备操作系统处理移动设备900的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用930可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其他第三方应用，比如本文讨论的用于处理发送至或者来自显示设备2的图像数据的皮肤应用和图像处理软件，等等。存储器910中的非易失性存储组件940包含诸如web高速缓存、音乐、照片、联系人数据、日程安排数据、以及其他文件等数据。

处理器912还与RF发射/接收电路906进行通信，该电路906进而耦合到天线902，它还与红外发射器/接收器908、与像Wi-Fi、WUSB、RFID、红外或蓝牙等任何附加通信信道960、以及与像加速度计等移动/定向传感器914通信。加速度计被包括到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转电话时自动地将显示从纵向变为横向。可以，例如，通过微机电系统（MEMS）来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件（微米尺寸）。可以感应加速方向、以及定向、振动和震动。处理器912还与响铃器/振动器916、用户界面键区/屏幕、生物测定传感器系统918、扬声器920、话筒922、相机924、光传感器921以及温度传感器927进行通信。

处理器912控制无线信号的发射和接收。在发射模式期间，处理器912向RF发射/接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接收电路906将该信号发射到远程站（例如固定站、运营商、其他蜂窝电话等）来通过天线902进行通信。响铃器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。在接收模式期间，发射/接收电路906通过天线902接收来自远程站的语音或其他数据信号。所接收到的语音信号被提供给扬声器920，同时所接收到的其它数据信号也被适当地处理。

另外，物理连接器988可被用来将移动设备900连接到外部电源，如AC适配器或加电对接底座。物理连接器988还可被用作到计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。

为这种服务启用使用基于卫星的无线电导航来中继用户应用的位置的GPS接收器965。

附图中示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储设备也是处理器可读存储设备。这样的设备包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储设备的一些是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他设备。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种用于使用透视、近眼、混合现实显示设备来用个性化虚拟数据更新打印内容的方法，包括：

标识透视、近眼、混合现实显示设备的视野中的打印内容项，所标识的打印内容项是真实的；

基于物理动作用户输入来标识对所述打印内容项的真实打印内容内的打印内容部分的用户选择；

确定虚拟数据是否可用于用户所选择的打印内容部分；

响应于虚拟数据可用于所述打印内容选择，基于用户简档数据从可用虚拟数据中选择虚拟数据；以及

在与所标识的打印内容项的用户所选择的打印内容部分的位置配准的位置中显示所述虚拟数据。

2.如权利要求1所述的方法，其特征在于，还包括基于眼睛跟踪数据来确定当前存在状态并且更新用户简档数据中存储的所述当前存在状态；以及

其中基于用户简档数据来选择虚拟数据包括基于所述当前存在状态来选择虚拟数据。

3.如权利要求1所述的方法，其特征在于：

用户简档数据包括身份数据，所述身份数据包括用户年龄；以及

其中基于用户简档数据来从所述可用虚拟数据中选择虚拟数据包括基于所述用户年龄来选择对年龄适当的虚拟数据。

4.如权利要求1所述的方法，其特征在于，还包括：

访问与所述打印内容选择以及所述用户的用户简档数据中所标识的另一人有关的数据；以及

其中基于用户简档数据来从所述可用虚拟数据中选择虚拟数据包括选择关于所述另一人的数据用于所述虚拟数据。

5.如权利要求1所述的方法，其特征在于，还包括：

存储所述虚拟数据，其中所述虚拟数据与体现在所述打印内容项中的作品的与介质无关的版本的布局中的所述打印内容选择中体现的内容配准。

6.如权利要求1所述的方法，其特征在于，还包括：

基于物理动作用户输入来确定与所述打印内容项有关的任务；

执行所述任务；以及

根据所述任务与所述打印内容项配准地显示个性化虚拟数据。

7.如权利要求6所述的方法，其特征在于，执行所述任务进一步包括通过以下动作来执行学习辅助任务：

监视所述透视、近眼、混合现实显示设备的话筒所捕捉的音频数据以获得所述打印内容项中的一个或多个单词；

通过语音识别软件来标识所述用户所提的、与所述打印内容项的所述一个或多个单词有关的问题；

基于所述问题来制定查询；

基于所述查询为所述打印内容项搜索包括虚拟数据的一个或多个数据存储；以及

响应于接收到基于所述查询的虚拟数据，在与所述打印内容项中的所述一个或多个单词的位置配准的位置中显示所述虚拟数据。

8.一种用于用个性化虚拟数据来更新打印内容的透视、近眼、混合现实显示设备系统，包括：

由支撑结构定位的透视显示器；

用于捕捉所述透视显示器的视野的图像数据的、被定位在所述支撑结构上的至少一个面向外的相机；

一个或多个软件控制的处理器，所述一个或多个软件控制的处理器能够访问所存储的用户简档数据并且通信地耦合到搜索引擎，所述搜索引擎能够访问一个或多个数据存储，所述数据存储包括用于作品的内容、布局和虚拟数据以及体现所述作品的打印内容项；

所述一个或多个软件控制的处理器通信地耦合到所述至少一个面向外的相机以用于接收所述视野的图像数据并且用于通过以下动作来标识所述透视显示器的所述视野中的打印内容项：基于所述视野的所述图像数据来制定一个或多个查询并向所述搜索引擎发送所述一个或多个查询；

所述一个或多个软件控制的处理器用于基于所述视野的所述图像数据来标识选择所述打印内容项中的打印内容选择的用户物理动作；

所述一个或多个软件控制的处理器用于基于用户简档数据和所述打印内容选择来从所述一个或多个数据存储选择虚拟数据；以及

所述一个或多个软件控制的处理器致使用于所述透视显示器的至少一个通信地耦合的图像生成单元显示所述虚拟数据。

9.如权利要求8所述的系统，其特征在于，

所述一个或多个软件控制的处理器用于标识所述透视显示器的所述视野中的所述打印内容项进一步包括基于所述一个或多个查询从所述搜索引擎接收打印内容项版本标识符；

所述一个或多个软件控制的处理器基于所述打印内容项版本标识符来向所述数据存储请求并从所述数据存储接收：所述打印内容选择在所述打印内容项的布局内的位置数据、与介质无关的作品标识符、根据与介质无关的细分的所述打印内容选择的与介质无关的版本的作品位置数据、以及根据所述与介质无关的细分的任何适用的与介质无关的作品版本标识符和作品版本位置数据；以及

所述一个或多个软件控制的处理器基于所述作品标识符、所述作品版本标识符、以及所述打印内容项版本标识符来搜索与所述打印内容选择有关的虚拟数据候选。

10.如权利要求8所述的系统，其特征在于，还包括：

所述一个或多个软件控制的处理器基于从所述视野的所述图像数据标识一个或多个姿势来标识要对所述打印内容选择执行的任务；以及

根据所述任务基于与所述内容选择有关的用户简档数据来显示被选择供显示的所述虚拟数据。