CN103123578B - 将虚拟数据显示为打印的内容 - Google Patents

Abstract

本发明涉及将虚拟数据显示为打印的内容。本技术提供了用于由透视、近眼、混合现实显示设备系统将虚拟数据显示为打印的内容的各实施例。与显示设备系统的视野中的阅读对象配准的一个或多个文学内容项以打印布局特征来显示。如果来自每一个文学内容项的发布者的打印布局特征可用，则选择该打印布局特征。阅读对象具有类型，如杂志、书籍、报刊、或报纸，并且可以是现实对象或由显示设备系统所显示的虚拟对象。虚拟对象的阅读对象类型基于与要显示的文学内容项相关联的阅读对象类型。与文学内容项配准的虚拟扩充数据响应于检测到图像数据中的用户物理动作来显示。物理动作的一个示例是页翻动姿势。

Description

将虚拟数据显示为打印的内容

技术领域

本发明涉及显示设备系统及技术，尤其涉及将虚拟数据显示为打印的内容。

背景技术

静态的打印的材料可以被认为是一种形式的只读存储器，所述存储器不需要电力并且以对人眼可见的形式来存储其数据。超过一千年的牛皮纸文本存活至今。打印材料的物理本质允许用户例如通过翻看杂志的页面并查看杂志中的照片或吸引人的标题来在物理上筛选其数据以寻找“感兴趣的内容”。当然，由于对于其页面上的信息的永久设置，物理的书、期刊和论文也具有它们的劣势。

发明内容

混合现实是一种允许将虚拟图像与现实世界视图相混合的技术。用户可佩戴透视、近眼、混合现实显示设备来观看用户的视野中所显示的现实对象和虚拟对象的混合图像。诸如头戴式显示（HMD）设备之类的近眼混合现实显示设备系统显示阅读对象上的文学内容。文学内容指的是供阅读的文学作品。文学作品可包括伴随其文本的图像数据。文学内容可被发表或者如某人的课堂笔记或备忘录一样不被发表。

阅读对象可以是在其上打印或手写文学内容的材料的现实对象，如装订的或未装订的一页或多页纸。页面可以是空白的或者其上印有如行或文本之类的内容。一个或多个文学内容项可与被书写或被印记的页面上的不透明背景一起显示。现实阅读对象的另一特征是它能够被握在人手中并且由手和或手指来操纵。阅读对象也可以是虚拟对象。被请求显示的文学内容被显示成具有打印的内容的外观。无论是现实的还是虚拟的，一种类型的阅读对象的某些示例是一页纸、未装订的多页纸、书、报纸、杂志和报刊。

本发明技术提供一种使用透视、近眼、混合现实显示设备来将虚拟数据显示为打印的内容的方法的实施例。该方法包括：接收要显示与透视、近眼、混合现实显示设备系统的视野中的阅读对象配准的一个或多个文学内容项的请求，以及为所述一个或多个文学内容项中的每一个选择打印布局特征，所述一个或多个文学内容项与视野中的阅读对象配准地以它们各自的打印布局特征被显示。

本发明技术提供一种用于将虚拟数据显示为打印的内容的透视、近眼、混合现实显示设备系统的系统的实施例。该系统包括由支撑结构定位的透视显示器。支撑结构的一个示例是框架。至少一个面向外的相机被定位在支撑结构上以捕捉该透视显示器的视野的图像数据。一个或多个软件控制的处理器通信地与至少一个面向外的相机耦合以便接收视野的图像数据，并且还能够访问包括文学内容项的内容、打印布局特征以及虚拟扩充数据的一个或多个数据存储。一个或多个软件控制的处理器为一个或多个文学内容项中的每一个从一个或多个数据存储中选择打印布局特征。至少一个图像生成单元在光学上耦合至透视显示器并且在通信上耦合至一个或多个软件控制的处理器，所述一个或多个软件控制的处理器使得图像生成单元与视野中的阅读对象配准地用一个或多个文学内容项的相应的所选打印布局特征来显示一个或多个文学内容项。

下文讨论的文学内容以及扩充虚拟数据是显示设备生成的、以便用户在佩戴近眼显示器时看见的图像数据。这种图像数据也被称为虚拟数据，因为它不像用墨水打印在页面上的现实文本那样来显示。虚拟数据可以是二维的（2D）或三维的（3D）。与另一对象配准的虚拟对象或虚拟数据意思是：该虚拟对象跟踪其在透视显示设备的视野中、参考于或取决于其他对象（可以是现实的或虚拟的）的位置的位置。

该技术提供一个或多个处理器可读存储设备的实施例，该存储设备具有编码于其上的指令，所述指令致使一个或多个处理器执行一种用于使用透视、近眼、混合现实显示设备系统来将虚拟数据显示为打印的内容的方法。该方法包括：接收要显示与透视、近眼、混合现实显示设备系统的视野中的阅读对象配准的一个或多个文学内容项的请求，以及为所述一个或多个文学内容项中的每一个选择打印布局特征，所述一个或多个文学内容项与视野中的阅读对象配准地以它们各自的打印布局特征被显示。该方法还包括响应于物理动作用户输入来显示与一个或多个文学内容项中的至少一个配准的虚拟扩充数据。

物理动作用户输入是由用户使用身体部位执行的且在图像数据中捕捉的动作。物理动作表示指导应用的操作的数据或命令。物理动作的某些示例是用户生成的姿势、眼睛注视、以及声音或语音。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1A是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。

图1B是描绘透视、混合现实显示设备系统的另一实施例的示例组件的框图。

图1C是描绘将移动设备用作处理单元的透视、混合现实显示设备系统的另一实施例的示例组件的框图。

图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透明、混合现实显示设备的实施例中的镜架的镜腿的侧视图。

图2B是透视、近眼、混合现实设备的显示光学系统的实施例的俯视图。

图3是从软件角度来看的用于通过透视、混合现实显示设备系统来提供混合现实用户界面的系统的框图，用于将虚拟数据显示为打印的内容的软件可在其中操作。

图4A示出用户内容选择元数据记录的示例。

图4B示出交叉引用的打印的与介质相关（medium-dependent）的和与介质无关（medium-independent）的内容数据存储的示例。

图5是用于将虚拟数据显示为打印的内容的方法的实施例的流程图。

图6A是用于选择视野中的阅读对象的方法的实施例的流程图。

图6B是一种用于与视野中的阅读对象配准地用一个或多个文学内容项的各自的打印布局特征来显示一个或多个文学内容项的方法的实施例的流程图。

图7A是为一个或多个文学内容项中的每一个选择打印布局特征的实现示例的流程图。

图7B是基于存储的布局规则来生成包括一个或多个文学内容项的一个或多个页面布局的实现过程的示例的流程图。

图7C是用于图7B的过程的用于生成一组文学内容项的一个或多个页面布局的过程的实现的示例的流程图。

图8是用包括带有发布者和所指定的打印布局特征的文学内容项的页面布局在视野中显示的页面的示例。

图9A是用于响应于物理动作用户输入来显示与一个或多个文学内容项中的至少一个配准的虚拟扩充数据的方法的实施例的流程图。

图9B是用于响应于物理动作用户入来显示与一个或多个文学内容项中的至少一个配准的虚拟扩充数据的方法的另一实施例的流程图。

图10A是用于基于用户简档数据来从可用虚拟扩充数据中选择虚拟扩充数据的过程的实现示例的流程图。

图10B是用于执行以下任务的方法的实施例的流程图，该任务允许用户在文学内容项中用一个或多个其他词来取代至少一个词。

图11A是用于标识用户的眼睛选择用户内容选择的至少一个物理动作的过程的实现示例的流程图。

图11B是用于标识用户的眼睛选择用户内容选择的至少一个物理动作的过程的另一实现示例的流程图。

图11C是用于标识选择用户内容选择的姿势的至少一个物理动作的过程的实现示例的流程图。

图12是用于确定虚拟扩充数据相对于阅读对象的页面的放置的过程的实现示例的流程图。

图13A是用于用虚拟扩充数据来扩充文学内容项的虚拟副本中的用户选择并且保存虚拟扩充数据以便检索文学内容项的任何其他副本的方法的实施例的流程图。

图13B是用于为具有不同布局特征的文学内容项的另一副本显示所存储的为该文学内容项的虚拟副本中的用户选择而输入的扩充数据的方法的实施例的流程图。

图14A示出页面翻动姿势的大拇指的起始位置的示例。

图14B示出包括页面上的虚拟扩充数据的缩略图的被翻动的页面的示例以及大拇指的结束位置的示例。

图14C示出页面翻动姿势的大拇指的另一起始位置的示例。

图14D示出包括页面上的虚拟扩充数据的缩略图的被翻动的页面的另一示例以及大拇指的结束位置的另一示例。

图15是可用于实现网络可访问的计算系统的计算系统的一个实施例的框图。

图16是可以在本技术的各实施例中操作的示例性移动设备的框图。

具体实施方式

本技术提供了用于由透视、近眼、混合现实显示设备系统将虚拟数据显示为打印的内容的各实施例。如上所述，在某些实施例中，透视显示设备系统标识现实阅读对象，如现实的一片纸、笔记本、现实的书、杂志、报纸、或其上打印供阅读文学内容的文本的其他现实材料。对象识别软件可从由位于显示设备系统上的面向前方的相机捕捉的图像数据中标识现实阅读对象，以捕捉与当通过显示设备查看时的用户视野近似的显示设备的视野中的对象。在某些示例中，现实阅读对象是空白的，如空白的一片纸，并且文学内容项的内容被显示为就像是打印在该对象上一样。例如，空白的纸片现在作为包括文学内容项的至少一部分的打印的页面出现在显示器中。由于现实阅读对象可能是不可用的，所以虚拟阅读对象也可被显示为阅读对象。阅读对象的显示常常响应于用户物理动作来更新以便显示虚拟扩充数据，虚拟扩充数据的某些示例是交互式内容、用户生成的注释、以及来自与用户所聚焦的文学内容项的选择有关的用户搜索请求的数据。

在某些情况下，眼睛注视数据标识用户正聚焦于视野中的何处，并且能够因此标识用户正在看文学内容项的哪一部分。在文学内容项的一部分上的注视持续时间可将该部分标识为用户内容选择。注视持续时间是使用身体部位的用户的物理动作的示例。由用户身体部位（诸如手或手指）执行并被捕捉在图像数据中的姿势也是物理动作用户输入的示例。眨眼或眼睛的眨动序列也可以是姿势。手、手指或其他身体部位的指向或特定移动姿势也可指示用户内容选择，比如单词、句子、段落或照片。用户生成的声音命令（诸如语音命令）也可以被认为是指示用户输入的物理动作的示例。基于声音的动作通常伴随比如姿势和眼睛注视等其他物理动作。

一旦用户选择了图片或文本，则可执行关于用户内容选择的不同任务或应用，如用交互式游戏和全息图进行扩充、用用户朋友的名字和相关联的位置来取代角色和位置、以及使用三维、二维或这两种虚拟数据的注释

图1A是描绘透视、增强或混合现实显示设备系统的实施例的示例组件的框图。系统8包括作为在此示例中通过线6或者在其他示例中无线地与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在该实施例中，头戴式显示设备2的框架115为眼镜的形状，该框架115具有针对每只眼睛的显示光学系统14，其中图像数据被投影到用户的眼睛中以生成图像数据的显示，同时用户还通过显示光学系统14观看以获得现实世界的实际直接视图。

使用术语“实际直接视图”来指直接用人眼看到现实世界对象，而非看到所创建的对象的图像表示的能力。例如，透过眼镜看房间将允许用户得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。每个显示光学系统14也被称为透视显示器，并且两个显示光学系统14一起也可以被称为透视显示器。

框架115提供用于将该系统的各元件保持在原位的支撑结构以及用于电连接的管道。在该实施例中，框架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支撑体。在此实施例中，框架115包括鼻梁架部分104，该鼻梁架部分104具有用于记录声音并传送音频数据的话筒110。框架的镜腿或侧臂102位于用户的每只耳朵上。在此示例中，右镜腿102r包括用于显示设备2的控制电路136。

如图2A和2B中所示，在该实施例中在每个镜腿102上还包括图像生成单元120。而且，在本视图中没有示出但在图2A和图2B中示出了面向外的相机113，所述相机113用于记录数字图像和视频并将视觉记录传送到控制电路136，控制电路136可进而将所捕捉的图像数据发送到处理单元4，处理单元4还可通过网络50将该数据发送到一个或多个计算机系统12。

处理单元4可以采取各种实施例。在一些实施例中，处理单元4是可佩戴在用户的身体（例如腕）上的单独单元，或者可以是比如图1C中示出的所示移动设备4之类的单独设备。处理单元4可通过通信网络50与一个或多个计算系统12有线地或无线地通信（例如，WiFi、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其它无线通信装置），无论位于附近还是位于远程位置。在其他实施例中，处理单元4的功能可被集成在图1B的显示设备2的软件和硬件组件中。

可以充分利用远程的、网络可访问计算机系统12来处理电力和远程数据访问。应用可在计算系统12上执行，其中该应用与显示系统8交互或为显示系统8执行处理，或者该应用可以在透视、混合现实显示系统8中的一个或多个处理器上执行。图15示出了计算系统12的硬件组件的示例。

图1B是描绘可通过通信网络50与其他设备通信的透视、增强或混合现实显示设备系统8的另一个实施例的示例组件的框图。在此实施例中，显示设备2的控制电路136经由无线收发机（参见图2A中的137）通过通信网络50与一个或多个计算机系统12无线地通信。

图1C是将移动设备用作处理单元4的透视、混合现实显示设备系统的另一实施例的框图。移动设备4的硬件和软件组件（诸如包含在智能电话或平板计算设备中）的示例在图16中描述。移动设备4的显示器7还可显示用于执行应用的数据（例如菜单），并且该显示器7可以是触摸敏感的，以接受用户输入。移动设备4的一些其他示例是智能电话、膝上型计算机或笔记本计算机以及上网本计算机。

图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备2的实施例中的框架115的镜腿102的侧视图。面向物理环境的摄像机113位于框架115前方，该摄像机能够捕捉现实世界的视频和静止图像，以映射在透视显示器的视野中并因此在用户的视野中的现实对象。所述相机还被称为面向外的相机，意思是从用户的头部面向外。每个面向前的相机113是相对于其相应的显示光学系统14的参考点来校准的，以使得可以从相应相机113所捕捉的图像数据来确定显示光学系统14的视野。这样的参考点的一个示例是其相应显示光学系统14的光轴（参见图2B中的142）。该图像数据通常是彩色图像数据。

在许多实施例中，两个相机113提供重叠的图像数据，从所述图像数据中可以基于立体视觉确定所述场景中的对象的深度信息。在一些示例中，所述相机还可以是深度敏感相机，所述深度敏感相机传送并检测红外光，从红外光可确定深度数据。该处理标识并映射用户的现实世界视野。可以包括在头戴式显示设备2上的深度感测技术的一些示例为、但不限于SONAR、LIDAR、结构化光和/或飞行时间。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。在该示例中，右镜腿102r包括用于显示设备2的控制电路136，该控制电路包括处理单元210、处理单元210可访问的用于存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的无线接口137、以及电源239，该电源为控制电路136的各组件以及显示器2的其他组件（如相机113、话筒110和下面讨论的传感器单元）提供电力。处理单元210可包括一个或多个处理器，包括中央处理单元（CPU）和图形处理单元（GPU）。

耳机130、惯性传感器132、一个或多个位置或邻近传感器144（其一些示例是GPS收发机、红外（IR）收发机、或用于处理RFID数据的射频收发机）位于镜腿102内部或安装到镜腿102。可选的电脉冲传感器128经由眼睛移动检测命令。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C。惯性传感器用于感测头戴式显示设备2的位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。在此实施例中，在其操作中使用模拟信号的设备（比如传感器设备144、128、130和132以及下面讨论的话筒110和IR照明器134A）的每一个包括控制电路，该控制电路与数字处理单元210和存储器244接口，并且为其相应的设备产生并转换模拟信号。

产生表示图像的可见光的图像源或图像生成单元120安装在镜腿102上或镜腿102内。在一个实施例中，图像源包括用于投射一个或多个虚拟对象的图像的微显示器120和用于将图像从微显示器120定向到反射表面或元件124的耦合光学透镜系统122。微显示器120可以以各种技术实现，包括投射投影技术、微有机发光二极管（OLED）技术、或反射技术，比如数字光处理（DLP）、硅基液晶（LCOS）、以及来自高通有限公司的显示技术。反射表面124将光从微显示器120定向到光导光学元件112，光导光学元件112将表示图像的光定向到用户的眼睛。可将虚拟对象的图像数据与现实对象配准，这意味着当现实对象在透视显示器14的视野中时虚拟对象跟踪其位置到通过透视显示设备2看到的现实对象的位置。

图2B是包括显示光学系统14的透视、近眼、混合现实显示设备的一侧的实施例的俯视图。近眼显示设备2的框架115的一部分将围绕显示光学系统14以用于提供支撑和进行电连接。为了示出头戴式显示设备2中的显示光学系统14（在该情况下是右眼系统14r）的各个组件，围绕显示光学系统的框架115的一部分未被描绘。

在所示实施例中，显示光学系统14是集成眼睛跟踪和显示系统。该系统包括光导光学元件112、不透明度滤光器114、以及可选的透视透镜116和透视透镜118。用于增强虚拟图像的对比度的不透明度滤光器114处于任选的透视透镜116之后并与其对齐，用于投影来自微显示器120的图像数据的光导光学元件112处于不透明度滤光器114之后并与其对齐，而任选的透视透镜118处于光导光学元件112之后并与其对齐。下面提供光导光学元件112和不透明度滤光器114的更多细节。

光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件112还允许如表示显示光学系统14r的光轴的箭头142所示那样将来自头戴式显示设备2的前方的光通过光导光学元件112传送到眼睛140，由此除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射表面124（例如镜面或其他表面）。来自微显示器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微显示器120的入射光以使得所述光被困在波导内，在本实施例中该波导为平面波导。代表性的反射元件126表示一个或多个光学元件，比如镜、光栅以及将表示图像的可见光从平面波导引导向用户眼睛140的其他光学元件。

红外照明和反射还横穿平面波导112以供眼睛跟踪系统134跟踪用户眼睛的位置。用户眼睛的位置和眼睛的图像数据一般可用于诸如注视检测、眨眼命令检测、以及收集指示该用户的个人存在状态（stateofbeing）的生物测定信息等应用。眼睛跟踪系统134包括在此示例中位于透镜118和镜腿102之间的眼睛跟踪照明源134A以及眼睛跟踪IR传感器134B。在一个实施例中，眼睛跟踪照明源134A可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外（IR）发射器（诸如红外发光二极管（LED）或激光器（例如，VCSEL））。在一些实施例中，眼睛跟踪传感器134B可以是用于跟踪闪光位置的IR相机或IR位置敏感检测器（PSD）。

在此实施例中将平面波导用作光导光学元件112允许为图像生成单元120、照明源134A以及IR传感器134B灵活地放置进出波导的光路的进入和退出光学耦合。在此实施例中，波长选择滤光器123使来自反射表面124的可见光谱光通过并且将来自眼睛跟踪照明源134A的红外波长照明引导到平面波导112中，波长选择滤光器125使来自微显示器120的可见照明和来自源134A的IR照明以向鼻梁架104的方向前进的光学路径穿过。在此示例中的反射元件126还表示实现了双向红外（IR）滤光的一个或多个光学元件，其将IR照明导向眼睛140（优选地以光轴142为中心）并从用户眼睛140接收IR反射。除了上面提到的光栅等等之外，还可使用一个或多个热镜（hotmirror）来实现红外滤光。在本示例中，IR传感器134B也光学地耦合到波长选择滤光器125，波长选择滤光器125仅将来自波导的红外辐射（包括用户眼睛140的红外反射，优选地包括在光轴142周围捕捉的反射）导出波导112并导入到IR传感器134B中。

在其他实施例中，眼睛跟踪单元光学器件未与显示光学器件集成。关于HMD设备的眼睛跟踪系统的更多示例，参见于2008年7月22日颁发给Kranz等人的名称为“HeadMountedEyeTrackingandDisplaySystem（头戴式眼睛跟踪和显示系统）”的美国专利7,401,920；参见Lewis等人的于2011年8月30日提交的名称为“GazeDetectioninaSee-Through,Near-Eye,MixedRealityDisplay（透视、近眼、混合扩增现实显示器中的注视检测）”的美国专利申请号13/245,739；以及参见Bohn的于2011年9月26日提交的名称为“IntegratedEyeTrackingandDisplaySystem（集成眼睛跟踪和显示系统）”的美国专利申请号13/245,700，所有这些申请作为引入并入在此。

用于跟踪眼睛的方向的另一实施例基于电荷跟踪。该方案基于如下观察：视网膜携带可测量的正电荷并且角膜具有负电荷。在某些实施例中，传感器128安装在用户的耳朵附近（靠近耳机130）以检测眼睛在转动时的电势并且有效地实时读出眼睛正在进行的动作。（参见2010年2月19日的“用眼球激活的耳机控制你的移动音乐！）”http://www.wirefresh.com/control-your-mobile-music-with-eyeball-actvated-headphones，其通过引用将其并入在此）。眨眼可作为命令被跟踪。还可使用用于跟踪眼睛移动（诸如眨眼）的其他实施例，其基于在来自装载在眼镜内部上的小眼睛跟踪相机134B的图像数据中进行模式和运动识别。眼睛跟踪相机134B在控制电路136的控制下将图像数据的缓冲发送到存储器244。

与光导光学元件112对齐的不透明度滤光器114选择性地阻挡自然光使其不穿过光导光学元件112以用于增强虚拟图像的对比度。当系统为增强现实显示器而呈现场景时，该系统注意到哪些现实世界对象处于哪些虚拟对象之前，反之亦然。如果虚拟对象处于现实世界对象之前，则不透明度对于该虚拟对象的覆盖区域而言被开启。如果虚拟对象（虚拟地）处于现实世界对象之后，则不透明度以及该显示区域的任何颜色都被关闭，使得对于现实光的该相应区域而言，用户将会仅仅看到现实世界对象。不透明度滤光器帮助使虚拟对象的图像表现得更真实并且表示全范围的颜色和强度。在该实施例中，不透明度滤光器的电控制电路（未示出）通过路由经过框架的电连接从控制电路136接收指令。

再者，图2A、2B仅示出头戴式显示设备2的一半。完整的头戴式显示设备可包括另一组可选透视透镜116和118、另一不透明度滤光器114、另一光导光学元件112、另一微显示器120、另一透镜系统122、面向物理环境的相机113（也称面向外或面向前的相机113）、眼睛跟踪组件134、耳机130、以及传感器128（如果存在）。在通过引用全部包含于此的2010年10月15日提交的题为“FusingVirtualContentIntoRealContent（将虚拟内容融合到现实内容中）”的美国专利申请号12/905952中示出头戴式显示器2的附加细节。

图3示出了从软件角度来看的计算环境实施例，该计算环境实施例可由显示设备系统8、与该显示设备系统通信的远程计算系统12或两者来实现。网络连通性允许充分利用可用的计算资源。计算环境54可以使用一个或多个计算机系统实现。如图3的实施例中所示，计算环境54的软件组件包括与操作系统190通信的图像和音频处理引擎191。图像和音频处理引擎191包括对象识别引擎192、姿势识别引擎193、声音识别引擎194、虚拟数据引擎195、以及可选的眼睛跟踪软件196（如果使用了眼睛跟踪的话），这些均彼此通信。图像和音频处理引擎191处理从捕捉设备（诸如面向外的相机113）接收的视频、图像和音频数据。为了帮助检测和/或跟踪对象，图像和音频处理引擎191的对象识别引擎192可通过一个或多个通信网络50来访问结构数据200的一个或多个数据库。

虚拟数据引擎195处理虚拟对象并使虚拟对象的位置和定向相关于一个或多个坐标系配准。此外，虚拟数据引擎195使用标准图像处理方法来执行平移、旋转、缩放和视角操作以使虚拟对象显得逼真。虚拟对象位置可与可以是现实的或虚拟的相应对象的位置配准或取决于该对象的位置。虚拟数据引擎195确定虚拟对象的图像数据在每个显示光学系统14的显示坐标中的位置。虚拟数据引擎195还可确定虚拟对象在显示设备系统8或计算系统12的存储器单元中所存储的现实世界环境的各个地图中的位置。一个地图可以是显示设备相对于用于逼近用户眼睛的位置的一个或多个参考点的视野。例如，透视显示光学系统14的光轴可被用作这样的参考点。在其他示例中，现实世界环境地图可以独立于显示设备，例如，为一地点（例如，商店、咖啡店、博物馆）的3D地图或模型。

计算系统12或显示设备8或两者的一个或多个处理器还执行对象识别引擎192来标识由面向环境的相机113所捕捉的图像数据中的现实对象。与在其他图像处理应用中一样，人可以是一种类型的对象。例如，对象识别引擎192可基于结构数据200来实现模式识别来检测特定对象，包括人。对象识别引擎192还可包括面部识别软件，该面部识别软件被用来检测特定人的面部。

结构数据200可以包括关于要跟踪的目标和/或对象的结构信息。例如，可以存储人类的骨架模型以帮助识别身体部位。在另一示例中，结构数据200可以包括关于一个或多个无生命对象的结构信息以便帮助识别所述一个或多个无生命对象。结构数据200可以将结构信息作为图像数据来存储或者将图像数据用作模式识别的参考。图像数据还可用于面部识别。

具体地，结构数据200包括用于标识不同类型的阅读对象的数据。上文提及的对象识别依赖于应用于对象的特征的过滤器，如可在运动捕捉文件中被标识的对象的大小、形状和运动特征，运动捕捉文件由来自面向前方的相机113的视野图像数据生成。这些不同的特征被加权，并且分配图像对象是阅读对象还是其他类型的对象的概率。如果概率满足准则，则阅读对象类型被分配给对象。

纸、书、报纸、专业报刊和杂志具有许多标准化的特性。例如，它们通常采用标准大小，例如，标准页面大小。而且，阅读对象的页面形状在形状上往往是矩形的。纸的材料成分有所不同，但存在材料成分的标准。例如，某种级别的硬度的白色账簿纸可几乎不包含木料纸而新闻纸是由木料纸组成的。某些类型的纸可被漂白或不被漂白。纸的标准化材料成分具有不同的反射率，反射率可从由面向前方的相机（在某些情况下也可以是深度相机）所捕捉的IR或色彩图像数据中测量。当用户用至少一只手操纵阅读对象时，即使没有握住阅读对象，与手的交互也可在图像数据中被捕捉以确定特定阅读对象的页面移动是否匹配某种类型的阅读对象的运动简档。而且，在阅读对象上可能已经存在某些文本。文本量、在对象上的放置、以及在对象上的定向也是标识一种类型的阅读对象的因素。

而且，如空白页面或空白的书之类的某些阅读对象可包括其封面或页面上的标记，该标记包括标识数据或用于从远程执行的应用访问标识数据的参考标识符。用于阅读对象的标识数据的某些示例是其页面连接侧、页面尺寸、封面尺寸、页数、以及页面色彩、页面厚度、如果包括线条则线条色彩和厚度。标记可以是不可见标记，如RFID标签或IR回射标签，IR或RFID收发器单元114可检测这些标签并将其发送到控制电路136的处理单元210以读取其数据以供对象识别引擎192和虚拟打印内容应用202使用。标记也可以是可见标记，其可充当如上所述的参考标识符。

为确定现实阅读对象的某些物理特征，如页数，对象识别引擎192可使得虚拟数据引擎195生成用于说明页数的音频或显示对说明页数的请求。

在另一示例中，阅读对象本身上的某些文本可由对象识别引擎192标识并被解析以标识物理特征。结构数据200可包括一个或多个图像数据存储，该图像数据存储包括数字、符号（例如，数学符号）、来自由不同语言所使用的字母表的字母和字符的图像。此外，结构数据200可包括用于标识的用户的手写样本。

例如，阅读对象可被标识为笔记本类型的阅读对象。笔记本通常具有多页纸并且在其封面上打印有页面大小。它们还可具有如“学院裁定”的文字，以指示该笔记本是按照规定的并且具有标准行间距。在其他示例中，对象识别引擎192可将阅读对象上或图像数据中的页面内的打印文本转换成如Unicode之类的可搜索计算机标准文本格式并且搜索发布者（207）和因特网索引的资源（209）数据存储以便寻找如页面大小和页数之类的标识数据。这样的本文可包括标识打印在对象上的如标题、作者、发布者和版次之类的内容的数据。可用于标识物理特征的其他数据是标识具体书籍的国际标准书籍号（ISBN）、标识期刊标题的国际标准序列号（ISSN）、以及作为用于标识期刊的具体案卷、文章或其他可标识部分的标准的连续项和文章标识符（SICI）。基于这种标识内容的数据进行搜索返回关于阅读对象的物理特征的信息。内容本身将被所请求的文学内容覆盖。

在对象识别引擎192检测到一个或多个对象之后，图像和音频处理引擎191可向操作系统190报告所检测到的每个对象的标识以及相应的位置和/或定向，操作系统190将该标识和位置和/或定向一直传送到比如虚拟打印内容应用202等应用。

声音识别引擎194处理诸如经由话筒110接收的声音命令之类的音频。

在显示设备系统8的实施例中，面向外的相机113结合对象识别引擎192和姿势识别引擎193来实现自然用户界面（NUI）。眼睛跟踪软件196所标识的眨眼命令或注视持续数据也是物理动作用户输入的示例。语音命令也可对诸如姿势和眼睛注视等所识别的其他物理动作进行补充。

姿势识别引擎193可以标识出由用户执行的、将控制或命令指示给执行中的应用的的动作。该动作可以由用户的身体部位（例如在阅读应用中通常为手或手指）来执行，但是眼睛的眼睛眨眼序列也可以是姿势。在一个实施例中，姿势识别引擎193包括姿势过滤器的集合，每个姿势过滤器都包括关于可由骨架模型至少一部分执行的姿势的信息。姿势识别引擎193将从所捕捉的图像数据中导出的骨架模型和与其相关联的移动与姿势库中的姿势过滤器进行比较来标识出用户（其由骨架模型来表示）何时执行了一个或多个姿势。在一些示例中，在与同显示设备系统8或计算系统12通信的显示设备2相分离的现实环境中的相机（特别是深度相机）可检测姿势并将通知转发到系统8、12。在其他示例中，姿势可在相机113的视图中由身体部位（诸如用户的手或一个或多个手指）来执行。

在一些示例中，在姿势训练会话期间将图像数据与用户的手或手指的图像模型进行匹配，而非进行骨架跟踪可用于识别姿势。

关于对象的检测和跟踪的更多信息可在2009年12月18日提交的名为“MotionDetectionUsingDepthImages（使用深度图像的运动检测）”的美国专利申请12/641,788，以及名为“DeviceforIdentifyingandTrackingMultipleHumansoverTime（用于随时间标识和跟踪多个人类的设备）”的美国专利申请12/475,308中找到，这两个申请的全部内容通过引用并入本申请。关于姿势识别引擎193的更多信息可以在2009年4月13日提交的名为“GestureRecognitionSystemArchitecture（姿势识别器系统架构）”的美国专利申请12/422,661中找到，该申请通过整体引用合并于此。关于识别姿势的更多信息参见于2009年2月23日提交的美国专利申请12/391,150“StandardGestures（标准姿势）”以及于2009年5月29日提交的美国专利申请12/474,655“GestureTool（姿势工具）”，这两个申请的全部内容都通过引用并入本申请。

计算环境54还将数据存储在图像和音频数据缓存器199中。缓冲器提供：用于接收从面向外的相机113捕捉的图像数据、来自该眼睛跟踪部件（如果被使用的话）的眼睛跟踪相机的图像数据的存储器，用于保持要由图像生成单元120显示的虚拟对象的图像数据的缓冲器，以及用于经由话筒110来自用户的语音命令等音频数据以及要经由耳机130发送到用户的指令的缓冲器。

设备数据198可以包括：计算机系统8的唯一标识符、网络地址（例如IP地址）、型号、配置参数（诸如所安装的设备）、操作系统的标识、以及什么应用在该显示设备系统8中可用并正在该显示系统8中执行等等。尤其对于透视、混合现实显示设备系统8，该设备数据还可包括来自传感器的或从所述传感器（诸如定向传感器132、温度传感器138、话筒110、电脉冲传感器128（如果存在）、以及位置和邻近收发机144）确定的数据。

在此实施例中，显示设备系统8和用户所使用的其他基于处理器的系统161执行客户端侧版本的推送服务应用204_N，所述推送服务应用204_N通过通信网络50与信息推送服务引擎204通信。在此实施例中信息推送服务引擎204是基于云的。基于云的引擎是在一个或多个联网计算机系统上执行并通过该一个或多个联网计算机系统存储数据的一个或多个软件应用。该引擎不被束缚于特定位置。基于云的软件的一些示例是社交联网站点和基于web的电子邮件站点，比如和用户可向信息推送服务引擎204注册帐户，该信息推送服务引擎授予信息推送服务监视以下数据的许可：用户正在执行的应用及其生成和接收的数据以及用户简档数据197，以及用于跟踪用户的地点和设备能力的设备数据198。基于从用户的系统8、161聚集的用户简档数据、由用户所使用的系统8、161上的正在执行的应用所接收和发送的数据、以及设备数据198₁、198_N中所存储的位置和其他传感器数据，信息推送服务204可确定用户的物理上下文、社交上下文、个人上下文（比如存在状态）或者各上下文的组合。

用户简档数据的本地副本197₁、197_N可存储相同用户简档数据197的一部分并且客户端侧推送服务应用204₁可通过通信网络50周期性地用由计算机系统12存储在可访问数据库197中的用户简档数据更新其本地副本。用户简档数据197一些示例是：用户所表达的偏好、用户的朋友的列表、用户的偏好活动、用户的最爱（用户的最爱的示例包括最爱的颜色、最爱的食物、最爱的书、最爱的作者等）、用户的提醒的列表、用户的社交团体、用户的当前位置、以及其他用户创建的内容，诸如用户的照片、图像和录制的视频。在一个实施例中，用户特定的信息可以从一个或多个数据源或应用获得，数据源或应用为诸如信息推送服务204、用户的社交联网站点、联系人或地址簿、来自日历应用的排程数据、电子邮件数据、即时消息收发数据、用户简档或者因特网上的其他源以及该用户直接输入的数据。如同下面讨论的，存在状态可以从眼睛数据推导得出并且可以被本地地或由远程推送服务应用204更新并存储在用户简档数据197中。在此实施例中，网络可访问的存在状态规则179将所标识的眼睛数据作为用于推导存在状态的参考与所述存在状态相链接。

信任等级可通过用户简档数据197来确定，用户简档数据将用户认识的人标识成例如社交网络朋友和共享相同游戏服务的家庭成员，可以基于信任等级将这些人细分为不同的分组。此外，用户可以使用客户端侧推送服务应用204_N在他们的用户简档数据197中显式地标识信任等级。在一个实施例中，基于云的信息推送服务引擎204聚集来自存储在用户的不同用户计算机系统8、161上的用户简档数据197_N的数据。

推送服务应用204的每个版本还在用户简档数据197中存储该用户的跟踪历史。跟踪在跟踪历史中的事件、人和物的一些示例是：所访问的地点、事务、购买的内容和现实物品、阅读历史、观看历史（包括对电视、电影和视频的观看）以及所检测到的与该用户交互过的人。如果电子地标识的朋友（例如，社交网络朋友）也向推送服务应用204注册，或者他们通过其他应用166使信息对用户可用或公开可用，则推送服务应用204也可使用此数据来跟踪该用户的内容和社交上下文。

如下文进一步讨论的，虚拟打印内容应用202可访问一个或多个搜索引擎203以标识可用于文学内容项的打印布局特征以及与文学内容项或文学内容项内的特定用户内容选择有关的虚拟扩充数据205。可在其中搜索标识和相关虚拟数据的资源的示例被示出为发布者数据库207和为因特网搜索而索引的文学内容相关的资源209。例如，可访问通用搜索引擎（比如或）以及用于对公众可用或在订阅基础上可用（如在用户简档数据中可标识的）的国会图书馆、大学图书馆或发布者数据库的搜索引擎。发布者可具有指向其数据库207中的虚拟扩充数据205的指针，因为发布者可能具有用于鼓励为扩充其有版权的材料而开发虚拟扩充数据205的业务模型。此外，与发布者不相关联的实体或者希望维护他们自己的数据资源的人可能希望通过他们自己的网站（所述网站是因特网索引的资源）来使虚拟扩充数据205可用。用户内容选择的元数据201可用基于对发布者和因特网索引的资源数据存储207、209的搜索的值来填充。下文讨论的图4A提供了用户内容选择元数据记录的示例。

一旦标识了打印布局特征，虚拟打印内容应用202基于布局规则206（在该示例中被存储在网络可访问的数据存储设备中）来生成下文讨论的一个或多个页面布局。布局规则206实现页面布局准则。布局规则可最初由对不同的发布格式熟悉的图形设计者来开发，并且被编程和存储在数据库中以便由执行虚拟打印内容应用202的处理单元210自动实现。准则的某些示例包括可见性准则、其上的布局特征可调整以及不可调整的发布者规则、以及间隔约束。某些布局规则可实现页面上特定数量的面板或块，其中每一个块显示相应的文学内容项以及块的长度和宽度调整范围。用于如书和杂志之类的不同类型的介质的标准化或典型的间隔约束也可被实现为发布者专用的间隔约束。间隔约束的某些示例可以是填到一行中的最少字数、以便文学内容项被包括在具有其他项的页面布局中而要显示的文学内容项或文学内容项的章节的最小百分比、以及以便被包括在页面布局中而要完全放进页面上的图片或照片。这些仅仅是可被实现的图形设计或布局规则的某些示例。

可见性准则的某些示例可以是视野中的文本或图画内容的大小。如果太小或太大，内容大小可被调整到舒适的水平。现实阅读对象的深度距离可从由3D版本的相机113捕捉的IR数据或基于来自相机113的2D图像的照相测量法来确定。深度距离可指示阅读材料太近或太远，并且例如字体大小可被调整以适应所述距离。可见性准则可基于用户实际视力（如果上传了处方）、用户年龄的典型视力、或基于人类的平均视力特征。

打印的发布的图形设计常常导致充当源属性的打印布局特征，这意味着打印布局特征或将发布者或将期刊名标识为内容源。某些打印布局特征甚至可以由商标来保护。例如，头版和辅助标题的大小和字体可用某种报纸来广泛地标识。另外，某些报纸使用具有实际列线条和固定大小的列的列格式，而某些报纸更多地使用文章被格式化到各个块中的不同大小的列中并且没有列线条的块样式。可调整特征的某些示例是文本大小（可能在一范围内）、某些发布者的列间隔、以及允许内容跨页显示。某些发布者约束可能不允许调整列宽度，但提供了允许改变列中字体大小的布局规则。对于书籍发布者，页数和字体大小可以是可调整的。

除了显示所请求的虚拟文学内容之外，虚拟打印内容应用202还可查询一个或多个搜索引擎203以基于包括用户内容选择的文学内容项来搜索用户内容选择的虚拟扩充数据205。在某些情况下，虚拟扩充数据205是为了在特定的打印版上（例如，在书籍的特定页或者打印的材料的其他细分上）摆开时与用户内容选择有关地出现而特别生成的数据。例如，具有存储在其数据库中的书籍布局的发布者可为书籍在页面上的预定位置处以及为特定页面提供交互式游戏以及其他内容。

在一些实施例中，虚拟扩充数据205与包括独立于表达内容的介质的用户内容选择的作品或作品版本相关联。例如，纸或其他可打印材料是介质的示例。表达作品的另一介质是电子显示器或音频记录。

在其他示例中，虚拟扩充数据205绑定到与介质无关的作品或作品版本。例如，教授可将她在不同点处做出的她的笔记存储在一教科书的她的虚拟副本中，以可用于该教科书的、与介质无关的任何版本。换言之，教科书的内容是作品。该教科书的当前的、先前的和未来的版本是作品的版本。虚拟打印内容应用202将每个笔记链接到作品的与介质无关的组织中的该作品的细分。例如，可将笔记链接到可通过执行用于文本匹配的软件指令来标识的特定段落中的短语。段落是一种与介质无关的细分，而页面依赖于特定的打印或电子布局。教科书的具有较小印刷字体和不同页数的平装副本与该教科书的用较大印刷字体的精装副本是不同的打印作品版本，但是它们包含该教科书内容的完全相同的版本并因此具有相同的作品版本。教授可通过向上她的课的学生或过去的学生授予许可和访问权来允许她的虚拟笔记可用于在她的判断下存储或流传输给这些学生。

响应于可用虚拟扩充数据选择被标识，虚拟打印内容应用202基于存储在可访问存储器中的扩充数据选择规则298来从可用虚拟扩充数据选择的候选中选择虚拟扩充数据，该存储器可以是本地的，但是也可以是网络可访问的。扩充数据选择规则298提供了用于标识用户简档数据197中与文学内容项或用户内容选择以及扩充数据的可用候选有关的相关用户数据的逻辑。

图4A示出了用户内容选择元数据记录的示例，该元数据记录包括用户内容选择描述性数据210、打印内容项版本标识符212、打印内容选择位置数据214、作品版本标识符216、以及作品版本位置数据218（如果适用）、作品标识符220和作品位置数据222。作品标识符220标识由与特定介质无关的文学内容项具体化的作品。作品位置数据222按照一个或多个与介质无关的细分（比如段落、诗节、诗篇等）来标识用户内容选择的一个或多个位置。可包括作品版本标识符216，以描述作品210的不同版本或版次（例如，翻译），其也与特定的格式或介质无关。还可按照一个或多个与介质无关的细分来定义作品版本位置218。文学内容项是作品或作品版本。打印内容项版本标识符212标识特定的打印布局的特定的打印版次。打印版本标识符212绑定于为纸或被物理打印的其他材料的介质。打印内容选择位置数据214可以按照具体的静态打印布局位置，比如页面或页面上的位置。

例如，诗“贝奥武夫（Beowulf）”是一个作品。该诗的原始的旧英语形式是一个作品版本，如同用现代英语词汇替换了一些单词的是一个版本一样。版本的另一示例是法语译文。另一示例将是用评论做脚注的原始的旧英语诗。打印版本标识符212可标识图书馆中保存的一片或多片牛皮纸上的该诗的打印版本。这一打印的版本还将具有原始的旧英语形式的作品版本标识符以及与其相关联的贝奥武夫的作品标识符。不同的打印内容项版本标识符212标识已打印了贝奥武夫的用在其第37页开始的评论做了脚注的版本的英语文献的选集。这一不同的打印版本与该诗的原始的旧英语形式具有不同的打印内容项版本标识符212和作品版本标识符，但是具有相同的作品标识符。对于用户所选择的该诗的选集版本内的内容，用户内容选择的位置数据按照第37页。在此情况下，同样，作品版本位置数据218和作品位置数据222包括相同的诗节。

图4B示出打印的与介质相关的和与介质无关的内容数据存储的示例，这些数据存储在此处被示为交叉引用数据库。这些数据库211、213、215提供对包括内容选择的特定布局的访问。所述布局可以与介质无关或与介质相关。在此示例中，打印内容项版本标识符212、作品版本标识符216、或作品标识符220中的任一个可被用来交叉引用或索引到与介质无关的作品211和作品版本数据库213和与介质无关的或布局特定的打印内容项数据库215中任一个。还标识了作品的位置数据的布局、任何作品版本以及该作品的各个打印内容项版本也被交叉引用。同样，与介质无关的细分标识符的一些示例可以是向再次被标识为作品或作品版本的文学内容项提供与介质无关的组织的段落、诗节、诗篇等等。作品中的第80段在一个打印内容项版本中可以被交叉引用到第16页，且在另一打印内容项版本中被交叉引用到该作品的较大印刷字体版次中的第24页。经由打印内容项版本标识符212，开发者能够链接到打印内容项数据库215中的打印版本（例如，特定的版次）的打印布局。打印布局包括比如以下事项：页码、页边距宽度、页眉和页脚内容、字体大小、图示和照片的位置及其在页面上的大小、以及其他这种布局专用的信息。

发布者可以提供对他们的有版权的作品的数据存储的访问，以用于标识目的并作为针对虚拟扩充数据的开发者的对该作品的布局、作品版本或打印的版本的参考。通过能够访问作品的布局、特定作品版本和特定的打印内容项版本，开发者能够为作品的与介质无关和与介质相关版本创建虚拟扩充数据205。如所示，数据库211、213、215和虚拟扩充数据205可彼此交叉引用。

对于没有版权的作品，可以在处于图书馆（特别是具有大的收集的那些图书馆，诸如国会图书馆、其他国家图书馆、大学、以及大的公共图书馆、以及书籍编辑网站，比如Google和由大学维护的站点）控制下的数据存储中搜索作品的副本、作品版本或打印的内容的版本，以获得将参考位置数据214、218、222引用到的布局。

在以下各图中呈现用于该技术的方法的实施例以及所述方法的一些步骤的示例实现过程。为说明目的，下面的方法实施例是在上述系统实施例的上下文中描述的。然而，所述方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。

图5是用于将虚拟数据显示为打印的内容的方法的实施例的流程图。在步骤230中，虚拟打印内容应用202接收到要显示与透视、近眼、混合现实显示设备系统的视野中的阅读对象配准的一个或多个文学内容项的请求。例如，客户端推送服务应用204₁从真正简单聚合（RSS）或另一其他格式的因特网馈源接收到文章馈送。推送服务应用204、204₁的任一版本根据用户偏好来对文章排序或分组。例如，通过监视和存储用户的阅读和媒体查看历史，接收到的文章的元数据或它们的文本可被搜索以与阅读和查看历史中的条目中的元数据进行匹配。通过基于协作性过滤或基于其他试探法的算法，用户感兴趣的话题可被优先排序。

在步骤232中，虚拟打印内容应用202为一个或多个文学内容项中的每一个选择打印布局特征。如下文所讨论的，在选择过程中，虚拟打印内容应用202可访问已经在文学内容项的元数据中被标识的发布者数据存储。如果否，则可基于与文学内容项相关联的一个或多个阅读对象来选择默认打印布局特征。例如，诗歌可与书、杂志、文学杂志和页面的阅读对象相关联。另外，尽管阅读对象可以不列在文学内容项的描述性元数据210中，也可选择另一类型的阅读对象。在步骤234中，一个或多个文学内容项与视野中的阅读对象配准地用它们各自的打印布局特征来显示234。

文学内容项的打印布局选择和显示受到阅读对象本质是现实的还是虚拟的的影响。图6A是用于选择视野中的阅读对象的方法的实施例的流程图。在步骤242中，虚拟打印内容应用202确定是否已经检测到指示对现实阅读对象的用户选择的物理动作。这种确定可基于由对象识别引擎192为满足一种类型的阅读对象的过滤器的对象而生成和存储的元数据。基于物理动作的用户选择可基于对象相对于用户手的位置的位置，用户手的位置由另一对象元数据集标识，另一对象元数据集由对象识别引擎192从来自相机113的视野图像数据中确定。对于姿势物理动作，姿势识别引擎193也可能已经标识了视野图像数据中的阅读对象的选择姿势。而且，由眼睛跟踪软件基于眼睛图像数据确定的在视野中的注视位置点、标识什么正在显示器上显示的数据、以及视野图像数据也可能已经标识了对现实阅读对象的选择。声音数据可单独地使用来确认或说明选择，但通常与姿势或注视相结合使用来确认或说明选择。响应于确定已经检测到指示对现实阅读对象的用户选择的物理动作，在步骤244中，虚拟打印内容应用202将现实阅读对象选择为阅读对象。

响应于对现实阅读对象的用户选择未被指示，在步骤246中，虚拟打印内容应用202基于与每一个所请求的文学内容项相关联的阅读对象类型来自动选择虚拟阅读对象的阅读对象类型。在某些实施例中，可以使用加权方案。例如，如果要显示的文学项中的一个是与书的阅读对象类型相关联的小说，而其他所请求的项是与独立的纸片、书籍、和一种或多种类型的期刊的阅读对象类型相关联的诗歌，而另一个是新闻文章，则由于其整体内容的较高百分比，书的阅读对象类型接收到指示比报纸或期刊更高的选择概率的加权。在步骤248中，虚拟打印内容应用202将虚拟阅读对象选择为阅读对象。

图6B是一种用于与视野中的阅读对象配准地用一个或多个文学内容项的各自的打印布局特征来显示一个或多个文学内容项的方法的实施例的流程图。在步骤252中，虚拟打印内容应用202根据所存储的布局规则生成一个或多个页面布局，所述页面布局包括带有一个或多个文学内容项的打印布局特征的一个或多个文学内容项，并且在步骤254中，基于透视混合现实显示设备系统的视野中的页面布局来显示一个或多个页面。在步骤256中，虚拟打印内容应用202响应于用户物理动作来改变所显示的一个或多个页面。

图7A是为一个或多个文学内容项中的每一个选择打印布局特征的实现示例的流程图。出于说明性目的使用循环构造来示出对每一个文学内容项的处理。可以使用其它处理构造。在步骤262中，虚拟打印内容应用202标识每一个文学内容项的与介质无关的作品标识符以及任何适用的与介质无关的作品版本标识符。例如，文学内容项的元数据可包括作品标识符或适用的作品版本标识符或可用作作品标识符的诸如标题和作者之类的一个或多个数据域。在步骤264中，虚拟打印内容应用202初始化用于文学内容项的数量的计数器i，并在步骤266中确定是否存在可用于文学内容项（i）的打印布局特征的发布者规则集。例如，虚拟打印内容应用202基于与文学内容项相关联的作品标识符来搜索发布者数据库207以将一个或多个可用打印布局标识为与文学内容项的打印版本相关联。对于某些项，文学内容本身或其元数据标识其发布者源，诸如期刊名和发布者名称。例如，提供来自纽约时报的文章的RSS馈源将纽约时报作为源包括在文章的元数据中。类似地，如美联社（AP）之类的文章的源属性标识了不存在与文章相关联的打印布局特征，因为美联社是这样的一种新闻服务：报纸和在线新闻输出口以其独特的打印或在线布局来订阅和格式化AP文章。

响应于发布者规则集不可用，在步骤276中，虚拟打印内容应用202为文学内容项（i）分配打印布局特征。在步骤278中，计数器i被更新，并且在步骤280中，循环继续直到i=N+1为止。

响应于发布者规则集可用，在步骤268中，虚拟打印内容应用202检索可用的一个或多个发布者打印布局特征规则集并标识，并且在步骤270中，确定是否已经检索到了超过一个发布者规则集。如果检索到了单个发布者规则集，则虚拟打印内容应用202继续至步骤274。如果检索到超过一个发布者规则集，则虚拟打印内容应用202在步骤272中基于阅读对象的页面大小尺寸、可见性准则和任何用户布局偏好来选择发布者打印布局特征规则集。例如，如果所选阅读对象是书籍，则指定关于阅读对象书籍的页面大小的页面大小的发布者打印布局特征规则集在选择算法中比不同页面大小的布局被分配更高的权重。如果用户偏好指示了在阅读书籍时偏好的用户字体，则带有偏好字体的布局接收到加权。对于可见性准则，带有对于用户舒适阅读位置而言太小的字体的布局或者先前由用户标识为难以分辨字母的布局将接收到不利的加权。

在步骤274中，虚拟打印内容应用202基于所选发布者打印布局特征规则集来为文学内容项（i）选择打印内容项版本标识符。随后执行步骤278和280。

除了打印布局特征以及发布者施加于其上的约束之外，还存在由文学内容项的作品施加于布局的约束。例如，小说一般用章节和段落来表达。显示没有标识章节和段落缩进的小说不仅由于人类眼睛的视觉处理将是非常难以阅读的，而且还将影响阅读者怎样容易地理解提出的观点或谁在发言俳句诗具有十七个音节并且通常被呈现为三行，其中第一和第三行是五个音节而中间行是七个音节。短诗具有十四行。通常，在诗歌的诗节之间存在行间距。在这些示例中，行数和划分成的段落数是约束所有打印布局的作品的布局的一部分。行间距的大小和段落缩进的大小在各打印布局中可以不同。

图7B是基于存储的布局规则来生成包括一个或多个文学内容项的一个或多个页面布局的实现过程的示例的流程图。在这一实现示例中，带有指示相同或兼容阅读对象类型的元数据201的文学内容项被分组在同一集合中。哪一个文学内容项的集合被首先显示取决于基于用户偏好确定的文学内容项的显示顺序。在步骤292中，虚拟打印内容应用202基于与每一个文学内容项相关联的阅读对象类型将所请求的文学内容项中的每一个分配到一个或多个集合，并且在步骤294中，基于用户偏好确定文学内容项的项显示顺序。在步骤296中，虚拟打印内容应用202基于所确定的项顺序中指示的优先级来确定一个或多个集合的集合显示顺序。在步骤298中，虚拟打印内容应用202为每一个文学内容项集合生成一个或多个页面布局的页面布局集合。

作为一个说明性示例，用户可标识来自不同源的多篇新闻文章、教科书以及玄幻小说中的章节便在长途火车旅行期间阅读。对于这一示例，用户捡起她旁边座位上留下的报纸并将其用作现实阅读对象。人们往往一起阅读报纸文章，并且因此报纸文章被放置在一个集合中，以使得它们将在典型的报纸布局模板中被摆放在一起。报纸文章集合的页面布局将具有基于所选报纸模板的用于头版、可能封底和中间页的报纸页面布局。报纸模板的一个示例是隔出固定宽度列的线条的模板，而另一示例是不具有隔出各列的线条并且具有可变列大小的模板。捡起的报纸上的实际打印布局不影响布局，因为将显示文学项的不透明的背景。教科书由于其页面的大小将具有不同的页面布局，并且教科书页面形成另一集合。通常，一个人不会阅读教科书和玄幻小说的散布的页。在这一示例中仍然在阅读对象处使用现实的报纸，尽管不再使用报纸块模板。教科书以页面格式来显示，并且基于其页面大小和捡起的报纸的大小尺寸，如可如上所述地通过标识期刊的标题确定的，一页以上的教科书可被指定以与报纸页面配准地显示。类似地，玄幻小说可与教科书类似地显示，尽管小说的打印布局特征中的页面大小可能更小从而允许更多的页面装进报纸页面。

在同一示例中，但使用虚拟阅读对象，一个虚拟阅读对象可被选择，并且基于所请求的内容的最高百分比的阅读对象类型被选择的布局规则，可选择用于阅读对象的书籍格式。在另一示例中，由于虚拟书籍所允许的自由度，装入教科书和小说的各自的打印布局特征的大小特征的教科书和小说的书籍或者它们中的每一个的书籍可能已经被生成。可能已经为文章生成了单独的报纸对象。

图7C是用于图7B的过程的用于生成文学内容项集的一个或多个页面布局的过程的实现的示例的流程图。在步骤302中，虚拟打印内容应用202基于用户偏好确定集合内的文学内容项的集合内显示顺序。例如，用户的阅读历史或实际用户输入指示了财经新闻具有最高优先级，并且来自主流财经报纸的文章具有最高优先级，接着是来自具有全国受众的主流综合报纸的财经文章。在步骤304中，虚拟打印内容应用202基于该集合的阅读对象类型以及该集合中的项的打印布局特征来为每一页面选择块模板，并且在步骤306中，基于集合内顺序中的优先级、相应项的大小特征、以及阅读对象的页面尺寸将该集合中的每一个文学内容项分配给该集合中的起始页号。

在步骤308中，对于每一页，基于相应文学内容项的大小特征，将分配给该页的每一项分配给该页上的块。例如，基于项的字数以及所使用的字体，项的面积可被确定以了解该项是否满足块尺寸的装入准则。布局规则通常会允许虚拟打印内容应用202服从于任何最小内容百分比准则地增加或减少块中文学内容的量并在一范围内调整字体大小。虚拟打印内容应用202可将文学内容项在同一页或分开页上的块之间拆分。

在步骤310中，虚拟打印内容应用202确定块中的任一个是否不满足可见性准则。响应于块不满足可见性准则，虚拟打印内容应用202在步骤312中对文学内容项的一个或多个可调整打印布局特征执行调整以便满足可见性准则。再一次，不限于特定的页数允许在作出布局调整中的灵活性，因为可按需增加页。响应于块满足可见性准则，虚拟打印内容应用202在步骤314中将控制返回到虚拟打印内容应用202的另一方面或在显示设备系统8中执行的另一应用，直到另一文学内容项被请求显示。

图8是用包括带有发布者和所指定的打印布局特征的文学内容项的页面布局在视野中显示的页面的示例。图8示出由虚拟打印内容应用202基于对于财经新闻的用户偏好而选择的新闻文章的所显示的文学内容的示例。报纸头版320或被显示为与现实阅读对象配准或被显示为与虚拟阅读对象配准。报纸文章包括具有不同发布者布局特征的两篇文章324和336，以及被分配打印布局特征的第三篇文章344，因为所存储的打印布局特征没有由发布者变得可访问。

在这一示例中，报纸的模板是基于报纸的阅读对象类型与文章相关联而选择的，甚至对于经聚合的新闻服务文章344也是如此。（例如，基于用户简档数据中的阅读历史或者通过请求供显示的文学内容的用户输入的第一条目）具有最高用户偏好的文章324（在这种情况下，这样的集合是头版）具有与其相关联的照片326。文章来自其的报纸的打印布局特征将照片放在头版的中心，如发布者所存储的布局规则206所指示的。这一头版是从包括标题块、中心照片块、环绕着或勾勒出中心照片块的两个块以及第三文章块的模板生成的。

虚拟打印内容应用202根据当文章被放置在主要文章块中时为该文章标识的打印布局特征和发布者布局规则将具有对于该集合的最高用户偏好的文章324的标题选为头条。在这一示例中，头条322为“U.S.BudgetDeficitProjectedtoGrow10%NextYear（美国明年的财政赤字预计将增长10%）”。字体和字体样式特征（例如，加粗、斜体、常规等）以及间隔和标题的其他布局特征被选为存储在文章324的发布者布局规则或打印特征中的那些特征。这一示例使用斜体18磅大小的CooperBlack字体。

对于文章324，它的打印布局特征标识了其链接的照片326和链接的照片说明328“WhiteHousePressSecretaryJeanneNordenRespondstoCongressionalBudgetCriticism（白宫新闻秘书JeanneNorden答复国会预算审定）”以及应用于它们的打印布局特征，诸如照片说明328的字体、字体样式、和行间距范围。文章324的打印布局特征指示了文章文本本身的字体、字体样式和字体大小范围是常规样式10磅。在这一示例中是EstrangeloEdessa字体而照片说明328的示例中使用相同字体的9磅斜体版本。

在某些实施例中，文章的发布者打印布局规则标识了响应于文章被显示而要被显示为打印广告的广告。例如，广告可在文章的相对页上显示。

文章324的列是固定大小并且比文章336的列窄。对于报纸，因为文章通常会出现在其他页面上，所以如文章的打印布局特征或者发布者的布局规则中所指定的格式的页连接器330被使用，该页连接器包括文本“Gotopage2（前往第2页）”。使用大写的词“Go（前往）”以及拼出单词“page（页）”的这一页连接器330样式表示形成标识发布者的源属性的一部分的布局特征，如字体特征和列特征一样。作者署名没有被包括在头版上，因为文章的打印布局特征包括文章结尾处的署名。

来自知名财经报纸的文章336的打印布局特征是不同的。由于它不是主要文章，所以该文章的标题采用了这篇文章所来自的报纸的非主要文章的字体、大小和间距特征。标题的位置（如打印布局特征中所指示的）在文章的列宽之内，附属于该文章的标题被示为标题332，标题332写着“AMERICANAIRLINESDECLARESBANKRUPTCY（美国航空公司宣布破产）”。在这一示例中，打印布局特征指示了标题字体是FelixTitling，用10磅字体大小，并且标题的所有字母均大写。署名样式仅包括用ArielNarrow字体以与文章相同大小的字体大小用斜体的作者姓名的署名334。页连接器338用斜体打印，并且使用斜体的单词以及缩写“p.”用作中的page（页）的形式。列特征导致稍宽于文章324的列的显示。

第三篇文章来自如美联社之类的经聚合的新闻服务，所以不存在与其相关联的打印布局特征；然而，可能存在若干发布者布局规则，诸如将作者姓名包括在使用大写单词“By（由）”以及新闻服务名称（在这一示例中是代表性的“ZZZZNewsService（ZZZZ新闻服务）”346）的署名342中。虚拟打印内容应用202选择字体、字体大小，并且在这一示例中为块选择默认可变列宽格式以便整体装入短的文章中。跨页延伸的默认标题格式被选择，以及在这一示例中对于写着“AllToyotaPlantsBacktoFullCapacity（所有丰田工厂完全恢复能力）”的标题340选择了14磅大小的字体Constantia。为文章344的文本选择了默认报纸字体，此处表示为Arial字体。

除了发布者布局规则206之外，还可由虚拟打印内容应用202实现阅读对象的通用布局规则206。这些规则的某些示例是标题中的每一个词都大写以及文章标题具有比头条小的字体大小。

图9A是用于基于物理动作用户输入来显示与文学内容项内的用户内容选择配准的个性化虚拟扩充数据的方法的实施例的流程图。在步骤354中，虚拟打印内容应用202基于物理动作用户输入标识文学内容项内的用户内容选择。在步骤355中，虚拟打印内容应用202确定虚拟扩充数据是否可用于用户内容选择，并且如果否，则在步骤356中将控制返回到虚拟打印内容应用202的另一方面或在显示设备系统8中执行的另一应用，直到另一用户内容选择被标识为止。

如果存在可用于用户内容选择的扩充数据，则在步骤357中，应用202基于用户简档数据从可用扩充数据中选择扩充数据，并且在步骤358中致使扩充数据在与用户内容选择的位置配准的位置中的显示。

图9B是用于响应于物理动作用户输入来显示与一个或多个文学内容项中的至少一个配准的虚拟扩充数据的方法的另一实施例的流程图。在步骤359中，虚拟打印内容应用202基于物理动作用户输入来确定与文学内容项有关的任务，并且在步骤360中执行该任务。在步骤361中根据该任务显示与文学内容项有关的虚拟扩充数据。在某些示例中，扩充数据基于用户简档数据针对用户被个性化。个性化扩充数据的这种任务的一个示例在下文中描述，该示例允许用户替换或填充角色或位置的名称。任务的某些其他示例是响应于用户输入来显示和更新交互式虚拟内容（如游戏）的交互式任务，允许用户选择内容并经由消息收发应用（如电子邮件、即时消息收发、或短消息服务（SMS））将其发送到另一用户的工具、注释应用、语言翻译应用、搜索任务、定义应用。下文描述的任务的另一示例是虚拟书籍的页面翻动任务，该任务还显示了在翻动页面时可用于每一页的扩充数据的指示符。扩充数据的指示符还可与现实阅读对象的翻动页面协同地显示。如同上面提到的，用户也可定义任务。

图10A是用于基于用户简档数据来从可用虚拟扩充数据中选择虚拟扩充数据的过程的实现示例的流程图。在步骤361中，虚拟打印内容应用202检索佩戴透视、头戴式、混合现实显示设备系统的用户的身份数据。而且，应用202在步骤362中确定当前存在状态。设置的一些示例是存在状态设置，比如困乏、醒着、睡觉、约会迟到、强烈的情绪，并且还可包括活动，例如，正在吃饭、正在驾车、正在火车上旅行。

存在状态可从对所感测的用户身体的数据以及也从其他应用和位置数据跟踪的信息中确定。例如，基于位置数据和日历应用，存在状态应用可指示用户对一会议是早到还是迟到。来自眼睛跟踪部件的用户眼睛的图像数据（也被称为眼睛数据）可指示用户正在经历强烈的情绪，同时还迟到了。可应用超过一个存在状态。

在眼睛数据中可标识并与存在状态规则179中的存在状态相链接的用户物理性质的一些示例是眨眼速率、瞳孔大小和瞳孔大小变化。在一些示例中，透视显示设备系统8还可具有生物测定传感器，比如压着用户太阳穴的脉搏速率测量传感器。可指示存在状态的物理性质的一个示例是从图像数据、闪光数据或传感器128中检测到的超过某一水平的眨眼。这样的眨眼可能指示强烈的情绪。更简单地，所检测到的闭合一段时间的眼睑可指示存在状态为“正在睡觉”。眼睛的含泪状态也可从其指示正在哭泣的反射性中检测。

瞳孔大小和瞳孔大小稳定性可指示存在状态为困乏的或疲惫的。瞳孔大小随着光照的改变而改变。在将瞳孔作为椭圆来对待的情况下，如果光照没有改变，则该椭圆的一个轴——即主轴——保持恒定，因为该主轴表示该瞳孔的直径。椭圆的短轴的宽度随注视改变而改变。面向前的相机113的光计量器（未示出）可检测光照变化。因此，由除了光照改变外的因素带来的瞳孔放大也可被确定。困乏和睡眠剥夺可致使瞳孔的总大小在疲惫时收缩，而瞳孔大小会变得较不稳定，大小波动。在稳定状态光照条件下超出一定标准的瞳孔放大还可指示对情绪刺激的反应。然而，瞳孔放大也可与活动相关联。

因此，如果来自面向外或面向物理环境的相机113的图像数据和运动传感器132所指示的小的头部移动指示该用户不在锻炼，例如，该用户看上去正在他或她的办公室内坐下，则下面讨论的软件（诸如客户端推送服务应用204₁）可将瞳孔放大与为“强烈感情”的至少一个存在状态数据设置相关。如由来自面向外的相机113的图像数据所指示的正在被观看的对象可提供更多数据，例如，少儿正在看真实恐龙骨架的图片或已被标识为特定的恐怖小说的文学内容项，并且基于一天中的时间、位置数据和随时间的视野数据，该读者在夜晚独自在家。在另一示例中，在虚拟打印内容应用202在该视野的图像数据中标识到报纸以前，图像数据指示用户的通常午餐时间跑步路径之一的视图且运动传感器132指示在一时间段（例如两分钟）内的跑步或慢跑速度。在此示例中，存在状态数据设置可包括“醒着”以及“中立感情”，并且可将“正在锻炼”以及“正在跑步”作为活动数据设置来包括，这取决于从用于标识活动的结束的停止的时间段。

在一个实施例中，推送应用的版本、客户端或服务器可包括用于确定正处于的状态的软件。该软件可基于存在状态规则179来实现一个或多个试探算法，以基于眼睛数据和用户周围的图像和音频数据两者来确定用户的存在状态。客户端推送服务应用204₁在步骤366中更新用户简档数据197₁、197中存储的当前存在状态数据。

在步骤364中确定基于该显示设备系统的传感器数据的当前用户位置。例如，当前用户位置可由GPS数据、位置的图像数据、甚至是与特定位置相关联的网络接入点的IP地址来标识。在步骤365中，虚拟打印内容应用202标识用户简档中链接到该用户的其他人的、对该用户可用的数据，该数据与用户内容选择有关。例如，如果文学内容项是具有由作者创作的文章的科学期刊，并且该用户的社交网络朋友之一在他的社交网站页面上对该文章进行评论，则该朋友的评论将被标识。

在此实施例中，虚拟打印内容应用202在步骤366中基于扩充数据选择规则298来向用户简档数据分配权重。在一些示例中，扩充选择规则可区分来自用户简档数据的各项的优先级。例如，以下类别的用户简档项可以按照从最高开始的次序被区分优先级：身份数据、存在状态数据、位置数据、当前或最新近的用户内容选择、被查看的文学内容项、以及与该选择或项有关的其他用户数据。在步骤367中，虚拟打印内容应用202基于经加权的用户简档数据为该用户内容选择从虚拟扩充数据候选中选择虚拟扩充数据。例如，身份数据可包括该用户知晓的语言。如果该用户仅知晓英语，则具有英语文本的虚拟扩充数据与西班牙语的扩充数据相比具有更高的被选择的概率。而且，根据以下的示例，对于正在色彩图书中涂色的五岁大的孩子，可选择图画性的扩充数据，而对于七岁大的孩子可显示包括简单文本的扩充数据。

图10B是用于执行以下任务的方法的实施例的流程图，该任务允许用户在文学内容项中用一个或多个其他词来取代至少一个词。在步骤368中，虚拟打印内容应用202接收要在文学内容项中进行取代的一个或多个单词，并且在步骤369中接收一个或多个替换单词以便取代要取代的一个或多个单词。在步骤370中，文学内容项的内容通过用一个或多个替换单词来取代要取代的一个或多个单词来更新。在步骤371中，虚拟打印内容应用202使用经更新的文学内容项的内容来执行步骤312，并且在步骤372中，执行用于显示经更新的文学内容项的内容的步骤314。

图11A是用于标识用户的眼睛选择用户内容选择的至少一个物理动作的过程的实现示例的流程图。眼睛跟踪软件196通常基于瞳孔位置来标识眼睛在眼眶内的位置，但是虹膜位置也可以是基础。在步骤370中，虚拟打印内容应用202确定用户注视内容对象的持续时间是否已经超过了时间窗口，并且在步骤371中，致使图像生成单元120显示标识出内容对象的视觉指示符。在步骤372中，响应于标识物理动作用户输入确认，虚拟打印内容应用202将内容对象标识为用户内容选择。物理动作用户输入确认的一些示例是比如眨眼等动作、指示“是”或“选择”或对任务的请求的姿势或语音命令。用户可通过对视觉指示符（例如轮廓）的物理动作来指示确认之外的命令，比如改变该视觉指示符的形状来包括更多或更少的内容或指示“否”或“取消”的姿势、眨眼或语音命令。

图11B是用于标识用户的眼睛选择用户内容选择的至少一个物理动作的过程的另一实现示例的流程图。在步骤373中，虚拟打印内容应用202标识用户注视内容对象期间用户眼睛的选择动作，并且在步骤374中，致使图像生成单元120显示标识出该内容对象的视觉指示符。在步骤375中，响应于标识物理动作用户输入确认，虚拟打印内容应用202将该内容对象标识为用户内容选择。

图11C是用于标识选择用户内容选择的姿势的至少一个物理动作的过程的实现示例的实施例的流程图。在步骤376中，虚拟打印内容应用202接收到已经检测到在与所显示的内容对象的一位置相对应的部分（例如，虚拟或现实的阅读对象的一页）上的手指的开始姿势的通知，并且在步骤377中，致使图像生成单元120显示标识出手指在该阅读对象的该部分上的移动的视觉指示符。在步骤378中，虚拟打印内容应用202接收到已经检测到手指在该内容对象上的停止姿势的通知。因为手指通常在用户正在阅读的页面或纸张或卡片的某个部分上，所以开始和停止姿势对用户正在做出请求时和仅仅是移动手指位置时之间做出清楚的区分。其他过程示例可不要求开始和停止姿势，而是反而基于监视随时间的用户手指行为来将移动与姿势进行区分。在步骤379中，响应于标识物理动作用户输入确认，虚拟打印内容应用202将内容对象标识为用户内容选择。

图12是用于确定虚拟扩充数据相对于阅读对象的页面的放置的过程的实现示例的流程图。在这一示例中，虚拟打印内容应用202具有与从中进行选择的用户内容选择有关的多个预定位置选项。用户按照他或她的期望从预定位置移动扩充数据。在这一示例中，在步骤390中，虚拟打印内容应用202确定适用的执行任务是否请求了替换位置。例如，任务可以是个性化任务，该个性化任务具有改变或插入读者的角色以及一个或多个用户指定的人的角色名的子任务。如果期望进行替换，则在步骤391中虚拟打印内容应用202在替换位置显示用于用户内容选择的虚拟扩充数据。在步骤392中，响应于执行任务不请求替换位置，虚拟打印内容应用202确定虚拟扩充数据是否能装入行间位置并且仍然满足可见性准则。行间位置是文本的各行之间的空间、或者文本行和图片之间的空间、或者图片之间的空间。可见性准则的一个示例是要装入行间位置扩充数据的大小对于具有平均视力的人类而言是否太小而无法在舒适的阅读位置处阅读。虚拟扩充数据是否能装入行间位置可基于什么百分比的内容可在行间位置处显示并且仍然是可见的来进行确定。作为定义的同义词是其可装入行间位置并且仍然满足可见性准则的内容的示例。行间位置通常不适用于图片。如果行间位置是合适的，则在步骤393中虚拟打印内容应用202在行间位置显示用于用户内容选择的扩充数据。

如果行间位置不合适，则在步骤394中，虚拟打印内容应用202确定扩充数据是否能装入任何边缘位置并且仍然满足可见性准则。如果一个或多个令人满意的边缘位置可用，则在步骤395中虚拟打印内容应用202选择最接近用户内容选择的令人满意的边缘位置。如果令人满意的边缘位置不可用，则在步骤396中，虚拟打印内容应用202将扩充数据格式化成具有当前部分的布局特征的一个或多个部分，并且在步骤397中，在阅读对象的布局中的当前部分之后显示具有经格式化的虚拟扩充数据的一个或多个部分。当前部分的一个示例是页。作为部分的页的布局特征包括典型的页布局设置。这种设置的某些示例是页边距、页码放置、行间间距、图片周围间距、字体和字体大小。阅读对象的布局的某些示例可以是报纸、书籍、杂志或问候卡片。在作为书籍的阅读对象示例中，用虚拟扩充数据格式化的一个或多个部分可变得作为书籍的附加页来出现。

在图12的示例中，虚拟扩充数据被格式化成出现在阅读对象的周界内。在其他示例中，浮动位置也可以是位置选项。例如，边缘空间可表现为被延伸以包括链接到内容选择的图片，对该图片的注释已经占据了最近的边缘空间。在另一示例中，浮动的说明性段落可表现为靠近它所解释的概念的行间空间中垂直于页面弹出。

图13A是用于用虚拟扩充数据来扩充文学内容项的虚拟副本中的用户选择并且保存虚拟扩充数据以便检索文学内容项的任何其他副本的方法的实施例的流程图。虚拟打印内容应用202在步骤398中在与用户内容选择配准的位置处显示扩充数据。这种扩充数据的一个示例可以是用户生成的扩充数据，如关于选择的注释数据或评论。在步骤400中，扩充数据被存储并与链接到文学内容项的与介质无关的数据版本（例如，作品或作品版本）中的用户内容选择。通过存储带有与介质无关的版本的扩充数据，用户可回想扩充数据，无论她正在查看的文学内容项的特定副本如何。可任选地，在步骤401中，扩充数据可被链接到文学内容项的打印版本中的用户内容选择，文学内容项的打印版本由为文学内容项标识的打印内容项版本标识符来表示。

图13B是用于为具有不同布局特征的文学内容项的另一副本显示所存储的为该文学内容项的虚拟副本中的用户选择而输入的扩充数据的方法的实施例的流程图。在步骤402中，虚拟打印内容应用202标识了透视混合现实显示设备的视野中的文学内容项的不同的布局版本。不同的布局版本可以针对打印版本或者针对另一虚拟版本。打印内容项的位置数据、作品版本、以及文学作品也可以在数据库211、213、和215中由发布者、大学、图书馆、或维护因特网索引的资源的其他实体交叉引用。在步骤404中，虚拟打印内容应用202基于物理动作用户输入来标识不同的布局版本内相同的用户内容选择，并且在步骤406中，在文学内容项的与介质无关的版本中检索链接到相同用户内容选择的扩充数据。在步骤408中，虚拟打印内容应用202在与文学内容项的不同布局版本中的用户内容选择配准的位置处显示检索到的扩充数据。

除了将文学内容项的虚拟数据显示为看上去像打印的内容之外，某些任务还有助于用户像导航真实的书籍一样来导航虚拟书籍。这种任务的一个示例是页翻动任务。图14A到14D示出不同姿势动作的两个示例，该不同姿势动作模拟了在翻动页面中的自然人类运动，这向用户提供了更真实的体验。

图14A示出其中用户在翻动运动中使用大拇指的长度的页面翻动姿势的第一示例的大拇指的起始位置的示例。对于这一示例，阅读对象411被示为书籍，但页面翻动任务还可应用于其他类型的虚拟阅读对象。左手翻动被示出，但任一只手都可执行翻动姿势。同样示出的是带有用于捕捉用户手指和手姿势的面向前方的相机113l和113r的显示设备2。由诸如腕、前臂、甚至脚、肘等之类的其他身体部位执行的姿势也可用于控制如虚拟打印内容应用202之类的应用。手和手指姿势允许用户在执行姿势的同时在显示器的视野中维护阅读材料。线条704l和704r表示近似从用户的瞳孔或视网膜的注视向量的眼睛视线。对于以下示例，虚拟打印内容应用202可电子地向用户提供指令，该指令用于在训练会话中执行某些大拇指动作，在该训练会话期间从不同角度的用户大拇指的图像数据被捕捉并且用户的肤色被标识。这种训练数据以及使用显示设备2在一段时间内捕捉到的用户大拇指的图像数据可形成姿势识别过滤器的基础，虚拟应用202可格式化姿势识别过滤器并通过如应用编程接口（API）之类的接口将其发送到姿势识别引擎193。

根据面向前方的相机113所捕捉的图像数据，姿势识别引擎193标识了起始大拇指位置，缩略图482l在该位置中几乎与页面的左侧边缘平行或对齐以使得图像数据示出缩略图的前方。姿势过滤器定义了使得左手大拇指向左旋转以使得缩略图在图像数据中被检测为向左旋转的姿势。图像数据示出：缩略图的近似前方视图向作为整体的缩略图482l和大拇指485l的右侧视图旋转。随着大拇指向左旋转并且基于其颜色和图案匹配被识别，大拇指在指甲下的肉体部分在图像数据中变得越来越可见。

面向前方的相机113以快于大拇指移动的速率捕捉数据，例如，以每秒30或60帧之间的范围。姿势识别引擎193为虚拟打印内容应用202标识右侧大拇指的宽度正以其进行改变的速度和加速度。这允许虚拟打印内容应用202以用户翻动的速度的速率来翻动页面，并且基于宽度变化得有多快来加速翻动或减慢翻动。

图14B示出包括页面上的虚拟扩充数据的缩略图的被翻动的页面的示例以及大拇指的结束位置的示例。缩略图是扩充数据的指示符的示例，扩充数据可用于与至少一个页面图像配准地显示。作为翻动停止姿势的指南以及为了标识要在其上停止的页面，大拇指右侧宽度在图像数据中被测量，并且如果满足如线481l所指示的宽度准则，则翻动在如所指示的某一页面484处停止。另外，虚拟扩充数据可在翻动页面时被指示为在页面上。在这一示例中，表示扩充数据的缩略图486在代表性翻动页面483的页面边缘中显示。翻动页面中的一个以及缩略图中的一个被贴标记以避免附图过于拥挤。用户注视缩略图可激活缩略图所表示的扩充数据的显示。

图14C示出页面翻动姿势的大拇指的另一起始位置的示例。根据面向前方的相机113所捕捉的图像数据，姿势识别引擎193标识了另一起始大拇指位置，缩略图482l的前方基本在视图中，并且缩略图几乎与页面的左侧边缘平行或对齐以使得图像数据基本示出缩略图的前方。

图14D示出页面翻动姿势的大拇指的结束位置的另一示例。在这一示例中，作为翻动停止姿势的向导以及为了标识要在其上停止的页面，大拇指顶侧宽度在图像数据中被测量，并且如果满足如线481l所指示的宽度准则，则翻动在如所指示的某一页面484处停止。在这一示例中，页面翻动的速度和加速度还可由虚拟打印内容应用202通过测量在数据图像中的宽度以及宽度改变得有多快来确定。

图15是计算系统的一个实施例的框图，该计算系统可用于实现一个或多个网络可访问计算系统12，所述计算系统12可以托管计算环境54的软件组件中的至少一些或者图3所描绘的其他元件。参考图16，用于实现本发明的一个示例性系统包括计算设备，诸如计算设备800。在其最基本的配置中，计算设备800一般包括一个或多个处理单元802，并且还可包括不同类型的处理器，诸如中央处理单元（CPU）和图形处理单元（GPU）。计算设备800还包括存储器804。取决于计算设备的确切配置和类型，存储器804可以包括易失性存储器805（如RAM）、非易失性存储器807（如ROM、闪存等）或是两者的某种组合。该最基本配置在图16中由虚线806来示出。另外，设备800还可具有附加特征/功能。例如，设备800还可包含附加存储（可移动和/或不可移动），包括但不限于磁盘、光盘或磁带。这样的附加存储在图15中由可移动存储808和不可移动存储810示出。

设备800还可以包含允许该设备与其他设备通信的通信连接812，比如一个或多个网络接口和收发器。设备800还可以具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等输入设备814。还可以包括诸如显示器、扬声器、打印机等输出设备816。所有这些设备在本领域是众知的并且不必在此详细讨论。

如同上面讨论的，处理单元4可被嵌入在移动设备5中。图16是可以在本技术的各实施例中操作的示例性移动设备900的框图。描绘了典型移动电话的示例性电子电路。电话900包括一个或多个微处理器912，以及存储由控制处理器912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器910（例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器）。

移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器1010。处理器912可实现通信以及任何数量的应用，包括本文中所描述的交互应用。存储器1010可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。设备操作系统处理移动设备900的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用930可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其他第三方应用，比如本文讨论的用于处理发送至或者来自显示设备2的图像数据的皮肤应用和图像处理软件，等等。存储器910中的非易失性存储组件940包含诸如web高速缓存、音乐、照片、联系人数据、日程安排数据、以及其他文件等数据。

处理器912还与RF发射/接收电路906进行通信，该电路906进而耦合到天线902，它还与红外发射器/接收器908、与像Wi-Fi、WUSB、RFID、红外或蓝牙等任何附加通信信道960、以及与像加速度计等移动/定向传感器914通信。加速度计被包括到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转电话时自动地将显示从纵向变为横向。可以，例如，通过微机电系统（MEMS）来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件（微米尺寸）。可以感应加速方向、以及定向、振动和震动。处理器912还与响铃器/振动器916、用户界面键区/屏幕、生物测定传感器系统918、扬声器920、话筒922、相机924、光传感器921以及温度传感器927进行通信。

处理器912控制无线信号的发射和接收。在发射模式期间，处理器912向RF发射/接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接收电路906将该信号发射到远程站（例如固定站、运营商、其他蜂窝电话等）来通过天线902进行通信。响铃器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。在接收模式期间，发射/接收电路906通过天线902接收来自远程站的语音或其他数据信号。所接收到的语音信号被提供给扬声器920，同时所接收到的其它数据信号也被适当地处理。

另外，物理连接器988可被用来将移动设备900连接到外部电源，如AC适配器或加电对接底座。物理连接器988还可被用作到计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。

为这种服务启用使用基于卫星的无线电导航来中继用户应用的位置的GPS接收器965。

附图中示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储设备也是处理器可读存储设备。这样的设备包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储设备的一些是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他设备。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于使用透视、近眼、混合现实显示设备系统将虚拟数据显示为打印的内容的方法，包括：

接收要显示与所述透视、近眼、混合现实显示设备系统的视野中的阅读对象配准的一个或多个文学内容项的请求；

为所述一个或多个文学内容项中的每一个选择打印布局特征；以及

与所述视野中的所述阅读对象配准地用一个或多个文学内容项的相应的打印布局特征来显示所述一个或多个文学内容项，

其中与所述一个或多个文学内容项配准的虚拟扩充数据响应于检测到图像数据中的用户物理动作来显示。

2.如权利要求1所述的方法，其特征在于，还包括：

确定是否已经检测到指示对现实阅读对象的用户选择的物理动作；

响应于检测到指示对现实阅读对象的用户选择的物理动作，将所述现实阅读对象选择为阅读对象；以及

响应于未检测到指示对现实阅读对象的用户选择的物理动作，

基于与每一个所请求的文学内容项相关联的阅读对象类型，自动为虚拟阅读对象选择阅读对象类型，以及

将所述虚拟阅读对象选择为阅读对象。

3.如权利要求1所述的方法，其特征在于，为所述一个或多个文学内容项中的每一个选择打印布局特征还包括：

为每一个文学内容项确定是否有打印布局特征的一个或多个发布者规则集可用；

响应于打印布局特征的一个或多个发布者规则集不可用于相应文学内容项，为所述相应文学内容项分配打印布局特征；以及

响应于打印布局特征的一个或多个发布者规则集可用于所述相应文学内容项，

通过网络从存储发布者打印布局特征规则集的一个或多个数据存储检索可用的一个或多个相应发布者打印布局特征规则集，

确定是否有打印布局特征的超过一个的发布者规则集可用于所述相应文学内容项，

响应于打印布局特征的超过一个发布者规则集可用，基于所述阅读对象的页面大小尺寸、可见性准则、以及任何用户布局偏好来选择检索到的打印布局特征的发布者规则集中的一个，以及

基于所选发布者打印布局特征规则集来为所述相应文学内容项标识打印内容项版本标识符。

4.如权利要求1所述的方法，其特征在于，与所述视野中的阅读对象配准地用一个或多个文学内容项的相应的打印布局特征来显示所述一个或多个文学内容项还包括：

根据存储的布局规则生成包括具有一个或多个内容项的打印布局特征的一个或多个文学内容项的一个或多个页面布局；

基于所述透视、近眼、混合现实显示设备系统的所述视野中的所述一个或多个页面布局来显示一个或多个页面；以及

响应于用户物理动作来改变所显示的所述一个或多个页面。

5.如权利要求4所述的方法，其特征在于，根据存储的布局规则生成包括具有一个或多个内容项的打印布局特征的一个或多个文学内容项的一个或多个页面布局还包括：

基于与每一个文学内容项相关联的阅读对象类型，将所请求的文学内容项中的每一个分配到一个或多个第一集合；

基于用户偏好来确定所述文学内容项的项显示顺序；

基于所确定的项显示顺序中所指示的优先级来确定所述一个或多个第一集合的集合显示顺序；以及

为所述文学内容项中的每一个生成一个或多个页面布局的第二集合，所述第二集合是页面布局集合。

6.如权利要求5所述的方法，其特征在于，为所述文学内容项中的每一个生成一个或多个页面布局的第二集合还包括：

基于用户偏好来确定所述第一集合内的所述文学内容项的集合内显示顺序；

基于所述第一集合的阅读对象类型以及所述第一集合中的文学内容项的打印布局特征来为每一页面选择块模板；

基于所述集合内显示顺序中的优先级、相应文学内容项的大小特征、以及所述阅读对象的页面尺寸来将所述第一集合中的每一个文学内容项分配到所述第二集合内的起始页号；

对于每一页面，基于所述相应文学内容项的大小特征来将分配给所述页面的每一项分配给所述页面上的块；以及

响应于块中的任一个不满足可见性准则，对所述文学内容项的一个或多个可调整打印布局特征执行调整以便满足可见性准则。

7.如权利要求4所述的方法，其特征在于，响应于用户物理动作来改变所显示的所述一个或多个页面还包括：响应于从图像数据标识出翻动姿势的一个或多个大拇指动作来翻动虚拟书籍的至少一个页面。

8.如权利要求7所述的方法，其特征在于，还包括显示与所述至少一个页面的图像配准的指示符，所述指示符指示虚拟扩充数据可用于与所述至少一个页面的图像配准地显示。

9.一种用于将虚拟数据显示为打印的内容的透视、近眼、混合现实显示设备系统，包括：

由支撑结构定位的透视显示器；

至少一个面向外的相机，所述相机被定位在所述支撑结构上以捕捉所述透视显示器的视野的图像数据；

一个或多个软件控制的处理器，所述一个或多个软件控制的处理器通信耦合至所述至少一个面向外的相机以便接收所述视野的所述图像数据；

所述一个或多个软件控制的处理器能够访问包括一个或多个文学内容项的内容、打印布局特征、以及虚拟扩充数据的一个或多个数据存储，并且用于为所述一个或多个文学内容项中的每一个从所述一个或多个数据存储中选择打印布局特征；以及

所述一个或多个软件控制的处理器致使与所述透视显示器光学耦合的至少一个通信耦合的图像生成单元，与所述视野中的阅读对象配准地用一个或多个文学内容项的相应的所选打印布局特征来显示所述一个或多个文学内容项，

其中所述虚拟扩充数据与所述一个或多个文学内容项配准，且响应于检测到所述图像数据中的用户物理动作来显示。

10.如权利要求9所述的系统，其特征在于，还包括：

所述一个或多个软件控制的处理器能够访问布局规则，以生成包括所述一个或多个文学内容项的一个或多个虚拟页面，以便根据可见性准则与所述阅读对象配准地在所述视野中进行显示。