CN110178168A

CN110178168A - 模拟增强内容

Info

Publication number: CN110178168A
Application number: CN201780083667.4A
Authority: CN
Inventors: 里卡多·达·西尔瓦·贝克; 迭戈·希门尼斯·佩德罗索; 卡林·罗扎
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2017-01-17
Filing date: 2017-01-17
Publication date: 2019-08-27
Also published as: WO2018136038A1; US20190347946A1; EP3571686A4; BR112019014561A2; EP3571686A1

Abstract

在一个示例中，描述了一种用于显示模拟增强内容的设备。计算机可读介质包括指令和列表，该列表包含索引的集合。处理器执行指令以在设备上接收可视化数据，可视化数据提供与页面索引相关联的学习材料页面上的唯一标识符的集合的多个图像。针对每个标识符创建唯一标识符索引的集合和定向数据的集合。针对学习材料页面识别内容的集合。针对设备上的显示器生成使用内容的集合的模拟增强内容。模拟增强内容的定向基于定向数据的集合和唯一标识符的集合中的至少一个以及内容的集合。

Description

模拟增强内容

背景技术

甚至在第一批印刷机之前，人们已经使用图书和其他学习材料以扩散大量信息和思想。然而，新的信息和思想不断地生成并且印刷内容可以变得过时并且也倾向于向读者提供错误信息。数字通信已经允许数种新的且不同的发布学习内容的方式，发布学习内容允许更新内容。然而，随着遍及世界的互联网的进步，知识增长的速率快速地提升。因此，即使按照需求创建的数字图书通常在它们发行的几个月内就过时了。

此外，社交媒体、视频游戏、计算机生成的图像、以及三维(3D)电影技术的进步已经在读者之中生成了对于丰富体验的预期，使得许多静态印刷和数字图书(例如枯燥且乏味的教科书)无法获得读者的关注。

附图说明

参照以下附图更好地理解本公开。附图的元素不必按照相对比例。相反，重点在于清楚地说明所请求保护的主题。此外，遍及数个视图，相同的附图标记指明对应类似的、尽管可能不同的部件。为了简便的原因，具有之前所述功能的附图标记或特征可以结合它们出现的其他附图被描述或不被描述。

图1是用于创建并且共享模拟增强内容的示例环境的图示；

图2是用于创建并且共享模拟增强内容的另一示例环境的图示；

图3是示例图书和用于采用示例图书观看模拟增强内容的示例设备的图示；

图4是示例图书和示出各种模拟增强内容的图3的示例设备的使用的图示；

图5是用于图3的示例图书以观看模拟增强内容的可替代示例设备的图示；

图6是用于观看模拟增强内容的示例设备的框图；

图7是用于观看模拟增强内容的可替代示例设备的框图；

图8A和图8B是用于允许观看各种示例设备上的模拟增强内容的示例指令的框图；

图9A是用于创建具有模拟增强内容的图书的示例系统的框图；以及

图9B是用于图9A的示例系统的可能附加指令的框图。

具体实施方式

用于保持它们信息内容更新以反映当前技术和思想的不断更新的印刷图书可以使用数种自然资源。该资源消耗在地球生态系统中留下不受欢迎的足迹。可以创建帮助减小该足迹大小的数字图书，但是大多数数字图书的内容像印刷图书那样仍然是静态的，并且可能不允许读者或学习者(诸如学生、学者、小学生、学徒、初学者等)在数字图书中教导的特定学习体验之外增进他们的学习。进一步，一些学习者特别喜欢物理图书并且可以采用物理图书更好地学习，因为物理图书允许快速获取、标示、涂写内容并且标记各种内容。因此，这些学习者倾向于避开数字图书，因为数字图书除了或许成本、大小和重量之外很少为他们提供附加的学习优点。

因此，本文所公开的示例实施方式提供了一种用于由指导者创建图书(诸如教科书)和其他学习材料的丰富生态系统，该生态系统允许采用一大批各种模拟增强现实(AR)媒体来更新并且增强印刷学习内容和数字学习内容两者，模拟增强现实媒体允许指导者将一个或多个学习者的群组沉浸至具有模拟增强内容的虚拟环境中。模拟增强内容允许每页材料多个AR内容、用于单个学习者的目标AR材料、在学习者群组和指导者内对笔记、通信和附加AR内容进行社交共享。此外，指导者可以创建不同AR内容的多个流并且可以不断地更新附加AR内容。

例如，图1是用于创建并且共享模拟增强内容190的示例环境的图示。指导者(诸如教师、教授、教育工作者、家教、教练和教员等)可以使用增强现实(AR)图书创建工具110来选择上传并且存储到数据库122上的可定制内容192，可定制内容192是关于特定页面、章节、图片等的一个或多个AR图书作品集120。数据库122可以是关系或结构化数据库，诸如Oracle^TM、SQL server^TM、MySQL^TM、DB2^TM、Postgres^TM等。然而，也可以使用本领域技术人员已知的其他SQL和非SQL数据库，诸如VerticaTM、MongoDB^TM、Cassandra^TM、Neorj^TM等等。在一些示例中，可以使用多于一个数据库。

AR图书创建工具110允许指导者使用AR图书打印机130设置并且创建定制图书(诸如物理图书160)。AR图书创建工具110也可以创建可以是物理图书160的电子副本或物理图书160的增强电子副本的数字图书170。物理图书160和数字图书170可以是教科书、初级读本、参考文献、手稿等的一种或多种类型。可以使用扫描仪114以将物理图书和其他材料(包括3D对象)扫描成电子格式。在一个示例中，AR图书创建工具110是运行在具有投影仪的Hewlett-Packard^TM Sprout^TM PC上的应用程序，投影仪帮助照明并与2D页面扫描仪、3D扫描仪和/或HP 3D捕获级(capture stage)配合使用。在另一示例中，AR图书创建工具110是耦接至2D扫描仪和/或3D扫描仪(诸如‘3D扫描仪iSense^TM’、‘David SLS-2 3D^TM’扫描仪、‘XYZ打印DaVinci^TM’扫描仪)和打印机等的个人计算机、服务器、笔记本电脑、平板电脑或智能电话等。定制图书页面的内容和可定制内容192可以存储在实施了AR图书作品集120的一个或多个云系统150中的、基于云的或其他类型的数据库122上。可以采用在通常连接至互联网的网络上托管的私人、公用或共享的远程或本地服务器实施云系统150。云系统150允许使用一个或多个应用程序接口(API)124经由AR图书作品集120而存储、管理并处理AR图书，AR图书作品集120包含在从定制图书页和可定制内容192建立的、数据库122上的模拟增强内容190。

可以使用AR图书创建工具110从可定制内容192中选择页面、章节、图片等以修改文本内容，以及在AR图书打印机130处为特定学习者群组订购物理图书160或数字图书170的印刷品之前，将一个或多个富媒体元素(诸如3D内容、3D对象、增强图像、电影或交互式媒体)与各个页面、章节和/或图像相关联。在一些实施方式中，可能不期望物理图书160，或者除了物理图书160之外，可以由AR图书创建工具110使用数种不同的、基于计算机的数字出版方案(诸如Adobe Acrobat^TM、Amazon Kindle^TM图书、Lulu^TM等)以一个或多个专有或开源格式(诸如便携式文档格式(PDF))和本领域技术人员已知的其他格式来创建数字图书170。

AR图书打印机130可以是Hewlett-Packard^TM Indigo Digital Press^TM、Hewlett-Packard^TM Web Press^TM或者本领域技术人员已知的其他物理图书印刷方案。AR图书打印机130可以连接至数据库122，或者在一些实施方式中可以能够从指导者诸如采用各种可传输介质(诸如硬盘驱动器、闪存卡、USB驱动器、光盘等)的格式间接接收最终图书电子文件。在打印之后，指导者可以通过使用AR图书创建工具110来修改或更新图书内容和/或添加更多内容至图书的不同区域而管理对于存储在数据库122中的图书的关联增强内容。

学习者可以使用一个或多个电子设备10(诸如智能电话142、平板电脑144或个人计算机146)作为AR图书观看器140。智能电话142也可以包括个人数据助理、电子书阅读器、平板手机等。平板电脑144也可以包括小型或更大型的电子书阅读器，2合1、3合1或其他平板可配置笔记本电脑。个人计算机146也可以包括膝上型电脑、笔记本电脑、Chrome本、上网本、台式机、一体机、服务器等。运行在电子设备10上的AR图书观看器140可以控制一个或多个相机以用于观看并识别物理图书160上的多个内容标记。当使用数字图书170时，可以在特定电子设备10的显示器屏幕上观看图书的增强内容。对于一些学习者，他们可以独立地或一起使用具有AR图书观看器140的各种类型的电子设备10中的一种或多种来观看所创建图书的增强的模拟增强内容190。

图2是用于创建并且共享模拟增强内容190的另一示例环境200的图示。例如，指导者202可以从一个或多个可用媒体材料中进行选择，以为了特定学习课程而为具有一个或多个学习者204的学习者群组206创建用于创建图书160、170的可定制内容192。可用媒体材料可以来自物理或在线图书馆212、个人或部门参考文献214的集合、电子书216、计算机媒体218以及多媒体220。可以将来自图书馆212和参考文献214的任何物理材料扫描成便携式文档(PDF)、ePub、AZW、MOBI或诸如用于电子书216的其他电子书电子格式。计算机媒体218和多媒体220可以是一种或多种不同的媒体格式，诸如JPEG、PNG、MOV、AVI、ASF、QT、AVCHD、FLV、SWF、MP3、MP4等。因此，由指导者202创建的可定制图书可以利用现有的协议、格式或方案以用于创建数字图书。

然而，与典型的数字图书出版相比，采用AR图书创建工具110，指导者202可以创建更丰富和更包罗万象的学习体验。AR图书创建工具110允许指导者202从图书馆212、参考文献214、电子书216、计算机媒体218和多媒体220中选择采用电子书和媒体格式的页面、章节和图片。当选择了条目时，专用水印、标记或其他唯一标识符180与该条目相关联且它们一起存储在云150内的数据库122中。通过将诸如页面内容的条目和页面上媒体与唯一标识符180相关联，可以稍后由它们各自的唯一标识符180识别各个条目。可替代地，可以通过检查媒体条目并且基于媒体的物理特性或属性(诸如照片的各个颜色向量的加权矩(weightedmoment)、边缘匹配、灰度匹配、梯度匹配、直方图、本征向量、标量不变量特征变换等)创建唯一电子标签而生成唯一标识符180。其他照片和媒体识别技术对于本领域技术人员是已知的。

数据库122可以包括以通信例程(routine)或协议的集合组织的一个或多个应用程序接口(API)124，以与AR图书创建工具110、AR图书观看器140以及或许AR图书打印机130交互。可以使用各种基于网络的API架构并且可以包括以可扩展标记语言(XML)或JavaScript^TM对象标记格式而格式化的一个或多个互联网应用层协议、超文本传输协议(HTTP)或安全HTTP(HTTPS)请求消息。可以使用不同的协议，诸如简单对象访问协议(SOAP)、面向服务的架构(SOA)、代表性状态传输(REST)和面向资源的架构(ROA)以及本领域技术人员已知的其他协议。API 124可以支持不同类型电子设备10以及电子设备10上的多种移动操作系统，包括iOS^TM、Android^TM、webOS^TM、Windows 10Mobile^TM、Windows^TM的各种版本、Linux^TM、Unix^TM和MacOS^TM以及本领域技术人员已知的其他操作系统。

电子设备10可以使用包括互联网协议IPv4和IPv6的一种或多种通信协议以及诸如传输控制协议(TCP)、用户数据报协议(UDP)或本领域技术人员已知的其他协议的传输层协议而与API 124通信。用于内联网和外联网的有线或光学网络协议可以包括使用在双绞线、同轴电缆和光缆之上的各种标准和非标准物理连接器的IEEE 802.3、10-Base-T、100-Base-TX以及1000-Base-T。其他以太网协议对于本领域技术人员是已知的。进一步，数种不同无线协议诸如各种IEEE 802.11协议(例如802.11a、802.11b、802.11g、802.11n、802.11ac等)、蓝牙基本速率/增强数据率(BR/EDR)版本2.0/2.1以及具有低能量(LE)的蓝牙版本4.0/4.1/4.2、蓝牙版本5。也可以使用其他无线或光学协议，仅作为一些示例，诸如近场通信(NFC)(诸如用于NFC和IrDA IrPHY 1.3的Ecma-340和ISO/IEC 18092)。

在一些实施方式中，可以存在指导者API 250和学习者API 260，或者它们可以组合在单个API 124内。也可以包括附加的API以提供附加的功能。指导者API 250可以允许指导者202登录、上传文件，将各种内容(诸如页面和图片)与AR内容相关联，并针对特定内容选择不同的流。指导者API 250也可以允许指导者202诸如针对不同班级、节目或课程而管理在学习者群组206中的学习者204的不同群组。学习者API 260可以允许学习者204登录，保存进度，并基于他们各自指导者的规则而选择内容。

指导者202可以从图书馆212、参考文献214和电子书216中为班级选择一个或多个图书或其他学习材料。接着指导者202可以经由指导者API 250将各种所期望的页面230的电子格式(诸如以PDF或其他电子文档格式)和/或可附加的AR媒体内容240上传至数据库122，以在数据库122中创建可定制内容192。指导者202可以随后如所期望的使用AR图书创建工具110将刚刚上传的可定制内容192与唯一标识符180相关联。指导者202也可以将特定学习者204或学习者的群组与AR图书内容相关联，AR图书内容是存储在数据库122上的可定制内容192的作品集。AR图书内容随后可以由指导者202标记为“准备好”，以采用打印或数字格式使用、打印或分发至关联的学习者。

因此，学习者204可以检索物理图书160或电子书170。AR图书观看器140可以是可以下载至学习者的电子设备10上并作为应用程序运行的应用程序。可替代地，AR图书观看器140可以是专用于运行AR图书观看器140软件的独立电子设备10，以将从电子邮件、文本消息、社交消息等分散注意力降低到最小程度。学习者204可以打开或另外运行AR图书观看器140应用程序。学习者204可以从AR图书观看器140登录至学习者API 260。在一些实施方式中，学习者204可以选择或分配至指定的学习者的群组206、创建学习者的唯一群组206或加入学习者的现有群组206。遵循在AR图书观看器140应用中屏幕上的指令，学习者204打开物理图书160或数字图书170，并将AR图书观看器140设备的相机指向所打开页面。与特定页面相关联的、由一个或多个唯一标识符180(诸如由独特标记或由图像识别)所识别的各种AR内容在电子设备10的显示器上显示模拟增强内容，且学习者204可以随后与其交流。

唯一标识符180优选地不引起人眼注意，但由AR图书观看器140可识别。例如，可以通过针对物理图书160在图书制造过程期间在AR图书打印机130中以模具按压页面的纸张或使用可编程可形变的滚轴，而采用专用独特水印来标记每个页面。在其他示例中，可以通过使用对于人眼相对不可见但是其频率或分布可以由AR图书观看器140上的相机读取的特定油墨而完成水印。在其他示例中，可以通过使用可见油墨完成(但是以对于人眼不能识别而由相机采用AR图书观看器140上的合适软件可识别的方式完成)在每个页面上水印的印刷。用于媒体的唯一标识符180可以类似于水印，或者可以包括将一个或多个图案沉浸至图像中以允许由AR图书观看器140上的相机快速识别。在一些实施方式中，可以由一个或多个基于向量的识别系统(诸如矩加权系统或之前所述其他图像识别系统)识别媒体或页面内容。通常，唯一标识符180是由页面或媒体的物理特性隐蔽地嵌入或隐蔽地表达且由电子设备10的相机可识别的标记。因此，唯一标识符180一旦输入至数据库122中，就变为用于单个内容页面以及与内容页面相关联的每个AR媒体对象的“追踪器ID”。因此，每个页面可以存在多个标记(唯一标识符180)。进一步，每个唯一标识符也可以包括标识符的位置信息和/或它的相对于其所相关联页面的内容。

此外，输入至数据库122中的每个页面或媒体内容包括用于追踪页面和AR内容的所有权的指导者ID或者与其相关联。因此，每个物理图书160或电子书170可以基于指导者ID具有不同的AR内容，且因此指导者202可以一起或单独地工作以创建或使用相同原始图书但是具有不同的、更新的AR内容。此外，在一些实施方式中，指导者202可以针对每个页面或媒体内容创建不同的流且允许学习者204选择不同流内的不同路径。例如，图片可以与唯一标识符180相关联且基于相关联的指导者ID，可以展示菜单以允许学习者204从一个或多个选项中为图片选择不同AR内容，诸如数个电影中的一个。

例如，如果图片是鸭子的图片，则当学习者204采用AR图书观看器140扫描图片且识别了相应的唯一标识符180时，可以出现菜单。可以展示各种鸭子品种的数个不同图片、电影和/或3D模型，以允许学习者204具有丰富的学习体验。如果找到新的鸭子品种或者其状态变为濒危或从濒危状态移除，可以由指导者202将新内容上传至数据库122并使其对于学习者204可用。

图3是以物理图书160或数字图书170格式的、探索蒸汽发动机的示例热动力学教科书310的图示300。也示出了具有AR图书观看器140的示例电子设备10。在该示例中，智能电话用于观看具有示例教科书310的模拟增强内容190。开始，学习者204登录到AR图书观看器应用程序中，并可以选择将要共同学习的学习者360的群组。AR图书观看器140识别一个或多个唯一标识符180，并允许学习者204从交互式菜单选择所识别的增强现实内容350。

例如，针对各种流的AR内容选择可以是a)历史，b)经济，c)热动力学理论，d)3D模型等。在该示例中，物理图书160或数字图书170包含文本材料312的部分以及蒸汽机(诸如希腊蒸汽机314、大气发动机316、早期机车发动机318和19世纪机车发动机320)的各种历史形式的说明或图片。通常，教科书310可以具有静态图片。然而，基于技术进步和历史发现，教科书310中包含的信息可能过时或甚至缺乏启发学习者204所需的足够“令人兴奋的”的材料，学习者可能习惯于具有不断活跃和决策选择的高CGI视频游戏。

因此，AR图书观看器140通过使用一个或多个电子设备10以生成并显示模拟增强内容190，而提供改进典型教科书体验的能力。现在，不同于仅观看教科书310中各种蒸汽机的静态图片，学习者204可以在教科书310的页面之上移动电子设备10，并显现更新的或丰富化的内容、在线内容、活动图片、或在多个方向上可观看的交互式3D模型。该方案可以应用于老旧图书(具有用于唯一标识符180的图像识别)以及较新的印刷和数字图书(具有图像识别或补充唯一标识符180)。AR图书观看器140可以创建3D沉浸式体验，其可以从图书的静态内容提供真实的交互式体验。此外，指导者202可以通过使用AR创建工具110并更新数据库122由此允许内容材料的近实时更新，而在任意时刻更新所展示的内容。附加的用户交互可以包括使用具有训练例程的AR图书观看器140，诸如显示各种工作试验和位置的视频或3D模型。另一用户交互场景是使用AR图书观看器140作为用于视频或其他游戏的输入和观看器设备。

图4是当AR图书观看器140跨物理图书160或数字图书170的页面移动时，图3的示例教科书310和示出各种模拟增强内容190的示例电子设备10的使用的图示400。AR图书观看器140应用程序针对每个页面识别唯一标识符180并使用唯一标识符、指导者标识符、学习者标识符以及可能的群组学习者标识符和任何图片标识符而针对模拟增强内容查询数据库122。唯一标识符180的识别也包括位置信息以及来自电子设备10的位置信息，当AR图书工具110跨页面扫描时，在电子设备10的显示器上示出任何更新的或增强的内容(诸如更新的文本内容412)。

例如，在第一位置410中，可以更新文本材料312或现在包括新网络链接(例如关于动力机械的Smithsonian博物馆网站)，并且可以允许学习者选择网络链接并访问相应网站以得到更详细信息。在第二位置414中，可以通过示出加热锅炉中的水并从允许其旋转的球体上的喷嘴退出的火而在实际操作中将希腊蒸汽机314的静态图片替换为希腊蒸汽机314的动作视频。此外，还通过示出阀门往复相对旋转，学习者204可以习知，希腊蒸汽机314的旋转速度可以取决于经由阀门允许进入球体的蒸汽量而改变。其他网络链接可以指引学习者204至描述了英雄亚历山大里亚的、由希腊人使用蒸汽的历史的网站，诸如自动打开寺庙门以迷惑并说服崇拜者他们的燔祭被希腊诸神(不实地)回应。

在第三位置416中，大气发动机316的简单静态图片可以采用工作中的历史大气发动机316的更详细版本更新。进一步，学习者204可以触摸图片并可以打开网页至具有关于操作物理学的详细信息的、以及或许也关于历史大气发动机316发展的社会、经济和商业分支的在线图书或视频。例如，学习者204可以习知煤矿(或工厂)不再需要位于水轮用于为泵提供动力的河流附近以摆脱煤矿渗水。进一步，他们可以习知历史大气发动机316的使用为其所帮助产生的煤产品创建了市场，因为煤用于加热用于驱动发动机的蒸汽，从而创建了“鸡”(大气发动机)和“蛋”(提高煤产量)，一种推动该技术快速应用的独特经济发展。

在第四位置418中，早期机车发动机318的静态图片可以替换为示出发动机真实操作的视频。再有，可以由学习者204触摸显示屏上所示出的视频而访问附加的信息(诸如网络链接和其他内容)。类似地，针对第五位置420，19世纪机车320的静态图片可以替换为可以由用户基于电子设备10相对于示例物理图书160或数字图书170的定向而从数个不同角度观看的机车的3D模型。通过学习者204触摸电子设备10上屏幕，可以显现菜单以允许3D模型的旋转、至更多信息的网络链接、或诸如描述了19世纪机车320如何通过革新而不同于早期机车318的附加内容(诸如包括用于燃料的煤车、用于夜间操作的灯、用于报警即将来临或预期离开的蒸汽操作的汽笛、用于牵引的多个车轮、用于允许回填水箱的阀门、正面用于轨道上使得可以使火车脱轨的障碍物偏离的导向器或“排障器(cattle catcher)”)。导向器也消除了对用于围筑火车轨道的大展宽围栏的需要。因此，更丰富的学习环境允许不仅探索蒸汽机技术而且也探索它们如何随着看起来简单的革新而从历史、经济和技术角度影响并改变社会。

图5是具有用于示例物理图书160或数字图书170以观看模拟增强内容190的AR图书观看器140的可替代示例设备10(诸如平板电脑)的图示。在该示例中，平板电脑的相机扫描、捕捉并识别一个或多个唯一标识符180的集合，包括页面索引。创建所识别的唯一标识符180中的每一个以及用于相应唯一标识符的每个标记的定向数据的集合。将唯一标识符180的集合、指导者202标识符、学习者204标识符以及学习者群组标识符发送至数据库122中的API 124，以识别用于学习材料页面的增强内容的集合。增强内容的集合基于页面标识符、唯一标识符的集合、指导者标识符、学习者标识符和学习者群组标识符。由AR图书观看器140使用API 124生成模拟增强内容190，以检索用于平板电脑的显示的增强内容192。可以由AR图书观看器140基于定向数据的集合和唯一标识符180的集合中的至少一个以及增强内容192的集合而确定模拟增强内容190的定向。

例如，在一个或多个位置中(在该示例中的三个位置中)，采用更新的文本内容412更新或增强文本内容312。通过采用414、416和418以及420中的AR内容替换静态图片314、316、318和320而增强一个或多个页面510，如针对图4所述，但是现在由于平板电脑的更大显示区域，全部都作为一个范围广泛的模拟增强内容190。应该注意，智能电话型电子设备10也可以全屏观看范围广泛的模拟增强内容190，尽管或许以稍微不太可读的尺寸。类似地，平板电脑可以将各种内容如图4所示简单地显示或如所希望的那样如图5中以页宽显示。通过具有在单个屏幕上一次观看整页或更多的能力，学习体验变得非常具有沉浸性，因为各种更新的内容中的每一个中的活动立即一起变得生动。进一步，因为唯一标识符190的定位和位置是已知的，所以学习者204可以将平板电脑相对于物理图书160或电子书170定向，以从各种定向观看增强的图片、电影以及特别是任何3D内容。

此外，模拟增强内容190可以包括交互式菜单530以允许学习者204选择指导者202可以提供的各种材料流。交互式菜单530可以对于整个页面和/或对于每个单独模拟增强内容190是可用的。例如，指导者202可以包括流的集合，其中一个集合提供各种蒸汽机的操作视频的集合。另一流可以显示特定蒸汽机类型的更详细高分辨率2D图像或3D模型。另一流可以提供至各种在线内容(诸如博物馆、维基百科、百科全书和参考书)的链接的列表。又一流可以提供由希望共享他们已经独立地发现的信息或提供具有他们的独特见解的信息的伙伴学习者204所上传的附加内容的视图。模拟增强内容190也可以包括附加的增强内容520(诸如消息发送系统、视频或视频会议系统、和/或2D或3D音频/视频/图片内容)，以允许学习者群组中的伙伴学习者204彼此通信并且在没有指导者202干预的情况下直接共享附加内容。例如，学习者204的群组可以开始远程学习会话并且当每个人在观看教科书310中相同页面时共享语音、视频、图像和文本信息。

关于如何实施并使用AR图书观看器140、AR图书创建工具110以及数据库122的进一步说明，在剩余附图的详细讨论中。本文所述的各种示例可以包括逻辑或数个部件、模块或组件。模块可以由软件模块(诸如嵌入在有形非瞬态机器或计算机可读介质中的代码)或者硬件模块构成。硬件模块是能够执行某些操作且以某些方式配置或设置的有形单元。在一个示例中，一个或多个计算机系统或计算机系统的一个或多个硬件模块可以由软件(例如应用程序或应用程序的一部分)配置为操作执行如本文所述的某些操作的硬件模块。

在一些示例中，硬件模块可以实施为可电子编程的。例如，硬件模块可以包括永久地配置(例如，作为专用处理器、状态机、现场可编程门阵列(FPGA)或专用集成电路(ASIC))以执行某些操作的专用电路或逻辑。硬件模块也可以包括由软件临时配置以执行某些操作的可编程逻辑或电路(例如，如包括在通用处理器或其他可编程处理器内)。在专用和永久配置的电路中或在临时配置电路(例如由软件配置)中电子地实施硬件模块的特定决定可以由成本和时间考虑而驱动。

图6是具有AR图书创建工具140以由学习者204观看模拟增强内容190的示例电子设备10的框图600。电子设备10包括耦接至显示器602的计算单元610。计算单元610包括处理器612和有形非瞬态计算机可读介质(CRM)620。CRM 620允许存储数据结构的一个或多个集合，诸如具体化了本文所述方法或功能中的任意一个或多个或者由本文所述方法或功能中的任意一个或多个所利用的索引640的列表和指令630(例如软件、固件、逻辑)。指令630也可以完全或至少部分地驻留在静态存储器内、主存储器内、和/或在由计算单元610执行期间驻留在处理器612内。主存储器和处理器存储器也可以构成CRM 620。术语“计算机可读介质”620可以包括存储了一个或多个指令630或数据结构的单个介质或多个介质(集中化或分布式)。可以实施CRM 620以包括但不限于固态、光学和磁性介质(不论是易失性的还是非易失性的)。这些示例包括半导体存储器设备(例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备)、磁盘(诸如内部硬盘驱动器和可移除磁盘)、磁光盘以及CD-ROM(光盘只读存储器)和DVD(数字通用盘)盘。

因此，电子设备10包括非瞬态计算机可读介质620，非瞬态计算机可读介质620包括指令620和列表，该列表包含内容页面索引642的集合、指导者索引644、学习者索引646和学习者群组索引648。如图1至图5中所讨论的，从各个标识符创建索引。处理器612被配置为执行指令630。如在框中所示，指令630包含在一个或多个模块、对象或子例程中的计算机可执行代码。在框632中，代码用于在电子设备10上接收可视化数据，可视化数据提供与内容页面索引642相关联的学习材料页面230上的唯一标识符180的集合的多个图像。在框634中，代码进一步用于针对每个唯一标识符180创建唯一标识符索引650的集合和定向数据652的集合。框636中的代码随后用于针对学习材料页面识别内容192的集合，其中内容192的集合基于内容页面索引642、唯一标识符索引650的集合、指导者索引644、学习者索引646以及学习者群组索引648。在框638中，代码用于针对电子设备10上的显示器602生成模拟增强内容190，模拟增强内容190的定向是基于定向数据652的集合和唯一标识符650的集合中的至少一个以及内容192的集合。

图7是用于观看模拟增强内容190的可替代示例电子设备10的框图700。源自图6中的框图600，在该示例中，计算单元610耦接至显示器602、用户接口704、定向传感器706、以及CRM 630。用户接口704允许来自学习者204的方向输入(诸如采用触摸显示器、基于笔的显示器、键盘输入、鼠标输入、轨迹垫输入或触摸点输入等)。定向传感器706可以是陀螺仪、加速度计的集合、MEMS或基于光学的传感器、或对于本领域技术人员已知的其他类型的设备定向传感器。指令630包含附加指令730以使用来自用户接口704和定向传感器706的数据。

在框752中，附加指令730进一步用于从用户接口704接收来自学习者204的输入，并且附加指令730进一步用于从学习者输入获取学习者定向数据。在框754中，附加指令730从设备定向传感器706确定设备的设备定向数据。显示在电子设备10上的模拟增强内容190进一步基于存储在CRM 620上的定向数据记录652中的学习者定向数据和设备定向数据中的至少一个而定向。

在其他示例实施方式中，电子设备10可以被配置为模拟增强内容190包括交互式用户接口530(图5)，以允许学习者204在模拟增强内容190的数个不同流之中选择。另外，指令630可以包括其他附加指令以查询数据库122，如图1和图2中所示。然而，在一些实施方式中，可以将数据库122的一部分下载、高速缓存或预加载至电子设备10上，以在工作期间减小通信带宽并帮助加速AR图书观看器140应用的操作。

另外，一些实施方式可以包括指令630，以针对显示器602生成与内容页面索引642相关联的附加增强内容520，并且将附加增强内容520和与学习者群组索引648相关联的其他学习者204共享或者从与学习者群组索引648相关联的其他学习者204共享附加增强内容520。在图5的示例中，名叫比尔(Bill)的学习者204共享了他发现的蒸汽机如何工作的压力与体积对比的热动力学图，由此提供了附加内容。

图8A和图8B是在用于允许在各种示例电子设备10上观看模拟增强内容190的有形非瞬态计算机可读介质810中的指令820的示例模块的框图800。非瞬态计算机可读介质810包括编码在其上的指令820，指令820在处理器612上读取并执行时，使得处理器612执行在软件模块集合中的代码。例如，在模块822中创建包含指导者索引644、学习者索引646和学习者群组索引648的列表。在模块824中，在电子设备10上接收可视化数据，可视化数据提供学习材料页面上的唯一标识符180的集合的多个图像。在模块826中，识别唯一标识符的集合中的每一个，并且在模块828中，针对每个唯一标识符180创建唯一标识符索引650的集合和定向数据652的集合。在模块830中，针对学习材料页面识别内容192的集合，其中所识别的内容基于唯一标识符索引650的集合、指导者索引644、学习者索引646和学习者群组索引648。内容192的集合可以包括交互式用户接口530，以允许学习者204在模拟增强内容190的数个不同流之中选择。在模块832中，针对电子设备10上的显示器生成模拟增强内容192，其中模拟增强内容190的定向基于定向数据的集合和唯一标识符180的集合中的至少一个以及内容192的集合。

如图8B中所示，可以包括附加的模块作为指令820的一部分。例如，模块852可以提供代码以从用户接口704接收学习者输入。模块854可以提供代码以在模块852中从学习者输入获取学习者定向数据。电子设备10的设备定向数据可以在模块856中从设备定向传感器206获取。因此，模块858可以提供代码以基于学习者定向数据和设备定向数据中的至少一个而定向显示在电子设备10上的模拟增强内容190。

在模块860中，附加指令650可以允许处理器612查询数据库122以识别内容192的集合。在一些实施方式中，模块862中的附加指令850允许学习者群组206内的学习者204将评论和与学习者群组索引648相关联的其他学习者204共享并且从与学习者群组索引648相关联的其他学习者204共享评论。

图9A是用于创建物理图书160或数字图书170以用于观看模拟增强内容190的示例系统900(诸如图1中的AR图书创建工具110和数据库122)的框图。在系统900中，处理器902耦接至有形非瞬态计算机可读介质(CRM)906。CRM 906包括以计算机可执行代码的一个或多个子例程、模块和/或对象的形式的指令908。处理器902进一步耦接至数据库904。AR图书创建工具110可以完全或部分地实施为客户端-服务器系统的一部分。在一个示例中，AR图书工具110是可以访问可以作为系统900一部分的API接口124的客户端应用程序。在另一示例中，AR图书创建工具110的大部分可以是基于服务器的，且瘦客户端可以运行在远程计算机系统上以允许电子页面和增强内容的扫描、上传以及关联。

数据库904可以是数据库122(如图1和图2中)或者其可以是存在于系统900中的本地数据库。数据库904可以包含指导者索引922、学习者索引924、学习者群组索引926、唯一标识符索引928、内容页面930以及增强现实内容932的多个表格920。进一步，数据库904可以分布在一个或多个计算机系统之上，其一些可以完全或部分地是系统900的一部分。另外，数据库904可以部分地高速缓存或定位在系统900内，以减小通信带宽和加速性能。数据库904可以包括至少基于每个指导者202的唯一标识(ID)的指导者索引922的表格以及基于每个学习者204的唯一ID的学习者索引924的表格。另外，可以提供基于每个学习者群组206的唯一ID的学习者群组索引926的表格以允许班级、学习组、团队项目、研究周期等的分派。学习者204可以属于一个或多个学习者群组206，并且学习者群组206内的每个学习者204可以在相应学习者群组206内的他人之中共享附加内容并可以包括指导者202。唯一ID索引928的表格允许内容材料的每个页面的单独识别以及允许在单个页面上的多个唯一标识符180，诸如当存在指导者202或学习者204可以希望对补充增强内容进行增强的一个或多个图示、图片、表格等时。

数据库904也包括具有针对每个页面的原始材料的内容页面930的表格，以及具有对于相应页面的指导者202、学习者204、学习者群组206和唯一ID 180的索引。进一步，增强现实内容932的表格包括上传的增强现实内容的库，每个上传的增强现实内容被索引至内容页面集合中的各个页面并且也可以包括指导者202、学习者204、学习者群组206和唯一ID180的索引。

因此，指令908可以包含用于执行计算机可读代码的多个模块，在计算机可读代码由处理器902读取并执行时，允许处理器902访问包含指导者索引902、学习者索引924、学习者群组索引926、唯一标识符索引928、内容页面930和增强现实内容932的多个表格的数据库904。非瞬态计算机可读介质906包括指令908和处理器902以在模块910中执行指令908，以允许与指导者索引922的表格中的索引920相关联的指导者202上传至内容页面930的表格、至唯一标识符索引928的表格以及至增强现实内容932的表格。在模块912中，指令908允许指导者202将上传的内容页面930与上传的唯一标识符索引928和上传的增强现实内容932相关联。多个唯一标识符索引928与单个内容页面930相关联。指导者202可以将内容页面930的群组与学习者索引926的群组相关联。

图9B是用于图9A的示例系统900的可能附加指令950的框图。因此，系统900也可以包括在模块952中的附加指令950，以将多个学习者索引924与各个学习者群组索引926相关联，以便数据库904可以包括由学习者群组索引926进行索引的学习者评论(未示出)的表格。在模块954和模块956中，附加指令950可以当上传内容页面的表格时，允许指导者202选择要与学习者索引926的群组相关联的数字图书170并从数字图书170中选择特定内容页面930，以和要与每个特定内容页面930相关联的增强现实内容932一起上传至内容页面930的表格。数字图书170可以包括物理图书160的扫描页面。此外，模块958可以包括：当指导者202上传内容页面930的表格时，指导者202可以将特定内容页面930和关联的增强现实内容932与指导者202的指导者索引932相关联的代码。

在一些实施方式中，附加指令950可以包含模块960和962以允许与学习者索引926相关联的学习者204向数据库904提供唯一标识符索引928的集合、指导者索引922、学习者索引924和学习者群组索引926。进一步，学习者204可以向数据库904传输具有基于唯一标识符索引928、指导者索引922、学习者索引924和学习者群组索引926的增强现实内容932的内容页面930，以用于与关联的学习者群组206中的其他学习者204共享。

总之，所公开的主题叙述了以打印或电子数字形式添加增强现实(AR)至学习材料。以不可见水印或图片识别的形式的标记或唯一标识符180可以用于标注由指导者202提供的且可以存储在基于云的或其他类型实施的数据库122上的附加AR内容。当由学习者204采用电子设备10在教材中检测到标记或唯一标识符180时，将检测到的AR内容显示为增强现实沉浸式体验。不同于过去的基于增强现实的学习系统，所公开的主题允许材料的每页多个标记、用于单个学习者204的目标材料、学习者204与指导者202和其他学习者204共享笔记、附加的AR内容和通信，学习者204与指导者202和其他学习者204一起形成了学习者群组206。另外，指导者202可以针对不同内容和不断更新附加AR内容的能力而创建多个流。

尽管已经参照前述示例具体地示出并描述了请求保护的主题，但是本领域技术人员应该理解，在不脱离以下权利要求中的主题的预期范围的情况下，可以在其中做出许多变形。该说明书应该理解为包括本文所述元素的所有创新的和非显而易见的组合，且权利要求可以在本申请或稍后申请中展示为这些元素的任何创新的和非显而易见的组合。前述示例是说明性的，且单个特征或元素对于在本申请或稍后申请中所请求保护的所有可能组合并非是必须的。其中权利要求记载其等价物的“一”或“第一”元素，该权利要求应该理解为包括一个或多个这种元素的结合，不论是否要求或排除两个或更多个该元素。

Claims

1.一种设备，包括：

包括指令和列表的非瞬态计算机可读介质，所述列表包含内容页面索引的集合、指导者索引、学习者索引和学习者群组索引；

处理器，所述处理器被配置为执行所述指令以：

在设备上接收可视化数据，所述可视化数据提供与页面索引相关联的学习材料页面上的唯一标识符的集合的多个图像；

针对每个唯一标识符创建唯一标识符索引的集合和定向数据的集合；

针对所述学习材料页面识别内容的集合，其中所述内容的集合基于所述页面索引、所述唯一标识符索引的集合、所述指导者索引、所述学习者索引和所述学习者群组索引；以及

针对所述设备上的显示器生成模拟增强内容，所述模拟增强内容的定向基于所述定向数据的集合和所述唯一标识符的集合中的至少一个以及所述内容的集合。

2.根据权利要求1所述的设备，进一步包括：

用户接口，所述用户接口用于接收学习者输入，并且所述指令进一步用于从所述学习者输入获取学习者定向数据；

设备定向传感器，并且所述指令进一步用于从所述设备定向传感器确定所述设备的设备定向数据；以及

其中显示在所述设备上的所述模拟增强内容进一步基于所述学习者定向数据和所述设备定向数据中的至少一个而定向。

3.根据权利要求1所述的设备，其中所述模拟增强内容包括交互式用户接口，以允许学习者在模拟增强内容的数个不同流之中选择。

4.根据权利要求1所述的设备，其中识别所述内容的集合的所述指令包括查询基于云的数据库的指令。

5.根据权利要求1所述的设备，其中针对显示器生成的指令包括：将与所述内容页面索引相关联的附加增强内容和与所述学习者群组索引相关联的其他学习者共享并且从与所述学习者群组索引相关联的其他学习者共享与所述内容页面索引相关联的附加增强内容的指令。

6.一种具有指令的非瞬态计算机可读介质，所述指令编码在所述非瞬态计算机可读介质上，所述指令在处理器上读取并且执行时，使得所述处理器：

创建包含指导者索引、学习者索引和学习者群组索引的列表；

在设备上接收可视化数据，所述可视化数据提供学习材料页面上的唯一标识符的集合的多个图像；

识别所述唯一标识符的集合中的每一个唯一标识符；

针对所述学习材料页面识别内容的集合，其中所识别的内容基于所述唯一标识符索引的集合、所述指导者索引、所述学习者索引和所述学习者群组索引；以及

针对设备上的显示器生成模拟增强内容，所述模拟增强内容的定向基于所述定向数据的集合和所述唯一标识符的集合中的至少一个以及所述内容的集合。

7.根据权利要求6所述的非瞬态计算机可读介质，进一步包括使得所述处理器执行以下操作的指令：

从用户接口接收学习者输入；

从所述学习者输入获取学习者定向数据；

从设备定向传感器确定设备的设备定向数据；以及

基于所述学习者定向数据和所述设备定向数据中的至少一个而定向显示在所述设备上的所述模拟增强内容。

8.根据权利要求6所述的非瞬态计算机可读介质，其中所述内容的集合包括交互式用户接口，以允许学习者在模拟增强内容的数个不同流之中选择。

9.根据权利要求6所述的非瞬态计算机可读介质，进一步包括使得所述处理器执行以下操作的指令：查询基于云的数据库以识别所述内容的集合。

10.根据权利要求6所述的非瞬态计算机可读介质，进一步包括使得所述处理器执行以下操作的指令：将评论和与所述学习者群组索引相关联的其他学习者共享并且从与所述学习者群组索引相关联的其他学习者共享评论。

11.一种系统，包括：

数据库，所述数据库包含指导者索引、学习者索引、学习者群组索引、唯一标识符索引、内容页面和增强现实内容的多个表格；

包括指令的非瞬态计算机可读介质；以及

处理器，所述处理器用于执行所述指令，以允许与所述指导者索引的表格中的索引相关联的指导者：

上传至所述内容页面的表格、至所述唯一标识符索引的表格以及至所述增强现实内容的表格；

将上传的内容页面与上传的唯一标识符索引和所上传的增强现实内容相关联，其中多个唯一标识符索引在单个内容页面内相关联；以及

将内容页面的群组与学习者索引的群组相关联。

12.根据权利要求11所述的系统，进一步包括指令以：将多个学习者索引与各个学习者群组索引相关联，并且其中所述数据库进一步包括由所述学习者群组索引进行索引的学习者评论的表格。

13.根据权利要求11所述的系统，其中上传至所述内容页面的表格的所述指令进一步包括指令以：

选择要与学习者索引的群组相关联的数字图书；以及

从所述数字图书中选择特定内容页面，以和要与每个特定内容页面相关联的增强现实内容一起上传至所述内容页面的表格。

14.根据权利要求12所述的系统，其中，上传所述内容页面的表格的所述指令进一步包括指令以：将所述特定内容页面和所关联的增强现实内容与所述指导者的所述指导者索引相关联。

15.根据权利要求11所述的系统，其中，包括指令的所述存储器包括指令以允许所述处理器执行指令，以允许与学习者索引相关联的学习者：

提供唯一标识符索引的集合、指导者索引、学习者索引和学习者群组索引；以及

传输具有基于所述唯一标识符索引、所述指导者索引、所述学习者索引和所述学习者群组索引的所述增强现实内容的内容页面。