CN114375435A

CN114375435A - 增强物理活动表面上的有形内容

Info

Publication number: CN114375435A
Application number: CN202080063135.6A
Authority: CN
Inventors: 马克·所罗门; 杰罗姆·舒勒; 普拉莫德·库马尔·萨尔玛
Original assignee: Tangible Play Inc
Current assignee: Tangible Play Inc
Priority date: 2019-07-07
Filing date: 2020-07-07
Publication date: 2022-04-19
Also published as: GB2599839A; CN114424238A; CA3146022A1; US20240031688A1; US11516410B2; AU2020311360A1; BR112022000277A2; GB202200057D0; WO2021007238A1; CA3161129A1; US20210004051A1; GB2599597A; GB202200058D0; MX2022000345A; BR112022000318A2; MX2022000340A; BR112022000301A2; CA3146171A1; AU2020309531A1; US20210004405A1

Abstract

本公开描述了一种用于增强物理活动表面上的有形内容的方法。在示例性实施方式中，该方法包括：使用计算设备的视频捕获设备捕获包括物理活动表面的活动场景的视频流；使用能够在该计算设备上执行的检测器在该视频流中检测该物理活动表面上的有形内容项；从该视频流中识别该有形内容项中的一个或多个视觉指导性元素；基于该有形内容项中的该一个或多个视觉指导性元素来确定有形标识符；使用该有形标识符检索数字内容项，以及在该计算设备上提供该数字内容项。

Description

增强物理活动表面上的有形内容

背景技术

本公开涉及一种计算设备。

计算设备通常用于访问和查看数字信息。这样的数字信息可以存在于应用程序内，可以在因特网网页上的图形用户界面中被查看，或者可以由用户创建，诸如文档或图像。用户能够经由计算设备访问这样的数字信息以允许用户从这样的数字信息中学习。

物理信息历来被用于获取信息。物理信息可以包括在书本诸如教科书、百科全书和其他出版物中。用户可以通过与书本进行物理交互并查看书本的各个页面上的信息来访问这样的物理信息。

如果用户想要访问彼此相关的物理信息和数字信息，则用户必须手动访问物理信息，诸如通过打开并查看书本的内容，以及还必须手动检索数字信息，诸如通过访问网页来查看网页内容。这导致了用数字信息补充物理信息的过程既不方便又耗时。现有解决方案创建了向用户呈现数字信息并且可以链接或引用物理内容的数字应用程序，诸如被设计成与数字应用程序一起使用的特定学生作业簿，但这些现有解决方案除了有限地使用专门设计的软件应用程序和特定学生作业簿或其他专门设计的特定物理内容之外，无法直观地将数字信息体验和物理信息体验结合在一起。

发明内容

根据本公开主题的一个创新方面，描述了一种用于增强物理活动表面上的有形内容的方法。在示例性实施方式中，一种方法包括：使用计算设备的视频捕获设备捕获包括物理活动表面的活动场景的视频流；使用能够在该计算设备上执行的检测器在该视频流中检测该物理活动表面上的有形内容项；从该视频流中识别该有形内容项中的一个或多个视觉指导性元素；基于该有形内容项中识别出的一个或多个视觉指导性元素来确定有形标识符；使用该有形标识符自动检索数字内容项，以及提供该数字内容项以用于在该计算设备的用户界面中显示。

实施方式可包括如下特征中的一者或多者。该方法可以包括：在视频流中检测有形内容项上的独特视觉元素；并且其中确定有形标识符包括基于有形内容项上的独特视觉元素来确定有形标识符。该独特视觉元素包括在有形内容项上可见的图像、图画、图表和视觉标记中的一者或多者。确定有形标识符包括基于与有形内容项相关联的文档标题、页码、章节标题和章节号中的一者或多者来确定有形标识符。确定有形标识符包括基于与用户标记相关联的一个或多个字符来确定有形标识符。用户标记包括在有形内容项上的突出显示效果和由用户创建的用户注释中的一者或多者。该有形内容项为第一有形内容项：该第一有形内容项被包括在有形对象中，该有形对象还包括第二有形内容项；并且该方法包括：确定用户与有形对象的第二有形内容项交互；识别第二有形内容项中的一个或多个视觉指导性元素，以及基于有形对象的第一有形内容项中的该一个或多个视觉指导性元素和第二有形内容项中的该一个或多个视觉指导性元素来确定有形标识符。确定有形标识符包括基于有形内容项中的该一个或多个视觉指导性元素来确定第一有形标识符和第二有形标识符；并且使用有形标识符检索数字内容项包括：确定第一有形标识符与第二有形标识符之间的上下文关系，以及基于第一有形标识符与第二有形标识符之间的上下文关系来检索数字内容项。计算设备被放置在就位于物理活动表面上的支架上；并且计算设备的视频捕获设备的视场由就位于该计算设备的该视频捕获设备上方的相机适配器重定向。物理活动表面上的有形内容项包括第一有形内容区段和第二有形内容区段，该方法可以包括：使用能够在计算设备上执行的检测器来检测该物理活动表面上的该第一有形内容区段相对于该第二有形内容区段的布置；基于该第一有形内容区段相对于该第二有形内容区段的布置来确定补充数字内容项，以及在计算设备上的用户界面中显示补充数字内容和数字内容项。该第一有形内容区段为第一编程块并且该第二有形内容区段为第二编程块，该第一编程块与该第二编程块耦合以形成有形内容项。该补充数字内容是关于如何使用第一编程块和第二编程块的指令集。显示补充数字内容还可以包括：在用户界面中自动显示第一编程块的第一数字表示；在用户界面中自动显示第二编程块的第二数字表示，以及自动显示第一数字表示与第二数字表示交互的动画，以提供关于如何在活动表面上布置第一数字编程块和第二数字编程块的指令。提供数字内容项以用于在计算设备上的用户界面中显示还可以包括：生成数字内容项的可视化以用于在用户界面中显示，以及显示在用户界面中出现的数字内容项的动画。该数字内容项的该动画描绘了数字内容项的可视化的从显示屏的底侧延伸出的第一部分，以及数字内容项的可视化的随着该动画使得数字内容项的可视化移动到用户界面中而出现的第二部分。该数字内容项的该动画对应于在物理活动表面上检测到的有形内容项的外观。该数字内容项的该可视化能够由用户选择，并且响应于该数字内容项被选择，该数字内容项能够被显示。

该方法还包括：使用计算设备的视频捕获设备捕获包括物理活动表面的活动场景的视频流；使用能够在该计算设备上执行的检测器在该视频流中检测物理活动表面上的有形内容项，该有形内容项包括在该视频捕获设备的视场内可见的页面；使用该计算设备的处理器从该视频流中确定该有形内容项的该页面的标识；使用该计算设备的该处理器，使用该页面的该标识来确定该有形内容项的概念；使用该计算设备的该处理器，基于该有形内容项的该概念和该有形内容项的该页面的该标识来确定数字内容项，以及在该计算设备的显示器中，在图形用户界面中呈现该数字内容项。

实施方式可包括如下特征中的一者或多者。其中确定有形内容项的页面的标识的方法还可以包括：检测该页面上的页面标识锚，以及将该页面标识锚匹配到页面标识数据库。该有形内容项是包括多个页面的书本，并且该多个页面中的每页具有唯一页面标识锚。基于有形内容项的概念和有形内容项的页面的标识来确定数字内容项还可以包括：识别存在于有形内容的页面上的视觉指导性元素；基于视觉指导性元素确定主题上下文，以及基于主题上下文来识别数字内容项。基于主题上下文识别数字内容项还可以包括：基于有形内容项的概念和有形内容项的页面的标识来确定用户的类别级别；访问与主题上下文相关的知识图的节点，该知识图的该节点包括到与主题上下文相关的多个数字内容项的链接，以及基于用户的类别级别从该多个数字内容项中确定有关数字内容项。检测页面上的页面标识锚还可以包括：执行匹配搜索以识别页面标识锚，该匹配搜索包括忽略不包括该页面标识锚的所有文本。数字内容项是与有形内容项的所识别页面相关的视频。呈现数字内容项还可以包括：将外部链接嵌入到与存在于有形内容项的所识别页面上的主题相关的视频，以及使该外部链接响应于从用户接收的输入而被执行。数字内容项是视频、问题、测验和练习题中的一者或多者。从视频流中确定有形内容项的页面的标识还可以包括：使用计算设备的处理器检测存在于物理活动表面的视频流中的用户的手指；确定有形内容项中被手指的指尖指向的区域；确定包括在有形内容项的该区域内的有形标识符，以及基于该有形标识符确定该有形内容项的页面的标识。

可视化系统还包括：定位在物理活动表面上的计算设备；耦接到该计算设备的视频捕获设备，该视频捕获设备包括朝向物理活动表面定向的视场并且能够捕获该物理活动表面的视频流；该计算设备的检测器，该检测器被配置为检测视频流内的有形内容项并且识别该有形内容项中的一个或多个视觉指导性元素；该计算设备的处理器，该处理器被配置为基于有形内容项中的识别出的视觉指导性元素来确定有形标识符，并且使用该有形标识符自动检索数字内容项，以及耦接到该计算设备的显示屏，该显示屏被配置为在图形用户界面中显示该数字内容项。

本文档中描述的这些方面和其他方面中的一者或多者的其他实施方式包括对应的系统、装置和计算机程序，其被配置为执行在计算机存储设备上编码的方法的动作。如通过本文档所阐明的，以上和其他实施方式在许多方面是有利的。此外，应当理解，本公开中使用的语言主要是出于可读性和指导性目的而选择的，并且不限制本文公开的主题的范围。

附图说明

本公开以举例的方式而不是以限制的方式在附图的图示中进行说明，在附图中类似的附图标号用于指代类似的元件。

图1A示出了示例性有形内容项和捕获有形内容项的示例性计算设备。

图1B示出了示例性有形内容项和提供与该有形内容项相关的数字内容项的示例性计算设备。

图1C是用于增强物理活动表面上的有形内容的示例性配置。

图1D是用于增强物理活动表面上的有形内容的示例性配置。

图2是示出用于增强物理活动表面上的有形内容的示例性计算机系统的框图。

图3是示出示例性计算设备的框图。

图4是用于增强物理活动表面上的有形内容的示例性方法的流程图。

图5是用于增强物理活动表面上的有形内容的示例性配置。

图6是用于增强物理活动表面上的有形内容的示例性方法的流程图。

图7A至图7D是用于增强有形内容的示例性用户界面的图形表示。

图8是用于手指检测以增强有形内容的示例性配置。

具体实施方式

本文描述的技术能够为存在于物理活动表面上的有形内容项提供数据增强。如下面详细描述的，计算设备可以捕获物理活动表面的视频流，并且检测视频流中的有形内容项。计算设备可以对有形内容项应用各种识别技术以识别有形内容项中的视觉指导性元素(例如，字符、字母、数字、符号等)、独特视觉元素(例如，图像、图画、图表等)、用户标记(例如，注释、突出显示)等。计算设备可以基于在有形内容项中识别的视觉指导性元素、独特视觉元素、用户标记等来确定一个或多个有形标识符，并且使用该一个或多个视觉指导性元素、独特视觉元素、用户标记等来检索数字内容项，并且经由计算设备向用户提供数字内容项。因此，本技术可以在计算设备上提供与物理地存在于物理活动表面上的有形内容项相关的数字内容项，从而有效地增强提供给用户的内容数据并且改善用户体验。在一些实施方式中，当检测到有形内容项时，该过程可以自动发生，而无需用户的任何提示或请求。

本文描述的技术是有利的，因为它能够促进用户获得与感兴趣的内容有关的附加数据，尤其是在教育的背景下。作为示例，有形内容项可以是放置在物理活动表面上并打开到呈现关于飞机内容的页面的教科书。在该示例中，计算设备可以提供与计算设备上的飞机有关的数字内容项(例如，图像、视频、在线文章、研究论文等)。因此，可以向用户提供关于飞机的各个方面的附加信息，该附加信息是有用的或感兴趣的，但用户可能没有意识到或者可能没有想到。此外，与飞机有关的数字内容的这种呈现可以自动发生，并且允许用户补充他们的学习，却无需做除了打开书本的页面之外的任何事情。

图1A至图1D示出了用于增强物理活动表面上的有形内容项的示例性配置。如图1A中所描绘的，该配置可以包括就位于物理活动表面150上的有形内容项102和包括视频捕获设备110的计算设备100。视频捕获设备110可以适于捕获包括物理活动表面150的活动场景132的图像或视频流。

在一些实施方案中，有形内容项102可以包括对计算设备100的视频捕获设备110暴露并且可见的一个或多个部分，由此视频捕获设备110可以在图像中或在视频流的视频帧中捕获有形内容项102的可见部分。作为示例，有形内容项102可以是在一个或多个页面打开的书本，并且有形内容项102的部分可以包括该书本的在视觉上暴露于计算设备100的视频捕获设备110的该一个或多个页面。在另一示例中，有形内容项102可以是纸张的集合，并且有形内容项102的可见部分可以是该集合中在视觉上暴露于计算设备100的视频捕获设备110的一张或多张纸张。在另一示例中，有形内容项102可以是电子设备(例如，平板电脑、移动电话等)，该电子设备在位于物理活动表面150上的显示屏的图形用户界面中显示图像和/或文本，并且有形内容项102的可见部分可以是在视觉上暴露于计算设备100的视频捕获设备110的所显示的内容项。在另一示例中，有形内容项102可以是由投影仪投影到物理活动表面150上的内容项，并且有形内容项102的可见部分可以是在视觉上暴露于计算设备100的视频捕获设备110的所投影的内容项。因此，有形内容项102可以是显示或以其他方式物理地存在于物理活动表面150上并且能够由计算设备100的视频捕获设备110捕获的内容项。

图1B示出了其中计算设备100可以基于在有形内容项102中检测到的内容来提供数字内容项的示例性配置。如该示例中所示，有形内容项102可以是包括关于飞机的信息的书本。该书本可以包括：第一部分104，该第一部分包括与有形内容项102的内容相关的文本；第二部分106，该第二部分包括与有形内容项102的内容相关的图形，以及第三部分108，该第三部分包括与有形内容项102的内容相关的另一图形。该书本可以打开到在计算设备的视频捕获设备110的视场内可见的页面，并且该视频捕获设备可以捕获包括第一部分104、第二部分106和/或第三部分108的打开页面的图像和/或视频流。计算设备100的检测器304可以执行图像识别过程以检测一个或多个视觉指导性元素，诸如包括在有形内容项102的打开页面的部分中的文本、图形或附加图形。

在另外的实施方式中，诸如通过检测在相机110的视场内可见的页面编号和/或页面标识锚(page identity anchor)，检测器304可以检测打开页面的标识。检测器304然后可以使用打开页面的标识来识别有形内容项102的概念。有形内容项102的概念可以是有形内容项102所涵盖的主题，诸如书本的标题、打开页面所在章节的标题、书本的课程主题、在打开页上呈现的特定主题等。有形内容项102的概念可以基于正在呈现的各种信息的上下文，诸如有形内容项102的第一部分104、第二部分106和/或第三部分108中的内容之间的关系。

基于有形内容项102的概念、打开页面的标识和/或在打开页面上呈现的主题，计算设备100的活动应用程序214然后可以识别一个或多个数字内容项。该数字内容项可以是与存在于打开页面上的内容相关的补充内容，并且可以增强用户在与有形内容项102交互时的体验。在图1B所示的示例中，数字内容项138可以包括与“飞行器结构”、“空气动力学原理”和/或“如果飞机上的所有引擎都发生故障会发生什么”相关的附加文本，如图所示。这些附加文本可以是嵌入到显示屏的图形用户界面(GUI；graphical user interface)中的可选链接，并且当被用户选择时，可以将显示屏引导到该链接并显示所得选择的内容。在另外的实施方式中，显示屏的GUI可以自动地显示详细内容，而无需用户与数字内容项138进行任何附加交互。在另外的实施方式中，数字内容项138还可以包括飞机的视频和/或图像，其可以被自动显示或者可以被呈现为供用户交互的可选链接以。通过识别在有形内容项102中呈现的概念并且然后向用户呈现相关的数字内容项138，用户获得了在不必导航到信息本身的情况下呈现相关物理和数字信息两者的增强体验。通过减少因学生必须自己查找附加信息而导致的分心，这增强了教育机会。它通过能够专门提供与学生正在使用的可能会引起混淆或需要附加指导的具体页面直接相关的策划内容而进一步增强了教育机会。

图1C示出了一种配置，其中计算设备100可以是可视化系统的一部分从而为存在于物理活动表面上的有形内容项102提供数据增强。如所描绘的，计算设备100可以被放置在支架140上，支架140就位于物理活动表面150上。计算设备100可以包括视频捕获设备110，其中相机适配器130就位于视频捕获设备110上方。在一些实施方案中，相机适配器130可以重定向视频捕获设备110的视场，从而使得视频捕获设备110能够捕获包括位于计算设备的显示器前方的物理活动表面150的活动场景132的视频流，如图1C中所描绘的。由于这样的配置，视频捕获设备110可以捕获包括物理活动表面150上的有形对象102的活动场景132的视频流，而无需用户使用计算设备100手动地捕获视频流。在一些实施方案中，随着用户继续与各种有形内容项102交互，在计算设备100上实施的活动应用程序214可以针对用户当前正与之交互的每个有形内容项104执行图4中的方法400。因此，计算设备100可以自动地实时呈现与有形内容项102有关的数字内容项。因此，当用户与物理活动表面150中的不同的有形内容项102交互时，在计算设备100上向用户显示的数字内容项可以相应地被自动更新。

在一些实施方式中，图1C中所描绘的可视化系统可以是集成系统，其中支架140、计算设备100和视频捕获设备110全部集成到计算设备100的外壳中。在一些实施方式中，视频捕获设备110可以被定位成使得视场包围物理活动表面，而无需使用相机适配器130来重定向视场。在另外的实施方式中，计算设备100内可以包括多个视频捕获设备110，并且每个不同视频捕获设备110都可以被定向成捕获不同的视场。例如，第一视频捕获设备110a可以朝向物理活动表面150被向下定向，并且第二视频捕获设备110b可以朝向面向计算设备100的用户被向外定向，以便捕获包括该用户诸如该用户的面部和手部运动的视频流。

图1D示出了一种配置，其中计算设备100可以是为存在于物理活动表面150上的有形内容项102提供数据增强的可视化系统的一部分。在该示例中，有形内容项102可以是布置在物理活动表面150上的一个或多个有形界面对象。用户可以创建有形界面对象的特定布置，并且检测器304能够随时间推移检测该布置，包括与来自视频流的稍后图像相比，特定有形界面对象何时出现在来自视频流的第一图像中。通过检测有形界面对象的布置和操纵，检测器304可以能够向活动应用程序214提供各种事件，诸如布置何时开始构建、完成，以及该布置是否与活动应用程序214的预期布置匹配或者该布置是否与预期不同(例如，该布置可能不正确)。基于有形内容项在物理活动表面上的布置和/或操纵，活动应用程序214然后可以能够检索和显示一个或多个数字内容项146。

在一个示例中，有形界面对象可以是包括能够由检测器304识别的一个或多个视觉指导性元素的编程块(programming tile)。基于视觉指导性元素，检测器304可以能够确定布置在物理活动表面150上的编程块中的每个编程块的有形标识符。当用户布置编程块以基于编程块的布置方式描绘待逐步执行的一系列命令时，活动应用程序214可以搜索在概念上与编程块的布置相关的相关数字内容项146。活动应用程序214然后可以向用户呈现数字内容项146，以增强用户如何布置编程块。

在图1D中的示例中，活动应用程序214可以识别数字内容项146，这些数字内容项146是关于如何一起使用编程块的指令集。用户可以能够查看当两个特定编程块以特定方式布置时发生的情况的动画，并增强他们对编程块和命令的学习。通过自动地提供这样的指令，而无需用户找到并显示数字内容项146，用户可以能够快速地解决关于如何使用各种对象或项的问题或困惑，以及接收关于与他们在物理活动场景中正在交互的内容有关的概念的补充材料。在一些实施方式中，这些数字内容项可以是指令集，诸如关于如何布置不同编程块的动画、可以呈现给用户来完成的任务，诸如基于检测到的有形界面对象的特定布置、与有形界面对象交互的其他用户的视频、网页上的产品描述等，该网页列出了用户正在交互的一组有形界面对象中所包括的项。

图2是示出示例性计算机系统200的框图，计算机系统200能够为存在于物理活动表面上的有形内容提供数据增强。如所描绘的，系统200可以包括经由网络206通信地耦接的计算设备100a...100n和服务器202a...202n。在图2和其余附图中，参考编号之后的字母(例如“100a”)表示对具有该特定参考编号的元件的参考。文本中后面没有字母的参考编号(例如“100”)表示对带有该参考编号的元件实例的一般参考。应当理解，图2中描绘的系统200是以举例的方式提供的，并且本公开设想的系统200和/或另外的系统可以包括附加的和/或更少的组件，可以组合组件和/或将这些组件中的一个或多个组件划分成附加的组件，等等。例如，系统100可以包括任何数量的服务器202、计算设备100或网络206。如图2中所描绘的，计算设备100可以经由信号线208耦接到网络206，并且服务器202可以经由信号线204耦接到网络206。计算设备100可以由用户190访问。

网络206可以包括任何数量的网络和/或网络类型。例如，网络206可以包括但不限于一个或多个局域网(LAN)、广域网(WAN)(例如，因特网)、虚拟专用网(VPN)、移动(蜂窝)网络、无线广域网(WWAN)、全球微博互联接入

网络、蓝牙

通信网络、对等网络(peer-to-peer network)、多个设备可以通过其进行通信的其他互连数据路径、它们的各种组合等。

计算设备100可以是具有数据处理和通信能力的计算设备。在一些实施方案中，计算设备100可以包括处理器(例如，虚拟的、物理的等)、存储器、电源、网络接口和/或其他软件和/或硬件组件，诸如前向相机和/或后向相机、显示屏、图形处理器、无线收发器、键盘、固件、操作系统、驱动器、各种物理连接接口(例如，USB、高清多媒体接口HDMI等)。在一些实施方案中，计算设备100可以使用无线和/或有线连接经由网络206彼此耦接并且彼此通信，以及与系统200的其他实体进行通信。如本文别处所讨论的，系统200可以包括任意数量的计算设备100，并且计算设备100可以是相同或不同类型的设备(例如，平板电脑、移动电话、台式计算机、膝上型计算机等)。

如图2中所描绘的，计算设备100可以包括视频捕获设备110、检测引擎212以及一个或多个活动应用程序214。在一些实施方式中，计算设备100和/或视频捕获设备110可以配备有如本文别处所讨论的相机适配器130，而在其他实施方案中，视频捕获设备110可以在没有相机适配器130的情况下被引导定向到适当的视场。在一些实施方案中，相机适配器130可以包括一个或多个光学元件(例如，反射镜和/或透镜)以适配计算设备100的视频捕获设备110的标准视场，以基本上并且仅捕获计算设备100的显示器前方的物理活动表面150的活动场景132，但是其他具体实施也是可能的和可设想的。为了适配视频捕获设备110的视场，相机适配器130的反射镜(mirror)和/或透镜能够成角度地定位，以将从物理活动表面150反射的光重定向和/或修改为进入视频捕获设备110中。在一些实施方案中，相机适配器130可以包括槽，该槽适于接收计算设备100的边缘并且将相机适配器130保持(例如，固定、夹持等)在计算设备100的边缘上。在一些实施方案中，相机适配器130可以被定位在视频捕获设备110上方，以将视频捕获设备110的视场朝向物理活动表面150引导。

在一些实施方案中，检测引擎212可以检测和/或识别位于物理活动表面150的活动场景132中的有形对象，并且与活动应用程序214协作以向用户提供虚拟体验，该虚拟体验实时地合并有形对象和用户在物理环境中对有形对象的操纵。作为示例，检测引擎212可以检测位于物理活动表面150的活动场景132中的有形对象，和/或识别视觉指导性元素、独特视觉元素、有形对象的有形内容项中的用户标记，并且与活动应用程序214协作以向用户提供与物理活动表面150上的有形内容项有关的数字内容项。在另一示例中，检测引擎212可以处理由视频捕获设备110捕获的视频流，从而检测和识别由用户在活动场景132上创建的有形对象。活动应用程序214可以生成由用户创建的有形对象的可视化，并且向用户显示虚拟场景，在该虚拟场景中动画角色可以与有形对象的可视化交互。至少参考图3和图4来详细描述检测引擎212和活动应用程序214的组件和操作。

服务器202可以包括具有数据处理、存储和通信能力的一个或多个计算设备。在一些实施方案中，服务器202可以包括一个或多个硬件服务器、服务器阵列、存储设备和/或存储系统等。在一些实施方案中，服务器202可以是集中式、分布式和/或基于云的服务器。在一些实施方案中，服务器202可以包括一个或多个虚拟服务器，该一个或多个虚拟服务器在主机服务器环境中操作并且经由抽象层(例如，虚拟机管理器)访问主机服务器的物理硬件(例如，处理器、存储器、存储装置、网络接口等)。

服务器202可以包括软件应用程序，这些软件应用程序能够由服务器202的一个或多个处理器操作以提供各种计算功能、服务和/或资源，以及向计算设备100发送数据和从其接收数据。例如，这些软件应用程序可以提供互联网搜索、社交网络、基于web的电子邮件、博客、微博、照片管理、视频/音乐/多媒体托管/共享/分发、商业服务、新闻和媒体分发、用户账户管理或它们的任何组合的功能。应当理解，服务器202还可以提供其他网络能够访问的服务。

在一些实施方案中，服务器202可以包括搜索引擎，此搜索引擎能够从数据存储装置检索与一个或多个搜索标准匹配的结果。作为示例，搜索标准可以包括图像，搜索引擎可以将该图像与其数据存储装置(未示出)中的产品图像进行比较以识别与该图像匹配的产品。在另一示例中，检测引擎212和/或存储装置310(例如，参见图3)可以请求搜索引擎提供与从视频流中提取的物理图画、图像和/或有形对象匹配的信息。

应当理解，图2中所示的系统200是以举例的方式提供的，并且设想了各种不同的系统环境和配置，并且这些各种不同的系统环境和配置在本公开的范围内。例如，各种功能可以从服务器移动到客户端，或者反之亦然，并且一些具体实施可以包括附加的或更少的计算设备、服务和/或网络，并且可以实现各种客户端或服务器侧的功能。另外，系统200的各种实体可以被集成到单个计算设备或系统中，或者被划分成附加的计算设备或系统等。

图3是示例性计算设备100的框图。如所描绘的，计算设备100可以包括通过通信总线308通信地耦接的处理器312、存储器314、通信单元316、输入设备318、显示器320和视频捕获设备110。应当理解，计算设备100不限于此，并且可以包括其他组件，包括例如参考图1A至图1C、图2、图4和图5中的计算设备100所讨论的那些组件。

处理器312可以通过执行各种输入/输出、逻辑和/或数学运算来执行软件指令。处理器312可以具有各种计算架构以处理数据信号，包括例如复杂指令集计算机(complexinstruction set computer；CISC)架构、精简指令集计算机(reduced instruction setcomputer；RISC)架构和/或实现指令集的组合的架构。处理器312可以是物理的和/或虚拟的，并且可以包括单个核或多个处理单元和/或核。

存储器314可以是非暂态计算机可读介质，该非暂态计算机可读介质被配置为向计算设备100的其他组件存储数据并向计算设备100的其他组件提供对数据的访问。在一些实施方案中，存储器314可以存储能够由处理器312执行的指令和/或数据。例如，存储器314可以存储检测引擎212、活动应用程序214和相机驱动器306。存储器314还可以存储其他指令和数据，包括例如操作系统、硬件驱动器、其他软件应用程序、数据等。存储器314可以耦接到总线308以与处理器312和计算设备100的其他组件进行通信。

通信单元316可以包括用于与网络206和/或其他设备进行有线和/或无线连接的一个或多个接口设备(I/F)。在一些实施方案中，通信单元316可以包括用于发送和接收无线信号的收发器。例如，通信单元316可以包括无线电收发器以与网络206进行通信以及使用近距离连接(例如，蓝牙、近场通信NFC等)与附近设备进行通信。在一些实施方案中，通信单元316可以包括用于与其他设备有线连接的端口。例如，通信单元316可以包括CAT-5接口、Thunderbolt^TM接口、FireWire^TM接口、USB接口等。

显示器320可以显示由计算设备100输出的电子图像和数据以便呈现给用户190。显示器320可以包括任何显示设备、监视器或屏幕，包括例如有机发光二极管(organiclight-emitting diode；OLED)显示器、液晶显示器(liquid crystal display；LCD)等。在一些实施方案中，显示器320可以是能够接收来自用户190的一个或多个手指的输入的触摸屏显示器。例如，显示器320可以是能够检测和解释与显示表面接触的多个点的电容式触摸屏显示器。在一些实施方案中，计算设备100可以包括用于渲染和输出图像和数据以便在显示器320上呈现的图形适配器(未示出)。该图形适配器可以是包括单独处理器和存储器(未示出)的单独处理设备，或者可以与处理器312和存储器314集成。

输入设备318可以包括用于将信息输入到计算设备100中的任何设备。在一些实施方案中，输入设备318可以包括一个或多个外围设备。例如，输入设备318可以包括键盘(例如，QWERTY键盘)、定点设备(例如，鼠标或触摸板)、麦克风、相机等。在一些实施方式中，输入设备318可以包括能够接收来自用户190的一个或多个手指的输入的触摸屏显示器。在一些实施方案中，可以集成输入设备318和显示器320的功能，并且用户190可以通过使用一个或多个手指接触显示器320的表面来与计算设备100交互。例如，用户190可以通过使用他或她的手指接触键盘区域中的显示器320来与触摸屏显示器320上显示的模拟键盘(例如，软键盘或虚拟键盘)交互。

检测引擎212可以包括校准器302和检测器304。组件212、302和304可以通过总线308和/或处理器312通信地耦接到彼此和/或计算设备100的其他组件214、306、310、312、314、316、318、320和/或110。在一些实施方案中，组件212、302和304可以是指令集，这些指令集能够由处理器312执行以提供它们的功能。在一些实施方案中，组件212、302和304可以存储在计算设备100的存储器314中，并且可以能够由处理器312访问和执行以提供它们的功能。在任何前述实施方式中，这些组件212、302和304可以适于与计算设备100的处理器312和其他组件协作和通信。

校准器302包括用于对由视频捕获设备110捕获的视频流执行图像校准的软件和/或逻辑。在一些实施方案中，为了执行图像校准，校准器302可以校准视频流中的图像以适应于视频捕获设备110的捕获位置，这可以取决于计算设备100所就位的支架140的配置。当计算设备100被放置到支架140中时，支架140可以将计算设备100的视频捕获设备110定位在相对于物理活动表面的相机高度处和相对于水平线的倾斜角度处。从该相机位置捕获视频流可能对视频流造成失真影响。因此，校准器302可以调整视频捕获设备110的一个或多个操作参数以补偿这些失真影响。经调整的操作参数的示例包括但不限于对焦、曝光、白平衡、光圈、f制光圈(f-stop)、图像压缩、感光度(ISO)、景深、降噪、焦距等。对视频流执行图像校准是有利的，因为它可以优化视频流的图像以准确地检测其中描绘的对象，并且因此可以显著地改进基于在视频流中检测到的对象的活动应用程序214的操作。

在一些实施方案中，校准器302还可以校准图像以补偿活动表面的特性(例如，尺寸、角度、地形等)。例如，校准器302可以执行图像校准以解决活动表面的不连续性和/或不均匀性，从而使得能够在支架140和计算设备100被设置在各种活动表面(例如，凹凸不平的表面、床、桌子、白板等)上时准确地检测活动表面上的对象。在一些实施方案中，校准器302可以校准图像以补偿由相机适配器130和/或视频捕获设备110的光学元件所导致的光学效应。在一些实施方案中，校准器302还可以校准视频捕获设备110以将其视场分成多个部分，其中用户被包括在该视场的一个部分中并且活动表面被包括在视频捕获设备110的视场的另一部分中。

在一些实施方案中，不同类型的计算设备100可以使用具有不同相机规格的不同类型的视频捕获设备110。例如，由苹果制造的平板电脑可以使用与由亚马逊制造的平板电脑不同类型的视频捕获设备110。在一些实施方案中，校准器302可以使用特定于计算设备100的视频捕获设备110的相机信息来校准由视频捕获设备110捕获的视频流(例如，焦距、视频捕获设备110到计算设备100的底边缘之间的距离等)。校准器302还可以使用视频捕获设备110所位于的相机位置来执行图像校准。

检测器304包括用于处理由视频捕获设备110捕获的视频流以检测存在于该视频流中的活动表面中的有形对象的软件和/或逻辑。在一些实施方案中，为了检测视频流中的对象，检测器304可以分析视频流的图像以确定线段(1ine segment)，并且使用存储装置310中的对象数据来确定具有与这些线段匹配的轮廓的对象。在一些实施方案中，检测器304可以将在视频流中检测到的有形对象提供给活动应用程序214。在一些实施方案中，检测器304可以将在视频流中检测到的有形对象存储在存储装置310中以供其他组件检索。在一些实施方案中，检测器304可以确定是否可以在视频流中识别出线段和/或与这些线段相关联的对象，并且指示校准器302相应地校准视频流的图像。在一些实施方案中，检测器304可以执行字符识别(诸如本文别处所述的光学字符识别OCR)以识别视觉指导性元素，诸如可以用于确定有形内容项102的有形标识符的字词或参考标记。

活动应用程序214包括能够在计算设备100上执行的软件和/或逻辑。在一些实施方案中，活动应用程序214可以从检测器304接收在活动表面的视频流中检测到的有形对象中的字符、独特视觉元素、用户标记。活动应用程序214可以基于这些因素确定一个或多个视觉指导性元素(诸如关键词或文本等)，使用这些视觉指导性元素检索一个或多个数字内容项，并且在计算设备100上显示这些数字内容项。活动应用程序214的非限制性示例包括视频游戏、学习应用程序、辅助应用程序、故事画板应用程序、协作应用程序、生产力应用程序等。其他类型的活动应用程序也是可能的和可设想的。

相机驱动器306包括能够存储在存储器314中并且能够由处理器312操作以控制/操作视频捕获设备110的软件。例如，相机驱动器306可以是能够由处理器312执行以用于指示视频捕获设备110捕获并提供视频流和/或静止图像等的软件驱动器。在一些实施方案中，相机驱动器306可以能够控制视频捕获设备110的各种特征(例如，闪光灯、光圈、曝光、焦距等)。在一些实施方案中，相机驱动器306可以经由总线308通信地耦接到视频捕获设备110和计算设备100的其他组件，并且这些组件可以与相机驱动器306对接以使用视频捕获设备110来捕获视频和/或静止图像。

如本文别处所讨论的，视频捕获设备110(本文也称为相机)是适于捕获物理活动表面的视频流和/或图像的视频捕获设备。在一些实施方案中，视频捕获设备110可以耦接到总线308以与计算设备100的其他组件进行通信和交互。在一些实施方案中，视频捕获设备110可以包括用于收集和聚焦光的透镜、包括用于捕获聚焦光的像素区域的光传感器，以及用于基于由像素区域提供的信号生成图像数据的处理器。光传感器可以是任何类型的光传感器(例如，电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器、混合CCD/CMOS器件等)。在一些实施方案中，视频捕获设备110可以包括用于捕获声音的麦克风。另选地，视频捕获设备110可以耦接到麦克风，该麦克风耦接到总线308或包括在计算设备100的另一组件中。在一些实施方案中，视频捕获设备110还可以包括闪光灯、变焦镜头和/或其他特征。在一些实施方案中，视频捕获设备110的处理器可以将视频和/或静止图像数据存储在存储器314中和/或将此视频和/或静止图像数据提供给计算设备100的其他组件，诸如检测引擎212和/或活动应用程序214。

在一些实施方案中，计算设备100中可以包括多个视频捕获设备(诸如110a和110b)。这些多个视频捕获设备110可以包括被定向到计算设备100周围区域的不同部分的单独视场。在一些实施方案中，多个视频捕获设备的视场可以重叠并且允许由活动应用程序214创建立体图像或视频流，其中不同的二维视频流可以被组合以在计算设备100的显示器的图形用户界面中形成有形内容项102的三维表示。

存储装置310是存储各种类型的数据并提供对各种类型的数据的访问的非暂态存储介质。存储在存储装置310中的数据的非限制性示例包括由视频捕获设备110捕获的视频流和/或静止图像、与视频捕获设备110的每个相机位置相关联的各种校准简档(calibration profile)、描述各种有形对象的对象数据、图像识别模型及其模型参数、文本识别模型及其模型参数、对应于每个有形内容项的视觉指导性元素等。在一些实施方案中，存储装置310可以包括在存储器314或另一耦接到总线308的存储装置中。在一些实施方案中，存储装置310可以是或包括在分布式数据存储装置中，诸如基于云的计算和/或数据存储系统。在一些实施方案中，存储装置310可以包括数据库管理系统(databasemanagement system；DBMS)。DBMS可以是结构化查询语言(structured query language；SQL)DBMS。例如，存储装置310可以将数据存储在基于对象的数据存储装置或包括行和列的多维表中，并且可以使用编程操作来操纵(即，插入、查询、更新和/或删除)存储在存储装置310中的数据条目(例如SQL查询和语句或类似的数据库操纵库)。具有附加的特性、结构、动作和功能的存储装置310的其他具体实施也是可能的和可设想的。在一些实施方式中，存储装置310可以包括先前扫描的有形内容(诸如书本)的数据库，这些有形内容可以被扫描进来，然后检测器304可以对这些有形内容进行OCR以用于本文别处所述的后续的识别和检索。

图4中示出了用于增强物理活动表面上的有形内容的示例性方法400。方法400可由在计算设备100上实施的检测器304和活动应用程序214来执行(参见图2和图3)。在框402中，计算设备100的视频捕获设备110可以捕获包括物理活动表面150的活动场景132的视频流。如上所讨论的，物理活动表面150可以包括就位于物理活动表面150上的有形内容项102。有形内容项102可以是用户能够在物理活动场景132中放置和操纵的有形对象。有形内容项102可以包括在视觉上暴露于计算设备100的视频捕获设备110的一个或多个部分，并且因此视频捕获设备110可以捕获视频流中的有形内容项102，如图1A中所描绘的。

在框404中，检测器304可以在视频流中检测就位于物理活动表面150上的有形内容项102。在一些实施方案中，检测器304可以将对象检测算法应用于视频流的图像以检测图像中描绘的有形内容项102。例如，如图1A中所描绘的，检测器304可以检测包括视频流的图像112中的文本内容和/或图形内容的有形内容项102。在一些实施方式中，该图像112可以作为实况馈送显示在计算设备100的显示器上。在另外的实施方式中，图像112可以由检测器304从视频流中处理并且可以不向用户显示。

在框406中，检测器304可从视频流中识别有形内容项102中的一个或多个视觉指导性元素。在一些实施方案中，检测器304可以将文本识别技术(例如，光学字符识别-OCR)应用于视频流的图像以检测有形内容项102中的视觉指导性元素。这些视觉指导性元素可以包括形成有形内容项102的文本内容的各种字母、字符、数字、符号等。在一些实施方案中，除了这些视觉指导性元素之外，检测器304还可以在视频流中检测有形内容项102中的一个或多个独特视觉元素。独特视觉元素的非限制性示例包括图像、图画、图表、特别设计成指示某些信息的视觉标记等。在一些实施方案中，检测器304可以将图像识别技术应用于视频流的图像以确定有形内容项102中包括的独特视觉元素中描绘的对象。例如，如图1A和图1B所示，检测器304可以将图像识别技术应用于视频流的图像112。检测器304可以确定有形内容项104包括图表106和图画108，并且确定图表106描绘了飞机而图画108描绘了飞机涡轮。

在一些实施方案中，检测器304可以从视频流中识别有形内容项102的元数据。有形内容项102的元数据可以提供关于有形内容项102的一般信息，并且可以定位在有形内容项104的顶部部分和/或底部部分上。在一些实施方案中，检测器304可以对有形内容项102的顶部部分和/或底部部分应用文本识别技术(例如，OCR)以检测有形内容项102的元数据。有形内容项102的元数据的非限制性示例包括但不限于：包括有形内容项102的有形对象102的文档标题(例如，“针对工程系学生的飞机结构”)、与有形内容项102相关联的页码(例如，第25页和第26页)、与有形内容项102相关联的章节标题(例如，“飞机的一般组件”)、与有形内容项102相关联的章节号(例如，第1章)等。

在一些实施方案中，检测器304可以在视频流中检测有形内容项104上的一个或多个用户标记。这些用户标记可以是强调效果，诸如由用户创建的用于强调有形内容项102的一部分的突出显示(highlighting)(例如，突出显示、下划线等)或由用户添加到有形内容项102的一部分的用户注释(例如，手写文本、草图、图表等)。在一些实施方案中，检测器304可以从视频流中识别与用户标记相关联的一个或多个字符。对于为强调效果的用户标记，检测器304可以确定由用户标记指示的有形内容项102的强调部分，并且对有形内容项104的强调部分应用文本识别技术(例如，OCR)以确定与用户标记相关联的视觉指导性元素。对于由用户添加到有形内容项102的为用户注释的用户标记，检测器304可以对该用户注释应用针对手写识别的机器学习模型来识别该用户注释中的手写字符。检测器304还可以对用户注释应用图像识别技术以检测该用户注释中的独特视觉元素(例如，草图、图表等)，并且确定由该用户注释中的独特视觉元素描绘的对象。例如，检测器304可以检测由用户在有形内容项102中的飞机机身周围创建的气流的草图。

在一些实施方案中，检测器304可以生成检测结果，该检测结果包括在有形内容项102中识别的视觉指导性元素、有形内容项102中包括的独特视觉元素和/或在独特视觉元素中检测到的对象、在有形内容项102中识别的有形内容项102的元数据(例如，文档标题、页码、章节标题、章节号等)、与有形内容项102中的用户标记相关联的字符、与用户标记相关联的独特视觉元素和/或在独特视觉元素中检测到的对象等中的一个或多个。在一些实施方案中，检测器304可以将该检测结果传送到活动应用程序214。活动应用程序214可以能够基于此检测结果提供与有形内容项104相关的附加内容。

在框408中，活动应用程序214可以基于有形内容项104中的字符来确定一个或多个有形标识符。为了确定有形标识符，活动应用程序214可以分析由检测器304生成的检测结果以获得在有形内容项102中识别的视觉指导性元素。活动应用程序214可以将这些识别出的视觉指导性元素聚合成字词或其他类别，每个字词可以包括位于有形内容项102中的两个连续的空格字符之间的字符。在一些实施方案中，活动应用程序214可以从有形内容项102中的字词中选择一个或多个有形标识符，诸如关键字。例如，活动应用程序214可以确定有形内容项102中的标题行，并且选择标题行中的一个或多个描述性字词作为有形标识符。在另一示例中，活动应用程序214可以确定以与有形内容项102中的其他字词不同的格式(例如，不同的字体、大小、颜色等)呈现的一个或多个强调字词，并且选择这些强调字词作为有形标识符。在一些实施方案中，活动应用程序214可以确定有形内容项102中的描述性字词，计算指示每个描述性字词在有形内容项102中重复的次数的重复频率，并且选择重复频率满足重复频率阈值(例如，超过七次)的描述性字词作为有形标识符。

在一些实施方案中，代替使用包括在有形内容项102中的字词，活动应用程序214可以基于有形内容项102中的描述性字词和/或独特视觉元素来确定有形内容项102的内容类别，并且选择与有形内容项102的内容类别相关联的术语作为视觉指导性元素。作为示例，活动应用程序214可以将有形内容项102分类为内容类别“飞机”，并且选择与内容类别“飞机”相关联的术语作为关键字(例如，“飞行器”、“空气动力学”、“飞机引擎”等)。

在一些实施方案中，活动应用程序214可以基于包括在有形内容项102中的独特视觉元素和/或在独特视觉元素中检测到的对象来确定有形标识符。作为示例，活动应用程序214可以确定有形内容项102包括飞机引擎的图像。活动应用程序214还可以从有形内容项102的识别出的字符中(例如，“喷气式飞行器的燃气涡轮引擎”)确定图像的图像描述。在该示例中，活动应用程序214可以基于图像中描绘的飞机引擎和图像的图像描述(例如，“飞机引擎”、“飞行器涡轮”、“燃气涡轮”、“喷气式飞行器”等)来确定有形标识符。

在一些实施方案中，活动应用程序214可以基于有形内容项102的元数据来确定有形标识符。活动应用程序214可以分析由检测器304生成的检测结果以获得包括与有形内容项102相关联的文档标题、页码、章节标题和/或章节号的元数据。如果与有形内容项102相关联的章节标题未包括在检测结果中，则活动应用程序214可以从数据存储装置310(参见图3)检索包含有形内容项102的有形对象102的内容表，并且使用与有形内容项102相关联的页码和/或章节号来从有形内容项102的内容表中确定章节标题。在一些实施方案中，与有形内容项102相关联的文档标题和/或章节标题可以提供在有形内容项102中呈现的内容的一般概述。因此，活动应用程序214可以确定与有形内容项102相关联的文档标题和/或章节标题中的描述性字词，并且选择这些描述性字词作为有形标识符。

在一些实施方案中，活动应用程序214可以基于与用户标记相关联的字符来确定有形标识符。该用户标记可以指示有形内容项102中用户认为重要并且应当注意的信息。在一些实施方案中，活动应用程序214可以分析由检测器304生成的检测结果以获得与用户标记相关联的字符。如本文别处所讨论的，与用户标记相关联的字符可以是有形内容项102中受到由用户创建的强调效果的部分中的字符和/或用户注释中由用户添加到有形内容项102的字符。在一些实施方案中，活动应用程序214可以将与用户标记相关联的字符聚合成字词，每个字词可以包括位于两个连续空格字符之间的字符。活动应用程序214可以在由与用户标记相关联的字符形成的字词中确定一个或多个描述性字词，并且选择这些描述性字词作为有形标识符。作为示例，用户可以在有形内容项102中突出显示字词“湍流建模”并且添加手写注释“使用具有壁面函数的k-ω模型(k-omega model)”。在该示例中，活动应用程序214可以确定用户标记中的描述性字词，并且确定关键字为“湍流建模”、“k-ω模型”和“壁面函数”。

在一些实施方案中，活动应用程序214可以分析由检测器304生成的检测结果以还获得与用户标记相关联的独特视觉元素和/或在独特视觉元素中检测到的对象，活动应用程序214可以基于与用户标记相关联的独特视觉元素和/或在独特视觉元素中检测到的对象来确定关键词。作为示例，用户可以在有形内容项102中创建飞机草图，其中箭头示出了飞机机身周围的气流。在该示例中，活动应用程序214可以确定用户注释包括飞机和气流，并且确定关键字为“飞机”、“气流”和“空气动力学”。

在一些实施方案中，有形对象可以包括多个有形内容项102，并且用户可以与有形对象的不同有形内容项102交互。例如，有形内容项102可以是书本，并且用户可以阅读与该书本的第11页和第12页相关联的第一有形内容项102的第一部分，然后转向与该书本的第3页和第4页相关联的第二有形内容项102的第二部分。在一些实施方案中，活动应用程序214可以监视用户与之交互的有形内容项102，并且基于这些有形内容项102来确定有形标识符和/或视觉指导性元素。为了确定有形标识符，活动应用程序214可以确定用户在第一时间戳与之交互的第一有形内容项102，并且识别该第一有形内容项102中的一个或多个视觉指导性元素。活动应用程序214可以确定用户在第二时间戳与之交互的第二有形内容项102，并且识别该第二有形内容项102中的一个或多个视觉指导性元素。用户与第一有形内容项102交互的第一时间戳可以在用户与第二有形内容项102交互的第二时间戳之前或之后。在一些实施方案中，第一时间戳与第二时间戳之间的时间距离可以满足时间距离阈值(例如，小于30s)。

在一些实施方案中，活动应用程序214可以基于第一有形内容项102中的字符和第二有形内容项102中的字符来确定有形标识符。除了字符之外，活动应用程序214还可以基于如上所讨论的第一有形内容项102和第二有形内容项102中的独特视觉元素、用户标记等来确定有形标识符。在一些实施方案中，活动应用程序214可以选择包括在第一有形内容项102和第二有形内容项102两者中的描述性字词作为有形标识符。另选地，活动应用程序214可以选择与第一有形内容项102的内容和第二有形内容项102的内容有关的有形标识符。例如，第一有形内容项102可以呈现关于飞机机身周围的气流的信息，并且第二有形内容项102可以呈现关于商用飞机的形状和尺寸的信息。在该示例中，活动应用程序214可以确定有形标识符为“商用飞机周围的气流”。基于用户与之交互的多个有形内容项102来确定有形标识符是有利的，因为该具体实施可以提高该有形标识符与用户感兴趣的内容有关的可能性。

在框410中，活动应用程序214可以使用一个或多个有形标识符来检索一个或多个数字内容项。在一些实施方案中，活动应用程序214可以使用有形标识符查询数据存储装置310和/或其他内容数据库以检索数字内容项。作为查询结果返回的数字内容项可以包括有形标识符，并且因此可以与存在于物理活动表面150上的有形内容项102有关或相关。数字内容项的非限制性示例包括图像、视频、音频、网页、电子文档、指令等。其他类型的数字内容项也是可能的和可设想的。

在一些实施方案中，活动应用程序214可以使用查询中的一个有形标识符来检索数字内容项。另选地，活动应用程序214可以使用多个有形标识符来检索数字内容项。在一些实施方案中，活动应用程序214可以基于如上所讨论的有形内容项102中识别出的视觉指导性元素、独特视觉元素、用户标记等来确定第一有形标识符和第二有形标识符。在一些实施方案中，活动应用程序214可以确定在描述与有形内容项102类似的主题时第一有形标识符与第二有形标识符之间的上下文关系。例如，第一有形标识符与第二有形标识符之间的上下文关系可以指示第一有形标识符和第二有形标识符在属于有形内容项102的内容类别的同一内容项中的可能性、该内容项中第一有形标识符与第二有形标识符之间的平均距离等。在一些实施方案中，第一有形标识符与第二有形标识符之间的上下文关系可以由上下文关系度量(contextual relationship metric)来指示。

在一些实施方案中，活动应用程序214可以基于第一有形标识符与第二有形标识符之间的上下文关系来检索数字内容项。在一些实施方案中，活动应用程序214可以确定第一有形标识符与第二有形标识符之间的上下文关系度量是否满足上下文关系度量阈值(例如，大于0.75)。如果第一有形标识符与第二有形标识符之间的上下文关系度量满足上下文关系度量阈值，则活动应用程序214可以使用第一有形标识符和第二有形标识符二者来检索数字内容项。例如，活动应用程序214可以在同一查询中使用第一有形标识符和第二有形标识符查询数据存储装置310和/或其他内容数据库以检索数字内容项。作为查询结果返回的数字内容项可以包括第一有形标识符和第二有形标识符两者。在一些实施方案中，数字内容项中第一有形标识符与第二有形标识符之间的相对距离可以跟第一有形标识符与第二有形标识符之间的上下文关系度量成比例。

在一些实施方案中，活动应用程序214可以从存储在存储装置310中的知识图(knowledge graph)中检索数字内容项。该知识图可以包括与不同主题相关的一个或多个节点，并且每个节点可以被链接到该知识图内与不同主题相关的其他节点。每个节点可以包括与知识图中的该节点的主题相关的数字内容项。在一些实施方案中，知识图可以将具有子主题的子节点链接到知识图中具有主主题(main-topic)的主节点，并且当活动应用程序214向知识图提供一个或多个有形标识符时，可以识别与那些有形标识符相关的节点并且可以检索该节点内的数字内容项。在一些实施方案中，这些节点还可以包括不同用户的类别级别，其中不同的类别级别与主题的知识深度相关。例如，如果知识图的节点与空气动力学相关，则具有较低类别级别的用户(诸如二年级学生)将不同于具有较高类别级别的用户(诸如大学水平的学生)。基于用户的类别级别，可以基于类别级别提供与该用户有关的与节点的主题相关的不同数字内容项。

在框412中，一旦检索到数字内容项，活动应用程序214就可以在计算设备100上提供这些数字内容项。这些数字内容项可以包括显示在计算设备100上的视频、图像、网页、电子文档等，并且可以提供与存在于物理活动表面150上的有形对象102的有形内容项104有关的内容数据。在计算设备100上提供的数字内容项的示例在图1B中示出。在该示例中，物理活动表面150上的有形内容项104可以包括与飞机相关的字符、独特视觉元素和/或用户标记，并且在计算设备100上显示的数字内容项可以呈现与飞机有关的内容数据(例如，飞机零件、飞行器结构、空气动力学的原理、飞机引擎等)，如图1B中所描绘的。

图5是用于增强物理活动表面上的有形内容的示例性配置500。如该示例中所示，计算设备100可以包括第一相机110a，该第一相机110a包括被向下定向朝向计算设备100前方的表面的第一视场502。计算设备100还可以包括第二相机110b，该第二相机110b包括第二视场504。第二视场504可以从计算设备100向外定向，并且包括计算设备100前方的区域。在一些实施方式中，第二视场504可以能够捕获与计算设备100前方的物理活动表面交互的用户的至少一部分的图像。例如，第二视场504可以能够捕获第一用户的上半身，包括他们的头部和手臂。这可以允许活动应用程序214查看用户在第二视场504中表现的面部表情和/或手势。在一些实施方式中，可以在计算设备100或另一计算设备(未示出)上显示第二视场504。在该示例中，显示屏可以在显示屏上显示多个项，多个项中的一个项可以基于包括在第一视场502中的物理内容项102，并且另一个项可以是来自第二视场504的用户的视频流。

在一些实施方式中，活动应用程序214可以能够使用第二视场504来识别视频流中存在的特定用户。例如，活动应用程序214可以将第一用户识别为一年级学生并且将第二用户识别为第一用户的家长，并且可以基于用户的标识来呈现适当的内容。如果在第二视场504中检测到第一用户，则活动应用程序可以为一年级学生检索当前的家庭作业任务并将它们呈现在显示屏上以供一年级学生开始做作业。如果在第二视场504中检测到第二用户，则活动应用程序可以显示已分配给一年级学生的各种任务的状态，并且容易地帮助家长了解一年级学生在各种任务上的表现，而不必手动导航到特定内容。

在一些实施方式中，活动应用程序214可以使用相机110的视场中的一个或多个视场来执行各种应用程序。例如，当在相机110的视场中没有检测到用户时，活动应用程序214可以使计算设备100进入被动或睡眠模式。在一些实施方式中，在被动模式下，活动应用程序214和/或检测器304可以例行地检查相机110的视场，并且如果在这些视场中的一个或多个视场中检测到某物，则活动应用程序214可以执行适当的程序。例如，检测器304可以检测到自身定位的用户(诸如通过坐在计算设备100前方的椅子上)，并且可以使活动应用程序214确定用户的标识和/或显示屏上待显示的一个或多个有关应用程序。

例如，当检测到第一用户时，活动应用程序214可以检索第一用户的简档并且回顾通常执行的应用程序。活动应用程序214然后可以在接收到用户的选择之前启动这些应用程序中的一个或多个应用程序。这些应用程序可以在用户不知情的情况下在后台启动，并且如果用户请求运行预启动的应用程序中的一个应用程序，则活动应用程序214可以显示该预启动应用程序和/或关闭其他应用程序。这允许活动应用程序214快速执行应用程序，并且用户不必等待基于所识别的用户的简档来加载常用应用程序。

在一些实施方式中，检测器304可以检测对象，诸如定位在相机100的这些视场的一个视场中的有形内容项102，并且可以使活动应用程序214基于有形内容项102的有形标识符来检索一个或多个数字内容项。活动应用程序214还可以在显示屏上显示图形和/或动画以指导用户如何开始使用有形内容项102，诸如显示当前页码以供用户打开有形内容项102等。在一些实施方式中，检测器304可以感测用户和/或有形内容项102的存在，并且显示查询、提示或检测感知图形以向用户发信号，表明他们和/或对象已经被检测到并且可以开始与计算设备100交互。

图6是用于增强物理活动表面上的有形内容的示例性方法的流程图600。在602处，视频捕获设备可以捕获包括物理活动表面150的活动场景132的视频流。在一些实施方式中，如本文别处所述的，计算设备100可以被定位在物理活动表面100上，诸如在支架或集成设备中。在另外的实施方式中，计算设备100可以是便携式的并且由用户100定位以捕获物理活动表面150的视频流。

在604处，检测器304可以在视频流中检测包括在该视频流中的一个或多个有形内容项102。在一些实施方式中，有形内容项102可以包括已经被打开以在视频捕获设备的视场内可见的一个或多个页面。在另外的实施方式中，有形内容项102可以是在视频捕获设备的视场内可见的单个页面，诸如练习题(worksheet)。

在606处，活动应用程序214可以从视频流中确定有形内容项102的页面的标识。可以基于页面上包括的一个或多个视觉指导性元素诸如页码、标题、图形等来确定该页面的标识。在另外的实施方式中，可以基于页面上的页面标识锚(page identity anchor)来确定该页面的标识，该页面标识锚可以是对检测器304可见的唯一图形或文本图标。活动应用程序214可以基于包括在页面内的页面标识锚或其他视觉指导性元素来确定该页面的标识。例如，有形内容项102的每个页面可以具有唯一的页面标识锚，并且每个页面标识锚可以匹配与不同页面相关联的页面标识锚的数据库。在一些实施方式中，有形内容项102的页面可以被捕获为图像，并且可以对这些页面执行图像识别以确定页面的内容以及与这些页面相关的一个或多个概念。当这些页面唯一的页面标识锚被识别时，这些页面然后可以在数据库中编目以供将来检索。在一些实施方式中，检测器304可以被配置为仅搜索由视频流捕获的图像中的页面标识锚，以提高活动应用程序304能够识别页面的速度。通过仅查找页面标识锚，检测器304可以快速地忽略存在于有形内容项102上的其他文本和/或图形，直到页面标识锚已被识别并且页面的简档已被检索为止。

在608处，活动应用程序214可以使用该页面的该标识来确定有形内容项的标题。例如，活动应用程序214可以基于页面26的这一标识而得知该页面是特定书本的页面26并且有形内容项102可以是该特定书本。然后该书本的标题可能表示有形内容项102的主题和/或上下文。

在610处，活动应用程序214可以基于有形内容项的标题和/或有形内容项102的页面的标识来确定数字内容项。例如，其中有形内容项102是数学标题为“三年级数学”的教科书，并且特定页面标识是与线段(line segment)相关的页面26。活动应用程序214可以使用与标题“三年级数学”和“线段”相关的上下文信息来识别数字内容项，该数字内容项表示由不同的三年级教师演示如何解决线段问题的视频。在一些实施方式中，数字内容项可以是视频、问题、测验、练习题等中的一者或多者。在612处，然后在显示屏的图形用户界面中呈现该数字内容项。可以在计算设备100的显示器上呈现该补充数字内容项，以供用户观看并协助他们完成学习。

图7A至图7D是用于增强有形内容的示例性用户界面的图形表示。如图7A所示，图形表示700描绘了包括个性化部分708的用户界面702。该个性化部分可以基于在相机110的视场中检测到的用户的标识。该个性化部分可以包括用户能够个性化以创建他们自己的体验的各种设置。

用户界面702可以包括显示特定用户进行各种主题的进度进度图标(progressionicon)704。例如，进度图标704a描绘了“实用几何数学”的进度并且包括进度条，此进度条显示与该进度图标704a相关的大多数主题已经被完成。当诸如由教师将不同的任务或主题分配给用户作为家庭作业或补充学习时，进度图标704可以更新以包括基于新任务的附加主题。进度图标能够由用户选择，并且可以包括表示进度图标内的不同子主题(subtopic)的嵌套图标。进度图标可以显示在用户能够容易访问的区域中以便用户快速开始选择主题。在一些实施方式中，活动应用程序214可以使得在用户开始与显示屏交互之前显示进度图标704的这些主题中的一个主题。

用户界面702可以包括主题图标706，主题图标706表示用户与之交互的不同主题和/或任务。例如，用户可以能够在主题图标706a中的“实用几何”或主题图标706c中的“恒星和太阳系”之间进行选择。主题图标706可以延伸超过屏幕的边缘，并且用户可以能够滚动各种主题图标706以选择各种图标。

如图7B中所示，当活动应用程序检测到有形内容项102(未示出)已经被定位在相机100的视场内时，图形表示710可以更新用户界面702。例如，用户可以将与“原子和分子”相关的教科书放置在物理活动表面上，并且活动应用程序214可以使得检测到的教科书图标712显示在用户界面702上。在一些实施方式中，检测到的教科书图标712可以滚动到用户界面702中，使得它看起来是随着用户将与“原子和分子”相关的物理教科书移动到相机110的视场中而被推入视场中。通过模仿有形内容项102的物理放置，检测到的教科书图标712可以为用户创建更身临其境的体验。在另外的实施方式中，随着不同的教科书被移动到物理活动表面150上的位置上，用户界面702可以使得主题图标706或检测到的教科书图标712的虚拟表示镜像这些移动，并以类似于物理项移入和移出相机102的视场的方式移入和移出用户界面702，以便创建模仿物理活动表面150中存在的内容的虚拟桌面。

在一些实施方式中，基于可能出现在图形用户界面702中的数字内容项，活动应用程序214可以生成检测到的教科书图标712作为可视化。检测到的教科书图标702可以被显示为出现在用户界面中的数字内容项的动画。在一些实施方式中，该动画可以模仿由检测器304检测的对应有形内容项102在其出现在物理活动表面的视频流中时的外观。在一些实施方式中，该动画可以通过仅显示检测到的教科书图标712的可视化的第一部分来开始，诸如图7B中所示，其中在用户界面中显示检测到的教科书图标712c的第一部分，而不显示第二部分。然后，该动画可以表现为滚动检测到的教科书图标712的可视化的剩余部分以出现在屏幕上，诸如通过呈现检测到的教科书图标712c的第二部分，如图7C所示。

如图7C所示，图形表示714可以显示用户界面702，其中检测到的教科书图标712完全显示在用户界面712中。在一些实施方式中，主题图标706a-706c可以被移位以允许显示检测到的教科书图标712。在一些实施方式中，用户界面702还可以使得一个或多个子主题(诸如检测到的教科书图标712a-712b的一部分)与检测到的教科书图标712c的完整主题的图像一起显示。

如图7D所示，图形表示716可以显示用户界面702，其中用户正导航到所示的检测到的教科书图标712中的一者或多者中，以显示与所选择的主题718相关的任务图标720。使用这样的嵌套主题选项，用户可以基于主题快速浏览各种任务和作业(assignment)，并且可以基于对相机110的视场中的有形内容项102的检测来触发每个主题以用于显示。基于与有形内容项102的交互的数字内容的这种自动出现允许用户快速访问各种有关信息。例如，学生可以快速查看一天的各种任务和作业，仅需查看进度图标704，或者用户可以将他们的教科书或练习册(activity book)中的一者放置到相机110的视场中，并且它将自动显示与该书本相关的当前作业以供学生开始做作业。

图8是用于手指检测以增强有形内容的示例性配置800。如该示例中所示，计算设备100可以定位在具有一个或多个相机110的活动表面上。检测器304可以在物理活动表面的图像中检测用户的手804和/或手指的外观。检测器304可以基于本文别处所述的与手指和手形状相关的预期轮廓或形状来识别手804和/或手指。在一些实施方式中，检测器304可以被配置为识别图像内的手804的手指的指尖(point of a finger)，并且可以确定手804的手指的指尖指向的有形内容项102的区域。如图8所示，有形内容项102的区域806可以是有形内容项102的靠近检测器304已经检测到手804的手指的指尖要指向的位置的部分。在一些实施方式中，活动应用程序214可以将有形内容项102的位置映射到坐标平面中，并且将所映射的有形内容项102在坐标平面的每个部分内划分成各个区域。活动应用程序214可以将手804的手指的指尖的位置映射到相对于有形内容项102的位置的相同坐标平面中，并且识别该坐标平面的哪些区域包括该手指的指尖和有形内容项102的对应区域两者。

在一些实施方式中，手指指向的有形内容项102的区域806可以由检测器304分析，以识别该区域内的一个或多个有形标识符。例如，有形内容项102可以是教科书，并且用户可以用他们的手指指向页面上的特定字词或图像来指向区域806。使用手指检测，检测器304可以仅关注区域806内的内容以识别有形标识符，诸如仅由手指的指尖指向的特定字词或图像。这允许增强有形内容项102与数字内容项之间的交互，其中用户可以简单地指向他们需要帮助或提供补充内容的特定区域。例如，用户可能正在阅读一本书本，但不知道特定字词的释义。用户可以指向该字词，活动应用程序214可以使用计算设备100来使得该字词的释义出现和/或被可听地输出。在另一示例中，当用户被困在数学问题上时，他们可以指向该数学问题中的特定步骤，并且用户可快速提供对该特定步骤的建议而非整个数学问题的上下文。

应当理解，上述示例性活动是以举例说明而非限制的方式提供的，并且本公开设想并涵盖了许多附加用例。在以上描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践本文描述的技术。此外，以框图形式示出了各种系统、设备和结构，以避免使描述模糊。例如，各种具体实施被描述为具有特定硬件、软件和用户界面。然而，本公开适用于能够接收数据和命令的任何类型的计算设备，并且适用于提供服务的任何外围设备。

在一些实例中，本文可以按照对计算机存储器内的数据位进行操作的算法和符号表示来呈现各种具体实施。这里的算法通常被认为是导向期望结果的一组自洽的操作。这些操作是那些需要对物理量进行物理操纵的操作。通常，尽管不是必须，但这些量采用能够被存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。主要出于通用的原因，将这些信号称为位、值、元素、符号、字符、项、数字等已被证明有时是方便的。

然而，应当记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以下讨论中显而易见的是，应当理解，贯穿本公开，使用包括“处理”、“计算”、“运算”、“确定”、“显示”等术语的讨论指的是计算机系统或类似电子计算设备的动作和过程，其将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵和变换成类似地表示为计算机系统存储器或寄存器或其他此类信息存储装置、传输或显示设备内的物理量的其他数据。

本文所述的各种具体实施可以涉及用于执行本文的操作的装置。该装置可专门构造用于所需的目的，或者可包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。此类计算机程序可被存储在计算机可读存储介质中，包括但不限于任何类型的盘，包括软盘、光盘、CD-ROM和磁盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、闪存，包括具有非易失性存储器的USB密钥或适于存储电子指令的任何类型的介质，每一者都耦接到计算机系统总线。

本文描述的技术可以采用硬件具体实施、软件具体实施或包含硬件和软件元件两者的具体实施的形式。例如，该技术可以在软件中实现，该软件包括但不限于固件、驻留软件、微代码等。此外，本技术可以采用能够从计算机可用或计算机可读介质访问的计算机程序产品的形式，该计算机可用或计算机可读介质提供由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合使用的程序代码。出于本说明书的目的，计算机可用或计算机可读介质可以是任何非暂态存储装置，其可以包含、存储、传送、传播或传输程序，以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用。

一种适于存储和/或执行程序代码的数据处理系统可以包括至少一个通过系统总线直接或间接耦接到存储器元件的处理器。这些存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、大容量存储装置以及提供至少一些程序代码的临时存储以便减少在执行期间必须从大容量存储装置取回代码的次数的高速缓冲存储器。输入/输出或I/O设备(包括但不限于键盘、显示器、指示设备等)可以直接或通过中间I/O控制器耦接到系统。

网络适配器也可以耦接到系统，以使得数据处理系统能够通过中间专用和/或公共网络耦接到其他数据处理系统、存储设备、远程打印机等。无线(例如，Wi-Fi^TM)收发器、以太网适配器和调制解调器仅仅是网络适配器的几个示例。专用和公共网络可以具有任意数量的配置和/或拓扑。可以经由使用各种不同通信协议的网络在这些设备之间传输数据，所述通信协议包括例如各种互联网层、传输层或应用程序层协议。例如，可以经由使用以下协议的网络来传输数据：传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、传输控制协议(TCP)、超文本传输协议(HTTP)、安全超文本传输协议(HTTPS)、基于HTTP的动态自适应流(DASH)、实时流协议(RTSP)、实时传输协议(RTP)和实时传输控制协议(RTCP)、网络电话协议(VOIP)、文件传输协议(FTP)、网络套接字(WS)、无线接入协议(WAP)、各种消息收发协议(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)或其他已知协议。

最后，本文所呈现的结构、算法和/或接口并不固有地与任何特定计算机或其他设备相关。根据本文的教导内容，各种通用系统可与程序一起使用，或者可以证明构造更专用的设备以执行所需的方法框是方便的。各种这些系统所需的结构将从上面的描述中显现出来。此外，本说明书未参考任何特定编程语言进行描述。应当理解，可以使用各种编程语言来实现如本文所述的说明书的教导。

已经出于说明和描述的目的呈现了前述描述。其并不旨在穷举或限制说明书为所公开的明确形式。根据上述教导，许多修改和变型都是可能的。本公开的范围旨在不受该具体实施方式的限制，而是由本申请的权利要求限制。如本领域技术人员将理解的，本说明书可以在不脱离精神或基本特征的情况下以其他特定形式体现。同样，模块、例程、特征、属性、方法和其他方面的特定命名和划分不是强制性的或重要的，并且实现本说明书或其特征的机制可以具有不同的名称、划分和/或格式。

此外，本公开的模块、例程、特征、属性、方法和其他方面可以被实现为软件、硬件、固件或前述的任何组合。此外，只要本说明书的一个元素(例如模块)被实现为软件，该元素就可以被实现为独立程序、更大程序的一部分、多个单独程序、静态或动态链接库、内核可加载模块、设备驱动程序，并且/或者以现在或将来已知的每一种和任何其他方式来实现。另外，本公开决不限于以任何特定编程语言或者针对任何特定操作系统或环境的具体实施。因此，本公开旨在说明而非限制所附权利要求中阐述的主题的范围。

Claims

1.一种方法，包括：

使用计算设备的视频捕获设备捕获包括位于所述计算设备的显示器前方的物理活动表面的活动场景的视频流；

使用能够在所述计算设备上执行的检测器在所述视频流中检测所述物理活动表面上的有形内容项；

从所述视频流中识别所述有形内容项中的一个或多个视觉指导性元素；

基于所述有形内容项中识别出的所述一个或多个视觉指导性元素来确定有形标识符；

使用所述有形标识符自动检索数字内容项，以及

提供所述数字内容项以用于在所述计算设备的用户界面中显示。

2.根据权利要求1所述的方法，还包括：

在所述视频流中检测所述有形内容项上的独特视觉元素；并且其中

确定所述有形标识符包括基于所述有形内容项上的所述独特视觉元素来确定所述有形标识符。

3.根据权利要求2所述的方法，其中：

所述独特视觉元素包括在所述有形内容项上可见的图像、图画、图表和视觉标记中的一者或多者。

4.根据权利要求1所述的方法，还包括：

从所述视频流中识别与所述有形内容项相关联的文档标题、页码、章节标题和章节号中的一者或多者；并且其中

确定所述有形标识符包括基于与所述有形内容项相关联的所述文档标题、所述页码、所述章节标题和所述章节号中的一者或多者来确定所述有形标识符。

5.根据权利要求1所述的方法，还包括：

在所述视频流中检测在所述有形内容项上可见的用户标记；

从所述视频流中识别与所述用户标记相关联的一个或多个字符；并且其中

确定所述有形标识符包括基于与所述用户标记相关联的所述一个或多个字符来确定所述有形标识符。

6.根据权利要求5所述的方法，其中：

所述用户标记包括在所述有形内容项上的突出显示效果和由用户创建的用户注释中的一者或多者。

7.根据权利要求1所述的方法，其中所述有形内容项为第一有形内容项：

所述第一有形内容项被包括在有形对象中，所述有形对象还包括第二有形内容项；并且

所述方法包括：

确定用户与所述有形对象的所述第二有形内容项交互；

识别所述第二有形内容项中的一个或多个视觉指导性元素；以及

基于所述有形对象的所述第一有形内容项中的所述一个或多个视觉指导性元素和所述第二有形内容项中的所述一个或多个视觉指导性元素来确定所述有形标识符。

8.根据权利要求1所述的方法，其中：

确定所述有形标识符包括基于所述有形内容项中的所述一个或多个视觉指导性元素来确定第一有形标识符和第二有形标识符；以及

使用所述有形标识符检索所述数字内容项包括：

确定所述第一有形标识符与所述第二有形标识符之间的上下文关系；以及

基于所述第一有形标识符与所述第二有形标识符之间的所述上下文关系来检索所述数字内容项。

9.根据权利要求1所述的方法，其中：

所述计算设备被放置在就位于所述物理活动表面上的支架上；并且

所述计算设备的所述视频捕获设备的视场由就位于所述计算设备的所述视频捕获设备上方的相机适配器重定向。

10.根据权利要求1所述的方法，其中所述物理活动表面上的所述有形内容项包括第一有形内容区段和第二有形内容区段，所述方法还包括：

使用能够在所述计算设备上执行的检测器来检测所述物理活动表面上的所述第一有形内容区段相对于所述第二有形内容区段的布置；

基于所述第一有形内容区段相对于所述第二有形内容区段的所述布置来确定补充数字内容项；以及

在所述计算设备上的所述用户界面中显示所述补充数字内容和所述数字内容项。

11.根据权利要求10所述的方法，其中所述第一有形内容区段为第一编程块并且所述第二有形内容区段为第二编程块，所述第一编程块与所述第二编程块耦合以形成所述有形内容项。

12.根据权利要求11所述的方法，其中所述补充数字内容是关于如何使用所述第一编程块和所述第二编程块的指令集。

13.根据权利要求12所述的方法，其中显示所述补充数字内容还包括：

在所述用户界面中自动显示所述第一编程块的第一数字表示；

在所述用户界面中自动显示所述第二编程块的第二数字表示；以及

自动显示所述第一数字表示与所述第二数字表示交互的动画，以提供关于如何在所述活动表面上布置所述第一数字编程块和所述第二数字编程块的指令。

14.根据权利要求1所述的方法，其中提供所述数字内容项以用于在所述计算设备上的所述用户界面中显示还包括：

生成所述数字内容项的可视化以用于在所述用户界面中显示；以及

显示在所述用户界面中出现的所述数字内容项的动画。

15.根据权利要求14所述的方法，其中所述数字内容项的所述动画描绘了所述数字内容项的所述可视化的从所述显示屏的底侧延伸出的第一部分，以及所述数字内容项的所述可视化的随着所述动画使得所述数字内容项的所述可视化移动到所述用户界面中而出现的第二部分。

16.根据权利要求15所述的方法，其中所述数字内容项的所述动画对应于在所述物理活动表面上检测到的所述有形内容项的外观。

17.根据权利要求14所述的方法，其中所述数字内容项的所述可视化能够由用户选择，并且响应于所述数字内容项被选择，所述数字内容项能够被显示。

18.一种方法，包括：

使用计算设备的视频捕获设备捕获包括物理活动表面的活动场景的视频流；

使用能够在所述计算设备上执行的检测器在所述视频流中检测所述物理活动表面上的有形内容项，所述有形内容项包括在所述视频捕获设备的视场内可见的页面；

使用所述计算设备的处理器从所述视频流中确定所述有形内容项的所述页面的标识；

使用所述计算设备的所述处理器，使用所述页面的所述标识来确定所述有形内容项的概念；

使用所述计算设备的所述处理器，基于所述有形内容项的所述概念和所述有形内容项的所述页面的所述标识来确定数字内容项；以及

在所述计算设备的显示器中，在图形用户界面中呈现所述数字内容项。

19.根据权利要求18所述的方法，其中确定所述有形内容项的所述页面的所述标识还包括：

检测所述页面上的页面标识锚；以及

将所述页面标识锚匹配到页面标识的数据库。

20.根据权利要求19所述的方法，其中所述有形内容项是包括多个页面的书本，并且所述多个页面中的每个页面具有唯一页面标识锚。

21.根据权利要求18所述的方法，其中所述数字内容项是与所述有形内容项的所识别页面相关的视频。

22.根据权利要求21所述的方法，其中呈现所述数字内容项还包括：

将外部链接嵌入到与存在于所述有形内容项的所识别页面上的主题相关的所述视频；以及

使所述外部链接响应于从用户接收的输入而被执行。

23.根据权利要求19所述的方法，其中基于所述有形内容项的所述概念和所述有形内容项的所述页面的所述标识来确定所述数字内容项还包括：

识别存在于所述有形内容的所述页面上的视觉指导性元素；

基于所述视觉指导性元素确定主题上下文；以及

基于所述主题上下文来识别所述数字内容项。

24.根据权利要求23所述的方法，其中基于所述主题上下文识别所述数字内容项还包括：

基于所述有形内容项的所述概念和所述有形内容项的所述页面的所述标识来确定用户的类别级别；

访问与所述主题上下文相关的知识图的节点，所述知识图的所述节点包括到与所述主题上下文相关的多个数字内容项的链接；以及

基于所述用户的所述类别级别从所述多个数字内容项中确定有关数字内容项。

25.根据权利要求19所述的方法，其中检测所述页面上的页面标识锚还包括：

执行匹配搜索以识别所述页面标识锚，所述匹配搜索包括忽略所有不包括所述页面标识锚的文本。

26.根据权利要求18所述的方法，其中所述数字内容项是视频、问题、测验和练习题中的一者或多者。

27.根据权利要求18所述的方法，其中从所述视频流中确定所述有形内容项的所述页面的标识还包括：

使用计算设备的处理器检测存在于所述物理活动表面的所述视频流中的用户的手指；

确定所述有形内容项中被所述手指的指尖指向的区域；

确定包括在所述有形内容项的所述区域内的有形标识符；以及

基于所述有形标识符来确定所述有形内容项的所述页面的标识。

28.一种可视化系统，包括：

定位在物理活动表面上的计算设备；

耦接到所述计算设备的视频捕获设备，所述视频捕获设备包括朝向所述物理活动表面定向的视场并且能够捕获所述物理活动表面的视频流；

所述计算设备的检测器，所述检测器被配置为检测所述视频流内的有形内容项并且识别所述有形内容项中的一个或多个视觉指导性元素；

所述计算设备的处理器，所述处理器被配置为基于所述有形内容项中的所识别出的视觉指导性元素来确定有形标识符，并且使用所述有形标识符自动地检索数字内容项；以及

耦接到所述计算设备的显示屏，所述显示屏被配置为在图形用户界面中显示所述数字内容项。