CN107111601B

CN107111601B - 基于手写注释来标识资源

Info

Publication number: CN107111601B
Application number: CN201480084181.9A
Authority: CN
Inventors: 刘磊; 范健; J·J·刘
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2014-12-18
Filing date: 2014-12-18
Publication date: 2021-01-01
Anticipated expiration: 2034-12-18
Also published as: CN107111601A; EP3234800A1; US20170344815A1; WO2016099500A1; US10402636B2; EP3234800A4

Abstract

本文的示例公开了捕获打印文本和手写注释的图像并且将主题确定为与捕获图像中的打印文本相关。这些示例公开了基于手写注释来标识资源。

Description

基于手写注释来标识资源

背景技术

学习过程可以包括对诸如书籍、报纸、物品和/或其他类型的硬拷贝的打印介质之类的打印介质的使用。因此，学生可以与该打印介质交互以参与信息和/或想法的交换。

附图说明

在附图中，相同的附图标记指代相同的组件或块。以下详细描述参考附图，其中：

图1是递送基于捕获图像中的打印文本的主题和手写注释所标识的资源的示例系统的框图；

图2A是包括用于标识对应文档的多个特征点的示例捕获图像的数据图；

图2B是基于针对多个资源中的每个的排名评估而递送多个资源当中所标识的资源的示例系统的框图；

图3是基于由打印文本的捕获图像内的内容所标识的主题和手写注释来标识资源的示例方法的流程图；

图4是用于捕获包括手写注释的打印文本的图像并基于打印文本内的内容和手写注释来标识资源的示例方法的流程图；

图5是用于捕获包括手写注释的打印文本的图像并递送作为用于手写注释的学习工具的资源的示例方法的流程图；和

图6是具有处理器的示例计算设备的框图，所述处理器用于执行在机器可读存储介质中的指令以基于捕获图像内的内容和手写注释来提供资源。

具体实施方式

学生使用诸如案卷、教科书和/或打印书籍之类的打印介质来参与学习过程。打印介质在硬拷贝介质上呈现信息，并根据主题事项针对一组学生特制。因此，学习重点可能因学生而异，因而使得难以基于这些打印书籍针对每个学生个性化学习资源。此外，学习资源可以从电子书籍而个性化，但是从打印书籍的个性化可能是不可行的。此外，使用光学字符识别(OCR)方法在将打印文本转换为机器可读文本时并不总是准确的。

为了解决这些问题，本文公开的示例提供推荐资源的个性化以帮助用户学习过程。这些示例捕获打印文本和手写注释的图像。打印文本包括硬拷贝介质中的内容和强调该内容的一部分的手写注释。因此，手写注释可能因学生而异，因为每个学生可能强调内容的不同部分。例如，手写注释包括由学生添加到打印文本的那些笔记和/或打印文本的附加突显。示例可以进行以标识与捕获图像内的打印文本相关的主题。标识主题提供了捕获图像的上下文，诸如基本概念。使用标识的主题和手写注释，示例可以将资源标识为学习工具以递送给学生。资源充当学习工具，因为资源通过向学生提供附加的信息来澄清打印文本的上下文中的手写注释。基于手写注释提供资源为每个学生个性化学习资源，每个学生与打印文本的每个被捕获部分相关。

此外，这些示例可以根据手写注释和先前的用户活动来标识多个资源并评估多个资源中的每个。评估多个资源使得示例能够向用户标识更个性化的资源。这为每个学生提供了附加的个性化水平。例如，如果两个学生从他们的教科书中捕获类似的图像，则每个学生可能让不同手写注释强调捕获图像中的不同内容。因此，如果一个学生具有通过阅读网页观看视频的先前用户历史，则在标识资源以用于递送给该第一学生时考虑该活动。

因此，本文公开的示例提供了一种用于基于打印介质中的手写注释来个性化学习过程的机制。这些示例通过推荐资源以帮助在捕获图像的上下文中的手写注释的澄清来促进学习过程。

现在参考附图，图1是用于递送基于手写注释106和与捕获图像102内的打印文本104相关的主题所标识的资源118的示例系统的框图。该系统包括用于捕获打印文本104和手写注释106的图像102的记录器108。在记录器108捕获图像102后，主题生成模块110在模块112处标识与捕获图像102的打印文本104相关的主题。手写模块106和在模块112处标识的主题被资源模块114用于在模块116处标识资源。在模块116处标识资源后，系统将标识的资源118作为学习工具进行递送，以帮助在打印文本104的上下文中理解手写注释106。图1中的系统表示接收捕获图像102并且作为响应在后台过程中操作以在模块106处标识用于递送的资源的计算设备。因此，图1中的系统的实现包括电子设备、移动设备、客户端设备、个人计算机、台式计算机、膝上型电脑、平板电脑或能够捕获包括手写注释106的图像102并提供标识的资源118的其他类型的电子设备。此外，虽然图1将系统图示为包括记录器108和模块110和114，但是不应限制实现，因为系统可以进一步包括向用户提供标识的资源118的显示器。

捕获的图像102包括打印文本104和手写注释106。捕获图像102被认为是包括在完整文档中的打印文本104的子集。因此，捕获图像可以包括(以示例的方式)来自文档的硬拷贝的段落、语句、词语或其他类型的内容。用户可能期望针对文档更多地学得更小方面，并且因此可以调整输入设备的焦距以捕获该图像102。

打印文本104表示在打印介质中所呈现的内容。打印文本104表示在诸如案卷、教科书、物品、打印文档、报纸等之类的已发布的打印介质中呈现的文本或内容。因此，打印文本104表示采用硬拷贝形式的内容。为了使用户获得用于更多地学得内容的资源，打印文本104被捕获在诸如图像、视频等之类的介质中。然后，将该捕获图像102用作系统的输入以获得打印文本104的机器可读版本，以用于处理来在模块116处标识资源。在该实现中，系统标识表示整个打印介质的电子版本的文档。以这种方式，在图像中捕获的打印文本104可以是比整个打印介质更短的内容量。例如，文档可以由多个段落组成，而打印文本102表示用户可能正在寻找附加信息的文档中的内容的子集。该实现在下图中详细解释。

手写注释106是与打印文本104相关联的用于强调捕获图像102内的特定内容或文本的元数据(例如，评论、解释、标记等)。手写注释106被认为对每个用户是个人的，因为用户创建手写注释106以强调捕获图像102中的内容或文本的部分或区域。这样的手写注释106指示对打印文本104内的不同内容的不同强调。例如，用户A和用户B可以捕获相同段落，但是可能在打印文本104的不同部分下划线。因此，模块116处的资源标识考虑这些不同类型的手写注释106来递送资源118以帮助理解该手写注释106。手写注释106的实现包括(以示例的方式)突显、下划线、评论、脚注、标记、标签、链接、解释或强调打印文本104的特定部分的其他类型的元数据。例如，图1中的手写注释106在文本“阿尔茨海默氏症”下划线，指示该用户对该文本的强调。

记录器108是将图像102作为对主题生成模块110的输入进行捕获的设备。记录器108的实现包括(以示例的方式)相机、摄像机或其他类型的图像捕获设备。

主题生成模块110接收捕获图像102，并且在模块112处将主题标识为与捕获图像102的打印文本104相关。在实现中，主题生成模块110可以从数据库检索对应于打印文本104的文档。该文档提供机器可读文本以处理来在模块112处标识主题。在该实现中，主题生成模块110使用机器可读文本上的统计模型来标识主题。该实现可以在随后的图中详细讨论。主题生成模块110可以包括(以示例的方式)当(例如由处理器和/或控制器)执行时实现模块112的功能的指令(例如，被存储在机器可读介质上)。可替代地或者此外，模块110可以包括实现模块112的功能以标识与打印文本104相关的主题的电子电路(即，硬件)。

在模块112处，主题生成模块110将主题标识为与捕获图像102内的打印文本104相关。在一个实现中，主题生成模块110使用统计模型来确定文档的区域(例如，子集)内的词语的频率和/或分布以标识主题。在模块112标识主题时，系统在模块116处标识(多个)资源以提供给用户。模块112的实现包括可由计算设备(例如，处理器和/或控制器)执行的指令、指令集、过程、操作、逻辑、技术、功能、固件和/或软件，以用于将主题标识为与打印文本104相关。

资源模块114基于在模块112处标识的主题和手写注释106来在模块116处标识资源。在该实现中，资源模块114可以通过像素化过程或者其他类型的过程从捕获图像102提取手写注释106，以确定手写注释106的位置以标识强调的内容和/或文本。在其他实现中，资源模块114可以获得多个资源，每个资源被认为与打印文本104中的不同主题相关。因此，资源模块114可以提供相关测量以标识多个资源当中用于递送给用户的资源118。资源模块114可以包括(以示例的方式)当(例如，由处理器和/或控制器)执行时实现模块116的功能的指令(例如，被存储在机器可读介质上)。可替代地或此外，模块114可以包括实现模块116的功能的电子电路(即，硬件)。

在模块116处，系统标识可能与捕获图像102中那样的手写注释106相关的资源。在该实现中，模块116可以包括提取手写注释106以用于标识针对该用户最适用于手写注释106的资源118。这提供了个性化的水平，原因在于手写注释106可以因用户而异。模块116的实现包括可由计算设备执行以标识资源的指令、指令集、过程、操作、逻辑、技术、功能、固件和/或软件。

标识的资源118充当用于捕获图像102的打印文本104的上下文内的手写注释106的学习工具。为了将所标识的资源118递送给用户，系统可以包括在其中提供所标识的资源118的显示模块。所标识的资源118是用作学习工具以关于手写注释106帮助用户的电子文档。因此，所标识的资源118的实现包括(以示例的方式)电子书、物品、网页、电子介质、超链接等。在另一实现中，所标识的资源118的呈现可以取决于先前的用户活动。例如，如果用户倾向于使用更多的视频而不是网页来学得概念，则所标识的资源118可以作为视频被递送。

图2A是用于通过匹配来自捕获图像102中的打印文本104的多个特征点220来检索文档222的数据图。计算设备可以接收捕获图像102作为输入，以用于标识文档222和文档的部分224的处理。捕获图像102包括打印文本104和手写注释106。多个特征点220表示从捕获图像102标识内容以用于匹配到文档222。文档222可以从数据库检索并充当将机器可读文本提供给计算设备以用于处理的方式。在通过特征点220的匹配来标识文档222之后，计算设备进行以标识文档222内的内容224的哪个部分或区域对应于打印文本104。文档222内的内容224的部分将准确的机器可读文本提供到计算设备以用于处理。

特征点220是标识被计算设备用于匹配到文档222的捕获图像102内的特征的那些特征点。因此，特征点220可以包括(以示例的方式)文本、词语、语句或其他标识类型的对象。例如，如图2A中所示，特征点220由用于从可能包括多个文档的数据库找到文档的词语(例如，神经、组织和退化)组成。此外，这些特征点220还用于揭示与捕获图像102对应的内容的部分224。标识与捕获图像102对应的内容的部分224为计算设备提供更准确的内容以处理来推荐资源。

图2B是基于针对多个资源的排名评估来递送所标识的资源118的示例系统的框图。记录器108捕获具有打印文本104和手写注释106的图像102。文档检索模块226接收捕获图像102，并在模块228处从文档数据库232检索文档。从在模块228处检索的文档，文档检索模块226在模块230处标识文档内的区域，以用于确定检索到的文档中的与打印文本104对应的电子内容的子集。主题生成模块110接收文档内的内容的所标识的区域224并在模块112处标识主题。资源模块114接收在模块112处标识的主题，并在模块116处标识多个资源。排名模块234通过在模块236处的针对多个资源中的每个的相关的分数来评估所标识的多个资源中的每个。相关的分数提供了考虑诸如手写注释106和其他用户活动之类的个性化因素针对多个资源中的每个的相关的测量。在该实现中，手写注释106可以由模块226、110、114和234中的一个或组合提取。手写注释106可以通过像素化处理来提取，以标识内容的所标识的区域224内的注释的位置。这使得系统能够标识哪些内容或文本可以由手写注释106强调。因此，除了其他用户活动之外，还可以使用该信息来对多个资源中的每个评分。用户活动的实现在随后的图中讨论。

图3是可由计算设备执行以基于手写注释和主题来标识资源的方法的流程图。主题由打印文本的捕获图像内的内容所标识。计算设备捕获打印文本和手写注释的图像。在捕获打印文本和手写注释的图像后，计算设备确定与捕获图像内的打印文本的内容相关的主题。基于所确定的主题，计算设备标识与所确定的主题和手写注释相关的资源。在讨论图3时，可以参考图1-2B中的组件以提供上下文示例。在图3的一个实现中，如图1中的模块110和114在计算设备上操作以执行操作302-306。在该实现中，操作302-306可以在接收到所捕获的图像后在计算设备上作为后台过程操作。此外，虽然图3被描述为由计算设备实现，但是它可以在其他合适的组件上执行。例如，图3可以由控制器(未图示)实现，或以如图6中的机器可读存储介质604上的可执行指令的形式来实现。

在操作302处，计算设备捕获包括手写注释的打印文本的图像。用户可以选择捕获具有手写注释的打印文本的一部分，以关于手写注释更多地了解打印文本的基本概念或主题。因此，用户可以引导记录设备至书写文本的部分处以更多地了解内容。

在操作304处，计算设备确定与捕获图像中的打印文本相关的主题。在操作304处，计算设备获得捕获图像，并从捕获图像标识包括打印文本的区域的文档。这使得计算设备能够获得捕获图像中的内容的电子版本。使用文档中的打印文本的区域，计算设备获得捕获图像中的打印文本的电子内容。使用该电子内容，计算设备可以确定哪些文本(例如，词语)多多少少频繁地出现，以标识与打印文本相关的主题。标识与打印文本相关的主题提供打印文本的上下文，以如在操作306处标识资源以帮助用户学习过程。

在操作306处，计算设备基于在操作304处所确定的主题和手写注释来标识资源。在操作306处，计算设备可以从捕获图像提取手写注释，以确定哪些内容(例如，词语)被用户强调。提取手写注释可以包括使用像素化类型过程来标识正强调捕获图像中的什么区域。因此，计算设备可以使用在操作304处获得的电子内容来标识正被强调的特定文本。在标识资源之后，计算设备可以将该资源作为学习过程中的工具递送给用户，以在捕获图像的打印文本的上下文中理解手写注释。在另一实现中，用户活动还可以向计算设备提供向用户标识资源的指导。该实现在随后的图中详细描述。

图4是可由计算设备执行以捕获包括手写注释的打印文本的图像并且基于该手写注释和打印文本内的内容来标识资源的方法的流程图。图4图示了计算设备如何将主题确定为与捕获图像中的打印文本相关并且基于手写注释和确定的主题来标识资源。在讨论图4时，可以参考图1-2B中的组件以提供上下文示例。在图4的一个实现中，如图1中的模块110和114在计算设备上操作以执行操作402-420。在该实现中，操作402-420可以在接收到捕获图像后在计算设备上作为后台过程操作。此外，虽然图4被描述为由计算设备实现，但是它可以在其他合适的组件上执行。例如，图4可以由控制器(未图示)实现，或以如图6中的机器可读存储介质604上的可执行指令的形式来实现。

在操作402处，计算设备捕获包括手写注释的打印文本的图像。打印文本被认为是可以在打印介质中发布的介质。因此，打印文本的实现包括(以示例的方式)教科书、案卷、打印书籍、打印物品等。介质使得用户能够以手写注释的方式来标记打印文本，因而强调内容的某些区域。操作402在功能方面可以类似于如图3中的操作302。

在操作404处，计算设备确定与捕获图像中的打印文本相关的主题。在一个实现中，计算设备从数据库标识文档，并且从该文档标识与捕获图像对应的文本的区域或部分，如在操作406-408处那样。操作404在功能方面可以类似于如图3中的操作304。

在操作406处，计算设备检索与打印文本的捕获图像相关联的文档。该文档被认为是在图像中捕获的打印文本的电子版本，因而相应地产生用于标识基本主题和对应资源的机器可读文本。因此，该文档被认为是在长度方面比捕获图像中的打印文本更长的内容量。这使得用户能够捕获更少量的内容以更好地理解捕获图像的上下文等。计算设备可以从多个文档的数据库检索文档。从数据库检索文档为计算设备提供与捕获图像中的打印文本对应的电子内容。计算设备可以使用捕获图像的打印文本内的(多个)特征点，该特征点充当用于使计算设备标识与捕获图像中的打印文本最类似的文档的(多个)标识特征。(多个)特征点可以包括(以示例的方式)词语、语句、段落或其他标识类型的对象。例如，(多个)特征点可以包括打印文本中的特定词语，因而使用这些特定词语，计算设备可以定位对应的文档。使用这些特征点，捕获图像中的打印文本可以针对几何失真进行校正，以与文档对齐，这提供用于使计算设备推荐资源的更准确内容。

在操作408处，计算设备标识文档内的与打印文本的捕获图像对应的内容的部分或区域。文档的部分包括文档内的与打印文本最类似的内容的部分。因此，计算设备不是处理完整的文档，而是处理较少量的内容(例如，文档内的区域)。这使得计算设备能够查看用户可能已经捕获文档的哪个部分。此外，使用文档内的内容的区域，计算设备可以使用标识哪个内容或文本由手写注释强调。在该实现中，计算设备可以通过像素化来处理捕获图像，以标识用户可能已经标记了什么。这使得计算设备能够缩窄内容以用于标识用户可能寻求澄清的(多个)特定词语、(多个)语句。

在操作410处，计算设备标识可以在从检索到的文档所标识的内容的部分或区域中所覆盖的那些主题。(多个)主题被认为是针对该文档内的区域的基本概念。例如，所检索的文档可以包括诸如神经退行性疾病之类的多个概念，但文档内的内容的区域可以包括这些疾病的子集，诸如阿尔茨海默氏症。因此，使用内容的区域，计算设备可以标识基本概念的那些子集。在一个实现中，计算设备从文档内的区域标识关键字以在内容的区域内提取基本主题。在另一实现中，计算设备使用诸如主题模型之类的统计模型来确定词语的频率和/或分布以标识基本上下文。标识与文档内的内容的区域相关的那些主题，计算设备可以标识资源。在另一实现中，计算设备可以从内容的区域提取多个主题。在该实现中，在提取多个主题后，计算设备可以进行标识多个资源，如在操作414处那样。

在操作412处，计算设备基于手写注释和与打印文本的内容相关的所确定的主题来标识资源。在一个实现中，计算设备执行操作414-418以标识用于递送的资源。操作412在功能方面可以类似于如图3中的操作306。

在操作414处，计算设备标识多个资源，每个资源被认为与每个主题相关。多个资源中的每个是电子介质，所述电子介质可以被递送给用户，以帮助关于捕获图像的上下文或基本主题理解手写注释。可以从数据库或通过引擎检索多个资源以获得与每个主题相关的资源。因此，获得多个资源，计算设备可以评估每个资源以标识哪个资源与捕获图像中的打印文本的上下文和手写注释最相关，如在操作418处那样。

在操作416处，计算设备从捕获图像提取手写注释。在该实现中，计算设备可以使用像素化处理来标识可以根据手写注释强调来自捕获图像的哪个内容或文本。使用该手写注释，计算设备可以标识哪些资源可能与打印文本的基本主题更相关。

在操作418处，计算设备对在操作414处标识的多个资源中的每个进行排名。操作418处的排名提供了一种机制，采用该机制为多个资源中的每个提供了与文档的区域、手写注释和主题的相关值。例如，相关可以通过语义特征生成器捕获该区域中的内容和每个资源之间的显式相似性。在另一示例中，学生A和B可以从教科书捕获相同的段落，但可能具有可能指示对段落中的不同主题的强调的不同手写注释。因此，可以相对于手写注释在多个资源中的每个上放置各种权重。例如，取决于手写注释强调哪个内容，资源可以根据该手写注释而排名得更高或更低。此外，相关值也可以考虑其他用户活动。例如，如果一个学生观看更多的视频而不是网页，则视频的资源可能被排名得更高。

在操作420处，计算设备将所标识的资源递送给用户。所标识的资源充当用于捕获图像的打印文本的上下文内的手写注释的学习工具。为了将所标识的资源递送给用户，计算设备可以包括其中提供所标识的资源的显示模块。

图5是可由计算设备执行的用于捕获包括手写注释的打印文本的图像的方法的流程图。计算设备可以进行递送根据打印文本和手写注释所推荐的资源。计算设备捕获包括强调打印文本内的至少一部分内容的手写注释的打印文本的图像。计算设备通过检索与打印文本相关联的文档来确定与捕获图像中的打印文本相关的主题。在检索到文档后，计算设备标识文档内的与捕获图像中的打印文本对应的文本的部分或区域。标识文档内的与打印文本对应的内容的区域的部分，计算设备标识内容的区域内的至少一个基本主题。在从文档的区域标识主题后，计算设备标识与该主题相关的多个资源。多个资源中的每个根据哪个主题可能与该主题和/或手写注释更密切相关而被排名。使用多个资源的排名，计算设备在多个资源当中标识要作为学习工具而递送的资源。该资源在如下意义上被认为是学习工具：资源在打印文本的上下文中提供手写注释之上的附加信息。在讨论图5时，可以参考图1-2B中的组件以提供上下文示例。在图5的一个实现中，如图1中的模块110和114在计算设备上操作以执行操作502-514。在该实现中，操作502-514可以在接收到捕获图像后在计算设备上作为后台过程操作。此外，虽然图5被描述为由计算设备实现，但是它可以在其他合适的组件上执行。例如，图5可以由控制器(未图示)实现，或以如图6中的机器可读存储介质604上的可执行指令的形式来实现。

在操作502处，计算设备捕获包括手写注释的打印文本的图像。在另一实现中，用户可以决定更多地学得打印文档中的特定区域的上下文。在该实现中，用户可以使用计算设备来捕获用户可能期望附加信息的打印文本的区域。操作502在功能方面可以类似于如图3-4中的操作302和402。

在操作504处，在获得手写注释和打印文本的捕获图像后，计算设备确定与捕获图像中的打印文本相关的主题。计算设备可以使用诸如词语或其他标识特征之类的特征点来从由多个文档组成的数据库定位匹配。每个文档被认为是比捕获图像中的打印文本更长的内容量。这使得用户能够捕获更少量的内容而不是整个文档。此外，使用(多个)特征点，捕获图像可能对于几何失真并且与所标识的文档对齐是正确的。在标识文档后，该文档的部分或区域对应于捕获图像。使用文档的区域的该部分，可以在像素级处确定手写注释以标识哪个文本或内容被强调。例如，在词语或语句下划线可以指示用户期望关于该文本的附加信息。此外，使用与捕获图像对应的文档的部分的区域使得计算设备能够处理更少量的内容来确定主题。计算设备通过确定文档中的文本区域内的特定词语的频率和/或分布来确定主题。在该实现中，计算设备利用主题模型或统计模型来提取描述基本主题或概念的文本或词语的集合。操作504在功能方面可以类似于如图3-4中的操作304和404。

在操作506处，计算设备基于结合操作504描述的主题模型从打印文本提取多个主题。在操作506处，计算设备标识从数据库检索到的文档的哪个区域或部分对应于捕获图像。因此，计算设备从文档的区域或部分获得机器可读文本，以标识哪些词语或文本多多少少经常出现。使用词语或文本的频率和分布，计算设备可以从与打印文本的捕获图像对应的内容提取多个主题。

在操作508处，计算设备标识多个资源，每个资源与所提取的多个主题中的每个相关。使用统计模型，计算设备可以将文本或词语的集合分组在一起以确定整体主题。使用该主题，计算设备检索多个资源。多个资源中的每个在操作510处被排名以标识哪些资源可以最好地帮助用户理解捕获图像中的材料。

在操作510处，计算设备将多个资源中的每个排名为确定多个资源中的哪些与所提取的多个主题和手写注释更相关的方式。在操作510处，可以将相关分数分配给多个资源中的每个。相关分数可以基于文档的区域或部分与多个资源中的每个之间的显式相似性。在该实现中，通过语义特征将多个资源中的每个与内容的部分进行比较。此外，相关分数还可以包括每个资源与手写注释可以多相关。因此，可以通过像素化处理来提取手写注释，以便标识哪个文本或内容可以在文档的区域或部分中被强调。因此，如果资源之一覆盖可以由书写注释突显的特定文本，则该资源的排名或分数可能比其他资源更相关。在该实现中，手写注释被认为对用户是个人的，因为每个用户可能让不同的手写注释这样强调用于学习的不同领域。例如，如果学生A和B从他们的教科书捕获类似的段落，则他们可能均让不同的下划线这样表明对段落中的不同部分和/或主题的强调。在另外的实现中，资源也可以考虑先前的用户活动。例如，如果用户观看更多视频而不是阅读网页，则这可以表明用户喜欢多媒体而不喜欢纯文本。因而，强调多媒体的资源可能比纯文本排名得更高。排名多个资源中的每个，计算设备可以基于捕获图像中的打印文本的内容和手写注释来标识多个资源中的哪个可能对用户最有帮助。

在操作512处，计算设备标识多个资源当中的资源，以在操作514处递送。操作512在功能方面可以类似于如图3-4中的操作306和412。

在操作514处，计算设备递送所标识的资源。所标识的资源是学习工具，所述学习工具被提供给用户作为用于相对于捕获图像中的打印文本理解手写注释的机制。因此，所标识的资源可以包括(以示例的方式)物品、文档、超链接或其他类型的电子介质，以帮助用户学习捕获图像中的手写注释的上下文。操作514在功能方面可以类似于如图4中的操作420。

图6是具有用于执行机器可读存储介质604内的指令606-622的处理器602的计算设备600的框图。具体地，具有处理器602的计算设备600捕获打印文本和手写注释的图像。在确定与打印文本内的内容相关的主题后，处理器602可以进行基于手写注释和主题来标识资源。在标识资源后，资源被提供为用于澄清捕获图像中的手写注释的学习工具。虽然计算设备600包括处理器602和机器可读存储介质604，但是它还可以包括对于本领域技术人员会合适的其他组件。例如，计算设备600可以包括如图1中的记录器108和/或模块110和114。计算设备600是具有能够执行指令606-622的处理器602的电子设备，并且因此，计算设备600的实施例包括计算设备、移动设备、客户端设备、个人计算机、台式计算机、膝上型电脑、平板电脑、视频游戏控制台或能够执行指令606-622的其他类型的电子设备。指令606-622可以被实现为方法、功能、操作和实现为存储在存储介质604上的机器可读指令的其他过程，所述存储介质604可以是非暂时性的，诸如硬件存储设备(例如，随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程ROM、电可擦除ROM、硬盘驱动器和闪存。

处理器602可以获取、解码和执行指令606-622，以标识针对捕获图像中的手写注释个性化的资源。在一个实现中，在执行指令606后，处理器602可以通过执行指令610-614和/或指令614来执行指令608。在另一实现中，在执行指令606-614后，处理器602可以通过执行指令618-620来执行指令616。在另外的实现中，在执行指令606-620后，处理器602可以进行执行指令622。具体地，处理器602执行指令606-614以：捕获打印文本的图像，该图像包括强调打印文本中的内容的手写注释；确定捕获图像的打印文本内的内容的主题；利用特征点来标识打印文本的内容内的某一方面以将特征点与数据库中的特定文档进行匹配；使用所述特定文档来标识与捕获图像对应的文档的部分；以及在标识文档的该部分后，标识在该区域中描述哪些多个主题。处理器602可以执行指令616-620以：使用多个主题来标识多个资源，每个资源对应于多个主题中的每个；以及通过捕获打印文本中的内容和所述资源中的每个之间的显式相似性来确定相关分数，通过基于相似性将相关分数分配给所述多个资源中的每个。此外，指令620包括通过像素化提取手写注释以确定手写注释的位置并与文档内的区域进行比较。处理器602可以进行执行指令622以：基于相关分数来标识资源，并将该标识的资源推荐给用户作为学习工具。

机器可读存储介质604包括用于处理器602获取、解码和执行的指令606-622。在另一实施例中，机器可读存储介质604可以是包含或存储可执行指令的电子、磁性、光学、存储器、存储、闪速驱动器或其他物理设备。因而，机器可读存储介质604可以包括例如随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、存储驱动器、存储器高速缓存、网络存储、压缩盘只读存储器(CDROM)等。因此，机器可读存储介质604可以包括应用和/或固件，所述应用和/或固件可以被独立地利用和/或与用于获取、解码和/或执行机器可读存储介质604的指令的处理器602结合地被利用。所述应用和/或固件可以存储在机器可读存储介质604上和/或存储在计算设备600的另一位置上。

因此，本文公开的示例通过基于手写注释向用户推荐资源来促进学习过程。采用这种方式，这些示例通过选择适用于手写注释的资源来个性化学习过程。

Claims

1.一种包括指令的非暂时性机器可读存储介质，所述指令当由处理器执行时使得计算设备：

经由相机捕获打印文本和不同用户的手写注释的图像，其中不同用户对打印文本的不同部分注释；

针对不同用户中的每个用户将主题确定为与图像中的打印文本相关，其中确定主题包括处理器使计算设备：

利用捕获图像中的特征点来标识与打印文本的图像相关联的文档的电子版本；

标识与文档的电子版本中的打印文本的图像对应的文档的部分；

基于文档的电子版本中的文本分析根据主题模型来提取与文档的所述部分相关的多个主题；和

确定与多个主题相关的多个资源，其中基于手写注释的资源从所述多个资源标识；

针对不同用户中的每个用户基于与打印文本相关的主题、不同用户的手写注释和基于与用户是否观看视频而不是阅读网页有关的先前的用户活动的资源形式来标识资源；和

以被标识为学习工具的形式将资源提供给不同用户中的每个用户，该学习工具用于打印文本的图像中的相应用户的手写注释。

2.根据权利要求1所述的非暂时性机器可读存储介质，其中，所述手写注释是对图像中的打印文本的强调。

3.根据权利要求1所述的非暂时性机器可读存储介质，其中，基于与打印文本相关的主题和手写注释来标识资源包括指令，所述指令当由处理器执行时使得所述计算设备：

基于主题而标识多个资源；

基于手写注释和先前的用户活动来确定所述多个资源中的每个的相关分数；和

基于所述相关分数来标识所述多个资源当中的所述资源。

4.根据权利要求1所述的非暂时性机器可读存储介质，其中，捕获打印文本和手写注释的图像包括指令，所述指令当由处理器执行时使得所述计算设备：

检索与打印文本的图像相关联的文档；

标识与打印文本的图像对应的文档内的区域；和

在确定与打印文本相关的主题的指令之前预先处理所标识的区域。

5.一种用于基于打印文本的主题和手写注释来递送资源的方法，包括：

针对不同用户中的每个用户确定与图像中的打印文本相关的主题，其中确定主题包括：

确定与多个主题相关的多个资源，其中基于手写注释的资源从多个资源标识；

6.根据权利要求5所述的方法，其中，基于与打印文本相关的主题和手写注释来标识资源包括：

标识与打印文本的主题相关的多个资源；

从打印文本的图像提取手写注释；和

将所述多个资源中的每个排名为与所述手写注释相关以标识所述资源。

7.根据权利要求5所述的方法，包括：

将多个资源中的每个排名为与所述主题相关以标识所述资源；和

将资源作为用于打印文本的图像中的手写注释的学习工具进行递送。

8.根据权利要求5所述的方法，其中所述手写注释是对打印文本的强调。

9.根据权利要求5所述的方法，其中确定与图像中的打印文本相关的主题包括：

基于主题模型从打印文本提取多个主题；和

标识多个资源，每个资源与来自打印文本的所述多个主题中的每个相关，基于手写注释的资源从所述多个资源标识。

10.一种基于打印文本的主题和手写注释来递送资源的系统，所述系统包括：

记录器，用于捕获包括不同用户的手写注释的打印文本的图像，其中不同用户对打印文本的不同部分注释；

处理器；和

非暂时性机器可读存储介质，存储由处理器执行的指令以：

针对不同用户中的每个用户标识与图像的打印文本相关的主题，其中标识主题包括处理器以：

针对不同用户中的每个用户基于不同用户的手写注释、所标识的主题和基于与用户是否观看视频而不是阅读网页有关的先前的用户活动的资源形式来标识资源；和

11.根据权利要求10所述的系统，其中所述处理器将所述资源提供为用于打印文本的捕获图像中的手写注释的学习工具。

12.根据权利要求10所述的系统，其中所述处理器基于所述主题来标识多个资源，所述处理器还用于：

基于手写注释、多个资源中的每个与所述主题的相关程度、以及先前的用户活动来对多个资源中的每个评分。