CN113239234A - 提供视频书籍的方法及建立视频书籍的方法 - Google Patents

Abstract

本公开涉及提供视频书籍的方法。该方法包括：接收第一图片，所述第一图片包括书籍的一个页面的至少部分；在已建立的页面图片数据库中搜索所述第一图片的相似图片；以及响应于找到所述相似图片，提供所述相似图片所对应的视频书籍。本公开还涉及建立视频书籍的方法。

Description

提供视频书籍的方法及建立视频书籍的方法

技术领域

本公开涉及提供视频书籍的方法及建立视频书籍的方法。

背景技术

近年来，人工智能已经应用于日常的教学和学习中。例如，用户可能通过智能终端等电子设备寻求对题目的辅助等。

因此，存在对新技术的需求。

发明内容

本公开的一个目的是提供一种提供视频书籍的方法及一种建立视频书籍的方法。

根据本公开的第一方面，提供了一种提供视频书籍的方法，包括：接收第一图片，所述第一图片包括书籍的一个页面的至少部分；在已建立的页面图片数据库中搜索所述第一图片的相似图片；以及响应于找到所述相似图片，提供所述相似图片所对应的视频书籍。

根据本公开的第二方面，提供了一种建立视频书籍的方法，所述视频书籍包括：所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片；以及与所述一个或多个页面中的至少一个页面中的至少一个题目相关联的关联视频，其中，所述方法包括：收集所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片，其中所述一个或多个页面中的至少一个页面中包括至少一个题目；针对所述一个或多个页面图片中的所有题目中的每个题目，在题库中搜索与所述题目一致的一致题目；以及响应于找到所述一致题目并且所述一致题目有对应的讲解视频，将所述讲解视频确定为与所述题目相关联的关联视频。

根据本公开的第三方面，提供了一种处理系统，包括：一个或多个处理器；以及一个或多个存储器，所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如上所述的方法。

根据本公开的第四方面，提供了一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如上所述的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1A是根据本公开实施例的建立视频书籍的方法的流程图。

图1B是根据本公开实施例的所建立的视频书籍数据库的示意图。

图2是根据本公开实施例的提供视频书籍的方法的流程图。

图3A至3H是根据本公开实施例的提供视频书籍的画面的示意图。

图4是根据本公开实施例的处理系统的至少一部分的结构图。

图5是根据本公开实施例的处理系统的至少一部分的结构图。

注意，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在本说明书中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

具体实施方式

以下将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。在下面描述中，为了更好地解释本公开，阐述了许多细节，然而可以理解的是，在没有这些细节的情况下也可以实践本公开。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

本公开提供了向用户提供视频书籍的方法，当接收到来自用户的某一书籍的某一页面的页面图片时，将预先建立的该书籍对应的视频书籍提供给该用户。本公开还提供了建立视频书籍的方法。建立视频书籍的方法可以在提供视频书籍的方法之前实施，例如，将要提供给用户的视频书籍在从用户处接收页面图片之前已经被建立；也可以在提供视频书籍的方法期间实施，例如，将要提供给用户的视频书籍在从用户处接收页面图片之前尚未被建立，可以根据来自用户的页面图片建立视频书籍并随后将该视频书籍提供给用户。

本文所称“书籍”，指的是一个或多个页面的集合，并且其中至少一个页面上包括至少一个题目，例如包括但不限于教科书、练习册、辅导书、试卷等。应当理解，本公开的书籍可以是纸质书籍或电子书籍。本文所称“题目”，指可以作答的问题。虽然本公开的附图中以数学题为例进行说明，但应当理解，本公开的题目不限于数学题，而是可以包括各个学科的题目、以及用于休闲娱乐的题目(例如谜语、填字游戏等)。还应当理解，本公开不限定题目的形式，例如包括但不限于填空题、判断题、选择题、阅读题、应用题等。本文所称“题目内容”，指识别出的题目中的文字和/或图片的内容。本文所称“视频书籍”包括一个或多个页面图片、以及其中至少一个页面图片中的至少一个题目相关联的关联视频。视频书籍中的每个页面图片对应于该视频书籍所对应的书籍所包括的一个页面。根据本公开各方面的方法可以由运行在一个或多个电子设备上的计算机程序来实施。

图1A是根据本公开实施例的建立视频书籍的方法100的流程图。方法100包括收集视频书籍所对应的书籍所包括的一个或多个页面的页面图片(操作110)；针对所收集的一个或多个页面图片中的所有题目中的每个题目，在题库中搜索与题目一致的一致题目(操作120)；响应于找到一致题目并且一致题目有对应的讲解视频，将该讲解视频确定为与对应的题目相关联的关联视频(操作130)；响应于未找到一致题目或找到的一致题目没有对应的讲解视频，确定该题目的知识点，并将与知识点相关的视频确定为与题目相关联的关联视频(操作140)；以及响应于没有与知识点相关的视频，在题库中搜索题目的相似题目，并将相似题目对应的讲解视频确定为与题目相关联的关联视频(操作150)。

在操作110中，收集书籍的一个或多个页面的页面图片，可以是经由与用户的接口(例如安装在用户设备上的应用程序)来收集，例如，用户可以拍摄书籍的各个页面的页面图片并上传至用户设备上的应用程序，应用程序可以将这些页面图片发送给实施方法100的计算机程序(例如运行在服务器上的计算机程序)；也可以是收集自实施方法100的计算机程序的开发/维护人员，例如，开发/维护人员可以拍摄书籍的各个页面的页面图片并传输给实施方法100的计算机程序。

方法100识别各个页面图片中的题目内容。例如，方法100利用题目区域识别模型(例如可以是已训练的基于神经网络的模型)识别各个页面图片中的题目所在的图片区域，然后通过题目内容识别模型(例如可以是已训练的基于神经网络的文字识别模型和/或图片识别模型)识别图片区域中的题目的内容，最终获得书籍的一个或多个页面的页面图片中所包括的全部题目的题目内容(例如可以是电子版本的文字和/或图片内容)。

在操作120中，针对所收集的一个或多个页面图片中的所有题目中的每个题目，在题库中搜索与该题目一致的一致题目。可以基于题目向量化模型(例如可以是已训练的基于神经网络的模型)得到待搜索的题目的特征向量(例如将上述识别出的题目内容输入到该向量化模型)，在题库中查找与该待搜索题目的特征向量相匹配(例如，相同)的特征向量，并将该特征向量所对应的题目确定为与待搜索题目一致的一致题目。

题目向量化模型可以包括文字向量化模型和图片向量化模型。文字向量化模型可以通过以下方式得到：对题目样本第一训练集中每个题目样本进行标注处理，标注出每个题目样本中的文字内容；利用神经网络模型对每个题目样本中的文字内容进行二维特征向量提取，从而训练得到文字向量化模型。图片向量化模型可以通过以下方式得到：对题目样本第二训练集中每个题目样本进行标注处理，标注出每个题目样本中的图片；利用神经网络模型对每个题目样本中的图片进行二维特征向量提取，从而训练得到所述图片向量化模型。对于不包含图片的待搜索题目，通过文字向量化模型得到的该待搜索题目的特征向量即为该待搜索题目的特征向量。对于包含图片的待搜索题目，将通过图片向量化模型得到的该待搜索题目的图片的特征向量与通过文字向量化模型得到的该待搜索题目的文字的特征向量进行拼接，以得到该待搜索题目的特征向量。

在操作130中，响应于找到一致题目并且一致题目有对应的讲解视频，将该讲解视频确定为与对应的题目相关联的关联视频。在操作140中，响应于未找到一致题目或找到的一致题目没有对应的讲解视频，确定该题目的知识点，并将与知识点相关的视频确定为与题目相关联的关联视频。可以根据题目的题目内容基于已训练的知识点分类模型来确定该题目的知识点。此外，由于解题步骤，即题目的解题方法，也可以体现出题目的知识点。因此，还可以根据题目的解题过程基于已训练的知识点分类模型来确定该题目的知识点。解题过程可以是由解题模型根据题目内容生成，也可以是从页面图片中该题目的作答部分识别出的。

知识点分类模型可以包括基于神经网络的文本分类模型及自然语言理解模型。文本分类模型是根据题目内容来将其分类的，在训练时根据题目内容的不同分类关联不同的知识点进行标注，从而训练出的模型可以根据识别的题目内容来进行知识点分类。为了更好地确定知识点，可以在文本分类模型中加入自然语言理解模型，从而可以更好地区分同一类知识点的不同的文字表述方式。例如鸡兔同笼问题不一定都包含“鸡兔”这样的文字，利用自然语言理解模型可以将这些问题归入同一类知识点中。

可以预先建立多个不同的知识点分类，并为每个知识点分类对应相应的讲解视频。应当理解，一个知识点可以对应于一个或多个讲解视频，也可以有多个知识点对应于同一个讲解视频。如此，可以根据知识点分类模型确定的知识点，得到与知识点相关的视频，进而得到与题目相关联的关联视频。

在操作150中，响应于没有与知识点相关的视频，在题库中搜索题目的相似题目，并将相似题目对应的讲解视频确定为与题目相关联的关联视频。根据题目的特征向量(其建立方法如前文所述)在题库进行最短编辑距离匹配，将与题目的特征向量的最短编辑距离小于阈值的特征向量所对应的题目确定为题目的相似题目。此外，还可以根据解题过程来搜索相似题目。例如，根据题目的解题过程，基于解题特征识别模型(例如可以是已训练的神经网络模型)得到解题过程的一个或多个特征，解题过程的特征包括解题过程的形式特征、向量特征和/或自然语言特征。然后在题库中搜索，将与解题过程的一个或多个特征中的至少一个特征相似的题目确定为该题目的相似题目。其中，解题特征识别模型包括计算模型、向量模型和/或自然语言处理模型。

此外，还可以根据年级和知识点对通过上述方法识别出的相似题目进行筛选。可以在通过上述方法识别出的相似题目中，去除年级与用户的年级不同的题目、以及知识点与待搜索的题目的知识点不同的题目，剩下的作为操作150中所说的相似题目。如果此时还有多个相似题目的话，可以选择其中特征向量与待搜索题目最接近的一个或多个作为操作150中所说的相似题目，也可以从中随机挑选一个或多个作为操作150中所说的相似题目，并将这一个或多个相似题目的讲解视频作为该待搜索题目的关联视频。当针对一个题目，用户被提供了多个关联视频时，用户可以对不满意的关联视频进行删除。用户的年级可以通过用户事先设定，也可以通过识别来自用户的页面图片来确定。同时，题库中的每一道题目也都有相应的年级标签。待搜索题目和题库中的题目的知识点可以根据上文所述的方法来确定。

图1B是根据本公开实施例的所建立的视频书籍数据库的示意图。在一个实施例中，在完成上述方法100之后，可以建立视频书籍数据库。图1B所示为视频书籍数据库的一部分。视频书籍数据库中可以包括一个或多个视频书籍，每个视频书籍对应于一本书籍。每本书籍可以包括多个页面，在视频书籍数据库中的该视频书籍可以包括多个页面图片，其中每个页面图片对应于书籍的一个页面。如上文所述，这些页面图片可以来自用户也可以来自开发/维护人员。需要说明的是，书籍的每个页面可以对应有一个页面图片，也可以对应有多个页面图片。视频书籍数据库中全部视频书籍的全部页面图片可以形成为视频书籍数据库的一个子数据库，本文称为页面图片数据库。页面图片数据库包括多个页面图片，每个页面图片对应于一个视频书籍的一个页面。

书籍的每个页面上可以包括一个或多个题目，也可以不包括题目。对于每个页面上的每个题目，如前所述地识别了题目内容。这些题目内容可以形成为视频书籍数据库的一个子数据库，本文称为题目内容数据库。题目内容数据库包括多个题目内容，每个题目内容对应于页面图片数据库中的一个页面图片中的一个题目，从而也对应于一个视频书籍的一个页面中的一个题目。应当理解，不同的页面中可能有相同的题目，因此，同一个题目内容可能对应于来自同一个视频书籍的多个页面中的题目，或者是来自不同视频书籍的多个页面中的题目，甚至是同一个页面中的不同题目。

根据如前所述的方法，为具有关联视频的每个题目确定了关联视频。这些关联视频可以形成为视频书籍数据库的一个子数据库，本文称为关联视频数据库。关联视频数据库包括多个关联视频，每个关联视频对应于页面图片数据库中的一个页面图片中的一个题目，也对应于题目内容数据库中的一个题目内容，从而也对应于一个视频书籍的一个页面中的一个题目。应当理解，不同的页面中可能有相同的题目，或者不同的题目可能具有相同的关联视频。因此，同一个关联视频可能对应于来自同一个视频书籍的多个页面中的题目，或者是来自不同视频书籍的多个页面中的题目，甚至是同一个页面中的不同题目。同时，同一个题目也可能具有多个关联视频，因此，不同的关联视频可能对应于同一个页面中的同一个题目。

图2是根据本公开实施例的提供视频书籍的方法200的流程图。方法200可以由安装在用户设备上的应用程序来执行。方法200包括从用户接收页面图片(操作210)；搜索所接收的页面图片的相似图片(操作220)；响应于找到相似图片，提供相似图片所对应的视频书籍(操作230)；响应于未找到相似图片，搜索所接收的页面图片中每个题目的最接近题目(操作240)；以及提供具有最多最接近题目的视频书籍(操作250)。

在操作210，从用户接收的页面图片，在本文也被称为第一图片、所接收的页面图片。所接收的页面图片包括书籍的一个页面的至少部分。所接收的页面图片可以是用户拍摄的其纸质书籍的页面的照片或视频，也可以是用户对其电子版书籍的屏幕截图。应当理解，所接收的页面图片可以是一张图片也可以是多张图片。即使是呈现同一本书籍的同一个页面的图片，由于拍摄角度、光线、设备等原因，所接收的页面图片与视频书籍数据库中存储的页面图片通常是不同的。

在操作220，在已建立的页面图片数据库中搜索第一图片的相似图片。如上所述，页面图片数据库为视频书籍数据库的一个子数据库，其包括多个页面图片，每个页面图片对应于一个视频书籍的一个页面。相似图片指，页面图片数据库中的与所接收的页面图片之间的相似度的置信度度量大于阈值(例如0.6)的页面图片。在操作230，响应于找到相似图片，向用户提供相似图片所对应的视频书籍。提供视频书籍的具体方法在下文参照图3A至3H描述。

在操作240，响应于未找到相似图片，根据所接收的页面图片中的一个或多个题目的特征向量在已建立的题目内容数据库中搜索一个或多个题目中的每个题目的最接近题目。如上文所述地，可以基于题目区域识别模型和题目内容识别模型识别出所接收的页面图片中的一个或多个题目中的每个题目的题目内容，然后基于每个题目的题目内容和题目向量化模型得到每个题目的特征向量。将每个题目作为待搜索题目，在题目内容数据库中搜索其最接近题目。如上所述，题目内容数据库为视频书籍数据库的一个子数据库，其包括多个题目内容，每个题目内容对应于页面图片数据库中的一个页面图片中的一个题目。最接近题目是指，题目内容数据库中特征向量与待搜索题目的特征向量相同的题目、或者与待搜索题目的特征向量的最短编辑距离小于第一阈值的各特征向量中与待搜索题目的特征向量距离最近的特征向量所对应的题目。

在操作250，在所接收的页面图片中的一个或多个题目各自的最接近题目所对应的所有视频书籍中，对这些视频书籍按照其所包含的与所接收的页面图片中的题目的最接近题目的个数进行排序，将具有最多最接近题目的视频书籍提供给用户。具有最多最接近题目的视频书籍，即和从用户处接收的页面图片中的题目具有最多最接近题目的视频书籍。

在一些情况下，可能在操作220中未找到所接收的页面图片的相似图片并且在操作240中也未找到所接收的页面图片中包括的题目的最接近题目，则按照方法200未找到可提供的视频书籍。在一个实施例中，在未找到可提供的视频书籍的情况下，可以针对所接收的页面图片中的错题给出关联视频。响应于未找到可提供的视频书籍，可以识别所接收的页面图片中的一个或多个题目的作答答案；响应于一个或多个题目中有至少一个题目(本文也称为“第一题目”)的作答答案不正确，则在已建立的关联视频数据库中搜索该题目的关联视频；以及响应于找到关联视频，与该题目相关联地显示该关联视频的可播放标记。在一个实施例中，在未找到可提供的视频书籍的情况下，即对于所接收的页面图片没有已建立的视频书籍，则可以针对所接收的一个或多个页面图片建立视频书籍。响应于未找到可提供的视频书籍，针对所接收的页面图片中的一个或多个题目中的每个题目，在已建立的关联视频数据库中搜索该题目的关联视频；以及响应于找到关联视频，与该题目相关联地显示关联视频的可播放标记。与该题目相关联地显示该关联视频的可播放标记的具体方式在下文参照图3A至3H描述。

上述实施例中的在关联视频数据库中搜索该题目的关联视频可以包括类似于前文所述的操作120至150的过程，先基于该题目的特征向量在题目内容数据库中寻找该题目的一致题目，若找到一致题目，则将该一致题目的讲解视频确定为该题目的关联视频；若未找到一致题目，则将与该题目的知识点相关的视频确定为该题目的关联视频；若没有与该题目的知识点相关的视频，则将该题目的相似题目的讲解视频确定为该题目的关联视频。

图3A至3H为根据本公开实施例的提供视频书籍的画面310至380的示意图。在向用户提供视频书籍时，可以根据用户的显示设备的特性对需要显示的各个画面进行相应的排版，并对视频书籍所包含的每个页面进行分页显示。画面310至380为各个分页显示的画面的示例的示意图。画面310为视频书籍的封面图片的显示画面的示例。画面320至380为视频书籍的内页的页面图片的显示画面的示例。显示某一页面图片的画面可以包括该页面图片在该视频书籍中的页码进度。显示某一页面图片时，如果该页面中有题目具有关联视频，则与该题目相关联地显示该关联视频的可播放标记。例如可以如画面320所示，在页面图片中该题目的区域的上层，以灰度透明遮盖以及播放按钮等特殊标记来与该题目相关联地显示该关联视频的可播放标记。显示某一页面图片时，如果该页面中没有具有关联视频的题目，则可以如画面330所示，与该页面对应的页面图片相关联地显示提示信息，以提示当前页面没有关联视频可播放。

为用户提供视频书籍的应用程序可以只为会员提供完整的关联视频。若当前用户不是会员，则其看到的页面图片的显示画面可以如画面320所示，在画面的下方有加入会员的提示信息；而若当前用户是会员，则其看到的页面图片的显示画面可以如画面340所示，其画面中没有加入会员的提示信息。当用户操作(例如点击)某个题目的关联视频的可播放标记时，应用程序的显示画面可以变为视频播放画面，例如画面350。若当前用户是会员，则完整地播放该视频。若当前用户不是会员，则可以只播放该视频的部分试看内容，例如前20％。播放停止之后，可以如画面360所示，显示试看部分已播放完毕的信息，还可以显示加入会员的提示信息。

如上文所述，如果某个题目的关联视频不是该题目的一致题目的讲解视频，则关联视频可以是与该题目的知识点相关的视频，也可以是该题目的相似题目的讲解视频。在这两种情况下的显示方式可以分别如画面370和380所示。例如，如画面370所示，当关联视频为与该题目的知识点相关的视频时，除了与该题目相关联地显示该关联视频的可播放标记，可以显示信息以提示用户该视频为知识点相关的视频，并且还可以显示该视频所针对的知识点(画面370中显示为“考点”)。例如，如画面380所示，当关联视频为该题目的相似题目的讲解视频时，除了与该题目相关联地显示该关联视频的可播放标记，可以显示信息以提示用户该视频为相似题目的讲解视频，并且还可以显示该相似题目与该题目的相似度、以及该相似题目的题目内容。

上文所述各方法中的各个操作可以由计算装置来执行。执行上述各操作的计算装置中的任意两者可以为相同的计算装置，也可以为不同的计算装置。各计算装置中的每一个可以包括一个或多个处理器，属于一个计算装置的一个或多个处理器可以：全部位于该计算装置的物理壳体内、全部位于非该计算装置的其他电子设备的物理壳体内、或者第一部分位于该计算装置的物理壳体内并且第二部分位于非该计算装置的其他电子设备的物理壳体内。应当理解，各计算装置中的每一个还可以包括一个或多个存储器，以存储上述一个或多个处理器能够执行的指令、以及执行指令所需要的数据，例如上述一个或多个神经网络模型的至少一部分。

上述各神经网络模型中的每一个可以整体存储在以下各项中的任意一项中的一个或多个存储介质上，也可以第一部分存储在以下各项中的任意一项中的一个或多个存储介质上、并且第二部分存储在以下各项中的任意一项中的一个或多个存储介质上：一个或多个用户设备、以及一个或多个服务器。

图4是根据本公开实施例的处理系统400的至少一部分的结构图。本领域技术人员可以理解，系统400只是一个示例，不应将其视为限制本公开的范围或本文所描述的特征。在该示例中，系统400可以包括一个或多个存储设备410、一个或多个用户设备420、以及一个或多个服务器430，其可以通过网络或总线440互相连接。一个或多个存储设备410可以被配置为存储上述一个或多个数据库，还可以被配置为存储上述神经网络模型。一个或多个服务器430、和/或一个或多个用户设备420可以被配置为执行上述方法100和/或方法200。

其中网络或总线440可以是任何有线或无线的网络，也可以包括线缆。网络或总线440可以是互联网、万维网、特定内联网、广域网或局域网的一部分。网络或总线440可以利用诸如以太网、WiFi和HTTP等标准通信协议、对于一个或多个公司来说是专有的协议、以及前述协议的各种组合。网络或总线440还可以包括但不限于工业标准体系结构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线、和外围部件互连(PCI)总线。

一个或多个用户设备420以及一个或多个服务器430中的每一个可以位于网络或总线440的不同节点处，并且能够直接地或间接地与网络或总线440的其他节点通信。本领域技术人员可以理解，系统400还可以包括图4未示出的其他装置，其中每个不同的装置均位于网络或总线440的不同节点处。此外，虽然一个或多个存储设备410在系统400中以独立于一个或多个用户设备420、以及一个或多个服务器430之外的单独的框示出，应当理解，一个或多个存储设备410可以实际位于系统400所包括的其他实体420、430中的任何一个上。

一个或多个用户设备420和一个或多个服务器430中的每一个可以被配置为与图5所示的系统500类似，即具有一个或多个处理器510、一个或多个存储器520、以及指令和数据。一个或多个用户设备420和一个或多个服务器430中的每一个可以是意在由用户使用的个人服务器或者由企业使用的商业计算机装置，并且具有通常与个人服务器或商业计算机装置结合使用的所有组件，诸如中央处理单元(CPU)、存储数据和指令的存储设备(例如，RAM和内部硬盘驱动器)、诸如显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视或可操作来显示信息的其他装置)、鼠标、键盘、触摸屏、麦克风、扬声器、和/或网络接口装置等的一个或多个I/O设备。一个或多个用户设备420还可以包括用于捕获静态图像或记录视频流的一个或多个相机、以及用于将这些元件彼此连接的所有组件。

虽然一个或多个用户设备420可以各自包括全尺寸的个人服务器，但是它们可能可选地包括能够通过诸如互联网等网络与服务器无线地交换数据的移动服务器。举例来说，一个或多个用户设备420可以是移动电话，或者是诸如带无线支持的PDA、平板PC或能够经由互联网获得信息的上网本等装置。在另一个示例中，一个或多个用户设备420可以是可穿戴式计算系统。

图5是根据本公开实施例的处理系统500的至少一部分的结构图。系统500包括一个或多个处理器510、一个或多个存储器520、以及通常存在于计算机等装置中的其他组件(未示出)。一个或多个存储器520中的每一个可以存储可由一个或多个处理器510访问的内容，包括可以由一个或多个处理器510执行的指令521、以及可以由一个或多个处理器510来检索、操纵或存储的数据522。

指令521可以是将由一个或多个处理器510直接地执行的任何指令集，诸如机器代码，或者间接地执行的任何指令集，诸如脚本。本文中的术语“指令”、“应用”、“过程”、“步骤”和“程序”在本文中可以互换使用。指令521可以存储为目标代码格式以便由一个或多个处理器510直接处理，或者存储为任何其他计算机语言，包括按需解释或提前编译的独立源代码模块的脚本或集合。指令521可以包括引起诸如一个或多个处理器510来充当本文中的各神经网络的指令。本文其他部分更加详细地解释了指令521的功能、方法和例程。

一个或多个存储器520可以是能够存储可由一个或多个处理器510访问的内容的任何临时性或非临时性计算机可读存储介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD、USB存储器、能写存储器和只读存储器等。一个或多个存储器520中的一个或多个可以包括分布式存储系统，其中指令521和/或数据522可以存储在可以物理地位于相同或不同的地理位置处的多个不同的存储装置上。一个或多个存储器520中的一个或多个可以经由网络连接至一个或多个第一装置510，和/或可以直接地连接至或并入一个或多个处理器510中的任何一个中。

一个或多个处理器510可以根据指令521来检索、存储或修改数据522。存储在一个或多个存储器520中的数据522可以包括上文所述的各数据库、以及用于各个神经网络的参数等。其他不与数据库或神经网络相关联的数据也可以被存储在一个或多个存储器520中。举例来说，虽然本文所描述的主题不受任何特定数据结构限制，但是数据522还可能存储在计算机寄存器(未示出)中，作为具有许多不同的字段和记录的表格或XML文档存储在关系型数据库中。数据522可以被格式化为任何计算装置可读格式，诸如但不限于二进制值、ASCII或统一代码。此外，数据522可以包括足以识别相关信息的任何信息，诸如编号、描述性文本、专有代码、指针、对存储在诸如其他网络位置处等其他存储器中的数据的引用或者被函数用于计算相关数据的信息。

一个或多个处理器510可以是任何常规处理器，诸如市场上可购得的中央处理单元(CPU)、图形处理单元(GPU)等。可替换地，一个或多个处理器510还可以是专用组件，诸如专用集成电路(ASIC)或其他基于硬件的处理器。虽然不是必需的，但是一个或多个处理器510可以包括专门的硬件组件来更快或更有效地执行特定的计算过程，诸如对影像进行图像处理等。

虽然图5中示意性地将一个或多个处理器510以及一个或多个存储器520示出在同一个框内，但是系统500可以实际上包括可能存在于同一个物理壳体内或不同的多个物理壳体内的多个处理器或存储器。例如，一个或多个存储器520中的一个可以是位于与上文所述的一个或多个计算装置(未示出)中的每一个的壳体不同的壳体中的硬盘驱动器或其他存储介质。因此，引用处理器、计算机、计算装置或存储器应被理解成包括引用可能并行操作或可能非并行操作的处理器、计算机、计算装置或存储器的集合。

在说明书及权利要求中的词语“A或B”包括“A和B”以及“A或B”，而不是排他地仅包括“A”或者仅包括“B”，除非另有特别说明。

在本公开中，对“一个实施例”、“一些实施例”的提及意味着结合该实施例描述的特征、结构或特性包含在本公开的至少一个实施例、至少一些实施例中。因此，短语“在一个实施例中”、“在一些实施例中”在本公开的各处的出现未必是指同一个或同一些实施例。此外，在一个或多个实施例中，可以任何合适的组合和/或子组合来组合特征、结构或特性。

如在此所使用的，词语“示例性的”意指“用作示例、实例或说明”，而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且，本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。

如在此所使用的，词语“基本上”意指包含由设计或制造的缺陷、器件或元件的容差、环境影响和/或其它因素所致的任意微小的变化。词语“基本上”还允许由寄生效应、噪音以及可能存在于实际的实现方式中的其它实际考虑因素所致的与完美的或理想的情形之间的差异。

上述描述可以指示被“连接”或“耦合”在一起的元件或节点或特征。如在此所使用的，除非另外明确说明，“连接”意指一个元件/节点/特征与另一种元件/节点/特征在电学上、机械上、逻辑上或以其它方式直接地连接(或者直接通信)。类似地，除非另外明确说明，“耦合”意指一个元件/节点/特征可以与另一元件/节点/特征以直接的或间接的方式在机械上、电学上、逻辑上或以其它方式连结以允许相互作用，即使这两个特征可能并没有直接连接也是如此。也就是说，“耦合”意图包含元件或其它特征的直接连结和间接连结，包括利用一个或多个中间元件的连接。

另外，仅仅为了参考的目的，还可以在下面描述中使用某种术语，并且因而并非意图限定。例如，除非上下文明确指出，否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。还应理解，“包括/包含”一词在本文中使用时，说明存在所指出的特征、整体、步骤、操作、单元和/或组件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。

在本公开中，术语“部件”和“系统”意图是涉及一个与计算机有关的实体，或者硬件、硬件和软件的组合、软件、或执行中的软件。例如，一个部件可以是，但是不局限于，在处理器上运行的进程、对象、可执行态、执行线程、和/或程序等。通过举例说明，在一个服务器上运行的应用程序和所述服务器两者都可以是一个部件。一个或多个部件可以存在于一个执行的进程和/或线程的内部，并且一个部件可以被定位于一台计算机上和/或被分布在两台或更多计算机之间。

本领域技术人员应当意识到，在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作，单个操作可以分布于附加的操作中，并且操作可以在时间上至少部分重叠地执行。而且，另选的实施例可以包括特定操作的多个实例，并且在其他各种实施例中可以改变操作顺序。但是，其它的修改、变化和替换同样是可能的。因此，本说明书和附图应当被看作是说明性的，而非限制性的。

另外，本公开的实施方式还可以包括以下示例：

1.一种提供视频书籍的方法，包括：

接收第一图片，所述第一图片包括书籍的一个页面的至少部分；

在已建立的页面图片数据库中搜索所述第一图片的相似图片；以及

响应于找到所述相似图片，提供所述相似图片所对应的视频书籍。

2.根据1所述的方法，还包括：响应于未找到所述相似图片，

根据所述第一图片中的一个或多个题目的特征向量在已建立的题目内容数据库中搜索所述一个或多个题目中的每个题目的最接近题目；以及

在所述一个或多个题目各自的最接近题目所对应的所有视频书籍中，提供具有最多最接近题目的视频书籍。

3.根据2所述的方法，还包括：

响应于未找到可提供的视频书籍，识别所述第一图片中的一个或多个题目的作答答案；

响应于所述一个或多个题目中的第一题目的作答答案不正确，在已建立的关联视频数据库中搜索所述第一题目的关联视频；以及

响应于找到所述关联视频，与所述第一题目相关联地显示所述关联视频的可播放标记。

4.根据2所述的方法，还包括：

响应于未找到可提供的视频书籍，针对所述第一图片中的一个或多个题目中的每个题目，在已建立的关联视频数据库中搜索所述题目的关联视频；以及

响应于找到所述关联视频，与所述题目相关联地显示所述关联视频的可播放标记。

5.根据1或2所述的方法，其中，所述视频书籍包括：

所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片；以及

与所述一个或多个页面中的至少一个页面中的至少一个题目相关联的关联视频，

所述方法还包括建立所述视频书籍，其中，建立所述视频书籍包括：

收集所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片，其中所述一个或多个页面中的至少一个页面中包括至少一个题目；

针对所述一个或多个页面图片中的所有题目中的每个题目，在题库中搜索与所述题目一致的一致题目；以及

响应于找到所述一致题目并且所述一致题目有对应的讲解视频，将所述讲解视频确定为与所述题目相关联的关联视频。

6.根据5所述的方法，其中，建立所述视频书籍还包括：

响应于未找到所述一致题目或找到的所述一致题目没有对应的讲解视频，确定所述题目的知识点，并将与所述知识点相关的视频确定为与所述题目相关联的关联视频；以及

响应于没有与所述知识点相关的视频，在所述题库中搜索所述题目的相似题目，并将所述相似题目对应的讲解视频确定为与所述题目相关联的关联视频。

7.根据1或2所述的方法，其中，提供所述视频书籍包括：

显示所述视频书籍的一个或多个页面图片；以及

与所述一个或多个页面图片中包括的至少一个题目相关联地显示所述至少一个题目的关联视频的可播放标记。

8.根据7所述的方法，其中，提供所述视频书籍还包括：

响应于所述一个或多个页面中的第一页面无关联视频，与所述第一页面对应的第一页面图片相关联地显示提示信息，以提示当前页面没有关联视频可播放。

9.根据1-4中任一项所述的方法，还包括建立视频书籍数据库，其中，所述视频书籍数据库包括页面图片数据库、题目内容数据库和关联视频数据库，其中，

所述页面图片数据库包括多个页面图片，每个所述页面图片对应于一个视频书籍的一个页面；

所述题目内容数据库包括多个题目内容，每个所述题目内容对应于所述页面图片数据库中的一个页面图片中的一个题目；以及

所述关联视频数据库包括多个关联视频，每个所述关联视频对应于所述页面图片数据库中的一个页面图片中的一个题目。

10.根据1所述的方法，其中，所述相似图片包括与所述第一图片的相似度的置信度度量大于0.6的图片。

11.根据2所述的方法，其中，所述题目的最接近题目包括：

其特征向量与所述题目的特征向量相同的题目；以及

与所述题目的特征向量的最短编辑距离小于第一阈值的各特征向量中，与所述题目的特征向量距离最近的特征向量所对应的题目。

12.根据5所述的方法，其中，与所述题目一致的一致题目包括：其特征向量与所述题目的特征向量相同的题目。

13.根据6所述的方法，其中，确定所述题目的知识点包括：

根据所述题目的题目内容，基于已训练的第一神经网络模型确定所述题目的知识点；和/或

根据所述题目的题目内容生成解题过程，并根据所述解题过程基于已训练的第二神经网络模型确定所述题目的知识点，

其中，所述第一神经网络模型和所述第二神经网络模型均包括文本分类模型及自然语言理解模型。

14.根据6所述的方法，其中，搜索所述题目的相似题目包括：

根据所述题目的特征向量在所述题库进行最短编辑距离匹配，将与所述题目的特征向量的最短编辑距离小于第二阈值的特征向量所对应的题目确定为所述题目的相似题目。

15.根据14所述的方法，其中，搜索所述题目的相似题目还包括：

根据所述题目的解题过程，基于已训练的第三神经网络模型得到所述解题过程的一个或多个特征；以及

在所述题库中搜索，将与所述解题过程的一个或多个特征中的至少一个特征相似的题目确定为所述题目的相似题目，

其中，所述第三神经网络模型包括计算模型、向量模型和/或自然语言处理模型，所述解题过程的特征包括解题过程的形式特征、向量特征和/或自然语言特征。

16.一种建立视频书籍的方法，所述视频书籍包括：

所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片；以及

与所述一个或多个页面中的至少一个页面中的至少一个题目相关联的关联视频，

其中，所述方法包括：

收集所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片，其中所述一个或多个页面中的至少一个页面中包括至少一个题目；

针对所述一个或多个页面图片中的所有题目中的每个题目，在题库中搜索与所述题目一致的一致题目；以及

响应于找到所述一致题目并且所述一致题目有对应的讲解视频，将所述讲解视频确定为与所述题目相关联的关联视频。

17.根据16所述的方法，还包括：

响应于未找到所述一致题目或找到的所述一致题目没有对应的讲解视频，确定所述题目的知识点，并将与所述知识点相关的视频确定为与所述题目相关联的关联视频；以及

响应于没有与所述知识点相关的视频，在所述题库中搜索所述题目的相似题目，并将所述相似题目对应的讲解视频确定为与所述题目相关联的关联视频。

18.根据16所述的方法，还包括建立视频书籍数据库，其中，所述视频书籍数据库包括所述页面图片数据库、题目内容数据库和关联视频数据库，其中，

所述页面图片数据库包括多个页面图片，每个所述页面图片对应于一个视频书籍的一个页面；

所述题目内容数据库包括多个题目内容，每个所述题目内容对应于所述页面图片数据库中的一个页面图片中的一个题目；以及

所述关联视频数据库包括多个关联视频，每个所述关联视频对应于所述页面图片数据库中的一个页面图片中的一个题目。

19.一种处理系统，包括：

一个或多个处理器；以及

一个或多个存储器，所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，

其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如1-18中任一项所述的方法。

20.一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如1-18中任一项所述的方法。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。在此公开的各实施例可以任意组合，而不脱离本公开的精神和范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种提供视频书籍的方法，包括：

接收第一图片，所述第一图片包括书籍的一个页面的至少部分；

在已建立的页面图片数据库中搜索所述第一图片的相似图片；以及

响应于找到所述相似图片，提供所述相似图片所对应的视频书籍。

2.根据权利要求1所述的方法，还包括：响应于未找到所述相似图片，

根据所述第一图片中的一个或多个题目的特征向量在已建立的题目内容数据库中搜索所述一个或多个题目中的每个题目的最接近题目；以及

在所述一个或多个题目各自的最接近题目所对应的所有视频书籍中，提供具有最多最接近题目的视频书籍。

3.根据权利要求2所述的方法，还包括：

响应于未找到可提供的视频书籍，识别所述第一图片中的一个或多个题目的作答答案；

响应于所述一个或多个题目中的第一题目的作答答案不正确，在已建立的关联视频数据库中搜索所述第一题目的关联视频；以及

响应于找到所述关联视频，与所述第一题目相关联地显示所述关联视频的可播放标记。

4.根据权利要求2所述的方法，还包括：

响应于未找到可提供的视频书籍，针对所述第一图片中的一个或多个题目中的每个题目，在已建立的关联视频数据库中搜索所述题目的关联视频；以及

响应于找到所述关联视频，与所述题目相关联地显示所述关联视频的可播放标记。

5.根据权利要求1或2所述的方法，其中，所述视频书籍包括：

所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片；以及

与所述一个或多个页面中的至少一个页面中的至少一个题目相关联的关联视频，

所述方法还包括建立所述视频书籍，其中，建立所述视频书籍包括：

收集所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片，其中所述一个或多个页面中的至少一个页面中包括至少一个题目；

针对所述一个或多个页面图片中的所有题目中的每个题目，在题库中搜索与所述题目一致的一致题目；以及

响应于找到所述一致题目并且所述一致题目有对应的讲解视频，将所述讲解视频确定为与所述题目相关联的关联视频。

6.根据权利要求5所述的方法，其中，建立所述视频书籍还包括：

响应于未找到所述一致题目或找到的所述一致题目没有对应的讲解视频，确定所述题目的知识点，并将与所述知识点相关的视频确定为与所述题目相关联的关联视频；以及

响应于没有与所述知识点相关的视频，在所述题库中搜索所述题目的相似题目，并将所述相似题目对应的讲解视频确定为与所述题目相关联的关联视频。

7.根据权利要求1或2所述的方法，其中，提供所述视频书籍包括：

显示所述视频书籍的一个或多个页面图片；以及

与所述一个或多个页面图片中包括的至少一个题目相关联地显示所述至少一个题目的关联视频的可播放标记。

8.一种建立视频书籍的方法，所述视频书籍包括：

所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片；以及

与所述一个或多个页面中的至少一个页面中的至少一个题目相关联的关联视频，

其中，所述方法包括：

收集所述视频书籍所对应的书籍所包括的一个或多个页面所对应的一个或多个页面图片，其中所述一个或多个页面中的至少一个页面中包括至少一个题目；

针对所述一个或多个页面图片中的所有题目中的每个题目，在题库中搜索与所述题目一致的一致题目；以及

响应于找到所述一致题目并且所述一致题目有对应的讲解视频，将所述讲解视频确定为与所述题目相关联的关联视频。

9.一种处理系统，包括：

一个或多个处理器；以及

一个或多个存储器，所述一个或多个存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，

其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如权利要求1-8中任一项所述的方法。

10.一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如权利要求1-8中任一项所述的方法。

Images