CN114297420A - 网络教学的笔记生成方法、装置、介质和电子设备 - Google Patents

Abstract

本公开提供了一种网络教学的笔记生成方法、装置、介质和电子设备，所述方法在笔记模式中，从音频片段中获取第一关键词组；从演示文本图像中的语句文本中获取第二关键词组；自所有第二关键词组中获取一个匹配关键词组，所述匹配关键词组与所述第一关键词组的对比结果满足预设匹配条件；获取所述匹配关键词组对应的当前语句文本在所述当前第一图像中对应的至少一个区域位置信息，以及基于所述第一关键词组获取至少一个当前推荐文本；基于演示文本图像的标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息。使听课学生能够专注于授课教师的授课过程，提高了听课的连贯性和听课效果。

Description

网络教学的笔记生成方法、装置、介质和电子设备

技术领域

本公开涉及信息技术领域，具体而言，涉及一种网络教学的笔记生成方法、装置、介质和电子设备。

背景技术

随着计算机技术的发展，基于互联网的网络教学开始在兴起。

网络教学，是利用网络作为教师和学生的通讯工具进行的以讲授为主的教学模式。网络教学包括网络教学和录播教学。网络教学与传统教学模式一样，学生可在同一时间聆听教师讲课，师生间有一些简单的交流。录播教学利用互联网的服务，将教师事先录制的课程存放在服务端上，学生通过可在任意时间点播和观看该课程达到学习的目的。录播教学的特点在于教学活动可以全天24小时进行，每个学生都可以根据自己的实际情况确定学习的时间、内容和进度，可随时在网上下载学习内容。在网络教学中每个课程可能拥有大量的听课学生。

但是，听课学生无论采用哪种方式进行学习，均离不开在课堂上边听课边记录课堂笔记。而记录课堂笔记往往影响听课效果，干扰听课的连贯性。

因此，本公开提供了一种网络教学的笔记生成方法，以解决上述技术问题之一。

发明内容

本公开的目的在于提供一种网络教学的笔记生成方法、装置、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：

根据本公开的具体实施方式，第一方面，本公开提供一种网络教学的笔记生成方法，包括：

在笔记模式中，获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息，其中，所述当前视频是指听课时播放的授课教师的授课视频，所述当前第一图像是指听课时接收的用于显示在第一用户界面上的演示文稿图像，且与所述当前视频中的授课内容同步播放，所述音频片段包括一个完整的语义，用于讲解所述当前第一图像中的教学内容，每个语句文本包括一个完整的语义；

对所述音频片段进行音频语义分析，获取第一关键词组，其中，所述第一关键词组包括至少两个第一关键词；

对每个语句文本分别进行文本语义分析，获取对应语句文本的第二关键词组，其中，所述第二关键词组包括对应语句文本中的至少两个第二关键词；

自所有第二关键词组中获取一个匹配关键词组，所述匹配关键词组与所述第一关键词组的对比结果满足预设匹配条件；

获取所述匹配关键词组对应的当前语句文本在所述当前第一图像中对应的至少一个区域位置信息，以及基于所述第一关键词组获取至少一个当前推荐文本；

基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息。

根据本公开的具体实施方式，第二方面，本公开提供一种网络教学的笔记生成装置，包括：

第一获取单元，用于在笔记模式中，获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息，其中，所述当前视频是指听课时播放的授课教师的授课视频，所述当前第一图像是指听课时接收的用于显示在第一用户界面上的演示文稿图像，且与所述当前视频中的授课内容同步播放，所述音频片段包括一个完整的语义，用于讲解所述当前第一图像中的教学内容，每个语句文本包括一个完整的语义；

音频分析单元，用于对所述音频片段进行音频语义分析，获取第一关键词组，其中，所述第一关键词组包括至少两个第一关键词；

文本分析单元，用于对每个语句文本分别进行文本语义分析，获取对应语句文本的第二关键词组，其中，所述第二关键词组包括对应语句文本中的至少两个第二关键词；

匹配单元，用于自所有第二关键词组中获取一个匹配关键词组，所述匹配关键词组与所述第一关键词组的对比结果满足预设匹配条件；

第二获取单元，用于获取所述匹配关键词组对应的当前语句文本在所述当前第一图像中对应的至少一个区域位置信息，以及基于所述第一关键词组获取至少一个当前推荐文本；

笔记生成单元，用于基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息。

根据本公开的具体实施方式，第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述网络教学的笔记生成方法。

根据本公开的具体实施方式，第四方面，本公开提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述网络教学的笔记生成方法。

本公开实施例的上述方案与现有技术相比，至少具有以下有益效果：

本公开提供了一种网络教学的笔记生成方法、装置、介质和电子设备，使听课学生能够专注于授课教师的授课过程，提高了听课的连贯性和听课效果。

本公开不仅为复习学生提供了笔迹的文本信息，而且还提供了与文本信息相关的授课教师的音频片段。不仅满足了学生防备知识遗忘，增强理解的文字需求，而且提供了原音重现的功能，进而提高了复习的有效性和效率。

附图说明

图1示出了根据本公开实施例的网络教学的笔记生成方法的流程图；

图2示出了根据本公开实施例的复习模式中第二用户界面的示意图；

图3示出了根据本公开实施例的网络教学的笔记生成装置的单元框图；

图4示出了根据本公开实施例提供的一种电子设备连接结构示意图；

附图标记说明

21-演示窗口，22-文本窗口，23-音频窗口；

211-第一对应位置信息，212-第二对应位置信息，213-第三对应位置信息，214-第四对应位置信息。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本公开实施例中可能采用术语第一、第二、第三等来描述，但这些描述不应限于这些术语。这些术语仅用来将描述区分开。例如，在不脱离本公开实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

特别需要说明的是，在说明书中存在的符号和/或数字，如果在附图说明中未被标记的，均不是附图标记。

下面结合附图详细说明本公开的可选实施例。

实施例1

对本公开提供的实施例，即一种网络教学的笔记生成方法的实施例。

下面结合图1对本公开实施例进行详细说明。

步骤S101，在笔记模式中，获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息。

当听课学生参与授课教师授课过程时，则系统进入笔记模式。进入笔记模式后，本实施例所述方法将在授课过程中自动记录教学笔记。

其中，所述当前视频是指听课时播放的授课教师的授课视频。

所述当前第一图像是指听课时接收的用于显示在第一用户界面上的演示文稿图像，且与所述当前视频中的授课内容同步播放。

授课教师将授课的文字内容记录在演示文稿(比如PowerPoint文稿，简称PPT文稿)中，对于网络教学而言，当授课教师授课时，利用笔记本电脑播放演示文稿，系统将演示文稿中的演示文稿图像逐个传送至网络教学的客户端显示；同时，将授课教师的授课视频同步显示在该客户端上，用于向听课学生展示授课教师讲解演示文稿图像中教学内容的教学过程。为了区分演示文稿中每个演示文稿图像，本公开实施例为每个演示文稿图像设置了独一无二的标识信息。

每个视频都具有相伴的音频，所述当前视频也具有相伴的当前音频。所述音频片段包括一个完整的语义，用于讲解所述当前第一图像中的教学内容。所述音频片段可以理解为一句话的音频，该句话能够表达一个完整的意思。

可以说，当前视频被演示文稿中每个演示文稿图像的显示时间段分为多个视频片段，而每个视频片段具有多个音频片段。

每个语句文本包括一个完整的语义。所述语句文本可以理解为是一段能够表达一个完整意思的文字，例如，以句号、分号、感叹号或问号划分当前第一图像中的文本，获得各个语句文本。在所述当前第一图像中可能仅包括一个语句文本，也可能包括多个语句文本。

步骤S102，对所述音频片段进行音频语义分析，获取第一关键词组。

其中，所述第一关键词组包括至少两个第一关键词。获取至少两个第一关键词用于增强第一关键词组的特征信息，以便提高至少两个第一关键词表征的音频片段的识别度。第一关键词组中第一关键词的数量越多，表征的音频片段的语义特征越鲜明。

在一些具体实施例中，所述对所述音频片段进行音频语义分析，获取第一关键词组，包括以下步骤：

步骤S102a，将所述音频片段输入训练后的音频语义分析模型，获得所述第一关键词组。

音频语义分析模型可以基于之前的历史音频片段获得，例如以历史音频片段作为训练样本训练出音频语义分析模型。关于根据音频语义分析模型对音频片段进行音频语义分析的过程本实施例不做详述，可参照现有技术中各种实现方式实施。

当然，对所述音频片段进行音频语义分析，也可以采用其他分析方法，本公开实施例不做限制。

步骤S103，对每个语句文本分别进行文本语义分析，获取对应语句文本的第二关键词组。

其中，所述第二关键词组包括对应语句文本中的至少两个第二关键词。获取至少两个第二关键词用于增强第二关键词组的特征信息，以便提高至少两个第二关键词表征的音频片段的识别度。第二关键词组中第二关键词的数量越多，表征的语句文本的语义特征越鲜明。

在一些具体实施例中，所述对每个语句文本分别进行文本语义分析，获取对应语句文本的第二关键词组，包括以下步骤：

步骤S103a，将每个语句文本分别输入训练后的文本语义分析模型，获得对应语句文本的第二关键词组。

文本语义分析模型可以基于之前的历史语句文本获得，例如以历史语句文本作为训练样本训练出文本语义分析模型。关于根据文本语义分析模型对语句文本进行文本语义分析的过程本实施例不做详述，可参照现有技术中各种实现方式实施。

当然，对所述对每个语句文本分别进行文本语义分析，也可以采用其他分析方法，本公开实施例不做限制。

步骤S104，自所有第二关键词组中获取一个匹配关键词组。

其中，所述匹配关键词组与所述第一关键词组的对比结果满足预设匹配条件。

可以理解为，音频片段讲解的内容就是匹配关键词组对应的当前语句文本。

在一些具体实施例中，所述自所有第二关键词组中获取一个匹配关键词组，包括以下步骤：

步骤S104-1，获取第一数量和至少一个第二数量。

其中，所述第一数量为所述第一关键词组中第一关键词的数量，所述第二数量为所述第二关键词组中第二关键词的数量。

步骤S104-2，响应于所述第二关键词组的第二数量小于或等于所述第一数量，确定所述第二关键词组为第一待选关键词组。

本公开具体实施例首先通过第二关键词组中第二关键词的数量，对第二关键词组进行筛选。由于音频片段是对当前第一图像中的一个语句文本进行讲解，需要将语句文本中的关键词进行通俗易懂的解释，因此，能够确定音频片段中所采用的第一关键词的数量至少与匹配的语句文本中所采用的第二关键词的数量相同。

如果语句文本中所采用的第二关键词的数量多于音频片段中所采用的第一关键词的数量，则能够确定该语句文本并不是音频片段所讲解的文本。

通过数量筛选后，可能仅确定一个第一待选关键词组，也可能确定多个第一待选关键词组。

步骤S104-3，将所述第一待选关键词组与所述第一关键词组进行对比，获取第三数量和第四数量。

所述第三数量为所述第一待选关键词组中的第二关键词存在于所述第一关键词组中的数量。

所述第四数量为所述第一待选关键词组中的第二关键词不存在于所述第一关键词组中的数量。

例如，第一个语句文本为“牛顿第二运动定律：F＝ma，其中，F为力，m为质量，a为加速度；”，第一待选关键词组A中的第二关键词包括：“牛顿”、“第二运动定律”、“F”、“力”、“m”、“质量”、“a”和“加速度”；第二个语句文本为“牛顿第二运动定律的定义为：物体的加速度的大小跟他受到的力成正比，跟它的质量成反比，加速度的方向跟力的方向相同”，第一待选关键词组B中的第二关键词包括：“牛顿”、“第二运动定律”、“定义”、“加速度”、“力”、“正比”、“质量”、“反比”、“方向”和“相同”；第三个语句文本为“力是产生加速度的原因，加速度是力的作用效果，故力是改变物体运动状态的原因”，第一待选关键词组C中的第二关键词包括：“力”、“加速度”、“原因”、“作用效果”、“改变”、“物体”和“运动状态”；音频片段为“牛顿第二运动定律引入惯性质量，全面完整地刻画了物体因受力作用而产生加速度，以及加速度与外力及质量的定量关系”，第一关键词组中的第一关键词包括：“牛顿”、“第二运动定律”、“惯性”、“质量”、“物体”、“力”、“作用”、“加速度”、“外力”和“定量关系”；则第三数量为2，第四数量为5，第一比值为2/13＝15.38％；则第一待选关键词组A的第三数量为5，第四数量为3；第一待选关键词组B的第三数量为5，第四数量为5；第一待选关键词组C的第三数量为2，第四数量为5；第一数量为10。

步骤S104-4，计算所述第一待选关键词组的第三数量与所述第一关键词组的第一数量的比值，获得所述第一待选关键词组的第一比值。

例如，继续上述例子，第一待选关键词组A的第一比值为5/10＝50％，第一待选关键词组B的第一比值为5/10＝50％，第一待选关键词组C的第一比值为2/10＝20％。

步骤S104-5，确定所述第一比值最大的第一待选关键词组为第二待选关键词组。

例如，继续上述例子，确定第一待选关键词组A和第一待选关键词组B为第二待选关键词组。

步骤S104-6，计算所述第二待选关键词组的第四数量与所述第一关键词组的第一数量的比值，获得所述第二待选关键词组的第二比值。

例如，继续上述例子，第一待选关键词组A的第二比值为3/10＝30％，第一待选关键词组B的第二比值为5/10＝50％。

步骤S104-7，确定所述第二比值最小的第二待选关键词组为匹配关键词组。

例如，继续上述例子，确定第一待选关键词组A为匹配关键词组。

本公开具体实施例通过步骤S104-3至步骤S104-7能够快速找到匹配关键词组。

步骤S105，获取所述匹配关键词组对应的当前语句文本在所述当前第一图像中对应的至少一个区域位置信息，以及基于所述第一关键词组获取至少一个当前推荐文本。

所述区域位置信息是从所述当前第一图像中获取的。例如，以当前第一图像中的像素位置信息表征区域位置信息。

由于当前语句文本可能在当前第一图像中以多行文字影像显示，因此，本公开实施例为每一行设置了一个区域位置信息。例如，如果当前语句文本在当前第一图像中以一行文字影像显示，则当前语句文本仅具有一个区域位置信息，比如以该行文字影像所在矩形区域的4个顶点的像素位置信息表征区域位置信息；如果当前语句文本在当前第一图像中以多行文字影像显示，则当前语句文本具有多个区域位置信息，每个区域位置信息限制了当前语句文本每行在当前第一图像中的区域。

当前推荐文本可以是针对类似音频片段他人记录的历史笔记文本，也可以由机器生成机器笔记文本。可以是一个较佳的历史笔记文本或机器笔记文本，也可以是多个不同记录风格的历史笔记文本和/或机器笔记文本。

步骤S106，基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息。

本公开实施例提供了一种在网络课堂中自动生成电子笔记的方法，使听课学生能够专注于授课教师的授课过程，提高了听课的连贯性和听课效果。

在一些具体实施例中，所述基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息，包括以下步骤：

步骤S106-1，基于所述至少一个当前推荐文本确定一个最优推荐文本。

步骤S106-2，基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述最优推荐文本生成所述当前语句文本的当前笔记信息。

本公开具体实施例提供了一种对所述至少一个当前推荐文本进行选择的方法，最优推荐文本可以是记录最完整的文本，或是符合个人习惯的文本。通过确定最优推荐文本使笔记信息更短小，使听课学生更容易理解和掌握。同时，也可以据此生成每个学生的个性化笔记。

在授课过程中，授课教师可能利用多个音频片段对同一语句文本进行多角度的讲解。相应地，每个音频片段中的第一关键词组，其中的第一关键词不尽相同，则各个音频片段获得的所述至少一个当前推荐文本各不相同。因此，在一些具体实施例中，在所述基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息后，还包括以下步骤：

步骤S107a-1，响应于不存在与所述当前语句文本相关联的笔记信息队列，创建一个与所述当前语句文本相关联的笔记信息队列。

步骤S107a-2，将所述当前语句文本的当前笔记信息添加至所述笔记信息队列中。

本公开具体实施例通过笔记信息队列将与当前语句文本相关的笔记信息组织起来，进行统一管理和统一使用。提高了数据处理的效率。

而在另一些具体实施例中，在所述基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息后，还包括以下步骤：

步骤S107b-1，响应于存在与所述当前语句文本相关联的笔记信息队列，将所有当前推荐文本与所述笔记信息队列中的每个笔记信息的所有推荐文本进行相似度匹配，获取每个笔记信息的相似度匹配结果。

步骤S107b-2，响应于每个笔记信息的相似度匹配结果均不满足相似度匹配条件，将所述当前笔记信息添加至所述笔记信息队列中。

所述响应于每个笔记信息的相似度匹配结果均不满足相似度匹配条件，也就是在笔记信息队列中不存在与当前笔记信息重复的笔记信息，因此，将当前笔记信息添加至所述笔记信息队列中。

进一步地，步骤S107b-3，响应于任意一个笔记信息的相似度匹配结果满足匹配条件，放弃所述当前笔记信息，且触发执行所述获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息的操作。

所述响应于任意一个笔记信息的相似度匹配结果满足匹配条件，也就是在笔记信息队列中存在与当前笔记信息重复的笔记信息，则放弃该当前笔记信息。继而执行步骤S101的操作。

当学生复习时，则可以进入复习模式。在复习模式中，听课学生可以调用授课教师授课时使用的演示文稿和自动生成的笔记信息进行复习。因此，所述方法还包括以下步骤：

步骤S201，在复习模式中，响应于将获取的当前第二图像显示于第二用户界面的演示窗口21，获取当前第二图像的第二图像标识信息和图像尺寸。

其中，所述当前第二图像是指复习时接收的用于在第二用户界面的演示窗口21播放的所述演示文稿图像，所述当前第二图像的图像尺寸与所述当前第一图像的图像尺寸相同。

如图2所示，所述第二用户界面也就是复习模式下的用户界面。

步骤S202，基于所述第二图像标识信息获取所述当前第二图像的所有笔记信息。

当前第二图像的所有笔记信息可以从保存的数据库获取，也可以是从前述具体实施例所述的笔记信息队列中获取。

当前第二图像中可能具有一个语句文本，也可能具有多个语句文本。从上述本公开实施例可知，每个语句文本可能具有至少一个笔记信息。

步骤S203，基于所述演示窗口21的窗口尺寸与所述当前第二图像的图像尺寸的比值将每个笔记信息中的区域位置信息转换成所述演示窗口21中的对应位置信息。

由于当前第二图像基于演示窗口21的窗口尺寸进行了适应性扩大或缩小，因此，本步骤对区域位置信息进行适应性重新定位。

所述窗口尺寸包括演示窗口21的长度值和高度值；所述图像尺寸包括当前第二图像的长度值和高度值。

所述演示窗口21的窗口尺寸与所述当前第二图像的图像尺寸的比值包括长度比值和高度比值。所述长度比值是指窗口的长度值与图像的长度值的比值；所述高度比值是指窗口的高度值与图像的高度值的比值。例如，演示窗口21的长度值为800个窗口单位长度(演示窗口21的数值是以其左上角顶点为坐标原点，X轴为指向右的水平轴，Y轴为指向下的垂直轴)，演示窗口21的高度值为600个窗口单位高度；当前第二图像的长度值为1024个像素(当前第二图像的数值是以其左上角顶点为坐标原点，X轴为指向右的水平轴，Y轴为指向下的垂直轴)，当前第二图像的高度值为768个像素；则长度比值为1.28，高度比值为1.28；如果以4个像素位置信息表征当前第二图像中的一个区域位置信息：第一像素位置信息(50，20)、第二素位置信息(120，20)、第三素位置信息(50，50)和第四素位置信息(120，50)，则像素位置信息的X值除以长度比值1.28，像素位置信息的Y值除以高度比值1.28：第一对应位置信息211(39，16)、第二对应位置信息212(94，16)、第三对应位置信息213(39，39)和第四对应位置信息214(94，39)。

步骤S204，在所述演示窗口21中，基于每个笔记信息的至少一个对应位置信息分别生成隐藏控件。

可以理解为，基于笔迹信息的每个对应位置信息建立一个隐藏控件。

所述控件是第二用户界面的基本组成单元，是对属性和方法的封装，其属性包括：控件的尺寸、设置位置和可见性；其方法包括触发后实现的功能。

隐藏控件是指具有控件功能的不可见的控件。也就是其属性被设置为不可见。由于对应位置信息所形成的矩形区域是语句文本在演示窗口21中的显示区域。本公开实施例在该显示区域中设置隐藏控件，在设置后复习的学生仍然能够看到语句文本的内容，但是在该语句文本上增加了隐藏控件的功能，比如隐藏控件为具有触发功能的按键。

步骤S205，响应于所述隐藏控件的触发，从所述笔记信息中获取与所述隐藏控件相关的当前笔记信息。

步骤S206，将所述当前笔记信息中的音频片段加载至所述第二用户界面中音频窗口23的播放器中，以及将所述当前笔记信息中的至少一个推荐文本显示于所述第二用户界面的文本窗口22中。

例如，如图2所示，复习的学生点击语句文本在演示窗口21中的显示区域时，触发隐藏的按键，在文本窗口22显示与语句文本相关的推荐文本，并将与语句文本相关的音频片段加载至音频窗口23。

本公开实施例不仅为复习学生提供了笔迹的文本信息，而且还提供了与文本信息相关的授课教师的音频片段。不仅满足了学生防备知识遗忘，增强理解的文字需求，而且提供了原音重现的功能，进而提高了复习的有效性和效率。

实施例2

本公开还提供了与上述实施例承接的装置实施例，用于实现如上实施例所述的方法步骤，基于相同的名称含义的解释与如上实施例相同，具有与如上实施例相同的技术效果，此处不再赘述。

如图3所示，本公开提供一种网络教学的笔记生成装置300，包括：

第一获取单元301，用于在笔记模式中，获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息，其中，所述当前视频是指听课时播放的授课教师的授课视频，所述当前第一图像是指听课时接收的用于显示在第一用户界面上的演示文稿图像，且与所述当前视频中的授课内容同步播放，所述音频片段包括一个完整的语义，用于讲解所述当前第一图像中的教学内容，每个语句文本包括一个完整的语义；

音频分析单元302，用于对所述音频片段进行音频语义分析，获取第一关键词组，其中，所述第一关键词组包括至少两个第一关键词；

文本分析单元303，用于对每个语句文本分别进行文本语义分析，获取对应语句文本的第二关键词组，其中，所述第二关键词组包括对应语句文本中的至少两个第二关键词；

匹配单元304，用于自所有第二关键词组中获取一个匹配关键词组，所述匹配关键词组与所述第一关键词组的对比结果满足预设匹配条件；

第二获取单元305，用于获取所述匹配关键词组对应的当前语句文本在所述当前第一图像中对应的至少一个区域位置信息，以及基于所述第一关键词组获取至少一个当前推荐文本；

笔记生成单元306，用于基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息。

可选的，所述匹配单元304，包括：

第一获取子单元，用于获取第一数量和至少一个第二数量，所述第一数量为所述第一关键词组中第一关键词的数量，所述第二数量为所述第二关键词组中第二关键词的数量；

第一确定子单元，用于响应于所述第二关键词组的第二数量小于或等于所述第一数量，确定所述第二关键词组为第一待选关键词组；

第二获取子单元，用于将所述第一待选关键词组与所述第一关键词组进行对比，获取第三数量和第四数量，其中，所述第三数量为所述第一待选关键词组中的第二关键词存在于所述第一关键词组中的数量，所述第四数量为所述第一待选关键词组中的第二关键词不存在于所述第一关键词组中的数量；

第一计算子单元，用于计算所述第一待选关键词组的第三数量与所述第一关键词组的第一数量的比值，获得所述第一待选关键词组的第一比值；

第二确定子单元，用于确定所述第一比值最大的第一待选关键词组为第二待选关键词组；

第二计算子单元，用于计算所述第二待选关键词组的第四数量与所述第一关键词组的第一数量的比值，获得所述第二待选关键词组的第二比值；

第三确定子单元，用于确定所述第二比值最小的第二待选关键词组为匹配关键词组。

可选的，所述笔记生成单元306，包括：

文本确定子单元，用于基于所述至少一个当前推荐文本确定一个最优推荐文本；

笔记生成子单元，用于基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述最优推荐文本生成所述当前语句文本的当前笔记信息。

可选的，所述装置还包括队列创建单元；

队列创建子单元，用于在所述基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息后，响应于不存在与所述当前语句文本相关联的笔记信息队列，创建一个与所述当前语句文本相关联的笔记信息队列；

第一添加子单元，用于将所述当前语句文本的当前笔记信息添加至所述笔记信息队列中。

可选的，所述装置还包括队列加入单元；

所述队列加入单元，包括：

第三获取子单元，用于在所述基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息后，响应于存在与所述当前语句文本相关联的笔记信息队列，将所有当前推荐文本与所述笔记信息队列中的每个笔记信息的所有推荐文本进行相似度匹配，获取每个笔记信息的相似度匹配结果；

第二添加子单元，用于响应于每个笔记信息的相似度匹配结果均不满足相似度匹配条件，将所述当前笔记信息添加至所述笔记信息队列中。

可选的，所述装置还包括：

放弃单元，用于响应于任意一个笔记信息的相似度匹配结果满足匹配条件，放弃所述当前笔记信息，且触发执行所述获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息的操作。

可选的，所述装置还包括复习单元；

所述复习单元，包括：

第四获取子单元，用于在复习模式中，响应于将获取的当前第二图像显示于第二用户界面的演示窗口，获取所述当前第二图像的第二图像标识信息和图像尺寸，其中，所述当前第二图像是指复习时接收的用于在第二用户界面的演示窗口播放的所述演示文稿图像，所述当前第二图像的图像尺寸与所述当前第一图像的图像尺寸相同；

第五获取子单元，用于基于所述第二图像标识信息获取所述当前第二图像的所有笔记信息；

位置转换子单元，用于基于所述演示窗口的窗口尺寸与所述当前第二图像的图像尺寸的比值将每个笔记信息中的区域位置信息转换成所述演示窗口中的对应位置信息；

控件生成子单元，用于在所述演示窗口中，基于每个笔记信息的至少一个对应位置信息分别生成隐藏控件；

控件触发子单元，用于响应于所述隐藏控件的触发，从所述笔记信息中获取与所述隐藏控件相关的当前笔记信息；

将所述当前笔记信息中的音频片段加载至所述第二用户界面中音频窗口的播放器中，以及将所述当前笔记信息中的至少一个推荐文本显示于所述第二用户界面的文本窗口中。

本公开实施例提供了一种在网络课堂中自动生成电子笔记的装置，使听课学生能够专注于授课教师的授课过程，提高了听课的连贯性和听课效果。不仅为复习学生提供了笔迹的文本信息，而且还提供了与文本信息相关的授课教师的音频片段。不仅满足了学生防备知识遗忘，增强理解的文字需求，而且提供了原音重现的功能，进而提高了复习的有效性和效率。

实施例3

如图4所示，本实施例提供一种电子设备，所述电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上实施例所述的方法步骤。

实施例4

本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行如上实施例所述的方法步骤。

实施例5

下面参考图4，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备操作所需的各种程序和数据。处理装置401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置405；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

Claims (10)

1.一种网络教学的笔记生成方法，其特征在于，包括：

在笔记模式中，获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息，其中，所述当前视频是指听课时播放的授课教师的授课视频，所述当前第一图像是指听课时接收的用于显示在第一用户界面上的演示文稿图像，且与所述当前视频中的授课内容同步播放，所述音频片段包括一个完整的语义，用于讲解所述当前第一图像中的教学内容，每个语句文本包括一个完整的语义；

对所述音频片段进行音频语义分析，获取第一关键词组，其中，所述第一关键词组包括至少两个第一关键词；

对每个语句文本分别进行文本语义分析，获取对应语句文本的第二关键词组，其中，所述第二关键词组包括对应语句文本中的至少两个第二关键词；

自所有第二关键词组中获取一个匹配关键词组，所述匹配关键词组与所述第一关键词组的对比结果满足预设匹配条件；

获取所述匹配关键词组对应的当前语句文本在所述当前第一图像中对应的至少一个区域位置信息，以及基于所述第一关键词组获取至少一个当前推荐文本；

基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息。

2.根据权利要求1所述的方法，其特征在于，所述自所有第二关键词组中获取一个匹配关键词组，包括：

获取第一数量和至少一个第二数量，所述第一数量为所述第一关键词组中第一关键词的数量，所述第二数量为所述第二关键词组中第二关键词的数量；

响应于所述第二关键词组的第二数量小于或等于所述第一数量，确定所述第二关键词组为第一待选关键词组；

将所述第一待选关键词组与所述第一关键词组进行对比，获取第三数量和第四数量，其中，所述第三数量为所述第一待选关键词组中的第二关键词存在于所述第一关键词组中的数量，所述第四数量为所述第一待选关键词组中的第二关键词不存在于所述第一关键词组中的数量；

计算所述第一待选关键词组的第三数量与所述第一关键词组的第一数量的比值，获得所述第一待选关键词组的第一比值；

确定所述第一比值最大的第一待选关键词组为第二待选关键词组；

计算所述第二待选关键词组的第四数量与所述第一关键词组的第一数量的比值，获得所述第二待选关键词组的第二比值；

确定所述第二比值最小的第二待选关键词组为匹配关键词组。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息，包括：

基于所述至少一个当前推荐文本确定一个最优推荐文本；

基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述最优推荐文本生成所述当前语句文本的当前笔记信息。

4.根据权利要求1所述的方法，其特征在于，在所述基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息后，还包括：

响应于不存在与所述当前语句文本相关联的笔记信息队列，创建一个与所述当前语句文本相关联的笔记信息队列；

将所述当前语句文本的当前笔记信息添加至所述笔记信息队列中。

5.根据权利要求1所述的方法，其特征在于，在所述基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息后，还包括：

响应于存在与所述当前语句文本相关联的笔记信息队列，将所有当前推荐文本与所述笔记信息队列中的每个笔记信息的所有推荐文本进行相似度匹配，获取每个笔记信息的相似度匹配结果；

响应于每个笔记信息的相似度匹配结果均不满足相似度匹配条件，将所述当前笔记信息添加至所述笔记信息队列中。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

响应于任意一个笔记信息的相似度匹配结果满足匹配条件，放弃所述当前笔记信息，且触发执行所述获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息的操作。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在复习模式中，响应于将获取的当前第二图像显示于第二用户界面的演示窗口，获取所述当前第二图像的第二图像标识信息和图像尺寸，其中，所述当前第二图像是指复习时接收的用于在第二用户界面的演示窗口播放的所述演示文稿图像，所述当前第二图像的图像尺寸与所述当前第一图像的图像尺寸相同；

基于所述第二图像标识信息获取所述当前第二图像的所有笔记信息；

基于所述演示窗口的窗口尺寸与所述当前第二图像的图像尺寸的比值将每个笔记信息中的区域位置信息转换成所述演示窗口中的对应位置信息；

在所述演示窗口中，基于每个笔记信息的至少一个对应位置信息分别生成隐藏控件；

响应于所述隐藏控件的触发，从所述笔记信息中获取与所述隐藏控件相关的当前笔记信息；

将所述当前笔记信息中的音频片段加载至所述第二用户界面中音频窗口的播放器中，以及将所述当前笔记信息中的至少一个推荐文本显示于所述第二用户界面的文本窗口中。

8.一种网络教学的笔记生成装置，其特征在于，包括：

第一获取单元，用于在笔记模式中，获取网络教学中当前视频的音频片段和当前第一图像中的所有语句文本以及所述当前第一图像的第一图像标识信息，其中，所述当前视频是指听课时播放的授课教师的授课视频，所述当前第一图像是指听课时接收的用于显示在第一用户界面上的演示文稿图像，且与所述当前视频中的授课内容同步播放，所述音频片段包括一个完整的语义，用于讲解所述当前第一图像中的教学内容，每个语句文本包括一个完整的语义；

音频分析单元，用于对所述音频片段进行音频语义分析，获取第一关键词组，其中，所述第一关键词组包括至少两个第一关键词；

文本分析单元，用于对每个语句文本分别进行文本语义分析，获取对应语句文本的第二关键词组，其中，所述第二关键词组包括对应语句文本中的至少两个第二关键词；

匹配单元，用于自所有第二关键词组中获取一个匹配关键词组，所述匹配关键词组与所述第一关键词组的对比结果满足预设匹配条件；

第二获取单元，用于获取所述匹配关键词组对应的当前语句文本在所述当前第一图像中对应的至少一个区域位置信息，以及基于所述第一关键词组获取至少一个当前推荐文本；

笔记生成单元，用于基于所述第一图像标识信息、所述至少一个区域位置信息、所述音频片段和所述至少一个当前推荐文本生成所述当前语句文本的当前笔记信息。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。

Images