CN117079222B - 一种基于课堂音视频智能分析的教案生成方法和系统 - Google Patents

Abstract

本申请涉及一种基于课堂音视频智能分析的教案生成方法和系统，其包括步骤当接收到上课指令时，实时获取教室课堂的视频数据和音频数据；基于视频数据和音频数据识别当前的课堂场景；若当前课堂场景为问答场景，则将当前获得音频数据发送至音频识别模型，音频识别模型对音频数据进行文字转换得到问答文本，并对问答文本进行语义分析，输出问答结果；若当前课堂场景为练习场景，则基于视频数据获取各个学生的桌面图像，并从桌面图像中获取到学生的练习题数据，输出练习题的作答结果；筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材发送至该节课的授课教师的用户端。本申请具有提高教师对于课程教案的备课效率的效果。

Description

一种基于课堂音视频智能分析的教案生成方法和系统

技术领域

本申请涉及智慧教育的技术领域，尤其是涉及一种基于课堂音视频智能分析的教案生成方法和系统。

背景技术

随着多媒体在教育领域的智能化运用，目前，关于教师的课堂教学备课，普遍采用电子版的课程教案，教师根据当前课程从教材库中选取对应的教案素材，根据教案模板对教案素材进行排版得到课程教案。

现有课程教案筛选时，教师会基于上一堂课中学生的知识掌握程度，适当挑选上一堂课中学生较难掌握或重点需要掌握的教案素材，加入到本节课的课程教案中，以巩固学生的知识。但教案素材繁多，教师需花时间回顾课堂和筛选教案素材，消耗的人力较大，因此需要改进。

发明内容

为了提高教师对于课程教案的备课效率；本申请提供了一种基于课堂音视频智能分析的教案生成方法和系统。

本申请的上述发明目的一是通过以下技术方案得以实现的：

一种基于课堂音视频智能分析的教案生成方法，包括步骤：

当接收到上课指令时，位于教室内的吊顶摄像终端实时获取教室课堂的视频数据和音频数据；

基于视频数据和音频数据识别当前的课堂场景，课堂场景包括问答场景和练习场景；

若当前课堂场景为问答场景，则将当前获得音频数据发送至音频识别模型，音频识别模型对音频数据进行文字转换得到问答文本，并对问答文本进行语义分析，输出问答结果，问答结果包括回答正确和回答错误；

若当前课堂场景为练习场景，则基于视频数据获取各个学生的桌面图像，并从桌面图像中获取到学生的练习题数据，输出练习题的作答结果，作答结果包括作答正确和作答错误；

筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材；

将教案素材发送至该节课的授课教师的用户端。

通过采用上述技术方案，当教师的课堂开始时，教室内吊顶设备获取教师内的视频画面和教室内师生的音频，通过视频数据和音频数据优先识别当前课堂的场景，课堂场景包括了老师让学生起立回答问题的交流对话场景和全班学生一起做课堂练习的场景，通过视频画面中的动作、语音进行分析即可确定对应的场景，进一步的，在问答场景时，通过音频识别模型对问答场景的音频进行文字转化得到问答文本，再通过语义分析能够确定该次师生问答中，学生回答的结果为正确或错误，即实现通过音频识别来判断学生是否掌握该课堂知识点；而在课堂练习场景时，通过对视频数据中的学生桌面画面进行抽帧，并将学生桌面练习题的习题、答案部分的文字进行提取，判断学生各个习题的作答结果是正确或错误，实现通过视频数据判断学生是否掌握该节课的知识点。

因此，通过对课堂视频数据和音频数据的获取、识别分析，在能够体现学生是否掌握课堂知识点的课堂环节进行视频数据和音频数据的分析，得到该节课上学生对于相关问题、习题的回答、作答情况，从学生回答错误的文本和作答错误的习题能够反映学生对于本节课中尚未掌握的知识点的情况，进而在教案生成过程中，能够基于上一节课堂中回答错误和作答错误的问题和习题，自动筛选出对应知识点的教案素材用于下节课的知识点回顾，提高教师对于课程教案的备课效率。

本申请在一较佳示例中：所述基于视频数据和音频数据识别当前的课堂场景，课堂场景包括问答场景和练习场景的步骤，包括步骤：

每隔一段间隔时长，从视频数据中获取若干帧课堂图像，并获取该间隔时长内的音频段；

将若干课堂图像发送至场景判断模型，识别课堂图像中学生、教师的动作并与场景判断模型中的预存图像进行图像特征比对，判断图像比对结果，图像比对结果包括问答场景图像和练习场景图像；

识别该间隔时长内的音频段中是否包含问答场景或练习场景的关键词段；

若音频段中包含问答场景的关键词段，则判断当前音频段为问答场景音频，若音频段中包含练习场景的关键词段，则判断当前音频段为练习场景音频；

间隔时长内，若课堂图像判断为问答场景图像或音频段判断为问答场景音频段，则当前课堂场景为问答场景；

间隔时长内，若课堂图像判断为练习场景图像或音频段判断为练习场景音频段，则当前课堂场景为练习场景。

通过采用上述技术方案，通过取间隔时长内的音视频，并利用场景判断模型进行图像特征比对，例如通过识别个别学生举手、起立跟站在讲台的老师的画面来判断为问答场景图像，通过识别全班学生低头握笔做桌面练习题的图像来判定是练习场景图像，同时，通过音频识别获取同个间隔时长内的音频段中的关键词段，例如通过识别音频段中教师的提问文字段和学生回答该问题的文字段来判定为问答场景音频段，通过识别教师发出的开始作课堂练习的音频段来识别为练习场景音频段。

进一步，通过逻辑或的关系，若课堂图像为问答场景图像或音频段为问答场景音频段，即判断当前课堂场景为问答场景；若课堂课堂图像为练习场景音频段或音频段为练习场景音频段，则判断当前课堂场景为练习场景，提高判断的准确性。

本申请在一较佳示例中：回答错误的答题文本标记为错误文本，作答错误的练习题数据标记为错误习题，所述筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材的步骤，包括步骤：

识别并提取错误文本的知识点关键词和章节关键词、错误习题的知识点关键词和章节关键词；

将属于同一错误文本的知识点关键词和章节关键词进行关联，将属于同一错误习题的知识点关键词和章节关键词进行关联；

将关联后的知识点关键词和章节关键词发送至教案素材匹配模型，教案素材匹配模型存储有与不同教案素材关联的若干关键词集；

判定相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材，得到错误文本、错误习题各自对应的教案素材。

通过采用上述技术方案，错误文本的音频中包含了教师提问是说出的章节的音频段，因此错误文本中会被识别到含有章节关键词，而错误习题中，习题的题干则记载有章节信息作为用于被识别的章节关键词，再将同个错误文本的知识点关键词和章节关键词关联，同个错误习题的知识点关键词和章节关键词关联后，发送至教案素材匹配模型用于判断所输入的知识点关键词和章节关键词所归属的关键词集，不同错误文本、错误习题中的知识点关键词、章节关键词有可能归属于同个关键词集。

进一步获取所归属关键词集所关联的教案素材，得到本节课中所有错误文本、错误习题所对应的教案素材，且所筛选的教案素材不会出现重复的情况。

本申请在一较佳示例中：关键词集中包含了章节信息和知识点信息，所述判定相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材，得到错误文本、错误习题各自对应的教案素材的步骤，包括步骤：

将章节关键词与所有关键词集中的章节信息进行比对，判断并筛选出章节关键词所归属的待判定关键词集；

将与该章节关键词关联的知识点关键词，与待判定关键词集中的知识点信息进行比对，判定出相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材。

通过采用上述技术方案，在判断知识点关键词和章节关键词归属哪个关键词集时，先进行错误文本或错误习题中的章节关键词与章节信息的比对，再进行知识点关键词和知识点信息的比对，由于章节关键词更具确定性，此比对方式能够提高关键词集确定的效率，进一步提高教案素材的筛选效率。

本申请在一较佳示例中：若识别任一错误文本或错误习题时，仅识别、提取到知识点关键词，则所述筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材的步骤，包括步骤：

将知识点关键词与关键词集中的知识点信息进行比对；

若判断筛选出的关键词集包括了两个或以上，则识别该节课上其余错误文本或错误习题的章节关键词，作为辅助识别的章节关键词；

基于辅助识别的章节关键词和知识点关键词，判定该仅识别出知识点关键词的错误文本或错误习题对应的关键词集。

通过采用上述技术方案，若错误文本或错误习题在识别的时候，未能识别出章节关键词，则在进行知识点关键词的所属关键词集的判定时，由于少了一个章节关键词的判断条件，则仅通过知识点关键词来判断，若知识点关键词判定属于一个关键词集，则获取该关键词集关联的教案素材，若知识点关键词判定属于两个或以上的关键词集，即在无法确定唯一归属的关键词集时，则基于同一节课上的知识点均属于同一章节或临近章节，通过识别该节课其余产生的错误文本或错误习题的章节关键词，作为辅助识别的章节关键词，能够辅助判断出当前知识点关键词所属的一个关键词集。

本申请在一较佳示例中：所述将教案素材发送至该节课的授课教师的用户端的步骤之后，执行如下步骤：

当接收到下课指令时，将本节课中所归属的关键词集相同的错误文本和错误习题进行归类并统计数量；

若相同关键词集的错误文本和错误习题相加的数量大于预设值，则筛选出对应的教案素材及该教案素材关联的练习题数据；

若所归属的相同的关键词集中仅出现错误习题，则仅筛选出该错误习题作为教案素材。

通过采用上述技术方案，在该课堂下课时，统计各个知识点出现错误文本、错误习题的数量，若错误文本加错误习题的数量大于预设值，则证明该知识点未掌握的学生的数量较多，则需要筛选出该教案素材的同时，将相关的练习题数据也一同筛选出，用于加强大部分未掌握该知识点的学生的学习，而当相同知识点中仅出现错误习题，则仅筛选出该错误习题作为教案素材，能够更有针对性地讲解该未能掌握的知识点。

本申请的上述发明目的二是通过以下技术方案得以实现的：

一种基于课堂音视频智能分析的教案生成系统，包括：

音视频获取模块，用于当接收到上课指令时，位于教室内的吊顶摄像终端实时获取教室课堂的视频数据和音频数据；

场景判断模块，用于基于视频数据和音频数据识别当前的课堂场景，课堂场景包括问答场景和练习场景；

问答判断模块，用于若当前课堂场景为问答场景，则将当前获得音频数据发送至音频识别模型，音频识别模型对音频数据进行文字转换得到问答文本，并对问答文本进行语义分析，输出问答结果，问答结果包括回答正确和回答错误；

习题判断模块，用于若当前课堂场景为练习场景，则基于视频数据获取各个学生的桌面图像，并从桌面图像中获取到学生的练习题数据，输出练习题的作答结果，作答结果包括作答正确和作答错误；

教案素材筛选模块，用于筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材；

教案发送模块，用于将教案素材发送至该节课的授课教师的用户端。

通过采用上述技术方案，当教师的课堂开始时，教室内吊顶设备获取教师内的视频画面和教室内师生的音频，通过视频数据和音频数据优先识别当前课堂的场景，课堂场景包括了老师让学生起立回答问题的交流对话场景和全班学生一起做课堂练习的场景，通过视频画面中的动作、语音进行分析即可确定对应的场景，进一步的，在问答场景时，通过音频识别模型对问答场景的音频进行文字转化得到问答文本，再通过语义分析能够确定该次师生问答中，学生回答的结果为正确或错误，即实现通过音频识别来判断学生是否掌握该课堂知识点；而在课堂练习场景时，通过对视频数据中的学生桌面画面进行抽帧，并将学生桌面练习题的习题、答案部分的文字进行提取，判断学生各个习题的作答结果是正确或错误，实现通过视频数据判断学生是否掌握该节课的知识点。

因此，通过对课堂视频数据和音频数据的获取、识别分析，在能够体现学生是否掌握课堂知识点的课堂环节进行视频数据和音频数据的分析，得到该节课上学生对于相关问题、习题的回答、作答情况，从学生回答错误的文本和作答错误的习题能够反映学生对于本节课中尚未掌握的知识点的情况，进而在教案生成过程中，能够基于上一节课堂中回答错误和作答错误的问题和习题，自动筛选出对应知识点的教案素材用于下节课的知识点回顾，提高教师对于课程教案的备课效率。

可选的，场景判断模块包括：

获取子模块，用于每隔一段间隔时长，从视频数据中获取若干帧课堂图像，并获取该间隔时长内的音频段；

图像特征比对子模块，用于将若干课堂图像发送至场景判断模型，识别课堂图像中学生、教师的动作并与场景判断模型中的预存图像进行图像特征比对，判断图像比对结果，图像比对结果包括问答场景图像和练习场景图像；

音频段识别子模块，用于识别该间隔时长内的音频段中是否包含问答场景或练习场景的关键词段；

关键词段判定子模块，用于若音频段中包含问答场景的关键词段，则判断当前音频段为问答场景音频，若音频段中包含练习场景的关键词段，则判断当前音频段为练习场景音频；

回答场景判定子模块，用于间隔时长内，若课堂图像判断为问答场景图像或音频段判断为问答场景音频段，则当前课堂场景为问答场景；

联系场景判定子模块，用于间隔时长内，若课堂图像判断为练习场景图像或音频段判断为练习场景音频段，则当前课堂场景为练习场景。

本申请的上述目的三是通过以下技术方案得以实现的：

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于课堂音视频智能分析的教案生成方法的步骤。

本申请的上述目的四是通过以下技术方案得以实现的：

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于课堂音视频智能分析的教案生成方法的步骤。

综上所述，本申请包括以下至少一种有益技术效果：

通过对课堂视频数据和音频数据的获取、识别分析，在能够体现学生是否掌握课堂知识点的课堂环节进行视频数据和音频数据的分析，得到该节课上学生对于相关问题、习题的回答、作答情况，从学生回答错误的文本和作答错误的习题能够反映学生对于本节课中尚未掌握的知识点的情况，进而在教案生成过程中，能够基于上一节课堂中回答错误和作答错误的问题和习题，自动筛选出对应知识点的教案素材用于下节课的知识点回顾，提高教师对于课程教案的备课效率；

通过逻辑或的关系，若课堂图像为问答场景图像或音频段为问答场景音频段，即判断当前课堂场景为问答场景；若课堂课堂图像为练习场景音频段或音频段为练习场景音频段，则判断当前课堂场景为练习场景，提高判断的准确性；

错误习题中，习题的题干则记载有章节信息作为用于被识别的章节关键词，再将同个错误文本的知识点关键词和章节关键词关联，同个错误习题的知识点关键词和章节关键词关联后，发送至教案素材匹配模型用于判断所输入的知识点关键词和章节关键词所归属的关键词集，不同错误文本、错误习题中的知识点关键词、章节关键词有可能归属于同个关键词集；

在判断知识点关键词和章节关键词归属哪个关键词集时，先进行错误文本或错误习题中的章节关键词与章节信息的比对，再进行知识点关键词和知识点信息的比对，由于章节关键词更具确定性，此比对方式能够提高关键词集确定的效率，进一步提高教案素材的筛选效率。

附图说明

图1是本申请一基于课堂音视频智能分析的教案生成方法实施例的一流程图；

图2是本申请一种基于课堂音视频智能分析的教案生成方法中学生桌面图像的示意图；

图3是本申请一种基于课堂音视频智能分析的教案生成方法中步骤S20的一实现流程图；

图4是本申请一种基于课堂音视频智能分析的教案生成方法中步骤S50的一实现流程图；

图5是本申请一种基于课堂音视频智能分析的教案生成方法中步骤S50的另一实现流程图；

图6是本申请一种基于课堂音视频智能分析的教案生成方法中步骤S50之后的一实现流程图；

图7是本申请一种计算机设备的一原理框图。

具体实施方式

以下结合附图1-7对本申请作进一步详细说明。

在一实施例中，如图1所示，本申请公开了一种基于课堂音视频智能分析的教案生成方法，具体包括如下步骤：

S10：当接收到上课指令时，位于教室内的吊顶摄像终端实时获取教室课堂的视频数据和音频数据；

在本实施例中，上课指令由教师触发，可通过教室内多媒体触发上课指令，或通过声音识别来发出上课指令，用于触发音频数据和视频数据的获取。教室内的吊顶摄像终端为广角摄像装置，其具有摄像、摄影和数据发送、接收等功能，吊顶摄像终端基于教室面积大小可固定多个以覆盖获取到教室内的全景画面。

视频数据是指教室内的全景的画面录像，参照图2，视频数据中还包括全班每一个学生的桌面图像，且可以拍摄到桌面的联系本。音频数据由教室内的拾音设备进行获取，音频数据是指教室内学生、教师发出的声音音频。

具体的，当接收到代表课堂开始的上课指令时，位于教室内的吊顶摄像终端和拾音设备终端开始获取教室内的视频画面和教师、学生在课堂上的音频。

S20：基于视频数据和音频数据识别当前的课堂场景，课堂场景包括问答场景和练习场景；

在本实施例中，课堂场景是预先设定的用于区分课堂上不同授课环节，通过对课堂的视频画面和上课时师生的音频，进行图像识别和语义分析能够确定当前所处的课堂场景。

问答场景是指教师课堂提问该节课相关知识的问题，同学举手、起立回答问题的场景。

练习场景是指课堂上全班学生做练习题的场景，练习题包括但不限于判断题、选择题以及简答题。课堂场景还包括教师讲课，学生听课的听讲场景和学生以小组为单位的讨论场景。

具体的，课堂上课过程中，通过识别实时的视频数据和音频数据，确定当前课堂场景，并确定课堂场景是否为问答场景或练习场景。

S30：若当前课堂场景为问答场景，则将当前获得音频数据发送至音频识别模型，音频识别模型对音频数据进行文字转换得到问答文本，并对问答文本进行语义分析，输出问答结果，问答结果包括回答正确和回答错误；

在本实施例中，音频识别模型是经过训练的用于将音频转化为文字，即转换为问答文本，并对问答文本进行上下文语义分析的模型，模型中存储着各个年级知识点，通过语义分析，能够判断学生在问答场景是否正确回答教师提出的问题。输出问答结果，回答正确代表学生正确回答老师提出的问题，回答错误则代表学生回答错误或未回答老师提出的问题。

具体的，若当前的课堂场景为问答场景，则将当前获得的音频数据发送至音频识别模型，音频识别模型将音频数据转换为回答文本，并基于上下文的回答文本判断学生是否正确回答教师在问答环节提出的问题。

S40：若当前课堂场景为练习场景，则基于视频数据获取各个学生的桌面图像，并从桌面图像中获取到学生的练习题数据，输出练习题的作答结果，作答结果包括作答正确和作答错误；

在本实施例中，从学生的桌面图像能够获取到放置在学生桌面上的练习题图像，从练习题图像上课提取到练习题数据，即提取练习题的文本，练习题数据包括学生的作答答案，通过将学生的作答答案与预设数据库内练习题的正确答案进行比对，即能够判断出学生的作答结果是作答正确或作答错误。

具体的，若当前课堂场景判断为练习场景时，则基于视频数据获取各个学生的桌面图像，以获取到学生桌面上练习题的文本，将完成作答的答练习题文本与预存储的练习题的正确答案进行比对，判断该练习题的作答结果是否正确。

进一步，学生做题需要时间，做题过程中间隔地获取学生的练习题数据且仅判断已完成作答的练习题数据，已经输出作答结果的练习题则不再进行判断。

S50：筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材；

在本实施例中，教案素材则是指该节课相关学科的相关章节知识点文本。

具体的，筛选出与回答错误的问答文本和作答错误的练习题文本对应的该节课相关章节知识点文本。

S60：将教案素材发送至该节课的授课教师的用户端。

在本实施例中，教案素材以图文的形式发送至教师的用户端，教师的用户端包括PC端或移动PC端和移动终端。

在一实施例中，参照图3，步骤S20包括步骤：

S21：每隔一段间隔时长，从视频数据中获取若干帧课堂图像，并获取该间隔时长内的音频段；

S22：将若干课堂图像发送至场景判断模型，识别课堂图像中学生、教师的动作并与场景判断模型中的预存图像进行图像特征比对，判断图像比对结果，图像比对结果包括问答场景图像和练习场景图像；

S23：识别该间隔时长内的音频段中是否包含问答场景或练习场景的关键词段；

S24：若音频段中包含问答场景的关键词段，则判断当前音频段为问答场景音频，若音频段中包含练习场景的关键词段，则判断当前音频段为练习场景音频；

S25：间隔时长内，若课堂图像判断为问答场景图像或音频段判断为问答场景音频段，则当前课堂场景为问答场景；

S26：间隔时长内，若课堂图像判断为练习场景图像或音频段判断为练习场景音频段，则当前课堂场景为练习场景。

在本实施例中，间隔时长通常设置在2秒至5秒，课堂图像的获取设置在每0.5秒获取一帧。

场景判断模型中存储了能够代表问答场景、练习场景的图像数据库，每个图像数据库中存储了能够代表该场景的多张图像，例如问答场景的图书数据库中预存储了多张教师位于不同位置，单个、或多个学生起立、举手的图像，练习场景数据库则存储多张学生低头做课堂练习的图像。

且场景判断模型中存储了代表问答场景和练习场景的关键词段，例如问答场景中包括但不限于“挑选/有请一位同学来回答这个问题”、“请回答”、“回答老师的问题”、“回答问题”等问答场景的关键词段。练习场景中则包括“开始作答”、“开始课堂练习”等关键词段。

课堂场景的判断采用逻辑或的关系进行判断，即课堂图像和关键词段两个识别条件，只要有一个识别确定课堂场景，即能够确定当前的课堂场景。

具体的，每隔一段预设的间隔时长，获取从视频数据中提取到的若干帧课堂图像和该间隔时长的音频段，将课堂图像发送至场景判断模型，与场景判断模型中的图像数据库进行图像特征比对，输出该课堂图像所属的课堂场景，同时，通过将音频段转换为文本，识别该音频段中是否包含能够代表课堂场景的关键词段。

进一步，通过逻辑或的关系判断间隔时长内的课堂图像是否属于问答场景图像或练习场景图像、判断间隔时长内的音频段是否属于问答场景音频段或联系场景音频段。

若课堂图像判断为问答场景图像或音频段判断为问答场景音频段，则当前课堂场景为问答场景；若课堂图像判断为练习场景图像或音频段判断为练习场景音频段，则当前课堂场景为练习场景。

在一实施例中，回答错误的答题文本标记为错误文本，作答错误的练习题数据标记为错误习题，参照图4，步骤S50包括步骤：

S51：识别并提取错误文本的知识点关键词和章节关键词、错误习题的知识点关键词和章节关键词；

S52：将属于同一错误文本的知识点关键词和章节关键词进行关联，将属于同一错误习题的知识点关键词和章节关键词进行关联；

S53：将关联后的知识点关键词和章节关键词发送至教案素材匹配模型，教案素材匹配模型存储有与不同教案素材关联的若干关键词集；

S54：判定相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材，得到错误文本、错误习题各自对应的教案素材。

在本实施例中，知识点关键词是指错误文本或错误习题中能够体现出相关教案知识点的文本，章节关键词是指错误文本或错误习题中能够代表该问题所出现的教案章节的文本，教师在问答环节提问问题时，需先说出该问题所在的章节，错误习题中的章节关键词则出现在题干中。

素材匹配模型是经过训练的用于将文字语义分析并识别匹配的模型。用于将错误文本或错误习题匹配至对应教案素材的关键词集中。关键词集中存储有与关联的教案素材的多个知识点关键词和章节关键词。

具体的，识别并提取错误文本的知识点关键词和章节关键词、识别并提取错误习题的知识点关键词和章节关键词，将同一错误文本的知识点关键词和章节关键词关联，将同一错误习题的知识点关键词和章节关键词关联，以相互关联的知识点关键词和章节关键词为一组关键词组，将该节课产生的关键词组逐个发送至教案素材匹配模型。

教案素材匹配模型判断关键词组所归属的关键词集，得到归属的关键词集后，将该关键词集所关联的教案素材筛选出，得到错误文本、错误习题各自对应的教案素材。

进一步，若错误文本与错误习题对应的教案素材相同，则相同的教案素材只筛选出一次。

在一实施例中，关键词集中包含了章节信息和知识点信息，步骤S54包括步骤：

S541：将章节关键词与所有关键词集中的章节信息进行比对，判断并筛选出章节关键词所归属的待判定关键词集；

S542：将与该章节关键词关联的知识点关键词，与待判定关键词集中的知识点信息进行比对，判定出相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材。

在本实施例中，章节关键词是代表教学材料的章节的序号，也包括代表每个章节中每个小节的序号，每个关键词集包含单个或多个章节关键词。

具体的，将章节关键词与所有关键词集中包含的章节信息进行比对，筛选出章节关键词所归属的待判定关键词集，待判定关键词集的数量包括一个或两个及以上的情况。

进一步，获取与该章节关键词关联的知识点关键词，将知识点关键词与筛选出的待判定关键词集中的知识点信息进行比对，确定该知识点关键词和章节关键词所归属的唯一一个关键词集，筛选出该关键词集关联的教案素材。

在一实施例中，若识别任一错误文本或错误习题时，仅识别、提取到知识点关键词，参照图5，步骤S50包括步骤：

S51A：将知识点关键词与关键词集中的知识点信息进行比对；

S52A：若判断筛选出的关键词集包括了两个或以上，则识别该节课上其余错误文本或错误习题的章节关键词，作为辅助识别的章节关键词；

S53A：基于辅助识别的章节关键词和知识点关键词，判定该仅识别出知识点关键词的错误文本或错误习题对应的关键词集。

在本实施例中，仅识别、提取到知识点关键词，是指错误文本或错误习题中未提取到相关的章节关键词的情况。

由于知识点关键词的词组较短且很难具有唯一性，因此根据知识点关键词判定归属的关键词集数量可能含有两个或以上。

具体的，当错误文本或错误习题在进行关键词识别，仅识别到知识点关键词时，将知识点关键词与关键词集中的知识点信息进行比对，若判断筛选出的关键词集唯一时，则筛选出该关键词集关联的教案素材作为该错误文本或错误习题的教案素材。

若判断筛选出的关键词集包括了两个或以上，由于同一节课上知识点的章节一致或临近，则识别该节课上其余的错误文本或错误习题的章节关键词，作为辅助该仅识别到知识点关键词的错误文本或错误习题判断的章节关键词，即从辅助识别的章节关键词对应的关键词集中识别是否包含上述仅识别到的知识点关键词。

或识别该知识点关键词归属的若干关键词集中，哪一个关键词集中的章节信息与辅助识别的章节关键词接近或一致，以判定该仅识别到知识点关键词的错误文本或错误习题对应的关键词集。

在一实施例中，参照图6，步骤S60之后，还执行如下步骤：

S61：当接收到下课指令时，将本节课中所归属的关键词集相同的错误文本和错误习题进行归类并统计数量；

S62：若相同关键词集的错误文本和错误习题相加的数量大于预设值，则筛选出对应的教案素材及该教案素材关联的练习题数据；

S63：若所归属的相同的关键词集中仅出现错误习题，则仅筛选出该错误习题作为教案素材。

在本实施例中，下课指令同样由教师在教室内通过多媒体或者语音识别发出。预设值的设定，用于判定该知识点未掌握的学生数量大小，未掌握的学生人数较多，则在教案素材的筛选时，除了筛选出对应的教案素材时，也将教案素材关联的练习题一起筛选出来用于巩固学生对该知识点的学习。

具体的，当接收到教室在课堂上发出的下课指令时，

若归属的相同关键词集中仅出现错误习题，未出现错误文本，则仅筛选出该错误习题作为教案素材。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在一实施例中，提供一种基于课堂音视频智能分析的教案生成系统，该一种基于课堂音视频智能分析的教案生成系统与上述实施例中一种基于课堂音视频智能分析的教案生成方法对应。该一种基于课堂音视频智能分析的教案生成系统包括：

音视频获取模块，用于当接收到上课指令时，位于教室内的吊顶摄像终端实时获取教室课堂的视频数据和音频数据；

场景判断模块，用于基于视频数据和音频数据识别当前的课堂场景，课堂场景包括问答场景和练习场景；

问答判断模块，用于若当前课堂场景为问答场景，则将当前获得音频数据发送至音频识别模型，音频识别模型对音频数据进行文字转换得到问答文本，并对问答文本进行语义分析，输出问答结果，问答结果包括回答正确和回答错误；

习题判断模块，用于若当前课堂场景为练习场景，则基于视频数据获取各个学生的桌面图像，并从桌面图像中获取到学生的练习题数据，输出练习题的作答结果，作答结果包括作答正确和作答错误；

教案素材筛选模块，用于筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材；

教案发送模块，用于将教案素材发送至该节课的授课教师的用户端。

可选的，场景判断模块包括：

获取子模块，用于每隔一段间隔时长，从视频数据中获取若干帧课堂图像，并获取该间隔时长内的音频段；

图像特征比对子模块，用于将若干课堂图像发送至场景判断模型，识别课堂图像中学生、教师的动作并与场景判断模型中的预存图像进行图像特征比对，判断图像比对结果，图像比对结果包括问答场景图像和练习场景图像；

音频段识别子模块，用于识别该间隔时长内的音频段中是否包含问答场景或练习场景的关键词段；

关键词段判定子模块，用于若音频段中包含问答场景的关键词段，则判断当前音频段为问答场景音频，若音频段中包含练习场景的关键词段，则判断当前音频段为练习场景音频；

回答场景判定子模块，用于间隔时长内，若课堂图像判断为问答场景图像或音频段判断为问答场景音频段，则当前课堂场景为问答场景；

联系场景判定子模块，用于间隔时长内，若课堂图像判断为练习场景图像或音频段判断为练习场景音频段，则当前课堂场景为练习场景。

可选的，回答错误的答题文本标记为错误文本，作答错误的练习题数据标记为错误习题，教案素材筛选模块包括：

关键词识别子模块，用于识别并提取错误文本的知识点关键词和章节关键词、错误习题的知识点关键词和章节关键词；

关键词关联子模块，用于将属于同一错误文本的知识点关键词和章节关键词进行关联，将属于同一错误习题的知识点关键词和章节关键词进行关联；

关键词集判断子模块，用于将关联后的知识点关键词和章节关键词发送至教案素材匹配模型，教案素材匹配模型存储有与不同教案素材关联的若干关键词集；

教案素材筛选子模块，用于判定相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材，得到错误文本、错误习题各自对应的教案素材。

可选的，关键词集中包含了章节信息和知识点信息，教案素材筛选子模块包括：

章节关键词比对单元，用于将章节关键词与所有关键词集中的章节信息进行比对，判断并筛选出章节关键词所归属的待判定关键词集；

知识点关键词比对单元，用于将与该章节关键词关联的知识点关键词，与待判定关键词集中的知识点信息进行比对，判定出相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材。

可选的，若识别任一错误文本或错误习题时，仅识别、提取到知识点关键词，教案素材筛选模块包括：

知识点关键词比对子模块，用于将知识点关键词与关键词集中的知识点信息进行比对；

章节辅助比对子模块，用于若判断筛选出的关键词集包括了两个或以上，则识别该节课上其余错误文本或错误习题的章节关键词，作为辅助识别的章节关键词；

辅助判定子模块，用于基于辅助识别的章节关键词和知识点关键词，判定该仅识别出知识点关键词的错误文本或错误习题对应的关键词集。

可选的，还包括：

统计模块，用于当接收到下课指令时，将本节课中所归属的关键词集相同的错误文本和错误习题进行归类并统计数量；

错误数量比对模块，用于若相同关键词集的错误文本和错误习题相加的数量大于预设值，则筛选出对应的教案素材及该教案素材关联的练习题数据；

错误习题筛选模块，若所归属的相同的关键词集中仅出现错误习题，则仅筛选出该错误习题作为教案素材。

关于一种基于课堂音视频智能分析的教案生成系统的具体限定可以参见上文中对于一种基于课堂音视频智能分析的教案生成方法的限定，在此不再赘述。上述一种基于课堂音视频智能分析的教案生成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。

该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频数据和音频数据和教案素材、音频识别模型、场景判断模型、素材匹配模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于课堂音视频智能分析的教案生成方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现一种基于课堂音视频智能分析的教案生成方法；

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于课堂音视频智能分析的教案生成方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于课堂音视频智能分析的教案生成方法，其特征在于：包括步骤：

当接收到上课指令时，位于教室内的吊顶摄像终端实时获取教室课堂的视频数据和音频数据；

基于视频数据和音频数据识别当前的课堂场景，课堂场景包括问答场景和练习场景；

若当前课堂场景为问答场景，则将当前获得音频数据发送至音频识别模型，音频识别模型对音频数据进行文字转换得到问答文本，并对问答文本进行语义分析，输出问答结果，问答结果包括回答正确和回答错误；

若当前课堂场景为练习场景，则基于视频数据获取各个学生的桌面图像，并从桌面图像中获取到学生的练习题数据，输出练习题的作答结果，作答结果包括作答正确和作答错误；

筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材；

将教案素材发送至该节课的授课教师的用户端；

回答错误的答题文本标记为错误文本，作答错误的练习题数据标记为错误习题，所述筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材的步骤，包括步骤：

识别并提取错误文本的知识点关键词和章节关键词、错误习题的知识点关键词和章节关键词；

将属于同一错误文本的知识点关键词和章节关键词进行关联，将属于同一错误习题的知识点关键词和章节关键词进行关联；

将关联后的知识点关键词和章节关键词发送至教案素材匹配模型，教案素材匹配模型存储有与不同教案素材关联的若干关键词集；

判定相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材，得到错误文本、错误习题各自对应的教案素材；

关键词集中包含了章节信息和知识点信息，所述判定相互关联的知识点关键词和章节关键词所归属的关键词集，章节关键词是指错误文本或错误习题中能够代表该问题所出现的教案章节的文本，教师在问答环节提问问题时，需先说出该问题所在的章节，错误习题中的章节关键词则出现在题干中，筛选出该关键词集关联的教案素材，得到错误文本、错误习题各自对应的教案素材的步骤，包括步骤：

将章节关键词与所有关键词集中的章节信息进行比对，判断并筛选出章节关键词所归属的待判定关键词集；

将与该章节关键词关联的知识点关键词，与待判定关键词集中的知识点信息进行比对，判定出相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材；

若识别任一错误文本或错误习题时，仅识别、提取到知识点关键词，则所述筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材的步骤，包括步骤：

将知识点关键词与关键词集中的知识点信息进行比对；

若判断筛选出的关键词集包括了两个或以上，则识别该节课上其余错误文本或错误习题的章节关键词，作为辅助识别的章节关键词；

基于辅助识别的章节关键词和知识点关键词，判定该仅识别出知识点关键词的错误文本或错误习题对应的关键词集。

2.根据权利要求1所述的一种基于课堂音视频智能分析的教案生成方法，其特征在于：所述基于视频数据和音频数据识别当前的课堂场景，课堂场景包括问答场景和练习场景的步骤，包括步骤：

每隔一段间隔时长，从视频数据中获取若干帧课堂图像，并获取该间隔时长内的音频段；

将若干课堂图像发送至场景判断模型，识别课堂图像中学生、教师的动作并与场景判断模型中的预存图像进行图像特征比对，判断图像比对结果，图像比对结果包括问答场景图像和练习场景图像；

识别该间隔时长内的音频段中是否包含问答场景或练习场景的关键词段；

若音频段中包含问答场景的关键词段，则判断当前音频段为问答场景音频，若音频段中包含练习场景的关键词段，则判断当前音频段为练习场景音频；

间隔时长内，若课堂图像判断为问答场景图像或音频段判断为问答场景音频段，则当前课堂场景为问答场景；

间隔时长内，若课堂图像判断为练习场景图像或音频段判断为练习场景音频段，则当前课堂场景为练习场景。

3.根据权利要求1所述的一种基于课堂音视频智能分析的教案生成方法，其特征在于：所述将教案素材发送至该节课的授课教师的用户端的步骤之后，执行如下步骤：

当接收到下课指令时，将本节课中所归属的关键词集相同的错误文本和错误习题进行归类并统计数量；

若相同关键词集的错误文本和错误习题相加的数量大于预设值，则筛选出对应的教案素材及该教案素材关联的练习题数据；

若所归属的相同的关键词集中仅出现错误习题，则仅筛选出该错误习题作为教案素材。

4.一种基于课堂音视频智能分析的教案生成系统，其特征在于,包括:

音视频获取模块，用于当接收到上课指令时，位于教室内的吊顶摄像终端实时获取教室课堂的视频数据和音频数据；

场景判断模块，用于基于视频数据和音频数据识别当前的课堂场景，课堂场景包括问答场景和练习场景；

问答判断模块，用于若当前课堂场景为问答场景，则将当前获得音频数据发送至音频识别模型，音频识别模型对音频数据进行文字转换得到问答文本，并对问答文本进行语义分析，输出问答结果，问答结果包括回答正确和回答错误；

习题判断模块，用于若当前课堂场景为练习场景，则基于视频数据获取各个学生的桌面图像，并从桌面图像中获取到学生的练习题数据，输出练习题的作答结果，作答结果包括作答正确和作答错误；

教案素材筛选模块，用于筛选出与回答错误的问答文本和作答错误的练习题数据对应的教案素材；

教案发送模块，用于将教案素材发送至该节课的授课教师的用户端；

回答错误的答题文本标记为错误文本，作答错误的练习题数据标记为错误习题，教案素材筛选模块包括：

关键词识别子模块，用于识别并提取错误文本的知识点关键词和章节关键词、错误习题的知识点关键词和章节关键词；

关键词关联子模块，用于将属于同一错误文本的知识点关键词和章节关键词进行关联，将属于同一错误习题的知识点关键词和章节关键词进行关联；

关键词集判断子模块，用于将关联后的知识点关键词和章节关键词发送至教案素材匹配模型，教案素材匹配模型存储有与不同教案素材关联的若干关键词集；

教案素材筛选子模块，用于判定相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材，得到错误文本、错误习题各自对应的教案素材；

判定相互关联的知识点关键词和章节关键词所归属的关键词集，关键词集中包含了章节信息和知识点信息，章节关键词是指错误文本或错误习题中能够代表该问题所出现的教案章节的文本，教师在问答环节提问问题时，需先说出该问题所在的章节，错误习题中的章节关键词则出现在题干中教案素材筛选子模块包括：

章节关键词比对单元，用于将章节关键词与所有关键词集中的章节信息进行比对，判断并筛选出章节关键词所归属的待判定关键词集；

知识点关键词比对单元，用于将与该章节关键词关联的知识点关键词，与待判定关键词集中的知识点信息进行比对，判定出相互关联的知识点关键词和章节关键词所归属的关键词集，筛选出该关键词集关联的教案素材；

若识别任一错误文本或错误习题时，仅识别、提取到知识点关键词，教案素材筛选模块包括：

知识点关键词比对子模块，用于将知识点关键词与关键词集中的知识点信息进行比对；

章节辅助比对子模块，用于若判断筛选出的关键词集包括了两个或以上，则识别该节课上其余错误文本或错误习题的章节关键词，作为辅助识别的章节关键词；

辅助判定子模块，用于基于辅助识别的章节关键词和知识点关键词，判定该仅识别出知识点关键词的错误文本或错误习题对应的关键词集。

5.根据权利要求4所述的一种基于课堂音视频智能分析的教案生成系统，其特征在于,场景判断模块包括：

获取子模块，用于每隔一段间隔时长，从视频数据中获取若干帧课堂图像，并获取该间隔时长内的音频段；

图像特征比对子模块，用于将若干课堂图像发送至场景判断模型，识别课堂图像中学生、教师的动作并与场景判断模型中的预存图像进行图像特征比对，判断图像比对结果，图像比对结果包括问答场景图像和练习场景图像；

音频段识别子模块，用于识别该间隔时长内的音频段中是否包含问答场景或练习场景的关键词段；

关键词段判定子模块，用于若音频段中包含问答场景的关键词段，则判断当前音频段为问答场景音频，若音频段中包含练习场景的关键词段，则判断当前音频段为练习场景音频；

回答场景判定子模块，用于间隔时长内，若课堂图像判断为问答场景图像或音频段判断为问答场景音频段，则当前课堂场景为问答场景；

联系场景判定子模块，用于间隔时长内，若课堂图像判断为练习场景图像或音频段判断为练习场景音频段，则当前课堂场景为练习场景。

6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述一种基于课堂音视频智能分析的教案生成方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述一种基于课堂音视频智能分析的教案生成方法的步骤。