CN113747258A - 一种在线课程视频摘要生成系统和方法 - Google Patents

Abstract

本发明公开了一种在线课程视频摘要生成系统和方法，属于视频摘要领域。包括：读取在线课程视频资源，将相应课程视频资源下载并保存在本地；对读取到的在线课程视频，进行抽取关键视频帧的操作；对于抽取出的关键帧进行两两相似度对比和图片中文字数量筛选，识别出包含幻灯片的关键帧；对包含幻灯片的关键帧，以视频时间偏移为文件名称保存该幻灯片为缩略图，并对其中的内容进行分析形成摘要。本发明通过对在线课程视频的视频处理，以及文本识别提取技术，自动生成课程视频中幻灯片出现时间点，幻灯片内容概要等信息，形成视频摘要，具有很强的适用性，可用于各类在线课程视频的摘要，对当前学生自主学习的智能化有着较高价值。

Description

一种在线课程视频摘要生成系统和方法

技术领域

本发明属于视频摘要技术领域，更具体地，涉及一种在线课程视频摘要生成系统和方法。

背景技术

线上课程已经成为了学生教育的重要部分，是加强学生自学能力，减轻教师负担的重要途径。同一门课程，不同教育网站提供不同老师制作的在线课程视频资源，学生们只需要选择其中一种学习即可。面对形式内容纷繁多样的海量在线课程视频，如何快速浏览并选出自己满意的课程，成为学生在线上课程学习中面临的一大问题。随着互联网技术的快速发展，人工智能逐渐成为了新的研究热点并应用于各个领域，该技术对于视频的各种处理应用也已经十分成熟。例如，视频摘要技术，可以将一段长时间视频摘要成为简短片段来精简概括大致内容，很适合对在线课程视频进行一定的处理。这也为自动化选取在线课程提供了新的可能性。

视频摘要技术分为2类：静态摘要和动态摘要。静态摘要是通过视频的分析来截取其中的关键帧，输出形式为图片形式。动态摘要是利用数据聚类、机器学习模型等方法，在静态摘要的基础上合并关键帧来生成短片。目前视频分析主要包括：基于视频区域中颜色的识别、基于视频中对象的运动信息、结合音频的分析以及获取外部信息进行摘要，应用场景多用于安防监控视频、电影电视节目片花生成、体育赛事视频等。例如，CN103377294B中对基于色彩分布的分析，对视频内容镜头重要度做出判断，用于电影的片花生成。李大湘等人“基于运动轨迹聚类的监控视频摘要算法”中认为运动强度的大小会改变帧内编码宏块的数量和帧间编码宏块的运动矢量幅度，据此来分析物体运动强度，用于安防监控场景，可以剔除监控视频中没有大规模人员或者车辆运动的片段；倪宁等人“基于音频分析的视频场景检测”中通过对视频中的音频的幅频特性分析，来判断语言情绪并且作为视频的补充，可以对电影中人物镜头进行分析归类。还有借助外部资源来辅助分析视频内容的，于俊清等人“利用情感激励提取足球视频精彩镜头”中利用观众在观看足球比赛时的情感状态，构建情绪模型来分析足球比赛视频中的关键部分。

综上所述，对于一个视频如何分析来提取关键帧和重点信息，是技术重点。面对在线课程视频这样的对象，大多数以幻灯片放映和老师头像出现在视频中，显然没有固定的鲜明颜色、没有激烈的对象运动以及音频上的过多情绪起伏。同时借用外部资源来分析会大大加长分析时间。因此利用传统的视频分析方法难以达到快速生成可供学生理解和选择的视频概述。进一步来说，大部分视频摘要输出形式依旧是视频形式，在基数众多的在线课程视频中，即使缩减了视频时长也难以使学生快速检索所有待选课程。

发明内容

针对当前学生面对大量同类型视频课程无法快速选择的问题，本发明提供了一种在线课程视频摘要生成系统和方法，其目的在于通过对在线课程视频的视频处理，以及文本识别提取技术，自动生成课程视频中幻灯片出现时间点，幻灯片内容概要等信息，形成视频摘要，具有很强的适用性，可以用于各类在线课程视频的摘要，在现代化的教育体系中非常适用，对当前学生自主学习的智能化有着较高价值。

为实现上述目的，按照本发明的第一方面，提供了一种在线课程视频摘要生成系统，该系统包括：

视频获取模块，用于读取在线课程视频资源，将相应课程视频资源下载并保存在本地；

视频关键帧提取模块，用于对读取到的在线课程视频，进行抽取关键视频帧的操作；

幻灯片识别模块，用于对于抽取出的关键帧进行两两相似度对比和图片中文字数量筛选，识别出包含幻灯片的关键帧；

幻灯片保存模块，用于对包含幻灯片的关键帧，以视频时间偏移为文件名称保存该幻灯片为缩略图，并对其中的内容进行分析形成摘要。

优选地，所述在线课程视频资源由第三方提供，或者，通过网络爬虫程序进行视频爬取。

优选地，所述视频关键帧提取模块包括：

片头自动去除子模块，用于去除在线课程视频的片头动画；

语音分割辅助子模块，用于利用语音活动端点检测技术实现视频的语音分割；

提取子模块，用于以语音分割片段为单位提取视频帧，并记录关键帧相对于起始帧的视频时间偏移。

优选地，所述幻灯片识别模块的功能通过以下方式实现：

(1)通过图片相似度匹配技术计算两个关键帧之间的相似度，当相似度低于第一预设阀值，则保留，否则，剔除其中一个关键帧；

(2)对保留下来的每一个关键帧，通过文字识别技术判别图片中的文字数量，如果文字数量低于第二预设阈值，则判定为不包含幻灯片的关键帧，并将该类关键帧剔除，否则，判定为包含幻灯片的关键帧。

优选地，所述幻灯片保存模块的功能通过以下方式实现：

对保留的每一个包含幻灯片的关键帧，以视频时间偏移为文件名称保存该幻灯片为缩略图；将该幻灯片匹配库中所有的幻灯片模板，如果匹配成功，则识别并保存该幻灯片中的主标题和副标题，得到幻灯片标题信息；如果匹配失败，则对整个图片中所有图片进行识别并且保存，得到幻灯片图片信息。

优选地，所述幻灯片保存模块还包括用于：

对保留的每一个包含幻灯片的关键帧，对该幻灯片中中文文本和英文文本进行了文本形式的保存，得到幻灯片内文本信息；对该幻灯片中图表文本和公式采用截取图片的形式进行保存，得到幻灯片内图表信息。

优选地，所述幻灯片保存模块还用于：

对保留的每一个包含幻灯片的关键帧，通过检测文件名内包含时间偏移信息，结合语音端点检测技术识别切换幻灯片时出现的停顿，识别出幻灯片的切换时间点并记录。

为实现上述目的，按照本发明的第二方面，提供了一种在线课程视频摘要生成方法，该方法包括以下步骤：

S1.读取在线课程视频资源，将相应课程视频资源下载并保存在本地；

S2.对读取到的在线课程视频，进行抽取关键视频帧的操作；

S3.对于抽取出的关键帧进行两两相似度对比和图片中文字数量筛选，识别出包含幻灯片的关键帧；

S4.对包含幻灯片的关键帧，以视频时间偏移为文件名称保存该幻灯片为缩略图，并对其中的内容进行分析形成摘要。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明通过分解视频片段、剔除内容重复的视频帧以及冗余的非幻灯片视频帧，基于语音识别技术、图片相似度计算、文字识别技术，从而实现对包含幻灯片的关键帧，以视频时间偏移为文件名称保存该幻灯片为缩略图，并对其中的内容进行分析形成摘要，从而输出在视频网站播放器上进行提示，告知观看用户幻灯片具体切换时间、幻灯片标题信息、幻灯片内文本信息、幻灯片内图表信息等，在学生复习功课采用在线课程视频时，提供视频信息的快速检索功能，让学生能够快速发现知识点对应的视频片断。

(2)本发明通过匹配设定的幻灯片模板提取模板对应的文字信息，识别缩略图中的视频偏移大小，基于文字识别技术，从而实现自动生成课程视频中幻灯片出现时间点，收集幻灯片中的文字等摘要信息，形成视频摘要，从而达到最终精简概述视频内容的效果。

(3)在硬件上，本发明通过联网计算机，基于视频爬取技术，从而实现视频保存本地然后在软件层面自动完成各项操作，简单迅速，成本较低。

附图说明

图1为本发明提供的幻灯片识别与保存模块输出图；

图2为本发明提供的幻灯片切换提示结果图；

图3为本发明提供的一种在线课程视频摘要生成方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

面向学生使用在线课程视频进行课前预习、课中自我学习、课后复习等学习行为的需求，本发明公开了一种在线课程视频摘要生成系统，依据具体功能进行划分，整个系统可以划分为：视频获取模块、视频关键帧提取模块、幻灯片识别与存储模块。

视频获取模块

视频获取模块，用于读取在线课程视频资源，该资源可由第三方提供，或者，通过网络爬虫程序进行视频爬取，将相应课程视频资源下载并保存在本地。

在线课程视频主要包括的信息有开头动画、若干张幻灯片、结尾总结。其中，幻灯片内包含中文文本、公式以及一些原理图。

本实施例面对《电路理论》在线课程，需要有一台电脑并且联网进行使用。找到目标的电路理论在线课程视频资源的URL链接，输入到系统中开始进行视频爬取并保存至本地。

视频关键帧提取模块

视频关键帧提取模块，用于对读取到的在线课程视频，进行抽取关键视频帧的操作。包括：片头自动去除子模块、语音分割辅助子模块和提取子模块。

片头自动去除子模块，用于去除在线课程视频的片头动画。通过海量视频调研发现，在线课程视频的片头动画集中于8-10秒左右，因此，采取从第8-10秒开始进行抽取视频帧，直接略过片头动画，加快运算速度。

语音分割辅助子模块，用于利用语音活动端点检测技术实现视频的语音分割。在线课程视频通常在有语音稍许停顿时切换幻灯片。因此，本发明利用语音活动端点检测技术实现语音分割。语音活动端点检测技术可以是基于信噪比的语音端点检测算法、基于能量的语音端点检测算法、基于Decoder的语音端点检测算法等。本实施例选用基于信噪比的语音端点检测算法。

提取子模块，用于以语音分割片段为单位提取视频帧，并记录关键帧的视频时间偏移。

幻灯片识别与保存模块

幻灯片识别与保存模块的测试输出结果如图1所示。通过幻灯片识别与保存模块对视频中的10张幻灯片内容进行提取，并且以时间偏移的方式进行命名。

幻灯片识别模块，用于对于抽取出的关键帧进行两两相似度对比，通过图片相似度匹配技术，并设定合理阈值，当相似度低于阀值时，代表则代表两个关键帧差别较大，保留关键帧；相似度高于阈值时，则从关键帧集合中剔除。图片相似度匹配技术可以是基于结构相似性度量进行计算、余弦相似度算法、基于互信息的算法以及感知哈希算法等。本实施例选用感知哈希算法，阈值设为相似度值为0.8。

幻灯片保存模块，用于对于保留的关键帧集合存在两种情况，将采取不同的处理流程：

1)待识别关键帧中不包含幻灯片

由于保留下来的关键帧可能是动画、主讲人穿插讲解、结尾总结等形式的图片，不包含幻灯片。这类型图片的特点是文字较少。

本发明通过文字识别技术判别图片中的文字数量，如果文字数量低于预设阈值，则判定为非幻灯片，对该类关键帧进行剔除。本实施例中，预设阈值为15个字符。

2)待识别关键帧中包含幻灯片

对于最终保留的关键帧认定为幻灯片，以视频时间偏移为文件名称保存该幻灯片为缩略图，并对其中的内容进行分析形成摘要。

匹配库中所有的幻灯片模板，如果匹配成功，则提取其中主标题和副标题进行识别并且保存，得到幻灯片标题信息；如果匹配失败，则对整个图片中所有图片进行识别并且保存，得到幻灯片图片信息。

对特殊形式的文本进行判别

由于在线课程幻灯片可能包含中文文本、英文文本、图表文本以及公式等。不可能全部以一种简单的文本形式进行保留。因此。本发明对其中的中文文本和英文文本进行了文本形式的保存，得到幻灯片内文本信息，对图表文本和公式则直接采用截取图片的形式进行保存，得到幻灯片内图表信息。

识别幻灯片切换时间点并记录

由于保留的幻灯片均以时间偏移进行命名，因此可以判断出不同幻灯片出现的具体时间节点，再结合语音端点检测技术，对幻灯片进行翻页时出现的停顿进行检测，从而结合幻灯片的时间节点识别出切换的具体时间。同时，在播放器中，对于翻页的时间节点在播放器进度条上进行标记，方便用户快速点击。具体实现效果图如图2所示。

在学生复习功课采用在线课程视频时，提供视频信息的快速检索功能，让学生能够快速发现知识点对应的视频片断。

对应地，如图3所示，本发明提供一种在线课程视频摘要生成方法，该方法包括以下步骤：

S1：找到目标的电路理论在线课程视频资源的URL链接。

S2：输入到系统中开始进行视频爬取并保存至本地。

S3：通过点击开始进行对视频的预处理，基于语音片段分割进行视频关键帧提取。

S4：系统自动进行关键帧的相似度对比并进行删减操作。

S5：对保留下来的图片进行文字检测，基于文字数量阈值判断是否包含幻灯片。如果判断不包含幻灯片，则进行S6。否则认定为幻灯片，进行保存，并跳转至S7。

S6：对关键帧进行删减操作。

S7：对幻灯片进行模板匹配。匹配成功则识别并提取其对应信息。匹配失败则识别并提取所有文本信息。

S8：通过保存幻灯片图片及其内容文本信息形成摘要。

本发明具有很强的适用性，可以用于各类在线课程视频的摘要，也可结合本发明进行在线播放器的改进和开发，标示幻灯片的调转点与缩略图。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种在线课程视频摘要生成系统，其特征在于，该系统包括：

视频获取模块，用于读取在线课程视频资源，将相应课程视频资源下载并保存在本地；

视频关键帧提取模块，用于对读取到的在线课程视频，进行抽取关键视频帧的操作；

幻灯片识别模块，用于对于抽取出的关键帧进行两两相似度对比和图片中文字数量筛选，识别出包含幻灯片的关键帧；

幻灯片保存模块，用于对包含幻灯片的关键帧，以视频时间偏移为文件名称保存该幻灯片为缩略图，并对其中的内容进行分析形成摘要。

2.如权利要求1所述的系统，其特征在于，所述在线课程视频资源由第三方提供，或者，通过网络爬虫程序进行视频爬取。

3.如权利要求1或2所述的系统，其特征在于，所述视频关键帧提取模块包括：

片头自动去除子模块，用于去除在线课程视频的片头动画；

语音分割辅助子模块，用于利用语音活动端点检测技术实现视频的语音分割；

提取子模块，用于以语音分割片段为单位提取视频帧，并记录关键帧相对于起始帧的视频时间偏移。

4.如权利要求1至3任一项所述的系统，其特征在于，所述幻灯片识别模块的功能通过以下方式实现：

(1)通过图片相似度匹配技术计算两个关键帧之间的相似度，当相似度低于第一预设阀值，则保留，否则，剔除其中一个关键帧；

(2)对保留下来的每一个关键帧，通过文字识别技术判别图片中的文字数量，如果文字数量低于第二预设阈值，则判定为不包含幻灯片的关键帧，并将该类关键帧剔除，否则，判定为包含幻灯片的关键帧。

5.如权利要求3或4所述的系统，其特征在于，所述幻灯片保存模块的功能通过以下方式实现：

对保留的每一个包含幻灯片的关键帧，以视频时间偏移为文件名称保存该幻灯片为缩略图；将该幻灯片匹配库中所有的幻灯片模板，如果匹配成功，则识别并保存该幻灯片中的主标题和副标题，得到幻灯片标题信息；如果匹配失败，则对整个图片中所有图片进行识别并且保存，得到幻灯片图片信息。

6.如权利要求5所述的系统，其特征在于，所述幻灯片保存模块还包括用于：

对保留的每一个包含幻灯片的关键帧，对该幻灯片中中文文本和英文文本进行了文本形式的保存，得到幻灯片内文本信息；对该幻灯片中图表文本和公式采用截取图片的形式进行保存，得到幻灯片内图表信息。

7.如权利要求5或6所述的系统，其特征在于，所述幻灯片保存模块还用于：

对保留的每一个包含幻灯片的关键帧，通过检测文件名内包含时间偏移信息，结合语音端点检测技术识别切换幻灯片时出现的停顿，识别出幻灯片的切换时间点并记录。

8.一种在线课程视频摘要生成方法，其特征在于，该方法包括以下步骤：

S1.读取在线课程视频资源，将相应课程视频资源下载并保存在本地；

S2.对读取到的在线课程视频，进行抽取关键视频帧的操作；

S3.对于抽取出的关键帧进行两两相似度对比和图片中文字数量筛选，识别出包含幻灯片的关键帧；

S4.对包含幻灯片的关键帧，以视频时间偏移为文件名称保存该幻灯片为缩略图，并对其中的内容进行分析形成摘要。

Images