CN112910961A - 一种网络课程视频质量自动评价方法及系统 - Google Patents

Abstract

本发明属于计算机应用技术领域，公开了一种网络课程视频质量自动评价方法及系统，网络课程视频质量自动评价方法包括：查阅数篇教学技术领域相关文献，确定自动评价指标；根据保守性原则提取出基于帧间差值的网络课程视频关键帧；分别进行字幕打分方法、时长质量打分方法、教师出镜情况打分方法、画质质量打分方法和格式质量打分方法的设计与实现；构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签；根据视频指标打分方法对视频数据集进行打分；根据视频打分数据集进行网络课程视频自动评价模型的训练。本发明拓宽可选择技术领域，能够实现对网络课程视频的质量进行初步筛选，对提升在线教育质量具有重要意义。

Description

一种网络课程视频质量自动评价方法及系统

技术领域

本发明属于计算机应用技术领域，尤其涉及一种网络课程视频质量自动评价方法及系统。

背景技术

目前，随着互联网时代的来临，网络教学资源呈现井喷式增长。由于网络教学课程视频所具有的多媒体特性、与传统面授方式的相似性以及其资源使用的方便性，网络课程视频已成为如今最为重要的一种教学资源形式。但是由于相关评价机制不完善，使得网络课程视频资源质量良莠不齐。

面对如此多的网络课程视频资源，对其进行有效的评价，从而筛选出一批质量较优的网络教学课程视频是极为重要的。有学者提出了基于问卷调查的方式，该类方式需要发放调查问卷，容易受到问卷形式、发放对象等一些因素的影响，同时也是一项非常耗时的工作。由权威专家对视频资源进行评价是目前教学视频质量评价的主要形式。但是这种人为进行的评价容易受到权威专家主观性的影响，不能全面地从学习者的角度来评价视频内容的优劣。同时这种评价方式也是一项非常耗时的工作，权威专家一般时间宝贵，难以实现对全部网络课程视频的评价工作。

人工进行网络课程视频质量评价需要专业知识和主观判断介入，是一个复杂、耗时的过程。目前，越来越多领域应用计算机进行研究分析，使用计算机筛选出某些条件优质的教学视频资源，以减少人工资源评价的工作量，对于网络教学的有效开展意义重大。因此，采用自动评价方式是网络教学课程视频质量评估的一种未来趋势。针对上述问题，已有一些学者进行了探讨，并提出了相关方法。一些教学视频网站采用基于协作的评价方式，根据已有学习者的“点赞”数量来确定该教学视频的质量。但是很多时候学习者不愿意进行评价的动作，表现在学习者评价数量与视频浏览量的比值很低。熊玲提出了基于链接分析的web教学资源自动评价方法评价面向教学的网站，通过构建网站的外链数量进行评价。姚金良等人通过教学视频中各集的播放量来挖掘学习者对该教学视频的评价，分析得到视频的流行度和质量。但是这个方法主要适用于评价开放的视频课程，并应用于对两门以上的同类课程进行质量比较。以上的视频自动评价方法都是比较粗略的质量筛选的方法，而且是需要视频发布以后分析学习者的在线学习行为来评价视频的质量，而没有完成对视频进行发布前的质量评估以及给出修改建议等工作。

由于目前计算机技术仍无法实现对于视频中知识点分配情况及讲解质量的分析，所以视频内容的质量评价仍需要专家学者主观来进行。因此使用计算机对网络课程视频进行自动化评价只能考虑某些可以对学习者学习效果产生影响的技术性指标，即对学生观看教学视频的学习效果产生影响且易量化的指标。近几年图像分析处理技术得到了飞速发展，数字图像处理技术渗入各行各业。视频的画面又是视频极为重要的组成部分，因此对于视频帧图像可以采用多种技术进行多角度的分析。很多教育技术领域相关研究提出，教学视频的字幕，时长，教师出镜情况，画质，视频格式等会对教学效果产生积极影响，而这些属性是可以通过计算机进行量化评价的。综上所述，各类视频的属性对于教学研究具有重要意义。因此，亟需一种利用各类视频的属性的网络课程视频质量评价方法。

通过上述分析，现有技术存在的问题及缺陷为：

(1)由于相关评价机制不完善，现有网络课程视频资源质量良莠不齐。

(2)基于问卷调查进行网络教学课程视频筛选的方式，需要发放调查问卷，容易受到问卷形式、发放对象等因素的影响，同时也是一项非常耗时的工作。

(3)由权威专家对视频资源进行评价的方式，人为进行的评价容易受到权威专家主观性的影响，不能全面地从学习者的角度来评价视频内容的优劣。同时这种评价方式也是一项非常耗时的工作，权威专家一般时间宝贵，难以实现对全部网络课程视频的评价工作。

(4)人工进行网络课程视频质量评价需要专业知识和主观判断介入，是一个复杂、耗时的过程。

(5)采用自动评价方式进行网络教学课程视频质量评估中，很多时候学习者不愿意进行评价的动作，表现在学习者评价数量与视频浏览量的比值很低。

(6)现有视频自动评价方法都是比较粗略的质量筛选的方法，而且是需要视频发布以后分析学习者的在线学习行为来评价视频的质量，而没有完成对视频进行发布前的质量评估以及给出修改建议等工作。

解决以上问题及缺陷的难度为：

目前，针对于网络课程视频领域的研究日益增多，但是多数为教学技术领域对于视频中某一项特征的量化研究，而将网络课程视频各种特征整合起来形成网络课程视频质量的评价体系的研究比较稀缺，可参考的研究很少，属于该领域的空白区域。因此，将计算机技术与网络课程视频质量加以整合，实现网络课程视频质量自动评价的研究少之又少，因此解决以上问题可参考借鉴的技术和方法都很少，此为解决以上问题的一大难题。

解决以上问题及缺陷的意义为：

本发明所提出的方法经实验证明是图像分析处理技术以及机器学习在教育领域的合理应用。能够实现自动化对网络课程视频质量的初步筛选，从而减轻人工评价网络课程视频的工作量，提升网络课程视频筛选效率，进而对提升在线教育质量具有一定的意义。

发明内容

针对现有技术存在的问题，本发明提供了一种网络课程视频质量自动评价方法及系统，尤其涉及一种利用计算机相关技术对网络课程视频某些指标进行自动打分，构建自动评价模型，实现网络课程视频质量自动评价的方法及系统。

本发明是这样实现的，一种网络课程视频质量自动评价方法，所述网络课程视频质量自动评价方法包括以下步骤：

步骤一，查阅数篇教学技术领域相关文献，确定自动评价指标；

步骤二，根据保守性原则提取出基于帧间差值的网络课程视频关键帧；

步骤三，字幕打分方法的设计与实现；

步骤四，采用保守原则进行时长质量打分方法的设计与实现；

步骤五，教师出镜情况打分方法的设计与实现；

步骤六，画质质量打分方法的设计与实现；

步骤七，格式质量打分方法的设计与实现；

步骤八，构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签；

步骤九，根据步骤三-步骤七的视频指标打分方法对视频数据集进行打分；

步骤十，根据视频打分数据集进行网络课程视频自动评价模型的训练。

进一步，步骤一中，所述自动评价指标包括网络课程视频的字幕、时长、教师出镜情况、画质和视频格式。

进一步，所述网络课程视频的时长为10-15分钟，所述视频格式的总比特率为300kbps、帧速度为30kbps、大小为320*240。

进一步，步骤二中，所述根据保守性原则提取出基于帧间差值的网络课程视频关键帧，包括：

(1)计算视频中所有帧与前一帧之间的帧间差值，基于帧间差值进行边缘检测，差值越大的帧越有可能是镜头边界处；

(2)通过SSIM算法去掉视频中的重复帧：使用滑动窗口法检测出的最大帧差帧集中会存在画面重复的帧，使用SSIM算法检测出画面相同的重复帧并将其从最大帧差集中去掉，最终得到的关键帧集就是关键帧集。

进一步，步骤(1)中，所述边缘检测的方法，包括：

1)通过滑动窗口法来辅助检测，找出同一个窗口中帧间差值最大的帧，视其为临时最大帧差帧T帧，如果一个T帧与其上一个T帧的距离小于设定的最小镜头大小，则放弃这个T帧；

2)检测出所有的T帧以后，判断每个T帧的帧差是否远大于其与前一个T帧之间所有帧的平均差值，如果是，则这个T帧为关键帧，即为镜头内的最大帧差帧；否则，放弃这个T帧。

进一步，步骤三中，视频字幕包括两种存在形式，一种是存在于视频帧图像中，另一种是存在于与视频同名的SubRip Text文件中。如果教学视频文件与SubRip Text文件具有相同的名称，则该视频具有字幕，否则，则需要对视频帧图像进行字幕检测。字幕的检测通过一系列数字图像处理操作完成，包括裁剪、边缘检测、阈值分割和开闭运算。

进一步，基于描述参数的阈值提出一种能够适应不同教学视频的字幕检测方法，对不存在同名SubRip Text文件的视频进行字幕检测，包括：

(1)对帧图像进行预处理：对关键帧图像进行裁剪，得到关键帧图像下三分之一处作为新图像；对新图像用canny算子进行边缘检测，对边缘检测的结果进行高斯滤波；进行OSTU阈值分割，将阈值分割的结果进行开运算去噪，最后得到了噪声小、易于提取图像信息的字幕区域二值化图像，即黑白图；

(2)采用改进的VGH直方图进行字幕检测：由于预处理得到的是二值图，那么像素只有两种取值，0或255；VGH直方图表示的是在图像的每行中，取值为0(即黑色)的像素点所占比例的直方图，所述VGH直方图的累积分布函数如下所示：

其中，k为图像的行数，R_n为一行中像素的总个数，N_r(k)为第k行中黑色像素的个数；

字幕图像直方图右三分之一处的沟槽代表的就是字幕区域，即帧图像的对应VGH图的右三分之一处如果存在沟槽就是字幕区域存在的特征；通过找到沟槽的描述参数和描述参数的检测阈值即可定位字幕区域；如果在某一帧图像上满足描述参数的阈值，则此帧图像存在字幕区域，反之，字幕区域为空；

(3)设计适应各种网络课程视频的字幕检测方法：在同一视频的帧序列中，视频字幕一定位于图像纵向上的同一位置，故所述VGH直方图方法检测到的同一视频的帧序列的字幕区域的起始位置、结束位置和区域高度相差不大；在设计所有评分方法时采用保守原则，自动剔除质量极差的教学视频，并将检测阈值设置为小值；设置一个候选队列作为辅助，将所有检测到的可能字幕区域添加到候选队列中；

如果两个区域的起始位置、结束位置和区域高度相差不大，则设定两个区域为同一个区域，最终选择在队列中所占比例最高且所占比例超过某阈值t1的区域作为候选区域；如果候选队列长度大于某阈值t2，则判断该视频为带字幕视频，否则判断该视频为不带字幕视频；阈值通过多次实验来确定，最终确定阈值t1为50％，t2为70％*关键帧个数；如果检测出视频中有字幕，则字幕得分为1分，否则，则字幕得分为0分。

进一步，步骤四中，所述时长质量得分的计算公式如下：

其中，如果视频时长大于5分钟(lp)，小于7分钟，则视频时长得分为满分(fs)。如果视频时长大于7分钟，小于15分钟(rp)，则视频时长得分为ns，即为fs的90％；设能得分的最短时长为0，则la表示的就是lp与0之差；按保守原则设能得分的最大时长为两小时，则ra表示的就是两小时与rp之差；如果视频时长小于lp，则视频时长得分为ns与1减去视频时长(vd)和lp之差的绝对值占lp的比例的乘积；如果视频持续时间大于rp，则视频持续时间得分为ns与1减去rp与vd之差的绝对值占ra的比例的乘积。

进一步，步骤五中，确定至少大于3个关键帧中检测出人脸的视频为教师出镜的视频；如果检测到教师出镜，则教师出镜情况得分为1，否则为0。

进一步，步骤六中，所述图像质量评价分包括主观质量评价和客观质量评价。采用客观质量评价BRISQUE方法进行图像质量评价，在LIVE图像质量评价数据库上提取BRSQUE特征，直接将学到的“特征”直接作为图像质量评价的标准来进行评价；如果关键帧总数大于5，则视频质量得分为5个关键帧BRISQUE分数的平均值；否则，视频质量分数为所有关键帧的BRISQUE分数的平均值。

进一步，步骤七中，所述视频格式采用至少总比特率为300kbps、帧率为30kbps、大小为320*240，据此对视频格式进行评估，将帧率、比特率和分辨率的权重分别设为3/7，2/7和2/7。

设当前格式质量得分为0，如果帧率大于30kbps，帧率质量得分为1分；如果帧率在15到30kbps之间，帧率质量得分为2/3分；如果帧率小于15kbps，帧率质量得分为1/3分；对总比特率这一属性来说，若总比特率大于300kbpsd，总比特率质量得分为1分；若总比特率大于小于300kbps，总比特率质量得分为0.5分；对分辨率这一属性来说，如果分辨率为320*240或以上，分辨率质量得分为1分，否则为0.5分；设属性权重为w_i，对应此属性质量得分为s_i，所述格式最终总得分的计算公式如下：

进一步，步骤八中，所述构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签，包括：

使用在中国大学MOOC、哔哩哔哩和网易公开课的在线网络课程视频学习网站中收集到的104个质量各异的网络课程视频作为视频数据集，并邀请教育技术领域专家及人才对视频数据集中所有视频进行质量分类并给出标签。

进一步，步骤九中，所述根据视频指标打分方法对视频数据集进行打分，包括：

(1)对视频使用关键帧提取方法进行提取，得到关键帧集；

(2)根据视频本身解析出时长格式数据采用时长质量打分方法和格式质量打分方法进行打分；

(3)对关键帧集采用字幕打分方法、教师出镜情况打分方法和画质质量打分方法进行打分，最终得到与视频数据集相对应的视频打分数据集。

进一步，步骤十中，所述根据视频打分数据集进行网络课程视频自动评价模型的训练，包括：

寻求专业人员的帮助根据五个指标对视频数据集归为两类：质量极差需要剔除的视频为一类，可交由专家进行下一步评价的为一类，将归类情况作为标签数据集；把视频打分数据集作为输入，标签数据集作为分类情况，用来训练不同的机器学习方法；最后，发现逻辑回归方法的分类精度较高；所述逻辑回归表达式如下：

本发明的另一目的在于提供一种应用所述的网络课程视频质量自动评价方法的网络课程视频质量自动评价系统，所述网络课程视频质量自动评价系统包括：

自动评价指标确定模块，用于通过查阅数篇教学技术领域相关文献，确定自动评价指标；

关键帧提取模块，用于根据保守性原则提取出基于帧间差值的网络课程视频关键帧；

打分方法设计与实现模块，用于分别进行字幕打分方法、时长质量打分方法、教师出镜情况打分方法、画质质量打分方法以及格式质量打分方法的设计与实现；

数据集构建模块，用于构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签；

打分模块，用于根据视频指标打分方法对视频数据集进行打分；

模型训练模块，用于根据视频打分数据集进行网络课程视频自动评价模型的训练。

本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的网络课程视频质量自动评价方法。

本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的网络课程视频质量自动评价方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的网络课程视频质量自动评价方法，是一种在教学技术领域分析教学视频某些属性对教学效果的影响，利用计算机技术对各指标自动评分方法进行可行性分析以及实现，最后使用构建自动评价模型实现对网络课程视频自动评价，并提出建设性的修改意见的方法。首先，通过研究教学技术领域的文献，从视频属性中分析出对教学效果有影响的、较为关键的且具有自动化评价可行性的某些属性，将其作为评价指标，在本发明中确定的评价指标有：字幕，时长，教师出镜情况，画质，视频格式等。然后使用通过关键帧提取技术根据网络课程视频帧间差值提取出教学视频的关键帧。通过关键帧的提取将对于教学视频的分析处理转化为对关键帧图像的分析处理，从而将所用的计算机技术从视频维度转移到目前发展较为成熟的图像维度。通过图像分析和图像处理技术设计了一些自动的方法对这些指标进行评分。利用这些方法对各指标进行打分，从而得到各指标得分的数据集。采用机器学习方法构建自动评价模型，为了训练模型，本发明使用各指标得分的数据集作为机器学习方法的输入，教师对教学视频的人工评价作为机器学习方法的输出。最后通过实验验证了本发明所提出网络课程视频质量自动评价方法与人工评价结果的一致性。本发明利用自动评价模型，根据指标打分结果给出最终的视频质量评价结果，并对质量较差的视频给出建设性修改意见。这种方法对于减轻人工评价网络课程视频工作量具有一定的意义。

本发明中提出的网络课程视频质量自动评价方法是在计算机技术对视频指标打分，将打分结果输入自动评价模型得到评价结果。这种方法有几个优点，首先，提取网络课程视频的关键帧来辅助视频指标的打分，将处理对象从视频维度转化到图片维度，拓宽了可选择技术领域，考虑到了内存占用，减小了处理方法的时间复杂度，提高了性能。其次，利用逻辑回归方法构建自动评价模型，容易实现且计算量小，高效且预测准确率高。对于根据各视频指标自动打分情况将视频进行质量分类的这种线性的有监督问题，使用逻辑回归的实现效果比其他方法要好。再次，对于网络课程视频的评价工作，从读取视频、各指标打分到视频评价结果以及修改建议的输出，都通过计算机技术自动完成，减轻了人工评价的工作量。最后，本发明提出了一种基于视频自身某些属性对学生学习效果的影响在网络课程视频发布前进行自动评价的教学视频评价新方法，为使用计算机应用技术实现“互联网+教育”带来了新思路。总之，本发明所提出的网络课程视频评价方法专注于找出并分析影响学生观看教学视频时的学习效果的评价指标，然后利用指标打分数据集及视频质量分类情况训练逻辑回归模型作为自动评价模型，将计算机技术与教学视频评价两个领域结合起来进行创新，是一种有广阔发展前景的方法。

发明者通过前期对于网络课程视频的研究，以及阅读教育相关文献，发现网络教学课程视频中不同属性对学习效果有不同的影响，提出了针对教学视频某些属性对教学视频质量进行评价的合理猜想。经过可行性分析，确定并量化了几个网络课程教学视频指标，利用图像分析处理等计算机技术，设计对视频指标的自动打分方法，利用机器学习方法设计并实现自动评价模型，通过上述方法实现了本发明所提出的网络课程视频自动评价方法。为检验本方法的有效性，利用实际数据检验此方法的评价准确率，发现本方法准确率高且计算量小，是上述猜想的合理解决方案，也是图像分析处理技术以及机器学习在教育领域的合理应用。能够实现对网络课程视频的质量进行初步筛选，对提升在线教育质量具有一定的意义。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的网络课程视频质量自动评价方法流程图。

图2是本发明实施例提供的网络课程视频质量自动评价模型的总体流程示意图。

图3是本发明实施例提供的网络课程视频质量自动评价系统结构框图；

图中：1、自动评价指标确定模块；2、关键帧提取模块；3、打分方法设计与实现模块；4、数据集构建模块；5、打分模块；6、模型训练模块。

图4是本发明实施例提供的视频中镜头与关键帧关系的示意图。

图5是本发明实施例提供的对一个视频进行自动评价得到评价结果的流程图。

图6是本发明实施例提供的字幕检测过程中对图片进行预处理的各过程效果图。

图7是本发明实施例提供的左右两图分别为带字幕和不带字幕图片的预处理结果图对应的VGH直方图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种网络课程视频质量自动评价方法及系统，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的网络课程视频质量自动评价方法包括以下步骤：

S101，查阅数篇教学技术领域相关文献，确定自动评价指标；

S102，根据保守性原则提取出基于帧间差值的网络课程视频关键帧；

S103，字幕打分方法的设计与实现；

S104，采用保守原则进行时长质量打分方法的设计与实现；

S105，教师出镜情况打分方法的设计与实现；

S106，画质质量打分方法的设计与实现；

S107，格式质量打分方法的设计与实现；

S108，构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签；

S109，根据S103-S107的视频指标打分方法对视频数据集进行打分；

S110，根据视频打分数据集进行网络课程视频自动评价模型的训练。

本发明实施例提供的网络课程视频质量自动评价模型的总体流程示意图如图2所示。

如图3所示，本发明实施例提供的网络课程视频质量自动评价系统包括：

自动评价指标确定模块1，用于通过查阅数篇教学技术领域相关文献，确定自动评价指标；

关键帧提取模块2，用于根据保守性原则提取出基于帧间差值的网络课程视频关键帧；

打分方法设计与实现模块3，用于分别进行字幕打分方法、时长质量打分方法、教师出镜情况打分方法、画质质量打分方法以及格式质量打分方法的设计与实现；

数据集构建模块4，用于构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签；

打分模块5，用于根据视频指标打分方法对视频数据集进行打分；

模型训练模块6，用于根据视频打分数据集进行网络课程视频自动评价模型的训练。

本发明的目的是提出一种网络课程视频质量自动评价方法，这是一种在教学技术领域分析教学视频某些属性对教学效果的影响，利用计算机技术对各指标自动评分方法进行可行性分析以及实现，最后使用构建自动评价模型实现对网络课程视频自动评价，并提出建设性的修改意见的方法。首先，通过研究教学技术领域的文献，从视频属性中分析出对教学效果有影响的、较为关键的且具有自动化评价可行性的某些属性，将其作为评价指标，在本发明中确定的评价指标有：字幕，时长，教师出镜情况，画质，视频格式等。然后使用通过关键帧提取技术根据网络课程视频帧间差值提取出教学视频的关键帧。通过关键帧的提取将对于教学视频的分析处理转化为对关键帧图像的分析处理，从而将所用的计算机技术从视频维度转移到目前发展较为成熟的图像维度。通过图像分析和图像处理技术设计了一些自动的方法对这些指标进行评分。利用这些方法对各指标进行打分，从而得到各指标得分的数据集。采用机器学习方法构建自动评价模型，为了训练模型，我们使用各指标得分的数据集作为机器学习方法的输入。教师对教学视频的人工评价作为机器学习方法的输出。最后通过实验验证了本发明所提出网络课程视频质量自动评价方法与人工评价结果的一致性。

下面结合实施例对本发明作进一步描述。

实施例1

图2是本发明的一个实施例提供的实现网络课程视频质量自动评价模型的总体流程示意图，根据该总体流程示意图，详细介绍实施例的实现步骤如下。

步骤1，查阅数篇教学技术领域相关文献，确定网络课程视频的字幕，时长，教师出镜情况，画质，视频格式等五个自动评价指标。某些学者通过研究发现，教学视频中字幕有助于提高学习效果；英属哥伦比亚大学的研究人员经过讨论，普遍认为6分钟的视频是一个很好的长度，被学习者高度接受。PhilipGuo的研究表明，edX教学视频的时长超过6分钟可能会导致学习者学习参与度的显著下降。大部分MOOCs倡导者认为，MOOCs课程视频应该由相对较短的片段组成，每个片段的时长为5-15分钟。李秋菊发现，较长的教学视频不利于学习者持续的注意力，较短的教学视频不利于深入理解。因此，教学视频的总长度可以在10-15分钟之间。总之，视频时长会对学生的学习效果产生影响，只有一定长度的视频时长才会对学习产生积极的影响。皮忠玲在实验中发现，教师是否出现在教学视频中对教学效果有一定的影响。于青青发现，教师出现在教学视频中，不仅提高了学生的视觉注意力，也提高了学生的知识转移学习效果。发现在教学视频的制作过程中，要考虑视频的清晰度，以满足学生的需求。因此，清晰稳定的图像质量是高质量视频的前提，低图像质量会干扰教学信息的表达。同时，作为网络课程视频，视频的格式肯定会对学习者的学习效果产生影响。2010年国家精品教学录像上网技术标准中建议视频格式采用至少总比特率为300kbps、帧速度为30kbps、大小为320*240。

步骤2，提取出基于帧间差值的网络课程视频关键帧。图4表示视频中不同镜头的关键帧的示意图。目前对视频的分析相对比较复杂，通过关键帧提取能把对于教学视频的分析从对复杂的视频分析转化为对相对简单且分析技术发展较为成熟的视频帧图像的分析。由于在这里的关键帧只是用于辅助视频指标打分，因此根据保守性原则对关键帧进行粗略提取。

步骤2.1，计算视频中所有帧与前一帧之间的帧间差值，基于帧间差值进行边缘检测，差值越大的帧越有可能是镜头边界处。边缘检测的具体方法如下：通过滑动窗口法来辅助检测，找出同一个窗口中帧间差值最大的帧，视其为临时最大帧差帧T帧，如果一个T帧与其上一个T帧的距离小于设定的最小镜头大小，则放弃这个T帧。检测出所有的T帧以后，判断每个T帧的帧差是否远大于其与前一个T帧之间所有帧的平均差值，如果是，则这个T帧为关键帧，也就是镜头内的最大帧差帧，否则，放弃这个T帧。

步骤2.2，通过SSIM算法去掉视频中的重复帧。由于教学视频镜头变换缓慢，使用滑动窗口法检测出的最大帧差帧集中会存在画面重复的帧，使用SSIM算法检测出画面相同的重复帧并将其从最大帧差集中去掉，最终得到的关键帧集就是关键帧集。

图5表示基于帧间差值法提取网络教学视频关键帧的流程图。通过这个方法从网络课程视频中检测出关键帧，对视频的分析研究也就转化为对图片的分析研究了。这种方法可以很好的避免镜头内对象微小运动而造成的差异，鲁棒性比较高。

步骤3，字幕打分方法设计与实现。视频字幕可以以两种形式之一存在，一种是存在于视频帧图像中，另一种是存在于与视频同名的SubRip Text文件中。如果教学视频文件与SubRip Text文件具有相同的名称，则该视频具有字幕，否则，则需要对视频帧图像进行字幕检测。字幕的检测通过一系列数字图像处理操作完成，包括裁剪、边缘检测、阈值分割和开闭运算等。同时，为了检测不同网络课程视频的字幕存在情况，本发明在上述方法的基础上，基于描述参数的阈值提出了一种能够适应不同教学视频的字幕检测方法。对不存在同名SubRip Text文件的视频进行字幕检测的步骤如下：

步骤3.1，对帧图像进行预处理。由于教学视频的字幕一定存在于画面的下面三分之一处，因此首先对关键帧图像进行裁剪，得到关键帧图像下三分之一处作为新图像，然后对新图像用canny算子进行边缘检测，之后对边缘检测的结果进行高斯滤波，然后进行OSTU阈值分割，将阈值分割的结果进行开运算去噪，最后得到了噪声小、易于提取图像信息的字幕区域二值化图像，即黑白图。

步骤3.2，采用改进的VGH直方图进行字幕检测。由于预处理得到的是二值图，那么像素只有两种取值，0或255。在本发明中，VGH直方图表示的是在图像的每行中，取值为0(即黑色)的像素点所占比例的直方图。图6中左右两图表示的分别为带字幕的帧图像的VGH图和不带字幕的帧图像的VGH图。VGH直方图的累积分布函数如下所示，其中k为图像的行数，R_n为一行中像素的总个数，N_r(k)为第k行中黑色像素的个数。

根据定义及图6，可以分析出直方图右三分之一对应于原图像的下三分之一，即可能的字幕区域。分析对比图6左右两侧图像的不同可知，字幕图像直方图右三分之一处的沟槽代表的就是字幕区域。也就是说，帧图像的对应VGH图的右三分之一处如果存在沟槽就是字幕区域存在的特征。通过找到沟槽的描述参数和描述参数的检测阈值，可以准确定位字幕区域。如果在某一帧图像上满足描述参数的阈值，则此帧图像存在字幕区域，反之，字幕区域为空。

步骤3.3，设计适应各种网络课程视频的字幕检测方法。上述方法对视频帧图像中字幕的检出率较高，但由于不同视频中字幕的大小不同，因此所需的检出阈值大小也是不同的。因此需要设定一个较小的阈值，使存在字幕的视频都能被检出，但是由于阈值较小，一些非字幕区域会影响视频中是否存在字幕的检出结果，因此本发明在上述方法的基础上，提出了一种能够适应不同教学视频的字幕检测方法。在同一视频的帧序列中，视频字幕一定位于图像纵向上的同一位置。因此，上述VGH直方图方法检测到的同一视频的帧序列的字幕区域的起始位置、结束位置和区域高度应该相差不大。本研究的目的是自动剔除质量极差的教学视频。所以为了避免剔除质量中等的视频，在设计所有评分方法时采用保守原则。为了适应几乎所有的教学视频，将检测阈值设置为小值。但是，由于阈值较小，一些非字幕区域可能会被误认为是字幕区域，从而影响视频字幕的检出结果。因此，在本发明中，设置一个候选队列作为辅助，将所有检测到的可能字幕区域添加到候选队列中。如果两个区域的起始位置、结束位置和区域高度相差不大，则设定两个区域为同一个区域。最终选择在队列中所占比例最高且所占比例超过某阈值t1的区域作为候选区域。如果候选队列长度大于某阈值t2，则判断该视频为带字幕视频，否则判断该视频为不带字幕视频。阈值通过多次实验来确定，最终确定阈值t1为50％，t2为70％*关键帧个数。如果检测出视频中有字幕，则字幕得分为1分。否则，则字幕得分为0分。

左右两图分别为带字幕和不带字幕图片的预处理结果图对应的VGH直方图如图7所示。

步骤4，时长质量打分方法设计与实现。由于本发明的目的是自动化剔除质量极差的网络课程视频，为了避免剔除质量尚可的视频，采用保守原则设计所有打分方法。在本方法中，认为时长在5-15分钟的视频对学习有积极的影响。同时因为黄金六分钟原则，此方法认为6分钟左右的视频对学习效果会产生比较大的影响。时长质量得分具体计算公式如下：

在这个公式中，如果视频时长大于5分钟(lp)，小于7分钟，则视频时长得分为满分(fs)。如果视频时长大于7分钟，小于15分钟(rp)，则视频时长得分为ns(fs的90％)。设能得分的最短时长为0，则la表示的就是lp与0之差。按保守原则设能得分的最大时长为两小时，则ra表示的就是两小时与rp之差。如果视频时长小于lp，则视频时长得分为ns与1减去视频时长(vd)和lp之差的绝对值占lp的比例的乘积。如果视频持续时间大于rp，则视频持续时间得分为ns与1减去rp与vd之差的绝对值占ra的比例的乘积。

步骤5，教师出镜情况打分方法设计与实现。教师是否出镜的自动检测是通过利用对于视频进行关键帧提取后所得关键帧图像进行人脸检测来进行的。一般来说并非所得全部关键帧中都会呈现师出镜场景，因为教学视频中的某些教学素材可能出现其他人物图像。但由于关键帧图像极具代表性，因此对关键帧图像进行人脸检测如果能检测出人脸，其对应视频有教师出镜的可能性极高。但为消除视频中出现人物图像对于检测结果的影响，并非检测出一个有人脸存在的关键帧的视频就确定其为教师出镜的视频。通过实验验证，本方法确定至少大于3个关键帧中检测出人脸的视频为教师出镜的视频。如果检测到教师出镜，则教师出镜情况得分为1，否则为0。

步骤6，画质质量打分方法设计与实现。图像质量评价分为主观质量评价和客观质量评价。主观质量评价的评价主体是人，由人根据观看感受打分，这种评价方法最符合人类观感是最准确的，缺点是评价麻烦效率低。客观质量评价是根据图像统计信息来评价，应用最多。本发明经对比采用客观质量评价BRISQUE方法进行图像质量评价，它是一种基于机器学习的算法，在LIVE图像质量评价数据库上提取BRSQUE特征，直接将学到的“特征”直接作为图像质量评价的标准来进行评价。如果关键帧总数大于5，则视频质量得分为5个关键帧BRISQUE分数的平均值。否则，视频质量分数为所有关键帧的BRISQUE分数的平均值。

步骤7，格式质量打分方法设计与实现。2010年国家精品教学录像上网技术标准中建议视频格式采用至少总比特率为300kbps、帧率为30kbps、大小为320*240。据此对视频格式进行评估，将帧率、比特率和分辨率的权重分别设为3/7，2/7和2/7。首先，设当前格式质量得分为0。众所周知，如果帧率小于15kbps，视频播放就会出现卡顿，严重影响学习效果。因此，对帧率这一属性来说，如果帧率大于30kbps，帧率质量得分为1分；如果帧率在15到30kbps之间，帧率质量得分为2/3分；如果帧率小于15kbps，帧率质量得分为1/3分。对总比特率这一属性来说，若总比特率大于300kbpsd，总比特率质量得分为1分；若总比特率大于小于300kbps，总比特率质量得分为0.5分。对分辨率这一属性来说，如果分辨率为320*240或以上，分辨率质量得分为1分，否则为0.5分。设属性权重为w_i，对应此属性质量得分为s_i，该格式最终总得分的计算公式如下：

步骤8，本发明中使用在中国大学MOOC，哔哩哔哩，网易公开课等在线网络课程视频学习网站中收集到的104个质量各异的网络课程视频作为视频数据集，并邀请教育技术领域专家及人才对视频数据集中所有视频进行质量分类并给出标签。

步骤9，根据使用步骤3-步骤7的视频指标打分方法对视频数据集进行打分。首先对视频使用步骤1所提出的关键帧提取方法进行提取，得到关键帧集。然后根据视频本身解析出时长格式等数据采用步骤4和步骤7的方法进行打分，对关键帧集采用步骤3，步骤5和步骤6的方法进行打分，最终得到与视频数据集相对应的视频打分数据集。

步骤10，根据视频打分数据集进行网络课程视频自动评价模型的训练。首先，寻求专业人员的帮助根据上文提到的五个指标对视频数据集归为两类：质量极差需要剔除的视频为一类，可交由专家进行下一步评价的为一类，将归类情况作为标签数据集。把视频打分数据集作为输入，标签数据集作为分类情况，用来训练不同的机器学习方法。最后，发现逻辑回归方法的分类精度较高。逻辑回归表达式如下：

本发明中使用在中国大学MOOC，哔哩哔哩，网易公开课等在线网络课程视频学习网站中收集到的104个质量各异的网络课程视频作为视频数据集，完成对模型进行训练以及证明本发明所提出的网络课程视频质量自动评价方法的有效性。

通过在实施例2步骤8所构建的数据集上进行验证，上述自动评价方法的实验结果如下：

对于教师图像检测方法，经过实验验证，以及考虑到内存占用，确定有3帧被检测人脸的教学视频为教师图像视频。该方法的正确检出率为82.14％。

对于字幕检测方法，字幕检测方法的正确检测率为80.68％。

在时长和格式评分方法中，很容易从视频本身中准确分析这些信息。因此，准确率为100％

对于清晰度评分方法，在数据集中测试BRISQUE定义评价方法。发现SROCC、KROCC和PLCC在图像质量评价领域的各项指标均接近1，说明效果较好。清晰度评价方法满足了本发明的需要。

通过训练逻辑回归模型，得到最优的逻辑回归模型参数，利用这些参数对应的逻辑回归模型就是本发明所提出的自动评价模型。使用十折交叉验证法对模型进行性能评价，发现模型在数据集上的表现效果很好，表1表示模型在数据集的实验结果，从表1中可以看出，模型的平均准确率为80.18％。

表1模型在数据集的十折交叉实验验证结果

本发明中提出的网络课程视频质量自动评价方法是在计算机技术对视频指标打分，将打分结果输入自动评价模型得到评价结果。这种方法有几个优点，首先，提取网络课程视频的关键帧来辅助视频指标的打分，将处理对象从视频维度转化到图片维度，拓宽了可选择技术领域，考虑到了内存占用，减小了处理方法的时间复杂度，提高了性能。其次，利用逻辑回归方法构建自动评价模型，容易实现且计算量小，高效且预测准确率高。对于根据各视频指标自动打分情况将视频进行质量分类的这种线性的有监督问题，使用逻辑回归的实现效果比其他方法要好。再次，对于网络课程视频的评价工作，从读取视频、各指标打分到视频评价结果以及修改建议的输出，都通过计算机技术自动完成，减轻了人工评价的工作量。最后，本发明提出了一种基于视频自身某些属性对学生学习效果的影响在网络课程视频发布前进行自动评价的教学视频评价新方法，为使用计算机应用技术实现“互联网+教育”带来了新思路。总之，本发明所提出的网络课程视频评价方法专注于找出并分析影响学生观看教学视频时的学习效果的评价指标，然后利用指标打分数据集及视频质量分类情况训练逻辑回归模型作为自动评价模型，将计算机技术与教学视频评价两个领域结合起来进行创新，是一种有广阔发展前景的方法。

发明者通过前期对于网络课程视频的研究，以及阅读教育相关文献，发现网络教学课程视频中不同属性对学习效果有不同的影响，提出了针对教学视频某些属性对教学视频质量进行评价的合理猜想。经过可行性分析，确定并量化了几个网络课程教学视频指标，利用图像分析处理等计算机技术，设计对视频指标的自动打分方法，利用机器学习方法设计并实现自动评价模型，通过上述方法实现了本发明所提出的网络课程视频自动评价方法。为检验本方法的有效性，利用实际数据检验此方法的评价准确率，发现本方法准确率高且计算量小，是上述猜想的合理解决方案，也是图像分析处理技术以及机器学习在教育领域的合理应用。能够实现对网络课程视频的质量进行初步筛选，对提升在线教育质量具有一定的意义。

本发明提出的网络课程视频质量自动评价的方法，从5个主要方面对视频进行评价，即教学视频的字幕，时长，教师出镜情况，画质，视频格式。实验结果表明，该自动评价方法与人工评价方法相比，准确率达到80％以上。因此，该方法可以检测出存在较大问题的视频，并将建设性的建议反馈给视频制作者。视频制作者可以通过这些建议来提高他们的视频质量。它大大减轻了教学视频评价的负担，有助于提高教学视频的学习效果。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种网络课程视频质量自动评价方法，其特征在于，所述网络课程视频质量自动评价方法包括以下步骤：

步骤一，查阅数篇教学技术领域相关文献，确定自动评价指标；

步骤二，根据保守性原则提取出基于帧间差值的网络课程视频关键帧；

步骤三，字幕打分方法的设计与实现；

步骤四，采用保守原则进行时长质量打分方法的设计与实现；

步骤五，教师出镜情况打分方法的设计与实现；

步骤六，画质质量打分方法的设计与实现；

步骤七，格式质量打分方法的设计与实现；

步骤八，构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签；

步骤九，根据步骤三-步骤七的视频指标打分方法对视频数据集进行打分；

步骤十，根据视频打分数据集进行网络课程视频自动评价模型的训练。

2.如权利要求1所述的网络课程视频质量自动评价方法，其特征在于，步骤一中，所述自动评价指标包括网络课程视频的字幕、时长、教师出镜情况、画质和视频格式；

步骤二中，所述根据保守性原则提取出基于帧间差值的网络课程视频关键帧，包括：

(1)计算视频中所有帧与前一帧之间的帧间差值，基于帧间差值进行边缘检测，差值越大的帧越有可能是镜头边界处；

(2)通过SSIM算法去掉视频中的重复帧：使用滑动窗口法检测出的最大帧差帧集中会存在画面重复的帧，使用SSIM算法检测出画面相同的重复帧并将其从最大帧差集中去掉，最终得到的关键帧集就是关键帧集。

3.如权利要求2所述的网络课程视频质量自动评价方法，其特征在于，步骤(1)中，所述边缘检测的方法，包括：

1)通过滑动窗口法来辅助检测，找出同一个窗口中帧间差值最大的帧，视其为临时最大帧差帧T帧，如果一个T帧与其上一个T帧的距离小于设定的最小镜头大小，则放弃这个T帧；

2)检测出所有的T帧以后，判断每个T帧的帧差是否远大于其与前一个T帧之间所有帧的平均差值，如果是，则这个T帧为关键帧，即为镜头内的最大帧差帧；否则，放弃这个T帧。

4.如权利要求1所述的网络课程视频质量自动评价方法，其特征在于，步骤三中，视频字幕包括两种存在形式，一种是存在于视频帧图像中，另一种是存在于与视频同名的SubRip Text文件中；如果教学视频文件与SubRip Text文件具有相同的名称，则该视频具有字幕，否则，则需要对视频帧图像进行字幕检测；字幕的检测通过一系列数字图像处理操作完成，包括裁剪、边缘检测、阈值分割和开闭运算；

基于描述参数的阈值提出一种能够适应不同教学视频的字幕检测方法，对不存在同名SubRip Text文件的视频进行字幕检测，包括：

(1)对帧图像进行预处理：对关键帧图像进行裁剪，得到关键帧图像下三分之一处作为新图像；对新图像用canny算子进行边缘检测，对边缘检测的结果进行高斯滤波；进行OSTU阈值分割，将阈值分割的结果进行开运算去噪，最后得到了噪声小、易于提取图像信息的字幕区域二值化图像，即黑白图；

(2)采用改进的VGH直方图进行字幕检测：由于预处理得到的是二值图，那么像素只有两种取值，0或255；VGH直方图表示的是在图像的每行中，取值为0(即黑色)的像素点所占比例的直方图，所述VGH直方图的累积分布函数如下所示：

其中，k为图像的行数，R_n为一行中像素的总个数，N_r(k)为第k行中黑色像素的个数；

字幕图像直方图右三分之一处的沟槽代表的就是字幕区域，即帧图像的对应VGH图的右三分之一处如果存在沟槽就是字幕区域存在的特征；通过找到沟槽的描述参数和描述参数的检测阈值即可定位字幕区域；如果在某一帧图像上满足描述参数的阈值，则此帧图像存在字幕区域，反之，字幕区域为空；

(3)设计适应各种网络课程视频的字幕检测方法：在同一视频的帧序列中，视频字幕一定位于图像纵向上的同一位置，故所述VGH直方图方法检测到的同一视频的帧序列的字幕区域的起始位置、结束位置和区域高度相差不大；在设计所有评分方法时采用保守原则，自动剔除质量极差的教学视频，并将检测阈值设置为小值；设置一个候选队列作为辅助，将所有检测到的可能字幕区域添加到候选队列中；

如果两个区域的起始位置、结束位置和区域高度相差不大，则设定两个区域为同一个区域，最终选择在队列中所占比例最高且所占比例超过某阈值t1的区域作为候选区域；如果候选队列长度大于某阈值t2，则判断该视频为带字幕视频，否则判断该视频为不带字幕视频；阈值通过多次实验来确定，最终确定阈值t1为50％，t2为70％*关键帧个数；如果检测出视频中有字幕，则字幕得分为1分，否则，则字幕得分为0分。

5.如权利要求1所述的网络课程视频质量自动评价方法，其特征在于，步骤四中，所述时长质量得分的计算公式如下：

其中，如果视频时长大于5分钟(lp)，小于7分钟，则视频时长得分为满分(fs)；如果视频时长大于7分钟，小于15分钟(rp)，则视频时长得分为ns，即为fs的90％；设能得分的最短时长为0，则la表示的就是lp与0之差；按保守原则设能得分的最大时长为两小时，则ra表示的就是两小时与rp之差；如果视频时长小于lp，则视频时长得分为ns与1减去视频时长(vd)和lp之差的绝对值占lp的比例的乘积；如果视频持续时间大于rp，则视频持续时间得分为ns与1减去rp与vd之差的绝对值占ra的比例的乘积；

步骤五中，确定至少大于3个关键帧中检测出人脸的视频为教师出镜的视频；如果检测到教师出镜，则教师出镜情况得分为1，否则为0；

步骤六中，所述图像质量评价分包括主观质量评价和客观质量评价；采用客观质量评价BRISQUE方法进行图像质量评价，在LIVE图像质量评价数据库上提取BRSQUE特征，直接将学到的“特征”直接作为图像质量评价的标准来进行评价；如果关键帧总数大于5，则视频质量得分为5个关键帧BRISQUE分数的平均值；否则，视频质量分数为所有关键帧的BRISQUE分数的平均值。

6.如权利要求1所述的网络课程视频质量自动评价方法，其特征在于，步骤七中，所述视频格式采用至少总比特率为300kbps、帧率为30kbps、大小为320*240，据此对视频格式进行评估，将帧率、比特率和分辨率的权重分别设为3/7，2/7和2/7；

设当前格式质量得分为0，如果帧率大于30kbps，帧率质量得分为1分；如果帧率在15到30kbps之间，帧率质量得分为2/3分；如果帧率小于15kbps，帧率质量得分为1/3分；对总比特率这一属性来说，若总比特率大于300kbpsd，总比特率质量得分为1分；若总比特率大于小于300kbps，总比特率质量得分为0.5分；对分辨率这一属性来说，如果分辨率为320*240或以上，分辨率质量得分为1分，否则为0.5分；设属性权重为w_i，对应此属性质量得分为s_i，所述格式最终总得分的计算公式如下：

步骤八中，所述构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签，包括：

使用在中国大学MOOC、哔哩哔哩和网易公开课的在线网络课程视频学习网站中收集到的104个质量各异的网络课程视频作为视频数据集，并邀请教育技术领域专家及人才对视频数据集中所有视频进行质量分类并给出标签。

7.如权利要求1所述的网络课程视频质量自动评价方法，其特征在于，步骤九中，所述根据视频指标打分方法对视频数据集进行打分，包括：

(1)对视频使用关键帧提取方法进行提取，得到关键帧集；

(2)根据视频本身解析出时长格式数据采用时长质量打分方法和格式质量打分方法进行打分；

(3)对关键帧集采用字幕打分方法、教师出镜情况打分方法和画质质量打分方法进行打分，最终得到与视频数据集相对应的视频打分数据集；

步骤十中，所述根据视频打分数据集进行网络课程视频自动评价模型的训练，包括：

寻求专业人员的帮助根据五个指标对视频数据集归为两类：质量极差需要剔除的视频为一类，可交由专家进行下一步评价的为一类，将归类情况作为标签数据集；把视频打分数据集作为输入，标签数据集作为分类情况，用来训练不同的机器学习方法；最后，发现逻辑回归方法的分类精度较高；所述逻辑回归表达式如下：

8.一种网络课程视频质量自动评价系统，其特征在于，所述网络课程视频质量自动评价系统包括：

自动评价指标确定模块，用于通过查阅数篇教学技术领域相关文献，确定自动评价指标；

关键帧提取模块，用于根据保守性原则提取出基于帧间差值的网络课程视频关键帧；

打分方法设计与实现模块，用于分别进行字幕打分方法、时长质量打分方法、教师出镜情况打分方法、画质质量打分方法以及格式质量打分方法的设计与实现；

数据集构建模块，用于构建网络课程视频数据集，通过人工对视频数据集中所有视频进行分类并给出标签；

打分模块，用于根据视频指标打分方法对视频数据集进行打分；

模型训练模块，用于根据视频打分数据集进行网络课程视频自动评价模型的训练。

9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～7任意一项所述的网络课程视频质量自动评价方法。

10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～7任意一项所述的网络课程视频质量自动评价方法。

Images