CN112507792B - 在线视频关键帧定位方法、定位系统、设备及存储介质 - Google Patents

在线视频关键帧定位方法、定位系统、设备及存储介质 Download PDF

Info

Publication number
CN112507792B
CN112507792B CN202011217843.9A CN202011217843A CN112507792B CN 112507792 B CN112507792 B CN 112507792B CN 202011217843 A CN202011217843 A CN 202011217843A CN 112507792 B CN112507792 B CN 112507792B
Authority
CN
China
Prior art keywords
data
video
learner
frame
click stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011217843.9A
Other languages
English (en)
Other versions
CN112507792A (zh
Inventor
闵秋莎
周忠薇
王志锋
左明章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202011217843.9A priority Critical patent/CN112507792B/zh
Publication of CN112507792A publication Critical patent/CN112507792A/zh
Application granted granted Critical
Publication of CN112507792B publication Critical patent/CN112507792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明属于计算机应用技术领域，公开了一种在线视频关键帧定位方法、定位系统、设备及存储介质，利用在线学习者观看视频的点击流数据预先得到观看行为中每一帧的停留时间，构建逻辑回归分类器，处理点击流数据以及学习者成绩分类数据分别得到训练集以及测试集；利用训练集对逻辑分类器不断训练，使用测试集数据对模型预测评估，对回归系数不断更新，最终拟合出逻辑回归模型的最佳参数，并得出与参数对应的比重较大的某几帧即为关键帧。本发明减少了定位过程中的大量手工调整，减少了长串规则，简化了代码，提高了性能。本发明专注于在线教学视频的关键帧获取，更加具有专注性，而且也为使用计算机应用技术实现互联网+教育带来了新思路。

Description

在线视频关键帧定位方法、定位系统、设备及存储介质
技术领域
本发明属于计算机应用技术领域，尤其涉及一种在线视频关键帧定位方法、定位系统、设备及存储介质。
背景技术
目前，随着计算机科学的发展以及大数据时代的来临，越来越多领域应用计算机进行研究分析。目前，“互联网+教育”获政府大力支持，在线学习越来越普及，基于学习者在在线学习中的各种点击流事件，得到学习者各种行为分析，对教育质量的提升具有一定的意义。
在教育方面，对于学习者在在线学习中的各种事件数据，通过各种计算机应用技术，以及心理学方面的知识，在对大量数据进行处理、分析以及训练的情况下，能够得到学习者的性格，基础知识掌握情况以及学习能力等，对于在线因材施教具有一定的意义。但是，这些计算机应用技术所做的工作是否有意义是与心理学知识的发展息息相关的，计算机技术所做的工作需要随着这些心理学知识发展。
在线教育的最主要也是最重要的途径是资源学习行为，而视频学习是资源学习的一种重要方式，通常在线学习者在线学习过程中大部分时间都在观看视频。因此对于在线视频进行分析，对在线教育的更好完成具有一定意义。
对于在线视频的处理，重要的是对于篇幅较长的提取重点或者进行总结。通常采用的方法是人工观看视频并用语言文字进行总结，最终变为在线视频的简介发布，用户则能够快速获取视频的主要内容，但是这种方法成本高且效率低。为提高效率减少人力成本，提取重点减少检索量，出现了很多利用计算机技术获取关键帧(描述一个镜头内容的一个或多个帧)的方法。
目前的关键帧提取方法，可以分为一下几种。第一种是通过顺序的比较每一帧提取出最为关键的一帧，这种方法简单直接且时间复杂度不高，但是也有全局性低、关键帧寻找不准确的缺点；第二种是通过全局比较法来寻找关键帧，这一算法需要先设计一个判断方法，在全局寻找时，利用这种判断方法判定某一或某几帧是否属于关键帧。这种方法比第一种方法更具有全局特性，而且寻找的关键帧更为准确，但是它的时间复杂度更高。第三种方法是通过创建具有代表性的参考帧来提取关键帧，比如计算镜头的各帧颜色灰度等的均值，这种方法的准确度也不高；第四种方法是将一段视频中的所有帧进行聚类，常见的聚类方法有通过色彩分类、高斯混合模型分类等；第五种方法是把多个帧通过曲线表示最终找到能够代表曲线的点，即为关键帧。第六种方法则是通过是考虑场景中是否出现特定的对象或动作，如果有这些特征出现且描述能力强的话，即为关键帧。
用机器学习的方法能够比较快速的检测出关键帧，其中一种方法找出的是待检测视频中场景发生变化某一帧，但这种方法对于某些场景变化不明显的某些视频效果并不好；另一种方法是通过人工对于视频的关键帧打分的方法训练模型，利用文字描述得到的关键帧与视频分析得到的关键帧进行互相修正，最终训练出能够提取关键帧的模型。
在线教学视频是否能够完成教学任务，关键在于视频的重难点(关键帧)是否被解释清楚，而对于教育视频讲解的知识难点，不是教育者定义的，而是根据在线学习者能否快速理解某处知识点而定义的。因此对视频资源进行分析，定位出教学视频的知识难点，便于教育者着重该知识难点的解释，帮助教育的更好完成。而学习者对于视频的点击流行为能够直观的反映学习者在观看视频时不同的学习状态，分析这些点击流数据能够帮助寻找到教育视频的关键帧。因此设计一种专门的算法基于学习者点击流事件分析寻找教育视频中的关键帧是非常有必要的。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有关键帧定位方法需要手工调整，长串规则多，且定位不准确。
(2)现有关键帧定位方法需要划分模块，定位准确率过于依赖模块划分结果；且计算量大，灵活度不高。
解决以上问题及缺陷的难度为：
在线教学视频相对于其他种类的视频来说具有明显的区分特点：教学视频的画面往往变化较为缓慢，文字在网络教学视频中所占的作用一般非常大，但是文字在教学视频中的变化一般比较占画面的比例较小。因此，利用视频画面信息提取关键帧的各种方法都不适用。且由于在线学习发展的时间较短，目前对学生在线学习行为数据的研究和分析都发展不成熟。目前大规模在线学习平台对学习者观看在线教学视频的在线学习行为产生的数据并没有产生足够的重视，同时关于这个领域的开放数据集少之又少，且对数据进行分析可供参考的技术和方法也非常少。因此在数据获取、分析处理以及技术实现上都存在一定的困难。
解决以上问题及缺陷的意义为：
随着互联网的快速发展，除了传统的课堂教育之外，在线学习在现代教育中的占比越来越大。但是这种学习方式存在一定的弊端，不少学习者观看在线课程的过程中，存在使用设备放映课程而学习者不认真听课的“刷课”现象。但由于在线学习像在传统课堂上一样面对面授课，导致教师无法及时知道学习者的学习状态和学习行为，从而对自己的授课方式进行随时调整。因此，如果存在一种分析在线学习观看视频数据的方法，能够帮助在线学习的授课老师了解到全体学生在观看视频的时候产生的难点，从而对在线教学视频进行及时的调整。这种方法对提升在线学习教学效果，促进“互联网+教育”，提升教学质量存在一定的意义。
发明内容
针对现有技术存在的问题，本发明提供了一种在线视频关键帧定位方法、定位系统、设备及存储介质。
本发明是这样实现的，一种基于学习者点击流事件的在线视频关键帧定位方法，所述基于学习者点击流事件的在线视频关键帧定位方法包括：
利用在线学习者观看视频的点击流数据预先得到观看行为中每一帧的停留时间，构建逻辑回归分类器，处理点击流数据以及学习者成绩分类数据分别得到训练集以及测试集；利用训练集对逻辑分类器不断训练，使用测试集数据对模型预测评估，对回归系数不断更新，最终拟合出逻辑回归模型的最佳参数，并得出与参数对应的比重较大的某几帧即为关键帧。
进一步，所述基于学习者点击流事件的在线视频关键帧定位方法包括以下步骤：
步骤一，分别建立学习者基本信息数据库、在线学习资源数据库，并建立用于存储在线点击流行为的存储数据库；获取学习者观看视频点击流行为以及学习者测验成绩数据集；
步骤二，对获取的点击流行为数据进行处理，并获取在每一帧停留时长的数据；对获取的测验成绩赋予分类值；
步骤三，确定逻辑回归模型训练数据以及测试数据；通过对得到的训练集数据进行特征选择以及数据优化构建逻辑回归模型；并优化逻辑回归模型得到逻辑回归最优模型；
步骤四，利用测试集数据对得到的逻辑回归最优模型进行预测评估；根据预测评估结果选择最优模型，其对应的回归参数即为最佳回归参数；与最佳回归参数对应的某几个所占比重最大的帧即为关键帧。
进一步，步骤一中，所述观看视频点击流行为包括：播放、暂停、拖动、调速、缓冲和异常行为。
进一步，步骤一中，所述获取学习者观看视频点击流行为以及学习者测验成绩数据集包括：
搭建在线学习网站，学习者通过网站中的视频资源进行学习，获取学习者在观看视频过程中的点击流数据；并于学习完成后通过测试题进行检测，同时获取测试题得分数据；并将获取的点击流数据以及得分数据存储至数据库中。
进一步，步骤二中，所述获取在每一帧停留时长的数据包括：
(1)分配观看视频帧数个计数器，并将所有计数器初始化为0；
(2)循环处理停留帧字符串，若某帧编号在循环过程中出现一次，则对应计数器值+1，最终数值即为在每一帧停留时长的数据；
计算公式如下：
其中，xi表示第i帧停留时长，framej表示下标j对应的帧，xi初始值为0。
进一步，步骤二中，所述对获取的测验成绩赋予分类值包括：
确定得分阈值，当学习者得分数据高于得分阈值时，则为学习者得分数据赋分类值1，否则分类值为0。
进一步，步骤三中，所述确定逻辑回归模型训练数据以及测试数据包括：
对同一个视频，每个学习者的学习成绩分类与其在观看视频过程中每一帧的停留时长作为一组数据，所有数据的组数与学习者的个数相等，其中，80％作为训练集，20％作为测试集。
进一步，步骤三中，所述逻辑回归模型如下：
y＝w1x1+w2x2+w3x3+…+wnxn；
其中，y代表类别，取值为0或1，0表示测试成绩非满分，1表示测试成绩满；n表示的是一段视频包含的帧数；w1、w2…wn表示的是模型的回归参数，初始值均为1；x1、x2…xn表示的是处理得到的对应的每帧视频的停留时长；
进一步，步骤三中，所述优化逻辑回归模型得到逻辑回归最优模型包括：
将停留时长xi代入逻辑回归模型，得到：
使用改进的随机梯度上升算法对逻辑回归模型进行迭代训练，对回归参数w1、w2……wn进行更新；得到最优的逻辑回归模型参数；将最优的逻辑回归模型参数代入所述逻辑回归模型，即可得逻辑回归最优模型。
进一步，所述回归参数的更新公式如下：
weights＝weights+alpha*error*dataMatrix[randIndex]。
本发明的另一目的在于提供一种实施所述基于学习者点击流事件的在线视频关键帧定位方法的基于学习者点击流事件的在线视频关键帧定位系统。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于学习者点击流事件的在线视频关键帧定位方法。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于学习者点击流事件的在线视频关键帧定位方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
本发明逻辑回归模型的训练成本不高，能够快速验证特征和数据的合理性。根据在自行搭建的在线学习网站收集到的数据集，处理可得到在线视频观看这一行为的特征；对不同在线学习的学习者，可根据其课程结业测试的成绩将其分为两类；根据以上分析，采用逻辑回归的方法实现关键帧的定位。
本发明中提出的关键帧定位方法是利用机器学习构建逻辑回归模型而得到的。首先，使用机器学习的方法提取关键帧，比之传统识别视频关键帧的方法，减少了定位过程中的大量手工调整，减少了长串规则，简化了代码，提高了性能。其次，使用逻辑回归的方法，高效且计算量小，容易实现且预测概率高。对于根据观看视频点击流行为将学习者学习效果分类的这种线性的有监督问题，使用逻辑回归的方法实现效果很好。最后，相较于其他的视频关键帧检测技术，本发明专注于在线教学视频的关键帧获取，更加具有专注性，而且也为使用计算机应用技术实现“互联网+教育”带来了新思路。总之，所提出的技术专注于分析学习者在线观看视频的学习行为从而找出其所观看视频的重难点，而不只是单纯分析视频，同时在学习行为分析领域，将在线学习行为与视频关键帧定位结合起来进行创新，实现了一种可专门用于分析定位教育视频重难点的技术。
本发明中提出了一种用于基于点击流数据的关键帧定位方法，相比于传统的为视频划分模块，寻找每个模块的关键帧的方法，本发明的优点在于：第一，传统方法需要划分模块，且关键帧寻找是否准确，与模块划分是否合适息息相关。而本发明的这种方法，结合了学习者的点击流数据，无需进行繁琐的模块划分，就能够根据点击流数据而非视频内容精准的找到视频的关键帧。第二，传统方法对视频内容进行分析，需要对每一帧进行比较，计算量大且灵活度不高；本发明根据点击流数据进行分析，只需要利用逻辑回归的方法在所有用户数据中找到停留时间最长的几帧，计算量小并且便于调整，灵活性高。并且本发明采用改进的随机梯度上升算法对于数据集进行训练，比起梯度上升算法需要每次对于整个数据集中的数据进行更新，随机梯度上升算法只需要对某一样本点进行更新，计算量更小，并且进行了改进，使稳定性和准确度也得到了保证。
本发明针对在线学习网站日趋流行，教学视频种类多，数量大。通过收集学习者观看学习视频的点击流数据，利用机器学习的方法，为每个学习视频找到其对应的关键帧。便于教育者对症下药，着重解释学习视频的重难点，从而帮助学习者更好更快的理解视频对应知识的重难点，对提升教育质量具有一定的意义。
对比的技术效果或者实验效果。包括：
为了验证本发明的效果，将自行开发的在线学习网站在后台收集到的学习者在线学习点击流事件作为数据集，观看视频后学习者的测试情况作为标签集，引入交叉验证测试逻辑回归模型的有效性。为验证本发明的有效性，进行实验如下：通过对某门本科生课程在自行开发的在线学习网站的预习情况进行收集，获得约2500条在线学习点击流数据以及观看视频后试题答题情况数据，但由于对于同一视频的观看情况数据量较少，只有近百条，为了减少过拟合，引入交叉验证来测试逻辑回归模型的效果，从而从有限的数据中获取尽可能多的有效信息。采用十折交叉验证，将数据集划分为十折，结果中最后一个集合是测试集，前面的是训练集。经多次验证，对训练集和测试集预测的准确率都在75％以上，且模型评估得分较高，模型的性能较好，因此，使用本发明所提出的方法能够保证所检验关键帧的可靠性。
关键帧对应的是逻辑回归模型最佳回归参数对应的某几个所占比重最大的帧。通过对比实验来证明关键帧的有效性，对一组学生的观看数据使用以上方法分析出教学视频关键帧以后，将教学视频对应知识点的视频时间延长，对观看此视频后的另一组学生进行测试。统计测试结果可知，延长后的视频的教学效果更好。通过此对比实验可得出本发明所分析出的关键帧的有效性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于学习者点击流事件的在线视频关键帧定位方法原理图。
图2是本发明实施例提供的基于学习者点击流事件的在线视频关键帧定位方法流程图。
图3是本发明实施例提供的视频关键帧的示意图。
图4是本发明实施例提供的自行搭建网站总体架构图。
图5是本发明实施例提供的数据处理过程的示意图。
图6是本发明实施例提供的关键帧定位方法示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于学习者点击流事件的在线视频关键帧定位方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于学习者点击流事件的在线视频关键帧定位方法包括：
利用在线学习者观看视频的点击流数据预先得到观看行为中每一帧的停留时间，构建逻辑回归分类器，处理点击流数据以及学习者成绩分类数据分别得到训练集以及测试集；利用训练集对逻辑分类器不断训练，使用测试集数据对模型预测评估，对回归系数不断更新，最终拟合出逻辑回归模型的最佳参数，并得出与参数对应的比重较大的某几帧即为关键帧。
如图2所示，本发明实施例提供的基于学习者点击流事件的在线视频关键帧定位方法包括以下步骤：
S101，分别建立学习者基本信息数据库、在线学习资源数据库，并建立用于存储在线点击流行为的存储数据库；获取学习者观看视频点击流行为以及学习者测验成绩数据集；
S102，对获取的点击流行为数据进行处理，并获取在每一帧停留时长的数据；对获取的测验成绩赋予分类值；
S103，确定逻辑回归模型训练数据以及测试数据；通过对得到的训练集数据进行特征选择以及数据优化构建逻辑回归模型；并优化逻辑回归模型得到逻辑回归最优模型；
S104，利用测试集数据对得到的逻辑回归最优模型进行预测评估；根据预测评估结果选择最优模型，其对应的回归参数即为最佳回归参数；与最佳回归参数对应的某几个所占比重最大的帧即为关键帧。
步骤S101中，本发明实施例提供的观看视频点击流行为包括：播放、暂停、拖动、调速、缓冲和异常行为。
步骤S101中，本发明实施例提供的获取学习者观看视频点击流行为以及学习者测验成绩数据集包括：
搭建在线学习网站，学习者通过网站中的视频资源进行学习，获取学习者在观看视频过程中的点击流数据；并于学习完成后通过测试题进行检测，同时获取测试题得分数据；并将获取的点击流数据以及得分数据存储至数据库中。
步骤S102中，本发明实施例提供的获取在每一帧停留时长的数据包括：
(1)分配观看视频帧数个计数器，并将所有计数器初始化为0；
(2)循环处理停留帧字符串，若某帧编号在循环过程中出现一次，则对应计数器值+1，最终数值即为在每一帧停留时长的数据；
计算公式如下：
其中，xi表示第i帧停留时长，framej表示下标j对应的帧，xi初始值为0。
步骤S102中，本发明实施例提供的对获取的测验成绩赋予分类值包括：
确定得分阈值，当学习者得分数据高于得分阈值时，则为学习者得分数据赋分类值1，否则分类值为0。
步骤S103中，本发明实施例提供的确定逻辑回归模型训练数据以及测试数据包括：
对同一个视频，每个学习者的学习成绩分类与其在观看视频过程中每一帧的停留时长作为一组数据，所有数据的组数与学习者的个数相等，其中，80％作为训练集，20％作为测试集。
步骤S103中，本发明实施例提供的逻辑回归模型如下：
y＝w1x1+w2x2+w3x3+…+wnxn；
其中，y代表类别，取值为0或1，0表示测试成绩非满分，1表示测试成绩满；n表示的是一段视频包含的帧数；w1、w2…wn表示的是模型的回归参数，初始值均为1；x1、x2…xn表示的是处理得到的对应的每帧视频的停留时长；
步骤S103中，本发明实施例提供的优化逻辑回归模型得到逻辑回归最优模型包括：
将停留时长xi代入逻辑回归模型，得到：
使用改进的随机梯度上升算法对逻辑回归模型进行迭代训练，对回归参数w1、w2……wn进行更新；得到最优的逻辑回归模型参数；将最优的逻辑回归模型参数代入所述逻辑回归模型，即可得逻辑回归最优模型。
本发明实施例提供的回归参数的更新公式如下：
weights＝weights+alpha*error*dataMatrix[randIndex]。
下面结合具体实施例对本发明的技术效果作进一步描述。
实施例1：
本发明中使用自行开发的在线学习网站针对开设课程《教育技术与媒体》学习者的点击流行为数据以及每次观看视频后的小测验成绩组成的数据集证明提出的关键帧定位技术的有效性，图3生动的表示了本发明中视频关键帧示意图。图1是本发明的一个实施例提供的基于学习者点击流的关键帧提取方法的总体流程示意图，根据此总体流程示意图，详细介绍本发明步骤如下。
步骤1，为学习者建立基本信息数据库，主要存储学习者用户名，学号，密码，姓名等基本信息。为在线学习资源建立数据库，将课程视频描述以及视频资源存入数据库；并为学习者观看视频点击流行为建立存储数据库，用于存储学习者在学习视频播放过程中的观看帧数轨迹。为搭建网站做准备。数据库组成示意图具体见图4。
步骤2，获取学习者观看视频点击流行为数据以及学习者测验成绩数据集。视频在线播放过程中的事件有：播放、暂停、拖动(把视频进度从进度条某点向前或向后拖动)、调速(改变播放速度)、缓冲和异常(因网络或浏览器等问题使视频播放出现异常)，这些数据称为点击流数据。
步骤2.1，自行搭建在线学习网站，图5为网站的总体架构图。教育者和学习者都可以登录网站：教育者能够在网站获取需要的存储在数据库中的数据，并且能够看到经可视化后的学习行为数据；学习者可以通过网站中的视频资源进行学习，学习完成后还可通过测试题进行测试。网站后台获取学生行为数据，并对应学生，所观看视频，视频帧停留数据存入时间记录表中。
步骤2.2，视频观看完成后，会有对应的测验题需要学习者完成，这也是检验视频观看情况的一个重要指标。由于在线课程还有对应的线下课程，打分能够影响到平时成绩，因此能够保证测试以及视频观看的有效性。视频每次学习者观看视频后的测试题完成情况由后台存入数据库。
最终，发明人能够在数据库中导出学习者观看视频点击流行为数据以及学习者测验成绩数据集，便于后面的研究操作。
步骤3，数据处理。将步骤2所获数据集进行处理，具体数据处理过程中的结构示意图如下：
步骤3.1，对于点击流行为原始数据，首先剔除掉无效数据：例如视频因缓冲而产生暂停，或者是视频播放未完成而得到不完整的视频帧序列，或者是视频播放完成没有做对应的测试题因而学习者成绩分类数据不完整，这样的数据都要剔除掉。剔除无效数据后的数据为有效点击流数据。编写程序对大量有效点击流数据进行批量处理，程序对应的算法为：首先分配观看视频帧数个计数器，将它们的值都初始化为0。然后循环处理停留帧字符串，某帧编号在循环过程中出现一次，则对应计数器值+1。经过此步后得到的数据就是在每一帧停留时间的数据：如果视频流畅播放，则每帧对应的值都为1；如果视频播放过程中出现点击流行为，得到的就是个数和视频帧数相等的一组数据，且对应每帧停留时长不尽相同。帧停留时长计算公式如下，其中，xi表示第i帧停留时长，framej表示下标j对应的帧，xi初始值为0。
步骤3.2，对于学习者测验成绩数据，编写程序进行处理。程序对应的算法为：根据观看视频后的测验得分情况，满分为100分，如果最终得分为100(满分)，将此学生成绩分类值赋值为1，否则此学生成绩分类值赋值为0。算法对应公式如下。
步骤3.3，逻辑回归模型训练数据以及测试数据确定。对同一个视频，每个学习者的学习成绩分类与其在观看视频过程中每一帧停留时长作为一组数据。因此，由上面几个步骤处理得到多组数据，这些数据是比较结构化适合训练的数据，可用来进行机器学习分析处理，其中，80％作为训练集，20％作为测试集。
步骤4，逻辑回归最优模型的确立。
步骤4.1，收集、准备数据。此步骤对应上文所述的步骤2。
步骤4.2，分析数据：可视化并观察数据。观察分析到视频帧停留时长对于在线视频进行关键帧定位具有一定的意义，因此需要对点击流数据进行处理，得到所需要的视频帧停留时长的结构化数据。此步骤对应上文所述的步骤3。
步骤4.3，训练数据。通过对训练集数据进行特征选择以及数据优化构建并且优化所述的逻辑回归模型。逻辑回归模型的公式为：y＝w1x1+w2x2+w3x3+…+wnxn，对应本发明的主题，y代表类别，取值为0或1,0表示测试成绩非满分，1表示测试成绩满分。n表示的是一段视频包含的帧数。w1、w2……wn表示的是模型的回归参数，初始值均为1。x1、x2……xn表示的是步骤3处理得到的对应的每帧视频的停留时长。将停留时长xi代入逻辑回归模型公式，如下。
由于选择的是逻辑回归，因此需要找出优化算法进行训练。本发明使用改进的随机梯度上升的算法对于模型进行不断训练，这种训练算法的优点在于，无需遍历整个数据集(可能包含极大量的数据样本和数据特征)，每次只随机选择一个样本点对于回归参数w1、w2……wn进行更新，因此其计算复杂度比较低。同时比起更简单的随机梯度上升方法，这种方法更为稳定且分类比较准确。回归参数的更新公式如下：
weights＝weights+alpha*error*dataMatrix[randIndex]
对训练集数据使用上述公式不断迭代得到最优的逻辑回归模型参数。
步骤5，使用测试集数据对模型进行预测评估。使用步骤4得到的优化模型，输入预留出的20％的处理后的测试集点击流数据以及得到的最优回归参数，得到所得模型对测试集数据的预测值。将预测值和实际分类结果进行比较，计算预测的错误率，发现本实例所得错误率仅在20％左右，因此所得到的回归参数效果比较好。
步骤6，根据预测评估结果选择最优模型，其对应的回归参数即为最佳回归参数。与最佳回归参数对应的某几个所占比重最大的帧即为关键帧。
本发明提出的基于学习者点击流事件的在线视频关键帧定位技术，是一种把学习者行为数据与视频分析技术相结合，通过分析大量学习者观看视频点击流数据，从而准确定位视频关键帧的创新性方法。能够为研究者在教育技术领域的研究开拓思路，把更多学习行为数据与其他领域相结合，从而为教育质量提升作出新的贡献。
根据本发明得到的在线视频关键帧，能够帮助教育者更好了解到学生的学习情况以及该视频的重难点。帮助教育者根据学生水平因材施教，将教学过程中的抽象难点具体化，帮助教育的完成。最终使教育者在教育过程中抓住重点，突破难点，对症下药。
为证明本发明的有效性，对2018年秋季开设的《教学技术与媒体》课程进行实验验证，这门课程共有学生九十余人，分为两个班级授课，以对比实验的方式开展实验。通过自行开发的在线学习网站采集学生学习的数据，截止课程结束，总共收集大约2500条数据。这2500条数据对应了《教学技术与媒体》这门课程总共30个教学视频的观看数据，从中选取一个比较有代表性的教学视频关键帧定位结果进行实例分析。
由于课程前期收集的数据用于分析以及确定研究方法，因此到课程后期才进行对比实验，进行对比实验的视频为《教学技术与媒体》课程第十二章名为“教师角色的变化”的视频，为保证实验效果，将学生分为两组进行实验。基于第一组学生的在线观看行为数据，对视频难点进行定位。实验结果如下：逻辑回归模型预测正确率为88.24％，保证了寻找关键帧的可靠性。最优参数中最大的权重值为65.46，所对应的知识点为视频第24秒处对应的知识点。此外，权重值比较突出的还有视频第25,4,44,37,39秒，对应的权重值分别为54.72,51,55,49.54,46.47,44.73，根据本发明所提出的方法，这些地方所对应的知识点就是视频的难点。之后根据定位结果找到视频相应位置，延长了视频知识点的讲解时间，让第二组进行调整视频的学习。视频学习结束以后，分析测试题答题情况，发现第一组的答题正确率在71％，第二组的答题正确率为92％，正确率差值为21％，通过t检验发现这两组学生的视频观看效果呈现显著性差异(p＝0.012<0.05)。也就是说，通过本发明找出关键帧对应的知识点确实为学生观看视频的过程中存在的难点，验证了本发明的有效性，也更加能证明本发明将会对提升在线学习教学质量有积极的意义。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于学习者点击流事件的在线视频关键帧定位方法，其特征在于，所述基于学习者点击流事件的在线视频关键帧定位方法包括：
利用获取的视频的点击流数据预先得到观看行为中每一帧的停留时间，基于获取的所述停留时间，构建逻辑回归模型；
处理点击流数据以及成绩分类数据分别得到训练集以及测试集，其中，处理点击流数据是用于获取学习者观看视频过程中每一帧的停留时间，成绩分类数据为学习者观看视频后测验成绩的分类值；
利用训练集对构建的所述逻辑回归模型进行训练，使用测试集数据对所述逻辑回归模型预测评估，基于训练数据及评估数据对所述逻辑回归模型的回归系数进行更新；
拟合出所述逻辑回归模型的最佳参数，并得出与参数对应的比重大的关键帧。
2.如权利要求1所述基于学习者点击流事件的在线视频关键帧定位方法，其特征在于，所述基于学习者点击流事件的在线视频关键帧定位方法包括以下步骤：
步骤一，分别建立学习者基本信息数据库、在线学习资源数据库，并建立用于存储在线点击流行为的存储数据库；获取学习者观看视频点击流行为以及学习者测验成绩数据集；
步骤二，对获取的点击流行为数据进行处理，并获取在每一帧停留时长的数据；对获取的测验成绩赋予分类值；
步骤三，确定逻辑回归模型训练数据以及测试数据；通过对得到的训练集数据进行特征选择以及数据优化构建逻辑回归模型；并优化逻辑回归模型得到逻辑回归最优模型；
步骤四，利用测试集数据对得到的逻辑回归最优模型进行预测评估；根据预测评估结果选择最优模型，其对应的回归参数即为最佳回归参数；与最佳回归参数对应的某几个所占比重最大的帧即为关键帧。
3.如权利要求2所述基于学习者点击流事件的在线视频关键帧定位方法，其特征在于，步骤一中，所述观看视频点击流行为包括：播放、暂停、拖动、调速、缓冲和异常行为。
4.如权利要求2所述基于学习者点击流事件的在线视频关键帧定位方法，其特征在于，步骤一中，所述获取学习者观看视频点击流行为以及学习者测验成绩数据集包括：
搭建在线学习网站，学习者通过网站中的视频资源进行学习，获取学习者在观看视频过程中的点击流数据；并于学习完成后通过测试题进行检测，同时获取测试题得分数据；并将获取的点击流数据以及得分数据存储至数据库中。
5.如权利要求2所述基于学习者点击流事件的在线视频关键帧定位方法，其特征在于，步骤二中，所述获取在每一帧停留时长的数据包括：
(1)分配观看视频帧数个计数器，并将所有计数器初始化为0；
(2)循环处理停留帧字符串，若某帧编号在循环过程中出现一次，则对应计数器值+1，最终数值即为在每一帧停留时长的数据；
计算公式如下：
其中，xi表示第i帧停留时长，framej表示下标j对应的帧，xi初始值为0。
6.如权利要求2所述基于学习者点击流事件的在线视频关键帧定位方法，其特征在于，步骤二中，所述对获取的测验成绩赋予分类值包括：
确定得分阈值，当学习者得分数据高于得分阈值时，则为学习者得分数据赋分类值1，否则分类值为0。
7.如权利要求2所述基于学习者点击流事件的在线视频关键帧定位方法，其特征在于，步骤三中，所述确定逻辑回归模型训练数据以及测试数据包括：
对同一个视频，每个学习者的学习成绩分类与其在观看视频过程中每一帧的停留时长作为一组数据，所有数据的组数与学习者的个数相等，其中，80％作为训练集，20％作为测试集；
所述逻辑回归模型如下：
y＝w1x1+w2x2+w3x3+…+wnxn；
其中，y代表类别，取值为0或1，0表示测试成绩非满分，1表示测试成绩满分；n表示的是一段视频包含的帧数；w1、w2…wn表示的是模型的回归参数，初始值均为1；x1、x2…xn表示的是处理得到的对应的每帧视频的停留时长；
所述优化逻辑回归模型得到逻辑回归最优模型包括：
将停留时长xi代入逻辑回归模型，得到：
使用改进的随机梯度上升算法对逻辑回归模型进行迭代训练，对回归参数w1、w2……wn进行更新；得到最优的逻辑回归模型参数；将最优的逻辑回归模型参数代入所述逻辑回归模型，即可得逻辑回归最优模型；
所述回归参数的更新公式如下：
weights＝weights+alpha*error*dataMatrix[randIndex]。
8.一种基于学习者点击流事件的在线视频关键帧定位系统，其特征在于，所述系统包括处理模块，所述处理模块用于实施权利要求1～7任意一项所述基于学习者点击流事件的在线视频关键帧定位方法。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～7任意一项所述基于学习者点击流事件的在线视频关键帧定位方法。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～7任意一项所述基于学习者点击流事件的在线视频关键帧定位方法。
CN202011217843.9A 2020-11-04 2020-11-04 在线视频关键帧定位方法、定位系统、设备及存储介质 Active CN112507792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011217843.9A CN112507792B (zh) 2020-11-04 2020-11-04 在线视频关键帧定位方法、定位系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011217843.9A CN112507792B (zh) 2020-11-04 2020-11-04 在线视频关键帧定位方法、定位系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112507792A CN112507792A (zh) 2021-03-16
CN112507792B true CN112507792B (zh) 2024-01-23

Family

ID=74955176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011217843.9A Active CN112507792B (zh) 2020-11-04 2020-11-04 在线视频关键帧定位方法、定位系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112507792B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114531604B (zh) * 2022-02-16 2023-02-28 广州佳邦信息科技有限公司 一种在线教学视频的智能处理方法及系统
CN116167898A (zh) * 2023-02-16 2023-05-26 广州中慧智能科技有限公司 基于影像数据分析的网络课程管理方法、装置、终端及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182489A (zh) * 2017-12-25 2018-06-19 浙江工业大学 一种基于在线学习行为分析的个性化学习推荐方法
CN109068178A (zh) * 2018-09-11 2018-12-21 广州智诺科技有限公司 一种视频播放方法及播放器
WO2019037197A1 (zh) * 2017-08-25 2019-02-28 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
WO2019037195A1 (zh) * 2017-08-25 2019-02-28 平安科技（深圳）有限公司 用户兴趣识别方法、装置及计算机可读存储介质
CN110381366A (zh) * 2019-07-09 2019-10-25 新华智云科技有限公司 赛事自动化报道方法、系统、服务器及存储介质
CN110942009A (zh) * 2019-11-22 2020-03-31 南京甄视智能科技有限公司 基于时空混合卷积网络的跌倒检测方法与系统
CN111444391A (zh) * 2020-04-09 2020-07-24 圆梦共享教育科技(深圳)有限公司 一种基于人工智能的视频学习成效评估方法
CN111522970A (zh) * 2020-04-10 2020-08-11 广东小天才科技有限公司 习题推荐方法、装置、设备及存储介质
CN111598750A (zh) * 2020-05-12 2020-08-28 湖北美和易思教育科技有限公司 一种基于反刍比算法的学生在线学习状态评估方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190164444A1 (en) * 2017-11-25 2019-05-30 The Board Of Trustees Of The University Of Illinois Assessing a level of comprehension of a virtual lecture

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019037197A1 (zh) * 2017-08-25 2019-02-28 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
WO2019037195A1 (zh) * 2017-08-25 2019-02-28 平安科技（深圳）有限公司 用户兴趣识别方法、装置及计算机可读存储介质
CN108182489A (zh) * 2017-12-25 2018-06-19 浙江工业大学 一种基于在线学习行为分析的个性化学习推荐方法
CN109068178A (zh) * 2018-09-11 2018-12-21 广州智诺科技有限公司 一种视频播放方法及播放器
CN110381366A (zh) * 2019-07-09 2019-10-25 新华智云科技有限公司 赛事自动化报道方法、系统、服务器及存储介质
CN110942009A (zh) * 2019-11-22 2020-03-31 南京甄视智能科技有限公司 基于时空混合卷积网络的跌倒检测方法与系统
CN111444391A (zh) * 2020-04-09 2020-07-24 圆梦共享教育科技(深圳)有限公司 一种基于人工智能的视频学习成效评估方法
CN111522970A (zh) * 2020-04-10 2020-08-11 广东小天才科技有限公司 习题推荐方法、装置、设备及存储介质
CN111598750A (zh) * 2020-05-12 2020-08-28 湖北美和易思教育科技有限公司 一种基于反刍比算法的学生在线学习状态评估方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于BKT模型的网络教学跟踪评价研究;李景奇;卞艺杰;方征;;现代远程教育研究(第05期);全文 *
基于视频观看轨迹的难度感知诊断方法;闵秋莎;李文昊;陈雅婷;;现代教育技术(第05期);全文 *

Also Published As

Publication number Publication date
CN112507792A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN111274411A (zh) 课程推荐方法、装置、电子设备及可读存储介质
CN110851723B (zh) 一种基于大规模知识点标注结果的英语习题推荐方法
Liu et al. Emotion and associated topic detection for course comments in a MOOC platform
CN112507792B (zh) 在线视频关键帧定位方法、定位系统、设备及存储介质
CN111930925B (zh) 一种基于在线教学平台的试题推荐方法及系统
CN105677747A (zh) 在线教学中的知识点管理方法和系统
Heilbron et al. Collecting and annotating human activities in web videos
CN112184503A (zh) 用于学前教育质量评价的儿童多项能力评分方法及系统
CN112487290A (zh) 基于大数据和人工智能的互联网精准化教学方法及系统
Agarwal et al. Autoeval: A nlp approach for automatic test evaluation system
Doko et al. Sequential Pattern Mining Model to Identify the Most Important or Difficult Learning Topics via Mobile Technologies.
Harsley et al. Integrating support for collaboration in a computer science intelligent tutoring system
CN111507534A (zh) 基于学生学习数据的知识点掌握情况的预测分析算法
Liu et al. Joint exploration of negative academic emotion and topics in student-generated online course comments
Zhang et al. Improving lexical access and acquisition through reading the news: case studies of senior high school students in China.
CN111813919A (zh) 一种基于句法分析与关键词检测的mooc课程评价方法
Bajaj et al. Classification of Student Affective States in Online Learning using Neural Networks
Jia et al. Integrating Clustering and Sequential Analysis to Explore Students' Behaviors in an Online Chinese Reading Assessment System
Wang et al. Research and practice of computer english assisted learning system
Sun et al. Research on the Application of Students' Answered Record Analyze Model and Question Automatic Classify Based on K-Means Clustering Algorithm
Sudana et al. The Effect of Using Videoscribe as a Teaching Media on Writing Descriptive Text of the Tenth Grade Students of SMK YPSEI Palangka Raya
CN116226410B (zh) 一种知识元联结学习者状态的教学评估与反馈方法及系统
Robandi et al. Profile of Educands in the Digital Era
Rousoulioti et al. Modern Greek language e-diagnostic tests
Tan et al. Application of Convolutional Neural Network Classification Algorithm in Online-offline Blended Teaching of Chinese Painting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant