CN107801097A

CN107801097A - 一种基于用户交互的视频课程播放方法

Info

Publication number: CN107801097A
Application number: CN201711044790.3A
Authority: CN
Inventors: 王欣
Original assignee: Shanghai Gunton Education Training Co Ltd
Current assignee: Shanghai Gunton Education Training Co Ltd
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2018-03-13

Abstract

本发明涉及一种基于用户交互的视频课程播放方法，所述方法包括下列步骤：播放教学课程视频，同时捕捉用户的表情信息；根据捕捉的表情信息，自动调整教学课程视频的播放参数；判断用户是否认可播放参数的调整，若否则还原上一次的播放参数并返回进行用户的表情信息捕捉，若是则直接返回进行用户的表情信息捕捉。与现有技术相比，本发明具有交互性更好以及准确程度更高等优点。

Description

一种基于用户交互的视频课程播放方法

技术领域

本发明涉及视频课程教学领域，尤其是涉及一种基于用户交互的视频课程播放方法。

背景技术

随着计算机技术的迅速发展，在线教育已经发展的如火如荼。教育的核心就是知识的传递，而最直接的传递方式就是视频。越来越多的人选择在网上看视频进行学习，而在线播放的学习方式和在线下课堂的学习唯一的缺点就是缺乏互动，就是没有办法知道学员的反馈。

现在人工智能已经快速发展，利用人工智能可以帮我们分析和记录用户在学习时的表情反馈，通过分析用户表情我们可以实时调整当前视频的播放速度，帮助用户记录学习过程的难点。利用大数据对所有用户的学习过程进行分析，统计学习难点并对难点进行补充学习和加强学习。专利申请CN107203953A公布了一种基于互联网、表情识别和语音识别的教学系统及其实现方法，通过采集用户在学习教学课程视频过程中的面部表情，并与数据库中的标准模板进行比较，来判断用户当前进行学习教学课程视频的内心状态，从而调整播放速度和播放内容，来达到与用户交互的目的。

然而上述方法存在的一个缺点在于，由于表情识别的精度仍有待提高，而且用户的表情在有些时候并不能真正的反应用户的心理活动，因此完全通过表情识别来调整播放进度，容易导致该播放调整并不准确，而用户若想取消该调整，往往需要通过手动倒退视频以及还原过去的视频播放速度等方式，这种方式一方面会降低用户的学习体验，另一方面，用户很有可能忘记需要倒退至的视频时间点和原有的视频播放速度，从而导致用户无法继续以最佳方式完成课程的学习。

发明内容

本发明的目的是针对上述问题提供一种基于用户交互的视频课程播放方法。

本发明的目的可以通过以下技术方案来实现：

一种基于用户交互的视频课程播放方法，所述方法包括下列步骤：

1)播放教学课程视频，同时捕捉用户的表情信息；

2)根据步骤1)中捕捉的表情信息，自动调整教学课程视频的播放参数；

3)判断用户是否认可播放参数的调整，若否则还原上一次的播放参数并返回步骤1)，若是则直接返回步骤1)。

优选地，所述步骤2)包括：

21)判断步骤1)中捕捉的表情信息持续时间是否超过规定阈值时间，若是则进入步骤22)，若否则返回步骤1)；

22)根据步骤21)中持续时间超过规定阈值时间的表情，自动调整教学课程视频的播放参数。

优选地，所述规定阈值时间为30～90秒。

优选地，所述步骤22)包括：

221)判断步骤21)中持续时间超过规定阈值时间的表情是否为开心、轻松或不耐烦，若是则加快教学课程视频的播放速度参数并进入步骤3)，若否则进入步骤222)；

222)判断步骤21)中持续时间超过规定阈值时间的表情是否为疑惑或难过，若是则减慢教学课程视频的播放速度参数并进入步骤3)，若否则进入步骤223)；

223)保持当前的教学课程视频的播放速度参数不变，进入步骤3)。

优选地，所述步骤3)包括：

31)记录进行教学课程视频播放参数调整的开始时间点，以及开始时间点前的播放参数；

32)在用户交互界面上弹出播放参数的调整内容提示框，并接收用户的反馈结果；

33)根据步骤32)中接收的反馈结果判断是否用户是否认可播放参数的调整，若否则进入步骤34)，若是则直接返回步骤1)；

34)调整教学课程视频的播放时间至步骤31)中记录的开始时间点，同时还原步骤31)中记录的播放参数，并返回步骤1)。

优选地，所述调整内容提示框包括教学课程视频的播放参数调整内容和播放参数调整同意选择框。

优选地，所述步骤31)还包括：在开始时间点处，读取对应的知识点内容并进行相应标记。

优选地，所述相应标记包括：将与加快播放速度参数的对应知识点标记为已掌握知识点或将与减慢播放速度参数的对应知识点标记为疑难知识点。

优选地，所述步骤34)还包括：对开始时间点处对应的知识点内容，取消相应标记。

与现有技术相比，本发明具有以下有益效果：

(1)通过判断用户是否认可播放参数的调整，来自动对上一次的播放参数进行返回，避免用户来手动进行播放参数的修改而导致的学习体验降低等情况，提升了该视频课程与用户的交互体验，便于令用户达到更好的学习效果。

(2)在对用户的表情信息的捕捉过程中，首先判断表情信息持续时间是否超过规定阈值时间，避免由于读取的表情信息持续时间过短而造成误判，提升了表情识别的准确程度，从而达到最优性能的视频课程播放。

(3)规定阈值时间为30～90秒，超过了30秒可以保证不会误判用户的表情，而小于90秒则可以避免判断时间过长错过用户的表情捕捉而导致的知识点遗漏。

(4)在用户开心、轻松或不耐烦时，可以大致判断出用户已掌握了当前知识点，因此加快视频的播放速度，便于用户快速进入到疑难知识点的学习部分；而在用户出现疑惑或难过的表情时，大致可以判断出用户对当前知识点掌握不清，因此适当的播放速度减慢可以便于用户能慢慢消化当前知识点内容；在二者以外的表情，为了尽可能减小判断误差，因此不改变视频的播放速度参数，将对视频播放调整的主动权交还给用户，从而提升用户的学习体验。

(5)在进行用户的播放参数还原时，主要是通过记录播放参数的调整时间点和调整前状态，从而在用户反馈不认可播放参数调整结果时，直接跳转至原有时间点和原有播放状态，从而保证完全还原播放参数调整前的内容，避免知识点的遗漏；而且用户只需选择认可和不认可当前调整即可实现此操作，对于用户来说，简化了操作步骤，提升了交互体验。

(6)除了还原播放参数以外，对于用户认可的播放参数调整，系统记录了播放参数调整处对应的知识点并进行标记，这样在用户的复习过程中，系统可以根据原有的标记内容，进行自动的播放参数调整，简化了后续的播放步骤。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提出了一种基于用户交互的视频课程播放方法，包括下列步骤：

1)播放教学课程视频，同时捕捉用户的表情信息；

2)根据步骤1)中捕捉的表情信息，自动调整教学课程视频的播放参数，具体包括：

21)判断步骤1)中捕捉的表情信息持续时间是否超过规定阈值时间(一般为30～90秒，本实施例中为60秒)，若是则进入步骤22)，若否则返回步骤1)；

22)根据步骤21)中持续时间超过规定阈值时间的表情，自动调整教学课程视频的播放参数，具体包括：

223)保持当前的教学课程视频的播放速度参数不变，进入步骤3)；

3)判断用户是否认可播放参数的调整，若否则还原上一次的播放参数并返回步骤1)，若是则直接返回步骤1)，具体包括：

32)在用户交互界面上弹出播放参数的调整内容提示框(包括教学课程视频的播放参数调整内容和播放参数调整同意选择框)，并接收用户的反馈结果；

除上述步骤以外，步骤31)还可以包括：在开始时间点处，读取对应的知识点内容并进行相应标记，该相应标记具体为：将与加快播放速度参数的对应知识点标记为已掌握知识点以及将与减慢播放速度参数的对应知识点标记为疑难知识点；若是进行了相应标记，则在步骤34)过程中，还需要对开始时间点处对应的知识点内容，取消相应标记。

本实施例中对于用户的表情捕捉，即采集用户的面部图像并对该面部图像进行表情识别，具体的过程为：通过电脑或者手机的摄像头打开后用Python语言利用dlib和opencv编写的代码进行人脸检测，当检测到人脸时把人脸图像或视频发送给后台服务器。后台服务器对得到的图像或视频之后对不合格样本予以排除，剩下的有用表情进行面部图像的归一化处理和人脸图像与背景、面部器宫图像与人脸图像的分离，这样可以便于表情特征更为稳定、有效地提取。然后对处理过的数据进行表情特征值提取。提取特征值可以用图片方法：直接从图片中获取信息，无需对目标有过多地了解，操作起来比较简单，计算量也比较小，不足之处在于鲁棒性比较差，当环境变得复杂时，特征提取效果会变差；也可以用模型法：通过二维或者三维人脸模型来描述面部结构，前者基于面部表观行为，后者试图恢复立体几何结构。三维模型有两种，肌肉模型和行为模型。三维模型需要繁杂的、计算量大的适应过程。(提取特征值：可以用Python语言利用dlib和opencv编写代码)。在表情特征信息处理完成之后，将表情特征信息送入表情分类器中进行表情识别。我们可以用隐马尔可夫模型HMM(Hidden Markov Model)来帮助我们进行表情分类。我们需要提前为每一种表情建立一个混合高斯隐马尔可夫模型，如果是将面部分不同区域譬如眼睛区域、嘴唇区域分开进行表情度量的话，则还需要为每个区域每种表情分别建立混合高斯隐马尔可夫模型。对应于各个基本表情的MHMM构成一个人脸表情分类器，对于每个MHMM可以通过公式求出系统识别出的人脸表情。除了上述表情识别方法以外，也可以采用现有的其他成熟的表情识别方法，可以根据实际情况来选择。

根据上述步骤，进行完整的视频课程播放过程具体为：首先视频课程播放的服务器通过用户交互界面，播放视频课程内容，该用户交互界面一般为电脑屏幕、手机屏幕以及平板电脑屏幕等智能电子设备的显示屏，由于现在的用户交互界面一般配备摄像头等图像捕捉设备，因此利用图像捕捉设备，可以捕捉用户在视频课程学习过程中的表情。服务器在接收图像捕捉设备捕捉到的用户表情后，首先需要记录该表情的持续时间，在超过规定的阈值时间(本实施例中为60秒)后，根据用户的表情内容进行具体的操作：即在用户为开心、轻松或喜悦的表情时，加快视频的播放速度；在用户为疑惑或难过的表情时，减慢视频的播放速度；在其余情况下，保持视频的播放速度不变。在进行了上述的播放调整时，服务器会记录两个内容：一是播放调整的开始时间点，二是播放调整前的播放速度等参数；接着服务器一边进行播放调整，一边在调整了短暂时间后弹出提示框，上面记录的内容一般为“根据系统智能判断，更改了视频的播放速度，请根据您的体验来选择是否同意已进行的播放速度调整”，同时提示框的下方会有“YES”和“NO”两个选择框，若用户没有进行选择，则默认用户选择了“YES”，在用户进行了选择后，若是“YES”则表明用户认可了当前的视频播放调整，此时服务器会对该视频播放调整处对应的知识点进行标记，表明用户对此知识点掌握熟练，方便服务器下次再次播放该视频时直接在该处进行播放速度调整，减轻工作量，在完成了上述操作后，服务器可以再次返回进行用户的表情捕捉判断，若是“NO”则表明用户并不认可该播放调整，因此此时服务器则进行播放调整的时间点处，并还原播放速度，从而使得用户可以根据原有的视频学习习惯进行进一步学习，避免用户的手动还原而导致的无法完全调整回原有学习状态的情况。

Claims

1.一种基于用户交互的视频课程播放方法，其特征在于，所述方法包括下列步骤：

1)播放教学课程视频，同时捕捉用户的表情信息；

2.根据权利要求1所述的基于用户交互的视频课程播放方法，其特征在于，所述步骤2)包括：

3.根据权利要求2所述的基于用户交互的视频课程播放方法，其特征在于，所述规定阈值时间为30～90秒。

4.根据权利要求2所述的基于用户交互的视频课程播放方法，其特征在于，所述步骤22)包括：

5.根据权利要求1所述的基于用户交互的视频课程播放方法，其特征在于，所述步骤3)包括：

6.根据权利要求5所述的基于用户交互的视频课程播放方法，其特征在于，所述调整内容提示框包括教学课程视频的播放参数调整内容和播放参数调整同意选择框。

7.根据权利要求5所述的基于用户交互的视频课程播放方法，其特征在于，所述步骤31)还包括：在开始时间点处，读取对应的知识点内容并进行相应标记。

8.根据权利要求7所述的基于用户交互的视频课程播放方法，其特征在于，所述相应标记包括：将与加快播放速度参数的对应知识点标记为已掌握知识点或将与减慢播放速度参数的对应知识点标记为疑难知识点。

9.根据权利要求7所述的基于用户交互的视频课程播放方法，其特征在于，所述步骤34)还包括：对开始时间点处对应的知识点内容，取消相应标记。