CN113936512B - 高校远程教学方法和系统 - Google Patents
高校远程教学方法和系统 Download PDFInfo
- Publication number
- CN113936512B CN113936512B CN202111546197.5A CN202111546197A CN113936512B CN 113936512 B CN113936512 B CN 113936512B CN 202111546197 A CN202111546197 A CN 202111546197A CN 113936512 B CN113936512 B CN 113936512B
- Authority
- CN
- China
- Prior art keywords
- sub
- time
- region
- teaching
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/10—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
Abstract
本发明提供了一种高校远程教学方法和系统,涉及高校远程教学技术领域。本发明实施例通过标准化的教学课件以及具有注视轨迹采集功能的教师端对教学影像和注视轨迹序列进行同步采集,进而分析出教师对各个子区域的注视时间窗,再对各个子区域的画面进行增强后,根据学生端的实时播放进度来调整画面显示的内容,使音频流与增强后的子区域画面匹配。解决了因原始教学影像尺寸固定,在小屏显示下,教学内容显示不清楚的问题。
Description
技术领域
本发明涉及高校远程教学技术领域,具体涉及一种高校远程教学方法和系统。
背景技术
高校的线上公开课作为远程教学的重要组成部分,是由教师根据制作的教学课件(例如,ppt文件)进行批注和讲解,并在过程中录制屏幕和讲课语音,进而形成教学影像放在网络上供学生远程在线观看。
但现有的教学课件中的文字和图像大小固定,且教学影像中显示教学课件的区域比例固定。导致学生在远程在线观看时,由于播放终端的屏幕大小差异较大,例如在手机上观看时,常常会因为教学课件的显示区域较小,导致课件中的内容无法清楚的看清。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种高校远程教学方法和系统,解决了现有远程教学中学生端的显示设备较小时,课件内容无法看清的问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
第一方面,提供了一种高校远程教学方法,该方法包括:
获取教师端上显示的教学文档图像和教学语音,得到教学影像;所述教学文档包括:内容区和装饰区,且所述内容区由若干子区域构成;
在获取所述教学影像的同时,获取教师的注视轨迹序列;
基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗;
基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频;
在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流。
进一步的,所述教学文档为基于标准模板制作的用于教学的ppt文件,所述子区域中包括文字信息和/或图片信息;所述注视轨迹序列由若干按时间排序的采样标签组成,且每个所述采样标签包括注视区域的位置信息和对应的视频时刻。
进一步的,所述基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗,包括:
对于第j个子区域zj:
若在视频时刻ti时,注视区域位于子区域zj内,则视频时刻ti标注为子区域zj的备选注视时间窗的开始时间wjsm,若在视频时刻ti+n时,注视区域不位于子区域zj内,则将视频时刻ti+n,标注为子区域zj的备选注视时间窗的结束时间wjem;得到子区域zj的备选注视时间窗集合Wj={(wjs1,wje1),(wjs2,wje2),...,(wjsM,wjeM)};
从备选注视时间窗集合Wj中剔除备选注视时间窗的时长小于注视判定阈值的备选注视时间窗;随后计算任意相邻的两个备选注视时间窗之间的时长Δt,若时长Δt小于注视判定阈值,则将所述相邻的两个备选注视时间窗合并为一个备选注视时间窗,得到子区域zj的注视时间窗集合Wj’={(w’js1,w’je1),(w’js2,w’e2),...,(w’jsP,w’jeP)}。
进一步的,所述基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频,包括:
对于任意注视时间窗(wjsm,wjem),获取教学影像的视频流中对应的视频片段;
对所述视频片段中的子区域zj进行裁切;
再基于目标分辨率对裁切后的视频片段进行分辨率增强,得到子区域增强视频vj;并与对应的注视时间窗关联。
进一步的,所述在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流,包括:
获取放大请求后,从学生端获取实时播放进度T,并筛选出实时播放进度T所处的注视时间窗对应的子区域增强视频,作为目标视频;
实时将学生端当前播放的教学影像的视频流替换为目标视频。
第二方面,提供了一种高校远程教学系统,包括:
教学影像采集模块,用于获取教师端上显示的教学文档图像和教学语音,得到教学影像;所述教学文档包括:内容区和装饰区,且所述内容区由若干子区域构成;
注视轨迹序列采集模块,用于在获取所述教学影像的同时,获取教师的注视轨迹序列;
注视时间窗计算模块,用于基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗;
教学影像分割模块,用于基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频;
视频放大模块,用于在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流。
进一步的,所述教学文档为基于标准模板制作的用于教学的ppt文件,所述子区域中包括文字信息和/或图片信息;所述注视轨迹序列由若干按时间排序的采样标签组成,且每个所述采样标签包括注视区域的位置信息和对应的视频时刻。
进一步的,所述基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗,包括:
对于第j个子区域zj:
若在视频时刻ti时,注视区域位于子区域zj内,则视频时刻ti标注为子区域zj的备选注视时间窗的开始时间wjsm,若在视频时刻ti+n时,注视区域不位于子区域zj内,则将视频时刻ti+n,标注为子区域zj的备选注视时间窗的结束时间wjem;得到子区域zj的备选注视时间窗集合Wj={(wjs1,wje1),(wjs2,wje2),...,(wjsM,wjeM)};
从备选注视时间窗集合Wj中剔除备选注视时间窗的时长小于注视判定阈值的备选注视时间窗;随后计算任意相邻的两个备选注视时间窗之间的时长Δt,若时长Δt小于注视判定阈值,则将所述相邻的两个备选注视时间窗合并为一个备选注视时间窗,得到子区域zj的注视时间窗集合Wj’={(w’js1,w’je1),(w’js2,w’e2),...,(w’jsP,w’jeP)}。
进一步的,所述基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频,包括:
对于任意注视时间窗(wjsm,wjem),获取教学影像的视频流中对应的视频片段;
对所述视频片段中的子区域zj进行裁切;
再基于目标分辨率对裁切后的视频片段进行分辨率增强,得到子区域增强视频vj;并与对应的注视时间窗关联。
进一步的,所述在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流,包括:
获取放大请求后,从学生端获取实时播放进度T,并筛选出实时播放进度T所处的注视时间窗对应的子区域增强视频,作为目标视频;
实时将学生端当前播放的教学影像的视频流替换为目标视频。
(三)有益效果
本发明提供了一种高校远程教学方法和系统。与现有技术相比,具备以下有益效果:
本发明通过标准化的教学课件以及具有注视轨迹采集功能的教师端对教学影像和注视轨迹序列进行同步采集,进而分析出教师对各个子区域的注视时间窗,再对各个子区域的画面进行增强后,根据学生端的实时播放进度来调整画面显示的内容,使音频流与增强后的子区域画面匹配。解决了因原始教学影像尺寸固定,在小屏显示下,教学内容显示不清楚的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的流程图;
图2为发明实施例的系统结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例通过提供一种高校远程教学方法和系统,解决了现有远程教学中学生端的显示设备较小时,课件内容无法看清的问题。
本申请实施例中的技术方案为解决上述技术问题,总体思路如下:本发明实施例通过标准化的教学课件以及具有注视轨迹采集功能的教师端对教学影像和注视轨迹序列进行同步采集,进而分析出教师对各个子区域的注视时间窗,再对各个子区域的画面进行增强后,根据学生端的实时播放进度来调整画面显示的内容,使音频流与增强后的子区域画面匹配。解决了因原始教学影像尺寸固定,在小屏显示下,教学内容显示不清楚的问题。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1:
如图1所示,本发明提供了一种高校远程教学方法,由服务器执行,该方法包括:
获取教师端上显示的教学文档图像和教学语音,得到教学影像;所述教学文档包括:内容区和装饰区,且所述内容区由若干子区域构成;
在获取所述教学影像的同时,获取教师的注视轨迹序列;
基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗;
基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频;
在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流。
本实施例的有益效果为:
本发明实施例通过标准化的教学课件以及具有注视轨迹采集功能的教师端对教学影像和注视轨迹序列进行同步采集,进而分析出教师对各个子区域的注视时间窗,再对各个子区域的画面进行增强后,根据学生端的实时播放进度来调整画面显示的内容,使音频流与增强后的子区域画面匹配。解决了因原始教学影像尺寸固定,在小屏显示下,教学内容显示不清楚的问题。
下面对本发明实施例的实现过程进行详细说明:
教师端为教师使用的终端设备,如笔记本、平板电脑等,装有定制的远程教育软件,且教师端具备注视轨迹采集和录屏功能。因此,教师在打开教学文档图像后,即可开始自动录像,录像用于采集教学文档图像作为视频流和教学语音作为音频流,得到教学影像。
所述教学文档可为基于标准模板制作的用于教学的ppt文件,使教学文档包括:内容区和装饰区,其中,内容区为教学内容,装饰区为非教学内容,例如为在ppt中的装饰图像、页眉页脚等。进一步的,可基于段落或是指定分区将所述内容区划分为若干子区域,且所述子区域中包括文字信息和/或图片信息用于表达教学内容。根据页数和位置,即可得到每个子区域的序号j。
在获取所述教学影像的同时,获取教师的注视轨迹序列;所述注视轨迹序列由若干按时间排序的采样标签组成,且每个所述采样标签包括注视区域的位置信息和对应的视频时刻。
在获取到教学影像和对应的注视轨迹序列后,即可基于所述注视轨迹序列和教学文档,计算教师在讲课时,对各个子区域的注视时间窗。具体包括:
对于第j个子区域zj:
若在视频时刻ti时,注视区域位于子区域zj内,则视频时刻ti标注为子区域zj的备选注视时间窗的开始时间wjsm,若在视频时刻ti+n时,注视区域不位于子区域zj内,则将视频时刻ti+n,标注为子区域zj的备选注视时间窗的结束时间wjem;得到子区域zj的备选注视时间窗集合Wj={(wjs1,wje1),(wjs2,wje2),...,(wjsM,wjeM)};
其中,ti表示第i帧图像对应在教学影像中的视频时刻;
wjsm表示第j个子区域zj的第m个备选注视时间窗的开始时间;
wjem表示第j个子区域zj的第m个备选注视时间窗的结束时间;
M表示得到子区域zj的备选注视时间窗的数量。
举例说明:
假设教学影像的时长为600秒,以第j个子区域为例,在第ti时刻时,教师的注视区域位于子区域zj内,表示教师正在注视子区域zj处对应的教学内容,因此,令备选注视时间窗的开始时间wjsm=ti;若在ti+n时刻时,注视区域不再处于子区域zj内,则表示当前教师可能已不在注视子区域zj处对应的教学内容,因此,令备选注视时间窗的结束时间wjem=ti+n,至此即可构成第j个子区域的一个备选注视时间窗(ti,ti+n)。
考虑到可能存在视线快速且短暂的移动的现象,即视线漂移,对注视时间窗计算的影响,因此需要剔除视线短暂离开子区域的情况,因此需要通过注视判定阈值进行筛选,该值为经验值,由人工设定并输入,例如可从0.05S~0.20S中取值。
从备选注视时间窗集合Wj中剔除备选注视时间窗的时长小于注视判定阈值的备选注视时间窗;随后计算任意相邻的两个备选注视时间窗之间的时长Δt,若时长Δt小于注视判定阈值,则将所述相邻的两个备选注视时间窗合并为一个备选注视时间窗,得到子区域zj的注视时间窗集合Wj’={(w’js1,w’je1),...,(w’jsp,w’ep),...,(w’jsP,w’jeP)}。
其中,w’jsp表示第j个子区域zj的第p个注视时间窗的开始时间;
w’jep表示第j个子区域zj的第p个注视时间窗的结束时间。
P表示子区域zj的注视时间窗的数量。
举例说明,以前两个备选注视时间窗(w’js1,w’je1)、(w’js2,w’e2)为例,两者之间的Δt小于注视判定阈值,则说明可能存在视线漂移,将(w’js1,w’je1)、(w’js2,w’e2)合并,得到一个新的备选注视时间窗(w’js1,w’e2),令这个新的备选注视时间窗继续与第三个备选注视时间窗比较,若两者之间的Δt仍小于注视判定阈值,则继续合并,直至两者之间的Δt仍不小于注视判定阈值,此时即可得到一个子区域zj的注视时间窗,遍历完所有的备选注视时间窗后,即可得到子区域zj的注视时间窗集合Wj’。
在确定每个子区域的注视时间窗后,考虑到可能存在区域内总分辨率不足导致画面模糊的情况,可对基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频,包括:
对于任意注视时间窗(wjsm,wjem),获取教学影像的视频流中对应的视频片段;
对所述视频片段中的子区域zj进行裁切;
再基于目标分辨率对裁切后的视频片段进行分辨率增强,得到子区域增强视频vj;并与对应的注视时间窗关联。
其中,分辨率增强的目标分辨率可根据实际需要进行预先设置,例如,原本教学影像的分辨率为1080P,经裁切后,子区域的分辨率降低为480P,则可将该子区域的图像分辨率增强至1080P,作为得到子区域增强视频vj。
在得到所有的子区域增强视频后,即可根据学生端的请求进行画面控制,所述学生端为装有定制软件的智能手机、电脑、平板等设备,通过网络获取教学影像,在其软件交互界面上设置一个放大请求按键,学生可根据自身需要想服务器发送放大请求或是停止放大的请求。
所述在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流,具体包括:
获取放大请求后,从学生端获取实时播放进度T,并筛选出实时播放进度T所处的注视时间窗对应的子区域增强视频,作为目标视频;
实时将学生端当前播放的教学影像的视频流替换为目标视频。
举例说明,例如当学生端的播放进度为1分钟时,判定此时对应的注视时间窗为(w’jsp,w’ep),则可基于这个注视时间窗确定对应的教师注视的子区域zj;进而可找到对应的子区域增强视频;
在确定对应的子区域增强视频后,则将当前视频的画面关闭且保持语音播放,同时开启第二个视频界面全屏播放该子区域增强视频,使语音播放和子区域增强视频同步播放。此时,学生看到的画面即为全屏下的子区域图像,并可同步听到教师的讲课语音。
实施例2
第二方面,提供了一种高校远程教学系统,如图2所示,包括:
教学影像采集模块,用于获取教师端上显示的教学文档图像和教学语音,得到教学影像;所述教学文档包括:内容区和装饰区,且所述内容区由若干子区域构成;
注视轨迹序列采集模块,用于在获取所述教学影像的同时,获取教师的注视轨迹序列;
注视时间窗计算模块,用于基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗;
教学影像分割模块,用于基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频;
视频放大模块,用于在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流。
可理解的是,本发明实施例提供的高校远程教学系统与上述高校远程教学方法相对应,其有关内容的解释、举例、有益效果等部分可以参考高校远程教学方法中的相应内容,此处不再赘述。
综上所述,与现有技术相比,本发明具备以下有益效果:
①本发明通过标准化的教学课件以及具有注视轨迹采集功能的教师端对教学影像和注视轨迹序列进行同步采集,进而分析出教师对各个子区域的注视时间窗,再对各个子区域的画面进行增强后,根据学生端的实时播放进度来调整画面显示的内容,使音频流与增强后的子区域画面匹配。解决了因原始教学影像尺寸固定,在小屏显示下,教学内容显示不清楚的问题。
需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种高校远程教学方法,其特征在于,该方法包括:
获取教师端上显示的教学文档图像和教学语音,得到教学影像;所述教学文档包括:内容区和装饰区,且所述内容区由若干子区域构成;
在获取所述教学影像的同时,获取教师的注视轨迹序列;
基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗;
基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频;
在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流;
其中,所述教学文档为基于标准模板制作的用于教学的ppt文件,所述子区域中包括文字信息和/或图片信息;所述注视轨迹序列由若干按时间排序的采样标签组成,且每个所述采样标签包括注视区域的位置信息和对应的视频时刻;
所述基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗,包括:
对于第j个子区域zj:
若在视频时刻ti时,注视区域位于子区域zj内,则视频时刻ti标注为子区域zj的备选注视时间窗的开始时间wjsm,若在视频时刻ti+n时,注视区域不位于子区域zj内,则将视频时刻ti+n,标注为子区域zj的备选注视时间窗的结束时间wjem;得到子区域zj的备选注视时间窗集合Wj={(wjs1,wje1),(wjs2,wje2),...,(wjsM,wjeM)};
从备选注视时间窗集合Wj中剔除备选注视时间窗的时长小于注视判定阈值的备选注视时间窗;随后计算任意相邻的两个备选注视时间窗之间的时长Δt,若时长Δt小于注视判定阈值,则将所述相邻的两个备选注视时间窗合并为一个备选注视时间窗,得到子区域zj的注视时间窗集合Wj’={(w’js1,w’je1),...,(w’jsp,w’ep),...,(w’jsP,w’jeP)};
其中,ti表示第i帧图像对应在教学影像中的视频时刻;
wjsm表示第j个子区域zj的第m个备选注视时间窗的开始时间;
wjem表示第j个子区域zj的第m个备选注视时间窗的结束时间;
M表示得到子区域zj的备选注视时间窗的数量;
w’jsp表示第j个子区域zj的第p个注视时间窗的开始时间;
w’jep表示第j个子区域zj的第p个注视时间窗的结束时间;
P表示子区域zj的注视时间窗的数量;
所述基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频,包括:
对于任意注视时间窗(wjsm,wjem),获取教学影像的视频流中对应的视频片段;
对所述视频片段中的子区域zj进行裁切;
再基于目标分辨率对裁切后的视频片段进行分辨率增强,得到子区域增强视频vj;并与对应的注视时间窗关联。
2.如权利要求1所述的一种高校远程教学方法,其特征在于,所述在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流,包括:
获取放大请求后,从学生端获取实时播放进度T,并筛选出实时播放进度T所处的注视时间窗对应的子区域增强视频,作为目标视频;
实时将学生端当前播放的教学影像的视频流替换为目标视频。
3.一种高校远程教学系统,其特征在于,包括:
教学影像采集模块,用于获取教师端上显示的教学文档图像和教学语音,得到教学影像;所述教学文档包括:内容区和装饰区,且所述内容区由若干子区域构成;
注视轨迹序列采集模块,用于在获取所述教学影像的同时,获取教师的注视轨迹序列;
注视时间窗计算模块,用于基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗;
教学影像分割模块,用于基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频;
视频放大模块,用于在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流;
其中,所述教学文档为基于标准模板制作的用于教学的ppt文件,所述子区域中包括文字信息和/或图片信息;所述注视轨迹序列由若干按时间排序的采样标签组成,且每个所述采样标签包括注视区域的位置信息和对应的视频时刻;
所述基于所述注视轨迹序列和教学文档,获取每个子区域的注视时间窗,包括:
对于第j个子区域zj:
若在视频时刻ti时,注视区域位于子区域zj内,则视频时刻ti标注为子区域zj的备选注视时间窗的开始时间wjsm,若在视频时刻ti+n时,注视区域不位于子区域zj内,则将视频时刻ti+n,标注为子区域zj的备选注视时间窗的结束时间wjem;得到子区域zj的备选注视时间窗集合Wj={(wjs1,wje1),(wjs2,wje2),...,(wjsM,wjeM)};
从备选注视时间窗集合Wj中剔除备选注视时间窗的时长小于注视判定阈值的备选注视时间窗;随后计算任意相邻的两个备选注视时间窗之间的时长Δt,若时长Δt小于注视判定阈值,则将所述相邻的两个备选注视时间窗合并为一个备选注视时间窗,得到子区域zj的注视时间窗集合Wj’={(w’js1,w’je1),...,(w’jsp,w’ep),...,(w’jsP,w’jeP)};
其中,ti表示第i帧图像对应在教学影像中的视频时刻;
wjsm表示第j个子区域zj的第m个备选注视时间窗的开始时间;
wjem表示第j个子区域zj的第m个备选注视时间窗的结束时间;
M表示得到子区域zj的备选注视时间窗的数量;
w’jsp表示第j个子区域zj的第p个注视时间窗的开始时间;
w’jep表示第j个子区域zj的第p个注视时间窗的结束时间;
P表示子区域zj的注视时间窗的数量;
所述基于所述注视时间窗对教学影像的视频流进行裁切和分辨率增强,得到子区域增强视频,包括:
对于任意注视时间窗(wjsm,wjem),获取教学影像的视频流中对应的视频片段;
对所述视频片段中的子区域zj进行裁切;
再基于目标分辨率对裁切后的视频片段进行分辨率增强,得到子区域增强视频vj;并与对应的注视时间窗关联。
4.如权利要求3所述的一种高校远程教学系统,其特征在于,所述在获取到学生端的放大请求后,基于学生端的实时播放进度,用对应的子区域增强视频替换学生端播放的教学影像的视频流,包括:
获取放大请求后,从学生端获取实时播放进度T,并筛选出实时播放进度T所处的注视时间窗对应的子区域增强视频,作为目标视频;
实时将学生端当前播放的教学影像的视频流替换为目标视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111546197.5A CN113936512B (zh) | 2021-12-17 | 2021-12-17 | 高校远程教学方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111546197.5A CN113936512B (zh) | 2021-12-17 | 2021-12-17 | 高校远程教学方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113936512A CN113936512A (zh) | 2022-01-14 |
CN113936512B true CN113936512B (zh) | 2022-03-01 |
Family
ID=79289270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111546197.5A Active CN113936512B (zh) | 2021-12-17 | 2021-12-17 | 高校远程教学方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113936512B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111796752A (zh) * | 2020-05-15 | 2020-10-20 | 四川科华天府科技有限公司 | 一种基于pc的互动教学系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103384319B (zh) * | 2012-05-04 | 2018-06-15 | 中兴通讯股份有限公司 | 双流视频会议终端的图像缩放方法和系统 |
KR101563312B1 (ko) * | 2013-06-18 | 2015-10-26 | 장현철 | 시선 기반 교육 콘텐츠 실행 시스템 |
CN105607730A (zh) * | 2014-11-03 | 2016-05-25 | 航天信息股份有限公司 | 基于眼球追踪的增强显示方法及装置 |
CN111144356B (zh) * | 2019-12-30 | 2021-01-05 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
CN111816007B (zh) * | 2020-07-22 | 2022-05-31 | 安徽财经大学 | 一种基于计算机互联网的多媒体教学辅助系统 |
CN111833672B (zh) * | 2020-08-05 | 2022-05-24 | 北京育宝科技有限公司 | 一种教学视频的展示方法、装置及系统 |
CN112232756A (zh) * | 2020-09-16 | 2021-01-15 | 南京睿圣人工智能研究院有限公司 | 一种人机互动的智能学习平台及关联方法 |
-
2021
- 2021-12-17 CN CN202111546197.5A patent/CN113936512B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111796752A (zh) * | 2020-05-15 | 2020-10-20 | 四川科华天府科技有限公司 | 一种基于pc的互动教学系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113936512A (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11012486B2 (en) | Personalized video playback | |
CN113691836B (zh) | 视频模板生成方法、视频生成方法、装置和电子设备 | |
CN111131876B (zh) | 视频直播的控制方法、装置、终端及计算机可读存储介质 | |
CN111212317A (zh) | 一种视频播放的跳转导航方法 | |
WO2018223529A1 (zh) | 一种基于互联网的录播课程跟随学习系统和方法 | |
CN111611434A (zh) | 一种线上课程互动方法及互动平台 | |
CN111556332A (zh) | 直播方法、电子设备和可读存储介质 | |
CN113052085A (zh) | 视频剪辑方法、装置、电子设备以及存储介质 | |
CN113254708A (zh) | 一种视频搜索方法、装置、计算机设备及存储介质 | |
CN111479124A (zh) | 一种实时播放方法和装置 | |
CN109862375B (zh) | 云录播系统 | |
CN113936512B (zh) | 高校远程教学方法和系统 | |
CN113992973A (zh) | 视频摘要生成方法、装置、电子设备和存储介质 | |
CN115086570A (zh) | 教学视频处理方法、装置、存储介质及电子设备 | |
CN112185195A (zh) | Ai控制远程教学课堂的方法和装置 | |
EP3107302B1 (fr) | Procédé et dispositif de substitution d'une partie d'une sequence video | |
JP3930402B2 (ja) | オンライン教育システム、情報処理装置、情報提供方法及びプログラム | |
CN112346642B (zh) | 列车信息展示方法、装置、电子设备及系统 | |
López et al. | Design and development of sign language questionnaires based on video and web interfaces | |
CN113033357A (zh) | 基于口型特征的字幕调整方法以及装置 | |
CN112528790A (zh) | 基于行为识别的教学管理方法、装置及服务器 | |
CN111081101A (zh) | 一种互动录播系统、方法及装置 | |
CN114095747B (zh) | 直播互动系统和方法 | |
CN115086761B (zh) | 一种音视频作品拉片信息的交互方法和系统 | |
CN114845155B (zh) | 用于录屏答疑的线上视频处理方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |