CN111711834B - 录播互动课的生成方法、装置、存储介质以及终端 - Google Patents

录播互动课的生成方法、装置、存储介质以及终端 Download PDF

Info

Publication number
CN111711834B
CN111711834B CN202010417797.0A CN202010417797A CN111711834B CN 111711834 B CN111711834 B CN 111711834B CN 202010417797 A CN202010417797 A CN 202010417797A CN 111711834 B CN111711834 B CN 111711834B
Authority
CN
China
Prior art keywords
course
data
segment
segments
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010417797.0A
Other languages
English (en)
Other versions
CN111711834A (zh
Inventor
谢文珍
黄恺
冯富森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future Vipkid Ltd
Original Assignee
Future Vipkid Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future Vipkid Ltd filed Critical Future Vipkid Ltd
Priority to CN202010417797.0A priority Critical patent/CN111711834B/zh
Publication of CN111711834A publication Critical patent/CN111711834A/zh
Application granted granted Critical
Publication of CN111711834B publication Critical patent/CN111711834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本申请实施例公开了一种录播互动课的生成方法、装置、存储介质以及终端。所述方法包括:在教师的历史课程数据中获取教学视频数据和课件操作数据,提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据,根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段,将所述目标课程片段进行拼接处理得到录播互动课。通过应用本申请提供的方法,提高了在线教育领域中对历史教学视频的利用率。

Description

录播互动课的生成方法、装置、存储介质以及终端
技术领域
本发明涉及在线教育领域,尤其涉及一种录播互动课的生成方法、装置、存储介质以及终端。
背景技术
随着互联网的发展,在线教育受到越来越多人的欢迎,在线教育不限时间和地点灵活的学习,便于学习者充分提升自身的技能。相对于传统的使用固定教室更移动便捷化,在画面、音频更具视觉化和更具吸引力。对于在线教育公司来说,会产生海量的教学视频,而现有在处理海量的教学视频时,仅仅是对历史教学视频进行简单的音视频分析,没有对这些教学视频进行很好的二次利用,造成了优质的教学视频资源的浪费。
发明内容
本申请实施例提供了一种录播互动课的生成方法、装置、计算机存储介质以及终端,以充分利用历史教学资源。所述技术方案如下:
第一方面,本申请实施例提供了一种录播互动课的生成方法,所述方法包括:
在教师的历史课程数据中获取教学视频数据和课件操作数据;
提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据;
根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段;
将所述目标课程片段进行拼接处理得到录播互动课。
第二方面,本申请实施例提供了一种录播互动课的生成装置,所述装置包括:
第一获取模块,用于在教师的历史课程数据中获取教学视频数据和课件操作数据;
音频转换模块,用于提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据;
片段分割模块,用于根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段;
片段拼接模块,用于将所述目标课程片段进行拼接处理得到录播互动课。
第三方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供了一种终端,可包括:存储器和处理器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述存储器加载并执行上述的方法步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例的方案在执行时,从教师的历史课程数据中获取教学视频数据和课件操作数据,提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据,根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段,再将所述目标课程片段进行拼接处理得到录播互动课。本申请通过获取单个教师的所有教学视频,以及每个教学视频对应的课件操作数据,并提取每个教学视频中的音频数据,将音频数据转化为对应的语音文本数据,根据课件操作数据、语音文本数据以及预设课程大纲将所述单个教学视频划分为目标课程片段,再将这些目标课程片段拼接处理得到能够根据学生反馈自动播放对应课程片段的录播互动课,提高了对历史教学视频的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请录播互动课的生成方法的系统架构示意图;
图2是本申请实施例提供的一种录播互动课的生成方法的流程示意图;
图3是本申请实施例提供的一种录播互动课的生成方法的流程示意图;
图4是本申请实施例提供的一种语音转文字的原理示意图;
图5是本申请实施例提供的一种录播互动课的生成装置的结构示意图;
图6是本申请实施例提供的一种用于实施录播互动课的生成方法的终端的结构示意图。
具体实施方式
为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
下面结合图1-图5来描述根据本申请示例性实施方式的用于进行录播互动课的生成方法。需要注意的是,下述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
图1示出了可以应用本申请实施例的录播互动课的生成方法或录播互动课的生成装置的示例性系统架构100的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103中的一种或多种,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
本申请中的终端设备101、102、103可以为提供各种服务的终端设备。例如用户通过终端设备103(也可以是终端设备101或102)在教师的历史课程数据中获取教学视频数据和课件操作数据,提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据,根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到多个课程片段,将所述多个课程片段进行拼接处理得到录播互动课。
在此需要说明的是,本申请实施例所提供的录播互动课的生成方法可以由终端设备101、102、103中的一个或多个,和/或,服务器105执行,相应地,本申请实施例所提供的录播互动课的生成装置一般设置于对应终端设备中,和/或,服务器105中,但本申请不限于此。
本申请实施例的方案在执行时,从教师的历史课程数据中获取教学视频数据和课件操作数据,提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据,根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段,再将所述目标课程片段进行拼接处理得到录播互动课。本申请通过获取单个教师的所有教学视频,以及每个教学视频对应的课件操作数据,并提取每个教学视频中的音频数据,将音频数据转化为对应的语音文本数据,根据课件操作数据、语音文本数据以及预设课程大纲将所述单个教学视频划分为目标课程片段,再将这些课程片段拼接处理得到能够根据学生反馈自动播放对应课程片段的录播互动课,提高了对历史教学视频的利用率。
在下述方法实施例中,为了便于说明,仅以各步骤的执行主体为服务器进行介绍说明。
请参见图2,为本申请实施例提供的一种录播互动课的生成方法的流程示意图。如图2所示,本申请实施例的所述方法可以包括以下步骤:
S201,在教师的历史课程数据中获取教学视频数据和课件操作数据。
其中,教学视频数据包括教师给不同年级的学生授课的教学视频,教学视频按照学生年级、知识点大纲进行分类。课件操作数据包括单个课件页面的点击记录、单个课件页面绑定的知识点大纲。课件是由多个课件页面组成的,课件的类型可以是幻灯片、多媒体文件、动画、web页面、图片或文本等。单个课件页面都有对应的显示记录,显示记录记录有单个课件页面的开始时刻和结束时刻,单个课件页面还有与其绑定的知识点大纲。
教学视频数据以及课件操作数据可以保存在终端本地文件库中,也可以保存在互联网的流媒体服务器中。获取教学视频数据和课件操作数据可以从本地文件库中获取,也可以从互联网的流媒体服务器中获取。
S202,提取教学视频数据中的音频数据,将音频数据转换成对应的语音文本数据。
一般的,教学视频数据包括音频数据和视频数据,在获取到教师的教学视频数据之后,对教学视频数据进行解封装处理得到音频压缩数据和视频压缩数据。其中,音频压缩数据是指将原始的数字音频信号流(Pulse Code Modulation,简称PCM编码)经过适当的数字信号处理技术,在不损失有用信息量,或所引入损失可忽略的条件下,降低或压缩其码率得到的数据。视频压缩数据是指按照视频编码标准将原始的视频数据进行编码并压缩得到的数据。进一步的,将音频压缩数据进行解码得到音频数据,将视频压缩数据进行解码得到视频数据。
进一步的,将音频数据转换成对应的语音文本数据,可以包括:对音频数据进行预处理操作,比如说,可以将音频数据首尾端的静音切除,减少对后续步骤的干扰。在预处理操作之后,可以对声音进行分析,对声音进行分帧处理,将声音分成多个小段,将声音进行分帧之后,再对声音进行声学特征提取操作,将声音变成一个12维(假设声学特征是12维)、N列(N为总帧数)的一个矩阵。进一步的,将上述矩阵转化成文本,可以依据声学模型得到音素信息,再将音素信息输入至语言模型得到文本概率,输出得到音频数据对应的语音文本信息。
S203,根据课件操作数据、语音文本数据和预设的课程大纲数据将教学视频数据进行分割处理得到目标课程片段。
一般的,将教学视频数据进行分割处理得到多个课程片段,可以经过以下步骤:获取至少一个课件页面绑定的课程大纲数据,以及获取各个课件页面在显示时间内的第一语音文本数据,可以在识别至少一个课件页面绑定的课程大纲数据相同时,基于第一语音文本数据确定第一视频分割点,基于第一视频分割点将教学视频划分为至少一个第一课程片段。这里的第一视频分割点用来将教学视频划分为多个第一课程片段。
在将单个教学视频划分为多个第一课程片段之后,可以提取第一课程片段的第一特征参数,第一特征参数包括教师精神状态参数、视频清晰度参数以及教室状态参数中的一种或多种。教师状态参数用于表示教师在该教学视频中的精神状态,视频清晰度参数用于表示该教学视频中的每帧画面的清晰度,教室状态参数用于表示该教学视频中整个虚拟教室中的场景状态,比如教师画面中教师所处的授课场景画面。根据上述第一特征参数计算第一课程片段的评分值,判断评分值是否小于预设评分值,在评分值小于预设评分值时,滤除该评分值对应的第一课程片段。进一步的,可以识别至少一个第一课程片段中是否包括教师与多个学生的互动片段,若包括,则可以基于互动片段确定第二视频分割点,基于第二视频分割点将第一课程片段划分为至少一个目标课程片段。其中,互动片段表示教师在课堂与多个学生进行题目讲解的互动课程片段,题目类型可以是判断题、选择题等等,教师对其中的题目选项分别进行讲解。
S204,将目标课程片段进行拼接处理得到录播互动课。
在本申请实施例中,可以设置上述多个目标课程片段与预设选项的关联关系,将多个目标课程片段进行拼接处理得到第二课程片段。其中,第二课程片段是教师与学生关于题目进行互动的互动课程片段,将互动课程片段与上述评分值大于预设评分值的第一课程片段进行拼接处理得到录播互动课。预设选项可以是题目的选项,比如:学生在观看录播互动课时,课程中有选择题或者判断题时,学生进行作答,选择与自己答案对应的预设选项时,此时录播互动课播放的是教师对学生所选择的预设选项进行评价和讲解的课程片段。预设选项也可以是教学过程中的提示标签,比如:课件页面上的提示标签,在学生点击提示标签时,会播放对应的提示内容视频片段或教师讲解的视频片段,等等。
本申请实施例的方案在执行时,从教师的历史课程数据中获取教学视频数据和课件操作数据,提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据,根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到多个课程片段,再将所述多个课程片段进行拼接处理得到录播互动课。本申请通过获取单个教师的所有教学视频,以及每个教学视频对应的课件操作数据,并提取每个教学视频中的音频数据,将音频数据转化为对应的语音文本数据,根据课件操作数据、语音文本数据以及预设课程大纲将所述单个教学视频划分为多个课程片段,再将这些课程片段拼接处理得到能够根据学生反馈自动播放对应课程片段的录播互动课,提高了对历史教学视频的利用率。
请参见图3,为本申请实施例提供的一种录播互动课的生成方法的流程示意图。如图3所示,本申请实施例的所述方法可以包括以下步骤:
S301,在教师的历史课程数据中获取教学视频数据和课件操作数据。
一般的,具体可参见图2中的S201,在此不再赘述。
S302,提取教学视频数据中的音频数据,将音频数据转换成对应的语音文本数据。
其中,教学视频数据包括视频数据和音频数据,提取音频数据之前,可以先将教学视频数据进行解封装处理得到音频压缩数据和视频压缩数据,再将音频压缩数据进行解压缩处理得到音频数据。
进一步的,对音频数据进行语音活动检测(Voice Activity Detection,VAD)处理,从声音信号流里识别长时间的静音期,再消除静音期,降低对后续处理步骤造成的干扰,即对目标语音中的首尾端的静音进行切除处理。进一步的,对声音进行分析,需要将声音进行分帧处理,就是把声音分成一小段一小段,每一段称为一帧,分帧处理可以使用移动窗函数来实现,分帧后,语音就变成了很多小段。由于声音信号波形在时域上几乎没有描述能力,因此必须将波形作变换。常见的一种变换方法是提取MFCC(Mel-scale FrequencyCepstral Coefficients,梅尔倒谱系数)特征,根据人耳的生理特性,把每一帧波形变成一个多维向量,可以简单地理解为这个向量包含了这帧语音的内容信息,这个过程叫做声学特征提取,声音就成了一个12行(假设声学特征是12维)、N列的一个矩阵,称之为观察序列,这里N为总帧数。
其实语音识别可以理解成三个步骤,第一步,把帧识别成状态;第二步,把状态组合成音素;第三步,把音素组合成单词。经过上述处理,声音已经被分为一帧一帧的了,那么把帧识别成状态,就要首先清楚音素是什么,单词的发音是由音素构成的,汉语一般直接用全部声母和韵母作为音素集,那么可以把状态理解成比音素更细致的语音单元,通常把一个音素划分成三个状态。
如图4所示的语音转文字的原理示意图,每个小竖条代表一帧,若干帧语音对应一个状态,每三个状态组成一个音素,比如状态1、状态2和状态3组合成一个音素1,若干个音素组合成一个单词,比如音素1、音素2、音素3和音素4组成一个单词。可以理解为,只要知道每帧语音对应哪个状态了,语音识别的结果也就出来了。对于怎么知道每帧音素对应的状态,通常是判断某一帧对应的状态的概率最大,那么该帧就属于那个对应的状态。对于怎么确定状态的概率,可以使用隐马尔可夫模型(Hidden Markov Model,简称HMM),该模型的使用主要分为两个步骤,第一步,构建一个状态网络;第二步,从状态网络中寻找与声音最匹配的路径。但是要根据实际任务的需求,合理选择网络大小和结构。搭建状态网络,是由单词级网络展开成音素网络,再展开成状态网络。语音识别过程其实就是在状态网络中搜索一条最佳路径,语音对应这条路径的概率最大。
S303,获取至少一个课件页面绑定的课程大纲数据和各个课件页面在显示时间内的第一语音文本数据。
其中,课程大纲数据表示单个课件页面绑定的课程大纲知识点,第一语音文本数据表示每个课件页面在对应的显示时间内的音频数据对应的语音文本数据。可以给每个课件页面设置一个课件页面标识,课件页面标识和该课件页面绑定的课程大纲知识点一一对应,在获取课件页面绑定的课程大纲数据时,根据课件页面标识去查询对应的课程大纲数据,并根据课件页面的显示时间获取该课件页面在显示时间内的第一语音文本数据。
S304,在至少一个课件页面绑定的课程大纲数据相同时,基于第一语音文本数据确定第一视频分割点,基于第一视频分割点将教学视频划分为至少一个第一课程片段。
其中,第一课程片段表示每个课程大纲知识点所对应的完整的视频片段。比如:课件页面1和课件页面2都是课程大纲中的第一小节的知识点,课程大纲中每一小节的知识点对应的完整的视频片段都可以对应一个第一课程片段,教学视频就可以由多个第一课程片段组成。第一视频分割点是指将教学视频划分为多个第一课程片段时,间隔每个第一课程片段的时间分割点。那么可以在识别多个课件页面绑定的课程大纲数据相同时,可以根据这些课件页面的显示时间,确定第一视频分割点,再通过对应的第一语音文本数据进行相互验证,将教学视频划分为多个第一课程片段。
S305,提取第一课程片段的第一特征参数。
其中,第一特征参数包括教师精神状态参数、视频清晰度参数以及教室状态参数中的一种或多种。教师精神状态参数可以通过分析教师上课的神态以及讲话的语音,计算得到一个参数值;视频清晰度参数可以通过检测第一课程片段的分辨率、帧率、编码格式以及码率,计算得到一个参数值;教室状态参数可以通过检测第一课程片段中的教室画面,包括:教室的明暗度、色彩度、教室画面的前景、教室画面的背景以及教室画面的前景与背景是否搭配等等,计算得到一个参数值。
S306,基于第一特征参数,计算第一课程片段的评分值,判断评分值是否小于预设评分值。
其中,所述评分值表示其对应的第一课程片段基于第一特征参数,计算得到的一个课程评分值。将该评分值与预设评分值进行比较,判断二者大小。
S307,若为是,滤除评分值对应的第一课程片段。
一般的,经检测得到第一课程片段的评分值小于预设评分值时,可以滤除这些第一课程片段,因为这些第一课程片段的视频质量不好,影响后续生成的录播互动课的质量,综合考虑各方面因素,包括教师的精神状态是否合格,视频清晰度是否合格,教室画面是否合格。
S308,识别第一课程片段中是否包括教师与多个学生的互动片段。
其中,互动片段表示课程中教师和学生之间的互动,主要是教师针对同一个知识点,不同学生之间不同的反应进行的互动。比如:可以是课程中一道题,选择题或者判断题,学生作答,教师根据不同的答案进行讲解。
S309,若为是,基于互动片段确定第二视频分割点,基于第二视频分割点将第一课程片段划分为目标课程片段。
其中,第二视频分割点是指依据教师对学生的不同反应做出的相应的解答,将互动片段划分为不同讲解的视频片段,即目标课程片段的时间分割点。目标课程片段是指教师针对学生不同反应讲解的视频片段。
一般的,如果检测到第一课程片段中存在互动片段,根据学生的反应,教师对学生的不同反应的解答,将上述互动片段进行划分,得到多个目标课程片段,该目标课程片段表示教师针对学生的不同反应的解答片段。
举例来说:课程中,教师在讲大象的英文单词的时候,提问elephant这个单词表示什么意思,选项A是苹果的图片,选项B是大象的图片,选项C时桌子的图片,学生答题,教师将每个选项进行讲解,A的英文单词是apple,B的英文单词是elephant,C的英文单词是table。根据上述教师针对不同选项的讲解,分别将互动片段划分为多个目标课程片段。
S310,设置目标课程片段与预设选项的关联关系。
其中,预设选项表示教师针对课程中讲解的一个知识点,学生可能会作出的反应预先设置的几个不同的选项。将上述预设选项与教师针对预设选项作出的不同的讲解对应的目标课程片段设置一一对应的关联关系,将预设选项与课程片段进行绑定处理。
举例来说:在S309的例子中,将选项A与其对应的目标课程片段进行关联关系的设置,将选项B与其对应的目标课程片段进行关联关系的设置,将选项C与其对应的目标课程片段进行关联关系的设置。可以分别将选项A、B、C做成三个不同的链接,三个选项分别链接到对应的目标课程片段。
S311,基于关联关系和互动片段将目标课程片段进行拼接处理得到第二课程片段。
其中,第二课程片段表示学生在选择不同的预设选项时,可以基于S610中的选项链接,先播放对应选项的课程片段,再播放剩下的预设选项的课程片段。
S312,将第二课程片段和第一课程片段进行拼接处理得到录播互动课。
其中,录播互动课表示不同于单个的原始教学视频,录播互动课可以根据学生在观看视频课程的时候,作出不同反应,执行的不同操作,播放对应的教师的互动讲解的视频片段。
举例来说:在S309的例子中,选项A链接的是老师讲解苹果的英文单词apple的发音、拼写以及相关知识的视频片段,选项B链接的是老师讲解大象的英文单词elephant的发音、拼写以及相关知识的视频片段,选项C链接的是老师讲解桌子的英文单词table的发音、拼写以及相关知识的视频片段。此时,学生小明选择的是C选项,接下来先播放C选项对应的视频片段,再播放选项A和选项B对应的视频片段,上述就是第二视频片段的播放过程,再将各个第二视频片段,比如其他题目的视频讲解片段,和各个第一视频片段,比如开始问候片段,各个知识点讲解片段,结束问候片段等等进行拼接处理得到录播互动课。
S313,获取教师的个人标签。
其中,个人标签为个人评价、个人风格以及课程评价中的一种或多种。个人评价可以是教师的教学经验、教师性格、教学质量等等,个人风格可以是教师授课的风格,课程评价可以是教师的所有教学视频的总体评价或者单个教学视频的评价。
S314,将个人标签添加到录播互动课中。
需要说明的是,本申请可以对每个教师的所有教学视频,进行处理得到对应的新的录播互动课,所有教学视频的处理都可以按照本申请的方法步骤进行处理。在生成每个教师不同的录播互动课之后,可以将该教师对应的个人标签插入录播互动课中,在录播互动课的每帧画面上显示教师的个人标签。
S315,接收来自学生终端的上课请求。
S316,解析上课请求中携带的课程标识,在课程标识为录播互动课的标识时,向学生终端推送录播互动课。
其中,课程标识用于标识具体的录播互动课。
一般的,录播互动课可以保存在终端的本地文件库中,也可以保存在互联网流媒体服务器中,在服务器接收到来自学生终端的上课请求之后,解析上课请求中携带的课程标识,获取与该课程标识对应的录播互动课,向学生终端推送该录播互动课。
举例来说:学生在学生终端选择的是课程级别2中教师John的录播互动课,服务器接收到学生终端发送的上课请求,上课请求中携带的课程标识为Lesson2-Part1-John,服务器根据该标识在数据中查询与该课程标识对应的录播互动课,再将该录播互动课发送到学生终端。
本申请实施例的方案在执行时,从教师的历史课程数据中获取教学视频数据和课件操作数据,提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据,根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到多个课程片段,再将所述多个课程片段进行拼接处理得到录播互动课。本申请通过获取单个教师的所有教学视频,以及每个教学视频对应的课件操作数据,并提取每个教学视频中的音频数据,将音频数据转化为对应的语音文本数据,根据课件操作数据、语音文本数据以及预设课程大纲将所述单个教学视频划分为多个课程片段,再将这些课程片段拼接处理得到能够根据学生反馈自动播放对应课程片段的录播互动课,提高了对历史教学视频的利用率。
请参见图5,为本申请实施例提供的一种录播互动课的生成装置的结构示意图。该录播互动课的生成装置500可以通过软件、硬件或者两者的结合实现成为服务器的全部或一部分。装置500包括:
第一获取模块510,用于在教师的历史课程数据中获取教学视频数据和课件操作数据;
音频转换模块520,用于提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据;
片段分割模块530,用于根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段;
片段拼接模块540,用于将所述目标课程片段进行拼接处理得到录播互动课。
可选地,装置500还包括:
接收模块,用于接收来自学生终端的上课请求;
推送模块,用于解析所述上课请求中携带的课程标识,在所述课程标识为所述录播互动课的标识时,向所述学生终端推送录播互动课。
可选地,装置500还包括:
获取标签模块,用于获取所述教师的个人标签;其中,所述个人标签为个人评价、个人风格以及课程评价中的一种或多种。
可选地,装置500还包括:
添加标签模块,用于将所述个人标签添加到所述录播互动课中。
可选地,片段分割模块530包括:
第一单元,用于获取至少一个课件页面绑定的课程大纲数据和各个课件页面在显示时间内的第一语音文本数据;
第二单元,用于在至少一个课件页面绑定的课程大纲数据相同时,基于所述第一语音文本数据确定第一视频分割点,基于所述第一视频分割点将教学视频划分为至少一个第一课程片段;
第三单元,识别所述至少一个第一课程片段中是否包括教师与多个学生的互动片段;
第四单元,用于在第一课程片段中包括互动片段时,基于所述互动片段确定第二视频分割点,基于所述第二视频分割点将所述第一课程片段划分为所述目标课程片段。
可选地,片段分割模块530包括:
参数提取单元,用于提取所述第一课程片段的第一特征参数;其中,所述第一特征参数包括教师精神状态参数、视频清晰度参数以及教室状态参数中的一种或多种;
计算评分单元,用于基于所述第一特征参数,计算所述第一课程片段的评分值;
判断评分单元,用于判断所述评分值是否小于预设评分值;
滤除片段单元,用于在所述评分值是否小于预设评分值时,滤除所述评分值对应的第一课程片段。
可选地,片段拼接模块540包括:
设置单元,用于设置所述多个课程片段与预设选项的关联关系;
第一拼接单元,用于基于所述关联关系和所述互动片段将所述多个课程片段进行拼接处理得到第二课程片段;
第二拼接单元,用于将所述第二课程片段和所述第一课程片段进行拼接处理得到所述录播互动课。
本申请实施例的方案在执行时,从教师的历史课程数据中获取教学视频数据和课件操作数据,提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据,根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段,再将所述目标课程片段进行拼接处理得到录播互动课。本申请通过获取单个教师的所有教学视频,以及每个教学视频对应的课件操作数据,并提取每个教学视频中的音频数据,将音频数据转化为对应的语音文本数据,根据课件操作数据、语音文本数据以及预设课程大纲将所述单个教学视频划分为目标课程片段,再将这些课程片段拼接处理得到能够根据学生反馈自动播放对应课程片段的录播互动课,提高了对历史教学视频的利用率。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述的方法步骤,具体执行过程可以参见图2和图3所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的录播互动课的生成方法。
参见图6,其示出了本申请实施例所涉及的一种终端的结构示意图,该电子设备可以用于实施上述实施例中录播互动课的生成方法。具体来讲:
存储器620可用于存储软件程序以及模块,处理器690通过运行存储在存储器620的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器620还可以包括存储器控制器,以提供处理器690和输入单元630对存储器620的访问。
输入单元630可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元630可包括触敏表面631(例如:触摸屏、触摸板或触摸框)。触敏表面631,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面631上或在触敏表面631附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器690,并能接收处理器690发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面631。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元640可包括显示面板641,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板641。进一步的,触敏表面631可覆盖显示面板641,当触敏表面631检测到在其上或附近的触摸操作后,传送给处理器690以确定触摸事件的类型,随后处理器690根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中,触敏表面631与显示面板641是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面631与显示面板641集成而实现输入和输出功能。
处理器690是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分,通过运行或执行存储在存储器620内的软件程序和/或模块,以及调用存储在存储器620内的数据,执行终端设备的各种功能和处理数据,从而对终端设备进行整体监控。可选的,处理器690可包括一个或多个处理核心;其中,处理器690可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器690中。
具体在本实施例中,终端设备的显示单元是触摸屏显示器,终端设备还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含实现上述录播互动课的生成方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上介绍仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种录播互动课的生成方法,其特征在于,所述方法包括:
在教师的历史课程数据中获取教学视频数据和课件操作数据;
提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据;
根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段;所述目标课程片段为教师针对学生不同反应讲解的视频片段,所述目标课程片段由第一课程片段划分得到,所述第一课程片段由所述教学视频数据划分得到;
将所述目标课程片段进行拼接处理得到录播互动课;
其中,所述将所述目标课程片段进行拼接处理得到录播互动课,包括:
设置所述目标课程片段与预设选项的关联关系;所述预设选项为学生针对同一知识点作出不同反应时,每种反应分别对应的选项;
基于所述关联关系和第二视频分割点将所述目标课程片段进行拼接处理得到第二课程片段;所述第二视频分割点为所述目标课程片段的时间分割点;
将所述第二课程片段和所述第一课程片段进行拼接处理得到所述录播互动课。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收来自学生终端的上课请求;
解析所述上课请求中携带的课程标识,在所述课程标识为所述录播互动课的标识时,向所述学生终端推送录播互动课。
3.根据权利要求1所述的方法,其特征在于,所述根据所述课件操作数据、所述语音文本数据和课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段,包括:
获取至少一个课件页面绑定的课程大纲数据和各个课件页面在显示时间内的第一语音文本数据;
在至少一个课件页面绑定的课程大纲数据相同时,基于所述第一语音文本数据确定第一视频分割点,基于所述第一视频分割点将教学视频划分为至少一个第一课程片段;
识别所述至少一个第一课程片段中是否包括教师与多个学生的互动片段;
若为是,基于所述互动片段确定第二视频分割点,基于所述第二视频分割点将所述第一课程片段划分为所述目标课程片段。
4.根据权利要求3所述的方法,其特征在于,所述识别所述至少一个第一课程片段中是否包括教师与多个学生的互动片段之前,包括:
提取所述第一课程片段的第一特征参数;其中,所述第一特征参数包括教师精神状态参数、视频清晰度参数以及教室状态参数中的一种或多种;
基于所述第一特征参数,计算所述第一课程片段的评分值;
判断所述评分值是否小于预设评分值;
若为是,滤除所述评分值对应的第一课程片段。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述教师的个人标签;其中,所述个人标签为个人评价、个人风格以及课程评价中的一种或多种;
将所述个人标签添加到所述录播互动课中。
6.一种录播互动课的生成装置,其特征在于,所述装置包括:
第一获取模块,用于在教师的历史课程数据中获取教学视频数据和课件操作数据;
音频转换模块,用于提取所述教学视频数据中的音频数据,将所述音频数据转换成对应的语音文本数据;
片段分割模块,用于根据所述课件操作数据、所述语音文本数据和预设的课程大纲数据将所述教学视频数据进行分割处理得到目标课程片段;所述目标课程片段为教师针对学生不同反应讲解的视频片段,所述目标课程片段由第一课程片段划分得到,所述第一课程片段由所述教学视频数据划分得到;
片段拼接模块,用于将所述目标课程片段进行拼接处理得到录播互动课;
其中,所述片段拼接模块,用于设置所述目标课程片段与预设选项的关联关系;所述预设选项为学生针对同一知识点作出不同反应时,每种反应分别对应的选项;
基于所述关联关系和第二视频分割点将所述目标课程片段进行拼接处理得到第二课程片段;所述第二视频分割点为所述目标课程片段的时间分割点;
将所述第二课程片段和所述第一课程片段进行拼接处理得到所述录播互动课。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
接收模块,用于接收来自学生终端的上课请求;
发送模块,用于解析所述上课请求中携带的课程标识,在所述课程标识为所述录播互动课的标识时,向所述学生终端推送录播互动课。
8.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~5任意一项所述的方法步骤。
9.一种终端,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~5任意一项所述的方法步骤。
CN202010417797.0A 2020-05-15 2020-05-15 录播互动课的生成方法、装置、存储介质以及终端 Active CN111711834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417797.0A CN111711834B (zh) 2020-05-15 2020-05-15 录播互动课的生成方法、装置、存储介质以及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417797.0A CN111711834B (zh) 2020-05-15 2020-05-15 录播互动课的生成方法、装置、存储介质以及终端

Publications (2)

Publication Number Publication Date
CN111711834A CN111711834A (zh) 2020-09-25
CN111711834B true CN111711834B (zh) 2022-08-12

Family

ID=72537202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417797.0A Active CN111711834B (zh) 2020-05-15 2020-05-15 录播互动课的生成方法、装置、存储介质以及终端

Country Status (1)

Country Link
CN (1) CN111711834B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163229A (zh) * 2021-03-05 2021-07-23 深圳点猫科技有限公司 基于在线教育的分屏录播方法、装置、系统及介质
CN113065007A (zh) * 2021-03-22 2021-07-02 平安银行股份有限公司 多媒体文件生成方法、装置、设备及存储介质
CN113497968A (zh) * 2021-07-01 2021-10-12 读书郎教育科技有限公司 一种听写内容获取的方法
CN115119066B (zh) * 2022-06-30 2024-03-29 武汉美和易思数字科技有限公司 一种基于动态权重的教学视频互动方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343223A (zh) * 2017-07-07 2017-11-10 北京慕华信息科技有限公司 视频片段的识别方法和装置
CN107968959A (zh) * 2017-11-15 2018-04-27 广东广凌信息科技股份有限公司 一种教学视频的知识点分割方法
CN109460488A (zh) * 2018-11-16 2019-03-12 广东小天才科技有限公司 一种辅助教学方法及系统
CN110033659A (zh) * 2019-04-26 2019-07-19 北京大米科技有限公司 一种远程教学互动方法、服务器、终端以及系统
CN110322738A (zh) * 2019-07-03 2019-10-11 北京易真学思教育科技有限公司 一种课程优化方法、装置和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130171603A1 (en) * 2011-12-30 2013-07-04 Logical Choice Technologies, Inc. Method and System for Presenting Interactive, Three-Dimensional Learning Tools
US20140248597A1 (en) * 2012-05-16 2014-09-04 Age Of Learning, Inc. Interactive learning path for an e-learning system
CN106851419B (zh) * 2017-01-10 2019-06-04 广东小天才科技有限公司 一种教学视频播放方法及装置、用户设备
CN107135333A (zh) * 2017-06-28 2017-09-05 三峡大学 一种教学录播系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343223A (zh) * 2017-07-07 2017-11-10 北京慕华信息科技有限公司 视频片段的识别方法和装置
CN107968959A (zh) * 2017-11-15 2018-04-27 广东广凌信息科技股份有限公司 一种教学视频的知识点分割方法
CN109460488A (zh) * 2018-11-16 2019-03-12 广东小天才科技有限公司 一种辅助教学方法及系统
CN110033659A (zh) * 2019-04-26 2019-07-19 北京大米科技有限公司 一种远程教学互动方法、服务器、终端以及系统
CN110322738A (zh) * 2019-07-03 2019-10-11 北京易真学思教育科技有限公司 一种课程优化方法、装置和系统

Also Published As

Publication number Publication date
CN111711834A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111711834B (zh) 录播互动课的生成方法、装置、存储介质以及终端
CN110033659B (zh) 一种远程教学互动方法、服务器、终端以及系统
US9812028B1 (en) Automated generation and presentation of lessons via digital media content extraction
US20180061256A1 (en) Automated digital media content extraction for digital lesson generation
CN110517689B (zh) 一种语音数据处理方法、装置及存储介质
CN110035330B (zh) 基于在线教育的视频生成方法、系统、设备及存储介质
US10210769B2 (en) Method and system for reading fluency training
US20200286396A1 (en) Following teaching system having voice evaluation function
CN110808034A (zh) 语音转换方法、装置、存储介质及电子设备
US20030129571A1 (en) System and method for language education using meaning unit and relational question
CN112399258A (zh) 直播回放视频生成播放方法、装置、存储介质及电子设备
CN111343507A (zh) 在线授课方法、装置、存储介质和电子设备
KR20180105861A (ko) 외국어 학습 어플리케이션 및 이에 포함된 콘텐츠를 이용한 외국어 학습 시스템
Wald Creating accessible educational multimedia through editing automatic speech recognition captioning in real time
CN116962787A (zh) 一种基于视频信息的交互方法、装置、设备及存储介质
CN110890095A (zh) 语音检测方法、推荐方法、装置、存储介质和电子设备
JP3930402B2 (ja) オンライン教育システム、情報処理装置、情報提供方法及びプログラム
CN1095580C (zh) 聋哑人语音学习、对话方法中使用的语音同步反馈装置
CN111128237B (zh) 语音评测方法、装置、存储介质和电子设备
KR20220048958A (ko) 외국어 동영상의 자막 필터링 방법 및 이를 수행하는 시스템
KR20170051759A (ko) 비교음 생성을 통한 어학학습방법 및 어학학습프로그램
KR20020024828A (ko) 인터넷을 이용한 상호 대화식 언어 학습방법
KR100593590B1 (ko) 콘텐츠 자동 생성방법 및 이를 이용한 어학학습방법
KR102566696B1 (ko) 영어 학습 시스템, 서버 및 방법
CN109903594A (zh) 口语练习辅助方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant