CN106991852B - 一种在线教学方法及装置 - Google Patents
一种在线教学方法及装置 Download PDFInfo
- Publication number
- CN106991852B CN106991852B CN201710353876.8A CN201710353876A CN106991852B CN 106991852 B CN106991852 B CN 106991852B CN 201710353876 A CN201710353876 A CN 201710353876A CN 106991852 B CN106991852 B CN 106991852B
- Authority
- CN
- China
- Prior art keywords
- data
- audio
- musical tone
- video data
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000000463 material Substances 0.000 claims abstract description 107
- 238000004458 analytical method Methods 0.000 claims abstract description 73
- 239000011295 pitch Substances 0.000 claims description 39
- 230000009471 action Effects 0.000 claims description 38
- 230000035772 mutation Effects 0.000 claims description 26
- 230000033764 rhythmic process Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 6
- 238000004611 spectroscopical analysis Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Abstract
本发明提供了一种在线教学方法及装置，其中，该方法包括：获取教师客户端采集的教师讲课的第一音视频数据流，将第一音视频数据流发送给学生客户端；检测教师是否指示进入练习环节，如果是，则将练习素材发送给学生客户端；获取学生客户端采集的学生根据练习素材进行练习时的第二音视频数据流；根据第二音视频数据流生成学生的练习分析结果，并将练习分析结果发送给教师客户端。本发明中，教师讲课和学生练习相结合，教师能够获取学生的练习分析结果，进而得知学生对所学知识的掌握情况，使得教师能够根据学生的练习分析结果及时调整授课方向，有针对性的进行授课和指导，提高了教学质量。
Description
技术领域
本发明涉及教育及互联网技术领域，具体而言，涉及一种在线教学方法及装置。
背景技术
随着互联网技术的快速发展，互联网技术开始应用于教育、工业、军事等各行各业中。而互联网技术应用于教育行业，使得通过互联网实现的在线教学方法应运而生。
目前，在线教育一般包括现场直播方式和预先录制两种方式，现有技术中的直播方式，可以是一对一(一个教师对应一个学生)的形式，也可以是一对多(一个教师对应多个学生)的形式，对于一对多的这种形式，一般都是教师在讲课的同时，通过终端设备采集教师讲课的视频流，并将采集的视频流发送给服务器，由服务器将接收到的视频流发送给在线学生客户端进行播放，这样，学生通过学生客户端就可以听教师讲课。
但是，现有技术的直播教学中一对多的这种形式，教师无法掌握学生的学习情况，不清楚学生哪些地方没有听明白，缺少针对性指导，导致教学质量较差。
发明内容
有鉴于此，本发明实施例的目的在于提供一种在线教学方法及装置，以解决或试图缓解上述技术问题。
第一方面，本发明实施例提供了一种在线教学方法，其中，所述方法包括：
获取教师客户端采集的教师讲课的第一音视频数据流，将所述第一音视频数据流发送给学生客户端；
检测所述教师是否指示进入练习环节，如果是，则将练习素材发送给所述学生客户端；
获取所述学生客户端采集的学生根据所述练习素材进行练习时的第二音视频数据流；
根据所述第二音视频数据流生成所述学生的练习分析结果，并将所述练习分析结果发送给所述教师客户端。
结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述检测所述教师是否指示进入练习环节，包括：
对所述第一音视频数据流中的第一语音数据进行语音识别，以获取语音识别结果；
根据所述语音识别结果及预先设定的关键词，判断所述教师是否指示进入练习环节。
结合第一方面，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述检测所述教师是否指示进入练习环节，包括：
检测是否接收到所述教师客户端发送的进入练习环节的指令。
结合第一方面，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述根据所述第二音视频数据流生成所述学生的练习分析结果，包括：
对所述第二音视频数据流中的第二乐音数据中的节奏点、音高和音色进行识别，得到乐音识别结果；
对所述第二音视频数据流中的第二视频数据中学生的手指动作进行识别，得到手指动作识别结果；
根据所述乐音识别结果和预设的标准乐音、所述手指动作识别结果和预设的标准手指动作，生成所述学生的练习分析结果。
结合第一方面，本发明实施例提供了上述第一方面的第四种可能的实现方式，其中，所述方法还包括：
检测是否接收到所述教师客户端发送的展示教学素材的指令，所述指令中携带有待展示教学素材的标识；
如果是，根据所述标识获取所述待展示教学素材，并将所述待展示教学素材展示发送给所述学生客户端。
结合第一方面，本发明实施例提供了上述第一方面的第五种可能的实现方式，其中，所述方法还包括：
对所述第一音视频数据流中的第一语音数据进行语音识别，以获取语音识别结果；
当所述语音识别结果指示向学生展示教学素材时，从预先设定的数据库中获取待展示教学素材；
将所述待展示教学素材发送给所述学生客户端。
结合第一方面，本发明实施例提供了上述第一方面的第六种可能的实现方式，其中，所述方法还包括：
对所述第一音视频数据流中的第一语音数据进行识别；
在所述第一语音数据中识别到乐器上的部件时，生成控制指令，所述控制指令用于控制所述乐器上的所述部件对应的指示灯亮；
将所述控制指令发送给所述学生客户端，以使所述学生客户端控制所述乐器上的所述部件对应的指示灯亮。
第二方面，本发明实施例提供了一种在线教学方法，其中，所述方法包括：
接收服务器发送的教师讲课的第一音视频数据流，并播放所述第一音视频数据流；
接收所述服务器在检测到所述教师指示进入练习环节后发送的练习素材；
展示所述练习素材；
采集学生根据所述练习素材进行练习时的第二音视频数据流，并将所述第二音视频数据流发送给所述服务器，以使所述服务器根据所述第二音视频数据流生成学生练习分析结果。
第三方面，本发明实施例提供了一种在线教学装置，其中，所述装置包括：
第一获取模块，用于获取教师客户端采集的教师讲课的第一音视频数据流；
检测模块，用于检测所述教师是否指示进入练习环节；
第一发送模块，用于将所述第一音视频数据流发送给学生客户端；还用于，在检测到所述教师指示进入练习环节时，将练习素材发送给所述学生客户端；
第二获取模块，用于获取所述学生客户端采集的学生根据所述练习素材进行练习时的第二音视频数据流；
生成模块，用于根据所述第二音视频数据流生成所述学生的练习分析结果；
第二发送模块，用于将所述练习分析结果发送给所述教师客户端。
第四方面，本发明实施例提供了一种在线教学装置，其中，所述装置包括：
接收模块，用于接收服务器发送的教师讲课的第一音视频数据流，并播放所述第一音视频数据流；还用于接收所述服务器在检测到所述教师指示进入练习环节后发送的练习素材；
展示模块，用于展示所述练习素材；
采集模块，用于采集学生根据所述练习素材进行练习时的第二音视频数据流；
发送模块，用于将所述第二音视频数据流发送给所述服务器，以使所述服务器根据所述第二音视频数据流生成学生练习分析结果。
在本发明实施例提供的在线教学方法及装置中，教师讲课和学生练习相结合，教师能够获取学生的练习分析结果，进而得知学生对所学知识的掌握情况，使得教师能够根据学生的练习分析结果及时调整授课方向，有针对性的进行授课和指导，提高了教学效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例1所提供的在线教学方法的流程图；
图2示出了本发明实施例2所提供的在线教学方法的流程图；
图3示出了本发明实施例3所提供的在线教学装置的结构示意图；
图4示出了本发明实施例4所提供的在线教学装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有技术中在线教育中的直播方式中一对多的这种形式，一般都是教师讲学生听，教师和学生之间缺少互动，教师无法掌握学生的学习情况，不清楚学生哪些地方没有听明白，缺少针对性指导，导致教学质量较差。基于此，本发明实施例提供了一种在线教学方法及装置，下面通过实施例进行描述。
实施例1
参考图1所示，本发明实施例提供了一种在线教学方法，该方法包括步骤S110-S140，具体如下。
S110，获取教师客户端采集的教师讲课的第一音视频数据流，将第一音视频数据流发送给学生客户端。
本发明实施例的执行主体为服务器。
上述第一音视频数据流包括第一音频数据和第一视频数据，上述第一音频数据包括第一语音数据和第一乐音数据，其中，上述第一语音数据指的是录制的教师讲课时讲话的音频数据，上述第二乐音数据指的是录制的教师弹奏的乐器的音频数据。
在本发明实施例中，当教师在讲课时，通过教师客户端采集教师在讲课时的第一音视频数据流，并将采集的第一音视频数据流实时发送给服务器。
当服务器获取到第一音视频数据流后，确定当前哪些学生客户端在线，将上述第一音视频数据流发送给当前在线的学生客户端。
具体的，上述教师客户端可以是计算机、手机或者平板电脑；上述学生客户端可以是计算机、手机或者平板电脑。
S120，检测教师是否指示进入练习环节，如果是，则将练习素材发送给学生客户端。
在本发明实施例中，上述检测教师是否指示进入练习环节包括如下两种情况：
第一种情况，
对上述第一音视频数据流中的第一语音数据进行识别，以获取语音识别结果；根据上述语音识别结果及预先设定的关键词，判断教师是否指示进入练习环节。
上述第一语音数据指的是教师在讲课时对教师讲话的录音。
具体的，由于第一音视频数据流中包括第一语音数据及第一乐音数据，语音识别和乐音识别是通过不同的技术实现的，因此，首先根据上述第一音视频数据流确定当前的语音数据是第一乐音数据还是教师说话的语音数据，如果，确定出当前的第一音视频数据流中的音频数据为第一语音数据，则通过语音识别技术对上述第一语音数据进行识别。
在本发明实施例中，采用现有技术对第一语音数据进行识别，因此，此处不再赘述对第一语音数据进行识别的具体过程。
具体的，在服务器中预先存储有“练习”、“进入练习环节”、“开始练习”等与练习相关的关键词，将上述语音识别结果与上述关键词进行匹配，以此来判断教师是否有发出进入练习环节的指示。
第二种情况，
检测是否接收到教师客户端发送的进入练习环节的指令。
具体的，在本发明实施例中，除了通过对教师讲课的语音进行识别来检测教师是否指示进入练习环节外，教师在需要学生进行练习时，可以通过在教师客户端向服务器发送进入练习环节的指令，服务器通过检测是否接收到教师客户端发送的进入练习环节的指令，来确定教师是否指示进入练习环节。
具体的，教师可以通过直接在教师客户端输入用于指示进入练习环节的文字、或者点击进入练习环节的按钮的方式来向服务器发送进入练习环节的指令。
在本发明实施例中，教师在指示进入练习环节的同时，会将练习素材的标识发送给服务器，该练习素材的标识可以是练习题目，当服务器确定出教师指示进入练习环节后，根据练习素材的标识从服务器获取练习素材，并将该练习素材发送给学生客户端，由学生客户端显示该教学素材，这样学生可以根据学生客户端显示的教学素材进行练习。
具体的，在服务器上设置有练习素材库，练习素材库中存储有多种练习素材及练习素材的标识的对应关系。
S130，获取学生客户端采集的学生根据练习素材进行练习时的第二音视频数据流。
为了能够得知学生的练习情况，在学生进行练习的时候，学生客户端会采集学生进行练习时的第二音视频数据流，并将采集的第二音视频数据流发送给服务器。
具体的，上述第二音视频数据流包括第二乐音数据和第二视频数据，其中，第二乐音数据指的是学生在弹奏某个曲子时的音频数据。
S140，根据第二音视频数据流生成学生的练习分析结果，并将该练习分析结果发送给教师客户端。
除此之外，还可以将上述练习分析结果发送给学生客户端，以使学生能够得知自己的练习情况。
当服务器接收到学生客户端发送的第二音视频数据流后，根据该第二音视频数据流生成学生的练习分析结果，具体包括：
对第二音视频数据流中的第二乐音数据中的节奏点、音高和音色进行识别，得到乐音识别结果；对第二音视频数据流中的第二视频数据中学生的手指动作进行识别，得到手指动作识别结果；根据乐音识别结果和预设的标准乐音、手指动作识别结果和预设的标准手指动作，生成学生的练习分析结果。
具体的，上述预设的标准手指动作可以是标准手指动作的数据，该数据可以是特征值。
在本发明实施例中，在对第二乐音数据进行识别时，通过对第二乐音数据进行离散傅里叶变换和端点检测，进而得到第二乐音数据的音频的高低起伏变化，根据音频的高低起伏变换确定出第二乐音数据中的节奏点、音高和音色，得到第二乐音识别结果。
通过离散傅里叶变换和端点检测进行乐音识别的具体过程如下：
1)上述第二乐音数据为时域数据，首先对该时域数据进行分帧处理，具体的，取时域一小段数据作为一帧，一般的，可以取32ms左右时长的数据作为一帧，将上述乐音数据划分为多帧数据；
2)对上述多帧数据进行分包处理，大概1～3帧数据为一个数据包，得到多个数据包；
3)计算每帧数据的能量和每包数据的能量，根据每帧数据的能量和每包数据的能量检测端点。
具体的，下面将以32ms左右时长的数据作为一帧数据介绍计算每帧数据的能量和每包数据的能量的过程：
通过以下公式计算每帧数据的能量：
其中，在上述公式中，Enn指的是第n帧数据的能量，n表示32ms左右时长的包括的时域数据中第n个时域数据，yk表示的是第k个时域数据，k的取值为1，2,3…n。
假设每个数据包包括两帧数据，则通过以下公式计算每个数据包的能量：
Epd＝En1+En2
其中，在上述公式中，Epd指的是第d个数据包的能量。
设λ为能量突变因子，通过以下方法计算上述能量突变因子；
λ1＝Ep1-Ep2
λ2＝Ep2-Ep1
λn-1＝Epd-Epd-1
通过上述公式，计算出连续数据包之间的能量突变因子，将该能量突变因子与预设的能量突变因子进行比较，如果，该能量突变因子大于预设的能量突变因子，则确定此处出现能量突变点，即确定端点所在，比如说，λk大于预设的能量突变因子，则可以确定在Epk+1处为能量突变点，可以确定第k帧数据Ek即为端点。
如果能量突变因子小于预设的能量突变因子，则通过频域的方法计算检测端点。
4)如果能量突变因子小于预设的能量突变因子，则对上述时域数据分帧分包后进行离散傅里叶变换，得到每帧数据或者每个数据包对应的频域数据；
假设时域数据中，每个数据包中包括的时域数据为x1、x2…xm，首先对上述数据包中的时域数据进行加窗处理，采用的为汉宁窗，窗函数如下所述：
x(m)＝x(m)*h(m)
上述h(m)为窗函数，N指的是数据包的数据长度，上述x(m)为加窗处理后的时域数据。
根据下述离散傅里叶变换将上述时域数据转换为频域数据；
其中，在上述公式中，Hk为频域数据，k＝0,1,2,…,N-1,x(m)为加窗后的第m个时域数据。
5)对上述计算得到的频域数据进行功率谱化，具体通过如下公式进行：
其中，在上述公式中，p(k)为第k个频域数据对应的功率值，可以计算出p(1)、p(2)…p(m)多个功率值，分别比较上述功率值，可以确定出上述频域数据中的波峰数据，比如说，p(2)>p(1)且p(2)>p(3)，则确定出p(2)为波峰，根据该方法可以确定出上述频域数据中所有波峰数据。
6)根据上述波峰数据，计算上述频域数据中的特征峰，具体通过如下过程执行：
在步骤5)中得到的波峰数据可以记为波峰数据组，记为A(f),且A(f)＝{Pindex1，Pindex2，…，Pindexf}，Pindex1，Pindex2，…，Pindexf分别为波峰数据。
对上述A(f)中的波峰数据进行由大到小的顺序进行排序，截取前Z个波峰数据，计算当前波峰数据中的旁瓣差值的最小值；并根据旁瓣差值的最小值确定出特征峰。
在本发明实施例中，将上述截取前Z个波峰数据几位数组B(Z),B(Z)＝Pindex,确定出上述数组B(Z)的第一旁瓣值和第二旁瓣值；
确定出的第一旁瓣值为Pindex-1，Pindex+1；确定出的第二旁瓣值为Pindex-2，Pindex+2；
通过下述公式计算旁瓣差值：
det11＝Pindex-Pindex-1
det12＝Pindex-Pindex+1，求det11和det12的最小值为min1
det21＝Pindex-Pindex-2
det22＝Pindex-Pindex+2，求det21和det22的最小值为min2
将上述min1和min2分别与预设值进行比较，如果满足预设条件，则将上述Pindex确定为特征峰。
7)计算上述特征峰对应的频率；
在上述公式中，index为特征峰的角标，即特征峰对应的频域数据的角标，比如说，第一个频域数据或者第二个频域数据等，S为采样率，N为数据包的数据的长度。
8)计算上述特征峰对应数据，包括特征峰能量和特征峰频率；
det1(n)＝e1，e2，...，en(能量)
det1(n)＝c1，c2，...，cn(频率)
det2(m)＝e1，e2，...，em(能量)
det2(m)＝c1，c2，...，cm(频率)
上述det1指的是第一个数据包，上述det2指的是第二个数据包，之后比较两个数据包的数据的相似性，确定出端点，具体过程包括：
比较det1和det2中频率数据，比较规则为循环det1中cn数组，取c1，c2，...，cn在det2中cm数组中比对，如果满足存在cn＝cm或cn＝2cm，cn＝3cm，cm＝2cn，cm＝3cn，即确定cn值存在相关性；循环结果中假如都存在相关性，即判定无端点，继续循环，假如存在不相关数据则记录不相关数据，并继续循环比较det2和det3，两者比较，假如结果完全相关性即断定det2处时间存在端点，不完全相关时，即无端点继续循环。
具体的，上述端点包括节奏点、音高和音色。
其中，上述第二视频数据实际上是包括多帧视频帧，每一帧视频帧是一个静态图像，因此，上述对第二视频数据进行识别的过程实际上就是图像识别的过程，而图像识别过程属于现有技术，因此此处不再赘述上述对第二视频数据进行识别的具体过程。
通过对第二视频数据的识别，可以得出学生在弹奏乐器时的手指动作。
当确定出第二乐音识别结果和手指动作识别结果后，将上述乐音识别结果中的节奏点、音高和音色与预设的标准乐音中的节奏点、音高和音色进行比对，以及将手指识别结果与预设的标准手指动作进行比对，通过上述比对，确定出学生的练习成绩，以及学生练习中不标准或者出错的地方，将学生的练习成绩以及学生练习中不标准或者出错的地方组成学生的练习分析结果，并将该练习分析结果发送给教师客户端。
除了上述情况之外，在本发明实施例中学生客户端在采集了学生练习时的第二音视频数据流之后，首先对该第二音视频数据流中的第二乐音数据进行简单的识别，获取第二乐音数据中的节奏点和音高识别结果，将该节奏点和音高与学生客户端预先设定的标准乐音进行比对，得到初步分析结果，该初步分析结果中包括学生的练习成绩得分，并将上述初步分析结果和第二音视频数据流一起发送给服务器；
当服务器获取到学生客户端发送的初步分析结果和第二音视频数据流后，针对该第二音视频数据流进行进一步的分析，主要是对第二音视频数据流中的第二视频进行分析，以及对第二音视频数据流中的第二乐音的音色进行识别，得到学生的练习分析结果。
在该种情况下，通过学生客户端的初步分析，可以将学生的练习成绩实时的展示在学生客户端。
具体的，还可以根据上述练习分析结果生成报告，得到练习分析结果报告，并将该练习分析结果报告发送给教师客户端。
当教师客户端接收到服务器发送的练习分析结果后，根据该练习分析结果可以确定出学生当前的学习情况，根据学生的学习情况，教师可以选择对某些学生进行单独指导，或者调整当前的教学方案和进度。
具体的，当教师选择对某个学生单独进行指导时，可以在教师客户端点击该学生的标识，向该学生发送指导信息，具体的，该指导信息中携带有该学生的标识，教师客户端首先将教师输入的指导信息发送给服务器，当服务器接收到教师客户端发送的指导信息后，根据该指导信息中的学生的标识，将上述指导信息发送给该学生所使用的学生客户端。
具体的，在本发明实施例中，当服务器接收到学生客户端发送的第二音视频数据流后，还可以直接将该第二音视频数据流发送给教师客户端，这样，教师可以通过教师客户端观看学生的练习情况。
教师在进行讲课时，为了便于学生理解，会向学生展示一些教学中使用到的教学素材，因此，在本发明实施例中，为了能够向学生展示一些教学素材，以辅助教师进行授课，本来实施例中还会在采集的第一音视频数据流的某一时间点处展示教学素材，以展示给学生，具体过程包括如下两种情况：
第一种情况，
检测是否接收到教师客户端发送的展示教学素材的指令，该指令中携带有待展示教学素材的标识；如果是，根据上述标识获取上述待展示教学素材，并将上述待展示教学素材发送给学生客户端，以使学生客户端在播放第一音视频数据流时展示上述教学素材。
具体的，上述教学素材可以是文本、图片、音频、视频、乐谱、调音器、和弦、标记及游戏等内容，上述乐谱包括吉他谱、五线谱和简谱等等。
在该情况下，当需要展示教学素材时，教师可以通过教师客户端发送展示教学素材的指令给服务器，以使服务器根据教师发送的指令获取待展示教学素材，具体的，教师通过教师客户端发送的教材展示指令中，携带有待展示教材的标识、教学素材展示在第一音视频数据流中指定时间点。
当服务器接收到教师客户端发送的教材展示指令后，根据教学素材的标识，从服务器上预先设置的数据库中获取上述教学素材，并将上述教学素材发送给学生客户端，当学生客户端在将第一音视频数据流播放到需要展示教学素材的时间点处时，将上述待展示教学素材添加在当前正在播放的视频帧上，具体的，可以将上述教学素材添加在当前正在播放的视频帧的左上角、或者右上角、左下角及右下角等位置，还可以悬浮在当前视频帧上。
具体的，使教学素材出现在第一音视频数据流中的某个时间点处是通过如下过程实现的：根据教师客户端发送的展示教学素材的指令确定出当前需要展示教学素材的视频帧，在播放到当前时间处时，将上述获取的教学素材添加在当前的视频帧中。
在需要展示教学素材时，除了通过上述通过教师客户端发送展示教学素材的指令的方式实现外，还可以通过如下第二种情况实现：
第二种情况，
对上述第一音视频数据流中的第一语音数据进行语音识别，以获取语音识别结果；当语音识别结果指示向学生展示教学素材时，从预先设定的数据库中获取待展示教学素材；将带展示教学素材发送给学生客户端。
在本发明实施例中，根据上述语音识别结果和预先建立的关键词列表，可以确定出上述语音识别结果中是否指示向学生展示教学素材，上述预先建立的关键词列表中设置有“素材”、“展示素材”、“展示”等关键词。
在本发明实施例中，上述数据库是预先建立好的，存储在服务器中，具体可以根据以下步骤建立上述数据库：
获取乐谱、调音器、和弦、游戏、标记等教学素材，上述标记指的是圆圈或者划线等，将上述获取的教学素材放给服务器进行存储。
上述获取的教学素材可以是直接从网上或者其它渠道获取得到的，也可以是通过终端编辑得到的，本发明实施例并不对上述获取教学素材的具体过程进行限定。
另外，在本发明实施例中，展示在第一音视频数数据流中的乐谱会随着教师或者学生弹奏乐器的当前进度的变化而变化。
具体的，在本发明实施例中，在教师讲到乐器结构或者需要学生识别乐器中的某些部件时，为了便于学生在乐器上找到相应的部件，在本发明实施例提供的在线教学方法中，还包括：
对第一音视频数据流中的第一语音数据进行识别；在第一语音数据中识别到乐器上的部件时，生成控制指令，该控制指令用于控制乐器上的部件对应的指示灯亮；将上述控制指令发送给学生客户端，以使学生客户端控制上述乐器上的部件对应的指示灯亮。
具体的，在本发明实施例中，学生客户端与学生乐器连接，可以通过蓝牙、无线网络等连接方式进行连接，这样，学生客户端可以与学生的乐器之间进行通信。
当学生客户端接收到服务器发送的控制指令后，将该控制指令发送给学生的乐器，当乐器接收到学生客户端发送的控制指令后，根据该控制指令中携带的标识，找到相应部件对应的指示灯，并控制该指示灯亮。
除此之外，在本发明实施例中，教师与学生乐器的互动还包括如下情况：
当教师在进行乐器弹奏示范时，教师客户端采集的第一音视频数据流中包括教师弹奏的乐器的第一乐音数据，教师客户端将采集的第一音视频数据流发送给服务器，由服务器将该第一音视频数据流发送给学生客户端，学生客户端播放上述第一音视频数据流，以供学生学习，除此之外，为了方便学生学习，学生客户端还会对上述第一乐音数据进行识别，并根据识别结果生成控制指令，以控制学生的乐器上相应的弦对应的指示灯亮，这样，学生可以清楚的得知教师当前弹奏的是哪个音；另外，在本发明实施例中，可以在教学素材里添加控制指令，当展示到上述教学素材时，则直接向学生的乐器发送控制指令，以控制学生的乐器上相应的弦对应的指示灯亮。
上述介绍的均是传输控制指令给学生的乐器，在本发明实施例中，还可以传输控制指令给教师的乐器。
当学生客户端生成控制指令后，将该控制指令发送给学生的乐器，以使学生的乐器根据该控制指令控制相应的弦对应的指示灯亮。
在本发明实施例中，学生还可以主动向教师发送求助信息，比如说，当学生在进行练习时，反复练习多次也无法练习通过，这时，学生可以向教师发送求助信息，具体的，学生可以通过在学生客户端点击教师的标识，来向教师发送求助信息。
本发明实施例提供在线教学方法，教师讲课和学生练习相结合，教师能够获取学生的练习分析结果，进而得知学生对所学知识的掌握情况，使得教师能够根据学生的练习分析结果及时调整授课方向，有针对性的进行授课和指导，提高了教学效果。
实施例2
本发明实施例提供了一种在线教学方法，参考图2所示，该方法包括步骤S210-S240，具体如下：
S210，接收服务器发送的教师讲课的第一音视频数据流，并播放第一音视频数据流；
S220，接收服务器在检测到教师指示进入练习环节后发送的练习素材；
S230，展示上述练习素材；
S240，采集学生根据上述练习素材进行练习时的第二音视频数据流，并将上述第二音视频数据流发送给服务器，以使服务器根据第一音视频数据流生成学生练习分析结果。
上述第一音视频流包括第一音频数据和第一视频数据，上述第一音频数据包括第一语音数据和第一乐音数据，其中，上述第一语音数据指的是录制的教师讲课时讲话的音频数据，上述第二乐音数据指的是录制的教师弹奏的乐器的音频数据。
上述第二音视频数据流包括第二音频数据和第二视频数据。
在本发明实施例中，通过教师客户端采集教师在讲课时的音视频数据流，并将采集的第一音视频数据流发送给服务器，由服务器将上述第一音视频数据流发送给学生客户端，当学生客户端接收到服务器发送的第一音视频数据流后，播放上述第一音视频数据流。
另外，当服务器检测到教师指示进入练习环节后，获取练习素材，并将获取的练习素材发送给学生客户端，以使学生客户端显示上述练习素材，学生客户端在显示上述练习素材时，同时会将正在播放的第一音视频数据流的在学生客户端的画面缩小，只显示在学生客户端的左上角、右上角、左下角或者右下角任意一个角落里；或者，还可以隐藏上述正在播放的第一音视频数据流的画面。
在学生根据练习素材进行练习时，学生客户端会采集学生练习时的第二音视频数据流，并将采集的第二音视频数据流发送给服务器。
在步骤S240中，服务器根据第一音视频数据流生成学生练习分析结果，是通过如下步骤实现的：
对第二音视频数据流中的第二乐音数据中的节奏点、音高和音色进行识别，得到乐音识别结果；对第二音视频数据流中的第二视频数据中学生的手指动作进行识别，得到手指动作识别结果；根据乐音识别结果和预设的标准乐音、手指动作识别结果和预设的标准手指动作，生成学生的练习分析结果。
在本发明实施例中，在对第二乐音数据进行识别时，通过对第二乐音数据进行离散傅里叶变换和端点检测，进而得到第二乐音数据的频率的高低起伏变化，根据频率的高低频率变换确定出第二乐音数据中的节奏点、音高和音色，得到第二乐音识别结果。
通过离散傅里叶变换和端点检测的具体过程和上述实施例1中的过程完全一致，因此，此处不再赘述。
其中，上述第二视频数据实际上是包括多帧视频帧，每一帧视频帧是一个静态图像，因此，上述对第二视频数据进行识别的过程实际上就是图像识别的过程，而图像识别过程属于现有技术，因此此处不再赘述上述对第二视频数据进行识别的具体过程。
通过对第二视频数据的识别，可以得出学生在弹奏乐器时的手指动作。
当确定出第二乐音识别结果和手指动作识别结果后，将上述乐音识别结果中的节奏点、音高和音色与预设的标准乐音中的节奏点、音高和音色进行比对，以及将手指识别结果与预设的标准手指动作进行比对，通过上述比对，确定出学生的练习成绩，以及学生练习中不标准或者出错的地方，将学生的练习成绩以及学生练习中不标准或者出错的地方组成学生的练习分析结果，并将该练习分析结果发送给教师客户端，教师可以根据上述练习分析结果指导学生练习或者调整授课方案。
或者，还可以将上述练习分析结果发送给学生客户端，以使学生能够得知自己的练习情况。
具体的，在本发明实施例提供的方案中，学生客户端在采集了学生在练习时的第二音视频数据流后，首先对该第二音视频数据流中的第二乐音数据进行简单的识别，获取第二乐音数据中的节奏点和音高识别结果，将该节奏点和音高与学生客户端预先设定的标准乐音进行比对，得到初步分析结果，该初步分析结果中包括学生的练习成绩得分，并将上述初步分析结果和第二音视频数据流一起发送给服务器；
当服务器接收到学生客户端发送的初步分析结果和第二音视频数据流后，这对该第二音视频数据流进行进一步的分析，主要是对第二音视频数据流中的第二视频进行分析，以及对第二音视频数据流中的第二乐音的音色进行识别，得到学生的练习分析结果。
在该种情况下，通过学生客户端的初步分析，可以将学生的练习成绩实时的展示在学生客户端。
本发明实施例提供在线教学方法，教师讲课和学生练习相结合，教师能够获取学生的练习分析结果，进而得知学生对所学知识的掌握情况，使得教师能够根据学生的练习分析结果及时调整授课方向，有针对性的进行授课和指导，提高了教学效果。
实施例3
本发明实施例提供了一种在线教学装置，该装置可以是服务器，用于执行本发明实施例1所提供的在线教学方法，本发明实施例提供的装置如图3所示，包括第一获取模块310、检测模块320、第一发送模块330、第二获取模块340、生成模块350和第二发送模块360；
上述第一获取模块310，用于获取教师客户端采集的教师讲课的第一音视频数据流；
上述检测模块320，用于检测教师是否指示进入练习环节；
上述第一发送模块330，用于将第一音视频数据流发送给学生客户端；还用于在检测到教师指示进入练习环节时，将练习素材发送给学生客户端；
上述第二获取模块340，用于获取学生客户端采集的学生根据上述练习素材进行练习时的第二音视频数据流；
上述生成模块350，用于根据第二音视频数据流生成学生的练习分析结果；
上述第二发送模块360，用于将上述练习分析结果发送给教师客户端。
上述第一发送模块330还用于将上述练习分析结果发送给学生客户端。
在本发明实施例中，上述检测模块320检测教师是否指示进入练习环节，是通过第一识别单元和判断单元实现的，具体包括：
上述第一识别单元，用于对上述第一音视频数据流中的第一语音数据进行语音识别，以获取语音识别结果；
上述判断单元，用于根据上述语音识别结果和预先设定的关键词，判断教师是否指示进入练习环节。
在本发明实施例中，上述检测模块320检测教师是否指示进入练习环节，还可以通过检测单元实现，具体包括：
上述检测单元，用于检测是否接收到教师客户端发送的进入练习环节的指令。
其中，上述生成模块350根据第二音视频数据流生成学生的练习分析结果，是通过第二识别单元、第三识别单元和生成单元实现的，具体包括：
上述第二识别单元，用于对第二音视频数据流中的第二乐音数据中的节奏点、音高和音色进行识别，得到乐音识别结果；
上述第三识别单元，用于对第二音视频数据流中的第二视频数据中学生的手指动作进行识别，得到手指动作识别结果；
上述生成单元，用于根据上述乐音识别结果和预设标准乐音、手指动作识别结果和预设的标准手指动作，生成学生的练习分析结果。
其中，作为一个实施例，本发明实施例提供的在线教学装置，还包括指令检测模块和第三获取模块；
上述指令检测模块，用于检测是否接收到教师客户端发送的展示教学素材的指令，该指令中携带有待展示教学素材的标识；第三获取模块，用于如果接收到教师客户端发送的展示教学素材的指令，根据上述标识获取待展示教学素材；上述第一发送模块330，用于将上述待展示教学素材发送给学生客户端。
其中，作为一个实施例，本发明实施例提供的装置，还包括语音识别模块和教学素材获取模块；
上述语音识别模块，用于对第一音视频数据流中的第一语音数据进行语音识别，以获取语音识别结果；上述教学素材获取模块，用于当上述语音识别结果指示向学生展示教学素材时，从预先设定的数据库书中获取待展示教学素材；上述第一发送模块330，用于将待展示教学素材发送给学生客户端。
其中，作为一个实施例，本发明实施例提供的装置还包括指令生成模块；
上述语音识别模块对第一音视频数据流中的第一语音进行语音识别之后，在上述第一语音数据中识别到乐器上的部件时，上述指令生成模块用于生成控制指令，该控制指令用于控制乐器上的部件对应的指示灯亮；
上述第一发送模块330，将上述控制指令发送给学生客户端，以使学生客户端控制上述乐器上的部件对应的指示灯亮。
本发明实施例提供在线教学装置，教师讲课和学生练习相结合，教师能够获取学生的练习分析结果，进而得知学生对所学知识的掌握情况，使得教师能够根据学生的练习分析结果及时调整授课方向，有针对性的进行授课和指导，提高了教学效果。
实施例4
本发明实施例提供了一种在线教学装置，该在线教学装置可以是学生客户端，该学生客户端可以是手机、计算机、平板电脑等，参考图4所示，本发明实施例提供的在线教学装置包括接收模块410、展示模块420、采集模块430和发送模块440；
上述接收模块410，用于接收服务器发送的教师讲课的第一音视频数据流，并播放上述第一音视频数据流；还用于接收服务器在检测到教师指示进入练习环节后发送的练习素材；
上述展示模块420，用于展示上述练习素材；
上述采集模块430，用于采集学生根据练习素材进行练习时的第二音视频数据流；
上述发送模块440，用于将第二音视频数据流发送给服务器，以使服务器根据第二音视频数据流生成学生练习分析结果。
本发明实施例提供的在线教学装置，教师讲课和学生练习相结合，教师能够获取学生的练习分析结果，进而得知学生对所学知识的掌握情况，使得教师能够根据学生的练习分析结果及时调整授课方向，有针对性的进行授课和指导，提高了教学效果。
本发明实施例所提供的在线教学装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种在线教学方法，其特征在于，所述方法包括：
获取教师客户端采集的教师讲课的第一音视频数据流，将所述第一音视频数据流发送给学生客户端；
检测所述教师是否指示进入练习环节，如果是，则将练习素材发送给所述学生客户端；
获取所述学生客户端采集的学生根据所述练习素材进行练习时的第二音视频数据流；
根据所述第二音视频数据流生成所述学生的练习分析结果，并将所述练习分析结果发送给所述教师客户端；其中，根据所述第二音视频数据流生成所述学生的练习分析结果，包括：对所述第二音视频数据流中的第二乐音数据中的节奏点、音高和音色进行识别，得到乐音识别结果；
对所述第二音视频数据流中的第二视频数据中学生的手指动作进行识别，得到手指动作识别结果；根据所述乐音识别结果和预设的标准乐音、手指动作识别结果和预设的标准手指动作，生成学生的练习分析结果；
在对所述第二乐音数据进行识别时，对所述第二乐音数据进行离散傅里叶变换和端点检测，得到所述第二乐音数据的音频的高低起伏变化，根据所述音频的高低起伏变换确定出所述第二乐音数据中的节奏点、音高和音色，得到乐音识别结果；
对所述第一音视频数据流中的第一语音数据进行识别；
在所述第一语音数据中识别到乐器上的部件时，生成控制指令，所述控制指令用于控制所述乐器上的所述部件对应的指示灯亮；
将所述控制指令发送给所述学生客户端，以使所述学生客户端控制所述乐器上的所述部件对应的指示灯亮；
所述对所述第二乐音数据进行离散傅里叶变换和端点检测，得到所述第二乐音数据的音频的高低起伏变化，根据所述音频的高低起伏变换确定出所述第二乐音数据中的节奏点、音高和音色，得到乐音识别结果，包括：
对所述第二乐音数据进行分帧处理，得到多帧数据；其中，所述第二乐音数据为时域数据；
对所述多帧数据进行分包处理，得到多个数据包；
基于预设的能量计算公式，计算每帧数据对应的能量，进而确定每个数据包对应的能量；
计算任意两个相邻的数据包分别对应的能量的差值，得到能量突变因子；
若计算得到的能量突变因子小于预设的能量突变因子，则对每个数据包进行离散傅里叶变换，得到每个数据包对应的频域数据；
基于预设的功率计算公式，对所述频域数据进行功率谱化，得到多个功率值，并基于预设的选取规则，从所述多个功率值中选取波峰数据；
计算所述波峰数据的旁瓣差值的最小值，将满足预设条件的所述旁瓣差值的最小值对应的波峰数据确定为特征峰；
计算所述特征峰分别对应的特征峰能量和特征峰频率，基于每个特征峰分别对应的特征峰能量和特征峰频率，得到多个端点；其中，所述端点包括节奏点、音高和音色。
2.根据权利要求1所述的方法，其特征在于，所述检测所述教师是否指示进入练习环节，包括：
对所述第一音视频数据流中的第一语音数据进行语音识别，以获取语音识别结果；
根据所述语音识别结果及预先设定的关键词，判断所述教师是否指示进入练习环节。
3.根据权利要求1所述的方法，所述检测所述教师是否指示进入练习环节，包括：
检测是否接收到所述教师客户端发送的进入练习环节的指令。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
检测是否接收到所述教师客户端发送的展示教学素材的指令，所述指令中携带有待展示教学素材的标识；
如果是，根据所述标识获取所述待展示教学素材，并将所述待展示教学素材发送给所述学生客户端。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述第一音视频数据流中的第一语音数据进行语音识别，以获取语音识别结果；
当所述语音识别结果指示向学生展示教学素材时，从预先设定的数据库中获取待展示教学素材；
将所述待展示教学素材发送给所述学生客户端。
6.一种在线教学方法，其特征在于，所述方法包括：
接收服务器发送的教师讲课的第一音视频数据流，并播放所述第一音视频数据流；
接收所述服务器在检测到所述教师指示进入练习环节后发送的练习素材；
展示所述练习素材；
采集学生根据所述练习素材进行练习时的第二音视频数据流，并将所述第二音视频数据流发送给所述服务器，以使所述服务器根据所述第二音视频数据流生成学生练习分析结果；其中，根据所述第二音视频数据流生成所述学生的练习分析结果，包括：对所述第二音视频数据流中的第二乐音数据中的节奏点、音高和音色进行识别，得到乐音识别结果；
对所述第二音视频数据流中的第二视频数据中学生的手指动作进行识别，得到手指动作识别结果；根据所述乐音识别结果和预设的标准乐音、手指动作识别结果和预设的标准手指动作，生成学生的练习分析结果；
在对所述第二乐音数据进行识别时，对所述第二乐音数据进行离散傅里叶变换和端点检测，得到所述第二乐音数据的音频的高低起伏变化，根据所述音频的高低起伏变换确定出所述第二乐音数据中的节奏点、音高和音色，得到乐音识别结果；
接收所述服务器在所述第一音视频数据流中的第一语音数据中识别到乐器上的部件时生成的控制指令，控制所述乐器上的所述部件对应的指示灯亮，所述控制指令用于控制所述乐器上的所述部件对应的指示灯亮；
所述对所述第二乐音数据进行离散傅里叶变换和端点检测，得到所述第二乐音数据的音频的高低起伏变化，根据所述音频的高低起伏变换确定出所述第二乐音数据中的节奏点、音高和音色，得到乐音识别结果，包括：
对所述第二乐音数据进行分帧处理，得到多帧数据；其中，所述第二乐音数据为时域数据；
对所述多帧数据进行分包处理，得到多个数据包；
基于预设的能量计算公式，计算每帧数据对应的能量，进而确定每个数据包对应的能量；
计算任意两个相邻的数据包分别对应的能量的差值，得到能量突变因子；
若计算得到的能量突变因子小于预设的能量突变因子，则对每个数据包进行离散傅里叶变换，得到每个数据包对应的频域数据；
基于预设的功率计算公式，对所述频域数据进行功率谱化，得到多个功率值，并基于预设的选取规则，从所述多个功率值中选取波峰数据；
计算所述波峰数据的旁瓣差值的最小值，将满足预设条件的所述旁瓣差值的最小值对应的波峰数据确定为特征峰；
计算所述特征峰分别对应的特征峰能量和特征峰频率，基于每个特征峰分别对应的特征峰能量和特征峰频率，得到多个端点；其中，所述端点包括节奏点、音高和音色。
7.一种在线教学装置，其特征在于，所述装置包括：
第一获取模块，用于获取教师客户端采集的教师讲课的第一音视频数据流；
检测模块，用于检测所述教师是否指示进入练习环节；
第一发送模块，用于将所述第一音视频数据流发送给学生客户端；还用于，在检测到所述教师指示进入练习环节时，将练习素材发送给所述学生客户端；
第二获取模块，用于获取所述学生客户端采集的学生根据所述练习素材进行练习时的第二音视频数据流；
生成模块，用于根据所述第二音视频数据流生成所述学生的练习分析结果；其中，所述生成模块，在根据所述第二音视频数据流生成所述学生的练习分析结果时，包括：
对所述第二音视频数据流中的第二乐音数据中的节奏点、音高和音色进行识别，得到乐音识别结果；
对所述第二音视频数据流中的第二视频数据中学生的手指动作进行识别，得到手指动作识别结果；根据所述乐音识别结果和预设的标准乐音、手指动作识别结果和预设的标准手指动作，生成学生的练习分析结果；
在对所述第二乐音数据进行识别时，对所述第二乐音数据进行离散傅里叶变换和端点检测，得到所述第二乐音数据的音频的高低起伏变化，根据所述音频的高低起伏变换确定出所述第二乐音数据中的节奏点、音高和音色，得到乐音识别结果；
第二发送模块，用于将所述练习分析结果发送给所述教师客户端；
语音识别模块，用于对所述第一音视频数据流中的第一语音数据进行识别；
指令生成模块，用于在所述第一语音数据中识别到乐器上的部件时，生成控制指令，所述控制指令用于控制乐器上的所述部件对应的指示灯亮；
第一发送模块，将所述控制指令发送给所述学生客户端，以使所述学生客户端控制所述乐器上的所述部件对应的指示灯亮；
所述生成模块，在对所述第二乐音数据进行离散傅里叶变换和端点检测，得到所述第二乐音数据的音频的高低起伏变化，根据所述音频的高低起伏变换确定出所述第二乐音数据中的节奏点、音高和音色，得到乐音识别结果时，包括：
对所述第二乐音数据进行分帧处理，得到多帧数据；其中，所述第二乐音数据为时域数据；
对所述多帧数据进行分包处理，得到多个数据包；
基于预设的能量计算公式，计算每帧数据对应的能量，进而确定每个数据包对应的能量；
计算任意两个相邻的数据包分别对应的能量的差值，得到能量突变因子；
若计算得到的能量突变因子小于预设的能量突变因子，则对每个数据包进行离散傅里叶变换，得到每个数据包对应的频域数据；
基于预设的功率计算公式，对所述频域数据进行功率谱化，得到多个功率值，并基于预设的选取规则，从所述多个功率值中选取波峰数据；
计算所述波峰数据的旁瓣差值的最小值，将满足预设条件的所述旁瓣差值的最小值对应的波峰数据确定为特征峰；
计算所述特征峰分别对应的特征峰能量和特征峰频率，基于每个特征峰分别对应的特征峰能量和特征峰频率，得到多个端点；其中，所述端点包括节奏点、音高和音色。
8.一种在线教学装置，其特征在于，所述装置包括：
接收模块，用于接收服务器发送的教师讲课的第一音视频数据流，并播放所述第一音视频数据流；还用于接收所述服务器在检测到所述教师指示进入练习环节后发送的练习素材；还用于接收所述服务器在所述第一音视频数据流中的第一语音数据中识别到乐器上的部件时生成的控制指令，控制所述乐器上的所述部件对应的指示灯亮，所述控制指令用于控制所述乐器上的所述部件对应的指示灯亮；
展示模块，用于展示所述练习素材；
采集模块，用于采集学生根据所述练习素材进行练习时的第二音视频数据流；
发送模块，用于将所述第二音视频数据流发送给所述服务器，以使所述服务器根据所述第二音视频数据流生成学生练习分析结果，其中，所述服务器，在根据所述第二音视频数据流生成所述学生的练习分析结果时，包括：
对所述第二音视频数据流中的第二乐音数据中的节奏点、音高和音色进行识别，得到乐音识别结果；
对所述第二音视频数据流中的第二视频数据中学生的手指动作进行识别，得到手指动作识别结果；根据所述乐音识别结果和预设的标准乐音、手指动作识别结果和预设的标准手指动作，生成学生的练习分析结果；
在对所述第二乐音数据进行识别时，对所述第二乐音数据进行离散傅里叶变换和端点检测，得到所述第二乐音数据的音频的高低起伏变化，根据所述音频的高低起伏变换确定出所述第二乐音数据中的节奏点、音高和音色，得到乐音识别结果；
所述服务器，在对所述第二乐音数据进行离散傅里叶变换和端点检测，得到所述第二乐音数据的音频的高低起伏变化，根据所述音频的高低起伏变换确定出所述第二乐音数据中的节奏点、音高和音色，得到乐音识别结果时，包括：
对所述第二乐音数据进行分帧处理，得到多帧数据；其中，所述第二乐音数据为时域数据；
对所述多帧数据进行分包处理，得到多个数据包；
基于预设的能量计算公式，计算每帧数据对应的能量，进而确定每个数据包对应的能量；
计算任意两个相邻的数据包分别对应的能量的差值，得到能量突变因子；
若计算得到的能量突变因子小于预设的能量突变因子，则对每个数据包进行离散傅里叶变换，得到每个数据包对应的频域数据；
基于预设的功率计算公式，对所述频域数据进行功率谱化，得到多个功率值，并基于预设的选取规则，从所述多个功率值中选取波峰数据；
计算所述波峰数据的旁瓣差值的最小值，将满足预设条件的所述旁瓣差值的最小值对应的波峰数据确定为特征峰；
计算所述特征峰分别对应的特征峰能量和特征峰频率，基于每个特征峰分别对应的特征峰能量和特征峰频率，得到多个端点；其中，所述端点包括节奏点、音高和音色。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710353876.8A CN106991852B (zh) | 2017-05-18 | 2017-05-18 | 一种在线教学方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710353876.8A CN106991852B (zh) | 2017-05-18 | 2017-05-18 | 一种在线教学方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106991852A CN106991852A (zh) | 2017-07-28 |
| CN106991852B true CN106991852B (zh) | 2020-11-24 |
Family
ID=59419325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710353876.8A Active CN106991852B (zh) | 2017-05-18 | 2017-05-18 | 一种在线教学方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106991852B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363245B (zh) * | 2019-07-17 | 2023-05-12 | 上海掌学教育科技有限公司 | 在线课堂的精彩图片筛选方法、装置及系统 |
| CN110706553B (zh) * | 2019-11-13 | 2022-02-01 | 北京音悦荚科技有限责任公司 | 一种基于ar增强现实的乐器辅助学习系统及方法和装置 |
| CN111028566A (zh) * | 2019-12-12 | 2020-04-17 | 广州三人行壹佰教育科技有限公司 | 直播教学的方法、装置、终端和存储介质 |
| CN111225235B (zh) * | 2020-01-16 | 2020-12-04 | 北京合众美华教育投资有限公司 | 一种网络教学视频的播放方法 |
| CN111613252B (zh) * | 2020-04-29 | 2021-07-27 | 广州三人行壹佰教育科技有限公司 | 音频录制的方法、装置、系统、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101145288A (zh) * | 2007-08-03 | 2008-03-19 | 上海欧亚钢琴乐器有限公司 | 基于宽带互联网的钢琴远程教学系统 |
| CN102568261A (zh) * | 2011-12-28 | 2012-07-11 | 张智 | 乐器辅助学习机 |
| CN105575199A (zh) * | 2016-02-19 | 2016-05-11 | 河南科技学院 | 一种智能音乐教学系统 |
| CN105976674A (zh) * | 2016-07-19 | 2016-09-28 | 南阳理工学院 | 一种音乐教学系统与方法 |
| CN106485984A (zh) * | 2015-08-27 | 2017-03-08 | 中国移动通信集团公司 | 一种钢琴的智能教学方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3770128B2 (ja) * | 2001-09-21 | 2006-04-26 | ヤマハ株式会社 | 波形データ編集方法、波形データ編集装置、プログラムおよび波形メモリの生産方法 |
| JP2013205830A (ja) * | 2012-03-29 | 2013-10-07 | Sony Corp | トーン成分検出方法、トーン成分検出装置およびプログラム |
| CN104200801A (zh) * | 2014-09-18 | 2014-12-10 | 王择儒 | 小提琴 |
-
2017
- 2017-05-18 CN CN201710353876.8A patent/CN106991852B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101145288A (zh) * | 2007-08-03 | 2008-03-19 | 上海欧亚钢琴乐器有限公司 | 基于宽带互联网的钢琴远程教学系统 |
| CN102568261A (zh) * | 2011-12-28 | 2012-07-11 | 张智 | 乐器辅助学习机 |
| CN106485984A (zh) * | 2015-08-27 | 2017-03-08 | 中国移动通信集团公司 | 一种钢琴的智能教学方法和装置 |
| CN105575199A (zh) * | 2016-02-19 | 2016-05-11 | 河南科技学院 | 一种智能音乐教学系统 |
| CN105976674A (zh) * | 2016-07-19 | 2016-09-28 | 南阳理工学院 | 一种音乐教学系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106991852A (zh) | 2017-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964298B2 (en) | Network musical instrument | |
| CN106991852B (zh) | 一种在线教学方法及装置 | |
| CN107193931B (zh) | 一种教学课件生成方法、在线教学方法及装置 | |
| Yamada et al. | A rhythm practice support system with annotation-free real-time onset detection | |
| US7280964B2 (en) | Method of recognizing spoken language with recognition of language color | |
| CN102243817A (zh) | 歌唱教学系统 | |
| CN112887790A (zh) | 一种视频快速交互与播放的方法 | |
| US20220319350A1 (en) | System and method of facilitating live jam session with song recommendation engine to recommend a song to be played | |
| Wallerstedt et al. | Playing by “the connected ear”: An empirical study of adolescents learning to play a pop song using Internet-accessed resources | |
| Karahan | The evaluation of synchronous distance ear training compared to the traditional ear training | |
| KR20200058191A (ko) | 학습자 수준별 일대일 온라인 악기 교습 시스템 및 방법 | |
| Li et al. | Application of artificial intelligence technology in the teaching of complex situations of folk music under the vision of new media art | |
| KR100894866B1 (ko) | 애니메이션을 이용한 피아노 교습과 음파장을 이용한 평가시스템 | |
| KR20120034486A (ko) | 음악교습에 사용되는 건반장치 | |
| CN101739852B (zh) | 基于语音识别的实现自动口译训练的方法和装置 | |
| JP2003228279A (ja) | 音声認識を用いた語学学習装置、語学学習方法及びその格納媒体 | |
| Hori et al. | Piano practice evaluation and visualization by HMM for arbitrary jumps and mistakes | |
| US10593366B2 (en) | Substitution method and device for replacing a part of a video sequence | |
| CN107146181A (zh) | 一种在线教学方法及装置 | |
| KR20190112885A (ko) | 자동화된 청음평가방법 및 그것을 이용한 청음평가시스템 | |
| Jaime et al. | A new multiformat rhythm game for music tutoring | |
| JP6155102B2 (ja) | 学習支援装置 | |
| CN110956870A (zh) | 一种视唱练耳教学方法及装置 | |
| Woody | Getting into their heads | |
| CN112037609B (zh) | 一种基于物联网的音乐教学装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An online teaching method and device Granted publication date: 20201124 Pledgee: China Construction Bank Corporation Beijing Anhua Sub-branch Pledgor: BEIJING YINYUEJIA TECHNOLOGY CO.,LTD. Registration number: Y2024980004976 |