CN109801193A - 一种具有语音评价功能的跟随教学系统 - Google Patents

一种具有语音评价功能的跟随教学系统 Download PDF

Info

Publication number
CN109801193A
CN109801193A CN201711142046.7A CN201711142046A CN109801193A CN 109801193 A CN109801193 A CN 109801193A CN 201711142046 A CN201711142046 A CN 201711142046A CN 109801193 A CN109801193 A CN 109801193A
Authority
CN
China
Prior art keywords
data
teaching
follow
unit
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711142046.7A
Other languages
English (en)
Other versions
CN109801193B (zh
Inventor
卢启伟
宾晓皎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Eaglesoul Education Service Co Ltd
Original Assignee
Shenzhen Yingshuo Audio Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yingshuo Audio Technology Co Ltd filed Critical Shenzhen Yingshuo Audio Technology Co Ltd
Priority to CN201711142046.7A priority Critical patent/CN109801193B/zh
Priority to PCT/CN2017/114403 priority patent/WO2019095446A1/zh
Priority to US16/467,493 priority patent/US20200286396A1/en
Publication of CN109801193A publication Critical patent/CN109801193A/zh
Application granted granted Critical
Publication of CN109801193B publication Critical patent/CN109801193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

本发明提供一种基于互联网教学平台的具有语音评价功能的跟随教学系统，使用互联网教学平台的录播系统，通过录制标准教师的课堂教学，并对录制的课堂教学数据进行标准化分段处理后，形成标准教学录播课程，跟随教师在学习标准教学录播课程之后，可以模仿标准教师执行本地课堂教学，同样通过录播系统进行录制，使用本发明的系统，通过对采集的各种数据的关系构建、统计、分析和比对等处理，不但可以实现对跟随教师的教学过程进行事前、事中和事后的记录和指导，还可以对于跟随教师的语音进行评价，帮助跟随教师有效完成本地课堂教学。

Description

一种具有语音评价功能的跟随教学系统
技术领域
本发明涉及互联网教学技术领域，特别是涉及一种基于互联网教学平台的具有语音评价功能的跟随教学系统。
背景技术
近些年来，互联网教学技术蓬勃发展，涌现出一大批各式各样的互联网教学平台。这些互联网教学平台借助于互联网技术，使得教学资源的分享更加方便，他们主要将课堂教学、讲座、会议等现场的音视频内容，甚至集成演示的内容制作成多媒体文件，存储于连接了互联网的教学服务器上，通过点播和直播技术，用户可以随时随地通过互联网在线观看或回顾这些教学内容。借助于日益普及的网络，特别是移动互联网，互联网用户能够方便的开展网上教学、远程教学、课堂直播等。然而，这些互联网教学平台主要关注的是，教学过程的录制以及教师与学生的互动，比如现有技术中的这些教学录播系统或教学平台：
CN101833882A(公开日2010年9月15日)公开了一种用于教学的课程录制系统，包括多媒体教室模块(如讲台、中控、展台、笔记本、投影机等等)、教室场景摄像机采集模块、自动跟踪探测模块、录播工作站、B/S架构点播模块、编辑工作站、录播系统资源管理模块以及外部条件等。
CN106355350A(公开日2017年1月25日)公开了一种智慧校园系统，包括校园管理子系统1和校园教学子系统2，其中，智慧阅读考核子系统可以根据接收到的学生进出阅览室的频率、时间、阅读书籍名称和数量等数据，进行分析计算并排名后将排行榜呈现在云互动电子黑板108上，激发学生的学习热情。
CN105306861A(公开日2016年2月3日)公开了一种系统的可靠的教学录播方法，从分类数据的录制和分类单独存储，生成统一的时间戳进行标记，到对需要加密的数据进行简单分割，建立对应关系表，根据需要单独获取录播数据，实现流畅的数据传送，而使用本地的终端上客户端将这些数据有机组合起来，甚至可以根据客户端的需要仅仅获取部分数据进行播放，系统性的解决了教学录播的问题。
CN103295171A(公开日2013年9月11日)公开了一种基于智能录播系统的S-T教学自动分析方法，包括音视频现场采集和录播系统，网络传输系统以及远程播放系统，包括如下单元：一、获取音视频现场采集和录播系统在录制过程信号源的切换方式；二、对切换方式进行转换处理并生成xml文件；三、定义xml文件的视频源文件中参数为教师和学生的行为；四、计算教师行为百分比、学生行为百分比和转化率；五、利用网页界面展示S-T行为图。本发明能实现教师边录播课程，录播主机通过对视频源机位的智能化切换信息转化成教师行为信息序列表和学生行为信息序列表，视频录制完成后，经过自动化编码后，便可直接生成直观的S-T直方图，计算出本课例的转化率及依据常模判断出教学类型。
CN106485964A(公开日2017年03月08日)公开了一种课堂教学的录制和点播的系统，包括：在课程录制过程中，根据课堂讲解要点，通过生成特定时间戳标识的方式，对于录制课堂教学数据进行标记分段，并且构建课堂讲解要点与分段教学数据的对应的关联关系数据库；所述的课堂教学数据可以是由动作流、音频流和图像流组成的组合数据。特别优选的，本发明的录制课堂教学数据的“标记分段”并不实质上切割或者切分录制的课堂教学数据，只是通过时间戳标识进行分段性标识，这样的标记分段可以是多个层次的，并不是一个分段只对应一个讲解要点，采用时间戳标识的方式方便了不同级别的“分段标识数据”可以根据需要建立对应关系。课程录制步骤，用于录制课堂教学数据，并根据课堂讲解要点的时间顺序，对所述录制课堂教学数据进行分段标识，形成与所述课堂讲解要点对应的分段标记课堂数据，建立课堂讲解要点与分段标记课堂数据的对应关联数据库。课堂讲解要点包括多个具有高低从属关系的不同层级要点，根据录制的课堂教学数据涉及的不同层级的要点，所述分段标记课堂数据可以对应相应的具体底层级要点及其所属的高层级要点，并根据时间关系在所述对应关联数据库中建立对应关系列表。采集设备分别采集教师授课的图像数据流+时间戳、音频数据流+时间戳和动作数据流+时间戳，并通过服务器实时分别分发，实现课堂的在线直播，学生用户终端实时获取分发的三种数据流，根据时间戳在本地重新组合后实现在线学习。其中，时间戳是由教学服务器统一生成的。将通过采集设备获得的图像数据流+时间戳、音频数据流+时间戳和动作数据流+时间戳进行处理之后，存储到存储设备中，所述存储设备可以为本地存储器(本地磁盘阵列)或网络云端存储器以及他们的任意组合。
可见，现有技术中各种教学系统所要解决的技术问题主要在于，教学过程的录制、在线分享和交互学习等方面的技术，旨在通过录播系统采集课堂教学，通过网络传输采集的教学数据，可以在学生用户客户端重现课堂教学，实现网络教学的目的。
本申请发明人在深入中小学教学一线实施技术项目，特别是深入边远山区调研时，对于教育发达地区提供的网络教学课程，由于教学背景以及知识背景的等方面的原因，其他地区的学生很难直接进行学习，即使进行跟随学习，学习效果也比较差，需要本地教师先根据网络课程进行学习，然后参照网络教学课程的教学方式再结合实际情况，通过本地课堂教学方式开展实际教学活动。客观来说，中小学学校教育的教学主体和核心力量在现在和未来相当长时间内肯定还是中小学教师，可以预见未来各种现代化教学手段将越来越多的被采纳，但是主要教学活动还将是课堂授课的方式。目前来看，对于中小学学校教育，各种网络教学系统主要起到课堂教学实时协助、过程延伸等作用，不可能完全替代课堂教学。一线教师，特别是渴望提升教学水平的欠发达地区教师，存在这样的需求，欠发达地区教师(本地教师)在对教育发达地区提供的网络教学课程进行跟随式教学的过程中，也就是类似模仿式教学的过程中，希望借助能够对跟随式教学过程实时分析和协助的技术或者软件系统，对本地教师的跟随式教学过程提供技术支持，从而可以有助于本地教师教学水平的提高，有助于改进本地教学的教学质量和教学效果，也就是，现有技术中还没有提出通过形成标准教学录播课程和跟随教学录播课程，进行分段比对，同步回放显示给跟随教师，从而对跟随式课堂教学进行分析指导。本发明的更特别之处在于，越来越重视标准化和普通话的今天，为了跟随教师，特别是偏远山区的教师，在跟随教学的过程中，对于其跟随教学过程中的语音发音进行适当评价，也是非常必要的。
通过对现有技术的检索和分析，发明人还未发现现有技术中存在基于互联网教学平台的跟随教学方案。本发明正是针对发明人发现的现有技术中存在的问题，在互联网教学平台之上，通过教学录播系统，在跟随教师开展跟随式课堂教学过程中，通过对有关数据的事先、事中和事后的采集、分析和评价，提供实时分析、指导和帮助，不但可以对整个跟随式课堂教学进行分析指导，还可以对于跟随教师的语音进行评价，有助于跟随式教学效率和教学效果的提升。
发明内容
为了解决上述技术问题，本发明提供一种基于互联网教学平台的跟随教学系统，所述跟随教学系统基于互联网教学平台，所述互联网教学平台具有课堂教学录制功能，所述教学录制时通过教学录播系统实现的，所述跟随教学系统包括以下单元：
标准课程形成单元，用于通过互联网教学平台的标准教学录播系统采集标准教师的标准课堂教学数据，对标准课堂教学数据进行分段处理，比如分为课前测试阶段、课中讲授阶段和随堂练习阶段，各阶段以时间标识信息进行标识区分，所述时间标识信息与课堂教学数据一起保存构成标准教学录播数据，由此形成标准教学录播课程；
跟随教学录制单元，用于通过互联网教学平台的跟随教学录播系统采集跟随教师的跟随课堂教学数据，对跟随课堂教学数据的课前测试结果数据进行实时分析，将实时分析的结果与标准教学录播数据的对应数据进行比对，根据比对结果为跟随教师的课中讲授阶段设置建议讲授时间，记录建议讲授时间与实际讲授时间，所述建议讲授时间、实际讲授时间与课堂教学数据一起保存构成跟随教学录播数据，由此形成跟随教学录播课程，所述跟随教学录播数据包括跟随教师的语音数据；
跟随教学分析单元，用于对跟随教学录播数据进行事后分析，与标准教学录播数据进行分段比对，包括各阶段的建议讲授时间和实际讲授时间比对、各阶段的语音文本信息比对，并将跟随教学录播课程与标准教学录播课程同步回放显示给跟随教师；
跟随语音评价单元，用于将跟随教师的教学语音与标准教学语音进行对比，将对比结果标注于跟随教师的语音文本上。
所述标准课程形成单元具体包括：
关系数据构建单元，用于将每堂课程的课堂教学大纲进行知识点划分，将知识点作为数据条目，并根据知识点生成关键词，建立关键词与知识点的对应关系，以数据条目为基础，根据与课前测试的习题和随堂练习的习题的属性信息的比对，建立各种数据之间的以知识点为关联点的关联关系，由此构建关系数据库；
标准教学录制单元，通过标准教学录播系统的教学录制设备采集标准课堂教学数据，使用图像采集设备、音频采集设备和/或动作采集设备分别采集图像数据、音频数据、动作数据，所述数据可以分别以数据流的方式进行保存，通过时间戳进行时间标识；
课前测试分析单元，在课堂教学开始之后，课中讲授阶段之前，学生通过学生终端进行基础知识测试，对测试结果进行实时分析，形成课前测试结果分析数据；
随堂练习分析单元，在课堂教学结束之前，课中讲授阶段之后，学生通过学生终端进行随堂练习测试，对测试结果进行实时分析，形成随堂练习结果分析数据；
语音识别转换单元，用于将课堂教学数据的音频数据通过语音识别技术转换成语音文本信息，并且统计各个知识点对应的标准语音文本信息的关键词词频数。
所述标准语音文本信息包括音频数据的时间戳信息，从而可以基于时间戳信息建立语音文本与音频数据的对应关系，使得在标准教学录播课程被点播回访时，标准语音文本信息可以以字幕的方式进行显示。
所述知识点划分包括三步：
第一步，将课堂教学大纲划分为基础知识和新授知识，作为一级数据条目，
第二步：将所述基础知识进一步划分为若干基础知识点，将所述新授知识进一步划分为若干新授知识点，作为二级数据条目；
第三步：根据基础知识点和新授知识点的关联关系，进一步完善关系数据库的数据结构。
所述跟随教学录制单元具体包括：
关系数据调用单元，用于在跟随课堂教学开始时调取所述关系数据库，为下面执行单元功能提供数据支持；
跟随教学数据采集单元，通过跟随教学录播系统的教学录制设备采集跟随课堂教学数据，使用图像采集设备、音频采集设备和/或动作采集设备分别采集图像数据、音频数据、动作数据，所述数据可以分别以数据流的方式进行保存，通过时间戳进行时间标识；
课前测试比对单元，在跟随课堂教学开始之后，跟随课中讲授阶段之前，学生通过学生终端进行基础知识测试，对测试结果进行实时分析，形成课前测试结果分析数据，将所述课前测试分析结果与标准课程的课前测试分析结果进行比对，向跟随教师提供学生对于基础知识点的掌握情况和与标准课堂学生的差异，根据差异情况及所述关系数据库的知识点关联信息，结合标准课堂上对于知识点的讲授时间，给出关于知识点的建议讲授时间；
随堂练习分析单元，在课堂教学结束之前，课中讲授阶段之后，学生通过学生终端进行随堂练习测试，对测试结果进行实时分析，形成随堂练习结果分析数据。
所述课前测试的习题和随堂练习的习题与标准教学中对应习题一致。
在给出建议讲授时间之后，生成时间提示信息，在教师终端上进行展示，便于跟随教师在课中讲授中掌握教学进度。
所述跟随教学分析单元具体包括：
语音识别转换单元，用于将所述跟随教学录播数据的音频数据通过语音识别技术转换成语音文本信息，并且统计各个知识点对应的跟随语音文本信息的关键词词频数，所述关键词与标准课程中的关键词一致；
文本相似分析单元，用于根据标准语音文本信息中各个知识点对应的关键词词频数与跟随语音文本信息中各个知识点对应的关键词词频数进行比对分析，以确定跟随语音文本信息与标准语音文本信息的相似度；
分屏比对展示单元，用于以双窗口或者多窗口同屏展示、或者多屏同步显示的方式向跟随教师同时展示录制的跟随教学课程与标准教学课程，从而实现直观的比对。
所述分屏比对展示单元还可以执行以下功能，进行课前测试分析结果对比、建议讲授时间和实际讲授时间比对、跟随语音文本信息与标准语音文本信息的相似度对比和/或随堂练习测试结果的比对。
所述跟随教学分析单元进一步包括：
改进建议生成单元，用于在分屏比对展示过程中，根据所述关系数据库确定的各种数据之间基于知识点的关联关系，结合上述比对结果，给出跟随教学过程中各个阶段的评价信息及改进建议。
所述跟随教学分析单元进一步包括：
跟随度计算单元，用于计算每次跟随教学的跟随系数Fn，将一定周期内的多次跟随系数Fn做成跟随系数变化曲线，展示给跟随教师，跟随系数计算公式：
其中，
STi表示知识点i的建议讲授时间，PTi表示知识点i的实际讲授时间，i＝1,2…n，n是正整数，用于表示知识点的数量，δ表示第i个知识点的权重系数，其中δ1+...+δi＝1；
E1表示对于跟随教师讲授的评价数据，E2表示对于标准教师讲授的评价数据，评价通常由学生通过互联网教学平台给出，两个评价数据采用同样的标准；
S1表示跟随课堂每次随堂练习平均得分，S2表示标准课堂每次随堂练习平均得分；
α、β、γ作为平衡系数，α+β+γ＝1，α取值0.30-0.50，β取值0.10-0.30，γ取值0.20-0.40。
所述跟随语音评价单元包括输入语音获取单元、语音片段划分单元、音律特征获取单元、待评价内容确定单元、标准语音产生单元、语音对比分析单元及对比结果生成单元，其中，
输入语音获取单元，用于从跟随教学录制单元的跟随教学录播数据中获取跟随教师的语音数据；
语音片段划分单元，用于对所语音数据进行基本语音片段划分，获得所述语音数据的语音单元序列；
音律特征获取单元，用于对所述语音单元序列进行特征提取，获取所述语音单元序列的音律特征；
待评价内容确定单元，用于对提取到的音律特征进行特征计算，如果计算结果满足预定条件，则将符合条件的语音单元作为待评价内容；
语音对比分析单元，用于获取待评价内容的音律特征，并将所述音律特征与标准语音产生单元的标准教学语音进行对比分析；
对比结果生成单元，用于将语音评价结果标注在跟随教师语音文本上，提供给跟随教师。
标准语音产生单元，用于将所述跟随教师的语音数据识别转换成语音文本信息，然后使用标准发音数据库，根据所述语音文本信息生成跟随教师的标准教学语音。
所述跟随教师的语音文本转换可以由所述跟随教学分析单元的语音识别转换单元来执行。
所述基本语音单元可以是音节、音素等，通过对所述语音的划分，得到所语音数据的基本语音单元及语音单元序列。
所述语音单元序列的音律特征包括韵律特征和音节特征，
韵律特征包括每个基本语音单元的边界特征、发音时长、相邻基本语音单元间的停顿时间以及整个语音单元序列的发音时长；
所述音节特征包括各基本语音单元的发音。
对于所述待评价内容确定单元，对语音单元序列的音律特征的计算可采用最优得分路径的计算方法，包括：
将提取得到的语音单元序列的音律特征，利用训练好的声学模型计算最优得分路径；
如果最优得分路径中包含要检测的待评价内容，则确定已检出待评价内容。
所述最优得分路径的计算公式是：
其中，
X代表所述语音单元序列的音律特征向量，W代表得分最大的最优词序列；
条件概率P(X|W)为声学模型得分，通过训练好的声学模型计算得到；
先验概率P(W)为语言模型得分，即为对不同的声学模型所加的Penalty。
所述待评价内容的音律特征还可以包括待评价内容的上下文内容的音律特征。
对于所述语音对比分析单元，利用语音预测模型进行语音评价的操作包括：
对所录制的用户语音进行基本语音片段划分；
从语音单元序列中提取对应待评价音律特征；
对于不同的音律特征加载对应的预测模型，预测出相应的标准发音；
将用户语音的音律特征与标准发音的音律特征进行对比，得到相应的评价结果。
本发明以互联网教学平台作为依托，以教学录播系统为主要实现手段，通过对课堂教学过程的标准化和模块化分段处理，形成具有分段特征的标准教学录播课程，在此基础上，跟随教师实施本地跟随教学，通过对于学生基础知识掌握情况的测试，对比标准课堂的测试结果，结合标准课程上对于知识点的讲授时间，为跟随教师提供建议讲授时间的指导，并且对实际的执行情况进行记录和比对，为了进一步体现跟随教学的特质，在完成跟随课堂完成，形成跟随教学录播课程后，以同屏多窗口或多屏同时展示的方式，向跟随教师对比展示跟随教学和标准教学的异同，并且提供数据支持，包括语音文本相似度、生成改进的建议、计算跟随度等，还可以对于跟随教师的语音进行评价，从而可以为跟随教学提供更加有效的数据支持，有助于跟随教学效率的提升，有助于改进跟随教学的效果。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例或示例中了解到。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1是本发明的互联网教学平台的架构示意图；
图2是本发明的跟随教学系统的主要单元示意图；
图3是本发明的标准课程形成单元的子单元示意图；
图4是本发明的跟随教学录制单元的子单元示意图；
图5是本发明的跟随教学分析单元的子单元示意图；和
图6是本发明的跟随语音评价单元的子单元示意图。
具体实施方式
以下将结合附图，对本发明的具体实施方式进行进一步详细的描述。
图1是本发明的互联网教学平台的架构示意图。如图1所示，互联网教学平台100包括标准教学录播系统101和跟随教学录播系统102。标准教学录播系统101包括标准教师终端1011、标准教学录制设备1012、标准学生终端1013。跟随教学录播系统102包括跟随教师终端1021、跟随教学录制设备1022、跟随学生终端1023。所述标准教学录播系统101和跟随教学录播系统102还可以具体包括各种图像、声音和操作动作采集设备等。
本发明的终端包括：处理器、网络模块、控制模块、显示模块以及智能操作系统；所述终端上可以设有通过数据总线连接各种拓展类设备和配件的多种数据接口；所述智能操作系统包括Windows、Android及其改进、iOS，在其上可以安装、运行应用软件，实现在智能操作系统下的各种应用软件、服务和应用程序商店/平台的功能。
本发明的终端可以通过RJ45/Wi-Fi/蓝牙/2G/3G/4G/G.hn/Zigbee/Z-ware/RFID等连接方式连接到互联网络，并借助互联网连接到其它的终端或其它电脑及设备，通过1394/USB/串行/SATA/SCSI/PCI-E/Thunderbolt/数据卡接口等多种数据接口或者总线方式，通过HDMI/YpbPr/SPDIF/AV/DVI/VGA/TRS/SCART/Displayport等音视频接口等连接方式，来连接各种拓展类设备和配件，组成了一个会议/教学设备互动系统。带有软件形式的声音捕捉控制模块和动作捕捉控制模块，或通过数据总线板载硬件形式的声音捕捉控制模块和动作捕捉控制模块，来实现声控和形控功能；通过音视频接口连接显示/投影模块、麦克风、音响设备和其它音视频设备，来实现显示、投影、声音接入、音视频播放，以及数字或模拟的音视频输入和输出功能；通过数据接口连接摄像头、麦克风、电子白板、RFID读取设备，实现影像接入、声音接入、电子白板的使用控制和录屏，RFID读取功能，并通过相应的接口可接入和管控移动存储设备、数字设备和其它设备；通过DLNA/IGRS技术和互联网络技术，来实现的包括多屏设备之间的操控、互动和甩屏等功能。
在本发明中，处理器定义为包括但不限于：指令执行系统，如基于计算机/处理器的系统、专用集成电路(ASIC)、计算设备、或能够从非暂时性存储介质或非暂时性计算机可读存储介质取得或获取逻辑并执行非暂时性存储介质或非暂时性计算机可读存储介质中包含的指令的硬件和/或软件系统。所述处理器还可以包括任意控制器，状态机，微处理器，基于互联网络的实体、服务或特征，或它们的任意其它模拟的、数字的和/或机械的实现方式。
在本发明中，所述计算机可读存储介质定义为包括但不限于：能够包含、存储或保持程序、信息及数据的任意介质。计算机可读存储介质包括许多物理介质中的任一种，如电子介质、磁性介质、光介质、电磁介质或半导体介质。合适计算机可读存储介质以及终端和服务器使用的存储器的更具体示例包括但不限于：磁性计算机盘(如软盘或硬驱)、磁带、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、光盘(CD)或数字视频光盘(DVD)、蓝光存储器、固态硬盘(SSD)、闪存。
在本发明中，互联网可以包括局域网和广域互联网，可以是有线互联网，也可以是无线互联网，或者这些网络的任意组合。
如图2所示，根据本发明的基于互联网教学平台的跟随教学系统的具体实施例，所述互联网教学平台具有课堂教学录制功能，包括以下单元：标准课程形成单元、跟随教学录制单元、跟随教学分析单元、跟随语音评价单元。
标准课程形成单元，用于通过互联网教学平台的标准教学录播系统采集标准教师的标准课堂教学数据，对课堂教学数据进行分段处理，比如分为课前测试阶段、课中讲授阶段和随堂练习阶段，各阶段以时间标识信息进行标识区分，所述时间标识与标准课堂教学数据一起保存构成标准教学录播数据，由此形成标准教学录播课程；
所述互联网教学平台可以是可以接入互联网的具有交互功能的并且具有对课堂教学过程进行录制功能的各种可用互联网教学平台。这样的互联网教学平台一般包括，教师终端、学生终端、多媒体教学设备、课堂教学录制设备以及本地或云端服务器，这些设备之间通过有线或无线，局域或广域等互联网进行通信连接。
所述标准教学录播系统可以与互联网教学平台通信连接，可以通过图像采集设备、音频采集设备和/或操作动作采集设备等录制设备分别采集图像数据、音频数据、动作数据(比如，教学终端操作动作、电子白板操作动作、画图板的做图动作等操作动作数据)等课堂教学数据，还可以对教学过程产生的其他实时数据进行统计分析，以及对所获得的各种数据进行存储、上传等处理。
优选的，这些录播数据可以分别以数据流的方式保存至本地存储设备、互联网教学平台的服务器存储设备或者与服务器连接的云端存储设备，比如磁盘存储阵列等。
所谓标准教师是指这样的教师，其课堂教学的教学录播课程作为标准教学录播课程，被跟随教师学习参考或者推荐给跟随教师学习参考，跟随教师将以此作为模仿式跟随教学的参考标准执行本地课堂教学。
所述标准教学录播课程可以通过互联网共享于平台之上，通过互联网登录教学平台的用户可以获得，进行下载、浏览、学习等操作。
所述分段处理是指可以将所述课堂教学过程分为课前测试阶段、课中讲授阶段和随堂练习阶段，这三个阶段一般具有时间顺序上的前后逻辑关系。这三个阶段以时间标识，比如时间戳，进行分段标识。
在这三个阶段的基础上，还可以对课堂教学过程继续进行类似的细分分段处理，而且这三个阶段的每个阶段，特别是课中讲授阶段还可以进一步划分为多个子段，比如根据讲授的不同知识点，将课中讲授阶段分为若干讲授子段。
在分阶段和分子段的过程中，逐渐建立以知识点为关联点或纽带的关系数据库，使得课前测试阶段的习题、课中讲授阶段的知识点讲授、随堂练习的习题彼此之间建立以知识点为关键点或纽带的关联关系，并且将这种关联关系保存至关系数据库。
这些阶段和子段的划分，优选以时间标识进行分段标识(区分标识)，以知识点为联系纽带，一般并不需要把数据切割分段。
跟随教学录制单元，用于通过互联网教学平台的跟随教学录播系统采集跟随教师的跟随课堂教学数据，对跟随课堂教学数据中的课前测试结果数据进行实时分析，将实时分析的结果与标准教学录播数据的对应数据进行比对。为跟随教师的课中讲授阶段提供建议讲授时间，并且记录建议讲授时间、实际讲授时间。所述建议讲授时间、实际讲授时间与跟随课堂教学数据一起保存构成跟随教学录播数据，由此形成跟随教学录播课程。对于教学或者跟随过程中可能涉及的其他数据，可以按照其他数据的存储方式，通过比如时间戳标识进行统一标识之后，进行单独存储或者与教学录播数据一起进行存储。
对于建议讲授时间，优选的是，可以以时间提示的方式显示于跟随教师终端的屏幕上，便于跟随教师根据时间提示合理掌握教学进度。
所谓跟随教师是模仿或者跟随所述标准教师的教学录播课程执行本地课堂教学的教师。所述跟随教学录播课程也可以通过互联网共享于平台之上，跟随教师也可以选择不上传到互联网教学平台，或者上传到互联网教学平台，但是只供一定范围内的学生比如本班的或者本校的学生下载、浏览、学习等，也就是说，可以根据跟随教师的意愿采用分级共享跟随教学录播课程的方式。
所述跟随教学录播系统可以是与标准课程的标准教学录播系统相同的，也可以是不同的，只要保证能够获得相同标准的或者分辨率的课堂录播数据即可。
优先的是，标准教师使用的录播系统与跟随教师使用的录播系统采用相同型号的设备，并且特别优选的是，这些设备在教室中的安装方式保持一致，从而保持录播系统采集的数据在技术参数上保持一致。
跟随教师的教学录播数据，同样可以分别以数据流的方式保存至本地存储设备、服务器的存储设备或者与服务器连接的云端存储设备，比如磁盘存储阵列等。可以与标准教师保持一致，在此不再赘述。
跟随教学分析单元，用于对跟随教学录播数据进行事后分析，并与标准教学录播数据进行分段比对，包括各阶段的建议讲授时间和实际讲授时间比对、各阶段的语音文本信息比对，并将跟随教学录播课程与标准教学录播课程同步回放显示给跟随教师。
所述比对的处理，可以由本地服务器执行，也可以将数据提交到云端由专门的云计算中心执行分析和比对，这些云计算中心可以是提供商业服务的公司。
可选的，所有的比对和分析等运算均由本地服务器或者计算机设备执行。
跟随语音评价单元，用于将跟随教师的教学语音与标准教学语音进行对比，将对比结果标注于跟随教师的语音文本上。
所述跟随语音评价单元包括输入语音获取单元、语音片段划分单元、音律特征获取单元、待评价内容确定单元、标准语音产生单元、语音对比分析单元及对比结果生成单元，其中，
输入语音获取单元，用于从跟随教学录制单元的跟随教学录播数据中获取跟随教师的语音数据；
语音单元划分单元，用于对所语音数据进行基本语音单元划分，获得所述语音数据的语音单元序列；
音律特征获取单元，用于对所述语音单元序列进行特征提取，获取所述语音单元序列的音律特征；
待评价内容确定单元，用于对提取到的音律特征进行特征计算，如果计算结果满足预定条件，则将符合条件的语音单元作为待评价内容；
语音对比分析单元，用于获取待评价内容的音律特征，并将所述音律特征与标准语音产生单元的标准教学语音进行对比分析；
对比结果生成单元，用于将语音评价结果标注在跟随教师语音文本上，提供给跟随教师。
标准语音产生单元，用于将所述跟随教师的语音数据识别转换成语音文本信息，然后使用标准发音数据库，根据所述语音文本信息生成跟随教师的标准教学语音。
所述跟随教师的语音文本转换可以由所述跟随教学分析单元的语音识别转换单元来执行。
所述基本语音单元可以是音节、音素等，通过对所述语音的划分，得到所语音数据的基本语音单元及语音单元序列。
所述语音单元序列的音律特征包括韵律特征和音节特征，
韵律特征包括每个基本语音单元的边界特征、发音时长、相邻基本语音单元间的停顿时间以及整个语音单元序列的发音时长；
所述音节特征包括各基本语音单元的发音。
对于所述待评价内容确定单元，对语音单元序列的音律特征的计算可采用最优得分路径的计算方法，包括：
将提取得到的语音单元序列的音律特征，利用训练好的声学模型计算最优得分路径；
如果最优得分路径中包含要检测的待评价内容，则确定已检出待评价内容。
所述最优得分路径的计算公式是：
其中，
X代表所述语音单元序列的音律特征向量，W代表得分最大的最优词序列；
条件概率P(X|W)为声学模型得分，通过训练好的声学模型计算得到；
先验概率P(W)为语言模型得分，即为对不同的声学模型所加的Penalty。
所述待评价内容的音律特征还可以包括待评价内容的上下文内容的音律特征。
对于所述语音对比分析单元，利用语音预测模型进行语音评价的操作包括：
对所录制的用户语音进行基本语音片段划分；
从语音单元序列中提取对应待评价音律特征；
对于不同的音律特征加载对应的预测模型，预测出相应的标准发音；
将跟随教师语音的音律特征与标准发音的音律特征进行对比，得到相应的评价结果。
如图3所示，所述标准课程形成单元，具体包括：关系数据构建单元、标准教学录制单元、课前测试分析单元、随堂练习分析单元、语音识别转换单元。
关系数据构建单元，用于将每堂标准课程的课堂教学大纲进行知识点划分，将知识点作为数据条目，并根据知识点生成关键词，建立关键词与知识点的对应关系，以数据条目为基础，根据与课前测试的习题和随堂练习的习题的属性信息的比对，建立各种数据之间的以知识点为关联点的关联关系，由此构建关系数据库；
所述知识点划分包括三步：
第一步，将课堂教学大纲划分为基础知识和新授知识，作为一级数据条目，
第二步：将所述基础知识进一步划分为若干基础知识点，将所述新授知识进一步划分为若干新授知识点，作为二级数据条目；
第三步：根据基础知识点和新授知识点的关联关系，进一步完善关系数据库的数据结构。
优选的，所述关系数据库作为标准教学录播数据的组成部分进行独立保存。
优选的，在标准教师执行课堂教学过程中，这里主要是指进行课程讲授的过程中，包括对于基础知识的讲授(通常是回顾式讲授)和新授知识的讲授，建立知识或者知识点与录播数据时段的对应关系，所述时段以时间标识优选时间戳信息进行划分，并且保存至所述关系数据库。
比如，进行基础知识的课中讲授中，建立基础知识与标准录播数据时段的对应关系。
优选的，进一步建立基础知识点与标准录播数据子时段的对应关系，所述子时段是对录播数据时段的进一步细分。所述录播数据时段或者子时段的划分可以由标准教师在课中讲授中进行手动点击确认，也可以根据事后的关键词检索或者人工区分进行划分。
也就是，在标准教学录制过程完成后，可以形成以知识或者知识点为关联标识的“课堂教学目标数据条目-课前测试的习题-课中讲授分段数据-随堂练习的习题”的关系数据库，使得可以对于标准教学录播课程进行片段划分，并建立前后关联的对应关系。
标准教学录制单元，通过标准教学录播系统的教学录制设备采集课堂教学数据，比如，使用图像采集设备、音频采集设备和/或动作采集设备分别采集图像数据、音频数据、动作数据，这些数据可以分别以数据流的方式进行保存，并通过时间戳进行时间标识；
课前测试分析单元，在课堂教学开始之后，课中讲授阶段之前，学生通过学生终端进行基础知识测试，对测试结果进行实时分析，形成课前测试结果分析数据，用以了解当前学生对于相关基础知识，优选为基础知识点的掌握情况，从而在后面的课中讲授中，更加有针对性，方便后续开展标准教学。
所述测试分析数据，不但可以实时提供，比如展示给标准教师，也可以单独保存，优选的，作为标准教学录播数据的组成部分，一起进行保存。
随堂练习分析单元，在课堂教学结束之前，课中讲授阶段之后，学生通过学生终端进行随堂练习测试，对测试结果进行实时分析，形成随堂练习结果分析数据，用以了解学生对于新授知识的掌握情况，优选为新授知识点的掌握情况，为教师自我分析教学过程提供技术支持，方便教师了解教学效果。
所述随堂练习分析数据，不但可以实时提供比如展示给标准教师，也可以单独保存，优选的，作为标准教学录播数据的组成部分，一起进行保存。
语音识别转换单元，用于将课堂教学数据的音频数据通过语音识别技术转换成标准语音文本信息，并且统计各个知识点对应的标准语音文本信息的关键词词频数。优选的，所述标准语音文本信息包括原音频数据的时间标识信息比如优选时间戳信息，从而可以基于时间标识信息建立语音文本与音频数据的对应关系。
优选的，将带有时间标识信息的标准语音文本信息作为标准教学录播数据的组成部分，一起进行保存，并且在点播回放时，以字幕的形式显示于终端设备上。
优选的，关系数据构建单元中的所述数据条目包括知识或者知识点与录播数据时段(基于时间标识优选为时间戳信息划分)的对应关系，对标准语音文本信息进行划分，并建立与知识或知识点的对应关系，并作为标准教学录播数据的组成部分，一起进行保存。
如图4所示，所述跟随教学录制单元，具体包括：关系数据调用单元、跟随教学录制单元、课前测试比对单元、随堂练习分析单元。
关系数据调用单元，用于在跟随课堂教学开始时调取所述关系数据库，为下面的单元提供数据支持，可以跟随课堂教学开始之前调取，也可以在开始之时调取，只要不耽误跟随教学过程的执行即可。
跟随教学录制单元，通过跟随教学录播系统的教学录制设备采集跟随课堂教学数据，比如，使用图像采集设备、音频采集设备和/或动作采集设备分别采集图像数据、音频数据、动作数据，这些数据可以分别以数据流的方式进行保存，并通过时间戳进行时间标识。
这些录制设备优选与之前的对应设备型号保持相同，并且优选在教室的安装方式，比如图像采集设备的方位、音频采集设备与授课者的距离、电子白板的设置等也相同或者相近。
课前测试比对单元，在跟随课堂教学开始之后，跟随课中讲授阶段之前，学生通过学生终端进行基础知识测试，对测试结果进行实时分析，形成课前测试结果分析数据，将所述课前测试分析结果与标准课程的课前测试分析结果进行比对，向跟随教师提供学生对于基础知识点的掌握情况和与标准课堂学生的差异，并且根据差异情况，根据所述关系数据库的知识点关联信息，结合标准课堂上对于知识点的讲授时间，给出关于知识点的建议讲授时间。
优选的，根据基础知识点与新授内容的关联权重，根据标准讲授时间给出当前的建议跟随讲授时间。
优选的，生成时间提示信息，在教师终端上进行展示，便于跟随教师在课中讲授中掌握教学进度。
随堂练习分析单元，在课堂教学结束之前，课中讲授阶段之后，学生通过学生终端进行随堂练习测试，对测试结果进行实时分析，形成随堂练习结果分析数据，以了解学生对于新授内容的掌握情况，以方便标准教师了解教学效果。所述随堂练习的习题与标准教学过程中一致。
所述随堂练习分析数据可以进行单独保存，或者作为附属数据与教学录播数据一起进行保存。
如图5所示，所述跟随教学分析单元，具体包括：语音识别转换单元、文本相似分析单元、分屏比对展示单元、改进建议生成单元、跟随度计算单元。
语音识别转换单元，用于将所述跟随教学录播数据的音频数据通过语音识别技术转换成语音文本信息，并且统计各个知识点对应的语音文本信息的关键词词频数，所述关键词与标准课程中的关键词一致；
优选的，将带有时间标识信息的语音文本信息作为跟随教学录播数据的组成部分，一起进行保存，并且在点播回放时，以字幕的形式显示于终端设备上。
优选的，根据知识或者知识点与录播数据时段(基于时间标识优选为时间戳信息划分)的对应关系，对语音文本信息进行划分，并建立与知识或知识点的对应关系，并作为跟随教学录播数据的组成部分，一起进行保存。知识点与语音的对应关系是根据时间戳界定的，或者区分的，具体对应时，可以在录制过程中，由教师通过点击确认操作进行识别或标记，也可以通过关键词检索自动确认，再经人工进行确认等方式。
文本相似分析单元，用于根据标准语音文本信息中各个知识点对应的关键词词频数与跟随语音文本信息中各个知识点对应的关键词词频数进行比对分析，以确定跟随语音文本信息与标准语音文本信息的相似度。
具体的文本相似度算法，现有技术有很多种，比如学术论文防抄袭的比对技术等。采用不同的算法，得到的相似系数会略有差异，但是相似系数不能太低或太高，本发明采用常规的论文相似度比对算法，优选的相似系数在0.20至0.68之间。
相似系数的设定，是在大量统计数据的基础上给出的，选择相似系数在这个范围内，通常既可以保持课中讲授不会遗漏知识点，又能保持跟随教师表述的独立性和自由性，相似系数太高会给人鹦鹉学舌式的近似完全模仿式教学，不利于跟随教师的成长和激发自我意识，相似系数太低可能面临对知识点讲授不足的问题。
优选的是，根据关系数据库确定的语音文本信息与知识或知识点的对应关系，进行基于知识点的语音文本分段比对，以更加准确的确定两个语音文本的相似系数。
分屏比对展示单元，用于以双窗口或者多窗口同屏展示、或者多屏同步显示的方式向跟随教师同时展示录制的跟随教学课程与标准教学课程，从而实现直观的比对。分屏比对展示单元还可以进一步用于，进行课前测试分析结果对比、建议讲授时间和实际讲授时间比对、跟随语音文本信息与标准语音文本信息的相似度对比和/或随堂练习测试结果的比对。
具体包括每个阶段和子段的相关分析数据比对，比如课前测试阶段的统计分析情况比对，并且基于此给出的知识点建议讲授时间和实际讲授时间比对，各个阶段和子段的语音文本的相似系数，随堂练习测试结果的比对等。
改进建议生成单元，用于在分屏比对展示过程中，根据所述关系数据库确定的各种数据之间基于知识点的关联关系，结合课前测试、课中讲授和随堂练习的分析结果，给出跟随教学过程中各个阶段的评价信息及改进建议。
优选的，评价信息及改进建议是以选项的方式，由跟随教师根据自我的评价结合所述分析结果进行选择的。
优选的，跟随教师在观看比对之后，可以输入评价信息及改进建议。
优选的，将经由跟随教师确认的或者输入的评价信息及改进建议，通过与所述每个阶段和子段的关联关系，作为跟随录播数据的一部分，保存至跟随教学录播数据中。
跟随度计算单元，用于计算每次跟随教学的跟随系数Fn，将一定周期内的多次跟随系数Fn做成跟随系数变化曲线，展示给跟随教师。
跟随系数的计算主要是以标准教师的相关数据作为原始比对基础，通过以下公式计算获得的，其中采用的相关数据可以包括：跟随教师对于知识点i的建议讲授时间STi与实际讲授时间PTi、对于跟随教师讲授的评价数据E1与对于标准教师讲授的评价数据E2、跟随课堂每次随堂练习平均得分S1与标准课堂每次随堂练习平均得分S2。跟随系数可以一定程度上反映当前跟随教师的成长度、学生的接受度和教学效果的改进度。
跟随系数计算公式：
其中，
STi表示知识点i的建议讲授时间，PTi表示知识点i的实际讲授时间，i＝1,2…n，n是正整数，用于表示知识点的数量，δ表示第i个知识点的权重系数，其中δ1+...+δi＝1；
E1表示对于跟随教师讲授的评价数据，E2表示对于标准教师讲授的评价数据，评价通常由学生通过互联网教学平台给出，两个评价数据采用同样的标准；
S1表示跟随课堂每次随堂练习平均得分，S2表示标准课堂每次随堂练习平均得分；
α、β、γ作为平衡系数，α+β+γ＝1，可以根据实际需要进行设定,经过大量的数据统计分析，优选的是，α取值0.30-0.50，β取值0.10-0.30，γ取值0.20-0.40。对于跟随式教学，上述取值范围可以体现跟随教学这个核心，又能兼顾学生反映和实际效果，能够比较好的平衡这几个因素的关系。
如图6是本发明的跟随语音评价单元的子单元示意图。
在跟随教师完成跟随教学过程以后，可以通过跟随教学录制单元获取跟随教学录播数据中的跟随教师的语音数据。通过跟随语音评价单元对跟随教师的语音与标准语音进行对比，特别是关注的那些关于知识点的讲解部分，从而为跟随教师提供一个对于自我发音的语音评价参考。本发明的语音评价单元包括，输入语音获取单元、信息存储单元、语音片段划分单元、音律特征获取单元、待评价内容确定单元、标准语音产生单元，语音对比分析单元、对比结果生成单元、显示单元以及语音预测模型。
根据本发明的语音评价单元，其中输入语音获取单元用于获取用户的语音输入，并将所语音数据存入到信息存储单元中。优选的，所述语音数据可以是跟随教学录制单元获得的跟随教师的语音数据。可选的是，单独设置语音采集设备专门采集用于语音评价的跟随教师的语音数据。跟随教师在学习研读标准教师的教学过程之后，在开展跟随教学过程中，特别关注可能是某个知识点的讲解过程是否清晰，发音是否准确，当然也可以是全部的语音过程。
语音片段划分单元，用于用户对所录制的语音进行基本语音片段划分。所述基本语音单元可以是音节、音素等，通过对所述语音的划分，得到所语音数据的基本语音单元及语音单元序列。
不同的语音识别系统将基于不同的声学特征如基于MFCC(Mel-FrequencyCepstrum Coefficients，美尔倒谱系数)特征的声学模型、基于PLP(Perceptual LinearPredictive，感知线性预测)特征的声学模型等，或采用不同的声学模型如HMM-GMM(HiddenMarkov Model-Gaussian Mixture Model，隐马尔可夫模型-高斯混合模型)、基于DBN(Dynamic Beyesian Network，动态贝叶斯网络)的神经网络声学模型等，或采用不同的解码方式如Viterbi搜索，A*搜索等，对语音信号解码。
音律特征获取单元，用于对所述语音单元序列进行分析，获取所述语音单元序列的音律特征。
所述音律特征包括韵律特征和音节特征，韵律特征包括每个基本语音单元的边界特征、发音时长、相邻基本语音单元间的停顿时间以及整个语音单元序列的发音时长。所述音节特征包括各基本语音单元的发音。
待评价内容确定单元，用于对提取到的音律特征进行特征计算，如果计算结果满足预定条件，则将符合条件的语音单元作为待评价内容。所谓的待评价内容可以根据授课讲授的知识点，关键词等信息进行选择或设置，比如对于物理概念的讲授过程中，核心的内容或点可以作为关注的待评价内容。对于英语的学习，可以是所关心的英文单词，词组等。
对音律特征的计算可采用最优得分路径的计算方法，将提取得到的音律特征，利用训练好的声学模型计算最优得分路径，如果最优得分路径中包含要检测的待评价内容，则确定已检出待评价内容。所述最优得分路径的计算公式是：
其中，X代表所述语音单元序列的音律特征向量，W代表得分最大的最优词序列；条件概率P(X|W)为声学模型得分，通过训练好的声学模型计算得到；先验概率P(W)为语言模型得分，即为对不同的声学模型所加的Penalty。语音对比分析单元，用于获取待评价内容的音律特征，并将所述音律特征与语音预测模型预测的标准语音进行对比分析。
语音对比分析单元获取待评价内容的音律特征，例如获取某个单词或词组的音律特征。将所述音律特征与语音预测模型预测的标准语音进行对比分析，给出用户关于所述待评价内容的评价结果。
为了进一步了解用户朗读所述带评价内容的流畅度情况，所述音律特征还可以包括待评价内容的上下文内容的音律特征。
利用语音预测模型进行语音评价的方法可采用现有的语音评价技术，即对所录制的用户语音进行基本语音片段划分，从语音单元序列中提取对应待评价音律特征，对于不同的音律特征加载对应的预测模型，预测出相应的标准发音，再将用户语音的音律特征与标准发音的音律特征进行对比，得到相应的评价结果。
对比结果生成单元，将语音对比结果标注在用户语音文本上，提供给用户。
为了对用户所读文本进行标注，对比结果生成单元获取语音对比分析单元所给出的语音评价结果，采用可视化的方式标注在用户所读文本之上，通过显示单元显示给用户。用户通过所显示的评价结果，了解所学新内容在整个段落中的发音是否准确、是否流畅。
以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。

Claims (14)

1.一种具有语音评价功能的跟随教学系统，所述跟随教学系统基于互联网教学平台，所述互联网教学平台具有课堂教学录制功能，所述跟随教学系统包括以下单元：
标准课程形成单元，用于通过互联网教学平台的标准教学录播系统采集标准教师的标准课堂教学数据，对标准课堂教学数据进行分段处理，比如分为课前测试阶段、课中讲授阶段和随堂练习阶段，各阶段以时间标识信息进行标识区分，所述时间标识信息与课堂教学数据一起保存构成标准教学录播数据，由此形成标准教学录播课程；
跟随教学录制单元，用于通过互联网教学平台的跟随教学录播系统采集跟随教师的跟随课堂教学数据，对跟随课堂教学数据的课前测试结果数据进行实时分析，将实时分析的结果与标准教学录播数据的对应数据进行比对，根据比对结果为跟随教师的课中讲授阶段设置建议讲授时间，记录建议讲授时间与实际讲授时间，所述建议讲授时间、实际讲授时间与课堂教学数据一起保存构成跟随教学录播数据，由此形成跟随教学录播课程，所述跟随教学录播数据包括跟随教师的语音数据；
跟随教学分析单元，用于对跟随教学录播数据进行事后分析，与标准教学录播数据进行分段比对，包括各阶段的建议讲授时间和实际讲授时间比对、各阶段的语音文本信息比对，并将跟随教学录播课程与标准教学录播课程同步回放显示给跟随教师；
跟随语音评价单元，用于将跟随教师的教学语音与标准教学语音进行对比，将对比结果标注于跟随教师的语音文本上。
2.根据权利要求1的跟随教学系统，其特征在于，
所述标准课程形成单元具体包括：
关系数据构建单元，用于将每堂课程的课堂教学大纲进行知识点划分，将知识点作为数据条目，并根据知识点生成关键词，建立关键词与知识点的对应关系，以数据条目为基础，根据与课前测试的习题和随堂练习的习题的属性信息的比对，建立各种数据之间的以知识点为关联点的关联关系，由此构建关系数据库；
标准教学录制单元，通过标准教学录播系统的教学录制设备采集标准课堂教学数据，可使用图像采集设备、音频采集设备和/或动作采集设备分别采集图像数据、音频数据、动作数据，所述数据可以分别以数据流的方式进行保存，通过时间戳进行时间标识；
课前测试分析单元，在课堂教学开始之后，课中讲授阶段之前，学生通过学生终端进行基础知识测试，对测试结果进行实时分析，形成课前测试结果分析数据；
随堂练习分析单元，在课堂教学结束之前，课中讲授阶段之后，学生通过学生终端进行随堂练习测试，对测试结果进行实时分析，形成随堂练习结果分析数据；
语音识别转换单元，用于将课堂教学数据的音频数据通过语音识别技术转换成语音文本信息，并且统计各个知识点对应的标准语音文本信息的关键词词频数。
3.根据权利要求2的跟随教学系统，其特征在于，
所述标准语音文本信息包括音频数据的时间戳信息，从而可以基于时间戳信息建立语音文本与音频数据的对应关系，使得在标准教学录播课程被点播回访时，标准语音文本信息可以以字幕的方式进行显示。
4.根据权利要求2的跟随教学系统，其特征在于，
所述知识点划分包括三步：
第一步，将课堂教学大纲划分为基础知识和新授知识，作为一级数据条目，
第二步：将所述基础知识进一步划分为若干基础知识点，将所述新授知识进一步划分为若干新授知识点，作为二级数据条目；
第三步：根据基础知识点和新授知识点的关联关系，进一步完善关系数据库的数据结构。
5.根据权利要求2的跟随教学系统，其特征在于，
所述跟随教学录制单元具体包括：
关系数据调用单元，用于在跟随课堂教学开始时调取所述关系数据库，为下面执行单元功能提供数据支持；
跟随教学数据采集单元，通过跟随教学录播系统的教学录制设备采集跟随课堂教学数据，使用图像采集设备、音频采集设备和/或动作采集设备分别采集图像数据、音频数据、动作数据，所述数据可以分别以数据流的方式进行保存，通过时间戳进行时间标识；
课前测试比对单元，在跟随课堂教学开始之后，跟随课中讲授阶段之前，学生通过学生终端进行基础知识测试，对测试结果进行实时分析，形成课前测试结果分析数据，将所述课前测试分析结果与标准课程的课前测试分析结果进行比对，向跟随教师提供学生对于基础知识点的掌握情况和与标准课堂学生的差异，根据差异情况及所述关系数据库的知识点关联信息，结合标准课堂上对于知识点的讲授时间，给出关于知识点的建议讲授时间；
随堂练习分析单元，在课堂教学结束之前，课中讲授阶段之后，学生通过学生终端进行随堂练习测试，对测试结果进行实时分析，形成随堂练习结果分析数据。
6.根据权利要求5的跟随教学系统，其特征在于，
所述课前测试的习题和随堂练习的习题与标准教学中对应习题一致。
7.根据权利要求5的跟随教学系统，其特征在于，
在给出建议讲授时间之后，生成时间提示信息，在教师终端上进行展示，便于跟随教师在课中讲授中掌握教学进度。
8.根据权利要求2的跟随教学系统，其特征在于，
所述跟随教学分析单元具体包括：
语音识别转换单元，用于将所述跟随教学录播数据的音频数据通过语音识别技术转换成语音文本信息，并且统计各个知识点对应的跟随语音文本信息的关键词词频数，所述关键词与标准课程中的关键词一致；
文本相似分析单元，用于根据标准语音文本信息中各个知识点对应的关键词词频数与跟随语音文本信息中各个知识点对应的关键词词频数进行比对分析，以确定跟随语音文本信息与标准语音文本信息的相似度；
分屏比对展示单元，用于以双窗口或者多窗口同屏展示、或者多屏同步显示的方式向跟随教师同时展示录制的跟随教学课程与标准教学课程，从而实现直观的比对。
9.根据权利要求8的跟随教学系统，其特征在于，
所述分屏比对展示单元还可以执行以下功能，进行课前测试分析结果对比、建议讲授时间和实际讲授时间比对、跟随语音文本信息与标准语音文本信息的相似度对比和/或随堂练习测试结果的比对。
10.根据权利要求9的跟随教学系统，其特征在于，
所述跟随教学分析单元进一步包括：
改进建议生成单元，用于在分屏比对展示过程中，根据所述关系数据库确定的各种数据之间基于知识点的关联关系，结合上述比对结果，给出跟随教学过程中各个阶段的评价信息及改进建议。
11.根据权利要求10的跟随教学系统，其特征在于，
所述跟随教学分析单元进一步包括：
跟随度计算单元，用于计算每次跟随教学的跟随系数Fn，将一定周期内的多次跟随系数Fn做成跟随系数变化曲线，展示给跟随教师，跟随系数计算公式：
其中，
STi表示知识点i的建议讲授时间，PTi表示知识点i的实际讲授时间，i＝1,2…n，n是正整数，用于表示知识点的数量，δ表示第i个知识点的权重系数，其中δ1+...+δi＝1；
E1表示对于跟随教师讲授的评价数据，E2表示对于标准教师讲授的评价数据，评价通常由学生通过互联网教学平台给出，两个评价数据采用同样的标准；
S1表示跟随课堂每次随堂练习平均得分，S2表示标准课堂每次随堂练习平均得分；
α、β、γ作为平衡系数，α+β+γ＝1，α取值0.30-0.50，β取值0.10-0.30，γ取值0.20-0.40。
12.根据权利要求2的跟随教学系统，其特征在于，
所述跟随语音评价单元包括输入语音获取单元、语音片段划分单元、音律特征获取单元、待评价内容确定单元、标准语音产生单元、语音对比分析单元及对比结果生成单元，其中，
输入语音获取单元，用于从跟随教学录制单元的跟随教学录播数据中获取跟随教师的语音数据；
语音片段划分单元，用于对所语音数据进行基本语音片段划分，获得所述语音数据的语音单元序列；
音律特征获取单元，用于对所述语音单元序列进行特征提取，获取所述语音单元序列的音律特征；
待评价内容确定单元，用于对提取到的音律特征进行特征计算，如果计算结果满足预定条件，则将符合条件的语音单元作为待评价内容；
语音对比分析单元，用于获取待评价内容的音律特征，并将所述音律特征与标准语音产生单元的标准教学语音进行对比分析；
对比结果生成单元，用于将语音评价结果标注在跟随教师语音文本上，提供给跟随教师。
13.根据权利要求12的跟随教学系统，其特征在于，
标准语音产生单元，用于将所述跟随教师的语音数据识别转换成语音文本信息，然后使用标准发音数据库，根据所述语音文本信息生成跟随教师的标准教学语音。
14.根据权利要求13的跟随教学系统，其特征在于，
所述跟随教师的语音文本转换可以由所述跟随教学分析单元的语音识别转换单元来执行。
CN201711142046.7A 2017-11-17 2017-11-17 一种具有语音评价功能的跟随教学系统 Active CN109801193B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711142046.7A CN109801193B (zh) 2017-11-17 2017-11-17 一种具有语音评价功能的跟随教学系统
PCT/CN2017/114403 WO2019095446A1 (zh) 2017-11-17 2017-12-04 一种具有语音评价功能的跟随教学系统
US16/467,493 US20200286396A1 (en) 2017-11-17 2017-12-04 Following teaching system having voice evaluation function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711142046.7A CN109801193B (zh) 2017-11-17 2017-11-17 一种具有语音评价功能的跟随教学系统

Publications (2)

Publication Number Publication Date
CN109801193A true CN109801193A (zh) 2019-05-24
CN109801193B CN109801193B (zh) 2020-09-15

Family

ID=66538414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711142046.7A Active CN109801193B (zh) 2017-11-17 2017-11-17 一种具有语音评价功能的跟随教学系统

Country Status (3)

Country Link
US (1) US20200286396A1 (zh)
CN (1) CN109801193B (zh)
WO (1) WO2019095446A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288977A (zh) * 2019-06-29 2019-09-27 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN110867187A (zh) * 2019-10-31 2020-03-06 北京大米科技有限公司 语音数据的处理方法、装置、存储介质及电子设备
CN110910691A (zh) * 2019-11-28 2020-03-24 深圳市木愚科技有限公司 一种个性化课程生成方法及系统
CN112102670A (zh) * 2020-10-13 2020-12-18 上海市静安区和田路小学 一种基于声控的教学辅助系统及其工作方法
CN116453543A (zh) * 2023-03-31 2023-07-18 华南师范大学 一种基于语音识别的教学语言规范分析方法及系统

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104455B (zh) * 2019-12-18 2023-08-04 四川文轩教育科技有限公司 多源多维的学校教学横向信息差异比对分析方法
CN111522877B (zh) * 2020-04-08 2024-04-02 上海松鼠课堂人工智能科技有限公司 教育课程在线同步处理系统
CN111541904B (zh) * 2020-04-15 2024-03-22 腾讯科技（深圳）有限公司 直播过程中的信息提示方法、装置、设备及存储介质
CN111899582B (zh) * 2020-07-29 2023-06-23 联想(北京)有限公司 一种用于网络教学的信息处理方法、装置及电子设备
CN112232066A (zh) * 2020-10-16 2021-01-15 腾讯科技（北京）有限公司 一种教学纲要生成方法、装置、存储介质及电子设备
CN112487290B (zh) * 2020-11-27 2024-03-12 大连交通大学 基于大数据和人工智能的互联网精准化教学方法及系统
CN112837190A (zh) * 2021-01-07 2021-05-25 上海知到知识数字科技有限公司 一种基于在线互动培训课堂培训的方法及装置
CN112766226A (zh) * 2021-02-02 2021-05-07 华蔚集团(广东)有限公司 一种线上线下相结合的多维教学ai学堂系统
CN112861730A (zh) * 2021-02-09 2021-05-28 北京文香信息技术有限公司 一种课堂行为的反馈方法、装置、电子设备及存储介质
CN113507505B (zh) * 2021-06-22 2022-04-15 北京爱论答科技有限公司 智能在线教学训练方法与系统
CN113674736A (zh) * 2021-06-30 2021-11-19 国网江苏省电力有限公司电力科学研究院 一种基于分类器集成的教师课堂指令识别方法及系统
CN113723250B (zh) * 2021-08-23 2023-09-15 华中师范大学 一种用于帮助教师反思性成长的课堂智能分析方法及系统
CN114241832A (zh) * 2021-12-16 2022-03-25 广州乐庚信息科技有限公司 一种基于大数据的云课堂服务平台
CN114581271B (zh) * 2022-03-04 2023-01-06 广州容溢教育科技有限公司 一种在线教学视频的智能处理方法及系统
CN115034688A (zh) * 2022-08-10 2022-09-09 北京师范大学 一种教师教学评价分析系统及方法
CN115829234A (zh) * 2022-11-10 2023-03-21 武汉天天互动科技有限公司 基于课堂检测的自动化督导系统及其工作方法
CN116757646B (zh) * 2023-08-15 2023-11-10 成都市青羊大数据有限责任公司 一种教学综合管理系统
CN116884436A (zh) * 2023-08-31 2023-10-13 南京览众智能科技有限公司 一种基于语音分析的课堂教学模式识别方法及装置
CN117114495B (zh) * 2023-09-11 2024-01-26 湖南软件职业技术大学 一种能力生成分析的职业本科教育质量评估方法
CN117316187B (zh) * 2023-11-30 2024-02-06 山东同其万疆科技创新有限公司 一种英语教学管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327356A (zh) * 2013-06-28 2013-09-25 Tcl集团股份有限公司 一种视频匹配方法、装置
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN105869091A (zh) * 2016-05-12 2016-08-17 深圳市时尚德源文化传播有限公司 一种互联网教学方法及系统
CN107071559A (zh) * 2017-05-11 2017-08-18 大连动感智慧科技有限公司 基于关键帧同步的多视频对比系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09506978A (ja) * 1993-08-24 1997-07-08 ジョン イースターブルック，ノーマン 生徒の教育のための装置
KR20050074443A (ko) * 2002-09-27 2005-07-18 가부시키가이샤 깅가네트 원격 교육 시스템, 수강 확인 방법 및 수강 확인 프로그램
US20050144010A1 (en) * 2003-12-31 2005-06-30 Peng Wen F. Interactive language learning method capable of speech recognition
CN102214462B (zh) * 2011-06-08 2012-11-14 北京爱说吧科技有限公司 用于发音评估的方法和系统
CN103413550B (zh) * 2013-08-30 2017-08-29 苏州跨界软件科技有限公司 一种人机交互式语言学习系统和方法
CN106485964B (zh) * 2016-10-19 2019-04-02 深圳市鹰硕技术有限公司 一种课堂教学的录制和点播的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN103327356A (zh) * 2013-06-28 2013-09-25 Tcl集团股份有限公司 一种视频匹配方法、装置
CN105869091A (zh) * 2016-05-12 2016-08-17 深圳市时尚德源文化传播有限公司 一种互联网教学方法及系统
CN107071559A (zh) * 2017-05-11 2017-08-18 大连动感智慧科技有限公司 基于关键帧同步的多视频对比系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288977A (zh) * 2019-06-29 2019-09-27 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN110288977B (zh) * 2019-06-29 2022-05-31 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN110867187A (zh) * 2019-10-31 2020-03-06 北京大米科技有限公司 语音数据的处理方法、装置、存储介质及电子设备
CN110867187B (zh) * 2019-10-31 2022-07-12 北京大米科技有限公司 语音数据的处理方法、装置、存储介质及电子设备
CN110910691A (zh) * 2019-11-28 2020-03-24 深圳市木愚科技有限公司 一种个性化课程生成方法及系统
CN112102670A (zh) * 2020-10-13 2020-12-18 上海市静安区和田路小学 一种基于声控的教学辅助系统及其工作方法
CN112102670B (zh) * 2020-10-13 2022-03-22 上海市静安区和田路小学 一种基于声控的教学辅助系统及其工作方法
CN116453543A (zh) * 2023-03-31 2023-07-18 华南师范大学 一种基于语音识别的教学语言规范分析方法及系统

Also Published As

Publication number Publication date
WO2019095446A1 (zh) 2019-05-23
US20200286396A1 (en) 2020-09-10
CN109801193B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN109801193A (zh) 一种具有语音评价功能的跟随教学系统
CN109698920A (zh) 一种基于互联网教学平台的跟随教学系统
CN109801194B (zh) 一种具有远程评价功能的跟随教学方法
CN109801525B (zh) 一种用于网络教学的师生多维匹配方法和系统
CN106485964B (zh) 一种课堂教学的录制和点播的方法及系统
CN113691836B (zh) 视频模板生成方法、视频生成方法、装置和电子设备
US10706738B1 (en) Systems and methods for providing a multi-modal evaluation of a presentation
CN105551328A (zh) 基于移动交互和大数据分析的语言教学辅研同步集成系统
CN109697906B (zh) 一种基于互联网教学平台的跟随教学方法
CN109584648A (zh) 数据生成方法及装置
CN109035079B (zh) 一种基于互联网的录播课程跟随学习系统和方法
CN112149994B (zh) 一种基于统计分析的英语个人能力追踪学习系统
CN108711320A (zh) 一种基于网络的沉浸式在线教育系统和方法
CN110930781A (zh) 录播系统
CN110827595A (zh) 虚拟教学中的互动方法、装置及计算机存储介质
Luis et al. Enhancing learners' experience in e-learning based scenarios using Intelligent Tutoring Systems and Learning Analytics: First results from a perception survey
CN112184503A (zh) 用于学前教育质量评价的儿童多项能力评分方法及系统
Che et al. Automatic online lecture highlighting based on multimedia analysis
Simanullang The effect of applying video on the Students’ English Pronunciation Accuracy at the Fifth Semester Students at the English Study Program of the Teacher’s Training and Education Faculty the University of Sisingamangaraja XII Tapanuli in Academic Year 2018/2019
CN109040797B (zh) 一种互联网教学的录播系统和方法
Pérez et al. Towards cross-lingual voice cloning in higher education
KR20140087956A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
US11436934B2 (en) Systems and methods for providing a dialog assessment platform
CN111460245A (zh) 多维度人群特征测定方法
JP7427906B2 (ja) 情報処理装置、制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Jianda Industrial Park, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province, 202B, 2nd floor, 1 building

Applicant after: Shenzhen Yingshuo Education Service Co., Ltd.

Address before: 518100 Guangdong city of Shenzhen province Baoan District Xin'an three industrial zone 1 road Cantor Fitzgerald building two floor 202B

Applicant before: SHENZHEN YINGSHUO AUDIO TECHNOLOGY CO., LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518000 202b, 2nd floor, building 1, Jianda Industrial Park, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen YINGSHUO Education Service Co., Ltd

Address before: 518000 202b, 2nd floor, building 1, Jianda Industrial Park, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Yingshuo Education Service Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 301, building D, Hongwei Industrial Zone, No.6 Liuxian 3rd road, Xingdong community, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen YINGSHUO Education Service Co., Ltd

Address before: 518000 202b, 2nd floor, building 1, Jianda Industrial Park, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen YINGSHUO Education Service Co., Ltd

CP02 Change in the address of a patent holder