CN114842696A - 一种基于智能终端的英语教学方法 - Google Patents
一种基于智能终端的英语教学方法 Download PDFInfo
- Publication number
- CN114842696A CN114842696A CN202210466779.0A CN202210466779A CN114842696A CN 114842696 A CN114842696 A CN 114842696A CN 202210466779 A CN202210466779 A CN 202210466779A CN 114842696 A CN114842696 A CN 114842696A
- Authority
- CN
- China
- Prior art keywords
- pronunciation
- english
- module
- language
- teaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013519 translation Methods 0.000 claims abstract description 38
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 238000001303 quality assessment method Methods 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims description 60
- 239000013598 vector Substances 0.000 claims description 57
- 230000008451 emotion Effects 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims description 8
- 238000013077 scoring method Methods 0.000 claims description 7
- 230000033764 rhythmic process Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008909 emotion recognition Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0631—Creating reference templates; Clustering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明属于英语教学技术领域，公开了一种基于智能终端的英语教学方法，所述基于智能终端的英语教学系统包括：英语视频采集模块、主控模块、视频传输模块、教学考核模块、语音翻译模块、发音评分模块、教学质量评估模块、视频下载模块、显示模块。本发明通过语音翻译模块识别度高，翻译准确性好，本发明还给出收音器的调整方法，以获得更好的收音效果；同时，通过发音评分模块通过反馈语言错误信息，对使用了不符合英语的发音进行发音的情况进行反馈，增加了评分系统的可靠性和智能性，便于教师通过迅速掌握评分失败情况做出对考考场情况作出相应处理、对考试人员进行警示等其他措施，提高了教学工作的质量。
Description
技术领域
本发明属于英语教学技术领域，尤其涉及一种基于智能终端的英语教学方法方法。
背景技术
英语教学是指对于英语是或者不是第一语言的人进行教授英语的过程。英语教学涉及多种专业理论知识，包括语言学、第二语言习得、词汇学、句法学、文体学、语料库理论、认知心理学等内容。英语教学是一个循序渐进的过程，无论是对于英语是或者不是第一语言的人来说，英语学习在全球化快速发展的今天都是至关重要的；然而，现有基于智能终端的英语教学方法对英语语音翻译不准确，语句不通顺的问题；同时，对英语发音评分不准确。
综上所述，现有技术存在的问题是：现有基于智能终端的英语教学方法对英语语音翻译不准确，语句不通顺的问题；同时，对英语发音评分不准确。
发明内容
针对现有技术存在的问题，本发明提供了一种基于智能终端的英语教学方法。
本发明是这样实现的，一种基于智能终端的英语教学系统包括：
英语视频采集模块、主控模块、视频传输模块、教学考核模块、语音翻译模块、发音评分模块、教学质量评估模块、视频下载模块、显示模块；
英语视频采集模块，与主控模块连接，用于通过摄像器采集英语教学视频数据；
主控模块，与英语视频采集模块、视频传输模块、教学考核模块、语音翻译模块、发音评分模块、教学质量评估模块、视频下载模块、显示模块连接，用于控制各个模块正常工作；
视频传输模块，与主控模块连接，用于通过移动网络进行网络视频传输；
教学考核模块，与主控模块连接，用于通过英语考核程序进行英语考核；
语音翻译模块，与主控模块连接，用于通过翻译程序对英语语音进行翻译；
发音评分模块，与主控模块连接，用于通过评分程序对英语发音进行评分；
教学质量评估模块，与主控模块连接，用于通过评估程序对英语教学质量进行评估；
利用英语发音数据进行分析，得出英语发音异常评估参数，建立英语发音异常模型；
利用层次分析法对英语发音异常预警以及英语发音异常前、英语发音异常中和英语发音异常后英语发音异常评估，所得评估信息以文字、图表形式对相关实施人员进行及时发送；英语发音异常评估系统包括：
参数设置子系统，用于设置软件各项参数，例如数据输入输出路径、评估因子权重、层次分析法的模型系数；
查询统计子系统，用于根据用户选择的空间范围、时间范围，提取相应的英语发音异常害、评估、发音要素信息；
因子管理子系统，用于存放并可修改发音要素、英语发音异常害、经济、人口信息；
英语发音异常害评估子系统，用于利用层次分析法和专家打分法对各类英语发音异常进行评估，并输出结果；
后台管理子系统，用于对系统账号进行权限分类管理；
参数设置子系统包括：
行政区域设置单元，用于对行政区划信息进行添加、删除、修改及查询；
台站信息设置单元，用于对台站信息进行添加、删除、修改及查询；
英语发音异常害登记设置单元，用于对发音习惯发生的英语发音异常情况，完善发音习惯英语发音异常害资料库；
所述查询统计子系统包括：
发音习惯英语发音异常情查询单元，用于根据查询条件，查询以前所发生的英语发音异常情情况和等级；
发音要素查询统计单元，用于根据查询条件，查询和统计发音要素信息；
受英语发音异常情况统计单元，用于根据查询条件，查询和统计受英语发音异常信息；
承英语发音异常因子管理单元，通过英语发音异常资料调査系统设置和系统提供的菜单"数据规范化"和"栅格计算器"功能让因子数据与计算成功的承英语发音异常体脆弱性评估结果再次计算作为最终的承英语发音异常体脆弱性评估结果；
英语发音异常损度因子管理单元，采用英语发音异常资料相对完备而又容易获取的要素作为评价英语发音异常情的指标，同时结合当地的环境稳定度，构建英语发音异常害英语发音异常损度指数指标，对英语发音异常进行评价
视频下载模块，与主控模块连接，用于通过下载程序下载英语教学视频；
显示模块，与主控模块连接，用于通过显示器显示英语教学视频、教学考核内容、语音翻译信息、发音评分结果、教学质量评估结果。
一种基于智能终端的英语教学方法包括以下步骤：
步骤一，通过英语视频采集模块利用摄像器采集英语教学视频数据；
步骤二，主控模块通过视频传输模块利用移动网络进行网络视频传输；
步骤三，通过教学考核模块利用英语考核程序进行英语考核；通过语音翻译模块利用翻译程序对英语语音进行翻译；
步骤四，通过发音评分模块利用评分程序对英语发音进行评分；通过教学质量评估模块利用评估程序对英语教学质量进行评估；
步骤五，通过视频下载模块利用下载程序下载英语教学视频；通过模块利用显示器显示英语教学视频、教学考核内容、语音翻译信息、发音评分结果、教学质量评估结果。
进一步，所述语音翻译模块翻译方法如下：
(1)配置声音采集器参数，通过测试设备测试声音采集器是否正常；通过声音采集器采集英语发音信号；对发音信号进行校正，将所述英语发音信号转换为第一电信号，并对所述第一电信号进行滤波处理，得到第二电信号；
(2)对所述第二电信号进行预处理，得到第三电信号；提取所述第三电信号的特征信息，并过滤掉不支持的字符，形成待翻译文本；
(3)选择翻译规则子集，过滤出不匹配规则子集的字符，并与数据库中的文件进行比对后翻译成汉语输出。
进一步，所述声音采集器采集语音过程，包括：
通过声波检测阵列检测声音震动方向，声波阵列中n个声音传感器，检测到的声波强度为I1,I2,I3…In，并计算声音方向角度系数；
对声波强度{I1,I2,I3…In}依次进行排序，挑选出声波强度最小值Imin对应的声音传感器k，并挑选出与声音传感器k临近的两个声音传感器，声音传感器k-1和声音传感器k+1，其中声音传感器k-1对应的声音强度值为Ik-1，声音传感器k+1对应的声音强度值为Ik+1；
比较Ik+1和Ik-1的大小，若Ik+1＞Ik-1则记录声音传感器k-1所在方向，并计算第一角度调整值α：
其中，麦克风阵列的调整方向为声音传感器k-1所在方向的反向，即调整角度为-α。
进一步，所述翻译方法还包括第二角度调整α′，即为对调整角度α的校正：
其中，Imax为声音传感阵列中声音传感器检测到的声波强度最大值。
进一步，所述英语发音信号转换为第一语音电信号，包括：将所述语音信号转换为电压信号或电流信号。
进一步，所述第一电信号转换为第二电信号，包括：将所述第一电信号进行模拟/数字转换，得到数字信号，并对所述数字信号进行高频或者带通滤波，去除非语音干扰信号。
进一步，所述发音评分模块评分方法如下：
1)构建发音数据库，录制不同语言的标准发音；对每个语言的标准发音进行预处理，得到每个语言的标准发音语料；提取每个语言的所述标准发音语料的特征参数；其中，所述标准发音语料的特征参数包括GFCC特征向量和SDC特征向量；将特征参数存入发音数据库；
2)对每个语言的所述标准发音计算所有帧的GFCC特征向量和SDC特征向量的均值特征向量；将GFCC特征向量的均值特征向量与SDC特征向量的均值特征向量合成为一个特征向量，以得到每个语言的标准特征向量；
3)将每个语言的标准特征向量作为改进的GMM-UBM模型的输入向量，采用混合型聚类算法对输入了所述输入向量的所述改进的GMM-UBM模型进行初始化；
其中，混合型聚类算法包括：采用划分聚类的算法对所述输入向量的所述改进的GMM-UBM模型进行初始化，得到初始化聚类；采用层次聚类的算法对所述初始化聚类进行合并；
4)在对所述GMM-UBM模型进行初始化后，通过EM算法训练得到UBM模型；通过UBM模型进行自适应变换得到各个语言的GMM模型，作为所述标准发音的每个语言模型；
5)对预先录制的待评分发音进行预处理，得到待评分发音语料；提取所述待评分发音语料的特征参数；根据所述待评分发音语料的特征参数计算所述标准发音的每个语言模型的模型概率得分，选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果；
6)根据所述待评分发音的语言识别结果判断所述待评分发音的语言是否为英语；当判定所述待评分发音的语言为英语时，分别对所述待评分发音的情感、语速、节奏、语调、发音准确度和重音进行评分；
7)对所述待评分发音的情感、语速、节奏、语调、发音准确度和重音的分数按照对应的权重系数进行加权，以得到总分；当判定所述待评分发音的语言不是英语时，反馈语言错误信息。
进一步，所述根据所述待评分发音语料的特征参数计算所述标准发音的每个语言模型的模型概率得分，选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果，包括：
基于改进的GMM-UBM模型识别方法根据所述待评分发音语料的特征参数计算标准发音的每个语言模型的模型概率得分；其中，所述待评分发音语料的特征参数包括GFCC特征参数向量和SDC特征参数向量，所述SDC特征向量由所述标准发音语料的GFCC特征向量扩展而成；
选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果。
进一步，所述对所述待评分发音的情感进行评分的具体步骤为：
提取所述待评分发音语料的基频特征、短时能量特征和共振峰特征；
采用基于概率神经网络的发音情感识别方法将所述待评分发音语料的基频特征、短时能量特征和共振峰特征与预先建立的情感语料库进行匹配，得到所述待评分发音的情感分析结果；
根据标准答案的情感分析结果对所述待评分发音的情感分析结果进行评分。
进一步，所述对所述待评分发音的重音进行评分的具体步骤为：
获取所述待评分发音语料的短时能量特征曲线；
根据所述短时能量特征曲线设定重音能量阈值和非重音能量阈值；
根据非重音能量阈值对所述待评分发音语料划分子单元；
在所有所述子单元中去除持续时间小于设定值的所述子单元，得到有效子单元；
在所有所述有效子单元中去除能量阈值小于所述重音能量阈值的所述有效子单元，得到重音单元；
获取各个所述重音单元的重音位置，得到各个所述重音单元的起始帧位置与结束帧位置；
根据所述待评分发音与标准答案的各个所述重音单元的重音位置计算重音位置差异；
根据所述重音位置差异对所述待评分发音进行评分。
本发明的优点及积极效果为：本发明通过语音翻译模块识别度高，翻译准确性好，本发明还给出收音器的调整方法，以获得更好的收音效果；同时，通过发音评分模块实现了对学生口语发音质量的多方面考察，提高了评分的客观性，且便于教师针对不同题目设置各项指标的权重系数进行加权，使得评分方法更加灵活；通过反馈语言错误信息，对使用了不符合英语的发音进行发音的情况进行反馈，增加了评分系统的可靠性和智能性，便于教师通过迅速掌握评分失败情况做出对考考场情况作出相应处理、对考试人员进行警示等其他措施，提高了教学工作的质量。
利用英语发音数据进行分析，得出英语发音异常评估参数，建立英语发音异常模型；
利用层次分析法对英语发音异常预警以及英语发音异常前、英语发音异常中和英语发音异常后英语发音异常评估，所得评估信息以文字、图表形式对相关实施人员进行及时发送。
附图说明
图1是本发明实施例提供的基于智能终端的英语教学方法流程图。
图2是本发明实施例提供的基于智能终端的英语教学系统结构框图。
图3是本发明实施例提供的语音翻译模块翻译方法流程图。
图4是本发明实施例提供的发音评分模块评分方法流程图。
图2中：1、英语视频采集模块；2、主控模块；3、视频传输模块；4、教学考核模块；5、语音翻译模块；6、发音评分模块；7、教学质量评估模块；8、视频下载模块；9、显示模块。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
如图1所示，本发明提供的基于智能终端的英语教学方法包括以下步骤：
S101，通过英语视频采集模块利用摄像器采集英语教学视频数据；
S102，主控模块通过视频传输模块利用移动网络进行网络视频传输；
S103，通过教学考核模块利用英语考核程序进行英语考核；通过语音翻译模块利用翻译程序对英语语音进行翻译；
S104，通过发音评分模块利用评分程序对英语发音进行评分；通过教学质量评估模块利用评估程序对英语教学质量进行评估；
S105，通过视频下载模块利用下载程序下载英语教学视频；通过模块利用显示器显示英语教学视频、教学考核内容、语音翻译信息、发音评分结果、教学质量评估结果。
如图2所示，本发明实施例提供的基于智能终端的英语教学系统包括：英语视频采集模块1、主控模块2、视频传输模块3、教学考核模块4、语音翻译模块5、发音评分模块6、教学质量评估模块7、视频下载模块8、显示模块9。
英语视频采集模块1，与主控模块2连接，用于通过摄像器采集英语教学视频数据；
主控模块2，与英语视频采集模块1、视频传输模块3、教学考核模块4、语音翻译模块5、发音评分模块6、教学质量评估模块7、视频下载模块8、显示模块9连接，用于控制各个模块正常工作；
视频传输模块3，与主控模块2连接，用于通过移动网络进行网络视频传输；
教学考核模块4，与主控模块2连接，用于通过英语考核程序进行英语考核；
语音翻译模块5，与主控模块2连接，用于通过翻译程序对英语语音进行翻译；
发音评分模块6，与主控模块2连接，用于通过评分程序对英语发音进行评分；
教学质量评估模块7，与主控模块2连接，用于通过评估程序对英语教学质量进行评估；
利用英语发音数据进行分析，得出英语发音异常评估参数，建立英语发音异常模型；
利用层次分析法对英语发音异常预警以及英语发音异常前、英语发音异常中和英语发音异常后英语发音异常评估，所得评估信息以文字、图表形式对相关实施人员进行及时发送；英语发音异常评估系统包括：
参数设置子系统，用于设置软件各项参数，例如数据输入输出路径、评估因子权重、层次分析法的模型系数；
查询统计子系统，用于根据用户选择的空间范围、时间范围，提取相应的英语发音异常害、评估、发音要素信息；
因子管理子系统，用于存放并可修改发音要素、英语发音异常害、经济、人口信息；
英语发音异常害评估子系统，用于利用层次分析法和专家打分法对各类英语发音异常进行评估，并输出结果；
后台管理子系统，用于对系统账号进行权限分类管理；
参数设置子系统包括：
行政区域设置单元，用于对行政区划信息进行添加、删除、修改及查询；
台站信息设置单元，用于对台站信息进行添加、删除、修改及查询；
英语发音异常害登记设置单元，用于对发音习惯发生的英语发音异常情况，完善发音习惯英语发音异常害资料库；
所述查询统计子系统包括：
发音习惯英语发音异常情查询单元，用于根据查询条件，查询以前所发生的英语发音异常情情况和等级；
发音要素查询统计单元，用于根据查询条件，查询和统计发音要素信息；
受英语发音异常情况统计单元，用于根据查询条件，查询和统计受英语发音异常信息；
承英语发音异常因子管理单元，通过英语发音异常资料调査系统设置和系统提供的菜单"数据规范化"和"栅格计算器"功能让因子数据与计算成功的承英语发音异常体脆弱性评估结果再次计算作为最终的承英语发音异常体脆弱性评估结果；
英语发音异常损度因子管理单元，采用英语发音异常资料相对完备而又容易获取的要素作为评价英语发音异常情的指标，同时结合当地的环境稳定度，构建英语发音异常害英语发音异常损度指数指标，对英语发音异常进行评价
视频下载模块8，与主控模块2连接，用于通过下载程序下载英语教学视频；
显示模块9，与主控模块2连接，用于通过显示器显示英语教学视频、教学考核内容、语音翻译信息、发音评分结果、教学质量评估结果。
如图3所示，本发明提供的语音翻译模块5翻译方法如下：
S201，配置声音采集器参数，通过测试设备测试声音采集器是否正常；通过声音采集器采集英语发音信号；对发音信号进行校正，将所述英语发音信号转换为第一电信号，并对所述第一电信号进行滤波处理，得到第二电信号；
S202，对所述第二电信号进行预处理，得到第三电信号；提取所述第三电信号的特征信息，并过滤掉不支持的字符，形成待翻译文本；
S203，选择翻译规则子集，过滤出不匹配规则子集的字符，并与数据库中的文件进行比对后翻译成汉语输出。
本发明提供的声音采集器采集语音过程，包括：
通过声波检测阵列检测声音震动方向，声波阵列中n个声音传感器，检测到的声波强度为I1,I2,I3…In，并计算声音方向角度系数；
对声波强度{I1,I2,I3…In}依次进行排序，挑选出声波强度最小值Imin对应的声音传感器k，并挑选出与声音传感器k临近的两个声音传感器，声音传感器k-1和声音传感器k+1，其中声音传感器k-1对应的声音强度值为Ik-1，声音传感器k+1对应的声音强度值为Ik+1；
比较Ik+1和Ik-1的大小，若Ik+1＞Ik-1则记录声音传感器k-1所在方向，并计算第一角度调整值α：
其中，麦克风阵列的调整方向为声音传感器k-1所在方向的反向，即调整角度为-α。
本发明提供的翻译方法还包括第二角度调整α′，即为对调整角度α的校正：
其中，Imax为声音传感阵列中声音传感器检测到的声波强度最大值。
本发明提供的英语发音信号转换为第一语音电信号，包括：将所述语音信号转换为电压信号或电流信号。
本发明提供的第一电信号转换为第二电信号，包括：将所述第一电信号进行模拟/数字转换，得到数字信号，并对所述数字信号进行高频或者带通滤波，去除非语音干扰信号。
如图4所示，本发明提供的发音评分模块6评分方法如下：
S301，构建发音数据库，录制不同语言的标准发音；对每个语言的标准发音进行预处理，得到每个语言的标准发音语料；提取每个语言的所述标准发音语料的特征参数；其中，所述标准发音语料的特征参数包括GFCC特征向量和SDC特征向量；将特征参数存入发音数据库；
S302，对每个语言的所述标准发音计算所有帧的GFCC特征向量和SDC特征向量的均值特征向量；将GFCC特征向量的均值特征向量与SDC特征向量的均值特征向量合成为一个特征向量，以得到每个语言的标准特征向量；
S303，将每个语言的标准特征向量作为改进的GMM-UBM模型的输入向量，采用混合型聚类算法对输入了所述输入向量的所述改进的GMM-UBM模型进行初始化；
其中，混合型聚类算法包括：采用划分聚类的算法对所述输入向量的所述改进的GMM-UBM模型进行初始化，得到初始化聚类；采用层次聚类的算法对所述初始化聚类进行合并；
S304，在对所述GMM-UBM模型进行初始化后，通过EM算法训练得到UBM模型；通过UBM模型进行自适应变换得到各个语言的GMM模型，作为所述标准发音的每个语言模型；
S305，对预先录制的待评分发音进行预处理，得到待评分发音语料；提取所述待评分发音语料的特征参数；根据所述待评分发音语料的特征参数计算所述标准发音的每个语言模型的模型概率得分，选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果；
S306，根据所述待评分发音的语言识别结果判断所述待评分发音的语言是否为英语；当判定所述待评分发音的语言为英语时，分别对所述待评分发音的情感、语速、节奏、语调、发音准确度和重音进行评分；
S307，对所述待评分发音的情感、语速、节奏、语调、发音准确度和重音的分数按照对应的权重系数进行加权，以得到总分；当判定所述待评分发音的语言不是英语时，反馈语言错误信息。
本发明提供的根据所述待评分发音语料的特征参数计算所述标准发音的每个语言模型的模型概率得分，选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果，包括：
基于改进的GMM-UBM模型识别方法根据所述待评分发音语料的特征参数计算标准发音的每个语言模型的模型概率得分；其中，所述待评分发音语料的特征参数包括GFCC特征参数向量和SDC特征参数向量，所述SDC特征向量由所述标准发音语料的GFCC特征向量扩展而成；
选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果。
本发明提供的对所述待评分发音的情感进行评分的具体步骤为：
提取所述待评分发音语料的基频特征、短时能量特征和共振峰特征；
采用基于概率神经网络的发音情感识别方法将所述待评分发音语料的基频特征、短时能量特征和共振峰特征与预先建立的情感语料库进行匹配，得到所述待评分发音的情感分析结果；
根据标准答案的情感分析结果对所述待评分发音的情感分析结果进行评分。
本发明提供的对所述待评分发音的重音进行评分的具体步骤为：
获取所述待评分发音语料的短时能量特征曲线；
根据所述短时能量特征曲线设定重音能量阈值和非重音能量阈值；
根据非重音能量阈值对所述待评分发音语料划分子单元；
在所有所述子单元中去除持续时间小于设定值的所述子单元，得到有效子单元；
在所有所述有效子单元中去除能量阈值小于所述重音能量阈值的所述有效子单元，得到重音单元；
获取各个所述重音单元的重音位置，得到各个所述重音单元的起始帧位置与结束帧位置；
根据所述待评分发音与标准答案的各个所述重音单元的重音位置计算重音位置差异；
根据所述重音位置差异对所述待评分发音进行评分。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
Claims (10)
1.一种基于智能终端的英语教学系统，其特征在于，所述基于智能终端的英语教学系统包括：
英语视频采集模块，与主控模块连接，用于通过摄像器采集英语教学视频数据；
主控模块，与英语视频采集模块、视频传输模块、教学考核模块、语音翻译模块、发音评分模块、教学质量评估模块、视频下载模块、显示模块连接，用于控制各个模块正常工作；
视频传输模块，与主控模块连接，用于通过移动网络进行网络视频传输；
教学考核模块，与主控模块连接，用于通过英语考核程序进行英语考核；
语音翻译模块，与主控模块连接，用于通过翻译程序对英语语音进行翻译；
发音评分模块，与主控模块连接，用于通过评分程序进行评分；
教学质量评估模块，与主控模块连接，用于通过评估程序对英语教学质量进行评估；利用英语发音数据进行分析，得出英语发音异常评估参数，建立英语发音异常模型；
利用层次分析法对英语发音异常预警以及英语发音异常前、英语发音异常中和英语发音异常后英语发音异常评估，所得评估信息以文字、图表形式对相关实施人员进行及时发送；英语发音异常评估系统包括：
参数设置子系统，用于设置软件各项参数，例如数据输入输出路径、评估因子权重、层次分析法的模型系数；
查询统计子系统，用于根据用户选择的空间范围、时间范围，提取相应的英语发音异常害、评估、发音要素信息；
因子管理子系统，用于存放并可修改发音要素、英语发音异常害、经济、人口信息；
英语发音异常害评估子系统，用于利用层次分析法和专家打分法对各类英语发音异常进行评估，并输出结果；
后台管理子系统，用于对系统账号进行权限分类管理；
参数设置子系统包括：
行政区域设置单元，用于对行政区划信息进行添加、删除、修改及查询；
台站信息设置单元，用于对台站信息进行添加、删除、修改及查询；
英语发音异常害登记设置单元，用于对发音习惯发生的英语发音异常情况，完善发音习惯英语发音异常害资料库；
所述查询统计子系统包括：
发音习惯英语发音异常情查询单元，用于根据查询条件，查询以前所发生的英语发音异常情情况和等级；
发音要素查询统计单元，用于根据查询条件，查询和统计发音要素信息；
受英语发音异常情况统计单元，用于根据查询条件，查询和统计受英语发音异常信息；
承英语发音异常因子管理单元，通过英语发音异常资料调査系统设置和系统提供的菜单"数据规范化"和"栅格计算器"功能让因子数据与计算成功的承英语发音异常体脆弱性评估结果再次计算作为最终的承英语发音异常体脆弱性评估结果；
英语发音异常损度因子管理单元，采用英语发音异常资料相对完备而又容易获取的要素作为评价英语发音异常情的指标，同时结合当地的环境稳定度，构建英语发音异常害英语发音异常损度指数指标，对英语发音异常进行评价；
视频下载模块，与主控模块连接，用于通过下载程序下载英语教学视频；
显示模块，与主控模块连接，用于通过显示器显示英语教学视频、教学考核内容、语音翻译信息、发音评分结果、教学质量评估结果。
2.一种如权利要求1所述的基于智能终端的英语教学系统的基于智能终端的英语教学方法，其特征在于，所述基于智能终端的英语教学方法包括以下步骤：
步骤一，通过英语视频采集模块利用摄像器采集英语教学视频数据；
步骤二，主控模块通过视频传输模块利用移动网络进行网络视频传输；
步骤三，通过教学考核模块利用英语考核程序进行英语考核；通过语音翻译模块利用翻译程序对英语语音进行翻译；
步骤四，通过发音评分模块利用评分程序对英语发音进行评分；通过教学质量评估模块利用评估程序对英语教学质量进行评估；
步骤五，通过视频下载模块利用下载程序下载英语教学视频；通过模块利用显示器显示英语教学视频、教学考核内容、语音翻译信息、发音评分结果、教学质量评估结果。
3.如权利要求1所述基于智能终端的英语教学系统，其特征在于，所述语音翻译模块翻译方法如下：
(1)配置声音采集器参数，通过测试设备测试声音采集器是否正常；通过声音采集器采集英语发音信号；对发音信号进行校正，将所述英语发音信号转换为第一电信号，并对所述第一电信号进行滤波处理，得到第二电信号；
(2)对所述第二电信号进行预处理，得到第三电信号；提取所述第三电信号的特征信息，并过滤掉不支持的字符，形成待翻译文本；
(3)选择翻译规则子集，过滤出不匹配规则子集的字符，并与数据库中的文件进行比对后翻译成汉语输出。
4.如权利要求3所述基于智能终端的英语教学系统，其特征在于，所述声音采集器采集语音过程，包括：
通过声波检测阵列检测声音震动方向，声波阵列中n个声音传感器，检测到的声波强度为I1,I2,I3…In，并计算声音方向角度系数；
对声波强度{I1,I2,I3…In}依次进行排序，挑选出声波强度最小值Imin对应的声音传感器k，并挑选出与声音传感器k临近的两个声音传感器，声音传感器k-1和声音传感器k+1，其中声音传感器k-1对应的声音强度值为Ik-1，声音传感器k+1对应的声音强度值为Ik+1；
比较Ik+1和Ik-1的大小，若Ik+1＞Ik-1则记录声音传感器k-1所在方向，并计算第一角度调整值α：
其中，麦克风阵列的调整方向为声音传感器k-1所在方向的反向，即调整角度为-α。
5.如权利要求3所述基于智能终端的英语教学系统，其特征在于，所述翻译方法还包括第二角度调整α′，即为对调整角度α的校正：
其中，Imax为声音传感阵列中声音传感器检测到的声波强度最大值。
6.如权利要求3所述基于智能终端的英语教学系统，其特征在于，所述英语发音信号转换为第一语音电信号，包括：将所述语音信号转换为电压信号或电流信号。
7.如权利要求3所述基于智能终端的英语教学系统，其特征在于，所述第一电信号转换为第二电信号，包括：将所述第一电信号进行模拟/数字转换，得到数字信号，并对所述数字信号进行高频或者带通滤波，去除非语音干扰信号。
8.如权利要求1所述基于智能终端的英语教学系统，其特征在于，所述发音评分模块评分方法如下：
1)构建发音数据库，录制不同语言的标准发音；对每个语言的标准发音进行预处理，得到每个语言的标准发音语料；提取每个语言的所述标准发音语料的特征参数；其中，所述标准发音语料的特征参数包括GFCC特征向量和SDC特征向量；将特征参数存入发音数据库；
2)对每个语言的所述标准发音计算所有帧的GFCC特征向量和SDC特征向量的均值特征向量；将GFCC特征向量的均值特征向量与SDC特征向量的均值特征向量合成为一个特征向量，以得到每个语言的标准特征向量；
3)将每个语言的标准特征向量作为改进的GMM-UBM模型的输入向量，采用混合型聚类算法对输入了所述输入向量的所述改进的GMM-UBM模型进行初始化；
其中，混合型聚类算法包括：采用划分聚类的算法对所述输入向量的所述改进的GMM-UBM模型进行初始化，得到初始化聚类；采用层次聚类的算法对所述初始化聚类进行合并；
4)在对所述GMM-UBM模型进行初始化后，通过EM算法训练得到UBM模型；通过UBM模型进行自适应变换得到各个语言的GMM模型，作为所述标准发音的每个语言模型；
5)对预先录制的待评分发音进行预处理，得到待评分发音语料；提取所述待评分发音语料的特征参数；根据所述待评分发音语料的特征参数计算所述标准发音的每个语言模型的模型概率得分，选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果；
6)根据所述待评分发音的语言识别结果判断所述待评分发音的语言是否为英语；当判定所述待评分发音的语言为英语时，分别对所述待评分发音的情感、语速、节奏、语调、发音准确度和重音进行评分；
7)对所述待评分发音的情感、语速、节奏、语调、发音准确度和重音的分数按照对应的权重系数进行加权，以得到总分；当判定所述待评分发音的语言不是英语时，反馈语言错误信息。
9.如权利要求8所述基于智能终端的英语教学系统，其特征在于，所述根据所述待评分发音语料的特征参数计算所述标准发音的每个语言模型的模型概率得分，选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果，包括：
基于改进的GMM-UBM模型识别方法根据所述待评分发音语料的特征参数计算标准发音的每个语言模型的模型概率得分；其中，所述待评分发音语料的特征参数包括GFCC特征参数向量和SDC特征参数向量，所述SDC特征向量由所述标准发音语料的GFCC特征向量扩展而成；
选取具有最大的所述模型概率得分的语言模型对应的语言作为所述待评分发音的语言识别结果。
10.如权利要求8所述基于智能终端的英语教学系统，其特征在于，所述对所述待评分发音的情感进行评分的具体步骤为：
提取所述待评分发音语料的基频特征、短时能量特征和共振峰特征；
采用基于概率神经网络的发音情感识别方法将所述待评分发音语料的基频特征、短时能量特征和共振峰特征与预先建立的情感语料库进行匹配，得到所述待评分发音的情感分析结果；
根据标准答案的情感分析结果对所述待评分发音的情感分析结果进行评分；
所述对所述待评分发音的重音进行评分的具体步骤为：
获取所述待评分发音语料的短时能量特征曲线；
根据所述短时能量特征曲线设定重音能量阈值和非重音能量阈值；
根据非重音能量阈值对所述待评分发音语料划分子单元；
在所有所述子单元中去除持续时间小于设定值的所述子单元，得到有效子单元；
在所有所述有效子单元中去除能量阈值小于所述重音能量阈值的所述有效子单元，得到重音单元；
获取各个所述重音单元的重音位置，得到各个所述重音单元的起始帧位置与结束帧位置；
根据所述待评分发音与标准答案的各个所述重音单元的重音位置计算重音位置差异；
根据所述重音位置差异对所述待评分发音进行评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210466779.0A CN114842696A (zh) | 2022-04-29 | 2022-04-29 | 一种基于智能终端的英语教学方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210466779.0A CN114842696A (zh) | 2022-04-29 | 2022-04-29 | 一种基于智能终端的英语教学方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114842696A true CN114842696A (zh) | 2022-08-02 |
Family
ID=82568473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210466779.0A Withdrawn CN114842696A (zh) | 2022-04-29 | 2022-04-29 | 一种基于智能终端的英语教学方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842696A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316187A (zh) * | 2023-11-30 | 2023-12-29 | 山东同其万疆科技创新有限公司 | 一种英语教学管理系统 |
-
2022
- 2022-04-29 CN CN202210466779.0A patent/CN114842696A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316187A (zh) * | 2023-11-30 | 2023-12-29 | 山东同其万疆科技创新有限公司 | 一种英语教学管理系统 |
| CN117316187B (zh) * | 2023-11-30 | 2024-02-06 | 山东同其万疆科技创新有限公司 | 一种英语教学管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782921B (zh) | 语音测评方法和装置、存储介质及电子装置 | |
| CN107221318B (zh) | 英语口语发音评分方法和系统 | |
| US6226611B1 (en) | Method and system for automatic text-independent grading of pronunciation for language instruction | |
| CN101739867B (zh) | 运用计算机对口语翻译质量进行评分的方法 | |
| CN101727903B (zh) | 基于多特征和多系统融合的发音质量评估和错误检测方法 | |
| CN106782603B (zh) | 智能语音评测方法及系统 | |
| KR20170034227A (ko) | 음성 인식 장치 및 방법과, 음성 인식을 위한 변환 파라미터 학습 장치 및 방법 | |
| CN106847260A (zh) | 一种基于特征融合的英语口语自动评分方法 | |
| JP2002544570A (ja) | 話し方認識モデル化を使用する自動化された言語査定 | |
| CN102122507A (zh) | 一种运用人工神经网络进行前端处理的语音检错方法 | |
| CN110797010A (zh) | 基于人工智能的问答评分方法、装置、设备及存储介质 | |
| Wang et al. | A probe into spoken English recognition in English education based on computer-aided comprehensive analysis | |
| Yan et al. | End-to-end mispronunciation detection and diagnosis from raw waveforms | |
| CN111915940A (zh) | 一种口语发音评测和教学方法、系统、终端及存储介质 | |
| CN114373452A (zh) | 基于深度学习的嗓音异常识别和评价的方法及系统 | |
| CN110148413B (zh) | 语音评测方法及相关装置 | |
| CN114842696A (zh) | 一种基于智能终端的英语教学方法 | |
| Liu et al. | AI recognition method of pronunciation errors in oral English speech with the help of big data for personalized learning | |
| CN110705907A (zh) | 一种基于音频语音处理技术的课堂教学辅助督导方法及系统 | |
| EP1010170A1 (en) | Method and system for automatic text-independent grading of pronunciation for language instruction | |
| Shufang | Design of an automatic english pronunciation error correction system based on radio magnetic pronunciation recording devices | |
| CN113035236B (zh) | 语音合成数据的质检方法以及装置 | |
| Yin | Training & evaluation system of intelligent oral phonics based on speech recognition technology | |
| Varshney et al. | Using automatic speech recognition to measure the intelligibility of speech synthesized from brain signals | |
| Zheng | [Retracted] An Analysis and Research on Chinese College Students’ Psychological Barriers in Oral English Output from a Cross‐Cultural Perspective |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220802 |
|
| WW01 | Invention patent application withdrawn after publication |