CN109326160A - 一种英语口语发音校对系统 - Google Patents

一种英语口语发音校对系统 Download PDF

Info

Publication number
CN109326160A
CN109326160A CN201811337343.1A CN201811337343A CN109326160A CN 109326160 A CN109326160 A CN 109326160A CN 201811337343 A CN201811337343 A CN 201811337343A CN 109326160 A CN109326160 A CN 109326160A
Authority
CN
China
Prior art keywords
shape
mouth
module
speaks
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811337343.1A
Other languages
English (en)
Inventor
李春兰
冯克明
任泉清
郭焕平
宋慧平
薛爱峰
白凤凤
吕军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luliang University
Original Assignee
Luliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luliang University filed Critical Luliang University
Priority to CN201811337343.1A priority Critical patent/CN109326160A/zh
Publication of CN109326160A publication Critical patent/CN109326160A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种英语口语发音校对系统，包括人机交互模块、音频采集模块、视觉传感器模块、口型识别模块、发音标准评估模块、口型标准评估模块、发音辅助指导模块和中央处理器。本发明基于计算机系统完成了整个口语训练过程中的数据的采集以及评估，从而可以得出针对性的培训方案；具有较高的识别率和计算速度，适应性强，能够满足不同声乐训练的使用需求，可以将所采集到的音频数据与标准音频进行对比，使学生可以直观的了解到自己的训练缺陷，大大提高了学生的学习效率；同时在完成评估后，显示屏会自动显示标准的口型数据，便于学生进行口型的调节。

Description

一种英语口语发音校对系统
技术领域
本发明涉及英语口语训练领域，具体涉及一种英语口语发音校对系统。
背景技术
计算机辅助语言学习系统(Computer-Assistant Language Learning，CALL)研究是当前的热点问题。在计算机辅助语言学习系统中，口语发音评价系统用于评价口语发音质量，其通过提供考卷并对考生作答的语音进行识别后，对语音的准确度等指标进行评分，并以此评价考生的口语发音质量。
现有的英语口语发音校对系统只能单一的对音频数据的进行评分处理，功能单一。
发明内容
为解决上述问题，本发明提供了一种英语口语发音校对系统，基于计算机系统完成了整个口语训练过程中的数据的采集以及评估，自动化程度高，且可以根据评估结果得出针对性的培训方案，从基础的口型调整下手，从而使得原本空洞的培训方案显得更加直观，大大提高了学生的学习效率。
为实现上述目的，本发明采取的技术方案为：
一种英语口语发音校对系统，包括：
人机交互模块，用于完成用户的注册，控制命令以及数据需求命令的输入；
音频采集模块，用于通过拾音器进行练习者发声音频数据的采集，并将采集到的数据发送到发音标准评估模块；
视觉传感器模块，用于进行练习者口型图像数据的采集，并将采集到的口型图像发送到图像数据处理；
口型识别模块，采用双边滤波和直方图均衡化分别对所采集到的口型图像进行图像滤波和图像增强预处理，然后采用迭代自适应阈值分割法进行图像二值化处理，基于连通分量外接矩形的长宽比进行口型形状以及尺寸的输出；
发音标准评估模块，用于通过预设的算法对接收到的音频数据进行预加重、分帧加窗、解码、离散傅里叶变换、梅尔滤波、取对数、离散余弦变换和差分提取处理，从而得到所述音频数据的特征参数；然后采用粒子群优化支持向量机对所得到的特征参数进行识别，输出评估结果；
口型标准评估模块，用于将获得的口型形状以及尺寸数据与口型标准数据库内录制的标准口型数据进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；
发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出标准的口型数据以及相应的参考音频数据至客户端；
中央处理器，用于协调上述各模块进行工作。
优选地，还包括
标准口型尺寸调整模块，用于根据图像处理模块所获取的口型形状以及尺寸数据进行相应的输出的标准口型尺寸的调节，并将完成调节后的标准口型发送到客户端进行展示。
优选地，还包括一训练方案生成模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出对应的训练方案。
优选地，所述客户端可采用智能手机。
优选地，还包括
口型调整指导模块，用于根据口型标准评估模块的评估结果以文字指导的形式输出口型调整方案至客户端。
优选地，还包括音频数据录制模块，用于进行练习者音频数据的采集。
优选地，还包括分析对比模块，用于根据训练者的选择进行两次或者多次训练结果的对比分析，输出对比分析的结果。
优选地，还包括语音/视频通话模块，用于根据选择跟指定的账户进行语音/视频通话，在进行通话前需先发送通话请求到对应的账户，在该账户返回确认信息后方可进行该模块的启用。
优选地，还包括分级测试模块，内设多个阶段的测试试题，用于对学生不同学习阶段的学习成绩进行测试。
本发明具有以下有益效果：
基于计算机系统完成了整个口语训练过程中的数据的采集以及评估，从而可以得出针对性的培训方案；具有较高的识别率和计算速度，适应性强，能够满足不同声乐训练的使用需求，可以将所采集到的音频数据与标准音频进行对比，使学生可以直观的了解到自己的训练缺陷，大大提高了学生的学习效率；同时在完成评估后，显示屏会自动显示标准的口型数据，便于学生进行口型的调节。
附图说明
图1为本发明实施例一种英语口语发音校对系统的系统框图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种英语口语发音校对系统，包括：
人机交互模块，用于完成用户的注册，控制命令以及数据需求命令的输入；
音频采集模块，用于通过拾音器进行练习者发声音频数据的采集，并将采集到的数据发送到发音标准评估模块；
视觉传感器模块，用于进行练习者口型图像数据的采集，并将采集到的口型图像发送到图像数据处理；
口型识别模块，采用双边滤波和直方图均衡化分别对所采集到的口型图像进行图像滤波和图像增强预处理，然后采用迭代自适应阈值分割法进行图像二值化处理，基于连通分量外接矩形的长宽比进行口型形状以及尺寸的输出；
发音标准评估模块，用于通过预设的算法对接收到的音频数据进行预加重、分帧加窗、解码、离散傅里叶变换、梅尔滤波、取对数、离散余弦变换和差分提取处理，从而得到所述音频数据的特征参数；然后采用粒子群优化支持向量机对所得到的特征参数进行识别，输出评估结果；
口型标准评估模块，用于将获得的口型形状以及尺寸数据与口型标准数据库内录制的标准口型数据进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；
发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出标准的口型数据以及相应的参考音频数据至客户端；
训练方案生成模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出对应的训练方案；
口型调整指导模块，用于根据口型标准评估模块的评估结果以文字指导的形式输出口型调整方案至客户端。
音频数据录制模块，用于进行练习者音频数据的采集。
分析对比模块，用于根据训练者的选择进行两次或者多次训练结果的对比分析，输出对比分析的结果。
语音/视频通话模块，用于根据选择跟指定的账户进行语音/视频通话，在进行通话前需先发送通话请求到对应的账户，在该账户返回确认信息后方可进行该模块的启用。
标准口型尺寸调整模块，用于根据图像处理模块所获取的口型形状以及尺寸数据进行相应的输出的标准口型尺寸的调节，并将完成调节后的标准口型发送到客户端进行展示；
还包括分级测试模块，内设多个阶段的测试试题，用于对学生不同学习阶段的学习成绩进行测试。
中央处理器，用于协调上述各模块进行工作。
所述客户端可采用智能手机。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种英语口语发音校对系统，其特征在于，包括：
人机交互模块，用于完成用户的注册，控制命令以及数据需求命令的输入；
音频采集模块，用于通过拾音器进行练习者发声音频数据的采集，并将采集到的数据发送到发音标准评估模块；
视觉传感器模块，用于进行练习者口型图像数据的采集，并将采集到的口型图像发送到图像数据处理；
口型识别模块，采用双边滤波和直方图均衡化分别对所采集到的口型图像进行图像滤波和图像增强预处理，然后采用迭代自适应阈值分割法进行图像二值化处理，基于连通分量外接矩形的长宽比进行口型形状以及尺寸的输出；
发音标准评估模块，用于通过预设的算法对接收到的音频数据进行预加重、分帧加窗、解码、离散傅里叶变换、梅尔滤波、取对数、离散余弦变换和差分提取处理，从而得到所述音频数据的特征参数；然后采用粒子群优化支持向量机对所得到的特征参数进行识别，输出评估结果；
口型标准评估模块，用于将获得的口型形状以及尺寸数据与口型标准数据库内录制的标准口型数据进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；
发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出标准的口型数据以及相应的参考音频数据至客户端；
中央处理器，用于协调上述各模块进行工作。
2.如权利要求1所述的一种英语口语发音校对系统，其特征在于，还包括
标准口型尺寸调整模块，用于根据图像处理模块所获取的口型形状以及尺寸数据进行相应的输出的标准口型尺寸的调节，并将完成调节后的标准口型发送到客户端进行展示。
3.根据权利要求1所述的一种英语口语发音校对系统，其特征在于，还包括一训练方案生成模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出对应的训练方案。
4.根据权利要求1所述的一种英语口语发音校对系统，其特征在于，所述客户端可采用智能手机。
5.根据权利要求1所述的一种英语口语发音校对系统，其特征在于，还包括
口型调整指导模块，用于根据口型标准评估模块的评估结果以文字指导的形式输出口型调整方案至客户端。
6.根据权利要求1所述的一种英语口语发音校对系统，其特征在于，还包括音频数据录制模块，用于进行练习者音频数据的采集。
7.根据权利要求1所述的一种英语口语发音校对系统，其特征在于，还包括分析对比模块，用于根据训练者的选择进行两次或者多次训练结果的对比分析，输出对比分析的结果。
8.根据权利要求1所述的一种英语口语发音校对系统，其特征在于，还包括语音/视频通话模块，用于根据选择跟指定的账户进行语音/视频通话，在进行通话前需先发送通话请求到对应的账户，在该账户返回确认信息后方可进行该模块的启用。
9.根据权利要求1所述的一种英语口语发音校对系统，其特征在于，还包括分级测试模块，内设多个阶段的测试试题，用于对学生不同学习阶段的学习成绩进行测试。
CN201811337343.1A 2018-11-07 2018-11-07 一种英语口语发音校对系统 Pending CN109326160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811337343.1A CN109326160A (zh) 2018-11-07 2018-11-07 一种英语口语发音校对系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811337343.1A CN109326160A (zh) 2018-11-07 2018-11-07 一种英语口语发音校对系统

Publications (1)

Publication Number Publication Date
CN109326160A true CN109326160A (zh) 2019-02-12

Family

ID=65261464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811337343.1A Pending CN109326160A (zh) 2018-11-07 2018-11-07 一种英语口语发音校对系统

Country Status (1)

Country Link
CN (1) CN109326160A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189394A (zh) * 2019-05-14 2019-08-30 北京字节跳动网络技术有限公司 口型生成方法、装置及电子设备
CN110706527A (zh) * 2019-11-11 2020-01-17 郑州财经学院 一种智能英语教学系统
CN110930794A (zh) * 2019-09-16 2020-03-27 上海少立教育科技有限公司 一种智能语言教育系统及方法
CN111583960A (zh) * 2020-04-13 2020-08-25 平顶山学院 一种声乐学习电子辅助发音系统
CN112289089A (zh) * 2020-10-26 2021-01-29 烟台职业学院 一种英语口语能力多功能练习装置
CN113257056A (zh) * 2021-05-14 2021-08-13 焦作大学 一种英语教学用口语发声训练装置
CN114566259A (zh) * 2022-01-18 2022-05-31 华东师范大学 针对声母m构音障碍的矫治方案生成系统
CN116206496A (zh) * 2023-01-30 2023-06-02 齐齐哈尔大学 一种基于人工智能的英语口语练习分析比对系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999013446A1 (en) * 1997-09-05 1999-03-18 Idioma Ltd. Interactive system for teaching speech pronunciation and reading
CN101477798A (zh) * 2009-02-17 2009-07-08 北京邮电大学 一种分析和提取设定场景的音频数据的方法
CN102169642A (zh) * 2011-04-06 2011-08-31 李一波 具有智能纠错功能的交互式虚拟教师系统
CN103092329A (zh) * 2011-10-31 2013-05-08 南开大学 一种基于唇读技术的唇语输入方法
CN103325382A (zh) * 2013-06-07 2013-09-25 大连民族学院 一种自动识别中国少数民族传统乐器音频数据的方法
KR20140087950A (ko) * 2013-01-01 2014-07-09 주홍찬 언어 데이터 및 원어민의 발음 데이터를 이용한 리듬 패턴 학습장치 및 방법
CN107316521A (zh) * 2017-08-12 2017-11-03 潍坊护理职业学院 一种智能型英语教学系统
CN107945625A (zh) * 2017-11-20 2018-04-20 陕西学前师范学院 一种英语发音测试与评价系统
CN108133709A (zh) * 2016-12-01 2018-06-08 奥林巴斯株式会社 语音识别装置和语音识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999013446A1 (en) * 1997-09-05 1999-03-18 Idioma Ltd. Interactive system for teaching speech pronunciation and reading
CN101477798A (zh) * 2009-02-17 2009-07-08 北京邮电大学 一种分析和提取设定场景的音频数据的方法
CN102169642A (zh) * 2011-04-06 2011-08-31 李一波 具有智能纠错功能的交互式虚拟教师系统
CN103092329A (zh) * 2011-10-31 2013-05-08 南开大学 一种基于唇读技术的唇语输入方法
KR20140087950A (ko) * 2013-01-01 2014-07-09 주홍찬 언어 데이터 및 원어민의 발음 데이터를 이용한 리듬 패턴 학습장치 및 방법
CN103325382A (zh) * 2013-06-07 2013-09-25 大连民族学院 一种自动识别中国少数民族传统乐器音频数据的方法
CN108133709A (zh) * 2016-12-01 2018-06-08 奥林巴斯株式会社 语音识别装置和语音识别方法
CN107316521A (zh) * 2017-08-12 2017-11-03 潍坊护理职业学院 一种智能型英语教学系统
CN107945625A (zh) * 2017-11-20 2018-04-20 陕西学前师范学院 一种英语发音测试与评价系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189394A (zh) * 2019-05-14 2019-08-30 北京字节跳动网络技术有限公司 口型生成方法、装置及电子设备
CN110930794A (zh) * 2019-09-16 2020-03-27 上海少立教育科技有限公司 一种智能语言教育系统及方法
CN110706527A (zh) * 2019-11-11 2020-01-17 郑州财经学院 一种智能英语教学系统
CN111583960A (zh) * 2020-04-13 2020-08-25 平顶山学院 一种声乐学习电子辅助发音系统
CN112289089A (zh) * 2020-10-26 2021-01-29 烟台职业学院 一种英语口语能力多功能练习装置
CN113257056A (zh) * 2021-05-14 2021-08-13 焦作大学 一种英语教学用口语发声训练装置
CN114566259A (zh) * 2022-01-18 2022-05-31 华东师范大学 针对声母m构音障碍的矫治方案生成系统
CN116206496A (zh) * 2023-01-30 2023-06-02 齐齐哈尔大学 一种基于人工智能的英语口语练习分析比对系统
CN116206496B (zh) * 2023-01-30 2023-08-18 齐齐哈尔大学 一种基于人工智能的英语口语练习分析比对系统

Similar Documents

Publication Publication Date Title
CN109326160A (zh) 一种英语口语发音校对系统
CN109599129B (zh) 基于注意力机制和卷积神经网络的语音抑郁症识别系统
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN105976809B (zh) 基于语音和面部表情的双模态情感融合的识别方法及系统
CN105244026B (zh) 一种语音处理方法及装置
CN111563422B (zh) 基于双模态情绪识别网络的服务评价获取方法及其装置
CN108831485A (zh) 基于语谱图统计特征的说话人识别方法
CN110299142B (zh) 一种基于网络融合的声纹识别方法及装置
CN105046238A (zh) 一种面部表情机器人多通道信息情感表达映射方法
CN101199207A (zh) 用于独立于说话者特征测量音频视频同步的方法、系统和程序产品
Sahoo et al. Emotion recognition from audio-visual data using rule based decision level fusion
CN105448291A (zh) 基于语音的帕金森症检测方法及检测系统
CN107767881B (zh) 一种语音信息的满意度的获取方法和装置
CN110807585A (zh) 一种学员课堂学习状态在线评估方法及系统
Deshmukh et al. Speech based emotion recognition using machine learning
CN112259104A (zh) 一种声纹识别模型的训练装置
US10592733B1 (en) Computer-implemented systems and methods for evaluating speech dialog system engagement via video
CN110428853A (zh) 语音活性检测方法、语音活性检测装置以及电子设备
CN104103272A (zh) 语音识别方法、装置和蓝牙耳机
CN109584888A (zh) 基于机器学习的鸣笛识别方法
CN110473548B (zh) 一种基于声学信号的课堂交互网络分析方法
JP2013088552A (ja) 発音トレーニング装置
CN114582355A (zh) 基于音视频融合的婴儿哭泣检测方法及装置
CN109410946A (zh) 一种识别语音信号的方法、装置、设备及存储介质
KR102484006B1 (ko) 음성 장애 환자를 위한 음성 자가 훈련 방법 및 사용자 단말 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190212