CN110648690B - 一种音频评测方法及服务器 - Google Patents
一种音频评测方法及服务器 Download PDFInfo
- Publication number
- CN110648690B CN110648690B CN201910916317.2A CN201910916317A CN110648690B CN 110648690 B CN110648690 B CN 110648690B CN 201910916317 A CN201910916317 A CN 201910916317A CN 110648690 B CN110648690 B CN 110648690B
- Authority
- CN
- China
- Prior art keywords
- audio
- phoneme
- score
- evaluated
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 57
- 238000013210 evaluation model Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 24
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供一种音频评测方法及服务器，接收客户端发送的待评测音频；提取待评测音频的特征信息；将特征信息输入预设的语音评测模型进行音素评估，得到待评测音频中每个音素的GOP值；基于每个音素的GOP值，确定待评测音频中每个音素的音素评分、每个单词的单词评分和每句语句的语句评分；将每个音素评分、单词评分和语句评分反馈给客户端，使客户端以预设形式展示音素评分、单词评分和语句评分。本方案中，对待评测音频进行精简，将得到的特征信息输入预先训练好的语音评测模型中进行评估得到每个音素的GOP值，从而确定待评测音频中的音素评分、单词评分和语句评分。辅助学生了解自身发音是否标准，提高学生的口语能力和发音准确度。
Description
技术领域
本发明涉及音频处理技术领域，具体涉及一种音频评测方法及服务器。
背景技术
随着文化教育的推广，教育成为全社会最为关注的焦点问题之一。尤其对于语言教育，许多家长极其注重孩子在语言方面的教育。
在为学生在提供语言教育时，授课的方式为：由语言课老师为学生讲解语法和发音，再由老师纠正学生的发音。但是学习语言的重点之一在于口语交流，而每个老师可能会同时教育几十个学生，一个老师没有时间与每个学生都进行充分的口语交流，以及纠正每一个学生的发音问题。因此，会造成学生的口语交流能力差和发音不标准。
发明内容
有鉴于此，本发明实施例提供一种音频评测方法，以解决人工教学造成的学生口语交流能力差和发音不标准等问题。
为实现上述目的，本发明实施例提供如下技术方案：
本发明实施例第一方面公开一种音频评测方法，应用于服务器，所述方法包括：
接收客户端发送的待评测音频；
提取所述待评测音频的特征信息，所述特征信息指示所述待评测音频中的非静音帧；
将所述特征信息输入预设的语音评测模型进行音素评估，得到所述待评测音频中每个音素的GOP值，基于语音样本数据预先训练神经网络模型得到所述语音评测模型，所述语音评测模型的搜索范围基于应用需求设置，所述语音评测模型至少包含用于进行矩阵运算的SSE指令集，所述语音评测模型基于GOP进行语音评测；
基于每个所述音素的GOP值，确定所述待评测音频中每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分；
将每个所述音素评分、单词评分和语句评分反馈给所述客户端，使所述客户端以预设形式展示所述音素评分、单词评分和语句评分。
优选的，所述提取所述待评测音频的特征信息，包括：
基于说话人活跃性检测SAD算法，确定并删除所述待评测音频中的静音帧，得到所述待评测音频的特征信息；
或者，
获取所述待评测音频中预设位置的预设帧数有效音频，得到所述待评测音频的特征信息。
优选的，所述基于语音样本数据预先训练神经网络模型得到所述语音评测模型，包括：
基于语音样本数据，训练预先构建的神经网络模型直至所述神经网络模型收敛，得到第一声学模型；
利用奇异值分解SVD对所述第一声学模型进行分解，确定第二声学模型；
基于所述语音样本数据，训练所述第二声学模型直至所述第二声学模型收敛，得到所述语音评测模型。
优选的，所述基于每个所述音素的GOP值，确定所述待评测音频中每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分，包括：
基于每个所述音素的GOP值，确定每个所述音素的音素评分；
基于每个所述音素的音素评分，确定所述待评测音频中每个单词的单词评分；
利用每个所述单词的单词评分，确定所述待评测音频中每句语句的语句评分。
本发明实施例第二方面公开一种服务器，所述服务器包括：
接收单元，用于接收客户端发送的待评测音频；
提取单元，用于提取所述待评测音频的特征信息，所述特征信息指示所述待评测音频中的非静音帧；
评估单元，用于将所述特征信息输入预设的语音评测模型进行音素评估，得到所述待评测音频中每个音素的GOP值，基于语音样本数据预先训练神经网络模型得到所述语音评测模型，所述语音评测模型的搜索范围基于应用需求设置，所述语音评测模型至少包含用于进行矩阵运算的SSE指令集，所述语音评测模型基于GOP进行语音评测；
评分单元，用于基于每个所述音素的GOP值，确定所述待评测音频中每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分；
反馈单元，用于将所述音素评分、单词评分和语句评分反馈给所述客户端，使所述客户端以预设形式展示所述音素评分、单词评分和语句评分。
优选的，所述提取单元具体用于：基于说话人活跃性检测SAD算法，确定并删除所述待评测音频中的静音帧，得到所述待评测音频的特征信息，或者，获取所述待评测音频中预设位置的预设帧数有效音频，得到所述待评测音频的特征信息。
优选的，所述评估单元包括：
第一训练模块，用于基于语音样本数据，训练预先构建的神经网络模型直至所述神经网络模型收敛，得到第一声学模型；
分解模块，用于利用奇异值分解SVD对所述第一声学模型进行分解，确定第二声学模型；
第二训练模块，用于基于所述语音样本数据，训练所述第二声学模型直至所述第二声学模型收敛，得到所述语音评测模型。
优选的，所述评分单元具体用于：基于每个所述音素的GOP值，确定每个所述音素的音素评分，基于每个所述音素的音素评分，确定所述待评测音频中每个单词的单词评分，利用每个所述单词的单词评分，确定所述待评测音频中每句语句的语句评分。
本发明实施例第三方面公开一种电子设备，所述电子设备用于运行程序，其中，所述程序运行时执行如本发明实施例第一方面公开的音频评测方法。
本发明实施例第四方面公开一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面公开的音频评测方法。
基于上述本发明实施例提供的一种音频评测方法及服务器，该方法为：接收客户端发送的待评测音频；提取待评测音频的特征信息；将特征信息输入预设的语音评测模型进行音素评估，得到待评测音频中每个音素的GOP值；基于每个音素的GOP值，确定待评测音频中每个音素的音素评分、每个单词的单词评分和每句语句的语句评分；将每个音素评分、单词评分和语句评分反馈给客户端，使客户端以预设形式展示音素评分、单词评分和语句评分。本方案中，对待评测音频进行精简，将得到的特征信息输入预先训练好的语音评测模型中进行评估得到每个音素的GOP值，从而确定待评测音频中的音素评分、单词评分和语句评分。将音素评分、单词评分和语句评分反馈给客户端，辅助学生根据评分了解自身发音是否标准，提高学生的口语能力和发音准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种音频评测方法的流程图；
图2为本发明实施例提供的获取音素评分的流程图；
图3为本发明实施例提供的客户端和服务器的交互示意图；
图4为本发明实施例提供的训练语音评测模型的流程图；
图5为本发明实施例提供的服务器的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知，在为学生在提供语言教育时，通常采取由老师人工纠正学生的语法和发音问题。由于每个老师可能会同时教育几十个学生，一个老师没有时间与每个学生都进行充分的口语交流，以及纠正每一个学生的发音问题，从而造成学生的口语交流能力差和发音不标准。
因此本发明实施例提供一种音频评测方法及服务器，对待评测音频进行精简，将得到的特征信息输入预先训练好的语音评测模型中进行评估得到每个音素的发音准确度(Goodness Of Pronunciation，GOP)，从而确定待评测音频中的音素评分、单词评分和语句评分。将音素评分、单词评分和语句评分反馈给客户端，辅助学生根据评分了解自身发音是否标准，以提高学生的口语能力和发音准确度。
参见图1，示出了本发明实施例提供的一种音频评测方法的流程图，所述音频评测方法应用于服务器，所述音频评测方法包括以下步骤：
步骤S101：接收客户端发送的待评测音频。
在具体实现步骤S101的过程中，用户通过电子设备使用客户端进行语言学习，所述客户端利用所述电子设备的麦克风采集该用户的待评测音频，并将所述待评测音频发送给所述服务器。
例如：用户通过手机使用学习软件进行英语学习，该学习软件利用手机的麦克风采集用户的音频信号，并将音频信号上传至所述服务器进行发音评估。
需要说明的是，所述服务器为实时接收所述客户端发送的待评测音频，即每接收一段所述客户端发送的待评测音频，就对该段待评测音频进行音素评估，提高音素评估的速度。
步骤S102：提取所述待评测音频的特征信息。
需要说明的是，对于所述客户端发送的待评测音频中，存在有效信息和无效信息，即在进行音素评估的过程中只需要所述待评测音频中的有效信息。为提高音素评估的速度，需要把所述待评测音频中的无效信息剔除，例如将待评测音频中的静音帧剔除。
在具体实现步骤S102的过程中，删除所述待评测音频中的冗余音帧，提取所述待评测音频中的特征信息，例如提取所述待评测音频的梅尔倒谱系数(Mel-scaleFrequencyCepstral Coefficients，MFCC)特征信息。所述特征信息指示所述待评测音频中的非静音帧，具体提取所述特征信息的方式包括但不仅限于以下两种。
方式一、基于说话人活跃性检测(Speech Activity Detection，SAD)算法，确定所述待评测音频中的静音帧，并将所述待评测音频中的静音帧删除，得到所述待评测音频的特征信息。
方式二、需要说明的是，在实际应用中，每一段音频中的有效音帧的位置和帧数都存在对应的规律性。因此，技术人员通过大量实验确定每一段音频中有效音帧的位置和帧数。即获取所述待评测音频中预设位置的预设帧数有效音频，得到所述待评测音频的特征信息。
步骤S103：将所述特征信息输入预设的语音评测模型进行音素评估，得到所述待评测音频中每个音素的GOP值。
需要说明的是，预先基于语音样本数据训练神经网络模型得到所述语音评测模型，所述语音评测模型基于GOP进行语音评测。同时，在利用所述语音评测模型进行音素评估的过程中，会涉及到矩阵计算，因此在构建所述神经网络模型时，对于矩阵运算部分的构建采用SSE指令集，以提高所述语音评测模型的运算速度和解码速度。
进一步需要说明的是，在利用所述语音评测模型进行音素评估的过程中，会涉及所述语音评测模型的搜索范围，例如利用1000个小时的语音样本数据训练神经网络模型得到所述语音评测模型，所述语音评测模型的搜索范围为1000个小时的语音样本数据。
但是，对于不同用户的应用需求，需要调整所述语音评测模型的搜索范围，例如：对于婴幼儿学习英语而言，婴幼儿涉及到的英语词汇量少且低级，需缩小所述语音评测模型的搜索范围，从而提高所述语音评测模型的运算速度。具体调整搜索范围的方式为：通过mkgraph重新构建所述语音评测模型的新解码图，将所述语音评测模型的搜索范围调整在适合婴幼儿的单词范围内。
又例如：对于中学生或大学生等大龄学生学习英语而言，涉及到的英语词汇量多且高级，则需要将所述语音评测模型的搜索范围调整在适合大龄学生的单词范围内。
总而言之，所述语音评测模型的搜索范围可根据用户的年龄段和实际需求进行合适的调整。当用户使用所述客户端进行语言学习时，所述客户端可通过咨询该用户的年龄和实际需求，将该用户的年龄和实际需求发送给所述服务器，所述服务器再根据该用户的年龄和实际需求调整所述语音评测模型的搜索范围。
在具体实现步骤S103的过程中，将所述特征信息输入所述语音评测模型进行音素评估，所述语音评测模型利用预设指定的单词文本，计算所述特征信息中每个单词的似然度与自由音素解码得到的似然度之间的差值，从而得到每个音素的GOP值。其中，前述涉及的差值越小，说明发音越准确。
步骤S104：基于每个所述音素的GOP值，确定所述待评测音频中每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分。
需要说明的是，预先设置所有音素中的每个音素对应的阈值。
在具体实现步骤S104的过程中，比较每个所述音素的GOP值与自身对应的阈值，从而得到每个所述音素的音素评分。基于每个所述音素的音素评分，确定所述待评测音频中每个单词的单词评分。利用每个所述单词的单词评分，确定所述待评测音频中每句语句的语句评分。
为更好解释说明如何得到每个所述音素的音素评分，通过图2示出的获取音素评分的流程图进行举例说明，需要说明的是，所述图2中示出的内容仅用于举例说明。在所述图2中，包括以下步骤：
步骤S201：所述服务器接收所述客户端采集得到的学生说话音频。
步骤S202：对所述学生说话音频进行MFCC特征提取，得到特征信息。
步骤S203：对所述特征信息进行强制对齐和自由识别。
在具体实现步骤S203的过程中，利用发音词典对所述特征信息进行强制对齐，得到每个所述音素的GOP值。
步骤S204：比较每个所述音素的GOP值与自身对应的阈值，得到每个所述音素的音素评分。
步骤S105：将每个所述音素评分、单词评分和语句评分反馈给所述客户端，使所述客户端以预设形式展示所述音素评分、单词评分和语句评分。
在具体实现步骤S105的过程中，所述服务器将所述音素评分、单词评分和语句评分反馈给所述客户端，所述客户端展示所述音素评分、单词评分和语句评分，从而使所述用户了解自身的发音是否准确。
例如：所述客户端以星型符号的个数展示所述音素评分、单词评分和语句评分的高低，具体评分的高低情况为：五颗星型符号指示优秀，四颗星型符号指示良好，三颗星型符号指示及格，两颗星型符号指示差，一颗星型符号指示完全错误。
需要说明的是，根据评分的分段划分不同数量的星型符号，例如：假设满分为100分，90分-100分为五颗星型符号，70分-89分为四颗星型符号，60分-69分为三颗星型符号，40分-59分为两颗星型符号，0分-39分为一颗星型符号。
在展示评分的另一实施例中，所述客户端还可以直接以分数的形式展示每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分。
在本发明实施例中对于展示评分的方式不做具体限定。
为更好解释上述各个步骤中所述客户端与所述服务器之间的交互，通过图3示出的客户端和服务器的交互示意图进行举例说明，需要说明的是，所述图3示出的内容仅用于举例说明。
在所述图3中，所述客户端将音频流发送给所述服务器，所述服务器利用GOP评测服务对所述音频流进行音素评估，得到每个所述音素的GOP值。
所述服务器基于每个所述音素的GOP值，利用打分分类器得到每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分。
所述服务器将每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分反馈给所述客户端，使所述客户端展示评测结果。
在本发明实施例中，对待评测音频进行精简，将得到的特征信息输入预先训练好的语音评测模型中进行评估得到每个音素的GOP值。根据每个音素的GOP值确定待评测音频中的音素评分、单词评分和语句评分。将音素评分、单词评分和语句评分反馈给客户端，辅助学生根据评分了解自身发音是否标准，提高学生的口语能力和发音准确度。
上述本发明实施例图1步骤S103中示出的获取语音评测模型的过程，参见图4，示出了本发明实施例提供的训练语音评测模型的流程图，包括以下步骤：
步骤S401：基于语音样本数据，训练预先构建的神经网络模型直至所述神经网络模型收敛，得到第一声学模型。
步骤S402：利用奇异值分解(Singular Value Decomposition，SVD)对所述第一声学模型进行分解，确定第二声学模型。
在具体实现步骤S402的过程中，为提高所述语音评测模型的运算速度，在训练过程中，利用SVD对所述第一声学模型进行分解和压缩，得到所述第二声学模型。再利用所述语音样本数据，训练所述第二声学模型直至所述第二声学模型收敛，得到所述语音评测模型，从而降低所述语音评测模型的大小和计算复杂度。
例如：基于所述语音样本数据训练得到的所述第一声学模型的大小为87M，利用SVD对所述第一声学模型进行分解和压缩后，得到的所述第二声学模型大小为70M。
步骤S403：基于所述语音样本数据，训练所述第二声学模型直至所述第二声学模型收敛，得到所述语音评测模型。
在具体实现步骤S403的过程中，在对所述第一声学模型进行分解和压缩得到所述第二声学模型后，需利用所述语音样本数据训练所述第二声学模型直至所述第二声学模型收敛，得到所述语音评测模型。
在本发明实施例中，利用语音样本数据训练神经网络模型得到第一声学模型，利用SVD分解和压缩第一声学模型得到第二声学模型，并再次训练第二声学模型直至第二声学模型收敛，得到语音评测模型，提高语音评测模型的运算速度和降低语音评测模型的复杂度。
与上述本发明实施例提供的一种音频评测方法相对应，参见图5，本发明实施例还提供了一种服务器的结构框图，所述服务器包括：接收单元501、提取单元502、评估单元503、评分单元504和反馈单元505；
接收单元501，用于接收客户端发送的待评测音频。
提取单元502，用于提取所述待评测音频的特征信息，所述特征信息指示所述待评测音频中的非静音帧。
在具体实现中，所述提取单元502具体用于：基于SAD算法，确定并删除所述待评测音频中的静音帧，得到所述待评测音频的特征信息，或者，获取所述待评测音频中预设位置的预设帧数有效音频，得到所述待评测音频的特征信息。
评估单元503，用于将所述特征信息输入预设的语音评测模型进行音素评估，得到所述待评测音频中每个音素的GOP值，基于语音样本数据预先训练神经网络模型得到所述语音评测模型，所述语音评测模型的搜索范围基于应用需求设置，所述语音评测模型至少包含用于进行矩阵运算的SSE指令集，所述语音评测模型基于GOP进行语音评测。
评分单元504，用于基于每个所述音素的GOP值，确定所述待评测音频中每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分。
在具体实现中，所述评分单元504具体用于：基于每个所述音素的GOP值，确定每个所述音素的音素评分，基于每个所述音素的音素评分，确定所述待评测音频中每个单词的单词评分，利用每个所述单词的单词评分，确定所述待评测音频中每句语句的语句评分。
反馈单元505，用于将所述音素评分、单词评分和语句评分反馈给所述客户端，使所述客户端以预设形式展示所述音素评分、单词评分和语句评分。
在本发明实施例中，对待评测音频进行精简，将得到的特征信息输入预先训练好的语音评测模型中进行评估得到每个音素的GOP值。根据每个音素的GOP值确定待评测音频中的音素评分、单词评分和语句评分。将音素评分、单词评分和语句评分反馈给客户端，辅助学生根据评分了解自身发音是否标准，提高学生的口语能力和发音准确度。
优选的，结合图5示出的内容，所述评估单元503包括：第一训练模块、分解模块和第二训练模块，各个模块的执行原理如下：
第一训练模块，用于基于语音样本数据，训练预先构建的神经网络模型直至所述神经网络模型收敛，得到第一声学模型。
分解模块，用于利用SVD对所述第一声学模型进行分解，确定第二声学模型。
第二训练模块，用于基于所述语音样本数据，训练所述第二声学模型直至所述第二声学模型收敛，得到所述语音评测模型。
在本发明实施例中，利用语音样本数据训练神经网络模型得到第一声学模型，利用SVD分解和压缩第一声学模型得到第二声学模型，并再次训练第二声学模型直至第二声学模型收敛，得到语音评测模型，提高语音评测模型的运算速度和降低语音评测模型的复杂度。
基于上述本发明实施例公开的一种服务器，上述各个模块可以通过一种由处理器和存储器构成的电子设备实现。具体为：上述各个模块作为程序单元存储于存储器中，由处理器执行存储在存储器中的上述程序单元来实现音频评测。
其中，处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现音频评测。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
进一步的，本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行音频评测方法。
进一步的，本发明实施例提供了一种电子设备，所述电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现如上任一实施例中示出的音频评测方法。
本发明实施例中公开的设备可以是PC、PAD、手机等。
进一步的，本发明实施例还提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现音频评测。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如上任一实施例中示出的音频评测方法。
综上所述，本发明实施例提供一种音频评测方法及服务器，该方法为：接收客户端发送的待评测音频；提取待评测音频的特征信息；将特征信息输入预设的语音评测模型进行音素评估，得到待评测音频中每个音素的GOP值；基于每个音素的GOP值，确定待评测音频中每个音素的音素评分、每个单词的单词评分和每句语句的语句评分；将每个音素评分、单词评分和语句评分反馈给客户端，使客户端以预设形式展示音素评分、单词评分和语句评分。本方案中，对待评测音频进行精简，将得到的特征信息输入预先训练好的语音评测模型中进行评估得到每个音素的GOP值，从而确定待评测音频中的音素评分、单词评分和语句评分。将音素评分、单词评分和语句评分反馈给客户端，辅助学生根据评分了解自身发音是否标准，提高学生的口语能力和发音准确度。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种音频评测方法，其特征在于，应用于服务器，所述方法包括：
接收客户端发送的待评测音频；
提取所述待评测音频的特征信息，所述特征信息指示所述待评测音频中的非静音帧；
将所述特征信息输入预设的语音评测模型进行音素评估，得到所述待评测音频中每个音素的发音准确度GOP值，基于语音样本数据预先训练神经网络模型得到所述语音评测模型，所述语音评测模型的搜索范围基于mkgraph、用户的年龄段和应用需求设置，所述语音评测模型至少包含用于进行矩阵运算的SSE指令集，所述语音评测模型基于GOP进行语音评测；
比较每个所述音素的GOP值和与其对应的阈值，确定每个所述音素的音素评分，以及基于每个所述音素的音素评分，确定所述待评测音频中每个单词的单词评分和每句语句的语句评分，预先设置每个所述音素对应的阈值；
将每个所述音素评分、单词评分和语句评分反馈给所述客户端，使所述客户端以预设形式展示所述音素评分、单词评分和语句评分；
其中，所述提取所述待评测音频的特征信息，包括：
基于说话人活跃性检测SAD算法，确定并删除所述待评测音频中的静音帧，得到所述待评测音频的特征信息；
或者，
获取所述待评测音频中预设位置的预设帧数有效音频，得到所述待评测音频的特征信息。
2.根据权利要求1所述的方法，其特征在于，所述基于语音样本数据预先训练神经网络模型得到所述语音评测模型，包括：
基于语音样本数据，训练预先构建的神经网络模型直至所述神经网络模型收敛，得到第一声学模型；
利用奇异值分解SVD对所述第一声学模型进行分解，确定第二声学模型；
基于所述语音样本数据，训练所述第二声学模型直至所述第二声学模型收敛，得到所述语音评测模型。
3.根据权利要求1所述的方法，其特征在于，所述基于每个所述音素的GOP值，确定所述待评测音频中每个所述音素的音素评分、每个单词的单词评分和每句语句的语句评分，包括：
基于每个所述音素的GOP值，确定每个所述音素的音素评分；
基于每个所述音素的音素评分，确定所述待评测音频中每个单词的单词评分；
利用每个所述单词的单词评分，确定所述待评测音频中每句语句的语句评分。
4.一种服务器，其特征在于，所述服务器包括：
接收单元，用于接收客户端发送的待评测音频；
提取单元，用于提取所述待评测音频的特征信息，所述特征信息指示所述待评测音频中的非静音帧；
其中，所述提取单元具体用于：基于说话人活跃性检测SAD算法，确定并删除所述待评测音频中的静音帧，得到所述待评测音频的特征信息，或者，获取所述待评测音频中预设位置的预设帧数有效音频，得到所述待评测音频的特征信息；
评估单元，用于将所述特征信息输入预设的语音评测模型进行音素评估，得到所述待评测音频中每个音素的发音准确度GOP值，基于语音样本数据预先训练神经网络模型得到所述语音评测模型，所述语音评测模型的搜索范围基于mkgraph、用户的年龄段和应用需求设置，所述语音评测模型至少包含用于进行矩阵运算的SSE指令集，所述语音评测模型基于GOP进行语音评测；
评分单元，用于比较每个所述音素的GOP值和与其对应的阈值，确定每个所述音素的音素评分，以及基于每个所述音素的音素评分，确定所述待评测音频中每个单词的单词评分和每句语句的语句评分，预先设置每个所述音素对应的阈值；
反馈单元，用于将所述音素评分、单词评分和语句评分反馈给所述客户端，使所述客户端以预设形式展示所述音素评分、单词评分和语句评分。
5.根据权利要求4所述的服务器，其特征在于，所述评估单元包括：
第一训练模块，用于基于语音样本数据，训练预先构建的神经网络模型直至所述神经网络模型收敛，得到第一声学模型；
分解模块，用于利用奇异值分解SVD对所述第一声学模型进行分解，确定第二声学模型；
第二训练模块，用于基于所述语音样本数据，训练所述第二声学模型直至所述第二声学模型收敛，得到所述语音评测模型。
6.根据权利要求4所述的服务器，其特征在于，所述评分单元具体用于：基于每个所述音素的GOP值，确定每个所述音素的音素评分，基于每个所述音素的音素评分，确定所述待评测音频中每个单词的单词评分，利用每个所述单词的单词评分，确定所述待评测音频中每句语句的语句评分。
7.一种电子设备，其特征在于，所述电子设备用于运行程序，其中，所述程序运行时执行如权利要求1-3中任一所述的音频评测方法。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-3中任一所述的音频评测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910916317.2A CN110648690B (zh) | 2019-09-26 | 2019-09-26 | 一种音频评测方法及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910916317.2A CN110648690B (zh) | 2019-09-26 | 2019-09-26 | 一种音频评测方法及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110648690A CN110648690A (zh) | 2020-01-03 |
| CN110648690B true CN110648690B (zh) | 2020-12-15 |
Family
ID=68992710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910916317.2A Active CN110648690B (zh) | 2019-09-26 | 2019-09-26 | 一种音频评测方法及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110648690B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111916108B (zh) * | 2020-07-24 | 2021-04-02 | 北京声智科技有限公司 | 一种语音评测方法及装置 |
| CN111986650B (zh) * | 2020-08-07 | 2024-02-27 | 云知声智能科技股份有限公司 | 借助语种识别辅助语音评测的方法及系统 |
| CN112017694B (zh) * | 2020-08-25 | 2021-08-20 | 天津洪恩完美未来教育科技有限公司 | 语音数据的评测方法和装置、存储介质和电子装置 |
| CN112466335B (zh) * | 2020-11-04 | 2023-09-29 | 吉林体育学院 | 基于重音突现度的英语发音质量评价方法 |
| CN112767932A (zh) * | 2020-12-11 | 2021-05-07 | 北京百家科技集团有限公司 | 语音测评系统、方法、装置、设备及计算机可读存储介质 |
| CN112614509B (zh) * | 2020-12-11 | 2022-11-01 | 北京读我网络技术有限公司 | 生成语音测评安装包、执行语音测评的方法及装置 |
| CN112767966A (zh) * | 2020-12-31 | 2021-05-07 | 北京小早科技有限公司 | 一种语音点评方法、装置、计算机设备及存储介质 |
| CN112908360B (zh) * | 2021-02-02 | 2024-06-07 | 早道(大连)教育科技有限公司 | 一种在线口语发音评价方法、装置及存储介质 |
| CN112802456A (zh) * | 2021-04-14 | 2021-05-14 | 北京世纪好未来教育科技有限公司 | 一种语音评测打分方法、装置、电子设备及存储介质 |
| CN112951276B (zh) * | 2021-04-23 | 2024-02-20 | 北京一起教育科技有限责任公司 | 一种综合评价语音的方法、装置及电子设备 |
| CN113299278B (zh) * | 2021-05-20 | 2023-06-13 | 北京大米科技有限公司 | 一种声学模型性能评估的方法、装置和电子设备 |
| CN113782059B (zh) * | 2021-09-24 | 2024-03-22 | 苏州声通信息科技有限公司 | 乐器音频评测方法及装置、非瞬时性存储介质 |
| CN115798518B (zh) * | 2023-01-05 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、装置、设备及介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5745872A (en) * | 1996-05-07 | 1998-04-28 | Texas Instruments Incorporated | Method and system for compensating speech signals using vector quantization codebook adaptation |
| CN101197084A (zh) * | 2007-11-06 | 2008-06-11 | 安徽科大讯飞信息科技股份有限公司 | 自动化英语口语评测学习系统 |
| CN106297778A (zh) * | 2015-05-21 | 2017-01-04 | 中国科学院声学研究所 | 数据驱动的基于奇异值分解的神经网络声学模型裁剪方法 |
| KR102413692B1 (ko) * | 2015-07-24 | 2022-06-27 | 삼성전자주식회사 | 음성 인식을 위한 음향 점수 계산 장치 및 방법, 음성 인식 장치 및 방법, 전자 장치 |
| CN109545244A (zh) * | 2019-01-29 | 2019-03-29 | 北京猎户星空科技有限公司 | 语音评测方法、装置、电子设备及存储介质 |
| CN110176249A (zh) * | 2019-04-03 | 2019-08-27 | 苏州驰声信息科技有限公司 | 一种口语发音的评估方法及装置 |
-
2019
- 2019-09-26 CN CN201910916317.2A patent/CN110648690B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110648690A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110648690B (zh) | 一种音频评测方法及服务器 | |
| US11145222B2 (en) | Language learning system, language learning support server, and computer program product | |
| JP2017058674A (ja) | 音声認識のための装置及び方法、変換パラメータ学習のための装置及び方法、コンピュータプログラム並びに電子機器 | |
| US11810471B2 (en) | Computer implemented method and apparatus for recognition of speech patterns and feedback | |
| Daniels et al. | The suitability of cloud-based speech recognition engines for language learning. | |
| CN112397056B (zh) | 语音评测方法及计算机存储介质 | |
| CN103310666A (zh) | 一种语言学习装置 | |
| CN105261246A (zh) | 一种基于大数据挖掘技术的英语口语纠错系统 | |
| US11935523B2 (en) | Detection of correctness of pronunciation | |
| Inoue et al. | A Study of Objective Measurement of Comprehensibility through Native Speakers' Shadowing of Learners' Utterances. | |
| KR20200002141A (ko) | 이미지 기반의 언어학습 콘텐츠 제공 방법 및 이의 시스템 | |
| Alkhatib et al. | Building an assistant mobile application for teaching arabic pronunciation using a new approach for arabic speech recognition | |
| Al-Bakeri et al. | ASR for Tajweed rules: integrated with self-learning environments | |
| KR102388948B1 (ko) | 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템 | |
| CN113053409B (zh) | 音频测评方法及装置 | |
| KR100701270B1 (ko) | 외국어 강의 및 학습 평가 시스템과 그 시스템을 이용한외국어 강의 및 학습평가 방법 | |
| CN111968434A (zh) | 一种线上无纸化语言训练与评测的方法和存储介质 | |
| Jo et al. | Effective computer‐assisted pronunciation training based on phone‐sensitive word recommendation | |
| Cincarek et al. | Development of preschool children subsystem for ASR and Q&A in a real-environment speech-oriented guidance task | |
| KR102645783B1 (ko) | 외국인 대상 한국어 교육 서비스 제공 시스템 | |
| CN113409763B (zh) | 语音纠正方法、装置及电子设备 | |
| CN113035237B (zh) | 语音测评方法、装置和计算机设备 | |
| JP7039637B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム | |
| CN113726962B (zh) | 服务质量的评价方法、装置、电子设备以及存储介质 | |
| Ungureanu et al. | pROnounce: Automatic Pronunciation Assessment for Romanian |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210831 Address after: 511442 23 floors of B-1 Building, Wanda Commercial Square North District, Wanbo Business District, 79 Wanbo Second Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province (office use only) Patentee after: Guangzhou gathered era Mdt InfoTech Ltd. Address before: 511442 2803, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee before: Guangzhou Sanxing Yibai Education Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |