CN110085257A - 一种基于国学经典学习的韵律自动评价系统 - Google Patents
一种基于国学经典学习的韵律自动评价系统 Download PDFInfo
- Publication number
- CN110085257A CN110085257A CN201910247547.4A CN201910247547A CN110085257A CN 110085257 A CN110085257 A CN 110085257A CN 201910247547 A CN201910247547 A CN 201910247547A CN 110085257 A CN110085257 A CN 110085257A
- Authority
- CN
- China
- Prior art keywords
- module
- pronunciation
- fundamental frequency
- rhythm
- learner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033764 rhythmic process Effects 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 238000013480 data collection Methods 0.000 claims abstract description 14
- 238000009499 grossing Methods 0.000 claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 206010013887 Dysarthria Diseases 0.000 claims description 5
- 239000012141 concentrate Substances 0.000 claims description 5
- 238000012417 linear regression Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000002411 adverse Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于国学经典学习的韵律自动评价系统，包括标准发音库构建模块，语音识别声学模型训练模块，语音数据采集模块，语音特征提取模块，发音准确性检测模块，音素边界切分模块，韵律准确性检测模块以及综合评价模块。本发明中，不仅对发音的准确性进行评价，还对发音的韵律准确性(包括基频、时长、停顿等信息)进行评价。这样的系统能够更加对国学经典的这种抑扬顿挫进行更好、更客观、更全面、更准确的评价；本发明中，语音特征提取模块，其中在基频的提取中，增加了半倍频检测和平滑处理模块，大大减少了基频提取中普遍存在的半倍频和不平滑的现象，使得提取得到的基频轨迹更加光滑，更能反映学习者的基频走势。
Description
技术领域
本发明涉及语言学习系统技术领域，尤其涉及一种基于国学经典学习的韵律自动评价系统。
背景技术
语言学习是人们所学知识中非常重要的部分之一。也有越来越多的人依靠语言学习辅助工具来提高语言学习的速度和效率。随着计算机、多媒体、语音等技术的不断发展，能够对听说读写等方面有一定程度或部分支持的辅助学习系统不断涌现。
虽然，在语言学习领域已经有很多的研究工作和相应的运用系统。如早期电子词典、到后来的跟读机、点读机以及一些学习软件如听力软件等等，都使得学习辅助系统的形式和功能逐渐丰富了起来。但是这些系统仍然存在很多问题没有很好的解决。
主要表现在以下几点：
1、现存的系统对于发音质量的评价存在片面性，没有把语言学习中其他环节有机的结合起来。比如现存的对发音质量评测的系统，都只是实现了对发音错误的判断，进而提供给学习者一个分数或级别。而对于语言学习来说，特别是古汉语学习时，韵律信息(停顿、时长和基频)的准确性也很大程度影响了整个句子的发音质量。如对发音停顿的把握很大程度上将会影响整个句子语义，而现存的系统只是对发音的内容进行判断，并不考虑发音停顿等韵律信息。
2、现存的系统缺乏错误的判断和反馈机制，并没有告诉学习者自己发音的具体错误，很难满足学习者的需求。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于国学经典学习的韵律自动评价系统，以提高对国学经典学习中发音质量评价的全面性和准备性。
为了解决上述技术问题，采用如下技术方案：
一种基于国学经典学习的韵律自动评价系统，包括标准发音库构建模块，语音识别声学模型训练模块，语音数据采集模块，语音特征提取模块，发音准确性检测模块，音素边界切分模块，韵律准确性检测模块以及综合评价模块；
标准发音库构建模块，用于对标准发音人所朗读的国学经典音频进行处理，抽取发音自动评价所需的语音参数特征，由此构建国学经典学习的标准发音库；
语音识别声学模型训练模块：该模块与标准发音库构建模块相连，利用标准音库中的语音数据进行语音识别声学模型的训练；
语音数据采集模块，用于采集学习者的语音数据；
语音特征提取模块：与语音数据采集模块相连，用于从所接收到的学习者的语音数据中提取用于发音准确性检测和韵律准确性检测的语音特征参数，包括用于音素边界切分和发音准确性判断的MFCC参数，以及用于韵律准确性检测的基频参数；
发音准确性检测模块：与语音特征提取模块、语音识别声学模型训练模块和标准发音库构建模块相连，利用训练好的基于国学经典学习的所述语音识别声学模型引擎对所述语音特征提取模块提取得到的语音特征进行音素的自动识别，并与所述标准发音库中的音素序列进行对比，得到最终音素错误信息；
音素边界切分模块：与语音特征提取模块和语音识别声学模型训练模块相连，利用训练好的基于国学经典学习的所述语音识别声学模型引擎对所述语音特征提取模块提取得到的语音特征进行音素边界的切分，给出每个音素对应的时间边界信息；
韵律准确性检测模块，与语音特征提取模块、音素边界切分模块和标准发音库构建模块相连，利用所述语音特征提取模块提取得到的语音参数和所述音素边界切分模块切分得到的音素序列及其时间边界信息，并与所述标准发音库中存储的标准发音人的韵律参数评价，并给出最终韵律上上的错误信息；
综合评价模块：该模块与发音准确性检测模块和韵律准确性检测模块相连，用于结合发音准确性检测模块和韵律准确性检测模块给出的错误提示，反馈给学习者具体哪些地方存在发音问题，并综合发音的准确性和韵律的准备性，给出最终的发音质量的打分结果。
进一步的，所述标准发音库构建模块包括：标准发音人语音数据获取及预处理模块和标准发音人语音参数特征提取模块；
标准发音人语音数据获取及预处理模块，用于对标准发音人的诵读国学经典的语音数据进行人工校对，并将原始的录音数据处理成短句，对处理后的音频进行统一标号并将其文本对应音素序列进行保存；
标准发音人语音参数特征提取模块，用于对经过所述标准发音人语音数据获取及预处理模块处理后的语音数据进行特性抽取，包括用于音素边界切分和发音准确性判断的MFCC参数，以及用于韵律准确性检测的韵律参数，最后将提取得到的语音特征进行统一标号并保存，至此完成标准发音库构建模块的构建。
进一步的，所述语音识别声学模型训练模块包括：国学经典发音词典构建模块、普适性语音识别声学模型训练模块和基于国学经典语音识别声学模型训练模块。
国学经典发音词典构建模块，用于生成了国学经典中的词和音素之间的映射关系；
普适性语音识别声学模型训练模块，用于额外的语音数据集，进行具有普适性的语音识别声学模型引擎的训练，得到具有普适性的所述语音识别声学模型引擎；
基于国学经典语音识别声学模型训练模块，将训练得到的具有普适性的所述语音识别声学模型引擎作为初始的模型，并所述标准发音库构建模块中的国学经典数据，进行自适应声学模型训练，以得到基于国学经典的所述语音识别声学模型引擎。
进一步的，所述语音特征提取模块包括：基频提取模块、半倍频检测模块、数据平滑模块和MFCC参数提取模块。
基频提取模块：运用传统的基频提取算法对学习者的音频进行直接的基频提取，在提取得到的所述基频后加入了半倍频检测模块和数据平滑模块，最终得到平滑的基频曲线；
半倍频检测模块：利用前后几帧的基频平均值跟当前帧的基频值进行比较，判断基频值的提取是否正常；
数据平滑模块：对经过半倍频检测模块处理后的基频进行7点平滑处理；
MFCC参数提取模块：运用传统的MFCC提取算法对学习者的音频进行直接的 MFCC参数提取。
进一步的，所述基频值的提取是否正常的具体判断步骤如下：利用前后几帧的基频平均值跟当前帧的基频值Pitch进行比较，当时，则当前帧是倍频帧，进而将其基频值设为 Pitch＝Pitch/2；而当时，则当前帧是半频帧，进而将其基频值设为Pitch＝2Pitch；其他的情况，则认为基频值提取正常，其值不做改变。
进一步的，所述韵律准确性检测模块包括：韵律特征集中模块、基频评价模块、基频评价结果输出模块、停顿评价模块、语速归一化模块和时长评分模块。
韵律特征集中模块：将所述语音特征提取模块的学习者的基频特征和所述音素边界切分模块切分得到的音素序列及时间边界信息，进行统一结构化表示，以便后续使用；
基频评价模块：首先通过所述标准发音库构建模块的统一标号查找学习者的发音音频在标准发音库中的对应的标号，得到学习者发音音频所对应的标准发音音库；进而将所述语音特征提取模块提取得到基频特征与搜索得到的对应标准音库中存储的基频特征进行评价；在评价法方法上，采用了单词级别的归一化平均基频差作为权衡办法；在单词级别上，采用皮尔逊相关系数评价的度量方法来衡量学习者的语音和标准语音的基频差；
基频评价结果输出模块：当句子中某个单词级别的皮尔逊相关系数小于 0.2，认为学习者的语音与标准语音在该单词上的基频走势差异较大，并进行警告或错误信息存储；
停顿评价模块：用于判断学习者停顿的位置是否合理进行判断；
语速归一化模块：用于补偿发音人由语速的差异所带来的不利影响，对音素时长进行归一化；
时长评分模块：用于将学习者的时间边界和标准发音的时间边界分别经过所述语速归一化模块后，判断时长是否正常。
进一步的，所述皮尔逊相关系数评价的度量方法如下：需要用DTW算法对学习者的语音和标准语音的基频序列进行对齐操作，设经过DTW对齐后的学习者的语音和标准语音单词级别的基频序列分别为Xi...XN和Yi...YN，则其对应的基频打分值为：其中和分别为基频序列Xi...XN和Yi...YN的均值。
进一步的，所述语速归一化模块的的归一化步骤如下：以帧为单位计算第i 段语音的时长时，在文本有关的情况下，可以通过音素所在单词wi的时长 dwi对第i段语音时长di进行归一化，具体公式为
进一步的，所述时长评分模块判断时长是否正常的具体步骤如下：设 f(di)和分别为学习者和标准发音人经过语速归一化后第i段语音的时长，则当时，认为学习者在这段发音时时长过长；当时，认为学习者在这段发音时时短；并进行警告或错误信息存储。其他情况则认为时长正常。
进一步的，所述综合评价模块包括：错误信息提取模块、权重自动设定模块和综合评价显示模块。
所述错误信息提取模块：从所述发音准确性检测模块中得到发音错误的信息，从所述韵律准确性检测模块得到基频、时长和停顿相关的错误信息；
权重自动设定模块：为了衡量子模块的发音错误、基频错误、时长错误和停顿错误对最终发音质量的评价结果的影响，采用线性回归的方法对不同的子模块对最后评分的结果的权重影响进行自动设定；
综合评价显示模块：对错误信息提取模块中得到的发音、基频、时长和停顿相关的错误信息进行显示，显示其在语句中具体位置上的错误。
由于采用上述技术方案，具有以下有益效果：
从上述技术方案可以看出，本发明一种基于国学经典学习的韵律自动评价系统具有以下有益效果：
(1)本发明中，不仅对发音的准确性进行评价，还对发音的韵律准确性(包括基频、时长、停顿等信息)进行评价。这样的系统能够更加对国学经典的这种抑扬顿挫进行更好、更客观、更全面、更准确的评价；
(2)本发明中，对发音的准确性和韵律的准确性都提供了错误的判断和反馈机制，都会告诉学习者自己发音的具体错误、哪个地方有误。这样的系统给出的更是学习者想要的结果，而不仅仅是一个单纯的打分或评级，更加有利于学习者发现发音问题并改正发音问题。
(3)本发明中，语音特征提取模块，其中在基频的提取中，增加了半倍频检测和平滑处理模块，大大减少了基频提取中普遍存在的半倍频和不平滑的现象，使得提取得到的基频轨迹更加光滑，更能反映学习者的基频走势。
(4)本发明中，综合评价模块，其中每个子模块，包括发音准确性模块和韵律准备性模块中的子模块基频、时长、停顿等对最终打分的影响的权重是通过统计机器学习的方法得到的，而不是人为手工设定的，更加具有普适性和科学性。
附图说明
下面结合附图对本发明作进一步说明：
图1是本发明提供的一种基于国学经典学习的韵律自动评价系统的结构示意图；
图2是本发明实施例一种基于国学经典学习的韵律自动评价系统中标准音库构建模块的结构示意图；
图3是本发明实施例一种基于国学经典学习的韵律自动评价系统中的语音识别声学模型训练模块的结构示意图；
图4是本发明实施例一种基于国学经典学习的韵律自动评价系统中的语音特征提取模块的结构示意图；
图5是本发明实施例一种基于国学经典学习的韵律自动评价系统中的发音准确性检测模块的结构示意图；
图6是本发明实施例一种基于国学经典学习的韵律自动评价系统中的韵律准确性检测模块的结构示意图；
图7是本发明实施例一种基于国学经典学习的韵律自动评价系统中的综合评价模块的结构示意图。
标号说明
1-标准发音库构建模块；11-标准发音人语音数据获取及预处理模块；12-标准发音人语音参数特征提取模块；2-语音识别声学模型训练模块；21-国学经典发音词典构建模块；22-普适性语音识别声学模型训练模块；23-基于国学经典语音识别声学模型训练模块；3-语音数据采集模块；4-语音特征提取模块；41-基频提取模块；42-半倍频检测模块；43-数据平滑模块；44-MFCC参数提取模块； 5-发音准确性检测模块；51-发音音素自动识别模块；52-发音准确性检测及判断模块；6-音素边界切分模块；7-韵律准确性检测模块；71-韵律特征集中模块； 72-基频评价模块；73-基频评价结果输出模块；74-停顿评价模块；75-语速归一化模块；76-时长评分模块；8-综合评价模块；81-错误信息提取模块；82- 权重自动设定模块；83-综合评价显示模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在本发明的一个示例性实施例中，给出了一种基于国学经典学习的韵律自动评价系统，如图1所示，本实施例包括包括标准发音库构建模块，语音识别声学模型训练模块，语音数据采集模块，语音特征提取模块，发音准确性检测模块，音素边界切分模块，韵律准确性检测模块以及综合评价模块；
标准发音库构建模块，用于对标准发音人所朗读的国学经典音频进行处理，抽取发音自动评价所需的语音参数特征，由此构建国学经典学习的标准发音库；
语音识别声学模型训练模块：该模块与标准发音库构建模块相连，利用标准音库中的语音数据进行语音识别声学模型的训练；
语音数据采集模块，用于采集学习者的语音数据；
语音特征提取模块：与语音数据采集模块相连，用于从所接收到的学习者的语音数据中提取用于发音准确性检测和韵律准确性检测的语音特征参数，包括用于音素边界切分和发音准确性判断的MFCC参数，以及用于韵律准确性检测的基频参数；
发音准确性检测模块：与语音特征提取模块、语音识别声学模型训练模块和标准发音库构建模块相连，利用训练好的基于国学经典学习的所述语音识别声学模型引擎对所述语音特征提取模块提取得到的语音特征进行音素的自动识别，并与所述标准发音库中的音素序列进行对比，得到最终音素错误信息；
音素边界切分模块：与语音特征提取模块和语音识别声学模型训练模块相连，利用训练好的基于国学经典学习的所述语音识别声学模型引擎对所述语音特征提取模块提取得到的语音特征进行音素边界的切分，给出每个音素对应的时间边界信息；
韵律准确性检测模块，与语音特征提取模块、音素边界切分模块和标准发音库构建模块相连，利用所述语音特征提取模块提取得到的语音参数和所述音素边界切分模块切分得到的音素序列及其时间边界信息，并与所述标准发音库中存储的标准发音人的韵律参数评价，并给出最终韵律上上的错误信息；
综合评价模块：该模块与发音准确性检测模块和韵律准确性检测模块相连，用于结合发音准确性检测模块和韵律准确性检测模块给出的错误提示，反馈给学习者具体哪些地方存在发音问题，并综合发音的准确性和韵律的准备性，给出最终的发音质量的打分结果。
以下分别对各个模块进行详细说明。
图2是本发明实施例一种基于国学经典学习的韵律自动评价系统中标准音库构建模块的结构示意图。如图2所示，标准发音库构建模块1，用于对标准发音人所朗读的国学经典音频进行处理，抽取发音自动评价所需的语音参数特征，由此构建国学经典学习的标准发音库。
标准发音库构建模块1包括：
标准发音人语音数据获取及预处理模块1-1，该模块主要是对标准发音人的诵读国学经典的语音数据进行人工校对，包括校对语音和文本之间的匹配性、发音、停顿、时长和基频上的错误等信息。并将原始的录音数据处理成短句，并对处理后的音频进行统一标号并将其文本对应音素序列进行保存。该标号作为不同国学经典文学之间的唯一标识符，以便后续使用。
标准发音人语音参数特征提取模块1-2，该模块主要是经过模块1-1处理后的语音数据进行特性抽取，包括用于音素边界切分和发音准确性判断的MFCC 参数，以及用于韵律准确性检测的基频、时长和停顿等参数。最后将提取得到的语音特征进行统一标号并保存。
由此，完成标准发音库构建模块1的构建。
图3是本发明实施例一种基于国学经典学习的韵律自动评价系统中的语音识别声学模型训练模块的结构示意图。如图3所示，语音识别声学模型训练模块2，标准发音库构建模块1连接，利用标准音库中的语音数据进行语音识别声学模型的训练，生成训练好的语音识别声学模型引擎。
语音识别声学模型训练模块2包括：
国学经典发音词典构建模块2-1，该模块生成了国学经典中的词和音素之间的映射关系；
普适性语音识别声学模型训练模块2-2，该模块利用额外的语音数据集(约5000h)，进行具有普适性的语音识别声学模型引擎的训练，得到具有普适性的语音识别声学模型引擎。在声学模型的训练中，声学模型的建模方法不做限制，可以是基于隐马尔科夫模型，亦可以是基于深度学习的模型。训练后的模型作为基于国学经典语音识别声学模型训练的初始模型。
基于国学经典语音识别声学模型训练模块2-3，该模块将模块2-2中得到的具有普适性的语音识别声学模型引擎作为初始的模型，并利用标准发音库构建模块1中的国学经典数据(约110h)，进行自适应声学模型训练，以得到基于国学经典语音识别声学模型引擎。基于国学经典语音识别声学模型引擎利用了经典国学语音数据进行自适应训练而得到的，其对国学经典的识别性能将会有一定的提升。
语音数据采集模块3，用于在测试阶段，采集学习者的语音数据。
图4是本发明实施例一种基于国学经典学习的韵律自动评价系统中的语音特征提取模块的结构示意图。如图4所示，语音特征提取模块4，与语音采集模块3相连，用于从所接收到的学习者的语音数据中提取用于发音准确性检测和韵律准确性检测的语音特征参数，包括用于音素边界切分和发音准确性判断的 MFCC参数，以及用于韵律准确性检测的基频参数。
语音特征提取模块4，包括：
基频提取模块4-1：即运用传统的基频提取算法如(Straight等)对学习者的音频进行直接的基频提取。然而这样直接提取的基频不可避免会出现半频、倍频甚至一些比较奇异的点。所以我们在提取得到的基频后加入了半倍频检测模块4-2和数据平滑模块4-3。从而使得这些现象得到削减，最终得到比较平滑的基频曲线。
半倍频检测模块4-2：即利用前后几帧(一般取3-5帧)的基频平均值跟当前帧的基频值Pitch进行比较，当时，则当前帧是倍频帧，进而将其基频值设为Pitch＝Pitch/2；而当时，则当前帧是半频帧，进而将其基频值设为 Pitch＝2Pitch；其他的情况，则认为基频值提取正常，其值不做改变。
数据平滑模块4-3：对经过半倍频检测模块4-2处理后的基频进行7点平滑处理，即用当前帧前后3帧的基频平均值作为当前帧的基频值，以得到较为平滑的基频曲线和基频走势。通常，基频曲线的走势能够反映出语句的重音、语调等韵律信息。
MFCC参数提取模块：即运用传统的MFCC提取算法对学习者的音频进行直接的MFCC参数提取。
图5是本发明实施例一种基于国学经典学习的韵律自动评价系统中的发音准确性检测模块的结构示意图。如图5所示，发音准确性检测模块5，与语音特征提取模块4、语音识别声学模型训练模块2和标准发音库构建模块1连接，利用训练好的语音识别声学模型引擎对输入的语音特征(MFCC)进行音素的自动识别，并与标准发音库中的音素序列进行对比，得到最终音素错误信息。
发音准确性检测模块5包括：
发音音素自动识别模块5-1，该模块将语音特征提取模块4中提取得到的 MFCC参数送入到语音识别声学模型训练模块2中得到的语音识别声学模型引擎中，得到发音人发音的音素序列信息；
发音准确性检测及判断模块5-2，首先通过模块1所述统一标号查找学习者的发音音频在标准发音库构建模块1中的对应的标号，得到学习者发音音频所对应的标准发音音库。进而将模块5-1中得到的音素序列与搜索得到的对应标准音库中存储的文本所对应的音素进行比较，主要包括音素的插入、删除、替换等几种错误。并对对应的错误信息给予记录。
音素边界切分模块6：与语音特征提取模块4和语音识别声学模型训练模块2相连，利用训练好的语音识别声学模型引擎对输入的语音特征(MFCC)进行音素边界的切分，给出每个音素对应的时间边界信息。
图6是本发明实施例一种基于国学经典学习的韵律自动评价系统中的韵律准确性检测模块的结构示意图。如图6所示：韵律准确性检测模块7，与语音特征提取模块4、音素边界切分模块6和标准发音库构建模块1相连，利用语音特征提取得到的语音参数(基频)和音素边界切分模块给出的音素序列及其时间边界信息，并与标准发音库中存储的标准发音人的基频、时长和停顿等韵律参数分别进行基频、时长和停顿等三个方面的评价，并给出最终韵律上(基频、时长和停顿)上的错误信息。
韵律准确性检测模块7包括：
韵律特征集中模块7-1：包括对语音特征提取模块4提取的学习者的基频特征和音素边界切分模块6切分得到的音素序列及其时间边界信息，进行统一结构化表示，以便后续使用。
基频评价模块7-2：首先通过模块1所述统一标号查找学习者的发音音频在标准发音库构建模块1中的对应的标号，得到学习者发音音频所对应的标准发音音库。进而将模块7-1中得到基频特征与搜索得到的对应标准音库中存储的基频特征进行评价。在评价法方法上，本系统采用了单词级别的归一化平均基频差作为权衡办法，即在单词级计算学习者的语音和标准语音的平均基频差，然后在整句求平均。这样可以避免句子级的归一化平均基频差存在的可能忽略局部差别(例如音素级差别)的影响。在单词级别上，本系统采用皮尔逊相关系数评价的度量方法来衡量学习者的语音和标准语音的基频差。由于学习者的语音和标准语音之间的数据长度不一致，在进行两种度量方法的计算之前，需要用DTW算法对学习者的语音和标准语音的基频序列进行对齐操作。设经过 DTW对齐后的学习者的语音和标准语音单词级别的基频序列分别为Xi...XN和Yi...YN，则其对应的基频打分值(即皮尔逊相关系数)为：
其中和分别为基频序列Xi...XN和Yi...YN的均值。
基频评价结果输出模块7-3：当句子中某个单词级别的cov(X，Y)小于 0.2，认为学习者的语音与标准语音在该单词上的基频走势差异较大，并进行警告或错误信息存储。
停顿评价模块7-4：该模块主要是学习者停顿的位置是否合理进行判断。首先通过模块1所述统一标号查找学习者的发音音频在标准发音库构建模块1中的对应的标号，得到学习者发音音频所对应的标准发音音库。进而将模块7-1 中得到音素序列(包含停顿sp这个音素)及其时间边界信息与搜索得到的对应标准音库中存储的音素序列(包含停顿sp这个音素)进行对比。当学习者得到的音素序列和标准发音的音素序列sp的位置不一样时，则认为学习者停顿错误，并进行警告或错误信息存储。
语速归一化模块7-5：考虑不同说话人的语速不同，而且朗读国学经典的时候，每一句话的语速可能都会不太一样，所以再进行时长评价会对时长进行归一化，以消除上述影响。
以帧为单位计算第i段语音的时长时，为了补偿发音人由语速的差异所带来的不利影响，应当对音素时长进行归一化。在文本有关的情况下，可以通过音素所在单词wi的时长dwi对第i段语音时长di进行归一化：
时长评分模块7-6：在将学习者的时间边界(即时长)和标准发音的时间边界分别经过语速归一化模块7-5后。设f(di)和分别为学习者和标准发音人经过语速归一化后第i段语音的时长，则当时，认为学习者在这段发音时时长过长；当时，认为学习者在这段发音时时短；并进行警告或错误信息存储。其他情况则认为时长正常。
而整个句子的时长得分定义为句子中所有音素段长判断为正常的音段个数NNormal对句子中所有音段个数M的比值，即：
图7是本发明实施例一种基于国学经典学习的韵律自动评价系统中的综合 评价模块的结构示意图。如图7所示：综合评价模块8，与发音准确性检测模块 5和韵律准确性检测模块7相连，结合发音准确性检测模块和韵律准确性检测模 块给出的错误提示，反馈给学习者具体哪些地方存在发音问题，并综合发音的 准确性和韵律的准备性，给出最终的发音质量的打分结果。
综合评价模块8，包括：
错误信息提取模块8-1：该模块从发音准确性检测模块5中得到发音错误的信息，并从韵律准确性检测模块7中得到基频、时长和停顿相关的错误信息。
权重自动设定模块8-2：为了衡量发音错误s、基频错误s2、时长错误 s3和停顿错误s4等字模块对最终发音质量的评价结果的影响，本系统采用线性回归的方法对不同的子模块对最后评分的结果的权重影响进行自动设定。具体操作是，人为对一些测试语句进行人为打分，该打分值作为线性回归时的目标值S。即在人为标定的T句测试语句上，使得下式最小， Min∑T(a1s1+a2s2+a3s3+a4s4-S)
这样，就能够得到发音错误s1、基频错误s2、时长错误s3和停顿错误s4所对应的权重a1，a2，a3和a4。
综合评价显示模块8-3：对错误信息提取模块8-1中得到的发音、基频、时长和停顿相关的错误信息进行显示，显示其在语句中具体位置上的错误；此外，通过每个子模块的错误情况，得到发音错误分值s1、基频错误分值s2、时长错误分值s3和停顿错误分值s4，并由权重自动设定模块8-2得到的对应的权重a1，a2，a3和a4给出学习者最终的评分值
S＝a1s1+a2s2+a3s3+a4s4，并进行打分结果显示。
基于以上步骤，能够对任意说话人朗读的经典文学进行发音质量评价，该评价不仅对发音的准确性进行评价，还对韵律的准确性进行评价，进而提高了发音质量评价的准确性和全面性。
本发明一种基于国学经典学习的韵律自动评价系统中标准音库构建模块的结构示意图以C语言编写，在windows平台下和在linux平台下均可使用C程序编程运行，当然也可以采用其他的编程语言编写，在其他平台上运行。
以上仅为本发明的具体实施例，但本发明的技术特征并不局限于此。任何以本发明为基础，为解决基本相同的技术问题，实现基本相同的技术效果，所作出地简单变化、等同替换或者修饰等，皆涵盖于本发明的保护范围之中。
Claims (10)
1.一种基于国学经典学习的韵律自动评价系统，包括标准发音库构建模块，语音识别声学模型训练模块，语音数据采集模块，语音特征提取模块，发音准确性检测模块，音素边界切分模块，韵律准确性检测模块以及综合评价模块；
所述标准发音库构建模块，用于对标准发音人所朗读的国学经典音频进行处理，抽取发音自动评价所需的语音参数特征，由此构建国学经典学习的标准发音库；
所述语音识别声学模型训练模块，与标准发音库构建模块相连，利用标准音库中的语音数据进行语音识别声学模型的训练；
所述语音数据采集模块，用于采集学习者的语音数据；
所述语音特征提取模块，与语音数据采集模块相连，用于从所接收到的学习者的语音数据中提取用于发音准确性检测和韵律准确性检测的语音特征参数，包括用于音素边界切分和发音准确性判断的MFCC参数，以及用于韵律准确性检测的基频参数；
所述发音准确性检测模块，与语音特征提取模块、语音识别声学模型训练模块和标准发音库构建模块相连，利用训练好的基于国学经典学习的所述语音识别声学模型引擎对所述语音特征提取模块提取得到的语音特征进行音素的自动识别，并与所述标准发音库中的音素序列进行对比，得到最终音素错误信息；
所述音素边界切分模块，与语音特征提取模块和语音识别声学模型训练模块相连，利用训练好的基于国学经典学习的所述语音识别声学模型引擎对所述语音特征提取模块提取得到的语音特征进行音素边界的切分，给出每个音素对应的时间边界信息；
所述韵律准确性检测模块，与语音特征提取模块、音素边界切分模块和标准发音库构建模块相连，利用所述语音特征提取模块提取得到的语音参数和所述音素边界切分模块切分得到的音素序列及其时间边界信息，并与所述标准发音库中存储的标准发音人的韵律参数评价，并给出最终韵律上上的错误信息；
所述综合评价模块，与发音准确性检测模块和韵律准确性检测模块相连，用于结合发音准确性检测模块和韵律准确性检测模块给出的错误提示，反馈给学习者具体哪些地方存在发音问题，并综合发音的准确性和韵律的准备性，并给出最终的发音质量的打分结果。
2.根据权利要求1所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述标准发音库构建模块包括：标准发音人语音数据获取及预处理模块和标准发音人语音参数特征提取模块，
标准发音人语音数据获取及预处理模块，用于对标准发音人的诵读国学经典的语音数据进行人工校对，并将原始的录音数据处理成短句，对处理后的音频进行统一标号并将其文本对应音素序列进行保存；
标准发音人语音参数特征提取模块，用于对经过所述标准发音人语音数据获取及预处理模块处理后的语音数据进行特性抽取，包括用于音素边界切分和发音准确性判断的MFCC参数，以及用于韵律准确性检测的韵律参数，最后将提取得到的语音特征进行统一标号并保存，至此完成标准发音库构建模块的构建。
3.根据权利要求1所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述语音识别声学模型训练模块包括：国学经典发音词典构建模块、普适性语音识别声学模型训练模块和基于国学经典语音识别声学模型训练模块，
国学经典发音词典构建模块，用于生成了国学经典中的词和音素之间的映射关系；
普适性语音识别声学模型训练模块，用于额外的语音数据集，进行具有普适性的语音识别声学模型引擎的训练，得到具有普适性的所述语音识别声学模型引擎；
基于国学经典语音识别声学模型训练模块，将训练得到的具有普适性的所述语音识别声学模型引擎作为初始的模型，并所述标准发音库构建模块中的国学经典数据，进行自适应声学模型训练，以得到基于国学经典的所述语音识别声学模型引擎。
4.根据权利要求1所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述语音特征提取模块包括：基频提取模块、半倍频检测模块、数据平滑模块和MFCC参数提取模块，
基频提取模块：运用传统的基频提取算法对学习者的音频进行直接的基频提取，在提取得到的所述基频后加入了半倍频检测模块和数据平滑模块，最终得到平滑的基频曲线；
半倍频检测模块：利用前后几帧的基频平均值跟当前帧的基频值进行比较，判断基频值的提取是否正常；
数据平滑模块：对经过半倍频检测模块处理后的基频进行7点平滑处理；
MFCC参数提取模块：运用传统的MFCC提取算法对学习者的音频进行直接的MFCC参数提取。
5.根据权利要求4所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述基频值的提取是否正常的具体判断步骤如下：利用前后几帧的基频平均值跟当前帧的基频值Pitch进行比较，当时，则当前帧是倍频帧，进而将其基频值设为Pitch＝Pitch/2；而当时，则当前帧是半频帧，进而将其基频值设为Pitch＝2Pitch；其他的情况，则认为基频值提取正常，其值不做改变。
6.根据权利要求1所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述韵律准确性检测模块包括：韵律特征集中模块、基频评价模块、基频评价结果输出模块、停顿评价模块、语速归一化模块和时长评分模块，韵律特征集中模块：将所述语音特征提取模块的学习者的基频特征和所述音素边界切分模块切分得到的音素序列及时间边界信息，进行统一结构化表示，以便后续使用；
基频评价模块：首先通过所述标准发音库构建模块的统一标号查找学习者的发音音频在标准发音库中的对应的标号，得到学习者发音音频所对应的标准发音音库；进而将所述语音特征提取模块提取得到基频特征与搜索得到的对应标准音库中存储的基频特征进行评价；在评价法方法上，采用了单词级别的归一化平均基频差作为权衡办法；在单词级别上，采用皮尔逊相关系数评价的度量方法来衡量学习者的语音和标准语音的基频差；
基频评价结果输出模块：当句子中某个单词级别的皮尔逊相关系数小于0.2，认为学习者的语音与标准语音在该单词上的基频走势差异较大，并进行警告或错误信息存储；
停顿评价模块：用于判断学习者停顿的位置是否合理进行判断；
语速归一化模块：用于补偿发音人由语速的差异所带来的不利影响，对音素时长进行归一化；
时长评分模块：用于将学习者的时间边界和标准发音的时间边界分别经过所述语速归一化模块后，判断时长是否正常。
7.根据权利要求6所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述皮尔逊相关系数评价的度量方法如下：需要用DTW算法对学习者的语音和标准语音的基频序列进行对齐操作，设经过DTW对齐后的学习者的语音和标准语音单词级别的基频序列分别为Xi...XN和Yi...YN，则其对应的基频打分值为：其中和分别为基频序列Xi...XN和Yi...YN的均值。
8.根据权利要求6所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述语速归一化模块的的归一化步骤如下：以帧为单位计算第i段语音的时长时，在文本有关的情况下，可以通过音素所在单词wi的时长dwi对第i段语音时长di进行归一化，具体公式为
9.根据权利要求1所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述时长评分模块判断时长是否正常的具体步骤如下：设f(di)和分别为学习者和标准发音人经过语速归一化后第i段语音的时长，则当时，认为学习者在这段发音时时长过长；当时，认为学习者在这段发音时时短；并进行警告或错误信息存储。其他情况则认为时长正常。
10.根据权利要求1所述的一种基于国学经典学习的韵律自动评价系统，其特征在于：所述综合评价模块包括：错误信息提取模块、权重自动设定模块和综合评价显示模块，
所述错误信息提取模块：从所述发音准确性检测模块中得到发音错误的信息，从所述韵律准确性检测模块得到基频、时长和停顿相关的错误信息；
权重自动设定模块：为了衡量子模块的发音错误、基频错误、时长错误和停顿错误对最终发音质量的评价结果的影响，采用线性回归的方法对不同的子模块对最后评分的结果的权重影响进行自动设定；
综合评价显示模块：对错误信息提取模块中得到的发音、基频、时长和停顿相关的错误信息进行显示，显示其在语句中具体位置上的错误。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910247547.4A CN110085257A (zh) | 2019-03-29 | 2019-03-29 | 一种基于国学经典学习的韵律自动评价系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910247547.4A CN110085257A (zh) | 2019-03-29 | 2019-03-29 | 一种基于国学经典学习的韵律自动评价系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110085257A true CN110085257A (zh) | 2019-08-02 |
Family
ID=67413769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910247547.4A Pending CN110085257A (zh) | 2019-03-29 | 2019-03-29 | 一种基于国学经典学习的韵律自动评价系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110085257A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827801A (zh) * | 2020-01-09 | 2020-02-21 | 成都无糖信息技术有限公司 | 一种基于人工智能的自动语音识别方法及系统 |
| CN112017694A (zh) * | 2020-08-25 | 2020-12-01 | 天津洪恩完美未来教育科技有限公司 | 语音数据的评测方法和装置、存储介质和电子装置 |
| CN112289298A (zh) * | 2020-09-30 | 2021-01-29 | 北京大米科技有限公司 | 合成语音的处理方法、装置、存储介质以及电子设备 |
| CN112349300A (zh) * | 2020-11-06 | 2021-02-09 | 北京乐学帮网络技术有限公司 | 一种语音评测方法及装置 |
| CN112397056A (zh) * | 2021-01-20 | 2021-02-23 | 北京世纪好未来教育科技有限公司 | 语音评测方法及计算机存储介质 |
| CN112802456A (zh) * | 2021-04-14 | 2021-05-14 | 北京世纪好未来教育科技有限公司 | 一种语音评测打分方法、装置、电子设备及存储介质 |
| CN112967736A (zh) * | 2021-03-02 | 2021-06-15 | 厦门快商通科技股份有限公司 | 发音质量检测方法、系统、移动终端及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1750121A (zh) * | 2004-09-16 | 2006-03-22 | 北京中科信利技术有限公司 | 一种基于语音识别及语音分析的发音评估方法 |
| CN101727902A (zh) * | 2008-10-29 | 2010-06-09 | 中国科学院自动化研究所 | 一种对语调进行评估的方法 |
| CN101739870A (zh) * | 2009-12-03 | 2010-06-16 | 深圳先进技术研究院 | 交互式语言学习系统及交互式语言学习方法 |
| CN101740024A (zh) * | 2008-11-19 | 2010-06-16 | 中国科学院自动化研究所 | 基于广义流利的口语流利度自动评估方法 |
| CN102194454A (zh) * | 2010-03-05 | 2011-09-21 | 富士通株式会社 | 用于检测连续语音中的关键词的设备和方法 |
| CN102354495A (zh) * | 2011-08-31 | 2012-02-15 | 中国科学院自动化研究所 | 半开放式口语试题的测试方法及系统 |
| CN104810017A (zh) * | 2015-04-08 | 2015-07-29 | 广东外语外贸大学 | 基于语义分析的口语评测方法和系统 |
| CN106531185A (zh) * | 2016-11-01 | 2017-03-22 | 上海语知义信息技术有限公司 | 基于语音相似度的语音评测方法及系统 |
| CN107945788A (zh) * | 2017-11-27 | 2018-04-20 | 桂林电子科技大学 | 一种文本相关的英语口语发音错误检测与质量评分方法 |
| CN108766415A (zh) * | 2018-05-22 | 2018-11-06 | 清华大学 | 一种语音测评方法 |
| CN108806722A (zh) * | 2017-04-21 | 2018-11-13 | 艾于德埃林公司 | 用于自动情感状态推断的方法和自动化情感状态推断系统 |
| CN108806719A (zh) * | 2018-06-19 | 2018-11-13 | 合肥凌极西雅电子科技有限公司 | 交互式语言学习系统及其方法 |
-
2019
- 2019-03-29 CN CN201910247547.4A patent/CN110085257A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1750121A (zh) * | 2004-09-16 | 2006-03-22 | 北京中科信利技术有限公司 | 一种基于语音识别及语音分析的发音评估方法 |
| CN101727902A (zh) * | 2008-10-29 | 2010-06-09 | 中国科学院自动化研究所 | 一种对语调进行评估的方法 |
| CN101740024A (zh) * | 2008-11-19 | 2010-06-16 | 中国科学院自动化研究所 | 基于广义流利的口语流利度自动评估方法 |
| CN101739870A (zh) * | 2009-12-03 | 2010-06-16 | 深圳先进技术研究院 | 交互式语言学习系统及交互式语言学习方法 |
| CN102194454A (zh) * | 2010-03-05 | 2011-09-21 | 富士通株式会社 | 用于检测连续语音中的关键词的设备和方法 |
| CN102354495A (zh) * | 2011-08-31 | 2012-02-15 | 中国科学院自动化研究所 | 半开放式口语试题的测试方法及系统 |
| CN104810017A (zh) * | 2015-04-08 | 2015-07-29 | 广东外语外贸大学 | 基于语义分析的口语评测方法和系统 |
| CN106531185A (zh) * | 2016-11-01 | 2017-03-22 | 上海语知义信息技术有限公司 | 基于语音相似度的语音评测方法及系统 |
| CN108806722A (zh) * | 2017-04-21 | 2018-11-13 | 艾于德埃林公司 | 用于自动情感状态推断的方法和自动化情感状态推断系统 |
| CN107945788A (zh) * | 2017-11-27 | 2018-04-20 | 桂林电子科技大学 | 一种文本相关的英语口语发音错误检测与质量评分方法 |
| CN108766415A (zh) * | 2018-05-22 | 2018-11-06 | 清华大学 | 一种语音测评方法 |
| CN108806719A (zh) * | 2018-06-19 | 2018-11-13 | 合肥凌极西雅电子科技有限公司 | 交互式语言学习系统及其方法 |
Non-Patent Citations (2)
| Title |
|---|
| （德）陶特: "《地球科学中的MATLAB应用：第3版》", 31 July 2015 * |
| 黄孝建: "《第6章 多媒体信息获取与输出技术》", 《多媒体技术（第2版）》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827801A (zh) * | 2020-01-09 | 2020-02-21 | 成都无糖信息技术有限公司 | 一种基于人工智能的自动语音识别方法及系统 |
| CN110827801B (zh) * | 2020-01-09 | 2020-04-17 | 成都无糖信息技术有限公司 | 一种基于人工智能的自动语音识别方法及系统 |
| CN112017694A (zh) * | 2020-08-25 | 2020-12-01 | 天津洪恩完美未来教育科技有限公司 | 语音数据的评测方法和装置、存储介质和电子装置 |
| CN112017694B (zh) * | 2020-08-25 | 2021-08-20 | 天津洪恩完美未来教育科技有限公司 | 语音数据的评测方法和装置、存储介质和电子装置 |
| CN112289298A (zh) * | 2020-09-30 | 2021-01-29 | 北京大米科技有限公司 | 合成语音的处理方法、装置、存储介质以及电子设备 |
| CN112349300A (zh) * | 2020-11-06 | 2021-02-09 | 北京乐学帮网络技术有限公司 | 一种语音评测方法及装置 |
| CN112397056A (zh) * | 2021-01-20 | 2021-02-23 | 北京世纪好未来教育科技有限公司 | 语音评测方法及计算机存储介质 |
| CN112397056B (zh) * | 2021-01-20 | 2021-04-09 | 北京世纪好未来教育科技有限公司 | 语音评测方法及计算机存储介质 |
| CN112967736A (zh) * | 2021-03-02 | 2021-06-15 | 厦门快商通科技股份有限公司 | 发音质量检测方法、系统、移动终端及存储介质 |
| CN112802456A (zh) * | 2021-04-14 | 2021-05-14 | 北京世纪好未来教育科技有限公司 | 一种语音评测打分方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110085257A (zh) | 一种基于国学经典学习的韵律自动评价系统 | |
| US7219059B2 (en) | Automatic pronunciation scoring for language learning | |
| CN107221318B (zh) | 英语口语发音评分方法和系统 | |
| US6961704B1 (en) | Linguistic prosodic model-based text to speech | |
| US9613638B2 (en) | Computer-implemented systems and methods for determining an intelligibility score for speech | |
| Narendra et al. | Development of syllable-based text to speech synthesis system in Bengali | |
| US6618702B1 (en) | Method of and device for phone-based speaker recognition | |
| CN110085262A (zh) | 语音情绪交互方法、计算机设备和计算机可读存储介质 | |
| US20060074655A1 (en) | Method and system for the automatic generation of speech features for scoring high entropy speech | |
| US9087519B2 (en) | Computer-implemented systems and methods for evaluating prosodic features of speech | |
| Stan et al. | TUNDRA: a multilingual corpus of found data for TTS research created with light supervision | |
| Mouaz et al. | Speech recognition of moroccan dialect using hidden Markov models | |
| CN102122507A (zh) | 一种运用人工神经网络进行前端处理的语音检错方法 | |
| CN101246685A (zh) | 计算机辅助语言学习系统中的发音质量评价方法 | |
| Liu et al. | A systematic strategy for robust automatic dialect identification | |
| JP2007219286A (ja) | 音声のスタイル検出装置、その方法およびそのプログラム | |
| Adell et al. | Comparative study of automatic phone segmentation methods for TTS | |
| CN117711444B (zh) | 一种基于口才表达的互动方法、装置、设备及存储介质 | |
| Cao et al. | Decision tree based Mandarin tone model and its application to speech recognition | |
| JP3735209B2 (ja) | 話者認識装置及び方法 | |
| Huang et al. | English mispronunciation detection based on improved GOP methods for Chinese students | |
| Karabetsos et al. | One-class classification for spectral join cost calculation in unit selection speech synthesis | |
| Khanal et al. | Mispronunciation detection and diagnosis for Mandarin accented English speech | |
| CN108198575A (zh) | 一种基于语谱切分的中国民族声乐作品演唱的评测系统 | |
| CN110164414B (zh) | 语音处理方法、装置及智能设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |
|
| RJ01 | Rejection of invention patent application after publication |