CN114999526B - 一种利用发音属性和参考文本的发音偏误检测方法及装置 - Google Patents

一种利用发音属性和参考文本的发音偏误检测方法及装置 Download PDF

Info

Publication number
CN114999526B
CN114999526B CN202210466983.2A CN202210466983A CN114999526B CN 114999526 B CN114999526 B CN 114999526B CN 202210466983 A CN202210466983 A CN 202210466983A CN 114999526 B CN114999526 B CN 114999526B
Authority
CN
China
Prior art keywords
pronunciation
block
sequence
phoneme
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210466983.2A
Other languages
English (en)
Other versions
CN114999526A (zh
Inventor
解焱陆
陈琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING LANGUAGE AND CULTURE UNIVERSITY
Original Assignee
BEIJING LANGUAGE AND CULTURE UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING LANGUAGE AND CULTURE UNIVERSITY filed Critical BEIJING LANGUAGE AND CULTURE UNIVERSITY
Priority to CN202210466983.2A priority Critical patent/CN114999526B/zh
Publication of CN114999526A publication Critical patent/CN114999526A/zh
Application granted granted Critical
Publication of CN114999526B publication Critical patent/CN114999526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Abstract

本发明公开了一种利用发音属性和参考文本的发音偏误检测方法及装置，所述方法包括：提取二语学习者语音帧的发音属性，得到第一发音属性序列；将参考文本中的标准音素序列映射到发音属性，得到第二发音属性序列；采用逐块注意力机制，将第一发音属性序列和第二发音属性序列进行分块对齐；对齐后提取音素向量，并与声学特征和发音特征拼接后作为检测模型的输入，进行发音偏误检测。本发明在发音偏误检测任务中加入参考文本信息，采用逐块注意力机制，利用发音属性作为约束条件将参考文本和二语学习者的语音分块对齐，利用参考文本中有效信息的同时避免了引入误导性信息和造成对误发音的错误接受，提升了系统音素识别能力和发音偏误检测能力。

Description

一种利用发音属性和参考文本的发音偏误检测方法及装置
技术领域
本发明涉及发音偏误检测技术领域，特别涉及一种利用发音属性和参考文本的发音偏误检测方法及装置。
背景技术
计算机辅助发音训练(CAPT)为二语学习者提供个性化的发音反馈，使二语学习者在缺少语言教师的情况下也能学习外语。发音偏误检测(MD&D)是计算机辅助发音教学的重要组成部分，它为二语学习者指出发音中的错误并提供音素级反馈，以提高二语学习者的学习效率。发音偏误检测为第二语言学习者提供了自主语言学习的机会，可以作为教师指导的补充，提供个性化的反馈，也可以缓解教师短缺的问题。
到目前为止，已有的发音偏误检测方法可以大致分为两类。第一类是基于语音评分的方法，它基于自动语音识别的置信度计算音素级的语音评分。基于对数似然比检验的发音良好度评价方法(GOP)及其变体[S.M.Witt and S.J.Young,“Phone-levelpronunciation scoring and assessment for interactive language learning,”Speech communication,vol.30,no.2-3,pp.95–108,2000]，是该类别中最具代表性的方法。第二类方法旨在评估发音错误的细节，对特定错误提供诊断反馈，如音素的替换、删除和插入错误[W.Lo,S.Zhang,and H.Meng,“Automatic derivation of phonologicalrules for mispronunciation detection in a computer assisted pronunciationtraining system,”Proceedings of the INTERSPEECH,pp.765–768,2010]，[X.Qian,F.K.Soong,and H.Meng,“Discriminative acoustic model for improvingmispronunciation detection and diagnosis in computer-aided pronunciationtraining(CAPT),”in International Speech Communication Association,2010]。这类方法中一个著名的方法是扩展识别网络(ERN)[Alissa M Harrison,Wai-Kit Lo,Xiao-junQian,and Helen Meng,“Implementation of an extended recognition network formispronunciation detection and diagnosis in computer-assisted pronunciationtraining,”in International Workshop on Speech and Language Technology inEducation,2009]，它利用语音规则扩展自动语音识别的解码网络，从而可以很容易地根据语音识别输出与相应的文本提示的比较提供诊断反馈。另外，基于深度神经网络的端到端(End-to-End，E2E)自动语音识别方法也被引入到发音偏误检测任务中。
发音偏误检测的过程是首先给学习者一个预定的参考文本和一个发音示范，学习者尝试模仿参考文本的标准发音。系统进行音素识别，然后将识别到的音素序列与参考文本的标准音素序列进行比对，以检测错误的发音。由于参考文本是已知的，上述现有技术在音素识别过程中忽略这些先验知识是一种浪费。因此，除了声学特征外，参考文本信息可以作为模型的另一个输入。如何合理地引入参考文本信息成为发音偏误检测任务中的一个亟待解决的问题。
发明内容
针对上述问题，本发明的目的在于提供一种利用发音属性和参考文本的发音偏误检测方法及装置，将参考文本的音素序列与二语学习者的语音对齐，对齐后将相应的音素向量和每个语音帧的声学特征拼接起来作为模型的输入，有助于模型音素识别和发音偏误检测性能提高。
为解决上述技术问题，本发明的实施例提供如下方案：
一方面，提供一种利用发音属性和参考文本的发音偏误检测方法，包括以下步骤：
S1、提取二语学习者语音帧的发音属性，得到第一发音属性序列；
S2、将参考文本中的标准音素序列映射到发音属性，得到第二发音属性序列；
S3、采用逐块注意力机制，将所述第一发音属性序列和所述第二发音属性序列进行分块对齐；
S4、对齐后提取音素向量，并与声学特征和发音特征拼接后作为检测模型的输入，进行发音偏误检测。
优选地，所述发音属性基于发音特征空间，从下巴、唇分离、唇圆、舌前部、舌高度、舌尖软腭、发声八个维度进行描述，每个维度根据程度不同划分为多个等级。
优选地，所述步骤S1中，通过预训练模型Wav2vec 2.0作为提取器来提取发音属性。
优选地，所述步骤S2中，通过预设的映射表将参考文本中的标准音素序列映射到发音属性。
优选地，所述步骤S3中，采用逐块注意力机制将所述第二发音属性序列分割成块，将所述第一发音属性序列与所述第二发音属性进行分块对齐；
其中，所述第一发音属性序列为[d1，...，dt]，di代表第i个语音帧的发音属性，所述第二发音属性序列为[h1，...，hn]，hj代表第j个标准音素的发音属性，块的大小设定为3，包括hj、hj+1、hj+2。
优选地，所述步骤S4中，在每个块中，di分别与hj、hj+1、hj+2计算相似度；如果三个相似度中有任一个大于预设阈值，则提取块中三个标准音素对应的发音属性的向量表征作为音素向量，并与声学特征和发音特征拼接后作为检测模型的输入；如果三个相似度都小于预设阈值，则认为di代表的语音帧在标准音素序列中不存在，此时提取全零向量与声学特征和发音特征拼接后作为检测模型的输入。
优选地，以块内三个相似度为权重加权三个音素向量，之后将加权后的音素向量在通道维度与声学特征和发音特征进行拼接，形成一个二通道特征，作为检测模型的输入。
优选地，采用文本编码器提取音素向量。
优选地，所述预设阈值为0.8。
另一方面，提供一种利用发音属性和参考文本的发音偏误检测装置，包括：
提取模块，用于提取二语学习者语音帧的发音属性，得到第一发音属性序列；
映射模块，用于将参考文本中的标准音素序列映射到发音属性，得到第二发音属性序列；
对齐模块，用于采用逐块注意力机制，将所述第一发音属性序列和所述第二发音属性序列进行分块对齐；
输入模块，用于对齐后提取音素向量，并与声学特征和发音特征拼接后作为检测模型的输入，进行发音偏误检测。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，在发音偏误检测任务中加入参考文本信息，采用逐块注意力机制，利用发音属性作为约束条件将参考文本和二语学习者的语音分块对齐，在发音属性的约束下，利用参考文本中有效信息的同时避免了引入误导性信息和造成对误发音的错误接受，提升了系统音素识别能力和发音偏误检测能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种利用发音属性和参考文本的发音偏误检测方法的流程图；
图2a和图2b分别是现有基于注意力的软对齐方式和本发明实施例提供的利用发音属性的逐块对齐方式的示意图；
图3是本发明实施例提供的模型结构与输入特征使用示意图。
如图所示，为了能明确实现本发明的实施例的结构，在图中标注了特定的结构和器件，但这仅为示意需要，并非意图将本发明限定在该特定结构、器件和环境中，根据具体需要，本领域的普通技术人员可以将这些器件和环境进行调整或者修改，所进行的调整或者修改仍然包括在本发明的保护范围中。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例首先提供了一种利用发音属性和参考文本的发音偏误检测方法，如图1所示，所述方法包括以下步骤：
S1、提取二语学习者语音帧的发音属性，得到第一发音属性序列。
发音属性可以用来衡量发音质量，并根据发音的方式和位置，如舌位的高度，给出纠正性反馈。本步骤中，发音属性基于文献[J.Tepperman and S.S.Narayanan,“Usingarticulatory representations to detect segmental errors in nonnativepronunciation,”IEEE Transactions on Audio,Speech,and Language Processing,vol.16,pp.8–22,2008]提出的发音特征空间，从下巴、唇分离、唇圆、舌前部、舌高度、舌尖软腭、发声八个维度进行描述，每个维度根据程度不同划分为多个等级，如表1所示。
表1：发音属性空间
Figure BDA0003624733510000051
本发明实施例中，可以通过预训练模型Wav2vec 2.0作为提取器来提取发音属性。
S2、将参考文本中的标准音素序列映射到发音属性，得到第二发音属性序列。
本步骤中，通过预设的映射表将参考文本中的标准音素序列映射到发音属性。所述映射表可以采用文献[J.Tepperman and S.S.Narayanan,“Using articulatoryrepresentations to detect segmental errors in nonnative pronunciation,”IEEETransactions on Audio,Speech,and Language Processing,vol.16,pp.8–22,2008]提出的映射表。
S3、采用逐块注意力机制，将所述第一发音属性序列和所述第二发音属性序列进行分块对齐。
本步骤中，首先采用逐块注意力机制将所述第二发音属性序列分割成块，之后将所述第一发音属性序列与所述第二发音属性进行分块对齐。图2a和图2b分别是现有基于注意力的软对齐方式和本发明实施例提供的利用发音属性的逐块对齐方式的示意图，虚线为设置的块，每个语音帧只与块内三个音素做软对齐，而块的位置会自适应地移动。
其中，所述第一发音属性序列为[d1，...，dt]，di代表第i个语音帧的发音属性，所述第二发音属性序列为[h1，...，hn]，hj代表第j个标准音素的发音属性，块的大小设定为3，包括hj、hj+1、hj+2。
S4、对齐后提取音素向量，并与声学特征和发音特征拼接后作为检测模型的输入，进行发音偏误检测。
在每个块中，di分别与hj、hj+1、hj+2计算相似度；如果三个相似度中有任一个大于预设阈值(例如：设置为0.8)，则采用文本编码器提取块中三个标准音素对应的发音属性的向量表征作为音素向量，并与声学特征和发音特征拼接后作为检测模型的输入；如果三个相似度都小于预设阈值，则认为di代表的语音帧在标准音素序列中不存在，此时提取全零向量与声学特征和发音特征拼接后作为检测模型的输入。
提取的音素向量与声学特征和发音特征拼接后的尺寸大小相同。以块内三个相似度为权重加权三个音素向量，之后将加权后的音素向量在通道维度与声学特征和发音特征进行拼接，形成一个二通道特征，作为检测模型的输入，如图3所示。
本发明实施例中，在发音偏误检测任务中加入参考文本信息，采用逐块注意力机制，利用发音属性作为约束条件将参考文本和二语学习者的语音分块对齐，在发音属性的约束下，利用参考文本中有效信息的同时避免了引入误导性信息和造成对误发音的错误接受，提升了系统音素识别能力和发音偏误检测能力。
相应地，本发明的实施例还提供了一种利用发音属性和参考文本的发音偏误检测装置，包括：
提取模块，用于提取二语学习者语音帧的发音属性，得到第一发音属性序列；
映射模块，用于将参考文本中的标准音素序列映射到发音属性，得到第二发音属性序列；
对齐模块，用于采用逐块注意力机制，将所述第一发音属性序列和所述第二发音属性序列进行分块对齐；
输入模块，用于对齐后提取音素向量，并与声学特征和发音特征拼接后作为检测模型的输入，进行发音偏误检测。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
需要说明的是，在说明书中提到“一个实施例”、“实施例”、“示例性实施例”、“一些实施例”等指示所述的实施例可以包括特定特征、结构或特性，但未必每个实施例都包括该特定特征、结构或特性。另外，在结合实施例描述特定特征、结构或特性时，结合其它实施例(无论是否明确描述)实现这种特征、结构或特性应在相关领域技术人员的知识范围内。
通常，可以至少部分从上下文中的使用来理解术语。例如，至少部分取决于上下文，本文中使用的术语“一个或多个”可以用于描述单数意义的任何特征、结构或特性，或者可以用于描述复数意义的特征、结构或特性的组合。另外，术语“基于”可以被理解为不一定旨在传达一组排他性的因素，而是可以替代地，至少部分地取决于上下文，允许存在不一定明确描述的其他因素。
如本文使用的，术语“标称/标称地”是指在生产或制造过程的设计阶段期间设置的针对部件或过程操作的特性或参数的期望或目标值，以及高于和/或低于期望值的值的范围。值的范围可能是由于制造过程或容限中的轻微变化导致的。如本文使用的，术语“大约”指示可以基于与主题半导体器件相关联的特定技术节点而变化的给定量的值。基于特定技术节点，术语“大约”可以指示给定量的值，其例如在值的5％-15％(例如，值的±5％、±10％或±15％)内变化。
可以理解的是，本公开中的“在……上”、“在……之上”和“在……上方”的含义应当以最宽方式被解读，以使得“在……上”不仅表示“直接在”某物“上”而且还包括在某物“上”且其间有居间特征或层的含义，并且“在……之上”或“在……上方”不仅表示“在”某物“之上”或“上方”的含义，而且还可以包括其“在”某物“之上”或“上方”且其间没有居间特征或层的含义。
此外，诸如“在…之下”、“在…下方”、“下部”、“在…之上”、“上部”等空间相关术语在本文中为了描述方便可以用于描述一个元件或特征与另一个或多个元件或特征的关系，如在附图中示出的。空间相关术语旨在涵盖除了在附图所描绘的取向之外的在设备使用或操作中的不同取向。设备可以以另外的方式被定向，并且本文中使用的空间相关描述词可以类似地被相应解释。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读取存储介质中，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种利用发音属性和参考文本的发音偏误检测方法，其特征在于，包括以下步骤：
S1、提取二语学习者语音帧的发音属性，得到第一发音属性序列；
S2、将参考文本中的标准音素序列映射到发音属性，得到第二发音属性序列；
S3、采用逐块注意力机制，将所述第一发音属性序列和所述第二发音属性序列进行分块对齐；
所述步骤S3中，采用逐块注意力机制将所述第二发音属性序列分割成块，将所述第一发音属性序列与所述第二发音属性进行分块对齐；
其中，所述第一发音属性序列为[d1，...，dt]，di代表第i个语音帧的发音属性，所述第二发音属性序列为[h1，...，hn]，hj代表第j个标准音素的发音属性，块的大小设定为3，包括hj、hj+1、hj+2；
S4、对齐后提取音素向量，并与声学特征和发音特征拼接后作为检测模型的输入，进行发音偏误检测；
所述步骤S4中，在每个块中，di分别与hj、hj+1、hj+2计算相似度；如果三个相似度中有任一个大于预设阈值，则提取块中三个标准音素对应的发音属性的向量表征作为音素向量，并与声学特征和发音特征拼接后作为检测模型的输入；如果三个相似度都小于预设阈值，则认为di代表的语音帧在标准音素序列中不存在，此时提取全零向量与声学特征和发音特征拼接后作为检测模型的输入。
2.根据权利要求1所述的利用发音属性和参考文本的发音偏误检测方法，其特征在于，所述发音属性基于发音特征空间，从下巴、唇分离、唇圆、舌前部、舌高度、舌尖软腭、发声八个维度进行描述，每个维度根据程度不同划分为多个等级。
3.根据权利要求1所述的利用发音属性和参考文本的发音偏误检测方法，其特征在于，所述步骤S1中，通过预训练模型Wav2vec2.0作为提取器来提取发音属性。
4.根据权利要求1所述的利用发音属性和参考文本的发音偏误检测方法，其特征在于，所述步骤S2中，通过预设的映射表将参考文本中的标准音素序列映射到发音属性。
5.根据权利要求1所述的利用发音属性和参考文本的发音偏误检测方法，其特征在于，以块内三个相似度为权重加权三个音素向量，之后将加权后的音素向量在通道维度与声学特征和发音特征进行拼接，形成一个二通道特征，作为检测模型的输入。
6.根据权利要求1所述的利用发音属性和参考文本的发音偏误检测方法，其特征在于，采用文本编码器提取音素向量。
7.根据权利要求1所述的利用发音属性和参考文本的发音偏误检测方法，其特征在于，所述预设阈值为0.8。
8.一种利用发音属性和参考文本的发音偏误检测装置，其特征在于，包括：
提取模块，用于提取二语学习者语音帧的发音属性，得到第一发音属性序列；
映射模块，用于将参考文本中的标准音素序列映射到发音属性，得到第二发音属性序列；
对齐模块，用于采用逐块注意力机制，将所述第一发音属性序列和所述第二发音属性序列进行分块对齐；
所述对齐模块中，采用逐块注意力机制将所述第二发音属性序列分割成块，将所述第一发音属性序列与所述第二发音属性进行分块对齐；
其中，所述第一发音属性序列为[d1，...，dt]，di代表第i个语音帧的发音属性，所述第二发音属性序列为[h1，...，hn]，hj代表第j个标准音素的发音属性，块的大小设定为3，包括hj、hj+1、hj+2；
输入模块，用于对齐后提取音素向量，并与声学特征和发音特征拼接后作为检测模型的输入，进行发音偏误检测；
所述输入模块中，在每个块中，di分别与hj、hj+1、hj+2计算相似度；如果三个相似度中有任一个大于预设阈值，则提取块中三个标准音素对应的发音属性的向量表征作为音素向量，并与声学特征和发音特征拼接后作为检测模型的输入；如果三个相似度都小于预设阈值，则认为di代表的语音帧在标准音素序列中不存在，此时提取全零向量与声学特征和发音特征拼接后作为检测模型的输入。
CN202210466983.2A 2022-04-29 2022-04-29 一种利用发音属性和参考文本的发音偏误检测方法及装置 Active CN114999526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210466983.2A CN114999526B (zh) 2022-04-29 2022-04-29 一种利用发音属性和参考文本的发音偏误检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210466983.2A CN114999526B (zh) 2022-04-29 2022-04-29 一种利用发音属性和参考文本的发音偏误检测方法及装置

Publications (2)

Publication Number Publication Date
CN114999526A CN114999526A (zh) 2022-09-02
CN114999526B true CN114999526B (zh) 2023-03-21

Family

ID=83025078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210466983.2A Active CN114999526B (zh) 2022-04-29 2022-04-29 一种利用发音属性和参考文本的发音偏误检测方法及装置

Country Status (1)

Country Link
CN (1) CN114999526B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2575423B (en) * 2018-05-11 2022-05-04 Speech Engineering Ltd Computer implemented method and apparatus for recognition of speech patterns and feedback
CN110428803B (zh) * 2019-07-22 2020-04-28 北京语言大学 一种基于发音属性的发音人国别识别模型建模方法及系统
US11935523B2 (en) * 2019-11-15 2024-03-19 Master English Oy Detection of correctness of pronunciation
CN112802456A (zh) * 2021-04-14 2021-05-14 北京世纪好未来教育科技有限公司 一种语音评测打分方法、装置、电子设备及存储介质
CN113506563A (zh) * 2021-07-06 2021-10-15 北京一起教育科技有限责任公司 一种发音识别的方法、装置及电子设备
CN114373481A (zh) * 2021-12-30 2022-04-19 科大讯飞股份有限公司 发音检错方法及装置、发音检错模型的训练方法及装置

Also Published As

Publication number Publication date
CN114999526A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN112041924A (zh) 通过音素预测进行视觉语音识别
CN106297800B (zh) 一种自适应的语音识别的方法和设备
Arora et al. Phonological feature-based speech recognition system for pronunciation training in non-native language learning
US20140205974A1 (en) Statistical machine translation framework for modeling phonological errors in computer assisted pronunciation training system
Gao et al. A study on robust detection of pronunciation erroneous tendency based on deep neural network.
US11282511B2 (en) System and method for automatic speech analysis
US11810471B2 (en) Computer implemented method and apparatus for recognition of speech patterns and feedback
CN111951825A (zh) 一种发音测评方法、介质、装置和计算设备
CN111681678B (zh) 自动生成音效并匹配视频的方法、系统、装置及存储介质
CN112735404A (zh) 一种语音反讽检测方法、系统、终端设备和存储介质
CN115376491B (zh) 一种语音置信度计算方法、系统、电子设备及介质
Srinivasan et al. Multimodal speech recognition with unstructured audio masking
CN113393841B (zh) 语音识别模型的训练方法、装置、设备及存储介质
Raux et al. Automatic intelligibility assessment and diagnosis of critical pronunciation errors for computer-assisted pronunciation learning.
Liu et al. AI recognition method of pronunciation errors in oral English speech with the help of big data for personalized learning
CN114999526B (zh) 一种利用发音属性和参考文本的发音偏误检测方法及装置
Huang et al. English mispronunciation detection based on improved GOP methods for Chinese students
US20220199071A1 (en) Systems and Methods for Speech Validation
CN111681676B (zh) 视频物体识别构建音频方法、系统、装置及可读存储介质
CN111681680B (zh) 视频识别物体获取音频方法、系统、装置及可读存储介质
CN111128181B (zh) 背诵题评测方法、装置以及设备
Wang et al. Phonological modeling of mispronunciation gradations in L2 English speech of L1 Chinese learners
CN111681679B (zh) 视频物体音效搜索匹配方法、系统、装置及可读存储介质
CN111681677B (zh) 视频物体音效构建方法、系统、装置及可读存储介质
CN115083437B (zh) 一种确定学习者发音的不确定性的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant