CN112116832A - 一种口语练习方法及装置 - Google Patents
一种口语练习方法及装置 Download PDFInfo
- Publication number
- CN112116832A CN112116832A CN201910529770.8A CN201910529770A CN112116832A CN 112116832 A CN112116832 A CN 112116832A CN 201910529770 A CN201910529770 A CN 201910529770A CN 112116832 A CN112116832 A CN 112116832A
- Authority
- CN
- China
- Prior art keywords
- information
- spoken language
- voice information
- user
- exercise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 130
- 230000033764 rhythmic process Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008451 emotion Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 4
- 241001672694 Citrus reticulata Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/067—Combinations of audio and projected visual presentation, e.g. film, slides
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明属于智能产品领域,公开了一种口语练习方法及装置,其方法包括:获取用户选择地口语练习模式;获取口语练习模式对应的练习要求;采集用户的语音信息;通过训练好的口语检测模型对语音信息进行检测,并输出检测结果;根据检测结果,判断语音信息是否符合练习要求;当语音信息中存在不符合练习要求的错误信息时,发出提示信息。本发明通过训练好的口语检测模型对用户的语音信息进行检测,可客观且准确地检测出用户的口语检测结果,以便帮助用户更好的进行口语练习;同时对于不同的口语练习模式设置不同的练习要求,可充分考虑不同用户的实际练习需求,避免因练习要求设置不合理,而降低用户对口语练习的积极性,降低口语练习效果。
Description
技术领域
本发明属于智能产品技术领域,特别涉及一种口语练习方法及装置。
背景技术
用户在学习一门语言的过程中,口语练习是掌握一门语言的必要练习环节。
目前,常用的口语练习方法主要是利用复读机对用户的口语信息进行录音,然后通过复读机播放用户的口语信息,最后通过练习者本人判断其口语是否标准。
此种练习方式对于高年级学生或成人来说,可起到一定的练习作用。但是,对于低年级的学生来说,由于其掌握的知识不多且不具备很好的分辨能力,导致无法很好的分辨自身的口语是否标准,使得上述训练方法无法很好地帮助低年级学生练习其口语,并且还容易导致学生将错误的发音认为是对的,进而导致学生的口语不标准,影响后续的学习和交流。
发明内容
本发明的目的是提供一种口语练习方法及装置,通过训练好的口语检测模型对用户的语音信息进行检测,可客观且准确地检测出用户的口语检测结果,以便帮助用户更好的进行口语练习。
本发明提供的技术方案如下:
一方面,提供一种口语练习方法,包括:
获取用户选择地口语练习模式;
获取所述口语练习模式对应的练习要求;
采集所述用户的语音信息;
通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果;
根据所述检测结果,判断所述语音信息是否符合所述练习要求;
当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息。
进一步优选地,所述当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息之后还包括:
将所述语音信息转换为文字信息;
在所述文字信息中标注出所述错误信息对应的目标文字;
根据所述练习要求,获取所述目标文字的第一助读信息;
将标注后的所述文字信息与所述第一助读信息进行投影显示;
播放所述错误信息对应的标准音频。
进一步优选地,所述播放所述错误信息对应的标准音频之后还包括:
再次采集所述用户的语音信息;
通过所述口语检测模型对再次采集的语音信息进行检测,直至所述再次采集的语音信息符合所述练习要求。
进一步优选地,所述采集所述用户的语音信息之后还包括:
当所述语音信息中包含特定提问词时,获取所述用户的指示信息;
获取所述指示信息对应的目标区域的图像;
识别所述目标区域对应的目标文字信息;
根据所述特定提问词,获取所述目标文字信息对应的第二助读信息,并投影显示;
再次采集所述用户的语音信息;
所述通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果具体包括:
通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
进一步优选地,还包括:
当所述口语练习模式为跟读模式时,投影显示待跟读的目标内容;
所述采集所述用户的语音信息之后还包括:
根据所述语音信息的朗读节奏,在所述目标内容中显示朗读进度标记;
再次采集所述用户的语音信息;
所述通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果具体包括:
通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
另一方面,还提供一种口语练习装置,包括:
模式获取模块,用于获取用户选择地口语练习模式;
要求获取模块,用于获取所述口语练习模式对应的练习要求;
语音采集模块,用于采集所述用户的语音信息;
检测模块,用于通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果;
判断模块,用于根据所述检测结果,判断所述语音信息是否符合所述练习要求;
提示模块,用于当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息。
进一步优选地,还包括:
文字转换模块,用于将所述语音信息转换为文字信息;
标注模块,用于在所述文字信息中标注出所述错误信息对应的目标文字;
助读信息获取模块,用于根据所述练习要求,获取所述目标文字的第一助读信息;
投影模块,用于将标注后的所述文字信息与所述第一助读信息进行投影显示;
播放模块,用于播放所述错误信息对应的标准音频。
进一步优选地,所述语音采集模块,还用于再次采集所述用户的语音信息;
所述检测模块,还用于通过所述口语检测模型对再次采集的语音信息进行检测,直至所述再次采集的语音信息符合所述练习要求。
进一步优选地,还包括:
指示信息获取模块,用于当所述语音信息中包含特定提问词时,获取所述用户的指示信息;
图像获取模块,用于获取所述指示信息对应的目标区域的图像;
文字识别模块,用于识别所述目标区域对应的目标文字信息;
助读信息获取模块,还用于根据所述特定提问词,获取所述目标文字信息对应的第二助读信息;
投影模块,还用于投影显示所述第二助读信息;
所述语音采集模块,还用于再次采集所述用户的语音信息;
所述检测模块,还用于通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
进一步优选地,还包括:
投影模块,用于当所述口语练习模式为跟读模式时,投影显示待跟读的目标内容;
所述投影模块,还用于根据所述语音信息的朗读节奏,在所述目标内容中显示朗读进度标记;
所述语音采集模块,用于再次采集所述用户的语音信息;
所述检测模块,还用于通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
与现有技术相比,本发明提供的一种口语练习方法及装置具有以下有益效果:本发明通过训练好的口语检测模型对用户的语音信息进行检测,可客观且准确地检测出用户的口语检测结果,以便帮助用户更好的进行口语练习;同时对于不同的口语练习模式设置不同的练习要求,可充分考虑不同用户的实际练习需求,避免因练习要求设置不合理,而降低用户对口语练习的积极性,降低口语练习效果。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种口语练习方法及装置的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种口语练习方法的第一实施例的流程示意图;
图2是本发明一种口语练习方法的第二实施例的流程示意图;
图3是本发明一种口语练习方法的第三实施例的流程示意图;
图4是本发明一种口语练习方法的第四实施例的流程示意图;
图5是本发明一种口语练习方法的第五实施例的流程示意图;
图6是本发明一种口语练习装置的一个实施例的结构示意框图。
附图标号说明
11、模式获取模块;12、要求获取模块;13、语音采集模块;14、检测模块;15、判断模块;16、提示模块;17、文字转换模块;18、标注模块;19、助读信息获取模块;20、投影模块;21、播放模块;22、指示信息获取模块;23、图像获取模块;24、文字识别模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
应当理解,当在本说明书中使用时,术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
根据本发明提供的第一实施例,如图1所示,一种口语练习方法,该口语练习方法可应用于智能台灯,该方法包括:
S100获取用户选择地口语练习模式;
具体地,用户在学习时,一般都需要使用台灯,以便为用户提供学习用的照明灯光,因此,家长都会为孩子配备一个台灯。本发明通过在智能台灯上设置口语练习功能,使该智能台灯同时具备照明功能和口语练习功能,不仅可方便用户进行口语练习,而且无需用户再购买其他的智能设备,节省用户的费用。
口语练习模式可包括各种语言,如英语、普通话、日语等。在各种语言的练习模式中又分别包括各种练习模式,如对话练习模式、跟读练习模式、自朗读练习模式等。而在每种练习模式中又包含了不同的等级,每一等级分别对应不同年级的学生。用户可根据自身的学习状况在智能台灯上选择对应的口语练习模式。例如,用户为一年级学生,当前想练习英语口语对话,则可在智能台灯上选择英语口语的对话练习模式,且在该模式下选择与年级相对应的等级。
S200获取所述口语练习模式对应的练习要求;
具体地,用户在智能台灯上选择相应的口语练习模式后,可获取该口语练习模式对应的练习要求。
例如,英语口语的练习要求一般包括发音、语调、流利度、朗读情感等。但是,对于低年级学生来说,还无法很好的运用朗读情感,且其流利度也会较低,因此,不能将所有学生的英语口语的练习要求都设为一样,而需要根据用户的年级特性设置相应的练习要求。所以,在设置口语练习模式时,可预先根据年级特性设置好每个练习模式中的不同等级对应的练习要求。在获取到用户选择地口语练习模式后,即可获取对应的练习要求。
S300采集所述用户的语音信息;
具体地,智能台灯上设置有麦克风,通过麦克风实时采集用户的语音信息,该语音信息可以是用户进行口语练习的语音信息,也可以是其他语音信息。采集到用户的语音信息后,需判断该语音信息是否为进行口语练习的语音信息。例如,用户选择的口语练习模式为英语口语练习,但是采集到的语音信息为中文语音信息,则说明该语音信息不是进行口语练习的语音信息;若采集到的语音信息为英语语音,则说明该语音信息是进行口语练习的语音信息。用户在进行口语练习时,可练习一整段或练习一个句子,即该语音信息可以是整个段落对应的语音信息,也可以是一句话对应的语音信息。
S400通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果;
具体地,在判断出语音信息为进行口语练习的语音信息后,通过预先训练好的口语检测模型对该语音信息进行检测,并输出检测结果。
在训练口语检测模型时,可先获取大量的口语语音信息,然后在口语语音信息中标注出每个词的发音是否标准、语调是否正确、口语语音信息的整体流利度等级以及朗读情感等级等特征。然后将标注后的口语语音信息作为训练样本输入开源的算法模型中,对开源的算法模型进行训练,即可得到训练好的口语检测模型。
口语检测模型在对语音信息进行检测时,输出的检测结果可包括发音不标准的词、语调不正确的词、每个词的流利度、朗读情感评分等。
S500根据所述检测结果,判断所述语音信息是否符合所述练习要求;
具体地,智能台灯得到检测结果后,根据该检测结果判断用户的口语是否符合对应的练习要求。
示例性地,若练习要求中只包括发音要求,则只根据检测结果中的发音检测结果,判断用户进行口语练习的语音信息是否符合要求。若练习要求中包括发音要求和语调要求,则根据检测结果中的发音检测结果和语调检测结果,判断用户的语音信息是否符合要求。
S600当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息。
具体地,当根据检测结果和练习要求,判断出用户进行口语练习的语音信息中包含不符合对应的练习要求的错误信息时,发出语音提示信息提醒用户,或将错误信息进行投影显示。
示例性地,若练习要求为发音要求,当通过口语检测模型检测出用户的语音信息中包含发音不标准的词,则该发音不标准的词即为错误信息,并输出提示信息。
若练习要求为发音要求和语调要求,当通过口语检测模型检测出用户的语音信息中既包含发音不标准的词,又包含语调不正确的词时,则该发音不标准的词和语调不正确的词都为错误信息,在输出提示信息时,需要说明错误的词以及错误的原因,以便用户知晓错在哪里。
本实施例中,通过训练好的口语检测模型对用户的语音信息进行检测,可客观且准确地检测出用户的口语检测结果,以便帮助用户更好的进行口语练习;同时对于不同的口语练习模式设置不同的练习要求,可充分考虑不同用户的实际练习需求,避免因练习要求设置不合理,而降低用户对口语练习的积极性,降低口语练习效果。
根据本发明提供的第二实施例,如图2所示,一种口语练习方法,该口语练习方法可应用于智能台灯,在上述第一实施例的基础上,在步骤S600当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息之后还包括:
S710将所述语音信息转换为文字信息;
S720在所述文字信息中标注出所述错误信息对应的目标文字;
S730根据所述练习要求,获取所述目标文字的第一助读信息;
S740将标注后的所述文字信息与所述第一助读信息进行投影显示;
S750播放所述错误信息对应的标准音频。
具体地,智能台灯在检测出用户的语音信息中存在不符合练习要求的错误信息时,还可将采集到的用户的语音信息转换为文字信息。若该语音信息为中文,则转换为中文文字信息;若该语音信息为英文,则转换为英文文字信息;若该语音信息为日文,则转换为日文文字信息。
得到文字信息后,在文字信息中标注出错误信息对应的目标文字,然后根据练习要求,获取该目标文字对应的第一助读信息。第一助读信息可以是帮助用户朗读的拼音、音标、语调信息、朗读情感信息中的任意一种或多种。若练习要求为发音要求,则第一助读信息为拼音或音标;若练习要求为语调要求,则第一助读信息为语调信息。
然后将转换得到的文字信息和获取到的第一助读信息合并为一张图像进行投影显示。在投影显示时,将目标文字对应的第一助读信息标注在目标文字的后面或标注在目标文字的下面,以方便用户知晓该第一助读信息对应的目标文字是哪个。投影显示后,再播放该错误信息对应的标准音频,以便用户进行跟读练习。
本方案中,通过投影显示助读信息,可帮助用户快速地获取标准的发音或语调等信息,以便用户更方便、更有效的进行口语练习,进而提高用户的使用体验。
根据本发明提供的第三实施例,如图3所示,一种口语练习方法,该口语练习方法可应用于智能台灯,在上述第一实施例的基础上,在步骤S600当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息之后还包括:
S710将所述语音信息转换为文字信息;
S720在所述文字信息中标注出所述错误信息对应的目标文字;
S730根据所述练习要求,获取所述目标文字的第一助读信息;
S740将标注后的所述文字信息与所述第一助读信息进行投影显示;
S750播放所述错误信息对应的标准音频;
S760再次采集所述用户的语音信息;
S770通过所述口语检测模型对再次采集的语音信息进行检测,直至所述再次采集的语音信息符合所述练习要求。
具体地,智能台灯在播放该错误信息对应的标准音频后,再次采集用户的语音信息,然后再通过口语检测模型对该再次采集的语音信息进行检测,并输出检测结果,然后再根据练习要求和检测结果,并判断用户再次输入的语音信息是否符合练习要求,直至用户输入的语音信息符合练习要求,则结束该句话或该段话的口语练习,并进行下一句话或下一段话的口语练习。
用户再次输入的语音信息可以是上次输入的语音信息中的错误信息对应的语音信息,也可以是上次输入的完整语音信息。
若再次输入的语音信息是上次输入的完整语音信息,且检测出该再次输入的语音信息中存在其他错误信息时,继续获取该其他错误信息的第一助读信息,并进行投影显示,直至语音信息中不存在错误信息时,进入下一句话或下一段话的口语练习。
根据本发明提供的第四实施例,如图4所示,一种口语练习方法,该口语练习方法可应用于智能台灯,该方法包括:
S100获取用户选择地口语练习模式;
S200获取所述口语练习模式对应的练习要求;
S300采集所述用户的语音信息;
S350当所述语音信息中包含特定提问词时,获取所述用户的指示信息;
S360获取所述指示信息对应的目标区域的图像;
S370识别所述目标区域对应的目标文字信息;
S380根据所述特定提问词,获取所述目标文字信息对应的第二助读信息,并投影显示;
S390再次采集所述用户的语音信息;
S410通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果;
S500根据所述检测结果,判断所述语音信息是否符合所述练习要求;
S600当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息。
具体地,若采集的语音信息中包含特定提问词,如怎么读、怎么理解、什么意思等提问词,则获取用户手指在目标对象上的指示信息,然后获取目标对象上指示信息对应的目标区域的图像。目标对象是指用户正在阅读的书本、报纸、课外读物等。
示例性地,当用户发出“这个怎么读”的语音信息时,由于该语音信息中包含特定提问词“怎么读”,则通过摄像头拍摄用户手指在书本上指向的目标区域的图像。然后将图像中指示信息指向的目标区域转换为目标文字信息,并识别该目标文字信息。最后根据语音信息中包含的特定提问词,获取该目标文字信息对应的第二助读信息,并投影显示。第二助读信息可以是音标、拼音、注释或词义等中的任意一种或多种,具体可根据语音信息中的提问词来进行确定。例如,若特定提问词为“怎么读”,则第二助读信息为拼音或音标;若特定提问词为“怎么理解”或“什么意思”,则第二助读信息为注释或词义;若特定提问词为“语调是什么”,则第二助读信息为语调信息。在返回用户所需的答案后,继续采集用户的语音信息,并当语音信息为进行口语练习的语音信息时,通过口语检测模型对该语音信息进行检测。
本方案中,在用户进行口语练习的过程中,实时监测用户的提问,并返回相应的答案,使用户不需要再借助其他智能设备来搜索答案,提高了答案获取的速率,进而提高用户使用的便捷性。
根据本发明提供的第五实施例,如图5所示,一种口语练习方法,该口语练习方法可应用于智能台灯,该方法包括:
S100获取用户选择地口语练习模式;
S150当所述口语练习模式为跟读模式时,投影显示待跟读的目标内容;
S200获取所述口语练习模式对应的练习要求;
S300采集所述用户的语音信息;
S310根据所述语音信息的朗读节奏,在所述目标内容中显示朗读进度标记;
S320再次采集所述用户的语音信息;
S410通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果;
S500根据所述检测结果,判断所述语音信息是否符合所述练习要求;
S600当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息。
具体地,当用户选择的口语练习模式是跟读模式时,可根据用户的年级信息,随机选取该年级信息对应的文章信息,该文章信息即为待跟读的目标内容,然后投影显示该目标内容。投影显示的目标内容既可包括助读信息,也可不包括助读信息,可在实际使用过程中,由用户进行选择。
当采集到用户进行口语练习的语音信息时,根据用户的语音信息的朗读节奏,在目标内容中显示朗读进度标记。朗读进度标记可为高亮显示、或采用其他颜色显示或采用下划线的方式,以方便用户观看跟读的进度。在用户跟读的过程中,可通过口语检测模块对跟读的每一句话进行检测,并判断每一句话是否符合练习要求,并在出现不符合练习要求的地方显示错误标记,错误标记可以为红色高亮显示、或采用其他方式进行显示,以直观地提醒用户错误的地方,方便用户进行观看。当口语练习模式是自朗读模式时,则直接通过口语检测模块对用户的语音信息进行检测,以识别出错误信息,并帮助用户进行纠正。
应理解,在上述各实施例中,各步骤序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
根据本发明提供的第六实施例,如图6所示,一种口语练习装置,包括:
模式获取模块11,用于获取用户选择地口语练习模式;
具体地,用户在学习时,一般都需要使用台灯,以便为用户提供学习用的照明灯光,因此,家长都会为孩子配备一个台灯。本发明通过在智能台灯上设置口语练习功能,使该智能台灯同时具备照明功能和口语练习功能,不仅可方便用户进行口语练习,而且无需用户在购买其他的智能设备,节省用户的费用。
口语练习模式可包括各种语言,如英语、普通话、日语等。在各种语言的练习模式中分别包括各种练习模式,如对话练习模式、跟读练习模式、自朗读练习模式等。而在每种练习模式中又包含了不同的等级,每一等级分别对应不同年级的学生。用户可根据自身的学习状况在智能台灯上选择对应的口语练习模式。例如,用户为一年级学生,当前想练习英语口语对话,则可在智能台灯上选择英语口语的对话练习模式,且在该模式下选择与年级相对应的等级。
要求获取模块12,用于获取所述口语练习模式对应的练习要求;
具体地,用户在智能台灯上选择相应的口语练习模式后,可获取该口语练习模式对应的练习要求。
例如,英语口语的练习要求一般包括发音、语调、流利度、朗读情感等。但是,对于低年级学生来说,还无法很好的运用朗读情感,且其流利度也会较低,因此,不能将所有学生的英语口语的练习要求都设为一样,需要根据用户的年级特性设置相应的练习要求。所以,在设置口语练习模式时,可预先根据年级特性设置好每个练习模式中的不同等级对应的练习要求。在获取到用户选择地口语练习模式后,即可获取对应的练习要求。
语音采集模块13,用于采集所述用户的语音信息;
具体地,智能台灯上设置有麦克风,通过麦克风实时采集用户的语音信息,该语音信息可以是用户进行口语练习的语音信息,也可以是其他语音信息。采集到用户的语音信息后,需判断该语音信息是否为进行口语练习的语音信息。例如,用户选择的口语练习模式为英语口语练习,但是采集到的语音信息为中文语音信息,则说明该语音信息不是进行口语练习的语音信息;若采集到的语音信息为英语语音,则说明该语音信息是进行口语练习的语音信息。用户在进行口语练习时,可练习一整段或练习一个句子,即该语音信息可以是整个段落对应的语音信息,也可以是一句话对应的语音信息。
检测模块14,用于通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果;
具体地,在判断出语音信息为进行口语练习的语音信息后,通过预先训练好的口语检测模型对该语音信息进行检测,并输出检测结果。
在训练口语检测模型时,可先获取大量的口语语音信息,然后在口语语音信息中标注出每个词的发音是否标准、语调是否正确、口语语音信息的整体流利度等级以及朗读情感等级等特征。然后将标注后的口语语音信息作为训练样本输入开源的算法模型中,对开源的算法模型进行训练,即可得到训练好的口语检测模型。
口语检测模型在对语音信息进行检测时,输出的检测结果可包括发音不标准的词、语调不正确的词、每个词的流利度、朗读情感评分等。
判断模块15,用于根据所述检测结果,判断所述语音信息是否符合所述练习要求;
具体地,智能台灯得到检测结果后,根据该检测结果判断用户的口语是否符合对应的练习要求。
示例性地,若练习要求中只包括发音要求,则只根据检测结果中的发音检测结果,判断用户进行口语练习的语音信息是否符合要求。若练习要求中包括发音要求和语调要求,则根据检测结果中的发音检测结果和语调检测结果,判断用户的语音信息是否符合要求。
提示模块16,用于当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息。
具体地,当根据检测结果和练习要求,判断出用户进行口语练习的语音信息中包含不符合对应的练习要求的错误信息时,发出语音提示信息提醒用户,或将错误信息进行投影显示。
示例性地,若练习要求为发音要求,当通过口语检测模型检测出用户的语音信息中包含发音不标准的词,则该发音不标准的词即为错误信息,并输出提示信息。
若练习要求为发音要求和语调要求,当通过口语检测模型检测出用户的语音信息中既包含发音不标准的词,又包含语调不正确的词时,则该发音不标准的词和语调不正确的词都为错误信息,在输出提示信息时,需要说明错误的词以及错误的原因,以便用户知晓错在哪里。
本实施例中,通过训练好的口语检测模型对用户的语音信息进行检测,可客观且准确地检测出用户的口语检测结果,以便帮助用户更好的进行口语练习;同时对于不同的口语练习模式设置不同的练习要求,可充分考虑不同用户的实际练习需求,避免因练习要求设置不合理,而降低用户对口语练习的积极性,降低口语练习效果。
优选地,还包括:
文字转换模块17,用于将所述语音信息转换为文字信息;
标注模块18,用于在所述文字信息中标注出所述错误信息对应的目标文字;
助读信息获取模块19,用于根据所述练习要求,获取所述目标文字的第一助读信息;
投影模块20,用于将标注后的所述文字信息与所述第一助读信息进行投影显示;
播放模块21,用于播放所述错误信息对应的标准音频。
具体地,智能台灯在检测出用户的语音信息中存在不符合练习要求的错误信息时,还可将采集到的用户的语音信息转换为文字信息。若该语音信息为中文,则转换为中文文字信息;若该语音信息为英文,则转换为英文文字信息;若该语音信息为日文,则转换为日文文字信息。
得到文字信息后,在文字信息中标注出错误信息对应的目标文字,然后根据练习要求,获取该目标文字对应的第一助读信息。第一助读信息可以是帮助用户朗读的拼音、音标、语调信息、朗读情感信息中的任意一种或多种。若练习要求为发音要求,则第一助读信息为拼音或音标;若练习要求为语调要求,则第一助读信息为语调信息。
然后将转换得到的文字信息和获取到的第一助读信息合并为一张图像进行投影显示。在投影显示时,将目标文字对应的第一助读信息标注在目标文字的后面或标注在目标文字的下面,以方便用户知晓该第一助读信息对应的目标文字是哪个。投影显示后,再播放该错误信息对应的标准音频,以便用户进行跟读练习。
本方案中,通过投影显示助读信息,可帮助用户快速地获取标准的发音或语调等信息,以便用户更方便、更有效的进行口语练习,进而提高用户的使用体验。
优选地,语音采集模块13,还用于再次采集所述用户的语音信息;
检测模块14,还用于通过所述口语检测模型对再次采集的语音信息进行检测,直至所述再次采集的语音信息符合所述练习要求。
具体地,智能台灯在播放该错误信息对应的标准音频后,再次采集用户的语音信息,然后再通过口语检测模型对该再次采集的语音信息进行检测,并输出检测结果,然后再根据练习要求和检测结果,并判断用户再次输入的语音信息是否符合练习要求,直至用户输入的语音信息符合练习要求,则结束该句话或该段话的口语练习,并进行下一句话或下一段话的口语练习。
用户再次输入的语音信息可以是上次输入的语音信息中的错误信息对应的语音信息,也可以是上次输入的完整语音信息。
若再次输入的语音信息是上次输入的完整语音信息,且检测出该再次输入的语音信息中存在其他错误信息时,继续获取该其他错误信息的第一助读信息,并进行投影显示,直至语音信息中不存在错误信息时,进入下一句话或下一段话的口语练习。
优选地,还包括:
指示信息获取模块22,用于当所述语音信息中包含特定提问词时,获取所述用户的指示信息;
图像获取模块23,用于获取所述指示信息对应的目标区域的图像;
文字识别模块24,用于识别所述目标区域对应的目标文字信息;
助读信息获取模块19,还用于根据所述特定提问词,获取所述目标文字信息对应的第二助读信息;
投影模块20,还用于投影显示所述第二助读信息;
语音采集模块13,还用于再次采集所述用户的语音信息;
检测模块14,还用于通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
具体地,若采集的语音信息中包含特定提问词,如怎么读、怎么理解、什么意思等提问词,则获取用户手指在目标对象上的指示信息,然后获取目标对象上指示信息对应的目标区域的图像。目标对象是指用户正在阅读的书本、报纸、课外读物等。
示例性地,当用户发出“这个怎么读”的语音信息时,由于该语音信息中包含特定提问词“怎么读”,则通过摄像头拍摄用户手指在书本上指向的目标区域的图像。然后将图像中指示信息指向的目标区域转换为目标文字信息,并识别该目标文字信息。最后根据语音信息中包含的特定提问词,获取该目标文字信息对应的第二助读信息,并投影显示。第二助读信息可以是音标、拼音、注释或词义等中的任意一种或多种,具体可根据语音信息中的提问词来进行确定。例如,若特定提问词为“怎么读”,则第二助读信息为拼音或音标;若特定提问词为“怎么理解”或“什么意思”,则第二助读信息为注释或词义;若特定提问词为“语调是什么”,则第二助读信息为语调信息。在返回用户所需的答案后,继续采集用户的语音信息,并当语音信息为进行口语练习的语音信息时,通过口语检测模型对该语音信息进行检测。
本方案中,在用户进行口语练习的过程中,实时监测用户的提问,并返回相应的答案,使用户不需要再借助其他智能设备来搜索答案,提高了答案获取的速率,进而提高用户使用的便捷性。
优选地,还包括:
投影模块20,用于当所述口语练习模式为跟读模式时,投影显示待跟读的目标内容;
投影模块20,还用于根据所述语音信息的朗读节奏,在所述目标内容中显示朗读进度标记;
语音采集模块13,用于再次采集所述用户的语音信息;
检测模块14,还用于通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
具体地,当用户选择的口语练习模式是跟读模式时,可根据用户的年级信息,随机选取该年级信息对应的文章信息,该文章信息即为待跟读的目标内容,然后投影显示该目标内容。投影显示的目标内容既可包括助读信息,也可不包括助读信息,可在实际使用过程中,由用户进行选择。
当采集到用户进行口语练习的语音信息时,根据用户的语音信息的朗读节奏,在目标内容中显示朗读进度标记。朗读进度标记可为高亮显示、或采用其他颜色显示或采用下划线的方式,以方便用户观看跟读的进度。在用户跟读的过程中,可通过口语检测模块对跟读的每一句话进行检测,并判断每一句话是否符合练习要求,并在出现不符合练习要求的地方显示错误标记,错误标记可以为红色高亮显示、或采用其他方式进行显示,以直观地提醒用户错误的地方,方便用户进行观看。当口语练习模式是自朗读模式时,则直接通过口语检测模块对用户的语音信息进行检测,以识别出错误信息,并帮助用户进行纠正。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种口语练习方法,其特征在于,包括:
获取用户选择地口语练习模式;
获取所述口语练习模式对应的练习要求;
采集所述用户的语音信息;
通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果;
根据所述检测结果,判断所述语音信息是否符合所述练习要求;
当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息。
2.根据权利要求1所述的一种口语练习方法,其特征在于,所述当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息之后还包括:
将所述语音信息转换为文字信息;
在所述文字信息中标注出所述错误信息对应的目标文字;
根据所述练习要求,获取所述目标文字的第一助读信息;
将标注后的所述文字信息与所述第一助读信息进行投影显示;
播放所述错误信息对应的标准音频。
3.根据权利要求2所述的一种口语练习方法,其特征在于,所述播放所述错误信息对应的标准音频之后还包括:
再次采集所述用户的语音信息;
通过所述口语检测模型对再次采集的语音信息进行检测,直至所述再次采集的语音信息符合所述练习要求。
4.根据权利要求1所述的一种口语练习方法,其特征在于,所述采集所述用户的语音信息之后还包括:
当所述语音信息中包含特定提问词时,获取所述用户的指示信息;
获取所述指示信息对应的目标区域的图像;
识别所述目标区域对应的目标文字信息;
根据所述特定提问词,获取所述目标文字信息对应的第二助读信息,并投影显示;
再次采集所述用户的语音信息;
所述通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果具体包括:
通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
5.根据权利要求1所述的一种口语练习方法,其特征在于,还包括:
当所述口语练习模式为跟读模式时,投影显示待跟读的目标内容;
所述采集所述用户的语音信息之后还包括:
根据所述语音信息的朗读节奏,在所述目标内容中显示朗读进度标记;
再次采集所述用户的语音信息;
所述通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果具体包括:
通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
6.一种口语练习装置,其特征在于,包括:
模式获取模块,用于获取用户选择地口语练习模式;
要求获取模块,用于获取所述口语练习模式对应的练习要求;
语音采集模块,用于采集所述用户的语音信息;
检测模块,用于通过训练好的口语检测模型对所述语音信息进行检测,并输出检测结果;
判断模块,用于根据所述检测结果,判断所述语音信息是否符合所述练习要求;
提示模块,用于当所述语音信息中存在不符合所述练习要求的错误信息时,发出提示信息。
7.根据权利要求6所述的一种口语练习装置,其特征在于,还包括:
文字转换模块,用于将所述语音信息转换为文字信息;
标注模块,用于在所述文字信息中标注出所述错误信息对应的目标文字;
助读信息获取模块,用于根据所述练习要求,获取所述目标文字的第一助读信息;
投影模块,用于将标注后的所述文字信息与所述第一助读信息进行投影显示;
播放模块,用于播放所述错误信息对应的标准音频。
8.根据权利要求7所述的一种口语练习装置,其特征在于,
所述语音采集模块,还用于再次采集所述用户的语音信息;
所述检测模块,还用于通过所述口语检测模型对再次采集的语音信息进行检测,直至所述再次采集的语音信息符合所述练习要求。
9.根据权利要求6所述的一种口语练习装置,其特征在于,还包括:
指示信息获取模块,用于当所述语音信息中包含特定提问词时,获取所述用户的指示信息;
图像获取模块,用于获取所述指示信息对应的目标区域的图像;
文字识别模块,用于识别所述目标区域对应的目标文字信息;
助读信息获取模块,还用于根据所述特定提问词,获取所述目标文字信息对应的第二助读信息;
投影模块,还用于投影显示所述第二助读信息;
所述语音采集模块,还用于再次采集所述用户的语音信息;
所述检测模块,还用于通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
10.根据权利要求6所述的一种口语练习装置,其特征在于,还包括:
投影模块,用于当所述口语练习模式为跟读模式时,投影显示待跟读的目标内容;
所述投影模块,还用于根据所述语音信息的朗读节奏,在所述目标内容中显示朗读进度标记;
所述语音采集模块,用于再次采集所述用户的语音信息;
所述检测模块,还用于通过训练好的口语检测模型对再次采集的语音信息进行检测,并输出检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910529770.8A CN112116832A (zh) | 2019-06-19 | 2019-06-19 | 一种口语练习方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910529770.8A CN112116832A (zh) | 2019-06-19 | 2019-06-19 | 一种口语练习方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112116832A true CN112116832A (zh) | 2020-12-22 |
Family
ID=73795517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910529770.8A Pending CN112116832A (zh) | 2019-06-19 | 2019-06-19 | 一种口语练习方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112116832A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113724543A (zh) * | 2021-08-27 | 2021-11-30 | 读书郎教育科技有限公司 | 一种看图写话训练的系统及方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101593438A (zh) * | 2009-06-05 | 2009-12-02 | 创而新(中国)科技有限公司 | 辅助背诵文档显示方法和系统 |
CN101826263A (zh) * | 2009-03-04 | 2010-09-08 | 中国科学院自动化研究所 | 基于客观标准的自动化口语评估系统 |
CN103035244A (zh) * | 2012-11-24 | 2013-04-10 | 安徽科大讯飞信息科技股份有限公司 | 一种可实时反馈用户朗读进度的语音跟踪方法 |
CN104598758A (zh) * | 2015-02-12 | 2015-05-06 | 上海市徐汇区中心医院 | 一种脑卒中后构音障碍患者言语康复训练和疗效评估系统及方法 |
CN104639742A (zh) * | 2015-01-06 | 2015-05-20 | 广东小天才科技有限公司 | 移动终端辅助学习口语的方法及装置 |
US20160183867A1 (en) * | 2014-12-31 | 2016-06-30 | Novotalk, Ltd. | Method and system for online and remote speech disorders therapy |
US20180190269A1 (en) * | 2016-12-29 | 2018-07-05 | Soundhound, Inc. | Pronunciation guided by automatic speech recognition |
CN109243215A (zh) * | 2018-08-31 | 2019-01-18 | 广东小天才科技有限公司 | 一种基于智能装置的交互方法、智能装置及系统 |
CN109326162A (zh) * | 2018-11-16 | 2019-02-12 | 深圳信息职业技术学院 | 一种口语练习自动评测方法及装置 |
CN109410664A (zh) * | 2018-12-12 | 2019-03-01 | 广东小天才科技有限公司 | 一种发音纠正方法及电子设备 |
-
2019
- 2019-06-19 CN CN201910529770.8A patent/CN112116832A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101826263A (zh) * | 2009-03-04 | 2010-09-08 | 中国科学院自动化研究所 | 基于客观标准的自动化口语评估系统 |
CN101593438A (zh) * | 2009-06-05 | 2009-12-02 | 创而新(中国)科技有限公司 | 辅助背诵文档显示方法和系统 |
CN103035244A (zh) * | 2012-11-24 | 2013-04-10 | 安徽科大讯飞信息科技股份有限公司 | 一种可实时反馈用户朗读进度的语音跟踪方法 |
US20160183867A1 (en) * | 2014-12-31 | 2016-06-30 | Novotalk, Ltd. | Method and system for online and remote speech disorders therapy |
CN104639742A (zh) * | 2015-01-06 | 2015-05-20 | 广东小天才科技有限公司 | 移动终端辅助学习口语的方法及装置 |
CN104598758A (zh) * | 2015-02-12 | 2015-05-06 | 上海市徐汇区中心医院 | 一种脑卒中后构音障碍患者言语康复训练和疗效评估系统及方法 |
US20180190269A1 (en) * | 2016-12-29 | 2018-07-05 | Soundhound, Inc. | Pronunciation guided by automatic speech recognition |
CN109243215A (zh) * | 2018-08-31 | 2019-01-18 | 广东小天才科技有限公司 | 一种基于智能装置的交互方法、智能装置及系统 |
CN109326162A (zh) * | 2018-11-16 | 2019-02-12 | 深圳信息职业技术学院 | 一种口语练习自动评测方法及装置 |
CN109410664A (zh) * | 2018-12-12 | 2019-03-01 | 广东小天才科技有限公司 | 一种发音纠正方法及电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113724543A (zh) * | 2021-08-27 | 2021-11-30 | 读书郎教育科技有限公司 | 一种看图写话训练的系统及方法 |
CN113724543B (zh) * | 2021-08-27 | 2024-02-06 | 读书郎教育科技有限公司 | 一种看图写话训练的系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cucchiarini | Phonetic transcription: a methodological and empirical study | |
Vernon | Reading and Its Difficulties: A Physiological Study | |
Dixon et al. | Influence of L1 orthography on spelling English words by bilingual children: A natural experiment comparing syllabic, phonological, and morphosyllabic first languages | |
US20060110712A1 (en) | System and method for programmatically evaluating and aiding a person learning a new language | |
CN108335543A (zh) | 一种英语对话训练学习系统 | |
CN104123858A (zh) | 一种读背课文时检错纠错的方法及装置 | |
CN104658350A (zh) | 一种英语教学系统 | |
CN109376360B (zh) | 一种辅助学习语言的方法和装置 | |
CN108806719A (zh) | 交互式语言学习系统及其方法 | |
KR20140071070A (ko) | 음소기호를 이용한 외국어 발음 학습방법 및 학습장치 | |
Mok et al. | Orthographic effects on the perception and production of L2 mandarin tones | |
JP6425493B2 (ja) | 人の発言に基づいて学習項目に対する評価レベルを推定するプログラム、装置及び方法 | |
CN112116832A (zh) | 一种口语练习方法及装置 | |
KR101080092B1 (ko) | 외국어 단어 학습방법 및 이를 이용한 외국어 학습 장치 | |
Hönig | Automatic assessment of prosody in second language learning | |
KR20140087956A (ko) | 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법 | |
Oumaima et al. | Text-to-speech technology for Arabic language learners | |
CN116127028A (zh) | 一种基于引入对比学习的对话系统及前端实现方法 | |
KR20140107067A (ko) | 이미지 데이터와 원어민 발음 데이터를 이용한 단어 학습장치 및 방법 | |
WO2006057896A2 (en) | System and method for assisting language learning | |
CN111985272A (zh) | 一种阅读辅导方法及装置 | |
Genelza et al. | Phonological Awareness and Word Decoding Ability of Second Year BSED-English Students in USEP–Tagum Campus | |
TWM553866U (zh) | 基於文字轉語音技術之電子書語言學習診斷裝置 | |
Slówik et al. | The Lexical Tones of Vietnamese Metropoles | |
AU2022228148B2 (en) | Method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201222 |
|
RJ01 | Rejection of invention patent application after publication |