CN108305527B - 一种基于语音识别的记忆训练与测试方法 - Google Patents

一种基于语音识别的记忆训练与测试方法 Download PDF

Info

Publication number
CN108305527B
CN108305527B CN201810070222.9A CN201810070222A CN108305527B CN 108305527 B CN108305527 B CN 108305527B CN 201810070222 A CN201810070222 A CN 201810070222A CN 108305527 B CN108305527 B CN 108305527B
Authority
CN
China
Prior art keywords
chinese character
current
short sentence
training
accuracy rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810070222.9A
Other languages
English (en)
Other versions
CN108305527A (zh
Inventor
华金玉
华金丽
朱外明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810070222.9A priority Critical patent/CN108305527B/zh
Publication of CN108305527A publication Critical patent/CN108305527A/zh
Application granted granted Critical
Publication of CN108305527B publication Critical patent/CN108305527B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于语音识别的记忆训练与测试方法,该方法:(1)以短句的形式对用户进行记忆训练和记忆测试;(2)模拟“零记忆→部分记忆→完全记忆”的记忆过程,先让用户完全跟读,然后逐渐的隐藏部分文字让用户背诵,直到隐藏全部文字让用户背诵;(3)记录用户记忆过程中对每个汉字的熟练程度,并在训练过程中以较高的概率隐藏用户不熟练的汉字,以加深用户对不熟练汉字的印象。该训练方法更加符合人类记忆过程的特点,能够提高用户记忆中文材料的效率与效果,并且带来良好的记忆体验效果。

Description

一种基于语音识别的记忆训练与测试方法
技术领域
本发明属于信息技术领域,具体地涉及一种基于语音识别的辅助记忆训练方法。
背景技术
随着人工智能的兴起与发展,语音识别技术逐渐成熟,已经可以实现一定规模的应用。目前,国内科大讯飞、百度、阿里巴巴等团队研发的语音识别平台能够提供相当高的识别准确率。借助语音识别技术可以让程序更加智能化,从而让程序与人开展更为复杂的人机交互。
借助语音识别来辅助人进行中文的读写与记忆,具有一定的现实意义。目前已经检索到该方面的发明专利或实用新型专利,共有三项,分别是:(1)专利申请号:2012202211473.2,实用新型专利,专利名称《读写式学习机》,采用以下方案:读写式学习机,包括机体和内置电路板,内置电路板上有电路单元,电路单元包括CPU处理单元、显示单元、语音输出单元和驱动电路单元,电路单元还包括输入单元和语音识别单元;输入单元、语音识别单元、显示单元、语音输出单元和驱动电路单元分别与CPU处理单元连接;输入单元连接有一手写板;语音识别单元设有用于录入语音和播放语音的语音芯片,并连接有一语音接收装置;(2)专利申请号:201510737383.5,发明专利,专利名称《一种协助记忆古诗文的学习机》,(3)专利申请号:201520867338.7,实用新型专利,专利名称《一种协助记忆古诗文的学习机》,均采用以下方案:一种协助记忆古诗文的学习机,包括机体和内置电路主板,内置电路主板包括CPU处理器、语音识别系统、手写识别系统、显示器、存储系统、电源、语音输出系统、语音录制系统、外设接口,其中,电源提供电能,语音识别系统、手写识别系统、显示器、存储系统、语音输出系统、语音录制系统、外设接口均与CPU处理器相连接,语音识别系统可将外部语音转换成CPU处理器可识别的方式,然后存储在存储系统中,手写识别系统与显示器相连接,可通过显示器进行文字等的录入,通过语音识别系统、手写识别系统输入的信息可经过CPU处理器与存储系统中的相关数据进行对比配对,语音录制系统可将真人的声音实时录入学习机,并经过CPU处理器的相关处理存储在存储系统中,需要时可以经由语音输出系统播放处理,外设接口可与电视机、投影仪进行连接。
上述3项技术,均能够实现基于语音识别的读写与记忆训练,然而,它们的技术方案中,记忆训练的过程过于简单,并没有体现人对事物的记忆具有类似于由“零记忆→部分记忆→完全记忆”的过程,因此,对用户进行记忆训练所起到的效果十分有限。
针对这些情况,本发明提供了一种基于语音识别的辅助记忆训练与测试的方法,该方法详细展示了基于语音识别对用户进行中文记忆训练的过程与测试的方法,在记忆训练过程中,采用“分而治之”的思路,以短句的形式逐句记忆,具有更好的可操作性;模拟由“零记忆→部分记忆→完全记忆”的记忆过程,先让用户完全跟读,然后逐渐地隐藏部分汉字,让用户进行背诵,随着训练次数的增加,隐藏的汉字个数越来越多,直到隐藏全部汉字,该过程是一个循序渐进的过程,更加合理和人性化;同时,在训练过程中,记录用户对每个汉字记忆的熟练程度数据,并且根据该数据,有针对性地隐藏汉字对用户进行训练,即将用户常背错的汉字或不熟悉的汉字以较高的概率隐藏掉,并让用户背诵,从而刺激用户对这些文字的记忆,加深其对这些文字的印象,以提高记忆训练的效果;另外,语音识别与用户记忆都存在一定的误差,例如识别时多出一个汉字,或者用户多背诵了一个汉字,这会导致整个参照文字与识别文字的错位,如果固定的比对参照文字与识别文字,则有失准确性,本发明针对该问题,提供了一种识别文字与参照文字的比对匹配的方法,给出了比对与匹配的详细流程。
发明内容
本发明是为了克服现有技术存在的不足之处,提供一种基于语音识别的辅助记忆训练与测试的方法,以期能够基于语音识别技术,向用户提供更人性化、效果更好的辅助记忆训练与测试功能。
本发明为解决技术问题采用如下技术方案。
本发明一种基于语音识别的记忆训练与测试方法,起特点是,基于语音识别和程序控制实现辅助用户对中文文字材料的记忆训练和记忆测试功能,其中,辅助用户进行记忆训练的过程由完全跟读逐步过度到完全背诵,具体步骤如下。
步骤1、用户选择待记忆的中文文字材料(以下简称记忆文字材料)
所述记忆文字材料以指定的分隔符(如逗号)分割成多个短句,每个短句对应一个语音朗读文件(以下简称语音文件)。
步骤2、遍历所述记忆文字材料中的每个短句,对于当前第i个短句,设置一个熟练度列表list i ,所述熟练度列表list i 的长度等于所述当前第i个短句汉字的个数,所述熟练度列表list i 中的第a个元素,是一个0~1之间的数值,代表着用户对所述当前第i个短句中第a个汉字记忆的熟练程。
步骤3、进行完全跟读训练。
步骤3.1、设置最大跟读次数为I read ,设置单句跟读最大重复次数为I repeat ,设置最小跟读准确率为rate min_read
步骤3.2、设置当前跟读次数为d,初始化d的值为1。
步骤3.3、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句。
步骤3.3.1、初始化当前第i个短句跟读次数为v id ,设置v id 的值为1。
步骤3.3.2、播放所述当前第i个短句对应的语音文件,暂停,然后用户跟读。
步骤3.3.3、获取用户跟读的语音输入。
步骤3.3.4、基于语音识别和所述用户跟读的语音输入,获得识别文字。
步骤3.3.5、将识别文字与当前对应的当前第i个短句进行比较,获得跟读的准确率rt,并更新所述熟练度列表list i
步骤3.3.6、判断所述跟读准确率rt是否大于等于所述最小跟读准确率rate min_read
在判定所述跟读准确率rt大于等于所述最小跟读准确率rate min_read 的情况下:判断所述当前第i个短句之后是否仍有短句未播放,如果判断结果为是,则:将所述跟读准确率rt作为此次跟读当前第i个短句的跟读准确率c id ,并将i+1的值赋值给i,转步骤3.3.1;如果判断结果为否,则:转步骤3.4。
在判定所述跟读准确率rt小于所述最小跟读准确率rate min_read 的情况下:判断所述当前第i个短句跟读次数v id 是否大于等于所述单句跟读最大重复次数为I repeat ,如果判断结果为是,则:将所述跟读准确率rt作为此次跟读当前第i个短句的跟读准确率c id ,并将i+1的值赋值给i,转步骤3.3.1;如果判断结果为否,则:将v id +1的值赋值给v id ,并转步骤3.3.2。
步骤3.4、判断所述当前跟读次数d是否大于等于所述最大跟读次数为I read ,如果判断结果为是,则转步骤3.5,如果判断结果为否,则将当前各句跟读准确率 (c 1d , c 2d ,…, c id ,…) 合成第d次跟读准确率c d ,并将d+1的值赋值给d,转步骤3.3。
步骤3.5、将所述的每一次跟读准确率(c 1, c 2,…, c d ,…)合成为整体跟读准确率g,并输出给用户。
步骤4、进行汉字隐藏记忆训练。
步骤4.1、设置最大训练次数为I train ,设置单句训练最大重复次数为h,设置最小训练准确率为rate min_train
步骤4.2、设置当前训练次数为j,初始化j的值,设为1。
步骤4.3、计算当前训练次数j情形下的汉字提示率u j
步骤4.4、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句。
步骤4.4.1、初始化当前第i个短句跟读次数为m ij ,设置m ij 的值为1。
步骤4.4.2、所述当前第i个短句的汉字总个数为p i ,计算u j p i 乘积的值,并向下取整,得到 ⌊ u j × p i ⌋,设置当前第i个短句对应当前训练次数j时的汉字提示个数 s ij = ⌊ u j × p i ⌋。
步骤4.4.3、从所述当前第i个短句中选择s ij 个汉字,将所述选择的s ij 个汉字作为提示汉字,所述当前第i个短句中其余的汉字作为隐藏汉字,将所述提示汉字和所述隐藏汉字一起构成提示句,展示给用户,然后用户根据提示句进行背诵。
步骤4.4.4、获取用户背诵的语音输入。
步骤4.4.5、基于语音识别和所述用户背诵的语音输入,获得识别文字。
步骤4.4.6、将识别文字与当前第i个短句进行比较,获得训练准确率z,并更新所述熟练度列表list i
步骤4.4.7、判断所述训练准确率zt是否大于等于所述最小跟读准确率rate min_train
在判定所述跟读准确率z大于等于所述最小训练准确率rate min_train 的情况下:判断所述当前第i个短句之后是否仍有短句未播放,如果判断结果为是,则:将所述训练准确率z作为此次训练当前第i个短句的训练准确率z ij ,并将i+1的值赋值给i,转步骤4.4.1;如果判断结果为否,则:转步骤4.5。
在判定所述训练准确率z小于所述最小训练准确率rate min_train 的情况下:判断所述当前第i个短句训练次数m ij 是否大于等于所述单句训练最大重复次数h,如果判断结果为是,则:将所述训练准确率z作为此次训练当前第i个短句的训练准确率z ij ,并将i+1的值赋值给i,转步骤4.4.1;如果判断结果为否,则:将m ij +1的值赋值给m ij ,并转步骤4.4.2。
步骤4.5、判断所述当前训练次数j是否大于等于所述最大训练次数为I train ,如果判断结果为是,则转步骤4.6,如果判断结果为否,则将当前各句跟读准确率 (z 1j , z 2j ,…, z ij ,…) 合成第j次训练准确率z j ,并将j+1的值赋值给j,转步骤4.3。
步骤4.6、将所述的每一次训练准确率(z 1, z 2,…, z j ,…)合成为整体训练准确率q,并输出给用户。
本发明一种基于语音识别的记忆训练与测试方法,其特点也在于,所述辅助用户进行记忆测试包括以下步骤。
步骤1、用户选择待记忆的中文文字材料(以下简称记忆文字材料)。
步骤2、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句。
步骤2.1、向用户发出开始背诵的提示音,用户在听到提示音后背诵当前第i个短句。
步骤2.2、获取用户背诵的语音输入。
步骤2.3、基于语音识别和所述用户背诵的语音输入,获得识别文字。
步骤2.4、将识别文字与当前第i个短句进行比较,获得背诵准确率x i
步骤2.5、判断在所述记忆文字材料中,当前第i个短句后是否仍有短句未被背诵,如果判定结果为是,则将i+1 的值赋值给i,并转步骤2.1;如果判定结果为否,则转步骤2.6。
步骤2.6、将全部的背诵准确率(x 1, x 2,…, x i …)合成为总体背诵准确率x,并输出给用户。
本发明一种基于语音识别的记忆训练与测试方法,其特征也在于,所述记忆文字材料对应的语音文件可由语音合成(使用文字合成语音)或者用户自己录制而成。
本发明一种基于语音识别的记忆训练与测试方法,其特征也在于,所述将识别文字与当前第i个短句进行比较,获得跟读(训练、背诵)准确率(以下简称记忆准确率),记为rate i ,并更新所述熟练度列表list i 的具体步骤包括。
步骤1、计算所述当前第i个短句汉字的总个数,记为n
步骤2、设置最大误差位置个数,记为L,初始化其值。
步骤3、设置参照汉字记忆准确率计算函数参数,记为λλ > 1。
步骤4、设置汉字记忆准确个数,记为w,初始化其值为零。
步骤5、将所述当前第i个短句中的每一个汉字按顺序从1开始进行编号,第一个汉字编号为1,第二个汉字编号为2,以此类推,同样地,将所述识别文字中的每一个汉字按顺序从1开始进行编号。
步骤6、依次遍历当前第i个短句中的每一个汉字,对遍历的第a个汉字(以下称第a个参照汉字)。
步骤6.1、从识别文字中分别选择编号为:max(1, aL),max(1, aL+1),…a,…min(n, a + L)的文字,构造识别文字集合,记为b a
步骤6.2、判断第a个参照汉字是否出现在识别文字集合b a 中,如果第a个参照汉字未出现在所述识别文字集合b a 中,转步骤6.6;如果第a个参照汉字出现在所述识别文字集合b a 中,则获得第a个参照汉字出现的编号集合,记为o a ,转步骤6.3。
步骤6.3、从所述编号集合o a 中选择与编号a的数值最接近的一个编号作为识别正确编号,记为id a ,并计算识别正确编号id a 与编号a的数值之差的绝对值,记为记忆准确位置,记为dis(a),即dis(a) = |id a a|。
步骤6.4、根据如下公式计算第a个参照汉字记忆准确个数,记为quan a
quan a = 1/λ exp(dis(a))
步骤6.5、所述熟练度列表list i 中第a个元素,即第a个熟练度,其当前值记为skill ia ,将(skill ia + quan a )/2的值赋值给所述熟练度列表list i 即第a个熟练度,以更新所述熟练度列表list i
步骤6.6、将 w + list i 的值赋值给所述汉字记忆准确个数w,转步骤6.7。
步骤6.7、判断编号a是否等于所述当前第i个短句汉字的总个数n,如果判定结果为是,则转步骤6.8;如果判定结果为否,则将a +1的值赋值给a,并转步骤6.1。
步骤6.8、根据如下公式计算所述当前第i个短句的记忆准确率,并输出。
rate i = w/n
本发明一种基于语音识别的记忆训练与测试方法,其特征也在于,所述跟读(朗读训练、背诵)准确率合成总体的跟读(朗读训练、背诵)准确率的具体步骤包括:将各短句的跟读(朗读训练、背诵)准确率进行求平均值,即求和然后除以短句的总个数,将平均值作为合成总体的跟读(朗读训练、背诵)准确率。
本发明一种基于语音识别的记忆训练与测试方法,其特征也在于,所述计算当前训练次数j情形下的汉字提示率u j 的具体步骤包括。
步骤1、设置汉字提示率计算函数参数,记为π
步骤2、按如下公式计算汉字提示率u j
u j = 1/(1+π exp(j)) 。
本发明一种基于语音识别的记忆训练与测试方法,其特征也在于,所述从所述当前第i个短句中选择s ij 个汉字作为提示汉字的具体步骤包括。
采用轮盘赌的选择方法,选择出s ij 个汉字作为提示汉字,其中所述当前第i个短句中第a个汉字被选择的概率为所述熟练度列表list i 中对应第a个熟练度值skill ia ,所述的采用轮盘赌的选择方法,与经典的遗传算法中的轮盘赌选择方法一致。
本发明一种基于语音识别的记忆训练与测试方法,其特征也在于,所述将所述提示汉字和所述隐藏汉字一起构成提示句的具体操作按如下步骤执行。
步骤1、依次遍历所述提示汉字,对于当前提示汉字char i ,随机从:原汉字、原汉字的拼音、原汉字的同音字、原汉字的一个偏旁部首这四种展示方式中选择一个方式作为所述当前提示汉字char i 的展示方式。
步骤2、随机从:‘*’、‘#’、‘_’、‘~’这四种字符中选择一种字符作为全部所述隐藏汉字的展示方式。
步骤3、按所述当前第i个短句中各汉字出现的先后顺序,依次将所述提示汉字的展示方式与隐藏汉字的展示方式连接起来,构成一个提示句。
与已有技术相比,本发明有益效果体现在。
采用“分而治之”的思路,以短句的形式逐句记忆,具有更好的可操作性。
模拟由“零记忆→部分记忆→完全记忆”的记忆过程,先让用户完全跟读,然后逐渐地隐藏部分汉字,让用户进行背诵,随着训练次数的增加,隐藏的汉字个数越来越多,直到隐藏全部汉字,该过程是一个循序渐进的过程,更加合理和人性化。
在训练过程中,记录用户对每个汉字记忆的熟练程度数据,并且根据该数据,有针对性地隐藏汉字对用户进行训练,即将用户常背错的汉字或不熟悉的汉字以较高的概率隐藏掉,并让用户背诵,从而刺激用户对这些文字的记忆,加深其对这些文字的印象,具有更好的记忆训练的效果。
考虑了语音识别与用户记忆的误差,针对参照文字与识别文字之间的“错位”问题,提供了一种识别文字与参照文字的比对匹配的方法,具有更好的比对准确性。
附图说明
附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。
图 1 为基于语音识别的记忆训练总体流程图。
图 2 为基于语音识别的完全跟读流程图。
图 3 为基于语音识别的隐藏汉字训练流程图。
图 4 为基于语音识别的记忆测试流程图。
具体实施方式
一种基于语音识别的记忆训练与测试方法,基于语音识别和程序控制实现辅助用户对中文文字材料的记忆训练和记忆测试功能,具体步骤如下。
步骤一、进行记忆训练。
步骤1、用户选择待记忆的中文文字材料(以下简称记忆文字材料)(例如:唐诗宋词文言文或者政治历史知识点等)。
所述记忆文字材料以指定的分隔符(如逗号)分割成多个短句,每个短句对应一个语音朗读文件(以下简称语音文件),(如以MP3或WMA格式存储的语音文件),所述记忆文字材料对应的语音文件可由语音合成(使用文字合成语音)或者用户自己录制而成。
步骤2、遍历所述记忆文字材料中的每个短句,对于当前第i个短句,设置一个熟练度列表list i ,所述熟练度列表list i 的长度等于所述当前第i个短句汉字的个数,所述熟练度列表list i 中的第a个元素,是一个0~1之间的数值,代表着用户对所述当前第i个短句中第a个汉字记忆的熟练程度。
步骤3、进行完全跟读训练。
步骤3.1、设置最大跟读次数为I read ,设置单句跟读最大重复次数为I repeat ,设置最小跟读准确率为rate min_read
步骤3.2、设置当前跟读次数为d,初始化d的值为1。
步骤3.3、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句。
步骤3.3.1、初始化当前第i个短句跟读次数为v id ,设置v id 的值为1。
步骤3.3.2、播放所述当前第i个短句对应的语音文件,暂停,然后用户跟读。
步骤3.3.3、获取用户跟读的语音输入。
步骤3.3.4、基于语音识别(语音识别可采用成熟的语音识别平台,如百度语音识别平台)和所述用户跟读的语音输入,获得识别文字。
步骤3.3.5、将识别文字与当前对应的当前第i个短句进行比较,获得跟读的准确率rt,并更新所述熟练度列表list i
步骤A1、计算所述当前第i个短句汉字的总个数,记为n
步骤A2、设置最大误差位置个数,记为L,初始化其值(参考值为:1~3)。
步骤A3、设置参照汉字记忆准确率计算函数参数,记为λλ > 1, 参考值为自然对数底数e
步骤A4、设置汉字记忆准确个数,记为w,初始化其值为零。
步骤A5、将所述当前第i个短句中的每一个汉字按顺序从1开始进行编号,第一个汉字编号为1,第二个汉字编号为2,以此类推,同样地,将所述识别文字中的每一个汉字按顺序从1开始进行编号。
步骤A6、依次遍历当前第i个短句中的每一个汉字,对遍历的第a个汉字(以下称第a个参照汉字)。
步骤A6.1、从识别文字中分别选择编号为:max(1, aL),max(1, aL+1),…a,…min(n, a + L)的文字,构造识别文字集合,记为b a
步骤A6.2、判断第a个参照汉字是否出现在识别文字集合b a 中,如果第a个参照汉字未出现在所述识别文字集合b a 中,转步骤A6.6;如果第a个参照汉字出现在所述识别文字集合b a 中,则获得第a个参照汉字出现的编号集合,记为o a ,转步骤A6.3。
步骤A6.3、从所述编号集合o a 中选择与编号a的数值最接近的一个编号作为识别正确编号,记为id a ,并计算识别正确编号id a 与编号a的数值之差的绝对值,记为记忆准确位置,记为dis(a),即dis(a) = |id a a|。
步骤A6.4、根据如下公式计算第a个参照汉字记忆准确个数,记为quan a
quan a = 1/λ exp(dis(a))
步骤A6.5、所述熟练度列表list i 中第a个元素,即第a个熟练度,其当前值记为skill ia ,将(skill ia + quan a )/2的值赋值给所述熟练度列表list i 即第a个熟练度,以更新所述熟练度列表list i
步骤A6.6、将 w + list i 的值赋值给所述汉字记忆准确个数w,转步骤A6.7。
步骤A6.7、判断编号a是否等于所述当前第i个短句汉字的总个数n,如果判定结果为是,则转步骤A6.8;如果判定结果为否,则将a +1的值赋值给a,并转步骤A6.1。
步骤A6.8、根据如下公式计算所述当前第i个短句的记忆准确率。
rate i = wn
rate i 即为所述当前第i个短句的记忆准确率。
步骤3.3.6、判断所述跟读准确率rt是否大于等于所述最小跟读准确率rate min_read
在判定所述跟读准确率rt大于等于所述最小跟读准确率rate min_read 的情况下:判断所述当前第i个短句之后是否仍有短句未播放,如果判断结果为是,则:将所述跟读准确率rt作为此次跟读当前第i个短句的跟读准确率c id ,并将i+1的值赋值给i,转步骤3.3.1;如果判断结果为否,则:转步骤3.4。
在判定所述跟读准确率rt小于所述最小跟读准确率rate min_read 的情况下:判断所述当前第i个短句跟读次数v id 是否大于等于所述单句跟读最大重复次数为I repeat ,如果判断结果为是,则:将所述跟读准确率rt作为此次跟读当前第i个短句的跟读准确率c id ,并将i+1的值赋值给i,转步骤3.3.1;如果判断结果为否,则:将v id +1的值赋值给v id ,并转步骤3.3.2。
步骤3.4、判断所述当前跟读次数d是否大于等于所述最大跟读次数为I read ,如果判断结果为是,则转步骤3.5,如果判断结果为否,则将当前各句跟读准确率 (c 1d , c 2d ,…, c id ,…) 合成第d次跟读准确率c d ,并将d+1的值赋值给d,转步骤3.3。
步骤3.5、将所述的每一次跟读准确率(c 1, c 2,…, c d ,…)合成为整体跟读准确率g,并输出给用户。
步骤4、进行汉字隐藏记忆训练。
步骤4.1、设置最大训练次数为I train ,设置单句训练最大重复次数为h,设置最小训练准确率为rate min_train
步骤4.2、设置当前训练次数为j,初始化j的值,设为1。
步骤4.3、计算当前训练次数j情形下的汉字提示率u j
步骤B.1、设置汉字提示率计算函数参数,记为π;(参考值:自然对数底数e)。
步骤B.2、按如下公式计算汉字提示率u j
u j = 1/(1+π exp(j))。
步骤4.4、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句。
步骤4.4.1、初始化当前第i个短句跟读次数为m ij ,设置m ij 的值为1。
步骤4.4.2、所述当前第i个短句的汉字总个数为p i ,计算u j p i 乘积的值,并向下取整,得到 ⌊ u j × p i ⌋,设置当前第i个短句对应当前训练次数j时的汉字提示个数 s ij = ⌊ u j × p i ⌋。
步骤4.4.3、从所述当前第i个短句中选择s ij 个汉字,将所述选择的s ij 个汉字作为提示汉字。
采用轮盘赌的选择方法,选择出s ij 个汉字作为提示汉字,其中所述当前第i个短句中第a个汉字被选择的概率为所述熟练度列表list i 中对应第a个熟练度值skill ia ,所述的采用轮盘赌的选择方法,与经典的遗传算法中的轮盘赌选择方法一致。
所述当前第i个短句中其余的汉字作为隐藏汉字,将所述提示汉字和所述隐藏汉字一起构成提示句,展示给用户。
步骤C.1、依次遍历所述提示汉字,对于当前提示汉字char i ,随机从:原汉字、原汉字的拼音、原汉字的同音字、原汉字的一个偏旁部首这四种展示方式中选择一个方式作为所述当前提示汉字char i 的展示方式。
步骤C.2、随机从:‘*’、‘#’、‘_’、‘~’这四种字符中选择一种字符作为全部所述隐藏汉字的展示方式。
步骤C.3、按所述当前第i个短句中各汉字出现的先后顺序,依次将所述提示汉字的展示方式与隐藏汉字的展示方式连接起来,构成一个提示句。
举例说明:假设当前短句为:锄禾日当午,提示汉字为“锄”、“禾”和“午”,则一种提示句为:厨禾**(wǔ)。
然后用户根据提示句进行背诵。
步骤4.4.4、获取用户背诵的语音输入。
步骤4.4.5、基于语音识别和所述用户背诵的语音输入,获得识别文字。
步骤4.4.6、将识别文字与当前第i个短句进行比较,获得训练准确率z,并更新所述熟练度列表list i
步骤D1、计算所述当前第i个短句汉字的总个数,记为n
步骤D2、设置最大误差位置个数,记为L,初始化其值;(参考值为:1~3)。
步骤D3、设置参照汉字记忆准确率计算函数参数,记为λλ > 1;(参考值为自然对数底数e)。
步骤D4、设置汉字记忆准确个数,记为w,初始化其值为零。
步骤D5、将所述当前第i个短句中的每一个汉字按顺序从1开始进行编号,第一个汉字编号为1,第二个汉字编号为2,以此类推,同样地,将所述识别文字中的每一个汉字按顺序从1开始进行编号。
步骤D6、依次遍历当前第i个短句中的每一个汉字,对遍历的第a个汉字(以下称第a个参照汉字)。
步骤D6.1、从识别文字中分别选择编号为:max(1, aL),max(1, aL+1),…a,…min(n, aL)的文字,构造识别文字集合,记为b a
步骤D6.2、判断第a个参照汉字是否出现在识别文字集合b a 中,如果第a个参照汉字未出现在所述识别文字集合b a 中,转步骤D6.6;如果第a个参照汉字出现在所述识别文字集合b a 中,则获得第a个参照汉字出现的编号集合,记为o a ,转步骤D6.3。
步骤D6.3、从所述编号集合o a 中选择与编号a的数值最接近的一个编号作为识别正确编号,记为id a ,并计算识别正确编号id a 与编号a的数值之差的绝对值,记为记忆准确位置,记为dis(a),即dis(a) = |id a a|。
步骤D6.4、根据如下公式计算第a个参照汉字记忆准确个数,记为quan a
quan a = 1/λ exp(dis(a))
步骤D6.5、所述熟练度列表list i 中第a个元素,即第a个熟练度,其当前值记为skill ia ,将(skill ia + quan a )/2的值赋值给所述熟练度列表list i 即第a个熟练度,以更新所述熟练度列表list i
步骤D6.6、将 w + list i 的值赋值给所述汉字记忆准确个数w,转步骤D6.7。
步骤D6.7、判断编号a是否等于所述当前第i个短句汉字的总个数n,如果判定结果为是,则转步骤D6.8;如果判定结果为否,则将a +1的值赋值给a,并转步骤D6.1。
步骤D6.8、根据如下公式计算所述当前第i个短句的记忆准确率。
rate i = w/n
rate i 即为所述当前短句i的记忆准确率。
步骤4.4.7、判断所述训练准确率zt是否大于等于所述最小跟读准确率rate min_train
在判定所述跟读准确率z大于等于所述最小训练准确率rate min_train 的情况下:判断所述当前第i个短句之后是否仍有短句未播放,如果判断结果为是,则:将所述训练准确率z作为此次训练当前第i个短句的训练准确率z ij ,并将i+1的值赋值给i,转步骤4.4.1;如果判断结果为否,则:转步骤4.5。
在判定所述训练准确率z小于所述最小训练准确率rate min_train 的情况下:判断所述当前第i个短句训练次数m ij 是否大于等于所述单句训练最大重复次数h,如果判断结果为是,则:将所述训练准确率z作为此次训练当前第i个短句的训练准确率z ij ,并将i+1的值赋值给i,转步骤4.4.1;如果判断结果为否,则:将m ij +1的值赋值给m ij ,并转步骤4.4.2。
步骤4.5、判断所述当前训练次数j是否大于等于所述最大训练次数为I train ,如果判断结果为是,则转步骤4.6,如果判断结果为否,则将当前各句跟读准确率 (z 1j , z 2j ,…, z ij ,…) 合成第j次训练准确率z j ,并将j+1的值赋值给j,转步骤4.3。
步骤4.6、将所述的每一次训练准确率(z 1, z 2,…, z j ,…)合成为整体训练准确率q,并输出给用户。
步骤5、进行记忆测试。
步骤5.1、用户选择待记忆的中文文字材料(以下简称记忆文字材料)。
步骤5.2、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句。
步骤5.2.1、向用户发出开始背诵的提示音,用户在听到提示音后背诵当前第i个短句。
步骤5.2.2、获取用户背诵的语音输入。
步骤5.2.3、基于语音识别(语音识别可采用成熟的语音识别平台,如百度语音识别平台)和所述用户背诵的语音输入,获得识别文字。
步骤5.2.4、将识别文字与当前第i个短句进行比较,获得背诵准确率x i
步骤E1、计算所述当前第i个短句汉字的总个数,记为n
步骤E2、设置最大误差位置个数,记为L,初始化其值;(参考值为:1~3)。
步骤E3、设置参照汉字记忆准确率计算函数参数,记为λλ > 1;(参考值为自然对数底数e)。
步骤E4、设置汉字记忆准确个数,记为w,初始化其值为零。
步骤E5、将所述当前第i个短句中的每一个汉字按顺序从1开始进行编号,第一个汉字编号为1,第二个汉字编号为2,以此类推,同样地,将所述识别文字中的每一个汉字按顺序从1开始进行编号。
步骤E6、依次遍历当前第i个短句中的每一个汉字,对遍历的第a个汉字(以下称第a个参照汉字)。
步骤E6.1、从识别文字中分别选择编号为:max(1, aL),max(1, aL+1),…a,…min(n, aL)的文字,构造识别文字集合,记为b a
步骤E6.2、判断第a个参照汉字是否出现在识别文字集合b a 中,如果第a个参照汉字未出现在所述识别文字集合b a 中,转步骤E6.6;如果第a个参照汉字出现在所述识别文字集合b a 中,则获得第a个参照汉字出现的编号集合,记为o a ,转步骤E6.3。
步骤E6.3、从所述编号集合o a 中选择与编号a的数值最接近的一个编号作为识别正确编号,记为id a ,并计算识别正确编号id a 与编号a的数值之差的绝对值,记为记忆准确位置,记为dis(a),即dis(a) = |id a a|。
步骤E6.4、根据如下公式计算第a个参照汉字记忆准确个数,记为quan a
quan a = 1/λ exp(dis(a))
步骤E6.5、所述熟练度列表list i 中第a个元素,即第a个熟练度,其当前值记为skill ia ,将(skill ia + quan a )/2的值赋值给所述熟练度列表list i 即第a个熟练度,以更新所述熟练度列表list i
步骤E6.6、将 w + list i 的值赋值给所述汉字记忆准确个数w,转步骤E6.7。
步骤E6.7、判断编号a是否等于所述当前第i个短句汉字的总个数n,如果判定结果为是,则转步骤E6.8;如果判定结果为否,则将a +1的值赋值给a,并转步骤E6.1。
步骤E6.8、根据如下公式计算所述当前第i个短句的记忆准确率。
rate i = wn
rate i 即为所述当前第i个短句的记忆准确率。
步骤5.2.5、判断在所述记忆文字材料中,当前第i个短句后是否仍有短句未被背诵,如果判定结果为是,则将i+1 的值赋值给i,并转步骤5.2.1;如果判定结果为否,则转步骤5.2.6。
步骤5.2.6、将全部的背诵准确率(x 1, x 2,…, x i …)求平均值后作为合成为总体背诵准确率x,并输出给用户。

Claims (8)

1.一种基于语音识别的记忆训练与测试方法,其特征在于,基于语音识别和程序控制实现辅助用户对中文文字材料的记忆训练和记忆测试功能,其中,辅助用户进行记忆训练的过程由完全跟读逐步过度到完全背诵,具体步骤如下:
步骤1、用户选择待记忆的中文文字材料,以下简称记忆文字材料;
所述记忆文字材料以指定的分隔符,例如逗号,分割成多个短句,每个短句对应一个语音朗读文件,以下简称语音文件;
步骤2、遍历所述记忆文字材料中的每个短句,对于当前第i个短句,设置一个熟练度列表listi,所述熟练度列表listi的长度等于所述当前第i个短句汉字的个数,所述熟练度列表listi中的第a个元素,是一个0~1之间的数值,代表着用户对所述当前第i个短句中第a个汉字记忆的熟练程度;
步骤3、进行完全跟读训练
步骤3.1、设置最大跟读次数为Iread,设置单句跟读最大重复次数为Irepeat,设置最小跟读准确率为ratemin_read
步骤3.2、设置当前跟读次数为d,初始化d的值为1;
步骤3.3、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句:
步骤3.3.1、初始化当前第i个短句跟读次数为vid,设置vid的值为1;
步骤3.3.2、播放所述当前第i个短句对应的语音文件,暂停,然后用户跟读;
步骤3.3.3、获取用户跟读的语音输入;
步骤3.3.4、基于语音识别和所述用户跟读的语音输入,获得识别文字;
步骤3.3.5、将识别文字与当前对应的当前第i个短句进行比较,获得跟读的准确率rt,并更新所述熟练度列表listi
步骤3.3.6、判断所述跟读准确率rt是否大于等于所述最小跟读准确率ratemin_read
在判定所述跟读准确率rt大于等于所述最小跟读准确率ratemin_read的情况下:判断所述当前第i个短句之后是否仍有短句未播放,如果判断结果为是,则:将所述跟读准确率rt作为此次跟读当前第i个短句的跟读准确率cid,并将i+1的值赋值给i,转步骤3.3.1;如果判断结果为否,则:转步骤3.4;
在判定所述跟读准确率rt小于所述最小跟读准确率ratemin_read的情况下:判断所述当前第i个短句跟读次数vid是否大于等于所述单句跟读最大重复次数为Irepeat,如果判断结果为是,则:将所述跟读准确率rt作为此次跟读当前第i个短句的跟读准确率cid,并将i+1的值赋值给i,转步骤3.3.1;如果判断结果为否,则:将vid+1的值赋值给vid,并转步骤3.3.2;
步骤3.4、判断所述当前跟读次数d是否大于等于所述最大跟读次数为Iread,如果判断结果为是,则转步骤3.5,如果判断结果为否,则将当前各句跟读准确率c1d,c2d,…,cid,…合成第d次跟读准确率cd,并将d+1的值赋值给d,转步骤3.3;
步骤3.5、将所述的每一次跟读准确率c1,c2,…,cd,…合成为整体跟读准确率g,并输出给用户;
步骤4、进行汉字隐藏记忆训练
步骤4.1、设置最大训练次数为Itrain,设置单句训练最大重复次数为h,设置最小训练准确率为ratemin_train
步骤4.2、设置当前训练次数为j,初始化j的值,设为1;
步骤4.3、计算当前训练次数j情形下的汉字提示率uj
步骤4.4、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句:
步骤4.4.1、初始化当前第i个短句跟读次数为mij,设置mij的值为1;
步骤4.4.2、所述当前第i个短句的汉字总个数为pi,计算uj与pi乘积的值,并向下取整,得到设置当前第i个短句对应当前训练次数j时的汉字提示个数
步骤4.4.3、从所述当前第i个短句中选择sij个汉字,将所述选择的sij个汉字作为提示汉字,所述当前第i个短句中其余的汉字作为隐藏汉字,将所述提示汉字和所述隐藏汉字一起构成提示句,展示给用户,然后用户根据提示句进行背诵;
步骤4.4.4、获取用户背诵的语音输入;
步骤4.4.5、基于语音识别和所述用户背诵的语音输入,获得识别文字;
步骤4.4.6、将识别文字与当前第i个短句进行比较,获得训练准确率z,并更新所述熟练度列表listi
步骤4.4.7、判断所述训练准确率zt是否大于等于所述最小跟读准确率ratemin_train
在判定所述跟读准确率z大于等于所述最小训练准确率ratemin_train的情况下:判断所述当前第i个短句之后是否仍有短句未播放,如果判断结果为是,则:将所述训练准确率z作为此次训练当前第i个短句的训练准确率zij,并将i+1的值赋值给i,转步骤4.4.1;如果判断结果为否,则:转步骤4.5;
在判定所述训练准确率z小于所述最小训练准确率ratemin_train的情况下:判断所述当前第i个短句训练次数mij是否大于等于所述单句训练最大重复次数h,如果判断结果为是,则:将所述训练准确率z作为此次训练当前第i个短句的训练准确率zij,并将i+1的值赋值给i,转步骤4.4.1;如果判断结果为否,则:将mij+1的值赋值给mij,并转步骤4.4.2;
步骤4.5、判断所述当前训练次数j是否大于等于所述最大训练次数为Itrain,如果判断结果为是,则转步骤4.6,如果判断结果为否,则将当前各句跟读准确率z1j,z2j,…,zij,…合成第j次训练准确率zj,并将j+1的值赋值给j,转步骤4.3;
步骤4.6、将所述的每一次训练准确率z1,z2,…,zj,…合成为整体训练准确率q,并输出给用户。
2.根据权利要求1所述的一种基于语音识别的记忆训练与测试方法,其特征在于,所述辅助用户进行记忆测试包括以下步骤:
步骤1、用户选择待记忆的中文文字材料,以下简称记忆文字材料;
步骤2、按顺序遍历所述记忆文字材料中的各个短句,对于当前第i个短句:
步骤2.1、向用户发出开始背诵的提示音,用户在听到提示音后背诵当前第i个短句;
步骤2.2、获取用户背诵的语音输入;
步骤2.3、基于语音识别和所述用户背诵的语音输入,获得识别文字;
步骤2.4、将识别文字与当前第i个短句进行比较,获得背诵准确率xi
步骤2.5、判断在所述记忆文字材料中,当前第i个短句后是否仍有短句未被背诵,如果判定结果为是,则将i+1的值赋值给i,并转步骤2.1;如果判定结果为否,则转步骤2.6;
步骤2.6、将全部的背诵准确率x1,x2,…,xi…合成为总体背诵准确率x,并输出给用户。
3.根据权利要求1所述的一种基于语音识别的记忆训练与测试方法,其特征在于,所述记忆文字材料对应的语音文件可由语音合成,使用文字合成语音或者用户自己录制而成。
4.根据权利要求1所述的一种基于语音识别的记忆训练与测试方法,其特征在于,所述将识别文字与当前第i个短句进行比较,获得跟读、训练、背诵准确率,以下简称记忆准确率,记为ratei,并更新所述熟练度列表listi的具体步骤包括:
步骤1、计算所述当前第i个短句汉字的总个数,记为n;
步骤2、设置最大误差位置个数,记为L,初始化其值;
步骤3、设置参照汉字记忆准确率计算函数参数,记为λ,λ>1;
步骤4、设置汉字记忆准确个数,记为w,初始化其值为零;
步骤5、将所述当前第i个短句中的每一个汉字按顺序从1开始进行编号,第一个汉字编号为1,第二个汉字编号为2,以此类推,同样地,将所述识别文字中的每一个汉字按顺序从1开始进行编号;
步骤6、依次遍历当前第i个短句中的每一个汉字,对遍历的第a个汉字,以下称第a个参照汉字:
步骤6.1、从识别文字中分别选择编号为:max(1,a–L),max(1,a–L+1),…a,…min(n,a+L)的文字,构造识别文字集合,记为ba
步骤6.2、判断第a个参照汉字是否出现在识别文字集合ba中,如果第a个参照汉字未出现在所述识别文字集合ba中,转步骤6.6;如果第a个参照汉字出现在所述识别文字集合ba中,则获得第a个参照汉字出现的编号集合,记为oa,转步骤6.3;
步骤6.3、从所述编号集合oa中选择与编号a的数值最接近的一个编号作为识别正确编号,记为ida,并计算识别正确编号ida与编号a的数值之差的绝对值,记为记忆准确位置,记为dis(a),即dis(a)=|ida–a|;
步骤6.4、根据如下公式计算第a个参照汉字记忆准确个数,记为quana
quana=1/λexp(dis(a))
步骤6.5、所述熟练度列表listi中第a个元素,即第a个熟练度,其当前值记为skillia,将(skillia+quana)/2的值赋值给所述熟练度列表listi即第a个熟练度,以更新所述熟练度列表listi
步骤6.6、将w+listi的值赋值给所述汉字记忆准确个数w,转步骤6.7;
步骤6.7、判断编号a是否等于所述当前第i个短句汉字的总个数n,如果判定结果为是,则转步骤6.8;如果判定结果为否,则将a+1的值赋值给a,并转步骤6.1;
步骤6.8、根据如下公式计算所述当前第i个短句的记忆准确率,并输出;
ratei=w/n。
5.根据权利要求1所述的一种基于语音识别的记忆训练与测试方法,其特征在于,所述跟读、朗读训练、背诵准确率合成总体的跟读、朗读训练、背诵准确率的具体步骤包括:将各短句的跟读、朗读训练、背诵准确率进行求平均值,即求和然后除以短句的总个数,将平均值作为合成总体的跟读、朗读训练、背诵准确率。
6.根据权利要求1所述的一种基于语音识别的记忆训练与测试方法,其特征在于,所述计算当前训练次数j情形下的汉字提示率uj的具体步骤包括:
步骤1、设置汉字提示率计算函数参数,记为π;
步骤2、按如下公式计算汉字提示率uj
uj=1/(1+πexp(j))。
7.根据权利要求1所述的一种基于语音识别的记忆训练与测试方法,其特征在于,所述从所述当前第i个短句中选择sij个汉字作为提示汉字的具体步骤包括:
采用轮盘的选择方法,选择出sij个汉字作为提示汉字,其中所述当前第i个短句中第a个汉字被选择的概率为所述熟练度列表listi中对应第a个熟练度值skillia,所述的采用轮盘的选择方法,与经典的遗传算法中的轮盘选择方法一致。
8.根据权利要求1所述的一种基于语音识别的记忆训练与测试方法,其特征在于,所述将所述提示汉字和所述隐藏汉字一起构成提示句的具体操作按如下步骤执行:
步骤1、依次遍历所述提示汉字,对于当前提示汉字chari,随机从:原汉字、原汉字的拼音、原汉字的同音字、原汉字的一个偏旁部首这四种展示方式中选择一个方式作为所述当前提示汉字chari的展示方式;
步骤2、随机从:‘*’、‘#’、‘_’、‘~’这四种字符中选择一种字符作为全部所述隐藏汉字的展示方式;
步骤3、按所述当前第i个短句中各汉字出现的先后顺序,依次将所述提示汉字的展示方式与隐藏汉字的展示方式连接起来,构成一个提示句。
CN201810070222.9A 2018-01-24 2018-01-24 一种基于语音识别的记忆训练与测试方法 Expired - Fee Related CN108305527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810070222.9A CN108305527B (zh) 2018-01-24 2018-01-24 一种基于语音识别的记忆训练与测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810070222.9A CN108305527B (zh) 2018-01-24 2018-01-24 一种基于语音识别的记忆训练与测试方法

Publications (2)

Publication Number Publication Date
CN108305527A CN108305527A (zh) 2018-07-20
CN108305527B true CN108305527B (zh) 2019-08-06

Family

ID=62866405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810070222.9A Expired - Fee Related CN108305527B (zh) 2018-01-24 2018-01-24 一种基于语音识别的记忆训练与测试方法

Country Status (1)

Country Link
CN (1) CN108305527B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410656A (zh) * 2018-12-20 2019-03-01 广东小天才科技有限公司 一种基于旋律合成的背诵引导方法及学习设备
CN111176778B (zh) * 2019-12-31 2021-01-15 联想(北京)有限公司 一种信息显示方法、装置、电子设备和存储介质
CN113611310A (zh) * 2021-07-28 2021-11-05 网易有道信息技术(北京)有限公司 背诵检验方法、装置及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201886649U (zh) * 2010-12-23 2011-06-29 赵娟 一种课文背诵装置
CN105551313A (zh) * 2016-03-09 2016-05-04 临沂大学 一种辅助记忆的英语单词随机生成器
CN106571087A (zh) * 2016-10-21 2017-04-19 成都智慧鑫艺工业产品设计有限公司 一种具有记忆功能的教学系统及教学方法
CN107293166A (zh) * 2016-04-13 2017-10-24 天津工业大学 一种基于课文掌握程度动态评估的排序跟读方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201886649U (zh) * 2010-12-23 2011-06-29 赵娟 一种课文背诵装置
CN105551313A (zh) * 2016-03-09 2016-05-04 临沂大学 一种辅助记忆的英语单词随机生成器
CN107293166A (zh) * 2016-04-13 2017-10-24 天津工业大学 一种基于课文掌握程度动态评估的排序跟读方法
CN106571087A (zh) * 2016-10-21 2017-04-19 成都智慧鑫艺工业产品设计有限公司 一种具有记忆功能的教学系统及教学方法

Also Published As

Publication number Publication date
CN108305527A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
Gerosa et al. A review of ASR technologies for children's speech
CN104538024B (zh) 语音合成方法、装置及设备
CN108305527B (zh) 一种基于语音识别的记忆训练与测试方法
CN107316638A (zh) 一种诗词背诵评测方法及系统、一种终端及存储介质
CN101105894B (zh) 多功能语言学习机
TWI420433B (zh) 語音互動系統與方法
US10134300B2 (en) System and method for computer-assisted instruction of a music language
JPH08297498A (ja) 音声認識対話装置
CN101751809A (zh) 基于三维头像的聋儿语言康复方法及系统
CN206849295U (zh) 智能钢琴教学辅助器
CN112599113B (zh) 方言语音合成方法、装置、电子设备和可读存储介质
CN103377568A (zh) 一种多功能儿童体感教育系统
Hair et al. A longitudinal evaluation of tablet-based child speech therapy with Apraxia World
CN112164379A (zh) 音频文件生成方法、装置、设备及计算机可读存储介质
EP3171354A1 (en) Language learning system utilizing component unit, more segmented than phoneme, or various games
KR20220165666A (ko) 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템
Lučić et al. Educational applications for blind and partially sighted pupils based on speech technologies for Serbian
CN117522643A (zh) 一种口才训练方法、装置、设备及存储介质
Han et al. The modular design of an english pronunciation level evaluation system based on machine learning
CN109473007B (zh) 一种音素结合声旁的英语自然拼读教学方法及系统
US20150238877A1 (en) Language translating doll
CN109741643A (zh) 面向文本大数据的词语处理方法
CN103985288B (zh) 多功能盲文语音装置
JP2001051587A (ja) 外国語学習装置、外国語学習方法、及び外国語学習用プログラムを記録したコンピュータ読み取り可能な記録媒体
Zhao et al. Pronunciation of rehabilitation methods based on 3d-talking head

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190806

Termination date: 20210124