CN107203539B - 复数字词学习机的语音评测装置及其评测与连续语音图像化方法 - Google Patents

Abstract

本发明提供一种复数字词学习机的语音评测装置及其评测与连续语音图像化方法，其主要是通过将学习者朗读出复数字词形成的连续字词学习者曲线与原先建立于数据中的连续字词基准曲线进行比对，以对使用者在连续字词的发音与学习上进行评测以及重复学习的目的，依序执行的开启评量模式步骤、选择评量字词步骤、图像化步骤、录音步骤、抽取基频步骤、定义分析点步骤、转换曲线步骤、简化曲线步骤以及重复步骤，以形成连续字词学习者曲线，再进行评测步骤，以达成提供一种能够通过视觉辅助口语学习及帮助听障患者针对复数字词进行学习与复健的复数字词学习机的语音评测装置及其评测与连续语音图像化方法的目的。

Description

复数字词学习机的语音评测装置及其评测与连续语音图像化 方法

技术领域

本发明涉及一种语音验证技术，特别是涉及一种复数字词学习机的语音评测装置。本发明还涉及前述复数字词学习机的语音评测装置的评测与连续语音图像化方法。

背景技术

现今社会科技发展迅速，医疗发达，许多听力受损的成人或儿童在复健时主要是通过助听器或植入电子耳等听觉辅具协助来恢复日常的生活水平或者进行复健，然而在听觉辅具的协助之下，患者对于中文独具的声调相关的频率感知仍常有不足的情况，是以急需一种能够配合听觉与视觉辅助的语言复健装置；

且听障者对于单字发音的学习有极大的困难存在，尤其是口语化连续字词音的学习与复健更见不易，故急需一种合适的复健装置进行口语化连续字词音的学习与复健；

又，于现今社会情势视之，在华人地区经贸及外交崛起的情况下，许多非中文为母语的外国人为打入中国市场纷纷积极学习中文。然而语言的学习并非一蹴而就，往往需要通过许多辅助的学习器具来增进学习效能。更甚之，语言的学习主要可分为听、说、读及写这四大部分，而其中应用最为广泛的部分又属于说的部分，是以需要一种除了听觉输入以外，并且能够通过视觉辅助口语学习的装置。而观察目前市面上常见的语言学习装置以及计算机软件接口，在学习与评测语音学习成果时多半是以单字为基础而设计的，但是这种单字学习形态对于实际口语化的沟通概念形成以词意为主的形态仍有差距，因为一般人说话的状态是呈连续发音的形态，而非单一字一字的发音再组合成词，然而一般只有单字数据库的装置，即会如此组合，因此单一字一字组合的音并非连续音，即一般俗称的机械发音，机械发音无论如何组合或美化调整，均无法达到真人一般的连续发音，而这种机械发音对使用者的学习，自难以发挥拟近真人的效果。因此连续音形态的拟真学习，非但未见于目前各式语言学习或评测的装置，甚至于未运用于语音辩识的系统中。因此学习后的实际运用上仍与一般母语用户在复数字词上的连续发音部份有所落差，故有重新设计的必要；

一般市面上语音识别的技术应用大多局限于各种声控的应用装置、大楼门禁管制系统及无线通信装置等，多以个别单一字一字的音串接组合为主，缺乏连续字词发音的比对以及中文声调评测应用技术，为此需要一种能够利用复数字词连续音的声音验证技术达到辅助学习的复数字词学习机的语音评测装置及其评测与连续语音图像化方法。

发明内容

本发明提供一种能够通过视觉辅助口语学习及帮助听障患者复健的复数字词学习机的语音评测装置。

本发明的另一目的是提供一种复数字词学习机的语音评测装置的评测与连续语音图像化方法。

为达前述目的，本发明的复数字词学习机的语音评测装置，包括：

一标准音数据库，包括至少一字词标准音文件以及对应该音文件的基准曲线图形，该字词标准音文件包括单字词标准音文件、双字词连续标准音文件及多字词连续标准音文件；双字词连续标准音文件及多字词连续标准音文件定义为复数字词连续标准音文件，而该复数字词连续标准音文件，是为该复数字词完整朗读的连续标准音文件与其所包含的各单字单独截断的单字音节标准音文件；各复数字词连续标准音文件分别形成对应的基准曲线，其中，复数字词连续标准音文件透过图形化步骤产生的对应连续音的各单字形成一单字音节基准曲线，并将该连续音的各单字音节基准曲线复合而成一复数字词连续基准曲线；

一语音播放单元，供以播放该标准音数据库内的标准音文件以及学习者录制的学习者音文件；

一中央处理系统，具有一中央处理单元连接前述的标准音数据库以及该语音播放单元，该中央处理单元并信息连接一播放接口、一音文件图像化单元及一显示单元，该中央处理单元另连接一语音接收单元及一学习者音数据库，并通过连接一评鉴单元对应该标准音数据库进行比对评鉴；该学习者音数据库与该评鉴单元同时连接该中央处理单元；该播放接口用以供用户自该标准音数据库或学习者音数据库选定欲学习或评鉴的字词音文件，通过该播放接口控制该语音播放单元播送所选的该字词音文件；该音文件图像化单元用以将用户或学习者发音的各字词学习者音文件转换成一对应该音文件的一学习者曲线，该播放接口于控制该语音播放单元播放该标准音数据库及该学习者音数据库内的字词音文件的同时亦将该标准音数据库、该学习者音数据库内的基准曲线与该学习者曲线同时显示；

一语音接收单元，用以接收用户或学习者发出的声音，藉以建立学习者音数据库，将该接收单元接收到的声音形成学习者音文件，并经中央处理单元传送至该音文件图像化单元，藉由该音文件图像化单元将声音转换为该学习者曲线；

该学习者音数据库包括：至少一字词学习者音文件以及对应该字词学习者音文件的该学习者曲线，该学习者音文件包括一复数字词连续学习者音文件，该复数字词连续学习者音文件包括复数字词完整朗读的一连续学习者音文件及各复数字词依各单独字截断的一单字音节学习者音文件，各该字词学习者音文件分别形成对应的一学习者曲线，各该复数字连续词学习者音文件产生的对应连续音的各单字形成一复数字词单字音节学习者曲线，复数该复数字词单字音节学习者曲线复合而成一复数字词连续学习者曲线；以及

一评鉴单元，与该中央处理系统信息连接，该评鉴单元用以比对该基准曲线及该学习者曲线；

学习者藉由操作该中央处理系统的该播放接口，以选出欲学习的字词音文件，由该语音播放单元播出该字词音文件，并由该显示单元显示出对应的标准音文件的基准曲线；另由该音文件图像化单元将学习者经由语音接收单元收录学习者的字词口语学习音文件转化成学习者口语的该字词对应的学习者曲线，由该显示单元显示该字词的基准曲线与学习者曲线，并经由该评鉴单元以该基准曲线为基准进行比对评分。

为达前述目的，本发明字词学习机的语音评测装置的评测与连续语音图像化方法，包括：

开启评量模式步骤，开启该中央处理系统，使该显示单元显示该播放接口；

选择评量字词步骤，点选该播放接口自该标准音数据库选定欲评量的该复数字词连续标准音文件或各对应的复数字词单字音节标准音文件；

播录音功能选择步骤，学习者可选择要进行播放步骤或录音步骤；

录音步骤，若选择录音，则学习者对该语音接收单元说出欲评量的字词，让该语音接收单元接收学习者的声音形成学习者音文件，并将该音文件传送至该音文件图像化单元进行图像化步骤；

该图像化步骤包括：一抽取基频步骤，一定义分析点步骤、一转换曲线步骤以及一简化曲线步骤；其中，该抽取基频步骤，藉由该音文件图像化单元针对学习者所说的字词进行选取，选取该字词中频率最稳定的区段，其中，单字词部份，是针对单字音文件中最稳定部份进行抽出，一般而言，是为该音文件的中段处，复数字词部份，则针对各单字中段处分别抽出该稳定区段的基频，以形成对应各单字的一单字音节学习者初始曲线，定义该单字音节学习者初始曲线的图形的横轴为一时间轴，纵轴为一频率轴；

定义分析点步骤，定义该单字音节学习者初始曲线具有数分析点，其中，于该单字音节学习者初始曲线的两端点为一始点及一终点，并于该单字音节学习者初始曲线内选取最高的基频为一高点及选取最低的基频为一低点；

转换曲线步骤，依序连接四个该分析点以形成至少一相互连接的线段，定义各该线段分别为一初始比对音节；

简化曲线步骤，比较该初始比对音节的时间及该单字音节学习者初始曲线的时间，当该初始比对音节于该时间轴的长度不足该单字音节学习者初始曲线于该时间轴的长度的30％的，视为不具代表性的初始比对音节，并将该不具代表性的初始比对音节部分与接邻的余下初始比对音节的线段合并形成新的该比对音节，该合并后的比对音节经曲线圆滑化形成该单字音节学习者曲线；

重复步骤，重复前述抽取基频步骤、定义分析点步骤、转换曲线步骤、简化曲线步骤以将其余单字依序转化为该单字音节学习者曲线，并将各该单字音节曲线依序显示形成一复数字词连续学习者曲线显示于该显示单元；以及

评测步骤，撷取该字词的连续学习者曲线以及其所包含的各该单字音节学习者曲线，并依序就该连续基准曲线以及各单字音节基准曲线进行比对，经比对后便形成复数比对参数，评测步骤可由单一比对参数或复数比对参数进行评测。

由前述可知，本发明复数字词学习机的语音评测装置及其评测与连续语音图像化方法主要是藉由依序执行的开启评量模式步骤、选择评量字词步骤、播录音功能选择步骤、录音步骤、图像化步骤包括：抽取基频步骤、定义分析点步骤、转换曲线步骤、简化曲线步骤等、重复步骤及评测步骤以达成提供一种能够藉由视觉辅助口语学习及帮助听障患者复健的复数字词学习机的语音评测装置及其评测与连续语音图像化方法的目的。

附图说明

图1为本发明数字词学习机的语音评测装置的示意图。

图2为本发明数字词学习机的语音评测装置的评测方法第一实施例的流程图。

图3为本发明数字词学习机的语音评测装置的评测方法第二实施例的流程图。

图4为本发明数字词学习机的语音评测装置的评测方法较佳实施例的流程图。

图5A为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图5B为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图5C为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图5C-1为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图5C-2为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图5D为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图6A为本发明数字词学习机的语音评测装置产生的单字音节曲线的各种态样。

图6B为本发明数字词学习机的语音评测装置产生的单字音节曲线的各种态样。

图6C为本发明数字词学习机的语音评测装置产生的单字音节曲线的各种态样。

图6D为本发明数字词学习机的语音评测装置产生的单字音节曲线的各种态样。

图6E为本发明数字词学习机的语音评测装置产生的单字音节曲线的各种态样。

图6F为本发明数字词学习机的语音评测装置产生的单字音节曲线的各种态样。

图7A为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图7B为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图7C为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图7D为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字音节曲线转化图。

图8A为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字曲线结合的学习者曲线。

图8B为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的单字曲线结合的学习者曲线经平滑化的曲线。

图9为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的基准曲线。

图10为本发明数字词学习机的语音评测装置评测与连续语音图像化方法的基准曲线与学习者曲线的比较图。

附图中符号标记说明：

10为标准音数据库； 11为单字词标准音文件；

12为双字词连续标准音文件； 120为双字词单字音节标准音文件；

121为双字词单字音节基准曲线； 122为双字词连续基准曲线；

13为多字词连续标准音文件； 130为多字词单字音节标准音文件

131为多字词单字音节基准曲线； 132为多字词连续基准曲线；

20为语音播放单元； 300为中央处理单元；

30为中央处理系统； 31为播放界面；

32为音文件图像化单元； 33为显示单元；

40为语音接收单元； 50为学习者音数据库；

51为单字词学习者音文件； 52为双字词连续学习者音文件；

520为双字词单字音节学习者音文件； 521为双字词单字音节学习者曲线；

522为双字词连续学习者曲线； 53为多字词连续学习者音文件；

530为多字词单字音节学习者音文件； 531为多字词单字音节学习者曲线；

532为多字词连续学习者曲线； 60为评鉴单元；

S为基准曲线； S1为单字音节基准曲线；

S2为复数字词连续基准曲线； U为学习者曲线；

U1为复数字词单字音节学习者曲线； U10为单字音节学习者初始曲线；

U11为初始比对音节； U11为合并比对音节；

U2为复数字词连续学习者曲线； A1为开启学习模式步骤；

A2为选择学习字词步骤； A3为播放步骤；

B1为开启评量模式步骤； B2为选择评量字词步骤；

B3为播录音功能选择步骤； B30为播放步骤；

B4为录音步骤； C为图像化步骤；

C1为抽取基频步骤； C2为定义分析点步骤；

C3为转换曲线步骤； C4为简化曲线步骤；

C40为平滑化步骤； C5为重复步骤；

D为分析点； D1为第一分析点；

D2为第二分析点； D3为第三分析点；

D4为第四分析点； D5第五分析点；

D6为第六分析点； D7为第七分析点；

D8为第八分析点； D9为第九分析点；

D10为第十分析点； E为评测步骤；

A1为第一面积； A2为第二面积；

X为时间轴； Y为频率轴。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种复数字词学习机的语音评测装置，如图1所示，包括：

一标准音数据库10，包括至少一字词标准音文件以及对应该字词标准音文件的基准曲线，该字词标准音文件包括单一字词标准音文件11、一双字词连续标准音文件12及一多字词连续标准音文件13；定义该复数字词完整朗读的双字词连续标准音文件12、多字词连续标准音文件13与其所包含的各单字单独截断的双字词单字音节标准音文件120、多字词单字音节标准音文件130为一复数字词连续标准音文件；该各标准音文件11、12、13分别形成对应的基准曲线S，其中，该复数字词连续标准音文件12、13、120、130通过图形化步骤产生的对应连续音的各单字形成一单字音节基准曲线S1，并将该连续音的各该单字音节基准曲线S1复合而成一复数字词连续基准曲线S2；其中，该单字音节基准曲线S1包括：双字词单字音节基准曲线121以及多字词单字音节基准曲线131两部份；该复数字词连续基准曲线S2则包括：双字词连续基准曲线122以及多字词连续基准曲线132两部份；

一语音播放单元20，供以播放该标准音数据库10内的字词标准音文件，该语音播放单元20为一喇叭；

一中央处理系统30，具有一中央处理单元300，该中央处理单元300除了连接前述的标准音数据库10以及该语音播放单元20，并信息连接一播放接口31、一音文件图像化单元32及一显示单元33，该中央处理单元300另连接一语音接收单元40、一学习者音数据库50及一评鉴单元60，并通过该评鉴单元60对应该标准音数据库10进行比对评鉴；该播放接口31用以供用户自该标准音数据库10或学习者音数据库50选定欲学习或评鉴的字词音文件，藉该播放接口31控制该语音播放单元20播送所选的该字词音文件；该音文件图像化单元32用以将用户或学习者发音的各字词学习者音文件转换成对应该音文件的一学习者曲线U，该播放接口31于控制该语音播放单元20播放该标准音数据库10、学习者音数据库50内的字词音文件的同时亦将该标准音数据库、学习者音数据库50内的基准曲线S与学习者曲线U同时显示；

一语音接收单元40，为一收音用的麦克风，该语音接收单元40用以接收用户或学习者发出的声音，并将该接收单元40接收到的声音形成学习者音数据库50中的学习者音文件并传送至该音文件图像化单元32，藉由该音文件图像化单元32将声音转换为该学习者曲线U；以及

该学习者音数据库50包括：至少一字词学习者音文件以及对应该字词学习者音文件的学习者曲线图形，该字词学习者音文件包括单字词学习者音文件51、双字词连续学习者音文件52及多字词连续学习者音文件53；定义该复数字词完整朗读的双字词连续学习者音文件52、多字词连续学习者音文件53与其所包含的各复数字词依各单独字截断的一双字词单字音节学习者音文件520、一多字词单字音节学习者音文件530为该复数字词连续学习者音文件；各该学习者音文件51、52、53分别形成对应的学习者曲线U，该双字词连续学习者音文件52、多字词连续学习者音文件53透过图形化步骤产生的对应连续音的各单字形成一复数字词单字音节学习者曲线U1，并将该连续音的各该复数字词单字音节学习者曲线U1复合而成一复数字词连续学习者曲线U2；其中，而该复数字词单字音节学习者曲线U1包括：双字词单字音节学习者曲线521以及多字词单字音节学习者曲线531两部份；该复数字词连续学习者曲线U2则包括：双字词连续学习者曲线522以及多字词连续学习者曲线532两部份；

该评鉴单元60，与该中央处理系统30信息连接，该评鉴单元60用以比对该基准曲线S及该学习者曲线U的斜率正负、转折时间与斜率偏差等参数进行计分。

学习者通过操作该中央处理系统30的播放接口31，以选出欲学习的字词标准音文件，由该语音播放单元20播出该标准音文件，并由该显示单元33显示出对应的基准曲线S；另藉该音文件图像化单元32，将学习者经由语音接收单元40收录学习者的连续字词口语学习者音文件透过单字音节的转化再复合成复数字词的连续口语的该学习者曲线U，并经由该评鉴单元60以该基准曲线S为基准进行比对评分，并显示于该显示单元33。

本发明提供一种复数字词学习机的语音评测方法，包括学习模式及评量模式等模式，详述于下文，如图2至图10所示：

于学习模式中，以复数字词的学习为例，如图2所示，复数字词学习机的语音评测方法，包括：

开启学习模式步骤A1，开启该中央处理系统30，使该显示单元33显示该播放接口31；

选择学习字词步骤A2，点选该播放接口31，自该标准音数据库10选定欲学习的复数字词标准音文件12、13或各对应的复数字词单字音节标准音文件120、130；

播放步骤A3，藉由该播放接口31控制该语音播放单元20播送欲学习的复数字词标准音文件12、13或各对应的复数字词单字音节标准音文件120、130。

而于评量模式中，仍以复数字词为例，如图3、4所示，复数字词学习机的语音评测方法，包括：

开启评量模式步骤B1，开启该中央处理系统30，使该显示单元33显示该播放接口31；

选择评量字词步骤B2，点选该播放接口31自该标准音数据库10选定欲评量的字词的复数字词连续标准音文件12、13或各对应的复数字词单字音节标准音文件120、130；

播录音功能选择步骤B3，如图4所示，学习者可选择要进行播放步骤B30或录音步骤B4，若选择播放步骤B4，则由该播放接口31控制该语音播放单元20播送欲评量的复数字词连续标准音文件12、13或各对应的复数字词单字音节标准音文件120、130，供学习者连续发音的口语模拟学习；

录音步骤B4，学习者对该语音接收单元40说出欲评量的复数字词，让该语音接收单元40接收用户的声音形成复数字词连续学习者音文件52、53以及各对应的复数字词单字音节学习者音文件520、530，以成为学习者音数据库50的内容的一，并传送至该音文件图像化单元32，进行图像化步骤C以形成对应的学习者曲线U中的复数字词单字音节学习者曲线U1以及复数字词连续学习者曲线U2；

图像化步骤C，主要具有一抽取基频步骤C1，一定义分析点步骤C2、一转换曲线步骤C3以及一简化曲线步骤C4；该图像化步骤C可同时针对前述的标准音文件转化成基准曲线S的作业以及针对前述的学习者音文件转化成学习者曲线U的作业，以下即针对学习者音文件转化成学习者曲线U进行说明，并以双字词连续学习者音文件52的两个双字词单字音节学习者音文件520，转化成两个双字词单字音节学习者曲线521再复合成该双字词连续学习者曲线522为例；

该抽取基频步骤C1，第一字如图5A所示，针对学习者所说的字词(即一个复数词单字音节学习者音文件520、530)进行选取，选取字词频率最稳定的区段，抽出该稳定区段的基频，以形成对应该复数字词第一单字的单字音节学习者初始曲线U10，定义该单字音节学习者初始曲线U10的图形的横轴为一时间轴X，纵轴为一频率轴Y，由于此步骤为逐字判别，是以一个单字逐步完成前述的图像化步骤C以形成该复数字词单字音节学习者曲线U1的双字词单字音节学习者曲线521；

定义分析点步骤C2，如图5A所示，定义该单字音节学习者初始曲线U10具有若干分析点D，其中，定义于该单字音节学习者初始曲线U10两端点的分析点D的始点为一第一分析点D1，终点为一第二分析点D2，并于该单字音节学习者初始曲线U10的基频中去除过高或过低的频率，形成一容差频段N，于该单字音节学习者初始曲线U10的容差频段N内选取最高与最低基频的分析点D，选取最高点的分析点D为一第三分析点D3，最低点的分析点D为一第四分析点D4；

转换曲线步骤C3，如图5B所示，依序连接四个该分析点D以形成至少一相互连接的线段，定义各该线段分别为一初始比对音节U11，使原为圆弧形的单字音节学习者初始曲线U10呈现由至少一直线线段的初始比对音节U11构成的线形，图6A至图6F为转换曲线步骤C3中可能出现的各种不同的态样，其中，图6A为始点的第一分析点D1与高点的第三分析点D3为同一分析点D，而终点的第二分析点D2与低点的第四分析点D4为同一分析点D的线形，图6B为始点的第一分析点D1与低点的第四分析点D4为同一分析点D，而终点的第二分析点D2与高点的第三分析点D3为同一分析点D，两图均形成单一初始比对音节U11直线线段的形态；或者如图6C，高点的第三分析点D3与终点的第二分析点D2(或始点的第一分析点D1，图未示)为同一分析点D，如图6D为低点的第四分析点D4与终点的第二分析点D2(或始点的第一分析点D1，未示)为同一分析点D，形成由二个该初始比对音节U11构成的单转折线形；或如图6E、6F所示，四个该分析点D是非同一各自独立，即形成三个该初始比对音节U11构成的双转折的线形；

简化曲线步骤C4，如图5B及5C所示，比较各该初始比对音节U11的时间长度T1、T2、T3及该单字音节学习者初始曲线U10的总时间长度T0，当该初始比对音节U11于时间长度T1不足该单字音节学习者初始曲线U10总时间长度T0的30％者，视为不具代表性的该初始比对音节U11，将该不具代表性的初始比对音节U11与接邻的初始比对音节U11合并形成新的一合并比对音节U11’，并将该合并比对音节U11’与另一具有代表性的该初始比对音节U11连接成一直线形复数字词单字音节学习者曲线U1的双字词单字音节学习者曲线521；

前述合并不具代表性的该初始比对音节U11是可利用不同的合并方法进行合并成新的该合并比对音节U11’，其中，合并方法之一是在不具代表性的该初始比对音节U11的中央取一修正的第五分析点D5，如图5C所示，并以欲合并的相邻具有代表性的该分析点D(如图5C所示，该分析点D为第四分析点D4)为端点连接至第五分析点D5，并持续延伸至与该不具代表性的初始比对音节U11的第一分析点D1同一时间点为止，形成一新的分析点D为第六分析点D6，以图5C新的合并比对音节U11’是由该第六分析点D6连接至原该第四分析点D4；

合并的方法二，如图5C-1所示，是将相邻于不具代表性的该初始比对音节U11的具代表性初始比对音节U11延伸至该不具代表性初始比对音节U11的分析点D(本实施例为第一分析点D1)的同一时间处形成一第七分析点D7，取该第七分析点D7与前述第一分析D1的中间值成新的分析点D为一第八分析点D8，连接该第八分析点D8与该第四分析点D4连接成一新的合并比对音节U11’；

合并的方法三，如图5C-2所示是于前述不具代表性的该初始比对音节U11的分析点D(本实施例为第一分析点D1)的同一时间延伸线处另设定一第九分析点D9，该第九分析点D9与该第四分析点D4连接成一合并比对音节U11’，该合并比对音节U11’与原该不具代表性的该初始比对音节U11的交点形成一第十分析点D10，使该第一分析点D1、第九分析点D9与第十分析点D10围成的一第一面积A1等于第四分析点D4、第三分析点D3与第十分析点D10围成的一第二面积A2；

重复步骤C5，如图7A至7D所示，重复该图像化步骤C，包括：该抽取基频步骤C1，该定义分析点步骤C2、该转换曲线步骤C3以及一简化曲线步骤C4以将其余单字依序转化为该复数字词单字音节学习者曲线U1的双字词单字音节学习者曲线521，并将各该复数字词单字音节学习者曲线U1依序连接成复数字词连续学习者曲线U2的双字词连续学习者曲线522，如图8A所示，显示于该显示单元33，以利用户阅读及评比；

平滑化步骤C40，另可加以平滑圆弧曲线化，如图4所示，形成最终的该复数字词单字音节学习者曲线U1中的圆弧形双字词单字音节学习者曲线521，如图5D及图7D所示，将该复数字词单字音节学习者曲线U1予以平滑化，使视觉效果更佳，并将各该复数字词单字音节学习者曲线U1组合成该复数字词连续学习者曲线U2，如图8B所示，惟此直线曲线形态转成圆弧曲线形态的函数是为现有技术，非本案的重点所在，故在此不另赘述；

评测步骤E，撷取该复数字词单字音节基准曲线S1以及该复数字词连续基准曲线S2，如图9所示，与经前述步骤形成的复数字词单字音节学习者曲线U1以及该复数字词连续学习者曲线U2进行比对，如图10所示，经比对后便形成复数比对参数，其中，第一参数为比较该复数字词单字音节基准曲线S1的各音节与该复数字词单字音节学习者曲线U1的各初始比对音节U11、合并比对音节U11’的斜率走向，若斜率走向相同即属合格；该第二参数为该复数字词单字音节基准曲线S1各音节与该复数字词单字音节学习者曲线U1各音节的斜率偏差，若斜率差在合格范围内即属合格，该合格范围可订定在斜率差角度于正负15度角内，该合格范围亦可订定在斜率差角度偏差10％内，此部分是训练使用者字词音调变化的准确性；该第三参数为该复数字词单字音节基准曲线S1及该复数字词单字音节学习者曲线U1的各分析点D分布于该时间轴X的位置误差值，若误差值小一定范围即属合格，该范围可订定于正负10％，此部分是训练使用者单字音调转换的准确性；该第四参数为该复数字词单字音节基准曲线S1的各音节及复数字词单字音节学习者曲线U1的各音节于该时间轴X的长度比例的误差值，若误差值小于一定范围即属合格，该范围可订定于该时间轴X的长度比例的正负10％，以训练学习者断字的准确性；该第五参数为复数字词单字音节基准曲线S1与该复数字词单字音节学习者曲线U1的音节数量相等与否，当音节数量相等即属合格；仍可有不同参数的定义运用者；而评测步骤E可由单一比对参数或复数比对参数进行评测，较佳的，举例说明，可由该第一参数及该第五参数配比占60％、第二参数配比占10％、第三参数配比占10％、第四参数配比占10％为综合评判标准。

由前述可知，本发明复数字词学习机的语音评测装置及其评测方法主要是藉由依序执行的开启评量模式步骤B1、选择评量字词步骤B2、播录音功能选择步骤B3、录音步骤B4、图像化步骤C(抽取基频步骤C1，定义分析点步骤C2、转换曲线步骤C3以及简化曲线步骤C4)、重复步骤C5及评测步骤E以达成提供一种能够藉由视觉辅助口语学习及帮助听障患者复健的复数字词学习机的语音评测装置及其评测与连续语音图像化方法的目的。

综上所述，上述各实施例及附图仅为本发明的较佳实施例而已，并不用以限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，皆应包含在本发明的保护范围内。

Claims (20)

1.一种复数字词学习机的语音评测装置，其特征在于，包括：

一标准音数据库，包括至少一字词标准音文件以及对应所述字词标准音文件的一基准曲线，所述字词标准音文件包括一复数字词连续标准音文件，所述复数字词连续标准音文件为该复数字词完整朗读的连续标准音文件及其包含的各单字单独截断的单字音节标准音文件，各该字词标准音文件分别形成对应的一基准曲线，该复数字词连续标准音文件产生的对应连续音的各单字形成一单字音节基准曲线，复数该单字音节基准曲线复合形成一复数字词连续基准曲线；

一语音播放单元，供以播放所述标准音数据库内的字词标准音文件；

一中央处理系统，具有一中央处理单元，所述中央处理单元连接所述标准音数据库以及所述语音播放单元，所述中央处理单元并信息连接一播放接口、一音文件图像化单元、一显示单元，所述中央处理单元另连接一语音接收单元、一学习者音数据库及一评鉴单元，并通过所述评鉴单元对应所述标准音数据库进行比对评鉴；所述播放接口用以供用户自所述标准音数据库或学习者音数据库选定欲学习或评鉴的字词音文件，藉所述播放接口控制该语音播放单元播送所选的该字词音文件；所述音文件图像化单元用以将用户或学习者发音的各字词学习者音文件转换成一对应该音文件的一学习者曲线，所述播放接口于控制该语音播放单元播放该标准音数据库及该学习者音数据库内的字词音文件的同时亦将该标准音数据库、该学习者音数据库内的基准曲线与该学习者曲线同时显示；

一语音接收单元，所述语音接收单元用以接收用户或学习者发出的声音，并将该接收单元接收到的声音形成学习者音数据库中的学习者音文件并传送至该音文件图像化单元，藉由该音文件图像化单元将声音转换为该学习者曲线；以及

所述学习者音数据库包括：至少一字词学习者音文件以及对应该字词学习者音文件的该学习者曲线，该学习者音文件包括一复数字词连续学习者音文件，该复数字词连续学习者音文件包括复数字词完整朗读的一连续学习者音文件及各复数字词依各单独字截断的一单字音节学习者音文件，各该字词学习者音文件分别形成对应的一学习者曲线，各该复数字词连续学习者音文件产生的对应连续音的各单字形成一复数字词单字音节学习者曲线，复数该复数字词单字音节学习者曲线复合而成一复数字词连续学习者曲线；

所述评鉴单元，与该中央处理系统信息连接，该评鉴单元用以比对该基准曲线及该学习者曲线的斜率正负、转折时间与斜率偏差的参数进行计分；

学习者通过操作该中央处理系统的该播放接口，以选出欲学习的字词标准音文件，由该语音播放单元播出该标准音文件，并由该显示单元显示出对应的该基准曲线；另藉该音文件图像化单元，将学习者经由该语音接收单元收录学习者的连续字词口语学习者音文件通过单字音节的转化再复合成复数字词的连续口语的该学习者曲线，并经由该评鉴单元以该基准曲线为基准进行比对评分，并显示于该显示单元。

2.根据权利要求1所述的复数字词学习机的语音评测装置，其特征在于，所述标准音数据库的标准音文件包括一单字词标准音文件、一双字词连续标准音文件、一多字词连续标准音文件、一双字词单字音节标准音文件及一多字词单字音节标准音文件；定义该双字词连续标准音文件、该多字词连续标准音文件、该双字词单字音节标准音文件、该多字词单字音节标准音文件为一复数字词连续标准音文件；该单字音节基准曲线包括一双字词单字音节基准曲线以及一多字词单字音节基准曲线两部分；该复数字词连续基准曲线则包括一双字词连续基准曲线以及一多字词连续基准曲线两部分。

3.根据权利要求1所述的复数字词学习机的语音评测装置，其特征在于，所述字词学习者音文件包括一单字词学习者音文件、一双字词连续学习者音文件、一多字词连续学习者音文件、一双字词单字音节学习者音文件及多字词单字音节学习者音文件；定义该双字词连续学习者音文件、该多字词连续学习者音文件、该双字词单字音节学习者音文件及该多字词单字音节学习者音文件为该复数字词连续学习者音文件；该复数字词单字音节学习者曲线包括一双字词单字音节学习者曲线及一多字词单字音节学习者曲线两部分；该复数字词连续学习者曲线则包括一双字词连续学习者曲线以及一多字词连续学习者曲线两部分。

4.根据权利要求2所述的复数字词学习机的语音评测装置的评测方法，包括：

开启学习模式步骤，开启该中央处理系统，使该显示单元显示该播放接口；

选择学习字词步骤，点选该播放接口，自该标准音数据库选定欲学习的该复数字词标准音文件或各对应的复数字词单字音节标准音文件；以及

播放步骤，通过该播放接口控制该语音播放单元播送欲学习的复数字词标准音文件或各对应的复数字词单字音节标准音文件。

5.根据权利要求1所述的复数字词学习机的语音评测装置的评测方法，包括：

开启评量模式步骤，开启该中央处理系统，使该显示单元显示该播放接口；

选择评量字词步骤，点选该播放接口自该标准音数据库选定欲评量的该复数字词连续标准音文件或各对应的复数字词单字音节标准音文件；

播录音功能选择步骤，学习者可选择要进行播放步骤或录音步骤；

录音步骤，学习者对该语音接收单元说出欲评量的复数字词，让该语音接收单元接收用户的声音形成该复数字词连续学习者音文件以及各对应的复数字词单字音节学习者音文件形成该学习者音数据内容之一，并传送至该音文件图像化单元，进行图像化步骤以形成对应的该学习者曲线中的该复数字词单字音节学习者曲线以及该复数字词连续学习者曲线；

图像化步骤，主要具有一抽取基频步骤、一定义分析点步骤、一转换曲线步骤以及一简化曲线步骤，所述图像化步骤可同时针对前述的标准音文件转化成该基准曲线的作业以及针对前述的学习者音文件转化成该学习者曲线的作业；

所述抽取基频步骤，针对学习者所说的字词进行选取，选取各字词频率最稳定的区段，抽出该稳定区段的基频，以形成对应该复数字词的第一单字的一单字音节学习者初始曲线，定义该单字音节学习者初始曲线的图形的横轴为一时间轴，纵轴为一频率轴，由于此步骤为逐字判别，是以各个单字逐步完成前述的图像化步骤以形成该复数字词单字音节学习者曲线；

所述定义分析点步骤，定义该单字音节学习者初始曲线具有若干分析点；

所述转换曲线步骤，依序连接各该分析点以形成至少一相互连接的线段，定义各该线段分别为一初始比对音节，使该单字音节学习者初始曲线呈现由至少一初始比对音节构成的线形；

所述简化曲线步骤，比较各该初始比对音节的时间长度及该单字音节学习者初始曲线的总时间长度，当该初始比对音节的时间长度不足该单字音节学习者初始曲线的总时间长度的30％的，视为不具代表性的该初始比对音节，将该不具代表性的初始比对音节与接邻的初始比对音节合并形成新的一合并比对音节，并将该合并比对音节与另一具有代表性的该初始比对音节连接成一直线形曲线形态的复数字词单字音节学习者曲线的双字词单字音节学习者曲线；

一重复该图像化步骤，是重复该抽取基频步骤，该定义分析点步骤、该转换曲线步骤以及该简化曲线步骤，将其余单字依序转化为该复数字词单字音节学习者曲线，并将各该复数字词单字音节学习者曲线依序连接成该复数字词连续学习者曲线，并显示于该显示单元；

评测步骤，撷取该复数字词单字音节基准曲线、该复数字词连续基准曲线，与经前述步骤形成的复数字词单字音节学习者曲线以及该复数字词连续学习者曲线进行比对，经比对后便形成复数比对参数，评测步骤可由单一比对参数或复数比对参数进行评测。

6.根据权利要求5所述的数字词学习机的语音评测装置的评测方法，其特征在于，于该播录音功能选择步骤，学习者若选择播放功能，则由该播放接口控制该语音播放单元播送欲评量的复数字词连续标准音文件或各对应的复数字词单字音节标准音文件，供学习者连续发音的口语模拟学习。

7.根据权利要求5所述的数字词学习机的语音评测装置的评测方法，其特征在于，所述定义分析点步骤是定义该单字音节学习者初始曲线两端点的分析点为一第一分析点及一第二分析点，并于该单字音节学习者初始曲线的基频中去除过高或过低的频率，形成一容差频段，于该单字音节学习者初始曲线的容差频段内选取最高与最低基频的分析点为一第三分析点及一第四分析点。

8.根据权利要求7所述的数字词学习机的语音评测装置的评测方法，其中，于转换曲线步骤中，各该分析点构成的线形可为该第一分析点与该第三分析点为同一分析点，而该第二分析点与该第四分析点为同一分析点的线形，或该第一分析点与该第四分析点为同一分析点，而该第二分析点与该第三分析点为同一分析点，前述情形均使单一初始比对音节形成直线线段的形态；该第三分析点与该第二分析点为同一分析点，或第四分析点与第二分析点为同一分析点，形成由两个该初始比对音节构成的单转折线形；四个该分析点非同一各自独立，即形成三个该初始比对音节构成的双转折的线形。

9.根据权利要求7所述的数字词学习机的语音评测装置的评测方法，其特征在于，所述简化曲线步骤合并不具代表性的该初始比对音节是利用不同的合并方法进行合并成新的该合并比对音节，其中，该合并方法是在不具代表性的该初始比对音节的中央取一修正的第五分析点，并以欲合并的相邻具有代表性的该分析点为端点连接至该第五分析点并持续延伸至与该不具代表性的初始比对音节的该第一分析点同一时间点为止，形成一第六分析点。

10.根据权利要求7所述的数字词学习机的语音评测装置的评测方法，其特征在于，所述简化曲线步骤合并不具代表性的该初始比对音节是利用不同的合并方法进行合并成新的该合并比对音节，其中该合并方法是将相邻于不具代表性的该初始比对音节的具代表性初始比对音节延伸至与该不具代表性初始比对音节的分析点同一时间处形成一第七分析点，取该第七分析点与前述该不具代表性初始比对音节的分析点的中间值成一新的分析点为第八分析点，连接该第八分析点与该第三分析点连接成一新的合并比对音节。

11.根据权利要求7所述的数字词学习机的语音评测装置的评测方法，其特征在于，所述简化曲线步骤合并不具代表性的该初始比对音节是利用不同的合并方法进行合并成新的一合并比对音节，于与前述不具代表性的该初始比对音节的该分析点同一时间延伸线处另设定一第九分析点，该第九分析点与该第四分析点连接成一合并比对音节，该合并比对音节与原该不具代表性的初始比对音节交点形成一第十分析点，使该第一分析点、该第九分析点与该第十分析点围成的面积等于该第四分析点、该第三分析点与该第十分析点围成的面积。

12.根据权利要求5所述的数字词学习机的语音评测装置的评测方法，其特征在于，于所述简化曲线步骤后，另包括一平滑化步骤，形成最终的该复数字词单字音节学习者曲线，将该复数字词单字音节学习者曲线予以平滑化，使视觉效果更佳。

13.根据权利要求5所述的数字词学习机的语音评测装置的评测方法，其特征在于，所述评测步骤的该比对参数具有一第一参数、一第二参数、一第三参数、一第四参数及一第五参数，该第一参数为比较该复数字词单字音节基准曲线的各音节与复数字词单字音节学习者曲线的各音节的斜率走向，若斜率走向相同即属合格；该第二参数为该复数字词单字音节基准曲线的各音节与该复数字词单字音节学习者曲线的各音节的斜率偏差，若斜率差在合格范围内即属合格，该合格范围为斜率差角度于正负15度角内，或斜率差角度偏差10％内；该第三参数为该复数字词单字音节基准曲线及该复数字词单字音节学习者曲线的各分析点分布于该时间轴的位置误差值，若误差值小于正负10％即属合格；该第四参数为该复数字词单字音节基准曲线的各音节及该复数字词单字音节学习者曲线的各音节于该时间轴的长度比例的误差值，若误差值小于该时间轴的长度比例的正负10％即属合格；该第五参数为复数字词单字音节基准曲线的音节数量与该复数字词单字音节学习者曲线的音节数量相等与否，当音节数量相等即属合格。

14.一种使用如权利要求1所述的复数字词学习机的语音评测装置的连续语音图像化方法，其特征在于，包括：

一抽取基频步骤，针对学习者所说的字词进行选取，选取各字词频率最稳定的区段，抽出该稳定区段的基频，以形成对应该复数字词的第一单字的一单字音节学习者初始曲线，定义该单字音节学习者初始曲线的图形的横轴为一时间轴，纵轴为一频率轴，由于此步骤为逐字判别，是以各个单字逐步完成前述的图像化步骤以形成该复数字词单字音节学习者曲线；

一定义分析点步骤，定义该单字音节学习者初始曲线具有若干分析点；

一转换曲线步骤，依序连接各该分析点以形成至少一相互连接的线段，定义各该线段分别为一初始比对音节，使该单字音节学习者初始曲线呈现由至少一初始比对音节构成的线形；

一简化曲线步骤，比较各该初始比对音节的时间长度及该单字音节学习者初始曲线的总时间长度，当该初始比对音节的时间长度不足该单字音节学习者初始曲线的总时间长度的30％者，视为不具代表性的该初始比对音节，将该不具代表性的初始比对音节与接邻的初始比对音节合并形成新的一合并比对音节，并将该合并比对音节与另一具有代表性的该初始比对音节连接成一直线形曲线形态的复数字词单字音节学习者曲线的双字词单字音节学习者曲线；

一重复该图像化步骤，是重复该抽取基频步骤、该定义分析点步骤、该转换曲线步骤以及该简化曲线步骤，将其余单字依序转化为该复数字词单字音节学习者曲线，并将各该复数字词单字音节学习者曲线依序连接成该复数字词连续学习者曲线，并显示于该显示单元。

15.根据权利要求14所述的连续语音图像化方法，其特征在于，所述定义分析点步骤是定义该单字音节学习者初始曲线两端点的分析点为一第一分析点及一第二分析点，并于该单字音节学习者初始曲线的基频中去除过高或过低的频率，形成一容差频段，于该单字音节学习者初始曲线的容差频段内选取最高与最低基频的分析点为一第三分析点及一第四分析点。

16.根据权利要求15所述的连续语音图像化方法，其特征在于，于所述转换曲线步骤中，各分析点构成的线形为该第一分析点与该第三分析点为同一分析点，且该第二分析点与该第四分析点为同一分析点的线形，或该第一分析点与该第四分析点为同一分析点，且该第二分析点与该第三分析点为同一分析点，前述情形均使单一初始比对音节形成直线线段的形态；该第三分析点与该第二分析点为同一分析点，或第四分析点与第二分析点为同一分析点，形成由两个该初始比对音节构成的单转折线形；四个该分析点非同一各自独立，即形成三个该初始比对音节构成的双转折的线形。

17.根据权利要求14所述的连续语音图像化方法，其特征在于，所述定义分析点步骤是定义该单字音节学习者初始曲线两端点的分析点为一第一分析点及一第二分析点，所述简化曲线步骤合并不具代表性的该初始比对音节是利用不同的合并方法进行合并成新的该合并比对音节，其中，该合并方法是在不具代表性的该初始比对音节的中央取一修正的第五分析点，并以欲合并的相邻具有代表性的该分析点为端点连接至该第五分析点并持续延伸至与该不具代表性的初始比对音节的该第一分析点同一时间点为止，形成一第六分析点。

18.根据权利要求15所述的连续语音图像化方法，其特征在于，所述简化曲线步骤合并不具代表性的该初始比对音节是利用不同的合并方法进行合并成新的该合并比对音节，其中该合并方法是将相邻于不具代表性的该初始比对音节的具代表性初始比对音节延伸至与该不具代表性初始比对音节的分析点同一时间处形成一第七分析点，取该第七分析点与前述该不具代表性初始比对音节的分析点的中间值成一新的分析点为第八分析点，连接该第八分析点与该第三分析点连接成一新的合并比对音节。

19.根据权利要求15所述的连续语音图像化方法，其特征在于，所述简化曲线步骤合并不具代表性的该初始比对音节是利用不同的合并方法进行合并成新的一合并比对音节，于与前述不具代表性的该初始比对音节的该分析点同一时间延伸线处另设定一第九分析点，该第九分析点与该第四分析点连接成一合并比对音节，该合并比对音节与原该不具代表性的初始比对音节交点形成一第十分析点，使该第一分析点、该第九分析点与该第十分析点围成的面积等于该第四分析点、该第三分析点与该第十分析点围成的面积。

20.根据权利要求14所述的连续语音图像化方法，其特征在于，于所述简化曲线步骤后，另包括一平滑化步骤，形成最终的该复数字词单字音节学习者曲线，将该复数字词单字音节学习者曲线予以平滑化，使视觉效果更佳。

Images