CN108431883A - 语言学习系统以及语言学习程序 - Google Patents

语言学习系统以及语言学习程序 Download PDF

Info

Publication number
CN108431883A
CN108431883A CN201680074434.3A CN201680074434A CN108431883A CN 108431883 A CN108431883 A CN 108431883A CN 201680074434 A CN201680074434 A CN 201680074434A CN 108431883 A CN108431883 A CN 108431883A
Authority
CN
China
Prior art keywords
learner
voice
unit
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680074434.3A
Other languages
English (en)
Other versions
CN108431883B (zh
Inventor
海沼健
海沼健一
市桥敬男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN108431883A publication Critical patent/CN108431883A/zh
Application granted granted Critical
Publication of CN108431883B publication Critical patent/CN108431883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results

Abstract

提供一种可以以较低的负担和成本应对多种语言学习并适于外语发音学习的、利用语音和图像的成绩反映型语言学习系统以及语言学习程序。其特征在于，经由网络(4)连接到学习者终端(3)的学习辅助服务器(1)具有：语音存储单元(21)，其对于要学习的语言，存储作为发音样本的单词和句子的样本语音；语音发送单元(11)，其将样本语音和图像发送到学习者终端(3)，使学习者将该样本语音与该图像建立关联并进行识记；语音获取单元(12)，其将所述图像发送到学习者终端(3)，并要求学习者说出对应于该图像的单词和句子；语音分析单元(13)，其分析所获取的学习者语音来确定学习者并评价发音的准确性；以及评价发送单元(14)，其将表示发音准确性评价的图像发送到学习者终端(3)；其中，所述图像不包括与要学习的语言相关的字符信息。

Description

语言学习系统以及语言学习程序
技术领域
本发明涉及一种辅助学习者学习语言的语言学习系统以及语言学习程序，尤其涉及一种适于外语发音学习的、利用语音和图像的成绩反映型语言学习系统以及语言学习程序。
背景技术
以往，作为辅助语言学习以使学习者可以一个人有效地学习外语的语言学习辅助装置，计算机等电子设备以显示外语字符或者输出语音的方式来辅助学习。
作为一种辅助学习外语准确发音的语言学习辅助装置，专利文献1公开了一种发音学习装置，其将表示每个音节范围的音节标记添加到单词拼写、发音符号等显示信息中，并且与作为样本的发音语音输出的音节过渡同步地，对于带有音节标记的显示信息，高亮显示当前音节的音节标记部分，能够很容易地掌握准确的音节分隔和音节节拍。该发音学习装置在输出作为样本的母语者的发音语音后，在学习者发音时，高亮显示重音和音节以引导学习者准确发音。
专利文献2公开了一种学习系统，计算机将外语语音与对象的显示对应地进行输出，使听到语音的学习者选择与该语音对应的对象的动作，判断学习者选择的动作是否适当并显示或以语音的方式输出评价结果，无需经由字符即可进行外语的学习。
现有技术文献
专利文献
专利文献1：日本特开2015-36788号公报
专利文献2：日本特开2002-268537号公报
发明所要解决的技术问题
在专利文献1所述的发音学习装置中，为了应对多种学习语言，对于每种学习语言都需要进行用于显示单词拼写、发音符号等显示信息的编程工作，工时与对应语言的数量成正比地增加，因此存在应对多种学习语言时具有较大负担的问题。
在专利文献2所述的学习系统中，无需经由字符即可学习外语，因此不存在上述问题，但是由于仅通过所选择的对象的动作来判断学习者的理解程度，仍然存在无法确认学习者是否掌握外语的准确发音的问题。
因此，本发明提供一种适于外语发音学习的语言学习系统以及语言学习程序，其可以以较低的负担和成本应对多种语言学习。
发明内容
为了解决上述技术问题，本发明提供一种语言学习系统，其包括通过网络连接到学习者终端并辅助学习者进行语言学习的学习辅助服务器，该学习者终端具备显示图像的显示部和输入输出语音的语音输入输出部，其中，所述学习辅助服务器具有：语音存储单元，其对于要学习的一种或两种以上语言，存储作为发音样本的单词和/或句子的样本语音；语音发送单元，其将所述样本语音和对应于该样本语音的图像发送到所述学习者终端，使学习者将该样本语音与该图像建立关联并进行识记；语音获取单元，其将所述图像发送到所述学习者终端，并要求学习者说出对应于该图像的单词或句子来获取学习者发出的学习者语音；语音分析单元，其分析所获取的所述学习者语音来确定学习者并评价发音的准确性；以及评价发送单元，其将表示所述语音分析单元所评价的发音准确性评价的图像发送到所述学习者终端；其中，上述图像不包括与要学习的语言相关的字符信息。
进一步的，当所述发音准确性评价满足预定的基准值时，所述评价发送单元将表示该评价的图像发送到所述学习者终端，当所述发音准确性评价不满足预定的基准值时，所述语音发送单元将所述样本语音反复发送到所述学习者终端。
进一步的，所述语音发送单元包括：在所述学习者终端的语音输入输出部输出所述样本语音之后，对应于该样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元，所述评价发送单元包括：在发音准确性评价满足预定的基准值时，对应于所述样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元。
进一步的，所述语音存储单元包括：在各个单词或/和句子中将多个说话者的样本语音建立关联并进行存储的单元，所述语音发送单元还包括：在将所述样本语音反复发送到所述学习者终端时，发送不同说话者的所述样本语音的单元。
进一步的，所述学习辅助服务器还具备：学习情况存储单元，其存储每个学习者所学习的单词或/和句子的发音准确性评价；成绩制作单元，其基于存储在所述学习情况存储单元中的发音准确性评价，制作包括每个学习者的学习进度以及较好的发音或较差的发音的成绩；以及课程制作单元，其基于所述成绩，制作每个学习者的学习课程。
进一步的，所述学习辅助服务器还具备：学习者交流单元，其基于每个学习者的成绩将各学习者分层为多个学习水平，并向所述学习者终端发送用于向层内的多个学习者提供虚拟现实环境的图像，使所述多个学习者进行语音对话，其中，该层内包括所述学习水平相同的层或所述学习水平相同的层及其前后层。
此外，本发明提供一种语言学习程序，用于使计算机作为上述任一项所述的语言学习系统而发挥作用。
发明效果
本发明的语言学习系统包括通过网络连接到学习者终端并辅助学习者进行语言学习的学习辅助服务器，该学习者终端具备显示图像的显示部和输入输出语音的语音输入输出部，其中，所述学习辅助服务器具有：语音存储单元，其对于要学习的一种或两种以上语言，存储作为发音样本的单词和/或句子的样本语音；语音发送单元，其将所述样本语音和对应于该样本语音的图像发送到所述学习者终端，使学习者将该样本语音与该图像建立关联并进行识记；语音获取单元，其将所述图像发送到所述学习者终端，并要求学习者说出对应于该图像的单词或句子来获取学习者发出的学习者语音；语音分析单元，其分析所获取的学习者语音来确定学习者并评价发音的准确性；以及评价发送单元，其将表示所述语音分析单元所评价的发音准确性评价的图像发送到所述学习者终端；其中，所述图像不包括与要学习的语言相关的字符信息，由此，学习者能够通过图像和样本语音学习语言，因此能够掌握准确的发音。此外，本发明的语言学习系统具有如下效果：由于发送到学习者终端的图像不包括与要学习的语言相关的字符信息，因此不需要将对应于各语言的字符进行本地显示，只需将多种语言的样本语音存储在语音存储单元中，即仅通过改变样本语音的语言就可以应对不同的学习语言。
此外，本发明具有如下效果：在上述语言学习系统中，在所述发音准确性评价满足预定的基准值时，所述评价发送单元将表示该评价的图像发送到所述学习者终端，在所述发音准确性评价不满足预定的基准值时，所述语音发送单元将所述样本语音反复发送到所述学习者终端，由此，在学习者发音准确时，能够在学习者终端的显示部上显示表示评价的图像以使学习者知悉该评价，在学习者发音错误时，能够从学习者终端的语音输入输出部再次输出样本语音，使学习者反复学习以掌握准确的发音。
此外，本发明具有如下效果：在上述语言学习系统中，所述语音发送单元具备：在从所述学习者终端的语音输入输出部输出所述样本语音之后，对应于该样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元，所述评价发送单元具备：在发音准确性评价满足预定的基准值时，对应于所述样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元，由此，即使图像不包括字符信息，也可以对应于样本语音的改变相应地使图像进行改变，以此来通知学习者发音是准确的。
此外，本发明具有如下效果：在上述语言学习系统中，所述语音存储单元具备：在各个单词或/和句子中，将多个说话者的样本语音建立关联并进行存储的单元，所述语音发送单元还具备：在将所述样本语音反复发送到所述学习者终端时，发送不同说话者的所述样本语音的单元，由此，对于同一单词或句子，可以使学习者听到不同说话者的样本语音，不会使学习者感到厌倦并且能够学习到准确的发音，因此能够提高学习效率。
此外，本发明具有如下效果：在上述语言学习系统中，所述学习辅助服务器具备：学习情况存储单元，其存储每个学习者所学习的单词或/和句子的发音准确性评价；成绩制作单元，其基于存储在所述学习情况存储单元中的发音准确性评价，制作包括每个学习者的学习进度以及较好的发音或较差的发音的成绩；以及课程制作单元，其基于所述成绩，制作每个学习者的学习课程，由此，不仅可以向学习者或其监护人提示成绩，还可以实时制作学习课程，并且可以基于每个学习者的课程进行适合个人的有效学习，包括对较差发音的单词或句子进行反复学习等。
此外，本发明具有如下效果：在上述语言学习系统中，所述学习辅助服务器具备：学习者交流单元，其基于每个学习者的所述成绩将各学习者分层为多个学习水平，并向所述学习者终端发送用于向层内的多个学习者提供虚拟现实环境的图像，使所述多个学习者进行语音对话，其中，该层内包括所述学习水平相同的层或所述学习水平相同的层及其前后层，由此，可以使学习者之间在进行语音交流的同时进行语言学习。
此外，本发明的语言学习程序具有如下效果：使计算机作为上述任一项所述的语言学习系统而发挥作用，由此，由于发送到学习者终端的图像不包括与要学习的语言相关的字符信息，因此不需要将对应于各语言的字符进行本地显示，只需将多种语言的样本语音存储在语音存储单元中，即仅通过改变样本语音的语言就可以应对不同的学习语言。
附图说明
图1是示出本发明所涉及的语言学习系统的一个实施例的结构图。
图2是示出本发明所涉及的语言学习系统的语音分析单元的一个实施例的结构图。
图3是示出本发明所涉及的语言学习系统的个人认证的一个例子的流程图。
图4是示出本发明所涉及的语言学习系统的学习辅助的一个例子的流程图。
图5是示出本发明所涉及的语言学习系统的语音分析的一个例子的流程图。
具体实施方式
根据图示实施例对本发明的实施方式进行说明。图1是示出本发明所涉及的语言学习系统的一个实施例的结构图。图2是示出本发明所涉及的语言学习系统的语音分析单元的一个实施例的结构图。
本发明的语言学习系统包括通过网络4连接到学习者终端3并辅助学习者进行语言学习的学习辅助服务器1，该学习者终端具备显示图像的显示部31和输入输出语音的语音输入输出部32，其特征在于，学习辅助服务器1具有：语音存储单元21，其对于要学习的一种或两种以上语言，存储作为发音样本的单词和/或句子的样本语音；语音发送单元11，其将样本语音和对应于该样本语音的图像发送到学习者终端3，使学习者将该样本语音与该图像建立关联并进行识记；语音获取单元12，其将所述图像发送到学习者终端3，并要求学习者说出对应于该图像的单词或句子来获取学习者发出的学习者语音；语音分析单元13，其分析所获取的学习者语音来确定学习者并评价发音的准确性；以及评价发送单元14，其将表示语音分析单元所评价的发音准确性评价的图像发送到所述学习者终端；其中，所述图像不包括与所要学习的语言相关的字符信息。
在本发明的语言学习系统中，发送到学习者终端3的上述图像，除静止图像之外，还包括动态图像。作为本发明的特别优选的实施方式，上述图像是包括有动作的教师对象的动画，并且不包括与要学习的语言相关的字符信息。本发明的语言学习系统不需要将动画进行本地化，只需将多种语言的样本语音存储在语音存储单元中，即仅通过改变与动画结合的样本语音的语言就可以对应不同的学习语言。
此外，本发明的语言学习系统可以通过使教师对象在动画中执行对应于样本语音的姿势和手势等动作，使得学习者在没有人干预的情况下学习肢体语言。
实施例1
学习辅助服务器1是连接到网络4的计算机，其具有：处理单元10，用于响应来自学习者终端3的请求来辅助学习者进行语言学习；存储单元20，用于存储使处理单元10发挥作用的程序、语音等数据。
处理单元10通过设置在学习辅助服务器1内的中央处理器(CPU)和规定CPU的动作顺序的一个或两个以上的程序来发挥作用。存储单元20例如具备ROM和RAM等存储器以及硬盘。存储单元20具有：程序区域20a，存储用于执行处理单元10的各种处理的程序等；以及数据区域20b，用于存储语音数据等数据。
在本实施例中，存储单元20具有：语音存储单元21，对于要学习的一种或两种以上语言，其存储作为发音样本的单词及句子的样本语音；学习情况存储单元22，其存储每个学习者所学习的单词及句子的发音准确性评价。此外，存储单元20还具有：声学模型存储单元23，存储用于评价发音准确性的信息，即所要学习语言的音素所固有的频率特性；词典模型存储单元24，用于将学习语言的单词与声学模型结合起来；以及语言模型存储单元25，用于存储与所要学习语言的音素排列相关的约束信息。
学习者终端3是能够连接到网络4的个人计算机、平板终端、智能手机等终端。学习者终端3具备用于显示动画等图像的显示部31和例如由麦克风和扬声器的组合构成的语音输入输出部32，只要是能够经由网络4访问学习辅助服务器1的终端即可。
在图1所示的本实施例中，处理单元10具有语音发送单元11、语音获取单元12、语音分析单元13、评价发送单元14、成绩制作单元15以及课程制作单元16。
语音发送单元11将存储在语音存储单元21中的样本语音经由网络4发送到学习者终端3，并从语音输入输出部32输出，同时发送对应于该样本语音的动画并将其显示在显示部31上，使学习者将该样本语音与该动画建立关联并进行识记。该动画不包括与要学习的语言相关的字符信息。
在本实施例中，语音发送单元11使学习者终端3的显示部31显示包括教师对象以及对应于样本语音的图像(例如“苹果”的图像)的动画。语音发送单元11在教师对象指向对应于样本语音的图像的同时，从语音输入输出部32输出样本语音(此处为“apple”的语音)，使学习者将样本语音和动画或动画中包含的图像建立关联并进行识记(此处为“苹果”的图像)。此时，在显示部31上不显示与要学习的语言相关的字符(此处为字符“apple”)。
语音获取单元12经由网络4将对应于上述样本语音的动画发送到学习者终端3并将其显示在显示部31上，要求学习者说出对应于动画或动画中包含的图像的单词或句子(此处为“apple”)。语音获取单元12经由网络4从语音输入输出部32获取学习者发出的学习者语音。优选地，在动画中，例如在教师对象指向对应于样本语音的“苹果”的图像的同时，语音获取单元12要求学习者发声。此时，在显示部31上也不显示与要学习的语言相关的“apple”的字符。
语音分析单元13分析经由网络4从学习者终端3获取的学习者语音，确定学习者，并评价其发音的准确性。在本实施例中，语音分析单元13通过语音认证从学习者的语音来确定学习者。各学习者的声纹与学习者的姓名等信息一起存储在存储单元20的学习情况存储单元22中。
在本实施例中，语音分析单元13具有：语音信号生成单元131，用于对语音进行A/D转换来生成语音信号；预处理单元132，用于分割所生成的语音信号；语音特征提取单元133，用于提取语音的频率特性；语音识别单元134，用于从语音中确定单词或者确定说话者；以及发音评价单元135，用于评价发音的准确性。
语音信号生成单元131在学习者终端3进行A/D转换，从学习辅助服务器1获取的语音数据中采样所需的部分，并进行量化。预处理单元132对语音信号进行放大处理，并进行帧分割来执行开窗处理。语音特征提取单元133对语音信号执行快速傅立叶变换(FFT处理)，应用梅尔滤波器组来计算对数值，执行离散余弦变换(DCT变换)和一阶微分变换来提取语音的频率特性。
语音识别单元134具有：学习者确定单元，用于将语音的频率特性与存储在存储单元20中的各学习者的声纹进行对照来确定学习者；解码单元，用于根据语音的频率特性对词语进行解码。发音评价单元135基于存储在存储单元20中的声学模型、词典模型以及语言模型，计算出用于评价语音准确性的声学得分和用于评价语言准确性的语言得分，来评价学习者的发音准确性，并将该评价存储在学习情况存储单元22中。
评价发送单元14将表示语音分析单元13评价的发音准确性评价的图像发送到学习者终端3。优选地，表示该评价的图像不包括字符，例如可以用曲线图或标记来表示评价内容。此外，表示该评价的图像也可以在动画中显示，最优选地，针对学习者的发声教师对象通过手势来表示评价。在本实施例中，评价发送单元14仅在发音准确性评价满足预定的基准值时，将表示该评价的图像发送到学习者终端3。另一方面，在发音准确性不满足预定的基准值时，语音发送单元11将样本语音及对应于该样本语音的动画反复发送到学习者终端3，使学习者将该样本语音与该动画或动画中包含的图像建立关联并进行识记。
在本实施例中，语音存储单元21具备：在各个单词以及句子中，将多个说话者的样本语音建立关联并进行存储的单元。语音发送单元11具备：在将样本语音反复发送到学习者终端3时，发送与之前发送的样本语音的说话者不同的说话者的样本语音的单元。当反复发送相同的单词或句子时，语音发送单元11可以在每次发送时都改变说话者，也可以每2～3次改变一次说话者。
成绩制作单元15基于存储在学习情况存储单元22中的发音准确性评价，制作包括每个学习者的学习进度以及较好的发音或较差的发音的成绩，并将该成绩存储在学习情况存储单元22中。此外，成绩制作单元15将所制作的成绩发送到学习者终端3。另外，成绩制作单元15也可以不将成绩发送到学习者终端3而是直接发送到监护人终端，或者除学习者终端3之外还将成绩发送到监护人终端。
课程制作单元16基于存储在学习情况存储单元22中的成绩，为每个学习者制作学习课程，并将该学习课程存储在学习情况存储单元22中。另外，课程制作单元16也可以基于语言学习中的发音准确性来修改学习课程。
在本实施例中，优选地，处理单元10具备学习者交流单元17，其基于每个学习者的成绩将各学习者分层为多个学习水平，并向学习者终端3发送用于向层内的多个学习者提供虚拟现实环境的动画，使多个学习者进行语音对话，其中，该层内包括学习水平相同的层或学习水平相同的层及其前后层。即使在这种情况下，语音分析单元13也被配置为分析学习者语音来确定学习者，并评价其发音的准确性，指出错误的发音。
另外，本发明的语言学习系统的配置不限于该实施例的方式，也可以采用其他各种实施方式。
[语言学习的流程]
以下，将参照图3～图5描述本实施例所涉及的语言学习系统的操作。图3是示出本发明所涉及的语言学习系统的个人认证的一个例子的流程图。图4是示出本发明所涉及的语言学习系统进行辅助学习的一个例子的流程图。图5是示出本发明所涉及的语言学习系统的语音分析的一个例子的流程图。此处，虽然描述的是学习者学习英语发音的情况，但是同样适用于其他语言。
[个人认证]
首先，参照图3描述本发明所涉及的语言学习系统的个人认证的一个例子。
例如学习者选择显示在学习者终端3的显示部31上的图标，并启动用于访问学习辅助服务器1的应用程序(步骤S1)。在本实施例中，学习者终端3在学习辅助服务器1中访问辅助学习英语发音的功能。
在已接受学习者终端3访问的学习辅助服务器1中，处理单元10根据来自学习者终端3的请求来辅助英语发音学习。首先，作为初始动画，例如处理单元10在学习者终端3的显示部31上显示包括教师对象的动画，同时从学习者终端3的语音输入输出部32输出“Hello！”等最初的问候语的样本语音(步骤S2)。此时，优选地，教师对象做出鼓励学习者发声的手势。
当学习者同样发出“Hello！”的问候语时，处理单元10获取从学习者终端3的语音输入输出部32输入的学习者语音(步骤S3)，分析该学习者语音并进行声纹认证(步骤S4)。学习者语音的分析步骤将在后面描述。
处理单元10将通过分析学习者语音而获得的声纹与预先存储在存储单元20中的注册者的声纹进行对照来确定学习者(步骤S5)。处理单元10获取与所获取的学习者语音的声纹相匹配的声纹的注册信息。此时，处理单元10也可以使教师对象说出学习者的姓名，或者使显示部31显示学习者预先注册的认证图像来认证学习者。
当认证学习者时，处理单元10执行该学习者的学习课程，该学习课程是基于存储在学习情况存储单元22中的该学习者学习的单词和句子的发音准确性评价而制作的。另一方面，当没有与所获取的学习者语音的声纹相匹配的声纹时，处理单元10将错误信息发送到学习者终端3并结束认证处理。
[学习课程的执行]
然后，参照图4描述本发明所涉及的语言学习系统进行辅助学习的一个例子。
处理单元10通过语音发送单元11，将所要学习的语言，例如英语的样本语音及对应于该样本语音的动画发送到学习者终端3，使学习者将样本语音与动画或动画中包含的图像建立关联并进行识记(步骤S11)。具体地，语音发送单元11使学习者终端3的显示部31显示包括教师对象以及对应于样本语音的图像(例如“苹果”的图像)的动画，在教师对象指向该图像的同时，从语音输入输出部32输出样本语音(此处为“apple”的语音)，使学习者将样本语音和动画中包含的图像建立关联并进行识记。
然后，处理单元10通过语音获取单元12只发送动画而不发送样本语音到学习者终端3，在显示部31上显示包括“苹果”图像的动画，并要求学习者说出对应于“苹果”的图像的英文单词“apple”(步骤S12)。此时，处理单元10在教师对象指向“苹果”的图像的同时向学习者终端3发送要求发声的动画。
当学习者向学习者终端3说出“apple”时，处理单元10获取从学习者终端3的语音输入输出部32输入的学习者语音(步骤S13)。从语音输入输出部32输入的学习者语音在学习者终端3的处理部进行A/D转换，并经由网络4发送到学习辅助服务器1。处理单元10将所获取的学习者语音临时存储在存储单元20中。
处理单元10通过语音分析单元13分析所获取的学习者语音，来评价发音的准确性(步骤S14)。语音分析单元13从所获取的语音中确定在步骤S4中已认证的学习者的语音，并针对该学习者语音评价发音的准确性。学习者语音的评价步骤将在后面描述。
处理单元10将由语音分析单元13评价的发音准确性评价与预先设定的预定基准值进行比较(步骤S15)。在发音准确性评价满足预定的基准值时，处理单元10通过评价发送单元14将表示语音分析单元13评价的发音准确性评价的图像或者包括该图像的动画发送到学习者终端3，并在显示部31上显示(步骤S16)。具体地，评价发送单元14响应于学习者的发声，使教师对象通过手势来表示评价。例如，评价的不同可以通过教师对象的手势的大小来表示，手势越大，评价越高。
另一方面，在发音准确性评价不满足预定的基准值时，处理单元10返回到步骤S11，通过语音发送单元11，将学习语言，即英语的样本语音及对应于该样本语音的动画再次发送到学习者终端3，使学习者将样本语音与动画或动画中包含的图像建立关联并进行识记。此时，语音发送单元11也可以发送与之前发送的样本语音的说话者不同的说话者的样本语音。
在发音准确性评价满足预定的基准值时，处理单元10基于学习者的学习课程，将下一个单词或句子的样本语音发送到学习者终端3，反复执行从步骤S11到步骤S16的处理直到语言学习结束(步骤S17)。
当基于学习课程的语言学习结束时，或者当学习者在学习者终端3选择语言学习结束时，处理单元10将所学习的单词及句子的发音准确性评价存储到学习情况存储单元22中(步骤S18)。
然后，处理单元10通过成绩制作单元15，基于存储在学习情况存储单元22中的发音准确性评价，制作包括学习者的学习进度以及较好的发音或较差的发音的成绩，存储在存储单元20中并将该成绩发送到学习者终端3(步骤S19)。此外，处理单元10也可以不将成绩发送到学习者终端3而只是发送到监护人终端，或者除学习者终端3之外还将成绩发送到监护人终端。此时，处理单元10也可以周期性地将成绩发送到监护人终端，例如每月一次。
此外，处理单元10基于由成绩制作单元15制作的成绩，为每个学习者制作学习课程，并存储在存储单元20中。另外，处理单元10也可以基于语言学习中的发音准确性来修改学习课程。
[学习者语音的分析]
参照图5描述本发明所涉及的语言学习系统的语音分析的一个例子。
处理单元10获取由学习者终端3的语音输入输出部32输入的、并经过A/D转换的语音数据，从该语音数据中采样语音部分，并进行量化来生成学习者的语音信号(步骤S21)。
处理单元10通过预处理单元，对语音信号进行放大处理，并进行帧分割来执行开窗处理(步骤S22)。此外，处理单元10通过语音特征提取单元，对语音信号执行快速傅立叶变换(FFT处理)，应用梅尔滤波器组来计算对数值，执行离散余弦变换(DCT变换)和一阶微分变换来提取语音的频率特性(步骤S23)。
处理单元10通过语音识别单元，将语音的频率特性与存储在存储单元20中的各学习者的声纹进行对照来确定学习者(步骤S24)，在上述个人认证中，处理单元10在必要时可以对确定的学习者进行追加认证手续来结束个人认证处理。此外，在学习课程中，处理单元10判定语音的频率特性是否与已认证的学习者的声纹相匹配(步骤S25)，不匹配时，反复执行从步骤S21到步骤S25的处理。
在学习课程中，处理单元10通过语音识别单元将语音的频率特性解码为相应的音素(步骤S24)。在步骤S25中，在语音的频率特性与已认证的学习者的声纹相匹配时，处理单元10反复执行从步骤S23到步骤S24的处理，直到将所有帧的语音的频率特性解码为相应的音素(步骤S26)。
当将所有帧的语音的频率特性解码为相应的音素时，处理单元10通过发音评价单元，基于存储在存储单元20中的声学模型、词典模型以及语言模型，计算出用于评价语音准确性的声学得分和用于评价语言准确性的语言得分，来评价学习者的发音的准确性(步骤S27)。
实施例2
作为本发明的另一个实施例，语音发送单元11具备：在从学习者终端3的语音输入输出部32输出样本语音之后，对应于该样本语音来改变图像并将其显示在学习者终端3的显示部31上的单元。此时，评价发送单元14具备：在发音准确性评价满足预定的基准值时，对应于样本语音来改变图像并将其显示在学习者终端3的显示部31上的单元。在该图像中，除静止图像之外，还包括动态图像，并且改变后的图像优选地是对应于样本语音的动画。
具体地，语音发送单元11使学习者终端3的显示部31显示包括教师对象的动画，并从语音输入输出部32输出该教师对象发出的命令、情感表达等语言的语音。然后，语音发送单元11对与命令、情感表达等的语言对应地改变的动画进行显示，并使学习者将该样本语音和该图像的改变建立关联并进行识记(对应于命令的行为、情感表达)。
例如，语音发送单元11使学习者终端3的显示部31显示除教师对象之外，还包括学生对象的动画。当语音发送单元11使教师对象说出“Clap your hands.”的样本语音时，对应于该样本语音显示学生对象轻拍双手的动画，使学习者将学习语言的命令句“Clap yourhands.”与对应于该命令的动作“轻拍双手”建立关联并进行识记。
语音获取单元12只发送包括教师对象和学生对象的动画，而不发送样本语音到学习者终端3，并要求学习者说出“Clap your hands.”。此时，语音获取单元12也可以使教师对象做出要求发声的手势。
评价发送单元14在语音分析单元13评价的发音准确性评价满足预定的基准值时，与样本语音对应地改变图像并将其显示在学习者终端3的显示部31上。此处，评价发送单元14使显示部31显示对应于样本语音“Clap your hands.”的动画(学生对象轻拍双手)。此外，评价的不同也可以通过教师对象的手势的大小来表示。其他配置与实施例1的配置相同。
产业上的可利用性
本发明提供了一种适于外语发音学习并可以以较低的负担和成本应对多种语言学习的、利用语音和图像的成绩反映型语言学习系统。
符号说明
1 学习辅助服务器
3 学习者终端
4 网络
10 处理单元
11 语音发送单元
12 语音获取单元
13 语音分析单元
14 评价发送单元
15 成绩制作单元
16 课程制作单元
17 学习者交流单元
20 存储单元
21 语音存储单元
22 学习情况存储单元
31 显示部
32 语音输入输出部

Claims (7)

1.一种语言学习系统，其包括通过网络连接到学习者终端并辅助学习者进行语言学习的学习辅助服务器，该学习者终端具备显示图像的显示部和输入输出语音的语音输入输出部，其特征在于：
所述学习辅助服务器具有：
语音存储单元，其对于要学习的一种或两种以上语言，存储作为发音样本的单词和/或句子的样本语音；
语音发送单元，其将所述样本语音和对应于该样本语音的图像发送到所述学习者终端，使学习者将该样本语音与该图像建立关联并进行识记；
语音获取单元，其将所述图像发送到所述学习者终端，并要求学习者说出对应于该图像的单词或句子来获取学习者发出的学习者语音；
语音分析单元，其分析所获取的所述学习者语音来确定学习者并评价发音的准确性；以及
评价发送单元，其将表示所述语音分析单元所评价的发音准确性评价的图像发送到所述学习者终端；
其中，所述图像不包括与要学习的语言相关的字符信息。
2.根据权利要求1所述的语言学习系统，其特征在于：
当所述发音准确性评价满足预定的基准值时，所述评价发送单元将表示该评价的图像发送到所述学习者终端；
当所述发音准确性评价不满足预定的基准值时，所述语音发送单元将所述样本语音反复发送到所述学习者终端。
3.根据权利要求2所述的语言学习系统，其特征在于：
所述语音发送单元具备：在所述学习者终端的语音输入输出部输出所述样本语音之后，对应于该样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元；
所述评价发送单元具备：在发音准确性评价满足预定的基准值时，对应于所述样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元。
4.根据权利要求2或3所述的语言学习系统，其特征在于，
所述语音存储单元具备：在各个单词或/和句子中，将多个说话者的样本语音建立关联并进行存储的单元，
所述语音发送单元具备：在将所述样本语音反复发送到所述学习者终端时，发送不同说话者的所述样本语音的单元。
5.根据权利要求1～4中任一项所述的语言学习系统，其特征在于，
所述学习辅助服务器还具备：
学习情况存储单元，其存储每个学习者所学习的单词或/和句子的发音准确性评价；
成绩制作单元，其基于存储在所述学习情况存储单元中的发音准确性评价，制作包括每个学习者的学习进度以及较好的发音或较差的发音的成绩；以及
课程制作单元，其基于所述成绩，制作每个学习者的学习课程。
6.根据权利要求5所述的语言学习系统，其特征在于，
所述学习辅助服务器还具备：
学习者交流单元，其基于每个学习者的所述成绩将各学习者分层为多个学习水平，并向所述学习者终端发送用于向层内的多个学习者提供虚拟现实环境的图像，使所述多个学习者进行语音对话，其中，该层包括所述学习水平相同的层或所述学习水平相同的层及其前后层。
7.一种语言学习程序，用于使计算机作为权利要求1～6中任一项所述的语言学习系统而发挥作用。
CN201680074434.3A 2016-08-17 2016-08-17 语言学习系统以及语言学习程序 Active CN108431883B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/074052 WO2018033979A1 (ja) 2016-08-17 2016-08-17 語学学習システム及び語学学習プログラム

Publications (2)

Publication Number Publication Date
CN108431883A true CN108431883A (zh) 2018-08-21
CN108431883B CN108431883B (zh) 2020-04-28

Family

ID=59505178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680074434.3A Active CN108431883B (zh) 2016-08-17 2016-08-17 语言学习系统以及语言学习程序

Country Status (5)

Country Link
US (1) US11145222B2 (zh)
EP (1) EP3503074A4 (zh)
JP (1) JP6172417B1 (zh)
CN (1) CN108431883B (zh)
WO (1) WO2018033979A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215417A (zh) * 2018-10-24 2019-01-15 北京实境智慧科技有限公司 一种vr记忆系统及方法
CN117275319A (zh) * 2023-11-20 2023-12-22 首都医科大学附属北京儿童医院 训练语言重点能力的装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7121330B2 (ja) 2017-09-26 2022-08-18 カシオ計算機株式会社 電子機器、音響機器、電子機器の制御方法及び制御プログラム
JP7119615B2 (ja) * 2018-06-14 2022-08-17 株式会社リコー サーバ、音データ評価方法、プログラム、通信システム
JP7176272B2 (ja) * 2018-07-26 2022-11-22 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
CN112614489A (zh) * 2020-12-22 2021-04-06 作业帮教育科技（北京）有限公司 用户发音准确度评估方法、装置和电子设备
CN113077819A (zh) * 2021-03-19 2021-07-06 北京有竹居网络技术有限公司 发音评价方法和装置、存储介质和电子设备
CN113506572A (zh) * 2021-07-08 2021-10-15 东北师范大学 一种便携式实时反馈语言学习系统
KR102623155B1 (ko) * 2022-08-02 2024-01-10 최동원 한국어 학습자를 위한 한국어 발음교정 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082598A (ja) * 2000-09-07 2002-03-22 Keynet:Kk 学習支援システム及び学習支援方法
JP2005024815A (ja) * 2003-07-01 2005-01-27 Ryuichiro Yamazaki 言語学習システムとその装置、方法、プログラム、及びこのプログラムを記録する記録媒体
JP2005031207A (ja) * 2003-07-08 2005-02-03 Omron Corp 発音練習支援システム、発音練習支援方法、発音練習支援プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2006195094A (ja) * 2005-01-12 2006-07-27 Yamaha Corp 発音学習支援装置
CN101023468A (zh) * 2004-07-22 2007-08-22 跳蛙企业股份有限公司 交互式外语教学设备和方法
JP2011128362A (ja) * 2009-12-17 2011-06-30 Cocone Corp 学習システム
JP2014240902A (ja) * 2013-06-11 2014-12-25 株式会社ジャストシステム 学習支援装置
CN104823182A (zh) * 2012-11-30 2015-08-05 阿尔卡季·齐尔伯曼 用于外语习得的反向语言共鸣系统和方法
CN106057023A (zh) * 2016-06-03 2016-10-26 北京光年无限科技有限公司 一种面向智能机器人的儿童教学方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6427063B1 (en) * 1997-05-22 2002-07-30 Finali Corporation Agent based instruction system and method
KR100355072B1 (ko) * 2000-07-06 2002-10-05 한상종 멀티미디어 분할페이지 및 이를 이용한 언어학습방법과언어학습시스템
US6435876B1 (en) * 2001-01-02 2002-08-20 Intel Corporation Interactive learning of a foreign language
JP2002268537A (ja) 2001-03-13 2002-09-20 Nd Cube Kk プログラム、記録媒体、及び学習システム
US7407384B2 (en) * 2003-05-29 2008-08-05 Robert Bosch Gmbh System, method and device for language education through a voice portal server
WO2010008722A1 (en) * 2008-06-23 2010-01-21 John Nicholas Gross Captcha system optimized for distinguishing between humans and machines
CA2732268C (en) * 2008-07-28 2020-07-21 Breakthrough Performancetech, Llc Systems and methods for computerized interactive skill training
US8784108B2 (en) * 2011-11-21 2014-07-22 Age Of Learning, Inc. Computer-based language immersion teaching for young learners
JP2015036788A (ja) 2013-08-14 2015-02-23 直也 内野 外国語の発音学習装置
KR20150024180A (ko) * 2013-08-26 2015-03-06 주식회사 셀리이노베이션스 발음 교정 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082598A (ja) * 2000-09-07 2002-03-22 Keynet:Kk 学習支援システム及び学習支援方法
JP2005024815A (ja) * 2003-07-01 2005-01-27 Ryuichiro Yamazaki 言語学習システムとその装置、方法、プログラム、及びこのプログラムを記録する記録媒体
JP2005031207A (ja) * 2003-07-08 2005-02-03 Omron Corp 発音練習支援システム、発音練習支援方法、発音練習支援プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
CN101023468A (zh) * 2004-07-22 2007-08-22 跳蛙企业股份有限公司 交互式外语教学设备和方法
JP2006195094A (ja) * 2005-01-12 2006-07-27 Yamaha Corp 発音学習支援装置
JP2011128362A (ja) * 2009-12-17 2011-06-30 Cocone Corp 学習システム
CN104823182A (zh) * 2012-11-30 2015-08-05 阿尔卡季·齐尔伯曼 用于外语习得的反向语言共鸣系统和方法
JP2014240902A (ja) * 2013-06-11 2014-12-25 株式会社ジャストシステム 学習支援装置
CN106057023A (zh) * 2016-06-03 2016-10-26 北京光年无限科技有限公司 一种面向智能机器人的儿童教学方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215417A (zh) * 2018-10-24 2019-01-15 北京实境智慧科技有限公司 一种vr记忆系统及方法
CN117275319A (zh) * 2023-11-20 2023-12-22 首都医科大学附属北京儿童医院 训练语言重点能力的装置
CN117275319B (zh) * 2023-11-20 2024-01-26 首都医科大学附属北京儿童医院 训练语言重点能力的装置

Also Published As

Publication number Publication date
US11145222B2 (en) 2021-10-12
US20180137778A1 (en) 2018-05-17
JPWO2018033979A1 (ja) 2018-08-16
CN108431883B (zh) 2020-04-28
WO2018033979A1 (ja) 2018-02-22
JP6172417B1 (ja) 2017-08-02
EP3503074A4 (en) 2020-03-25
EP3503074A1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
US11527174B2 (en) System to evaluate dimensions of pronunciation quality
CN108431883A (zh) 语言学习系统以及语言学习程序
CN110648690B (zh) 一种音频评测方法及服务器
JP5405672B2 (ja) 外国語学習装置及び対話システム
US9824687B2 (en) System and terminal for presenting recommended utterance candidates
JP2017058674A (ja) 音声認識のための装置及び方法、変換パラメータ学習のための装置及び方法、コンピュータプログラム並びに電子機器
US9489864B2 (en) Systems and methods for an automated pronunciation assessment system for similar vowel pairs
CN109817244B (zh) 口语评测方法、装置、设备和存储介质
JP5105943B2 (ja) 発話評価装置及び発話評価プログラム
WO2012049368A1 (en) Method of linguistic profiling
Jułkowska et al. Effects of listener factors and stimulus properties on the intelligibility, comprehensibility and accentedness of L2 speech
Fager et al. Evaluation of a speech recognition prototype for speakers with moderate and severe dysarthria: A preliminary report
US20140297277A1 (en) Systems and Methods for Automated Scoring of Spoken Language in Multiparty Conversations
KR20220128976A (ko) 말 장애 평가 장치, 방법 및 프로그램
Cave et al. The use of speech recognition technology by people living with amyotrophic lateral sclerosis: a scoping review
JP2010282058A (ja) 外国語学習補助方法及び装置
Cámara Arenas et al. Automatic pronunciation assessment vs. automatic speech recognition: A study of conflicting conditions for L2-English
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
KR20140087956A (ko) 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법
EP4033487A1 (en) Method and system for measuring the cognitive load of a user
KR101004940B1 (ko) 음성인식을 활용한 컴퓨터 주도형 말하기 능력 평가방법
JP7039637B2 (ja) 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
WO2023047623A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Yacoub Conception and implementation of a vocal assistant for the use in vehicle diagnostics
KR101743708B1 (ko) 받침 정확성 판단을 통한 한국어 학습 서비스 제공 시스템 및 그 운용 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant