JP2001265211A - 外国語学習装置、外国語学習方法および媒体 - Google Patents

外国語学習装置、外国語学習方法および媒体

Info

Publication number
JP2001265211A
JP2001265211A JP2000078578A JP2000078578A JP2001265211A JP 2001265211 A JP2001265211 A JP 2001265211A JP 2000078578 A JP2000078578 A JP 2000078578A JP 2000078578 A JP2000078578 A JP 2000078578A JP 2001265211 A JP2001265211 A JP 2001265211A
Authority
JP
Japan
Prior art keywords
word
phoneme
information
sentence
learner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000078578A
Other languages
English (en)
Other versions
JP3520022B2 (ja
Inventor
Reiko Yamada
玲子 山田
Takahiro Adachi
隆弘 足立
Markov Konstantin
マルコフ コンスタンティン
Shigeru Katagiri
滋 片桐
Makudamoto Erik
マクダモト エリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR NINGEN JOHO TSUSHIN KENKYU
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR NINGEN JOHO TSUSHIN KENKYU
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR NINGEN JOHO TSUSHIN KENKYU, ATR Advanced Telecommunications Research Institute International filed Critical ATR NINGEN JOHO TSUSHIN KENKYU
Priority to JP2000078578A priority Critical patent/JP3520022B2/ja
Priority to US09/936,365 priority patent/US7401018B2/en
Priority to PCT/JP2000/008762 priority patent/WO2001052237A1/ja
Publication of JP2001265211A publication Critical patent/JP2001265211A/ja
Application granted granted Critical
Publication of JP3520022B2 publication Critical patent/JP3520022B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

(57)【要約】 【課題】 学習者の発音した外国語の文章に対する評価
結果を、効率的な外国語発音練習ができるように提示す
ることが可能な外国語学習装置を提供する。 【解決手段】 外国語学習装置１００中の音声認識部１
１４および演算処理部１１６は、学習者２の発音した文
章に対応する文章音声情報を受けて、文章に含まれる単
語毎の単語音声情報に分離する。演算処理部１１６は、
単語音声情報ごとにモデル音声との一致の程度（尤度）
を評価した結果を単語毎に表示装置１２０表示させる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、音声認識システ
ムを用いて外国語学習を行うための外国語学習装置およ
び外国語学習方法ならびにこのような外国語学習方法を
コンピュータに実行させるためのプログラムを記録した
コンピュータ読取り可能な媒体に関する。
【０００２】
【従来の技術】近年、音声認識システムを外国語の学習
に利用する試みが盛んに行われている。すなわち、この
ような外国語学習装置においては、学習者は、一つまた
は複数の外国語の文章を読み上げ、パーソナルコンピュ
ータ（計算機）の音声入力機能を利用して自分の発音し
た文章をパーソナルコンピュータに入力する。そして、
上記パーソナルコンピュータに搭載された当該外国語に
対応した音声認識システムが、学習者が読み上げた文章
をどの程度正しく認識したかを判定し、その結果を学習
者へのフィードバックとして表示するという方式であ
る。
【０００３】
【発明が解決しようとする課題】しかしながら、従来の
外国語学習装置においては、利用する音声認識システム
が、もともとパーソナルコンピュータへのキーボード入
力を音声入力に置き換えることを目的としたものであっ
て、学習者が発音した文章単位で認識が行われ、その認
識結果と本来期待される文章との比較結果が出力される
に過ぎない。このため、学習者は、このような文章全体
として自分の発音が評価された結果しか知ることができ
ない。
【０００４】しかしながら、実際には、文章単位全体に
わたって評価が平均していることはまれであって、文章
中のある特定の部分では評価が高く、別の部分では評価
が低いということの方が一般的である。
【０００５】したがって、文章全体での包括的な評価点
を用いていたのでは、特に、学習者に対して表示された
評価点が低かった際に、その文章単位中のどの部分の発
音が悪かったのかを学習者が知ることができない。この
結果、学習者は、評価点が上がるまでやみくもに文章全
体の発音をやり直すことになり、学習効率を妨げてしま
うという問題点があった。
【０００６】この発明は、上記のような問題点を解決す
るためになされたものであって、その目的は、学習者の
発音した外国語の文章に対する評価結果を、効率的な外
国語発音練習ができるように提示することが可能な外国
語学習装置を提供することである。
【０００７】この発明の他の目的は、学習者の発音した
外国語の文章に対する発音の評価結果を学習者の外国語
発音練習に対して効率的にフィードバックすることが可
能な外国語学習方法を提供することである。
【０００８】この発明のさらに他の目的は、学習者の発
音した外国語の文章に対する発音の評価結果を学習者の
外国語発音練習に対して効率的にフィードバックするこ
とが可能な外国語学習方法を、コンピュータに実行させ
るためのプログラムを記録したコンピュータ読取り可能
な媒体を提供することである。
【０００９】
【課題を解決するための手段】請求項１記載の外国語学
習装置は、学習者の発音した文章に対応する文章音声情
報を受けて、文章に含まれる単語毎の単語音声情報に分
離する単語分離手段と、単語音声情報ごとにモデル音声
との一致の程度を評価する尤度判定手段と、尤度判定手
段の判定結果を単語毎に表示する表示手段とを備える。
【００１０】請求項２記載の外国語学習装置は、請求項
１記載の外国語学習装置の構成に加えて、学習者が発音
するべきモデル文章と対応するモデル音韻配列情報とを
保持する記憶手段と、予め学習者にモデル文章を提示す
るための出力手段とをさらに備え、単語分離手段は、文
章音声情報を音韻情報毎に認識する音韻認識手段と、分
離された音韻情報とモデル音韻配列情報とに基づいて、
単語毎の単語音声情報を認識する単語音声認識手段とを
含む。
【００１１】請求項３記載の外国語学習装置は、請求項
２記載の外国語学習装置の構成に加えて、音韻認識手段
は、外国語に含まれ得る音韻のそれぞれに対する、文章
音声情報中の各音韻情報の尤度を判定する音韻尤度決定
手段を含み、尤度判定手段は、文章音声情報中の各音韻
情報の尤度分布平面上において、モデル音韻配列情報ど
おりの音韻配列で発音したとした場合の経路に沿って求
めた各単語尤度と、学習者の発音した音声波形から間違
いやすい候補の経路に沿って求めた各単語尤度の合計と
を照合することで、単語毎の一致の程度を評価する。
【００１２】請求項４記載の外国語学習方法は、学習者
の発音した文章に対応する文章音声情報を受けて、文章
に含まれる単語毎の単語音声情報に分離するステップ
と、単語音声情報ごとにモデル音声との一致の程度を評
価するステップと、単語音声情報ごとの評価結果を単語
毎に表示するステップとを備える。
【００１３】請求項５記載の外国語学習方法は、請求項
４記載の外国語学習方法の構成に加えて、予め学習者に
モデル文章を提示するステップをさらに備え、単語音声
情報に分離するステップは、文章音声情報を音韻情報毎
に認識するステップと、学習者に提示されたモデル文章
に対応するモデル音韻配列情報と分離された音韻情報と
に基づいて、単語毎の単語音声情報を認識するステップ
とを含む。
【００１４】請求項６記載の外国語学習方法は、請求項
５記載の外国語学習方法の構成に加えて、音韻情報毎に
認識するステップは、外国語に含まれ得る音韻のそれぞ
れに対する、文章音声情報中の各音韻情報の尤度を判定
するステップを有し、モデル音声との一致の程度を評価
するステップは、文章音声情報中の各音韻情報の尤度分
布平面上において、モデル音韻配列情報どおりの音韻配
列で発音したとした場合の経路に沿って求めた各単語尤
度と、学習者の発音した音声波形から間違いやすい候補
の経路に沿って求めた各単語尤度の合計とを照合するこ
とで、単語毎の一致の程度を評価する。
【００１５】請求項７記載の外国語学習方法は、請求項
５記載の外国語学習方法の構成に加えて、学習者が発す
るモデル文章中の音韻毎および単語ごとに発音練習結果
を評価するステップをさらに備える。
【００１６】請求項８記載の外国語学習方法は、請求項
７記載の外国語学習方法の構成に加えて、発音練習結果
を評価するステップは、学習者に対して、表示装置を介
して、音韻毎に声道形状モデルを表示するステップを含
む。
【００１７】請求項９記載の外国語学習方法は、請求項
７記載の外国語学習方法の構成に加えて、発音練習結果
を評価するステップは、学習者に対して、表示装置を介
して、モデル声紋と学習者の発音に対する声紋とを対比
表示するステップを含む。
【００１８】請求項１０記載の外国語学習方法は、請求
項７記載の外国語学習方法の構成に加えて、発音練習結
果を評価するステップは、学習者に対して、表示装置を
介して、学習者の発音のフォルマント平面上の位置を表
示するステップを含む。
【００１９】請求項１１記載の外国語学習装置は、学習
者が発音するべきモデル文章と対応するモデル音韻配列
情報とを保持する記憶手段と、予め学習者にモデル文章
を提示するための出力手段と、学習者の発音した文章に
対応する文章音声情報を受けて、文章に含まれる単語毎
の単語音声情報に分離する単語分離手段と、単語音声情
報ごとにモデル音声との一致の程度を評価する尤度判定
手段と、尤度判定手段の判定結果を音韻毎および単語毎
に表示する表示手段とを備え、単語分離手段は、文章音
声情報を音韻情報毎に認識する音韻認識手段と、分離さ
れた音韻情報とモデル音韻配列情報とに基づいて、単語
毎の単語音声情報を認識する単語音声認識手段とを含
み、発音練習期間中において、学習者が発するモデル文
章中の音韻毎および単語ごとに発音練習結果を評価する
発音評価手段をさらに備える。
【００２０】請求項１２記載の外国語学習装置は、請求
項１１記載の外国語学習装置の構成に加えて、発音評価
手段は、学習者に対して、表示装置を介して、音韻毎に
声道形状モデルを表示する。
【００２１】請求項１３記載の外国語学習装置は、請求
項１１記載の外国語学習装置の構成に加えて、発音評価
手段は、学習者に対して、表示装置を介して、モデル声
紋と学習者の発音に対する声紋とを対比表示する。
【００２２】請求項１４記載の外国語学習装置は、請求
項１１記載の外国語学習装置の構成に加えて、発音評価
手段は、学習者に対して、表示装置を介して、学習者の
発音のフォルマント平面上の位置を表示する。
【００２３】請求項１５記載の外国語学習方法をコンピ
ュータに実行させるためのプログラムを記録したコンピ
ュータ読取り可能な媒体において、外国語学習方法は、
学習者の発音した文章に対応する文章音声情報を受け
て、文章に含まれる単語毎の単語音声情報に分離するス
テップと、単語音声情報ごとにモデル音声との一致の程
度を評価するステップと、単語音声情報ごとの評価結果
を単語毎に表示するステップとを有する。
【００２４】請求項１６記載の媒体においては、請求項
１５記載の媒体の構成に加えて、外国語学習方法は、予
め学習者にモデル文章を提示するステップをさらに備
え、単語音声情報に分離するステップは、文章音声情報
を音韻情報毎に認識するステップと、学習者に提示され
たモデル文章に対応するモデル音韻配列情報と分離され
た音韻情報とに基づいて、単語毎の単語音声情報を認識
するステップとを含む。
【００２５】請求項１７記載の媒体においては、請求項
１６記載の媒体の構成に加えて、外国語学習方法は、音
韻情報毎に認識するステップは、外国語に含まれ得る音
韻のそれぞれに対する、文章音声情報中の各音韻情報の
尤度を判定するステップを有し、モデル音声との一致の
程度を評価するステップは、文章音声情報中の各音韻情
報の尤度分布平面上において、モデル音韻配列情報どお
りの音韻配列で発音したとした場合の経路に沿って求め
た各単語尤度と、学習者の発音した音声波形から間違い
やすい候補の経路に沿って求めた各単語尤度の合計とを
照合することで、単語毎の一致の程度を評価する。
【００２６】請求項１８記載の媒体においては、請求項
１６記載の媒体の構成に加えて、外国語学習方法は、学
習者が発するモデル文章中の音韻毎および単語ごとに発
音練習結果を評価するステップをさらに備える。
【００２７】請求項１９記載の媒体においては、請求項
１８記載の媒体の構成に加えて、外国語学習方法は、発
音練習結果を評価するステップは、学習者に対して、表
示装置を介して、音韻毎に声道形状モデルを表示するス
テップを含む。
【００２８】請求項２０記載の媒体においては、請求項
１８記載の媒体の構成に加えて、外国語学習方法は、発
音練習結果を評価するステップは、学習者に対して、表
示装置を介して、モデル声紋と学習者の発音に対する声
紋とを対比表示するステップを含む。
【００２９】請求項２１記載の媒体においては、請求項
１８記載の媒体の構成に加えて、外国語学習方法は、発
音練習結果を評価するステップは、学習者に対して、表
示装置を介して、学習者の発音のフォルマント平面上の
位置を表示するステップを含む。
【００３０】
【発明の実施の形態】［実施の形態１］図１は、本発明
に係る外国語学習装置１００の構成を説明するための概
略ブロック図である。
【００３１】なお、以下の説明では、外国語として、英
語を例として説明するが、以下の説明で明らかとなるよ
うに、本発明はこのような場合に限定されることなく、
母国語以外の言語を学習者が学習する際に一般的に適用
可能なものである。
【００３２】図１を参照して、外国語学習装置１００
は、学習者２が発声した音声を取得するためのマイクロ
フォン１０２と、マイクロフォン１０２からの出力を受
けて、学習者２が発音した文章に対応する音声情報を処
理して、この文章中に含まれる単語毎に、期待される発
音に基づいた学習者の発音の評価点を求めるためのマイ
クロコンピュター１１０と、マイクロコンピュータ１１
０から与えられる学習者２が発音するべき文章を表示
し、単語毎に求められた学習者の発音に対する評価点
を、単語毎に表示するための表示装置（ディスプレイ）
１２０とを備える。
【００３３】なお、学習者２に対して、発音するべき文
章（以下、「モデル文章」と呼ぶ）を提示する方法とし
ては、上述のとおり、表示装置１２０を介して文字情報
として提示してもよいし、スピーカ１０４から音声とし
て学習者２に提示してもよい。また、後に説明する単語
毎の発音練習においては、スピーカ１０４から手本とな
る発音を音声として出力することも可能である。
【００３４】マイクロコンピュータ１１０は、マイクロ
フォン１０２からの音声信号を受け、また、スピーカ１
０４に対して音声信号を与えるためのインターフェース
である音声入出力部１１２と、後に説明するように音声
入出力部１１２からの信号に基づいて、マイクロフォン
１０２に与えられた文章に対応する音声情報（以下、
「文章音声情報」と呼ぶ）をそれに含まれる音韻情報に
分離解析する音声認識部１１４と、前記文章音声情報を
一時的に格納し、かつ前記モデル文章およびこれに対応
する音韻情報と単語境界に対する情報とを保持するため
のデータ記憶部１１８と、音声認識部１１４の解析結果
と、前記データ記憶部１１８に格納され学習者２に対し
て発音を促すために与えられたモデル文章に対する情報
等とに基づいて、このモデル文章に含まれる単語毎に、
モデル文章に対する音韻情報（モデル音韻情報）に対す
る学習者２の発音の評価点を求める演算処理部１１６と
を備える。
【００３５】［文章音声情報の構成］図２は、モデル文
章のうちの１つについての文章音声情報の構成を説明す
るための概念図である。
【００３６】図２に示した例では、"I have a red pen"
というモデル文章を例として挙げている。
【００３７】音声言語は、図２に示すように階層性を有
しており、文章は、単語、音節（母音と子音とで形成す
る単位で、日本語では通常１つの仮名で表記される単
位）、音韻（各子音、各母音）という風に細分化され
る。
【００３８】ただし、言語によってこの細分化の過程に
は多少の相違があり、また、文章と単語の中間層とし
て、いわゆる「フレーズ」を形成する場合もある。
【００３９】図３は、図１に示した外国語学習装置１０
０により実現される外国語学習のフローを説明するため
のフローチャートである。
【００４０】図３において明らかとなるように、外国語
学習装置１００により実現される外国語学習において
は、音声言語の階層性を利用して、文章単位の発音に対
して包括的な評価ばかりでなく、単語単位さらには音韻
単位での学習者の発音の評価を学習者にフィードバック
し、学習者はこの評価結果に基づいて、不得意であると
判定された単語毎または音韻毎に発音練習を行うことが
可能な構成となっている。特に、単語毎に評価点を表示
することで、個々の音韻に対する測定誤差の影響が軽減
されるだけでなく、学習者が発音練習をしやすい単位で
ある単語ごとに発音練習を行うことが可能で、発音練習
を効率的に行うことができる。
【００４１】図３を参照して、外国語学習が開始される
と（ステップＳ１００）、まず、表示装置１２０により
学習者２に対し、発音するべきモデル文章が提示される
（ステップＳ１０２）．つづいて、学習者２がこのモデ
ル文章を発音すると、マイクロフォン１０２および音声
入出力部１１２を介して、モデル文章に対応した音声情
報（文章音声情報）が取得される（ステップS１０
４）。
【００４２】つぎに、音声認識部１１４は、音声入出力
部１１２から出力される信号に基づいて、文章音声情報
を音韻ごとに対応する音声情報として認識する（ステッ
プS１０６）。
【００４３】演算処理部１１６は、音声認識部１１４で
音韻に分離された音声情報と、データ記憶部１１８に格
納されたモデル文章に対するモデル音韻情報との比較に
より、単語毎の音声情報を認識する（ステップＳ１０
８）。
【００４４】つづいて、演算処理部１１６は、文章音声
情報について単語毎に、データ記憶部１１８に格納され
たモデル文章に対するモデル音韻情報を参照すること
で、単語毎の発音の評価点を求め、表示装置１２０に対
して出力する（ステップＳ１０８）。なお、このとき、
各単語に含まれる音韻毎の評価点を併せて出力してもよ
い。
【００４５】つづいて、学習者２は、上記単語毎または
音韻毎の評価点に基づいて、自分の不得手な単語毎、ま
たは音韻毎に発音練習を行う（ステップＳ１１２）。
【００４６】発音練習が終了したと判断すると、学習者
２によりパーソナルコンピュータ１１０の入力装置（キ
ーボードまたは音声入力装置）を介して、モデル文章の
発音を再度試みるか否かの指示が与えられる（ステップ
Ｓ１１４）。再度試みることが指示されると、処理はス
テップS１０４に復帰し、再度試みることが指示されな
いと、処理は次のステップＳ１１６に移行する。
【００４７】次に、学習者２によりパーソナルコンピュ
ータ１１０の入力装置を介して、他のモデル文章につい
ての発音練習を試みるか否かの指示が与えられる（ステ
ップＳ１１６）。試みることが指示されると、処理はス
テップS１０２に復帰し、試みることが指示されない
と、処理は終了する（ステップＳ１２０）。
【００４８】［単語毎の評価点を求める方法］以下で
は、単語毎の発音の評価点を求める方法について、さら
に詳しく説明する。
【００４９】図４は、音声認識部１１４の動作を説明す
るための概念図である。学習者２の発した音声波形は、
データ記憶部１１８に一時的に格納することで録音され
る。音声認識部１１４は、録音した音声波形を、図４に
示すように、Ａ区間、Ｂ区間、Ｃ区間等の一定の長さの
区間毎に区切り、区間毎に音韻としての尤度（確からし
さ：likelihood）を求める。この区間毎の尤度は、予め
設定した全ての音韻、たとえば、英語としての発音に出
現し得る可能性のある全ての音韻についてそれぞれ求め
られる。言換えると、一つの区間から、英語の音韻の全
てに対する尤度が求められることになる。
【００５０】つまり、音声認識部１１４は、予め複数の
話者の音声サンプルから作成された各音韻の音響的特徴
ベクトルの集合体であるモデルと、録音した音声の特定
の区間の音響的特徴ベクトルの集合とを照合し、すでに
周知の最尤推定法を用いて、各区間毎に尤度を求める。
【００５１】このような最尤推定法は、たとえば、文献
「Probability, Random Variables,and Stochastic Pro
cesses(Third Edition)", Ed.Athanasios Papoulis,McG
raw-Hill.Inc. NewYork, Tokyo(1991)に開示されてい
る。
【００５２】すなわち、図５に示すような英語中に出現
し得る各音韻（縦軸）と各区間（横軸）についての尤度
の分布を示す尤度分布平面上において、最適の音韻の経
路を選択し、音声認識の結果とする。
【００５３】最適（最も尤度の高い）音韻クラスが時間
経過に従って移行することにより、次の音韻に移行した
ことが判定され、音韻の境界が認識される。
【００５４】図５中においては、間違いやすい音素列の
候補中で、このような最適音韻が時間経過とともにたど
る経路を太線で示している。
【００５５】図６は、以上のようにしてもとめられた録
音した音声の各区間ごとの音韻音声情報に基づき、演算
処理部１１６が、録音した音声の各音韻に対応する尤度
および単語に対応する尤度を求める手続きを示す概念図
である。
【００５６】すなわち、まず、演算処理部１１６は、録
音した音声から認識した音韻についての尤度の区間平均
をとることで、それぞれの音韻に対する尤度を求める。
【００５７】さらに、演算処理部１１６は、録音した音
声波形から各単語において図５に示した間違いやすい候
補のパスに従った各音韻尤度に基づいて、これらの各単
語ごとの音韻尤度の総和または平均として、各単語毎の
単語尤度を求める。
【００５８】すなわち、演算処理部１１６は、予め与え
られた内容記述情報、たとえば、"Ihave a red pen"と
いうモデル文章であれば、/ai : h ae v : a : r e d :
p en/というこのモデル文章に対する音声表記情報と単
語境界に対する情報（音声表記情報中の“：”の位置に
関する情報）とに基づき、上記の間違いやすい候補のパ
スにそって、各単語ごとに含まれる音韻についての尤度
（以下、「音韻尤度」と呼ぶ）の総和または平均とし
て、各単語についての尤度（以下、「単語尤度」と呼
ぶ）を求める。以下では、モデル文章についての音韻の
配列についての情報および単語境界についての情報とを
総称して、「モデル音韻配列情報」と呼ぶことにする。
【００５９】図７は、図５に示した尤度分布平面上にお
いて、モデル文章どおりに発音がされた場合の音韻の時
間変化の経路と発音評価のための尤度を求める手順とを
説明するための図である。
【００６０】すなわち、図７を参照して、演算処理部１
１６は、図５および図６において説明した手順と同様に
して、予め与えられた内容記述情報に基づき、内容記述
情報どおりの音韻配列で発音したとした場合のこの音韻
配列に対応するパスにそって、各単語ごとに含まれる音
韻に対する音韻尤度の総和または平均として、各単語に
ついての単語尤度を求める。
【００６１】演算処理部１１６は、以上のようにして求
められた、内容記述情報どおりの音韻配列（モデル音韻
配列情報どおりの音韻配列）で発音したとした場合のパ
スに沿って求めた各単語尤度と、録音した音声波形から
各単語において間違いやすい候補のパスに沿って求めた
各単語尤度とを照合することで、その相対的な関係から
評価点を求める。
【００６２】特に限定はされないが、たとえば、内容記
述情報どおりの音韻配列で発音したとした場合のパスに
沿って求めた各単語尤度を「理想経路単語尤度」と呼
び、録音した音声波形から各単語において最適パスに沿
って求めた各単語尤度の合計を「間違候補経路単語尤
度」と呼ぶこととすると、単語毎の評価点は以下のよう
にして求めることが可能である。 （単語評価点）＝（理想経路単語尤度）／（理想経路単
語尤度＋間違候補経路単語尤度）×１００ このような一連の手続きにより、学習者が発音した文章
につき、各単語毎の評価点を求め、単語毎に評価点を表
示することができる。
【００６３】また、これも特に限定はされないが、たと
えば、内容記述情報どおりの音韻配列で発音したとした
場合のパスに沿って求めた各音韻尤度を「理想経路音韻
尤度」と呼び、録音した音声波形から間違いやすい候補
のパスに沿って求めた各音韻尤度の合計を「間違候補経
路音韻尤度」と呼ぶこととすると、音韻毎の評価点も以
下のようにして求めることも可能である。 （音韻評価点）＝（理想経路音韻尤度）／（理想経路音
韻尤度＋間違候補経路音韻尤度）×１００ したがって、学習者が発音した文章につき、各単語毎の
評価点に加えて、単語毎に含まれる各音韻についての評
価点を表示することができる。
【００６４】なお、以上の説明では、文章音声情報を一
度音韻情報にまで細分化したうえで、単語毎の音声情報
を得る構成として本願発明を説明したが、文章音声情報
を直接、単語毎の音声情報に分離する構成としてもよ
い。
【００６５】［実施の形態２］実施の形態１において
は、学習者の発声した外国の文章を認識して、単語ごと
あるいは音韻ごとにその評価点を表示することで、学習
効率を高める外国語学習装置の構成について説明した。
【００６６】実施の形態２においては、上述したような
単語ごと（あるいは音韻ごと）に示された評価点に基づ
いて、学習者が効率よく発音練習を行なうことが可能な
外国語学習装置および外国語学習方法の構成について説
明する。
【００６７】図８は、実施の形態２の外国語学習装置２
００の構成を説明するための概略ブロック図である。
【００６８】外国語学習装置２００の構成は、基本的に
は、実施の形態１の外国語学習装置１００の構成と同様
である。
【００６９】すなわち、図８を参照して、外国語学習装
置２００は、学習者が発声した音声を取得するための音
声入力装置（たとえばマイクロフォン）１０２と、音声
入力装置１０２からの出力を受けて、学習者が発声した
文章に対する音声情報を処理して、この文章中に含まれ
る単語ごとに期待される発音に基づいた学習者の発音の
評価点を求めるためのＭＰＵ１１６と、ＭＰＵ１１６か
ら与えられる学習者が発音するべき文章を表示し、単語
ごとに求められた学習者の発音に対する評価点を、単語
ごとに表示するためのＣＲＴディスプレイ１２０と、学
習者からの外国語学習装置２００へのデータ入力を受け
るためのキーボードマウス１２２とを備える。
【００７０】外国語学習装置２００は、さらに、外国語
学習装置の動作全体を制御するための学習制御装置１０
１と、学習制御装置１０１により制御されて、音声入力
装置から与えられた文章情報についての音声認識処理を
行なうための音声認識部１１４と、学習制御装置１０１
に制御されて、外国語学習処理のために必要なデータを
記憶保持するためのデータ記憶部１１８とを備える。
【００７１】音声認識部１１４は、音声入力装置１０２
から与えられた音声データを元に、音声スペクトル包絡
を抽出した上で、音声信号のセグメンテーションを行な
うための自動音声セグメント装置１４０．２と、単位言
語音の音韻識別のために、音声尤度を計算するための音
声尤度演算装置１４０．４と、音声尤度演算装置１４
０．４の演算結果に基づいて、文章中の音韻や単語を分
解抽出するための文章・単語・音韻分解装置１４０．１
と、文章単語音韻分解装置１４０．１の分解結果に基づ
いて、構文解析等に基づいて、文音声の認識処理を行な
うための音声認識装置１４０．３とを含む。
【００７２】一方、データ記憶部１１８は、学習者に対
して提示するための文章データを保持する文章データベ
ース１１８．６と、この文章データを構成する単語につ
いての単語データベース１１８．５と、単語データベー
ス１１８．５に含まれる音韻に関するデータを保持する
音韻データベース１１８．４とを含む。
【００７３】データ記憶部１１８は、さらに、学習者の
学習履歴を保持するための学習者学習履歴データ保磁部
１１８．１と、文章データベース１１８．６中に保持さ
れるデータに対応したネイティブスピーカーの発音によ
る教師音声を保持するための教師音声ファイル１１８．
２と、当該教師音声ファイル中の音声に対して、音声認
識部１１４が算出する尤度データを保持するための教師
音声尤度データベース１１８．３とを含む。
【００７４】図９は、図８に示した外国語学習装置２０
０による外国語学習処理を説明するためのフローチャー
トである。
【００７５】図９を参照して、まず、外国語学習装置２
００の処理が開始されると（ステップＳ２００）、学習
者に文章データベース１１８．６中に保持された文章デ
ータに基づいて、ＣＲＴディスプレイ１２０上にモデル
文章が提示される（ステップＳ２０２）。
【００７６】続いて、学習者が提示されたモデル文章に
応じて、発話を行なうと、この学習者の発話したモデル
文章に対応する音声情報が音声入力装置１０２を介して
取得される（ステップＳ２０４）。
【００７７】続いて、自動音声セグメント装置１４０．
２および文章、単語、音韻分解装置１４０．１の処理に
より、文章に対応する音声情報を音韻ごとに対応する音
声情報として認識する処理が行なわれる（ステップＳ２
０６）。
【００７８】続いて、音声認識装置１４０．３におい
て、音韻データベース１１８．４中に保持されたデータ
に基づいて、取得した音韻に対する音声情報とモデル音
韻との比較により単語ごとの音声情報の認識が行なわれ
る（ステップＳ２０８）。
【００７９】さらに、このようにして認識された音声常
法について、音声尤度演算装置１４０．４において演算
された尤度情報と、教師音声尤度データベース１１８．
３中に保持されたデータとに基づいて、ＭＰＵ１１６が
単語ごとの評価点を算出し、その算出結果をＣＲＴディ
スプレイ１２０を介して、学習者に対して提示する（ス
テップＳ２１０）。
【００８０】これに応じて、学習者は、単語ごとあるい
は音韻ごとに発音練習を行なう（ステップＳ２１２）。
【００８１】続いて、ＣＲＴディスプレイ１２０を介し
て、学習者に対して、他のモデル文章に対する練習を行
なうか否かが質問され、学習者がキーボード・マウス１
２２を介して、他のモデル文章の練習を行なうことを選
択した場合は、処理はステップＳ２０２に復帰し、練習
の終了を選択した場合は、処理が終了する（ステップＳ
２１６）。
【００８２】図１０は、図９に示した処理のうち、単語
ごとの評価点の算出および表示を行なうステップＳ２１
０と、単語ごと・音韻ごとに発音練習を行なうステップ
Ｓ２１２における処理をより詳しく説明するためのフロ
ーチャートである。
【００８３】すなわち、学習者に各単語のスコアが提示
されると（ステップＳ３０２）、学習者は、キーボード
・マウス１２２を介して、訓練する単語を選択する（ス
テップＳ３０４）。
【００８４】これに応じて、学習者が発音した単語発音
が録音され（ステップＳ３０６）、学習者に単語内の各
音韻のスコアが表示される（ステップＳ３０８）。
【００８５】続いて、音韻レベルのトレーニングを学習
者が行ない（ステップＳ３１０）、音韻レベル訓練をク
リアしたか否かの判断が行なわれ（ステップＳ３１
２）、音韻レベル訓練をクリアした場合は処理は次のス
テップＳ３１４に移行し、音韻レベル訓練をクリアした
と判断されない場合は、再び処理はステップＳ３１０に
復帰する。
【００８６】音韻レベル訓練をクリアした場合、続いて
単語レベルのトレーニングに処理が移行する（ステップ
Ｓ３１４）。
【００８７】単語レベルのトレーニングが終了すると、
続いて、ＣＲＴディスプレイ１２０を介して、学習者に
対し別の単語の訓練を行なうか否かが質問され、キーボ
ード・マウス１２２から学習者により入力される情報に
基づいて、別の単語を訓練する場合は処理がステップＳ
３０４に復帰し、単語訓練を終了させる場合は、処理が
次のステップＳ３１８に移行する。
【００８８】単語レベルでの訓練が終了すると、続いて
文章レベルのトレーニングが行なわれる（ステップＳ３
１８）。
【００８９】続いて、文章レベル訓練をクリアしたか否
かの判断が行なわれ（ステップＳ３２０）、文章レベル
の訓練をクリアしていない場合は、処理は再びステップ
Ｓ３０２に復帰する。
【００９０】一方、文章レベルの訓練がクリアしたと判
断された場合は、処理が終了する（ステップＳ３２
２）。
【００９１】図１１は、図１０に示した音韻レベルのト
レーニング、単語レベルのトレーニングあるいは文章レ
ベルのトレーニングを行なう際の評価点の算出を行なう
にあたり、音声認識処理を行なうための隠れマルコフモ
デル（ＨＭＭ：Hidden Markov Model）に対する学習処
理を予め行なうための処理を説明するためのフローチャ
ートである。
【００９２】図１１を参照して、学習処理が開始される
と（ステップＳ４００）、トレーニングを行なう語彙に
対応して隠れマルコフモデル（ＨＭＭ）が作成される
（ステップＳ４０２）。
【００９３】続いて、学習者の発音に基づいて、まず明
瞭度の高い音声収集が行なわれる（ステップＳ４０
４）。
【００９４】学習者の発声した音声に基づいてメウケブ
ストラム係数またはＬＰＣ(LinearPredictive Coding)
ケプストラム等を使用して、音声の特徴を数値データ
（特徴ベクトル）として求める（ステップＳ４０６）。
【００９５】このようにして求められた音声特徴ベクト
ルに基づいて、隠れマルコフモデルのＨＭＭ係数のトレ
ーニングが行なわれる（ステップＳ４０８）。
【００９６】以上のような学習のために必要なすべての
音声の処理を行なったかの判断が行われ（ステップＳ４
１０）、すべての音声に対する処理が行なわれていない
場合には、処理はステップＳ４０６に復帰し、すべての
音声に対するトレーニング処理が終わっている場合は、
処理が終了する（ステップＳ４１２）。
【００９７】図１２は、図１１のようにして予め学習処
理が行なわれた隠れマルコフモデルに基づいて、各単語
における音韻ごとの評価点を算出するためのフロー（図
１０のステップＳ３０８）の処理を説明するためのフロ
ーチャートである。
【００９８】図１２を参照して、評価点算出処理が開始
されると（ステップＳ５００）、音声が入力され（ステ
ップＳ５０２）、サンプリングを行なう各フレームごと
に特徴ベクトルの算出が行なわれる（ステップＳ５０
４）。
【００９９】続いて、隠れマルコフモデルを使用して、
ビタビスコアリングを行なうことにより、最適な音韻の
変遷を導出するための当てはめ計算が行なわれる（ステ
ップＳ５０６）。
【０１００】続いて、可能性のあるすべての組合せにつ
いて音韻変遷の経路の計算が行なわれたかの判断が行な
われ（ステップＳ１０８）、すべての組合せが終了して
いない場合は、処理はステップＳ５０６に復帰し、すべ
ての処理が終了している場合は、次のステップＳ５１０
に移行する。
【０１０１】続いて、隠れマルコフモデルによりセグメ
ントされた有効なフレームあたりのスコアの平均値が求
められる（ステップＳ５１０）。
【０１０２】次に、評価点を算出するために、たとえば
音韻ごとに、以下の演算により評価点が計算される。
【０１０３】（評価点）＝（正解を発音したとした場合
の当該音韻に対するスコア）／（すべての可能な（確率
が０でない）音韻についての組合せのスコアの総和）×
１００ 以上のようにして評価点を算出して処理が終了する（ス
テップＳ５１４）。
【０１０４】続いて、音韻ごとの練習を行なう場合に、
学習者に対して適切な情報を提示することで、学習効果
を上げるための提示される情報の例について説明する。
【０１０５】図１３および図１４は、このようにして提
示される情報の１つとして、［Ｌ］を発音する際に、声
道（声門から唇に至る音声の共鳴口）の形状を示す図で
ある。
【０１０６】一方、図１５および図１６は、［Ｒ］を発
音する際の共鳴口の形状を提示するためのコンピュータ
グラフィックス例である。
【０１０７】すなわち上述したような声道の形状によ
り、各音韻の特徴を持った音声が生成される。しかしな
がら、この声道の形状や動きは通常学習者は見ることが
できない。
【０１０８】特に、音韻特徴に大きく関係し、また学習
者が自ら運動を制御することのできる口腔内の器官（舌
や口蓋など）の形状や相対的位置関係、動きなどを、３
次元コンピュータグラフィックスを用いて頚部を透明に
するなどの処置を施すことで、わかりやすく可視化する
ことができる。このような可視化処理により、学習者に
各音韻を発声する場合の各器官の動かし方を知識として
伝えることができる。
【０１０９】図１７は、音韻練習の際に、学習者に提示
される情報の他の例の共振周波数パターンの時間的変動
（声紋）を示す図である。
【０１１０】図１７においては、教師音声と学習者音声
の声紋表示を対比させて行なう。学習者は、発音を繰返
しながら、声紋のパターンを教師音声に近づけていく。
【０１１１】声紋表示とは、高速フーリエ変換（ＦＦ
Ｔ）を用いて音声の共振周波数パターンの時間的変動を
可視化したものである。
【０１１２】母音や一部の子音（［ｒ］、［ｌ］、
［ｗ］、［ｙ］など）の声道の振動を伴った音韻では、
音声が周期性を持っており、スペクトルのピーク（フォ
ルマントと呼ぶ）に一定のパターンが見られる。各音韻
は、このフォルマントのパターンにより特徴づけられる
ことになる。そこで、これらの音の場合には、線形予測
法（ＬＰＣ）により、スペクトルのピークを推定し、そ
のピークを声紋の上に重ねて表示（図中黒丸）すること
により、音韻の特徴を明示的に示すことができる。
【０１１３】図１８は、音韻練習時に、学習者に対して
示されるさらに他の情報としてフォルマントの位置を表
示する画面を示す図である。
【０１１４】図１８においては、フォルマントの位置を
リアルタイムで確認しながら、発音の矯正を行なう。母
音や一部の子音（［ｒ］、［ｌ］、［ｗ］、［ｙ］な
ど）では、上記の方法でフォルマントを計算し、実施時
間で画面上に表示する。
【０１１５】その際に、音韻を決定づける上で重要であ
る、低い方から３つのフォルマント（第１、第２、第３
フォルマント）位置の相対関係を、３つのフォルマント
を２つずつ組合せて２次元的に表示している。図１８に
おいては、第２フォルマント（Ｆ２）を横軸に、第３フ
ォルマント（Ｆ３）を縦軸としている。Ｌ音は、Ｆ３＝
２８００Ｈｚ付近に分布しているのに対し、Ｒ音は、Ｆ
３＝１６００Ｈｚ付近に分布している。学習者の発音し
ている音のフォルマントが黒丸で示され、Ｆ２−Ｆ３平
面では、Ｒ音の領域にあることがわかる。
【０１１６】学習者は、自分の高音器官の形状とそれが
適切だったかどうかを実時間で確認しながら、音韻の発
音学習を進めることが可能となる。
【０１１７】なお、以上の説明では、図１３〜図１８で
示される３つの表示画面をそれぞれ別々のものとして説
明したが、上記の表示画面を適宜組合せることで、より
効率的に発音練習を行なうことが可能である。
【０１１８】さらに、図１３から図１６の声道形状のモ
デル表示や、図１７の声紋表示、図１８のフォルマント
表示は、音韻ごとに表示されるものとしたが、単語とし
て音韻が連続的に発音される場合に、画面上に一連のも
のとして表示されていく構成とすることも可能である。
【０１１９】なお、以上の説明では、外国語学習装置と
しての構成を説明したが、本発明はこのような場合に限
定されることなく、以上説明したような外国語学習方法
を実行するためのソフトウェアを記録した記録媒体を用
いることで、音声入出力機能を備えたパーソナルコンピ
ュータ等によりこのソフトウェアを実行させることによ
り実現可能である。
【０１２０】さらに、以上説明したような外国語学習方
法を実行するためのソフトウェアは、記録媒体としてパ
ーソナルコンピュータ等にインストールされる場合だけ
でなく、インターネット等の電気通信回線を通じて、音
声入出力機能を備えたパーソナルコンピュータ等にこの
ソフトウェアをインストールすることによっても実現可
能である。
【０１２１】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【０１２２】
【発明の効果】以上説明したとおり、本願発明に係る外
国語学習装置または外国語学習方法によれば、学習者に
自分の発音した文章について、各単語毎に評価点が示さ
れるので、学習者の発音した外国語の文章に対する発音
の評価結果を学習者の外国語発音練習に対して効率的に
フィードバックすることが可能である。
【図面の簡単な説明】
【図１】 本発明に係る外国語学習装置１００の構成を
説明するための概略ブロック図である。
【図２】 モデル文章のうちの１つについての文章音声
情報の構成を説明するための概念図である。
【図３】 図１に示した外国語学習装置１００により実
現される外国語学習のフローを説明するためのフローチ
ャートである。
【図４】 音声認識部１１４の動作を説明するための概
念図である。
【図５】 各区間毎の尤度をもとに、録音された文章に
対する音声情報から音韻音声情報を抽出する方法を示す
概念図である。
【図６】 演算処理部１１６が、録音した音声の各音韻
に対応する尤度および単語に対応する尤度を求める手続
きを示す概念図である。
【図７】 モデル文章どおりに発音がされた場合の音韻
の時間変化の経路と発音評価のための尤度を求める手順
とを説明するための図である。
【図８】 実施の形態２の外国語学習装置２００の構成
を説明するための概略ブロック図である。
【図９】 図８に示した外国語学習装置２００による外
国語学習処理を説明するためのフローチャートである。
【図１０】 単語ごとの評価点の算出および表示を行な
うステップと、単語ごと・音韻ごとに発音練習を行なう
ステップにおける処理をより詳しく説明するためのフロ
ーチャートである。
【図１１】 音声認識処理を行なうための隠れマルコフ
モデルに対する学習処理を予め行なうための処理を説明
するためのフローチャートである。
【図１２】 各単語における音韻ごとの評価点を算出す
るためのフローの処理を説明するためのフローチャート
である。
【図１３】 ［Ｌ］を発音する際の声道の形状を示す第
１の図である。
【図１４】 ［Ｌ］を発音する際の声道の形状を示す第
２の図である。
【図１５】 ［Ｒ］を発音する際の声道の形状を示す第
１の図である。
【図１６】 ［Ｒ］を発音する際の声道の形状を示す第
２の図である。
【図１７】 音韻練習の際に、学習者に提示される情報
の他の例の共振周波数パターンの時間的変動を示す図で
ある。
【図１８】 音韻練習時に、学習者に対して示されるさ
らに他の情報としてフォルマントの位置を表示する画面
を示す図である。
【符号の説明】
２ 学習者、１００ 外国語学習装置、１０２ マイク
ロフォン、１０４ スピーカ、１１０ マイクロコンピ
ュータ、１１２ 音声入出力部、１１４ 音声認識部、
１１６ 演算処理部、１１８ データ記憶部、１２０
表示装置。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/22 Ｇ１０Ｌ 3/00 ５５１Ｅ 15/10 ５６１Ｃ // Ｇ１０Ｌ 101:18 9/06 Ｂ (72)発明者 足立 隆弘 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 (72)発明者 コンスタンティン マルコフ 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社国際電気通信基礎技術研究 所内 (72)発明者 片桐 滋 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 (72)発明者 エリック マクダモト 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 Ｆターム(参考） 2C028 BA03 BB04 BB07 BC02 BD02 CA06 CA13 CB10 5D015 BB01 BB02 HH04 HH23 KK03 LL05 LL13 9A001 HH16 JJ74 KK09

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 外国語学習装置であって、 学習者の発音した文章に対応する文章音声情報を受け
    て、前記文章に含まれる単語毎の単語音声情報に分離す
    る単語分離手段と、 前記単語音声情報ごとにモデル音声との一致の程度を評
    価する尤度判定手段と、 前記尤度判定手段の判定結果を前記単語毎に表示する表
    示手段とを備える、外国語学習装置。
  2. 【請求項２】 前記外国語学習装置は、 前記学習者が発音するべきモデル文章と対応するモデル
    音韻配列情報とを保持する記憶手段と、 予め前記学習者に前記モデル文章を提示するための出力
    手段とをさらに備え、 前記単語分離手段は、 前記文章音声情報を音韻情報毎に認識する音韻認識手段
    と、 分離された前記音韻情報と前記モデル音韻配列情報とに
    基づいて、前記単語毎の単語音声情報を認識する単語音
    声認識手段とを含む、請求項１記載の外国語学習装置。
  3. 【請求項３】 前記音韻認識手段は、前記外国語に含ま
    れ得る音韻のそれぞれに対する、前記文章音声情報中の
    各音韻情報の尤度を判定する音韻尤度決定手段を含み、 前記尤度判定手段は、 前記文章音声情報中の各音韻情報の尤度分布平面上にお
    いて、前記モデル音韻配列情報どおりの音韻配列で発音
    したとした場合の経路に沿って求めた各単語尤度と、学
    習者の発音した音声波形から間違いやすい候補の経路に
    沿って求めた各単語尤度の合計とを照合することで、前
    記単語毎の一致の程度を評価する、請求項２記載の外国
    語学習装置。
  4. 【請求項４】 外国語学習方法であって、 学習者の発音した文章に対応する文章音声情報を受け
    て、前記文章に含まれる単語毎の単語音声情報に分離す
    るステップと、 前記単語音声情報ごとにモデル音声との一致の程度を評
    価するステップと、 前記単語音声情報ごとの評価結果を前記単語毎に表示す
    るステップとを備える、外国語学習方法。
  5. 【請求項５】 予め前記学習者にモデル文章を提示する
    ステップをさらに備え、 前記単語音声情報に分離するステップは、 前記文章音声情報を音韻情報毎に認識するステップと、 前記学習者に提示されたモデル文章に対応するモデル音
    韻配列情報と分離された前記音韻情報とに基づいて、前
    記単語毎の単語音声情報を認識するステップとを含む、
    請求項４記載の外国語学習方法。
  6. 【請求項６】 前記音韻情報毎に認識するステップは、
    前記外国語に含まれ得る音韻のそれぞれに対する、前記
    文章音声情報中の各音韻情報の尤度を判定するステップ
    を有し、 前記モデル音声との一致の程度を評価するステップは、
    前記文章音声情報中の各音韻情報の尤度分布平面上にお
    いて、前記モデル音韻配列情報どおりの音韻配列で発音
    したとした場合の経路に沿って求めた各単語尤度と、学
    習者の発音した音声波形から間違いやすい候補の経路に
    沿って求めた各単語尤度の合計とを照合することで、前
    記単語毎の一致の程度を評価する、請求項５記載の外国
    語学習方法。
  7. 【請求項７】 前記学習者が発する前記モデル文章中の
    前記音韻毎および前記単語ごとに発音練習結果を評価す
    るステップをさらに備える、請求項５記載の外国語学習
    方法。
  8. 【請求項８】 前記発音練習結果を評価するステップ
    は、 前記学習者に対して、前記表示装置を介して、前記音韻
    毎に声道形状モデルを表示するステップを含む、請求項
    ７記載の外国語学習方法。
  9. 【請求項９】 前記発音練習結果を評価するステップ
    は、 前記学習者に対して、前記表示装置を介して、モデル声
    紋と学習者の発音に対する声紋とを対比表示するステッ
    プを含む、請求項７記載の外国語学習方法。
  10. 【請求項１０】 前記発音練習結果を評価するステップ
    は、 前記学習者に対して、前記表示装置を介して、学習者の
    発音のフォルマント平面上の位置を表示するステップを
    含む、請求項７記載の外国語学習方法。
  11. 【請求項１１】 外国語学習装置であって、 学習者が発音するべきモデル文章と対応するモデル音韻
    配列情報とを保持する記憶手段と、 予め前記学習者に前記モデル文章を提示するための出力
    手段と、 前記学習者の発音した文章に対応する文章音声情報を受
    けて、前記文章に含まれる単語毎の単語音声情報に分離
    する単語分離手段と、 前記単語音声情報ごとにモデル音声との一致の程度を評
    価する尤度判定手段と、 前記尤度判定手段の判定結果を音韻毎および前記単語毎
    に表示する表示手段とを備え、 前記単語分離手段は、 前記文章音声情報を音韻情報毎に認識する音韻認識手段
    と、 分離された前記音韻情報と前記モデル音韻配列情報とに
    基づいて、前記単語毎の単語音声情報を認識する単語音
    声認識手段とを含み、 発音練習期間中において、前記学習者が発する前記モデ
    ル文章中の前記音韻毎および前記単語ごとに発音練習結
    果を評価する発音評価手段をさらに備える、外国語学習
    装置。
  12. 【請求項１２】 前記発音評価手段は、 前記学習者に対して、前記表示装置を介して、前記音韻
    毎に声道形状モデルを表示する、請求項１１記載の外国
    語学習装置。
  13. 【請求項１３】 前記発音評価手段は、 前記学習者に対して、前記表示装置を介して、モデル声
    紋と学習者の発音に対する声紋とを対比表示する、請求
    項１１記載の外国語学習装置。
  14. 【請求項１４】 前記発音評価手段は、 前記学習者に対して、前記表示装置を介して、学習者の
    発音のフォルマント平面上の位置を表示する、請求項１
    １記載の外国語学習装置。
  15. 【請求項１５】 学習者の発音した文章に対応する文章
    音声情報を受けて、 前記文章に含まれる単語毎の単語音声情報に分離するス
    テップと、 前記単語音声情報ごとにモデル音声との一致の程度を評
    価するステップと、 前記単語音声情報ごとの評価結果を前記単語毎に表示す
    るステップとを有する外国語学習方法をコンピュータに
    実行させるためのプログラムを記録したコンピュータ読
    取り可能な媒体。
  16. 【請求項１６】 予め前記学習者にモデル文章を提示す
    るステップをさらに備え、 前記単語音声情報に分離するステップは、 前記文章音声情報を音韻情報毎に認識するステップと、 前記学習者に提示されたモデル文章に対応するモデル音
    韻配列情報と分離された前記音韻情報とに基づいて、前
    記単語毎の単語音声情報を認識するステップとを含む、
    外国語学習方法をコンピュータに実行させるためのプロ
    グラムを記録したコンピュータ読取り可能な、請求項１
    ５記載の媒体。
  17. 【請求項１７】 前記音韻情報毎に認識するステップ
    は、前記外国語に含まれ得る音韻のそれぞれに対する、
    前記文章音声情報中の各音韻情報の尤度を判定するステ
    ップを有し、 前記モデル音声との一致の程度を評価するステップは、
    前記文章音声情報中の各音韻情報の尤度分布平面上にお
    いて、前記モデル音韻配列情報どおりの音韻配列で発音
    したとした場合の経路に沿って求めた各単語尤度と、学
    習者の発音した音声波形から間違いやすい候補の経路に
    沿って求めた各単語尤度の合計とを照合することで、前
    記単語毎の一致の程度を評価する、外国語学習方法をコ
    ンピュータに実行させるためのプログラムを記録したコ
    ンピュータ読取り可能な、請求項１６記載の媒体。
  18. 【請求項１８】 前記学習者が発する前記モデル文章中
    の前記音韻毎および前記単語ごとに発音練習結果を評価
    するステップをさらに備える、外国語学習方法をコンピ
    ュータに実行させるためのプログラムを記録したコンピ
    ュータ読取り可能な、請求項１６記載の媒体。
  19. 【請求項１９】 前記発音練習結果を評価するステップ
    は、 前記学習者に対して、前記表示装置を介して、前記音韻
    毎に声道形状モデルを表示するステップを含む、外国語
    学習方法をコンピュータに実行させるためのプログラム
    を記録したコンピュータ読取り可能な、請求項１８記載
    の媒体。
  20. 【請求項２０】 前記発音練習結果を評価するステップ
    は、 前記学習者に対して、前記表示装置を介して、モデル声
    紋と学習者の発音に対する声紋とを対比表示するステッ
    プを含む、外国語学習方法をコンピュータに実行させる
    ためのプログラムを記録したコンピュータ読取り可能
    な、請求項１８記載の媒体。
  21. 【請求項２１】 前記発音練習結果を評価するステップ
    は、 前記学習者に対して、前記表示装置を介して、学習者の
    発音のフォルマント平面上の位置を表示するステップを
    含む、外国語学習方法をコンピュータに実行させるため
    のプログラムを記録したコンピュータ読取り可能な、請
    求項１８記載の媒体。
JP2000078578A 2000-01-14 2000-03-21 外国語学習装置、外国語学習方法および媒体 Expired - Fee Related JP3520022B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000078578A JP3520022B2 (ja) 2000-01-14 2000-03-21 外国語学習装置、外国語学習方法および媒体
US09/936,365 US7401018B2 (en) 2000-01-14 2000-12-11 Foreign language learning apparatus, foreign language learning method, and medium
PCT/JP2000/008762 WO2001052237A1 (fr) 2000-01-14 2000-12-11 Appareil, methode et support d'apprentissage de langues etrangeres

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000006696 2000-01-14
JP2000-6696 2000-01-14
JP2000078578A JP3520022B2 (ja) 2000-01-14 2000-03-21 外国語学習装置、外国語学習方法および媒体

Publications (2)

Publication Number Publication Date
JP2001265211A true JP2001265211A (ja) 2001-09-28
JP3520022B2 JP3520022B2 (ja) 2004-04-19

Family

ID=26583564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000078578A Expired - Fee Related JP3520022B2 (ja) 2000-01-14 2000-03-21 外国語学習装置、外国語学習方法および媒体

Country Status (3)

Country Link
US (1) US7401018B2 (ja)
JP (1) JP3520022B2 (ja)
WO (1) WO2001052237A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354976A (ja) * 2003-05-29 2004-12-16 Robert Bosch Gmbh ユーザに発音を教える方法およびシステム、ユーザに言語を教える方法ならびにコンピュータ媒体
KR100548604B1 (ko) * 2003-05-06 2006-01-31 엘지전자 주식회사 어학 학습 기능을 갖는 영상표시기기 및 그 학습방법
JP2006084966A (ja) * 2004-09-17 2006-03-30 Advanced Telecommunication Research Institute International 発話音声の自動評定装置およびコンピュータプログラム
JP2006184813A (ja) * 2004-12-28 2006-07-13 Advanced Telecommunication Research Institute International 外国語学習装置
JP2006201491A (ja) * 2005-01-20 2006-08-03 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
JP2006208806A (ja) * 2005-01-28 2006-08-10 Advanced Telecommunication Research Institute International 言語学習装置
JP2006208822A (ja) * 2005-01-28 2006-08-10 Advanced Telecommunication Research Institute International 言語学習装置
JP2006227587A (ja) * 2005-01-20 2006-08-31 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
JP2006227030A (ja) * 2005-01-20 2006-08-31 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
JP2006337667A (ja) * 2005-06-01 2006-12-14 Ntt Communications Kk 発音評価方法、音素列モデル学習方法、これらの方法を用いた装置、プログラム、および記録媒体。
JP2007017733A (ja) * 2005-07-08 2007-01-25 Sharp Corp 入力装置、入力システム、入力方法、入力処理プログラム、および、プログラム記録媒体
JP2007057692A (ja) * 2005-08-23 2007-03-08 Advanced Telecommunication Research Institute International 音声処理装置、およびプログラム
JP2007133008A (ja) * 2005-11-08 2007-05-31 Advanced Telecommunication Research Institute International 音声認識装置、およびプログラム
JP2007309979A (ja) * 2006-05-16 2007-11-29 Advanced Telecommunication Research Institute International 音声処理装置、およびプログラム
JP2008040035A (ja) * 2006-08-04 2008-02-21 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
JP2008191551A (ja) * 2007-02-07 2008-08-21 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
CN103890825A (zh) * 2011-09-01 2014-06-25 斯碧奇弗斯股份有限公司 语言学习用系统和方法
JP2015011348A (ja) * 2013-06-26 2015-01-19 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 音声認識を用いた外国語スピーキング能力の訓練及び評価方法並びにその装置
JP2016045420A (ja) * 2014-08-25 2016-04-04 カシオ計算機株式会社 発音学習支援装置およびプログラム
JP2019168478A (ja) * 2018-03-22 2019-10-03 カシオ計算機株式会社 発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム
JPWO2021152786A1 (ja) * 2020-01-30 2021-08-05
KR20230108027A (ko) * 2022-01-10 2023-07-18 (주)프로젝트레인보우 발음 교정 시스템 및 이의 수행 방법
JP7504523B1 (ja) 2024-01-16 2024-06-24 モノグサ株式会社 文章の発話演習を支援するためのプログラム、システム、及び方法

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355072B1 (ko) * 2000-07-06 2002-10-05 한상종 멀티미디어 분할페이지 및 이를 이용한 언어학습방법과언어학습시스템
US7752045B2 (en) * 2002-10-07 2010-07-06 Carnegie Mellon University Systems and methods for comparing speech elements
JP3814575B2 (ja) * 2002-11-27 2006-08-30 研一郎 中野 語学学習コンピュータシステム
AU2003283892A1 (en) * 2002-11-27 2004-06-18 Visual Pronunciation Software Limited A method, system and software for teaching pronunciation
WO2004061796A1 (en) * 2002-12-31 2004-07-22 Burlingtonspeech Limited Comprehensive spoken language learning system
DE10304229A1 (de) * 2003-01-28 2004-08-05 Deutsche Telekom Ag Kommunikationssystem, Kommunikationsendeinrichtung und Vorrichtung zum Erkennen fehlerbehafteter Text-Nachrichten
JP2004246184A (ja) * 2003-02-14 2004-09-02 Eigyotatsu Kofun Yugenkoshi 視覚化された発音の提案を備えた言語学習システム及び方法
US20040166481A1 (en) * 2003-02-26 2004-08-26 Sayling Wen Linear listening and followed-reading language learning system & method
DE10360044B3 (de) * 2003-12-18 2005-05-25 T-Mobile Deutschland Gmbh Verfahren zur Ermittlung der sprachlichen Fähigkeiten von Probanden
US20050181336A1 (en) * 2004-02-17 2005-08-18 Bakalian Kalust C. System and method for learning letters and numbers of a foreign language
US20050197837A1 (en) * 2004-03-08 2005-09-08 Janne Suontausta Enhanced multilingual speech recognition system
US20080027731A1 (en) * 2004-04-12 2008-01-31 Burlington English Ltd. Comprehensive Spoken Language Learning System
US7640159B2 (en) * 2004-07-22 2009-12-29 Nuance Communications, Inc. System and method of speech recognition for non-native speakers of a language
US20060053012A1 (en) * 2004-09-03 2006-03-09 Eayrs David J Speech mapping system and method
US8478597B2 (en) * 2005-01-11 2013-07-02 Educational Testing Service Method and system for assessing pronunciation difficulties of non-native speakers
WO2006125347A1 (en) * 2005-05-27 2006-11-30 Intel Corporation A homework assignment and assessment system for spoken language education and testing
US20070048697A1 (en) * 2005-05-27 2007-03-01 Du Ping Robert Interactive language learning techniques
JP5120826B2 (ja) * 2005-09-29 2013-01-16 独立行政法人産業技術総合研究所 発音診断装置、発音診断方法、記録媒体、及び、発音診断プログラム
US20070168187A1 (en) * 2006-01-13 2007-07-19 Samuel Fletcher Real time voice analysis and method for providing speech therapy
TWI336880B (en) * 2007-06-11 2011-02-01 Univ Nat Taiwan Voice processing methods and systems, and machine readable medium thereof
US20090007256A1 (en) * 2007-06-28 2009-01-01 Microsoft Corporation Using a trusted entity to drive security decisions
US8103503B2 (en) * 2007-11-01 2012-01-24 Microsoft Corporation Speech recognition for determining if a user has correctly read a target sentence string
JP2009128675A (ja) * 2007-11-26 2009-06-11 Toshiba Corp 音声を認識する装置、方法およびプログラム
US8271281B2 (en) * 2007-12-28 2012-09-18 Nuance Communications, Inc. Method for assessing pronunciation abilities
EP3610918B1 (en) * 2009-07-17 2023-09-27 Implantica Patent Ltd. Voice control of a medical implant
WO2011037587A1 (en) * 2009-09-28 2011-03-31 Nuance Communications, Inc. Downsampling schemes in a hierarchical neural network structure for phoneme recognition
US8744856B1 (en) * 2011-02-22 2014-06-03 Carnegie Speech Company Computer implemented system and method and computer program product for evaluating pronunciation of phonemes in a language
US9704413B2 (en) 2011-03-25 2017-07-11 Educational Testing Service Non-scorable response filters for speech scoring systems
WO2012134997A2 (en) * 2011-03-25 2012-10-04 Educational Testing Service Non-scorable response filters for speech scoring systems
US9058751B2 (en) * 2011-11-21 2015-06-16 Age Of Learning, Inc. Language phoneme practice engine
US8784108B2 (en) 2011-11-21 2014-07-22 Age Of Learning, Inc. Computer-based language immersion teaching for young learners
US8740620B2 (en) 2011-11-21 2014-06-03 Age Of Learning, Inc. Language teaching system that facilitates mentor involvement
US9679496B2 (en) 2011-12-01 2017-06-13 Arkady Zilberman Reverse language resonance systems and methods for foreign language acquisition
KR101697650B1 (ko) * 2012-12-10 2017-01-18 한국전자통신연구원 발음 평가 장치
US20140272820A1 (en) * 2013-03-15 2014-09-18 Media Mouth Inc. Language learning environment
US8825492B1 (en) * 2013-10-28 2014-09-02 Yousef A. E. S. M. Buhadi Language-based video game
US9984585B2 (en) * 2013-12-24 2018-05-29 Varun Aggarwal Method and system for constructed response grading
US9613638B2 (en) * 2014-02-28 2017-04-04 Educational Testing Service Computer-implemented systems and methods for determining an intelligibility score for speech
EP2924676A1 (en) * 2014-03-25 2015-09-30 Oticon A/s Hearing-based adaptive training systems
EP3239975A4 (en) * 2014-12-26 2018-08-08 Sony Corporation Information processing device, information processing method, and program
CN113901197A (zh) 2017-10-05 2022-01-07 弗伦特永久公司 使用客户端计算设备来教授外语的方法
US11393476B2 (en) 2018-08-23 2022-07-19 Google Llc Automatically determining language for speech recognition of spoken utterance received via an automated assistant interface
US10930274B2 (en) * 2018-11-30 2021-02-23 International Business Machines Corporation Personalized pronunciation hints based on user speech
CN111640452B (zh) * 2019-03-01 2024-05-07 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
US11410642B2 (en) * 2019-08-16 2022-08-09 Soundhound, Inc. Method and system using phoneme embedding

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60163078A (ja) * 1984-02-03 1985-08-24 工業技術院長 発話訓練装置
JP2757356B2 (ja) 1986-12-12 1998-05-25 株式会社日立製作所 単語音声認識方法および装置
JPS6433831A (en) 1987-07-28 1989-02-03 Mitsubishi Electric Corp Picture tube
JP2790808B2 (ja) 1987-12-15 1998-08-27 株式会社リコー 音声認識装置
JP2651172B2 (ja) 1987-12-28 1997-09-10 東陶機器株式会社 アクチュエータ
JP2834471B2 (ja) * 1989-04-17 1998-12-09 日本電信電話株式会社 発音評価法
JPH03226785A (ja) * 1990-01-31 1991-10-07 Oki Techno Syst Lab:Kk 音声認識装置付き語学用教育装置
JPH05165494A (ja) * 1991-12-13 1993-07-02 Osaka Gas Co Ltd 音声認識装置
JP3099845B2 (ja) 1992-05-07 2000-10-16 日本電信電話株式会社 パターン認識後処理方式
JPH06110494A (ja) 1992-09-08 1994-04-22 Osaka Gas Co Ltd 発音学習装置
US5487671A (en) * 1993-01-21 1996-01-30 Dsp Solutions (International) Computerized system for teaching speech
EP0692135B1 (en) * 1993-03-12 2000-08-16 Sri International Method and apparatus for voice-interactive language instruction
US6006175A (en) * 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
JP2983897B2 (ja) 1996-03-19 1999-11-29 三洋電機株式会社 認識結果の評価方法および認識装置
US6029131A (en) * 1996-06-28 2000-02-22 Digital Equipment Corporation Post processing timing of rhythm in synthetic speech
US5766015A (en) 1996-07-11 1998-06-16 Digispeech (Israel) Ltd. Apparatus for interactive language training
WO1998014934A1 (en) * 1996-10-02 1998-04-09 Sri International Method and system for automatic text-independent grading of pronunciation for language instruction
US6064957A (en) * 1997-08-15 2000-05-16 General Electric Company Improving speech recognition through text-based linguistic post-processing
JPH11143346A (ja) 1997-11-05 1999-05-28 Seiko Epson Corp 語学練習用発話評価方法およびその装置並びに発話評価処理プログラムを記憶した記憶媒体
JP4267101B2 (ja) * 1997-11-17 2009-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声識別装置、発音矯正装置およびこれらの方法
US6085160A (en) * 1998-07-10 2000-07-04 Lernout & Hauspie Speech Products N.V. Language independent speech recognition
US6224383B1 (en) * 1999-03-25 2001-05-01 Planetlingo, Inc. Method and system for computer assisted natural language instruction with distracters
JP3669869B2 (ja) * 1999-06-28 2005-07-13 株式会社サン・フレア 最適テンプレートパターンを用いた評価方法、評価装置および記録媒体
US6505152B1 (en) * 1999-09-03 2003-01-07 Microsoft Corporation Method and apparatus for using formant models in speech systems
US7149690B2 (en) 1999-09-09 2006-12-12 Lucent Technologies Inc. Method and apparatus for interactive language instruction
EP1139318A4 (en) * 1999-09-27 2002-11-20 Kojima Co Ltd PRONUNCIATION EVALUATION SYSTEM
JP3717730B2 (ja) * 1999-11-02 2005-11-16 セイコーインスツル株式会社 電子辞書
US6438524B1 (en) * 1999-11-23 2002-08-20 Qualcomm, Incorporated Method and apparatus for a voice controlled foreign language translation device

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100548604B1 (ko) * 2003-05-06 2006-01-31 엘지전자 주식회사 어학 학습 기능을 갖는 영상표시기기 및 그 학습방법
JP2004354976A (ja) * 2003-05-29 2004-12-16 Robert Bosch Gmbh ユーザに発音を教える方法およびシステム、ユーザに言語を教える方法ならびにコンピュータ媒体
US8371857B2 (en) 2003-05-29 2013-02-12 Robert Bosch Gmbh System, method and device for language education through a voice portal
US8202093B2 (en) 2003-05-29 2012-06-19 Robert Bosch Gmbh System, method and device for language education through a voice portal
JP2006084966A (ja) * 2004-09-17 2006-03-30 Advanced Telecommunication Research Institute International 発話音声の自動評定装置およびコンピュータプログラム
JP2006184813A (ja) * 2004-12-28 2006-07-13 Advanced Telecommunication Research Institute International 外国語学習装置
JP2006201491A (ja) * 2005-01-20 2006-08-03 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
JP2006227587A (ja) * 2005-01-20 2006-08-31 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
JP2006227030A (ja) * 2005-01-20 2006-08-31 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
JP4669988B2 (ja) * 2005-01-28 2011-04-13 株式会社国際電気通信基礎技術研究所 言語学習装置
JP2006208806A (ja) * 2005-01-28 2006-08-10 Advanced Telecommunication Research Institute International 言語学習装置
JP4669989B2 (ja) * 2005-01-28 2011-04-13 株式会社国際電気通信基礎技術研究所 言語学習装置
JP2006208822A (ja) * 2005-01-28 2006-08-10 Advanced Telecommunication Research Institute International 言語学習装置
JP2006337667A (ja) * 2005-06-01 2006-12-14 Ntt Communications Kk 発音評価方法、音素列モデル学習方法、これらの方法を用いた装置、プログラム、および記録媒体。
JP2007017733A (ja) * 2005-07-08 2007-01-25 Sharp Corp 入力装置、入力システム、入力方法、入力処理プログラム、および、プログラム記録媒体
JP2007057692A (ja) * 2005-08-23 2007-03-08 Advanced Telecommunication Research Institute International 音声処理装置、およびプログラム
JP2007133008A (ja) * 2005-11-08 2007-05-31 Advanced Telecommunication Research Institute International 音声認識装置、およびプログラム
JP2007309979A (ja) * 2006-05-16 2007-11-29 Advanced Telecommunication Research Institute International 音声処理装置、およびプログラム
JP2008040035A (ja) * 2006-08-04 2008-02-21 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
JP4716125B2 (ja) * 2006-08-04 2011-07-06 株式会社国際電気通信基礎技術研究所 発音評定装置、およびプログラム
JP2008191551A (ja) * 2007-02-07 2008-08-21 Advanced Telecommunication Research Institute International 発音評定装置、およびプログラム
CN103890825A (zh) * 2011-09-01 2014-06-25 斯碧奇弗斯股份有限公司 语言学习用系统和方法
JP2015011348A (ja) * 2013-06-26 2015-01-19 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 音声認識を用いた外国語スピーキング能力の訓練及び評価方法並びにその装置
JP2016045420A (ja) * 2014-08-25 2016-04-04 カシオ計算機株式会社 発音学習支援装置およびプログラム
JP2019168478A (ja) * 2018-03-22 2019-10-03 カシオ計算機株式会社 発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム
JP7135358B2 (ja) 2018-03-22 2022-09-13 カシオ計算機株式会社 発音学習支援システム、発音学習支援装置、発音学習支援方法及び発音学習支援プログラム
JPWO2021152786A1 (ja) * 2020-01-30 2021-08-05
WO2021152786A1 (ja) * 2020-01-30 2021-08-05 日本電信電話株式会社 訓練装置、その方法、およびプログラム
JP7294460B2 (ja) 2020-01-30 2023-06-20 日本電信電話株式会社 訓練装置、その方法、およびプログラム
KR20230108027A (ko) * 2022-01-10 2023-07-18 (주)프로젝트레인보우 발음 교정 시스템 및 이의 수행 방법
KR102591045B1 (ko) 2022-01-10 2023-10-19 (주)프로젝트레인보우 발음 교정 시스템 및 이의 수행 방법
JP7504523B1 (ja) 2024-01-16 2024-06-24 モノグサ株式会社 文章の発話演習を支援するためのプログラム、システム、及び方法

Also Published As

Publication number Publication date
US20020160341A1 (en) 2002-10-31
JP3520022B2 (ja) 2004-04-19
US7401018B2 (en) 2008-07-15
WO2001052237A1 (fr) 2001-07-19

Similar Documents

Publication Publication Date Title
JP3520022B2 (ja) 外国語学習装置、外国語学習方法および媒体
US8886534B2 (en) Speech recognition apparatus, speech recognition method, and speech recognition robot
US7711560B2 (en) Speech recognition device and speech recognition method
Gruhn et al. Statistical pronunciation modeling for non-native speech processing
US20070239455A1 (en) Method and system for managing pronunciation dictionaries in a speech application
US20090305203A1 (en) Pronunciation diagnosis device, pronunciation diagnosis method, recording medium, and pronunciation diagnosis program
US20070136062A1 (en) Method and apparatus for labelling speech
CN108431883B (zh) 语言学习系统以及语言学习程序
JPH10222190A (ja) 発音測定装置および方法
KR20160122542A (ko) 발음 유사도 측정 방법 및 장치
US11676572B2 (en) Instantaneous learning in text-to-speech during dialog
JPH075807A (ja) 合成を基本とした会話訓練装置
US20070067174A1 (en) Visual comparison of speech utterance waveforms in which syllables are indicated
Imoto et al. Modeling and automatic detection of English sentence stress for computer-assisted English prosody learning system
JP5105943B2 (ja) 発話評価装置及び発話評価プログラム
CN113112575B (zh) 一种口型生成方法、装置、计算机设备及存储介质
KR100362292B1 (ko) 음성인식 기술을 이용한 영어 발음 학습 방법 및 시스템
CN109697975A (zh) 一种语音评价方法及装置
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
Al-Bakeri et al. ASR for Tajweed rules: integrated with self-learning environments
KR20210131698A (ko) 발음 기관 영상을 이용한 외국어 발음 교육 방법 및 장치
JP2006084966A (ja) 発話音声の自動評定装置およびコンピュータプログラム
JP3378547B2 (ja) 音声認識方法及び装置
JP3621624B2 (ja) 外国語学習装置、外国語学習方法および媒体
KR102610871B1 (ko) 청각장애인 음성언어훈련 시스템

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040130

R150 Certificate of patent or registration of utility model

Ref document number: 3520022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090206

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090206

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100206

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110206

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110206

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees