JP2003162291A - 語学学習装置 - Google Patents
語学学習装置Info
- Publication number
- JP2003162291A JP2003162291A JP2001358290A JP2001358290A JP2003162291A JP 2003162291 A JP2003162291 A JP 2003162291A JP 2001358290 A JP2001358290 A JP 2001358290A JP 2001358290 A JP2001358290 A JP 2001358290A JP 2003162291 A JP2003162291 A JP 2003162291A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- standard
- difference
- information
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
(57)【要約】
【課題】 学習者の発声音声と標準発声音声を比較する
機能を有し、発声音声の異なる個所と異なる度合いを学
習者に提示し自覚させ、学習者が標準音声に近づけるよ
うに発声練習することで、より効果的に標準発声が習得
できる語学学習装置を提供する。 【解決手段】 標準音声波形を格納する標準音声波形格
納手段（記憶部５）、格納された標準音声波形の発声内
容文字情報を格納する発声内容文字情報格納手段（記憶
部５）、格納された標準音声波形の音節単位セグメンテ
ーション情報を格納するセグメンテーション情報格納手
段（記憶部５）、標準音声波形の発声内容文字情報を提
示する発声内容文字情報提示手段（画面表示部１）、提
示された発声内容文字情報通りに発声した音声を入力す
る音声入力手段（音声入力部３）、標準音声波形の音声
を出力する音声出力手段（音声出力部４）、入力音声を
音節単位に分割する音声セグメンテーション手段（制御
部６）、入力音声と標準音声を比較する比較手段（制御
部６）、入力音声と標準音声の相違情報を提示する相違
情報提示手段（画面表示部１）を有する。
機能を有し、発声音声の異なる個所と異なる度合いを学
習者に提示し自覚させ、学習者が標準音声に近づけるよ
うに発声練習することで、より効果的に標準発声が習得
できる語学学習装置を提供する。 【解決手段】 標準音声波形を格納する標準音声波形格
納手段（記憶部５）、格納された標準音声波形の発声内
容文字情報を格納する発声内容文字情報格納手段（記憶
部５）、格納された標準音声波形の音節単位セグメンテ
ーション情報を格納するセグメンテーション情報格納手
段（記憶部５）、標準音声波形の発声内容文字情報を提
示する発声内容文字情報提示手段（画面表示部１）、提
示された発声内容文字情報通りに発声した音声を入力す
る音声入力手段（音声入力部３）、標準音声波形の音声
を出力する音声出力手段（音声出力部４）、入力音声を
音節単位に分割する音声セグメンテーション手段（制御
部６）、入力音声と標準音声を比較する比較手段（制御
部６）、入力音声と標準音声の相違情報を提示する相違
情報提示手段（画面表示部１）を有する。
Description
【０００１】
【発明の属する技術分野】本発明は、独学で語学を学習
する時にネーティブな発音を習得するための音声認識技
術を利用した語学学習装置に関するものである。
する時にネーティブな発音を習得するための音声認識技
術を利用した語学学習装置に関するものである。
【０００２】
【従来の技術】近年、国際交流や企業の海外進出が広が
るにつれて外国語を話す機会が益々増えてきている。外
国語を話しコミュニケーションがとれたとしても、正確
にネーティブな発音で話すことは非常に難しい。その原
因の一つとして考えられるのは、学習者本人が自分の発
音とネーティブな発音との違いを自覚しにくいというこ
とである。
るにつれて外国語を話す機会が益々増えてきている。外
国語を話しコミュニケーションがとれたとしても、正確
にネーティブな発音で話すことは非常に難しい。その原
因の一つとして考えられるのは、学習者本人が自分の発
音とネーティブな発音との違いを自覚しにくいというこ
とである。
【０００３】従来、外国語の発音を習得するための語学
学習装置について、数々の技術が提案されている。例え
ば、特開２０００−１８１３３３号公報に記述されてい
る発声訓練支援装置では、正しい発音を教示すると共
に、その発声をした教師の口腔の形状を画像として、発
音と同期して表示するという技術が提案されている。
学習装置について、数々の技術が提案されている。例え
ば、特開２０００−１８１３３３号公報に記述されてい
る発声訓練支援装置では、正しい発音を教示すると共
に、その発声をした教師の口腔の形状を画像として、発
音と同期して表示するという技術が提案されている。
【０００４】また、特開２０００−２５０４０２号公報
では、学習者の発声音声と模範発声音声を交互に発音さ
せたり、模範発声音声にあわせて発声時の舌、唇、顎と
喉の各筋肉の動画像を画像表示させたり、発声時の口か
ら排出される空気のながれを模式的に表示することで、
学習者に正しい発声の仕方を提示するという技術が提案
されている。
では、学習者の発声音声と模範発声音声を交互に発音さ
せたり、模範発声音声にあわせて発声時の舌、唇、顎と
喉の各筋肉の動画像を画像表示させたり、発声時の口か
ら排出される空気のながれを模式的に表示することで、
学習者に正しい発声の仕方を提示するという技術が提案
されている。
【０００５】特開２０００−１８１３３３号公報と特開
２０００−２５０４０２号公報が提案している外国語の
発音学習は、ともに模範となる発声の音声と画像情報を
提供することで、学習者に模範発声を学習させるという
技術である。また、特開２０００−２５０４０２号公報
では、学習者の発声音声と模範発声音声を交互に発音さ
せることで、学習者が二つの発声音声を比較し、自分が
正しく発声したかどうかを自覚させるという技術も提案
されている。
２０００−２５０４０２号公報が提案している外国語の
発音学習は、ともに模範となる発声の音声と画像情報を
提供することで、学習者に模範発声を学習させるという
技術である。また、特開２０００−２５０４０２号公報
では、学習者の発声音声と模範発声音声を交互に発音さ
せることで、学習者が二つの発声音声を比較し、自分が
正しく発声したかどうかを自覚させるという技術も提案
されている。
【０００６】
【発明が解決しようとする課題】しかし、上記のような
技術においては、正確に模範音声通りの発声ができたか
どうかは学習者自身の聴力と視力に頼ることになる。学
習者が自分の発声と模範発声を比較して、微妙なアクセ
ントや発音の違いを自覚するのは非常に難しいことであ
る。また、発声した文書の全体で模範音声と違うと感じ
ても、具体的に発声した文書の中のどの部分が間違った
かを判断することは難しい。
技術においては、正確に模範音声通りの発声ができたか
どうかは学習者自身の聴力と視力に頼ることになる。学
習者が自分の発声と模範発声を比較して、微妙なアクセ
ントや発音の違いを自覚するのは非常に難しいことであ
る。また、発声した文書の全体で模範音声と違うと感じ
ても、具体的に発声した文書の中のどの部分が間違った
かを判断することは難しい。
【０００７】上記の問題点を解決するため、本発明は、
学習者の発声音声と標準発声音声を比較する機能を有
し、発声音声の異なる個所と異なる度合いを学習者に提
示し自覚させ、学習者が標準音声に近づけるように発声
練習することで、より効果的に標準発声が習得できる語
学学習装置を提供することを目的とする。
学習者の発声音声と標準発声音声を比較する機能を有
し、発声音声の異なる個所と異なる度合いを学習者に提
示し自覚させ、学習者が標準音声に近づけるように発声
練習することで、より効果的に標準発声が習得できる語
学学習装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明は、標準音声波形を格納する標
準音声波形格納手段、格納された標準音声波形の発声内
容文字情報を格納する発声内容文字情報格納手段、格納
された標準音声波形の音節単位セグメンテーション情報
を格納するセグメンテーション情報格納手段、標準音声
波形の発声内容文字情報を提示する発声内容文字情報提
示手段、提示された発声内容文字情報通りに発声した音
声を入力する音声入力手段、標準音声波形の音声を出力
する音声出力手段、入力音声を音節単位に分割する音声
セグメンテーション手段、入力音声と標準音声を比較す
る比較手段、入力音声と標準音声の相違情報を提示する
相違情報提示手段を有する語学学習装置を最も主要な特
徴とする。
に、請求項１記載の発明は、標準音声波形を格納する標
準音声波形格納手段、格納された標準音声波形の発声内
容文字情報を格納する発声内容文字情報格納手段、格納
された標準音声波形の音節単位セグメンテーション情報
を格納するセグメンテーション情報格納手段、標準音声
波形の発声内容文字情報を提示する発声内容文字情報提
示手段、提示された発声内容文字情報通りに発声した音
声を入力する音声入力手段、標準音声波形の音声を出力
する音声出力手段、入力音声を音節単位に分割する音声
セグメンテーション手段、入力音声と標準音声を比較す
る比較手段、入力音声と標準音声の相違情報を提示する
相違情報提示手段を有する語学学習装置を最も主要な特
徴とする。
【０００９】請求項２記載の発明は、請求項１記載の語
学学習装置において、音声セグメンテーション手段は、
標準音声波形の発声内容文字情報に基づき、音声認識を
用いて入力音声を適切な音節単位に分割する語学学習装
置を主要な特徴とする。
学学習装置において、音声セグメンテーション手段は、
標準音声波形の発声内容文字情報に基づき、音声認識を
用いて入力音声を適切な音節単位に分割する語学学習装
置を主要な特徴とする。
【００１０】請求項３記載の発明は、請求項１記載の語
学学習装置において、比較手段は、入力音声と標準音声
のセグメンテーション情報に基づき、入力音声と標準音
声の対応している同一音節区間の音声波形のスペクトル
特徴量を計算し、計算されたスペクトル特徴量の差分を
比較する語学学習装置を主要な特徴とする。
学学習装置において、比較手段は、入力音声と標準音声
のセグメンテーション情報に基づき、入力音声と標準音
声の対応している同一音節区間の音声波形のスペクトル
特徴量を計算し、計算されたスペクトル特徴量の差分を
比較する語学学習装置を主要な特徴とする。
【００１１】請求項４記載の発明は、請求項１記載の語
学学習装置において、比較手段は、入力音声と標準音声
のセグメンテーション情報に基づき、入力音声と標準音
声の対応している同一音節区間の音声波形とそれぞれの
先行音節区間の音声波形のピッチ周波数変化率を計算
し、計算されたピッチ周波数変化率の差分を比較する語
学学習装置を主要な特徴とする。
学学習装置において、比較手段は、入力音声と標準音声
のセグメンテーション情報に基づき、入力音声と標準音
声の対応している同一音節区間の音声波形とそれぞれの
先行音節区間の音声波形のピッチ周波数変化率を計算
し、計算されたピッチ周波数変化率の差分を比較する語
学学習装置を主要な特徴とする。
【００１２】請求項５記載の発明は、請求項１記載の語
学学習装置において、相違情報提示手段は、事前に入力
音声と標準音声の特徴量の差分の閾値を決め、閾値を超
えた音節区間のみに対して相違情報を提示する語学学習
装置を主要な特徴とする。
学学習装置において、相違情報提示手段は、事前に入力
音声と標準音声の特徴量の差分の閾値を決め、閾値を超
えた音節区間のみに対して相違情報を提示する語学学習
装置を主要な特徴とする。
【００１３】請求項６記載の発明は、請求項５記載の語
学学習装置において、相違情報提示手段は、特徴量の差
分の閾値を超えた音節区間の位置情報と音声の再生で相
違情報を提示する第１の提示手段と、該当音節区間の音
声波形特徴量の差分の相違情報を提示する第２の提示手
段を有する語学学習装置を主要な特徴とする。
学学習装置において、相違情報提示手段は、特徴量の差
分の閾値を超えた音節区間の位置情報と音声の再生で相
違情報を提示する第１の提示手段と、該当音節区間の音
声波形特徴量の差分の相違情報を提示する第２の提示手
段を有する語学学習装置を主要な特徴とする。
【００１４】請求項７記載の発明は、請求項６記載の語
学学習装置において、第２の提示手段は、事前にスペク
トル特徴量の差分の閾値を基準として二つ以上の差分レ
ベルを設定し、該当音節区間の音声波形のスペクトル特
徴量の差分レベルを提示する語学学習装置を主要な特徴
とする。
学学習装置において、第２の提示手段は、事前にスペク
トル特徴量の差分の閾値を基準として二つ以上の差分レ
ベルを設定し、該当音節区間の音声波形のスペクトル特
徴量の差分レベルを提示する語学学習装置を主要な特徴
とする。
【００１５】請求項８記載の発明は、請求項６記載の語
学学習装置において、第２の提示手段は、事前にピッチ
周波数変化率の差分の閾値を基準として上下二つ以上の
差分レベルを設定し、該当音節区間の音声波形のピッチ
周波数変化率の差分レベルを提示する語学学習装置を主
要な特徴とする。
学学習装置において、第２の提示手段は、事前にピッチ
周波数変化率の差分の閾値を基準として上下二つ以上の
差分レベルを設定し、該当音節区間の音声波形のピッチ
周波数変化率の差分レベルを提示する語学学習装置を主
要な特徴とする。
【００１６】
【発明の実施の形態】図１は本発明の実施の形態に係る
語学学習装置のシステムブロック図である。語学学習装
置は、画面表示部１、選択入力部２、音声入力部３、音
声出力部４、記憶部５、制御部６により構成されてい
る。
語学学習装置のシステムブロック図である。語学学習装
置は、画面表示部１、選択入力部２、音声入力部３、音
声出力部４、記憶部５、制御部６により構成されてい
る。
【００１７】画面表示部１は発声内容文字情報提示手
段、相違情報提示手段の機能を有し、語学学習装置によ
る操作メニューや標準発声の音声波形と発声内容文字情
報、学習者による発声と標準発声の相違情報などを表示
するコンピュータのディスプレイである。選択入力部２
はコンピュータのマウスである。音声入力部３（音声入
力手段）はコンピュータに接続可能なマイクロホンであ
る。音声出力部４（音声出力手段）はコンピュータに接
続可能なスピーカーである。
段、相違情報提示手段の機能を有し、語学学習装置によ
る操作メニューや標準発声の音声波形と発声内容文字情
報、学習者による発声と標準発声の相違情報などを表示
するコンピュータのディスプレイである。選択入力部２
はコンピュータのマウスである。音声入力部３（音声入
力手段）はコンピュータに接続可能なマイクロホンであ
る。音声出力部４（音声出力手段）はコンピュータに接
続可能なスピーカーである。
【００１８】記憶部５はプログラムやデータを格納する
磁気的、あるいは光学的な記憶媒体により構成されてい
る。また、記憶部５は標準音声波形を格納する標準音声
波形格納手段、格納された標準音声波形の発声内容文字
情報を格納する発声内容文字情報格納手段、格納された
標準音声波形の音節単位セグメンテーション情報を格納
するセグメンテーション情報格納手段の機能を有する。
磁気的、あるいは光学的な記憶媒体により構成されてい
る。また、記憶部５は標準音声波形を格納する標準音声
波形格納手段、格納された標準音声波形の発声内容文字
情報を格納する発声内容文字情報格納手段、格納された
標準音声波形の音節単位セグメンテーション情報を格納
するセグメンテーション情報格納手段の機能を有する。
【００１９】記憶部５に格納されているプログラムは、
画面表示機能、情報入出力制御機能、音声認識による音
声波形セグメンテーション情報の生成機能、入力発声音
声と標準音声を比較してその相違情報を取得する取得機
能を有している。また、記憶部５に格納されているデー
タは、操作メニュー表示データ、標準発声の音声デー
タ、音節単位のセグメンテーションデータ、発声内容の
文字情報データと音声認識音声モデル辞書である。
画面表示機能、情報入出力制御機能、音声認識による音
声波形セグメンテーション情報の生成機能、入力発声音
声と標準音声を比較してその相違情報を取得する取得機
能を有している。また、記憶部５に格納されているデー
タは、操作メニュー表示データ、標準発声の音声デー
タ、音節単位のセグメンテーションデータ、発声内容の
文字情報データと音声認識音声モデル辞書である。
【００２０】制御部６は、記憶部５に格納している本シ
ステムを実現する制御プログラムと操作メニュー表示デ
ータをロードし、制御プログラムを実行し、画面表示部
１による該当表示情報の表示と、ユーザ所望情報の入出
力制御と、音声認識による音声波形セグメンテーション
情報の生成機能と、入力発声音声と標準音声を比較して
その相違情報を取得する取得機能を実現する。
ステムを実現する制御プログラムと操作メニュー表示デ
ータをロードし、制御プログラムを実行し、画面表示部
１による該当表示情報の表示と、ユーザ所望情報の入出
力制御と、音声認識による音声波形セグメンテーション
情報の生成機能と、入力発声音声と標準音声を比較して
その相違情報を取得する取得機能を実現する。
【００２１】従って、制御部６は、学習者による入力音
声を音節単位に分割する音声セグメンテーション手段と
学習者による入力音声と標準音声を比較する比較手段を
有する。
声を音節単位に分割する音声セグメンテーション手段と
学習者による入力音声と標準音声を比較する比較手段を
有する。
【００２２】図２は、本発明の実施の形態に係る語学学
習装置における語学学習操作の例を示すフローチャート
である。図３、図４、図５、図８、図９は図１の語学学
習装置における語学学習操作の操作画面を示す図であ
る。
習装置における語学学習操作の例を示すフローチャート
である。図３、図４、図５、図８、図９は図１の語学学
習装置における語学学習操作の操作画面を示す図であ
る。
【００２３】ここでは、日本語の発音を学習する場合を
例として説明する。まず、学習操作を開始し、語学学習
装置の操作画面に発声内容を一覧表示する（Ｐ１）。図
３に示す操作画面が表示される。発声内容文字情報の一
覧が表示され、該当発話文のボタンを入力キーやマウス
によって選択する。
例として説明する。まず、学習操作を開始し、語学学習
装置の操作画面に発声内容を一覧表示する（Ｐ１）。図
３に示す操作画面が表示される。発声内容文字情報の一
覧が表示され、該当発話文のボタンを入力キーやマウス
によって選択する。
【００２４】また、図３に示す操作画面の下に”次へ”
と”終了”という二つのボタンがあり、”次へ”ボタン
をクリックすると発声内容一覧の次のページに飛び、操
作画面は図４に示す操作画面が表示される。操作画面の
下には”前へ”、”次へ”と”終了”という三つのボタ
ンがあり、”前へ”、”次へ”ボタンをクリックするこ
とで、それぞれ発声内容一覧の前のページまたは次のペ
ージに飛ぶことができる。
と”終了”という二つのボタンがあり、”次へ”ボタン
をクリックすると発声内容一覧の次のページに飛び、操
作画面は図４に示す操作画面が表示される。操作画面の
下には”前へ”、”次へ”と”終了”という三つのボタ
ンがあり、”前へ”、”次へ”ボタンをクリックするこ
とで、それぞれ発声内容一覧の前のページまたは次のペ
ージに飛ぶことができる。
【００２５】学習操作を終了したい場合（Ｐ２でｙｅ
ｓ）、”終了”ボタンをクリックし学習操作を終了す
る。また、学習操作を終了したくない場合（Ｐ２でｎ
ｏ）、発声内容文字情報の一覧画面から所望の発声内容
のボタンを選択する（Ｐ３）。
ｓ）、”終了”ボタンをクリックし学習操作を終了す
る。また、学習操作を終了したくない場合（Ｐ２でｎ
ｏ）、発声内容文字情報の一覧画面から所望の発声内容
のボタンを選択する（Ｐ３）。
【００２６】ここで、図３に示す操作画面から”もしも
し”という発話文を選択したとすると、操作画面は図５
に示す操作画面が表示される（Ｐ４）。この画面では標
準発声の音声波形と音節単位のセグメンテーション情報
が表示される。
し”という発話文を選択したとすると、操作画面は図５
に示す操作画面が表示される（Ｐ４）。この画面では標
準発声の音声波形と音節単位のセグメンテーション情報
が表示される。
【００２７】図６は標準音声波形のセグメンテーション
情報の例を示す図である。”ｍｏｓｈｉｍｏｓｈｉ．ｗ
ａｖｅ”は該当発声の音声データを格納しているファイ
ル名である。”もしもし”は該当発声の読み方であ
る。”も ０．００００００”から以降は該当発声に含
まれている各音節の開始位置を記述しているデータであ
る。
情報の例を示す図である。”ｍｏｓｈｉｍｏｓｈｉ．ｗ
ａｖｅ”は該当発声の音声データを格納しているファイ
ル名である。”もしもし”は該当発声の読み方であ
る。”も ０．００００００”から以降は該当発声に含
まれている各音節の開始位置を記述しているデータであ
る。
【００２８】数字の単位はミリ秒である。例えば”も
０．００００００”の場合、”も”の開始位置は音声波
形の”０．００００００”ミリ秒目であることを示して
いる。また、最後の一行の”ＥＮＤ ４０１．９６５８
０３”は該当音声波形の終了位置を表している。
０．００００００”の場合、”も”の開始位置は音声波
形の”０．００００００”ミリ秒目であることを示して
いる。また、最後の一行の”ＥＮＤ ４０１．９６５８
０３”は該当音声波形の終了位置を表している。
【００２９】図５に示す操作画面Ｃは、標準発声の音声
波形と図６に示す該当波形のセグメンテーション情報を
合わせて表示したものである。学習者が表示された音声
波形を選択すると音声の再生が行なわれる。
波形と図６に示す該当波形のセグメンテーション情報を
合わせて表示したものである。学習者が表示された音声
波形を選択すると音声の再生が行なわれる。
【００３０】さらに、図５に示す操作画面の下方に”発
声入力”と”一覧へ”という二つのボタンがある。”発
声入力”を選択すると学習者は標準発声を真似して発声
し、語学学習装置に接続しているマイクロホンを通し、
語学学習装置に音声入力ができる。”一覧へ”を選択す
ると図３に示す操作画面に戻り、発声内容の一覧表示に
なる。
声入力”と”一覧へ”という二つのボタンがある。”発
声入力”を選択すると学習者は標準発声を真似して発声
し、語学学習装置に接続しているマイクロホンを通し、
語学学習装置に音声入力ができる。”一覧へ”を選択す
ると図３に示す操作画面に戻り、発声内容の一覧表示に
なる。
【００３１】ここで、”発声入力”を選択し、学習者は
マイクロホンに向かって”もしもし”を発声し音声入力
をする（Ｐ５）。語学学習装置は音声認識を利用し、発
話文”もしもし”に含まれる音節通りに入力音声を適切
に分割し、入力音声のセグメンテーション情報を生成す
る。
マイクロホンに向かって”もしもし”を発声し音声入力
をする（Ｐ５）。語学学習装置は音声認識を利用し、発
話文”もしもし”に含まれる音節通りに入力音声を適切
に分割し、入力音声のセグメンテーション情報を生成す
る。
【００３２】図７は入力音声波形のセグメンテーション
情報の例を示す図である。語学学習装置は入力音声波形
と図７に示す該当波形のセグメンテーション情報を合わ
せて表示し、操作画面は図８に示す操作画面に変わる。
さらに、語学学習装置は学習者による入力した音声と標
準音声と比較し、標準発声と異なる音節に対し操作画面
上で該当部分を背景と異なる色で塗りつぶし学習者に提
示する（Ｐ６）。図８に示す操作画面では”もしもし”
の一つ目の”し”が間違っていることを示している。
情報の例を示す図である。語学学習装置は入力音声波形
と図７に示す該当波形のセグメンテーション情報を合わ
せて表示し、操作画面は図８に示す操作画面に変わる。
さらに、語学学習装置は学習者による入力した音声と標
準音声と比較し、標準発声と異なる音節に対し操作画面
上で該当部分を背景と異なる色で塗りつぶし学習者に提
示する（Ｐ６）。図８に示す操作画面では”もしもし”
の一つ目の”し”が間違っていることを示している。
【００３３】学習者は提示されている背景と異なる色付
き文字”し”をクリックし、学習者の発声した”し”と
標準音声との相違情報を提示する図９の操作画面がポッ
プアップされる。この画面には”発音”と”アクセン
ト”という二項目が提示されている。この二項目につい
ては共に５段階のレベル表示になっている。レベル”
０”は基準レベルである。基準レベルに達すると発声が
正しいと判断される。
き文字”し”をクリックし、学習者の発声した”し”と
標準音声との相違情報を提示する図９の操作画面がポッ
プアップされる。この画面には”発音”と”アクセン
ト”という二項目が提示されている。この二項目につい
ては共に５段階のレベル表示になっている。レベル”
０”は基準レベルである。基準レベルに達すると発声が
正しいと判断される。
【００３４】”発音”の場合、レベルを表している数字
が大きいほど発音が間違っていることを示している。”
アクセント”の場合、レベル”０”より左側の”低い”
寄りは、学習者の”し”の発声が標準発声より声が低い
ことを示し、反対にレベル”０”より右側の”高い”寄
りは、学習者の”し”の発声が標準発声より声が高いこ
とを示している。図９の操作画面の右下の”閉じる”ボ
タンをクリックするとこの操作画面が閉じられる。
が大きいほど発音が間違っていることを示している。”
アクセント”の場合、レベル”０”より左側の”低い”
寄りは、学習者の”し”の発声が標準発声より声が低い
ことを示し、反対にレベル”０”より右側の”高い”寄
りは、学習者の”し”の発声が標準発声より声が高いこ
とを示している。図９の操作画面の右下の”閉じる”ボ
タンをクリックするとこの操作画面が閉じられる。
【００３５】学習者は提示された上記のような相違情報
を参考に発声練習を繰り返したい場合（Ｐ７でｙｅ
ｓ）、”発声入力”ボタンをクリックして発声し音声入
力する。また、次の発声内容文に移りたい場合（Ｐ７で
ｎｏ）、”一覧へ”ボタンをクリックし発声内容文字情
報の一覧画面（図３の操作画面）に戻る。
を参考に発声練習を繰り返したい場合（Ｐ７でｙｅ
ｓ）、”発声入力”ボタンをクリックして発声し音声入
力する。また、次の発声内容文に移りたい場合（Ｐ７で
ｎｏ）、”一覧へ”ボタンをクリックし発声内容文字情
報の一覧画面（図３の操作画面）に戻る。
【００３６】語学学習装置による入力音声と標準音声の
比較方法と学習者の発声合否の判断基準について説明す
る。
比較方法と学習者の発声合否の判断基準について説明す
る。
【００３７】語学学習装置は、標準発声と学習者の入力
発声の音声波形及び図６、図７に提示しているような音
声波形のセグメンテーションデータを基に、標準発声と
学習者の入力発声の音声波形の対応している同一音節区
間の音声波形に対し、発音とアクセントの二つの要素で
比較する。
発声の音声波形及び図６、図７に提示しているような音
声波形のセグメンテーションデータを基に、標準発声と
学習者の入力発声の音声波形の対応している同一音節区
間の音声波形に対し、発音とアクセントの二つの要素で
比較する。
【００３８】発音については、標準発声と学習者の入力
発声の音声波形の対応している同一音節区間の音声波形
に対し、フーリエ変換によって該当音声波形区間のスペ
クトルを計算する。フーリエ変換の次数をＮとすると、
標準発声と学習者の入力発声の音声波形のそれぞれＮ個
のフーリエ係数が求まる。このフーリエ係数は該当音声
波形の周波数領域でのパワーの分布を表すもので、フー
リエ係数を比較することで二つの音声の類似度が算出で
きる。
発声の音声波形の対応している同一音節区間の音声波形
に対し、フーリエ変換によって該当音声波形区間のスペ
クトルを計算する。フーリエ変換の次数をＮとすると、
標準発声と学習者の入力発声の音声波形のそれぞれＮ個
のフーリエ係数が求まる。このフーリエ係数は該当音声
波形の周波数領域でのパワーの分布を表すもので、フー
リエ係数を比較することで二つの音声の類似度が算出で
きる。
【００３９】標準発声と学習者の入力発声の音声波形の
フーリエ係数をそれぞれＲｉ（０＜＝Ｉ＜Ｎ）、Ｔｉ
（０＜＝Ｉ＜Ｎ）とすると、下記の式により標準発声と
学習者の入力発声の音声波形のフーリエ係数の差分の標
準偏差Ｓ１を算出することができる。
フーリエ係数をそれぞれＲｉ（０＜＝Ｉ＜Ｎ）、Ｔｉ
（０＜＝Ｉ＜Ｎ）とすると、下記の式により標準発声と
学習者の入力発声の音声波形のフーリエ係数の差分の標
準偏差Ｓ１を算出することができる。
【００４０】
【数１】
【００４１】ここで、学習者の入力発声の発音合否を判
断する閾値をＳ１＝０．１とすると、Ｓ１が０．１を超
えると語学学習装置は学習者の入力発声の発音が正しく
ないと判断し、該当音節区間を図８に示す操作画面のよ
うに学習者に提示する。また、発音の誤りレベルは図１
０に示す図表のように定義する。
断する閾値をＳ１＝０．１とすると、Ｓ１が０．１を超
えると語学学習装置は学習者の入力発声の発音が正しく
ないと判断し、該当音節区間を図８に示す操作画面のよ
うに学習者に提示する。また、発音の誤りレベルは図１
０に示す図表のように定義する。
【００４２】また、アクセントについては、標準発声と
学習者の入力発声の音声波形の対応している同一音節区
間の音声波形に対し、該当音声区間ケプストラム係数を
求めることによって平均ピッチ周波数を計算し、それぞ
れｐｒ＿０、ｐｔ＿０とする。同様に該当音節区間の先
行音節の音声区間に対し平均ピッチ周波数を求め、それ
ぞれｐｒ＿１、 ｐｔ＿１とすると、下記の式により標
準発声と学習者の入力発声の該当音節区間のピッチ周波
数変化率の差Ｓ２が算出できる。
学習者の入力発声の音声波形の対応している同一音節区
間の音声波形に対し、該当音声区間ケプストラム係数を
求めることによって平均ピッチ周波数を計算し、それぞ
れｐｒ＿０、ｐｔ＿０とする。同様に該当音節区間の先
行音節の音声区間に対し平均ピッチ周波数を求め、それ
ぞれｐｒ＿１、 ｐｔ＿１とすると、下記の式により標
準発声と学習者の入力発声の該当音節区間のピッチ周波
数変化率の差Ｓ２が算出できる。
【００４３】
【数２】
【００４４】学習者の入力発声のアクセント合否を−
０．１＜Ｓ２＜０．１とすると、Ｓ２が−０．１〜０．
１の範囲以外の場合アクセントは正しくないとと判断
し、該当音節区間を図８の操作画面のように学習者に提
示する。また、アクセントの誤りレベルは図１１に示す
図表のように定義する。
０．１＜Ｓ２＜０．１とすると、Ｓ２が−０．１〜０．
１の範囲以外の場合アクセントは正しくないとと判断
し、該当音節区間を図８の操作画面のように学習者に提
示する。また、アクセントの誤りレベルは図１１に示す
図表のように定義する。
【００４５】
【発明の効果】本発明で提案した語学学習装置によれ
ば、標準音声のみ学習者に提示するだけではなく、学習
者の入力発声音声に対し音声認識を使ってセグメンテー
ションを行い、さらに標準音声と学習者の入力発声音声
の同一音節区間を比較し、異なる個所だけを学習者に提
示することにより、学習者は明確に自分の間違った個所
を把握でき、より標準音声に近づけるように発声練習を
することができる。
ば、標準音声のみ学習者に提示するだけではなく、学習
者の入力発声音声に対し音声認識を使ってセグメンテー
ションを行い、さらに標準音声と学習者の入力発声音声
の同一音節区間を比較し、異なる個所だけを学習者に提
示することにより、学習者は明確に自分の間違った個所
を把握でき、より標準音声に近づけるように発声練習を
することができる。
【００４６】また、標準音声と学習者の入力発声音声の
同一音節区間を比較する時に発音とアクセントという二
つの要素を取り入れ、それぞれの要素について数字レベ
ルで標準音声との違いを学習者に提示するので、学習者
は自分の発声にどの程度間違いがあるかを認識すること
ができ、繰り返して発声することにより標準音声に近づ
いているか否かを把握することができる。
同一音節区間を比較する時に発音とアクセントという二
つの要素を取り入れ、それぞれの要素について数字レベ
ルで標準音声との違いを学習者に提示するので、学習者
は自分の発声にどの程度間違いがあるかを認識すること
ができ、繰り返して発声することにより標準音声に近づ
いているか否かを把握することができる。
【図１】本発明の実施の形態に係る語学学習装置のシス
テムブロック図である。
テムブロック図である。
【図２】本発明の実施の形態に係る語学学習装置におけ
る語学学習操作の例を示すフローチャートである。
る語学学習操作の例を示すフローチャートである。
【図３】本発明の実施の形態に係る語学学習装置におけ
る語学学習操作の操作画面を示す図である。
る語学学習操作の操作画面を示す図である。
【図４】本発明の実施の形態に係る語学学習装置におけ
る語学学習操作の操作画面を示す図である。
る語学学習操作の操作画面を示す図である。
【図５】本発明の実施の形態に係る語学学習装置におけ
る語学学習操作の操作画面を示す図である。
る語学学習操作の操作画面を示す図である。
【図６】標準音声波形のセグメンテーション情報の例を
示す図である。
示す図である。
【図７】入力音声波形のセグメンテーション情報の例を
示す図である。
示す図である。
【図８】本発明の実施の形態に係る語学学習装置におけ
る語学学習操作の操作画面を示す図である。
る語学学習操作の操作画面を示す図である。
【図９】学習者の発声と標準音声との相違情報を提示す
る操作画面を示す図である。
る操作画面を示す図である。
【図１０】発音の誤りレベルを示す図表である。
【図１１】アクセントの誤りレベルを示す図表である。
１ 画面表示部
２ 選択入力部
３ 音声入力部（音声入力手段）
４ 音声出力部（音声出力手段）
５ 記憶部
６ 制御部
Claims (8)
- 【請求項１】 標準音声波形を格納する標準音声波形格
納手段、格納された標準音声波形の発声内容文字情報を
格納する発声内容文字情報格納手段、格納された標準音
声波形の音節単位セグメンテーション情報を格納するセ
グメンテーション情報格納手段、標準音声波形の発声内
容文字情報を提示する発声内容文字情報提示手段、提示
された発声内容文字情報通りに発声した音声を入力する
音声入力手段、標準音声波形の音声を出力する音声出力
手段、入力音声を音節単位に分割する音声セグメンテー
ション手段、入力音声と標準音声を比較する比較手段、
入力音声と標準音声の相違情報を提示する相違情報提示
手段を有することを特徴とする語学学習装置。 - 【請求項２】 前記音声セグメンテーション手段は、標
準音声波形の発声内容文字情報に基づき、音声認識を用
いて入力音声を適切な音節単位に分割することを特徴と
する請求項１記載の語学学習装置。 - 【請求項３】 前記比較手段は、入力音声と標準音声の
セグメンテーション情報に基づき、入力音声と標準音声
の対応している同一音節区間の音声波形のスペクトル特
徴量を計算し、計算されたスペクトル特徴量の差分を比
較することを特徴とする請求項１記載の語学学習装置。 - 【請求項４】 前記比較手段は、入力音声と標準音声の
セグメンテーション情報に基づき、入力音声と標準音声
の対応している同一音節区間の音声波形とそれぞれの先
行音節区間の音声波形のピッチ周波数変化率を計算し、
計算されたピッチ周波数変化率の差分を比較することを
特徴とする請求項１記載の語学学習装置。 - 【請求項５】 前記相違情報提示手段は、事前に入力音
声と標準音声の特徴量の差分の閾値を決め、閾値を超え
た音節区間のみに対して相違情報を提示することを特徴
とする請求項１記載の語学学習装置。 - 【請求項６】 前記相違情報提示手段は、特徴量の差分
の閾値を超えた音節区間の位置情報と音声の再生で相違
情報を提示する第１の提示手段と、該当音節区間の音声
波形特徴量の差分の相違情報を提示する第２の提示手段
を有することを特徴とする請求項５記載の語学学習装
置。 - 【請求項７】 前記第２の提示手段は、事前にスペクト
ル特徴量の差分の閾値を基準として二つ以上の差分レベ
ルを設定し、該当音節区間の音声波形のスペクトル特徴
量の差分レベルを提示することを特徴とする請求項６記
載の語学学習装置。 - 【請求項８】 前記第２の提示手段は、事前にピッチ周
波数変化率の差分の閾値を基準として上下二つ以上の差
分レベルを設定し、該当音節区間の音声波形のピッチ周
波数変化率の差分レベルを提示することを特徴とする請
求項６記載の語学学習装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001358290A JP2003162291A (ja) | 2001-11-22 | 2001-11-22 | 語学学習装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001358290A JP2003162291A (ja) | 2001-11-22 | 2001-11-22 | 語学学習装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003162291A true JP2003162291A (ja) | 2003-06-06 |
Family
ID=19169491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001358290A Pending JP2003162291A (ja) | 2001-11-22 | 2001-11-22 | 語学学習装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003162291A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006178214A (ja) * | 2004-12-22 | 2006-07-06 | Yamaha Corp | 語学学習装置 |
| JP2006201491A (ja) * | 2005-01-20 | 2006-08-03 | Advanced Telecommunication Research Institute International | 発音評定装置、およびプログラム |
| JP2006251744A (ja) * | 2005-03-09 | 2006-09-21 | Makoto Goto | 発音学習装置及び発音学習プログラム |
| WO2007058263A1 (ja) * | 2005-11-18 | 2007-05-24 | Yamaha Corporation | 語学学習装置、語学学習支援方法、プログラム及び記録媒体 |
| WO2010133072A1 (zh) * | 2009-05-21 | 2010-11-25 | 无敌科技(西安)有限公司 | 发音评测装置及其方法 |
| JP2011028282A (ja) * | 2010-09-11 | 2011-02-10 | Makoto Goto | 発音学習装置及び発音学習プログラム |
| WO2012111276A1 (ja) * | 2011-02-18 | 2012-08-23 | パナソニック株式会社 | 補聴器調整装置 |
| JP2015011348A (ja) * | 2013-06-26 | 2015-01-19 | 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 音声認識を用いた外国語スピーキング能力の訓練及び評価方法並びにその装置 |
| JP2015125203A (ja) * | 2013-12-26 | 2015-07-06 | カシオ計算機株式会社 | 音声出力装置及び音声出力プログラム |
| CN106297841A (zh) * | 2016-07-29 | 2017-01-04 | 广东小天才科技有限公司 | 一种音频跟读引导方法及装置 |
| CN111090704A (zh) * | 2020-02-27 | 2020-05-01 | 曾兴 | 一种基于区块链技术的语言口语自助学习系统 |
-
2001
- 2001-11-22 JP JP2001358290A patent/JP2003162291A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4543919B2 (ja) * | 2004-12-22 | 2010-09-15 | ヤマハ株式会社 | 語学学習装置 |
| JP2006178214A (ja) * | 2004-12-22 | 2006-07-06 | Yamaha Corp | 語学学習装置 |
| JP2006201491A (ja) * | 2005-01-20 | 2006-08-03 | Advanced Telecommunication Research Institute International | 発音評定装置、およびプログラム |
| JP4678672B2 (ja) * | 2005-03-09 | 2011-04-27 | 誠 後藤 | 発音学習装置及び発音学習プログラム |
| JP2006251744A (ja) * | 2005-03-09 | 2006-09-21 | Makoto Goto | 発音学習装置及び発音学習プログラム |
| WO2007058263A1 (ja) * | 2005-11-18 | 2007-05-24 | Yamaha Corporation | 語学学習装置、語学学習支援方法、プログラム及び記録媒体 |
| WO2010133072A1 (zh) * | 2009-05-21 | 2010-11-25 | 无敌科技(西安)有限公司 | 发音评测装置及其方法 |
| JP2011028282A (ja) * | 2010-09-11 | 2011-02-10 | Makoto Goto | 発音学習装置及び発音学習プログラム |
| WO2012111276A1 (ja) * | 2011-02-18 | 2012-08-23 | パナソニック株式会社 | 補聴器調整装置 |
| JP2012175251A (ja) * | 2011-02-18 | 2012-09-10 | Panasonic Corp | 補聴器調整装置 |
| JP2015011348A (ja) * | 2013-06-26 | 2015-01-19 | 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 音声認識を用いた外国語スピーキング能力の訓練及び評価方法並びにその装置 |
| JP2015125203A (ja) * | 2013-12-26 | 2015-07-06 | カシオ計算機株式会社 | 音声出力装置及び音声出力プログラム |
| CN106297841A (zh) * | 2016-07-29 | 2017-01-04 | 广东小天才科技有限公司 | 一种音频跟读引导方法及装置 |
| CN111090704A (zh) * | 2020-02-27 | 2020-05-01 | 曾兴 | 一种基于区块链技术的语言口语自助学习系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7149690B2 (en) | Method and apparatus for interactive language instruction | |
| US8903723B2 (en) | Audio synchronization for document narration with user-selected playback | |
| US6963841B2 (en) | Speech training method with alternative proper pronunciation database | |
| US20090305203A1 (en) | Pronunciation diagnosis device, pronunciation diagnosis method, recording medium, and pronunciation diagnosis program | |
| RU2690863C1 (ru) | Система и способ компьютеризированного обучения музыкальному языку | |
| KR20150024180A (ko) | 발음 교정 장치 및 방법 | |
| US20160321953A1 (en) | Pronunciation learning support system utilizing three-dimensional multimedia and pronunciation learning support method thereof | |
| JPS63157184A (ja) | 発音訓練装置 | |
| JP2003186379A (ja) | 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム | |
| WO2006034569A1 (en) | A speech training system and method for comparing utterances to baseline speech | |
| JP2003162291A (ja) | 語学学習装置 | |
| KR20140071070A (ko) | 음소기호를 이용한 외국어 발음 학습방법 및 학습장치 | |
| KR20150024295A (ko) | 발음 교정 장치 | |
| Peabody et al. | Towards automatic tone correction in non-native mandarin | |
| JP2023539148A (ja) | 発話をコンピュータ生成によって視覚化するための方法およびシステム | |
| KR20140087956A (ko) | 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법 | |
| KR20070103095A (ko) | 주파수 대역폭을 이용한 영어 학습 방법 | |
| JP2844817B2 (ja) | 発声練習用音声合成方式 | |
| JP2006139162A (ja) | 語学学習装置 | |
| KR20150075502A (ko) | 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 | |
| KR102610871B1 (ko) | 청각장애인 음성언어훈련 시스템 | |
| KR101015261B1 (ko) | 발음정보 표출장치 및 방법 | |
| KR20140079245A (ko) | 언어 데이터 및 원어민의 발음 데이터를 이용한 리듬 패턴 학습장치 및 방법 | |
| KR20140078081A (ko) | 단어 및 문장과 이미지 데이터 그리고 원어민의 발음 데이터를 이용한 파닉스 학습장치 및 방법 | |
| KR20080051306A (ko) | 음성 인식 시스템을 이용한 어학 학습 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041029 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20041115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061114 |