JP2000347560A

JP2000347560A - 発音採点装置

Info

Publication number: JP2000347560A
Application number: JP11160564A
Authority: JP
Inventors: Shingo Kamiya; 伸悟神谷
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1999-06-08
Filing date: 1999-06-08
Publication date: 2000-12-15
Anticipated expiration: 2019-06-08
Also published as: JP4048651B2

Abstract

(57)【要約】【課題】従来より普及している語学の音声教材を利用
し、簡略な構成で発音の善し悪しを採点できる発音採点
装置を提供する。【解決手段】教材の音声をＭＤプレーヤ２から入力し、
これをスピーカ１１から出力するとともにＤＳＰ１３で
ストレスアクセント、トニックアクセント、イントネー
ションなどを分析する。分析結果はメモリ１４に記憶す
る。次にマイク３から学習者の練習の音声を入力し、上
記教材の音声と同様にＤＳＰ１３でそのストレスアクセ
ント、トニックアクセント、イントネーションなどの発
音情報を分析する。学習者の音声の発音情報が教材のも
のと同じであれば正しく発音していると考えられるた
め、両発音情報を比較し、その類似度に基づく採点結果
をディスプレイ２２に表示する。これにより、採点のた
めの情報を持たない従来の音声教材を用いて学習者の発
音を採点することが可能になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ＣＤ、ＭＤ、テ
ープなど音声が記録されている語学教材を用いて、学習
者の発音を採点することができる発音採点装置に関す
る。

【０００２】

【従来の技術】語学教材として、ＣＤ、ＭＤ、テープな
どに基本的なフレーズを録音したものがある。学習者は
この教材を再生して、手本の音声を聴きながら同じよう
に発音することで語学の学習をする。この学習は、主と
して母音、子音の発音、および、語句のアクセントやイ
ントネーションなどの発音について行われる。

【０００３】

【発明が解決しようとする課題】しかし、学習者は、自
分の発音が正しく教材の発音を模倣しているかを確認す
ることができないため、自分が正しく学習できているか
どうかを確認することができず不安になるという問題点
があった。また、学習を重ねても学習の成果を確認する
ことができないという問題点があった。

【０００４】一方、学習者が発音した音声を音声認識し
発音が正しいかを評価することも考えられる。しかし、
音声認識のアルゴリズムは極めて複雑であり、さらに、
音声認識したのちに、学習者の発音がその内容の表現と
して正しいものであるかを採点するためには、膨大なデ
ータを必要とするという問題点があった。

【０００５】この発明は、従来より普及している教材を
利用し、簡略な構成で学習者の発音を採点できる発音採
点装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１の発明は、音声
を入力する音声入力手段と、入力した音声から該音声の
発音に関する情報である発音情報を抽出する分析手段
と、第１の音声を入力して得た第１の発音情報および第
２の音声を入力して得た第２の発音情報を比較してその
類似度に基づく評価を出力する採点手段と、を備えたこ
とを特徴とする。

【０００７】請求項２の発明は、前記発音情報は、スト
レスアクセント、トニックアクセント、イントネーショ
ン、周波数スペクトルのうち、少なくとも１つを含むこ
とを特徴とする。

【０００８】この発明の発音採点装置は以下のようなも
のである。録音教材の再生音声や語学教師の発声など手
本となる音声を第１の音声として入力する。この手本と
なる音声は、通常は１文程度の長さの言葉で構成される
ものであり、学習者がこの音声に習ってリピートするこ
とで発音を学習する。第１の音声から第１の発音情報を
抽出する。発音情報は、たとえば、音声信号をＦＦＴ解
析するなどして求めたストレスアクセント、トニックア
クセント、イントネーション、周波数スペクトルの一種
であるフォルマントなどが含まれる。また、この発明に
おいては、ディジタル変換された音声波形データそのも
のも含む。次に学習者が手本に習った音声を第２の音声
として入力する。この第２の音声から第２の発音情報を
抽出する。そして、第１および第２の発音情報を比較
し、その類似度によって学習者の発音の習熟度を評価・
採点する。すなわち、学習者の発音が手本の音声の発音
に類似していれば上手く発音しているとして高い評価を
出力するようにする。

【０００９】このように、学習者が手本として聴いてい
る教材等の音声をその場で入力してリファレンスデータ
として用い、学習者の発音を評価・採点するようにした
ことにより、従来から用いられている録音教材等をその
まま用いることができ評価・採点のための情報を特に必
要としない。

【００１０】

【発明の実施の形態】図面を参照してこの発明の実施形
態である発音採点装置について説明する。図１は同発音
採点装置と接続されるポータブルＭＤプレーヤの使用形
態を示す図、図２は同発音採点装置のブロック図、図３
は同発音採点装置の押しボタンスイッチおよびディスプ
レイの構成を示す図、図４は同発音採点装置のメモリ構
成図である。図５は語学教材であるＭＤの記憶形態を示
す図である。また、図６は分析により抽出される発音情
報の例を示す図である。

【００１１】この実施形態の発音採点装置は、外国語
（特に英語）のアクセントやイントネーションの練習に
用いられる装置であり、録音教材を再生した音声や教師
が発音した手本の音声を分析して記憶し、これに続いて
発音される学習者の音声を分析した結果と比較すること
でその類似度を割り出し、この類似度に基づいて学習者
の発音を採点するものである。

【００１２】この実施形態では、ＭＤ（ミニディスク）
の語学教材を用いる例を示している。ＭＤには、図５に
示すように英語の練習用のフレーズが順次記憶されてお
り、各フレーズ毎にインデックス（曲番）がふってあ
る。また、ＭＤには、テキストデータを記憶するサブト
ラックが設けられており、この教材ＭＤの場合には、デ
ィスク教材のタイトルや各フレーズ毎の内容を示すテキ
ストが記憶されている。ディスクのタイトルはディスク
をＭＤプレーヤにセットしたとき読み出され、各フレー
ズの内容を示すテキストはそのフレーズを再生するとき
読み出される。この発音採点装置では、入力されたテキ
ストデータを表示するディスプレイ２２を備えている。
その表示態様は、例えば図３（Ａ）のようなものであ
る。なお、ＭＤに記録されるフレーズの内容を示すテキ
ストは、たとえば、「ｇｒｅｅｔｉｎｇ」や「ａｔｔ
ｈｅｓｔａｔｉｏｎ」など場面を示す語句でもよく、
また、長文を記録可能な場合には、そのフレーズの文を
全部記録するようにしてもよい。

【００１３】図１（Ａ）において、上記ＭＤの語学教材
がセットされたＭＤプレーヤ２はケーブル４を介してこ
の発明の実施形態である発音採点装置１と接続されてい
る。このケーブル４は図２に示すようにオーディオケー
ブル４ａと制御ケーブル４ｂとを同軸に被覆したもので
ある。

【００１４】一般的なポータブルＭＤプレーヤの通常の
使用形態は、図１（Ｂ）に示すように、本体２のコネク
タにリモコン５を接続し、このリモコンにステレオイヤ
ホン６を接続したものである。リモコン５は、複数のボ
タンスイッチを備え、ポータブルＭＤプレーヤ２本体の
電源オン／オフ、プレイ／ストップ、スキップ／スキッ
プバックなどを制御することができる。また、リモコン
５は液晶のディスプレイを備えており、ＭＤから読み出
されたテキストを表示するようになっている。このた
め、ポータブルＭＤプレーヤ２のコネクタ２ａには、オ
ーディオ信号を出力するジャックのほか、制御用信号を
入出力するコネクタが形成されている。

【００１５】図１（Ａ）おいて、発音採点装置１もケー
ブル４を介してＭＤプレーヤ２のプレイ／ストップ、ス
キップ／スキップバックなどを制御することができる。
学習者が発音採点装置１の操作パネルに設けられている
押しボタンスイッチ２１を操作したとき、発音採点装置
１は、ケーブル４を介してポータブルＭＤプレーヤ２に
対して上記プレイ／ストップ、スキップ／スキップバッ
クなどのコマンドを送信し、ＭＤプレーヤ２の動作を制
御する。

【００１６】学習者が、所定の押しボタンスイッチ２１
をオンして、ＭＤプレーヤ２がフレーズを再生すると、
そのフレーズ音声がスピーカ１１から出力される。学習
者がこれを聴いてこれに習って同じフレーズを発音する
とこれがマイク３から入力さされる。内部のＤＳＰ１３
（図２参照）が、これら音声を分析してストレスアクセ
ント、トニックアクセント、イントネーションの発音情
報を抽出する。これら手本の発音情報（第１の発音情
報）および学習者の発音情報（第２の発音情報）を比較
してその類似度を割り出すことにより、学習者の発音を
採点する。採点結果は、ディスプレイ２２に表示される
（図３（Ｂ）参照）。

【００１７】図２において、オーディオケーブル４ａは
採点装置１内でオーディオアンプ１０およびＡ／Ｄコン
バータ１２に接続されている。オーディオアンプ１０に
はスピーカ１１が接続されている。これにより、ＭＤプ
レーヤ２が再生した教材ＭＤのフレーズ音声は、アンプ
１０で増幅されスピーカ１１から出力される。すなわ
ち、ヘッドホン専用のポータブルＭＤプレーヤ２でもス
ピーカ１１から音声を出力させることができるようにな
り、この採点装置１はポータブルＭＤプレーヤのアクテ
ィブスピーカを兼ねた構成になっている。

【００１８】そして、制御ケーブル４ｂはコントローラ
２０に接続されている。コントローラ２０はインタフェ
ース等を内蔵した制御用のマイコンであり、この装置の
動作およびＭＤプレーヤ２の動作を制御するものであ
る。

【００１９】このコントローラ２０には、学習者が操作
する押しボタンスイッチ群２１、再生中のフレーズの内
容や得点などを表示する液晶マトリクスのディスプレイ
２２、前記Ａ／Ｄコンバータ１２、入力された音声信号
を処理するＤＳＰ１３、処理結果が記憶されるメモリ１
４などが接続されている。

【００２０】Ａ／Ｄコンバータ１２には、ＭＤプレーヤ
２のほか学習者が音声を入力するマイク３も接続されて
いる。Ａ／Ｄコンバータ１２はアナログ信号の入力切換
スイッチを内蔵しており、コントローラ２０の指示によ
り、ＭＤプレーヤ２またはマイク３のいずれか一方を選
択して、そこから入力されるアナログ音声信号をディジ
タル信号に変換する。変換されたディジタルの音声信号
は、ＤＳＰ１３に入力される。

【００２１】ＤＳＰ１３は、入力された音声信号に対し
てＦＦＴ解析などの処理を行い、信号レベル、周波数ス
ペクトルなどを時系列に演算して入力された音声の発音
を分析する。この分析により抽出される情報は、ストレ
スアクセント、トニックアクセント、イントネーション
などである。ストレスアクセントとは、フレーズ中の強
く発音する箇所（レベルの大きい箇所）であり、そのタ
イミングやレベルが抽出される（図６（Ａ）参照）。ま
た、トニックアクセントとは、フレーズ中の高く発音す
る箇所（基本周波数の高い箇所）であり、そのタイミン
グや周波数が抽出される（図６（Ｂ）参照）。また、イ
ントネーションとは、フレーズの高低（基本周波数）の
抑揚であり、その抑揚曲線が分析され関数化される（図
６（Ｂ）参照）。なお、基本周波数は、ＦＦＴ解析で求
められたピークのうち一番周波数の低いものである。ま
た、周波数スペクトルからフォルマントを抽出し、発音
されている母音を分析することも可能である。さらに、
周波数スペクトルから倍音構成比が算出される。この時
間的変動が一致すれば母音が類似していると評価するこ
とができる。

【００２２】教材の音声および学習者の音声を順次入力
して上記分析を行い、抽出された第１の発音情報および
第２の発音情報をメモリ１４の手本データ記憶エリア１
４１および練習データ記憶エリア１４２に記憶する。

【００２３】こののち、これら発音情報を比較して得点
を決定する。このとき、両方の発音情報が似ていれば学
習者の音声が教材の音声に近い発音をしているとして高
い得点にする。得点は、上記ストレスアクセント、トニ
ックアクセント、イントネーション毎に個別に算出する
とともに、これらを平均した総合得点を算出する。この
得点は、ディスプレイ２２に表示されるとともにメモリ
１４の得点蓄積エリア１４３に蓄積記憶される。なお、
この比較・採点の処理は、ＤＳＰ１３が行ってもよく、
コントローラ２０が行ってもよい。

【００２４】前記押しボタンスイッチ２１は、図３
（Ａ）に示すように、「次へ」スイッチ、「もう一度」
スイッチ、「戻る」スイッチ、「先頭へ」スイッチ、
「集計」スイッチ、「クリア」スイッチを有している。
このうち、「次へ」スイッチ、「もう一度」スイッチ、
「戻る」スイッチ、および、「先頭へ」スイッチが、プ
レイスイッチであり、このボタンスイッチが操作される
とＭＤプレーヤ２に対して再生の指示を送る。

【００２５】発音採点装置１は、ＭＤプレーヤ２に対し
て１フレーズ（１曲）ずつ手本の発音を再生するように
指示する。すなわち、あるフレーズ（曲）の０秒０フレ
ームから再生をスタートし、時間カウンタの値が次のフ
レーズの０秒０フレームになったとき再生を停止（ポー
ズ）するようにＭＤプレーヤ２に指示する。

【００２６】こののち、「次へ」スイッチがオンされた
場合には、現在頭出しされているフレーズを再生するよ
うにＭＤプレーヤ２に指示する。また、「もう一度」ス
イッチがオンされた場合には、先程再生したフレーズに
戻って（スキップバックして）もう一度再生するように
ＭＤプレーヤ２に指示する。また、「戻る」スイッチが
オンされた場合には、２回スキップバックし、先程再生
したフレーズのさらに前のフレーズに戻って再生を行う
ようにＭＤプレーヤ２に指示する。また、「先頭へ」ス
イッチがオンされた場合には、曲番号１のフレーズを再
生するようにＭＤプレーヤ２に指示する。プレイ、ポー
ズ、スキップバックなどは、全て前記コネクタ２ａを介
して入力可能なコマンドである。

【００２７】上記構成の発音採点装置１の使用の態様お
よび動作について説明する。発音採点装置１にポータブ
ルＭＤプレーヤ２が接続され、学習者がいずれかのプレ
イスイッチをオンすると、発音採点装置１は、この操作
に応じた指示をＭＤプレーヤ２に送信する。ＭＤプレー
ヤ２は、この指示に応じたフレーズを再生する。図２に
おいて、ＭＤプレーヤが再生した教材のフレーズ音声
は、発音採点装置１においてオーディオアンプ１０およ
びＡ／Ｄコンバータ１２に入力される。オーディオアン
プ１０は、この手本のフレーズ音声を増幅しスピーカ１
１から出力する。同時にこの音声信号は、Ａ／Ｄコンバ
ータ１２でディジタル信号に変換され、ＤＳＰ１３に入
力される。ＤＳＰ１３は、この手本の音声信号を分析
し、ストレスアクセント、トニックアクセント、イント
ネーションからなる第１の発音情報を割り出す。割り出
された第１の発音情報はメモリ１４の第１発音情報記憶
エリア１４１に記憶される。

【００２８】次に、コントローラ２０はＡ／Ｄコンバー
タ１２をマイク３側に切り換え、学習者が発音する練習
の音声を入力する。学習者は、スピーカ１１から出力さ
れる手本のフレーズ音声を聞いてアクセントやイントネ
ーションを確認し、これに習って同じように発音する。
この音声はマイク３およびＡ／Ｄコンバータ１２を介し
てＤＳＰ１３に入力される。ＤＳＰ１３はこの学習者の
練習の音声も上記手本の音声と同様に分析し、ストレス
アクセント、トニックアクセント、イントネーションを
第２の発音情報として割り出す。この第２の発音情報を
メモリ１４の第２発音情報記憶エリア１４２に記憶す
る。

【００２９】そして、第１および第２の発音情報が記憶
されると、これらの類似度を比較する。なお、第１、第
２の発音情報とも、フレーズ全体の発音時間、レベルの
強弱レンジ、周波数の高低レンジを正規化したのち比較
するようにする。そして、その類似度に基づいて得点を
算出する。

【００３０】このとき、類似度の算出は、重ね合わせ法
など周知の技術を用いればよい。重ね合わせ法とは、第
１の発音情報、第２の発音情報それぞれにデータを曲線
（折れ線）化して重ね合わせ、はみ出した部分の面積の
大小で類似度を割り出す方式である。また、これ以外に
も、前後のデータを比較して値が増加しているか減少し
ているかのデータに変換し、手本データと練習データと
の間の増加中か減少中かの一致率によって類似度を算出
する方法などがある。

【００３１】類似度に基づいて算出された得点は、上記
ストレスアクセント、トニックアクセント、イントネー
ション別に算出するとともに、これらを平均した総合得
点を算出し、図３（Ｂ）のように表示するとともに、こ
の得点を上記得点蓄積エリア１４３に蓄積記憶しててゆ
く。

【００３２】学習者がプレイボタンをオンするごとに上
記のような動作が実行され、その都度そのときの発音に
対する得点が表示されるとともに、その得点が得点蓄積
エリア１４３に蓄積記憶されてゆく。そして、学習者が
集計ボタンをオンすると、それまで蓄積した得点を集計
して表示する。集計・表示の態様は、図３（Ｃ）に示す
ように全得点の平均点を表示する方式、同図（Ｄ）に示
すように練習を重ねてゆくにしたがって得点がどのよう
に推移したかを示す折れ線グラフを表示する方式などが
ある。

【００３３】図７のフローチャートを参照して前記コン
トローラ２０の動作を説明する。同図は、押しボタンス
イッチ２１が操作された場合の動作を示している。ま
ず、ｓ１〜ｓ３でどのスイッチがオンされたかを検出す
る。プレイスイッチがオンされた場合には、ｓ１の判断
でｓ５以下の動作に進む。ここで、プレイスイッチと
は、上述したように「次へ」スイッチ、「もう一度」ス
イッチ、「戻る」スイッチ、「先頭へ」スイッチの総称
である。

【００３４】プレイスイッチがオンされると、このスイ
ッチ操作で指定されたフレーズの再生をＭＤプレーヤ２
に指示する（ｓ５）。ＭＤプレーヤ２が指定されたフレ
ーズの再生をスタートするとき、最初にサブデータとし
て記憶されているテキストデータを読み出して発音採点
装置１に入力する。コントローラ２０は、これを読み取
ってディスプレイ２２に表示する（ｓ６）。このテキス
トデータに続いてＭＤプレーヤ２から手本のフレーズ音
声が入力される。コントローラ２０は、Ａ／Ｄコンバー
タ１２をＭＤプレーヤ２側に切り換えるとともに、ＤＳ
Ｐ１３に対してこの音声の分析を指示する。ＤＳＰ１３
は入力された音声を分析してストレスアクセント、トニ
ックアクセント、イントネーションからなる第１の発音
情報を割り出し（ｓ７）、これを第１発音情報記憶エリ
ア１４１に記憶する（ｓ８）。ＭＤプレーヤ２から入力
されるフレーズ番号が次の番号になったとき（ｓ９）、
ＭＤプレーヤに対してポーズの指示を出して（ｓ１０）
再生を停止させる。

【００３５】こののち、Ａ／Ｄコンバータ１２をマイク
３側に切り換えて学習者の音声の入力を許可する。学習
者の練習音声が入力されると、これを分析してストレス
アクセント、トニックアクセント、イントネーションを
割り出し（ｓ１１）、これを第２の発音情報として第２
発音情報記憶エリア１４２に記憶する（ｓ１２）。練習
音声の入力が終了するまで（ｓ１３）、これを継続す
る。練習音声の入力が終了すると、この練習音声の分析
結果である第２の発音情報と前記第１の発音情報とを比
較し（ｓ１４）、その類似度に基づいて今回の得点を算
出する（ｓ１５）。得点は、上記ストレスアクセント、
トニックアクセント、イントネーションの各項目につい
てそれぞれ個別に算出するとともにこれらを平均した総
合得点を算出する。そしてこれを図３（Ｂ）のような態
様で表示するとともに（ｓ１６）、メモリ１４の得点蓄
積エリア１４３に蓄積記憶して（ｓ１７）、動作を終了
する。なお、上記ｓ１４，ｓ１５の比較・得点算出の処
理は、ＤＳＰ１３に行わせるようにしてもよい。

【００３６】また、集計スイッチがオンされた場合には
（ｓ２）、前記得点蓄積エリア１４３に記憶されている
得点を集計する（ｓ２０）。この集計結果をディスプレ
イ２２に表示する（ｓ２１）。この集計・表示は、たと
えば、図３（Ｃ）、（Ｄ）に示す態様で行われる。一
方、クリアスイッチがオンされた場合にはメモリ１４の
得点記憶エリア１４３をクリアして（ｓ２５）動作を終
了する。

【００３７】上記実施形態では、一般的なポータブルＭ
Ｄプレーヤが備える特性を活かして発音採点装置１から
ＭＤプレーヤ２を制御し、手本のフレーズ音声を１フレ
ーズずつ再生して学習者にも１フレーズずつ発音させ、
この発音を採点するようにしているが、この発明はこの
ような実施形態に限定されるものではない。

【００３８】たとえば、手本の音声を再生する装置を利
用者がマニュアルで操作して手本音声を入力するように
してもよく、また、手本の音声は録音媒体に限定され
ず、教師などの生の発音を用いてもよい。このような場
合、手本入力スイッチや練習入力スイッチなどのキース
イッチを儲け、手本の音声の入力および練習の音声の入
力をそれぞれキースイッチ操作で装置に指示するように
すればよい。

【００３９】また、上記実施形態では、入力された音声
のレベル包絡線や周波数スペクトルを分析し、これから
抽出したストレスアクセント、トニックアクセント、イ
ントネーションを用いて手本音声と練習音声とを比較す
るようにしたが、周波数スペクトル（フォルマント）か
ら割り出される母音を比較するようにしてもよく、ま
た、より簡略化する場合には、音声信号波形そのものを
比較するようにしてもよい。

【００４０】

【発明の効果】以上のようにこの発明によれば、手本の
音声を入力するとともにこれに習って発音された練習の
音声を入力してこれらを比較し、その類似度によって練
習の成果を評価するようにしたことにより、特に評価の
ための情報を持たない一般の音声教材を用いて、評価付
きの発音練習をすることができる。

【図面の簡単な説明】

【図１】この発明の実施形態である発音採点装置が接続
されるポータブルＭＤプレーヤとその接続形態を示す図

【図２】同発音採点装置のブロック図

【図３】同発音採点装置の押しボタンスイッチおよびデ
ィスプレイを示す図

【図４】同発音採点装置のメモリ構成図

【図５】語学教材であるＭＤの記憶形態を説明する図

【図６】同発音採点装置の音声分析の内容を説明する図

【図７】同発音採点装置の動作を示すフローチャート

【符号の説明】

１…発音採点装置、２…ポータブルＭＤプレーヤ、３…
マイク、４…ケーブル、４ａ…オーディオケーブル、４
ｂ…制御ケーブル、１０…オーディオアンプ、１１…ス
ピーカ、１２…Ａ／Ｄコンバータ、１３…ＤＳＰ、１４
…メモリ、１４１…第１発音情報記憶エリア、１４２…
第２発音情報記憶エリア、１４３…得点蓄積エリア、２
０…コントローラ、２１…押しボタンスイッチ、２２…
ディスプレイ

Claims

【特許請求の範囲】

【請求項１】音声を入力する音声入力手段と、入力した音声から該音声の発音に関する情報である発音
情報を抽出する分析手段と、第１の音声を入力して得た第１の発音情報および第２の
音声を入力して得た第２の発音情報を比較してその類似
度に基づく評価を出力する採点手段と、を備えた発音採点装置。
【請求項２】前記発音情報は、ストレスアクセント、
トニックアクセント、イントネーション、周波数スペク
トルのうち、少なくとも１つを含む請求項１に記載の発
音採点装置。