JP2014038140A - 語学学習補助装置、語学学習補助方法、語学学習補助プログラム - Google Patents

Abstract

【課題】他言語に対するリスニング能力強化を効率良く実現するための語学学習補助装置が求められていた。
【解決手段】本発明の語学学習補助装置は、画面を表示する表示パネルと、少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に第１言語における母音の発音記号を第２の方向に並べて表示パネルに表示する発音記号表示手段と、発音記号表示手段が表示パネルに発音記号を表示している位置に対する操作入力を検知する操作入力手段と、第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する音声データ記憶手段から前記操作入力手段で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを読み込んで再生する音声再生手段と、を具備する。
【選択図】図６０

Description

本発明は、語学学習補助装置、語学学習補助方法、及び語学学習補助プログラムに関し、特に、リスニング能力を向上させる語学学習補助装置、語学学習補助方法、語学学習補助プログラムに関する。

世界経済のグローバル化が急速に進行している。国内人口の減少やデフレーションの影響で国内市場は縮小し続けており、国内市場をメインターゲットとしてきた国内企業の既存のビジネスが成り立たなくなってきている。国内企業は経営戦略の大転換を行い、経済発展が見込まれる新興国等を有力市場として積極的に進出することが生き残りのために不可欠になってきている。

海外に進出する上で大きな障害となっているものが言語問題である。海外でビジネスを行うためには、各国の人々とコミュニケーションを取れることが最低限必要であり、少なくとも世界標準言語である英語でコミュニケーションを取れなければビジネスが進まない。しかしながら、日本人の英語能力は非常に低い。日本人の英語能力が低い理由として、英語と日本語の言語距離が大きく離れているといった本質的なハンディーキャップがあることは事実であるが、ビジネスの世界では言い訳にしかならず、早急に国民全体的な外国語能力の向上を行う必要がある。

例えば、特許文献１には、会話が成立することを補助する外国語学習補助装置が開示されている。

特開２０１０−２８２０５４号公報

本願発明者は２００８年１１月から２００８年１月の３ヶ月間、エジプト、ヨルダン、シリア等の中東各国に滞在していた。この時、発明者は、自身の名前を現地の人に正確に聞き取って貰えないということを度々経験した。

発明者の名前は“やすあき（YASUAKI）”であり、初めて会う人には“マイネームイズ ヤス．（My name is Yasu.）”と自己紹介していたのだが、私の名前を“やしん”と誤って聞き取るアラブ人が非常に多かった。この事に疑問を持った本願発明者は、この問題について分析したところ以下の事実に辿り着いた。

アラビア語を母国語とするイスラム教において、“やす”に対応する名前は無く、一方“やしん”に近い発音をする名前が存在する。図６２において、アラビア語で表記１１で示される文字の発音が英語表記で“Yacine”に近い発音となる。

アラビア語で“やす”に対応する名前が無いため、アラブ人にとって、図６２に示すように日本語の“やす”という名前２３は、アラビア語における表記１１の名前で把握される。これは“やす”と言う名前２３だけではなく、例えば“やっしー”と言う名前２２や、“やすん”と言う名前２４についても同様に、アラブ人はアラビア語における表記１１の名前で認識する可能性が高い。なぜなら、他のアラビア語の名前１２や名前１３よりも、１１の方がより類似性が高いためである。日本語の“やしん”という発音２１は、アラブ人にとって当然名前１１で把握されることになる。図６２からもわかるように、これは、日本語の名前がアラビア語の特定の名前にあたかも引き摺り込まれて認識される現象であるため、以下の説明では、このような脳内で生じる言葉の置換現象を引き摺り込み現象と称する。

このことは、逆の立場で考えてみると分かりやすい。英語では“Ｒ”音と“Ｌ”音とは、異なる音として明確に区別される。一方、日本語ではこれらの音に正確に一致する音が無い。そのため、日本語を喋る日本人が“My name is Lisa.”と聞いても“My name is Risa.”と聞いても、この女性の名前は“りさ”であると認識してしまう。すなわち、図６３に示すように、“Lisa”と言う名前と“Risa”と言う異なる名前が、日本人にとっては“りさ”と言う一つの名前に引き摺り込まれて認識されてしまう。

この引き摺り込み現象が、私達がコミュニケーションをとる上で最大の障害となる。例えば、“この光は私の希望だ。”と“この権利は私の希望だ。”という２つの文章を英語で聞いたとき、日本人には、“ズィス ライト イズ マイ ホープ”と同一に聞こえる。話者の話す速度が十分遅ければ、“ズィス ライト イズ マイ ホープ”と言う内容とこれまでの会話内容（コンテキスト）から、話者がどちらの文章を言っているのかを推測し、認識することができる。しかしながら、話者の速度が速ければ、この推測と認識の作業を脳内で完了する前に次の文章が来てしまい、理解が追いつかなくなる。

これが、ゆっくりな会話であれば理解できても早い会話になると理解できなくなる大きな原因である。つまり、（１）会話を聞く、（２）脳内で引き摺り込み現象がおき、日本語に置き換えた発音で認識する、（３）認識した発音の内容から近いアルファベット表記を連想する、（４）連想したアルファベット表記から意味を推測する、（５）これまでのコンテキスト（会話の流れ）を連想する、（６）これまでのコンテキストから適切な意味となるものを選択して最終的に認識する、という複数段階を無意識的に又は意識的に経て会話内容を理解していく。

図６４は、上記（１）〜（６）の脳で行われる処理の流れを示している。話者が次の文章を話し始める前にこのステップＳ０１〜ステップＳ０６の処理が完了していれば、“脳はこの権利は私の希望だ！”と主張しているという認識の下でステップＳ０１に戻り次の文章の理解動作に入る事が出来る。しかしながら、ステップＳ０６の処理が脳内で完了する前に次の文章が発話されると、脳内は、次の文章を聞き取るために半強制的にステップＳ０１に戻るため、これまで推測や連想等を行っていた直前の文章は理解しないまま次の会話を処理する事になる。

話者は、これまで自身が喋ったことを聞き手が理解しているという前提に立って次に会話を論理的に喋るため、聞き手が前段の文章を聞き落としていると、話者と聞き手の間にある認識の前提に齟齬を生じ、聞き手側が推測する情報量が雪崩式に広がるため、聞き手は理解不能に陥る。これが、コミュニケーションをとることが出来ない大きな理由となる。

このような会話の破綻は、会話の前提として、聞き手は論理的な理解力を持っており、自身が話した内容を理解しているという暗黙の了解に立って話し手が話すため生じる。そして、これは、人間が生きていく上で最も基礎的な前提であるため、この最も基礎的事項を実施する事が出来ないと言う事実は、聞き手にとって大きなコンプレックスとなる。これが語学コンプレックスの本質であると考える。

図６４から分かるように、会話内容の処理が遅れる要因は、ステップＳ０２で引き摺り込み現象が起きる際に遅延が生じる点や、ステップＳ０３、Ｓ０４で複数の意味を推測することに要する時間が挙げられる。ここで、ステップＳ０２において実際に発せられた英語の発音と引き摺り込まれる先の日本語の発音との類似性が遠い又は引き摺り込み先の候補が複数ある場合などに、上記遅延が大きくなる傾向がある。

一方、私達日本人が母国語である日本語の会話を聞いた場合における私達の脳内での処理は、図６５のようになる。ステップＳ０１で聞いた日本語の内容は、ステップＳ０２〜ステップＳ０４の処理を介さず、ステップＳ０５、ステップＳ０６に進むため、遅延が生じず、話し手の話す内容を会話中にリアルタイムで適切に理解する事が出来る。

上記流れからも分かるように、私達日本人が英語のリスニング能力が低い理由としてステップＳ０２の英語から日本語への引き摺り込み現象を生じさせていることがある。なぜ、このような現象を生じさせてしまっているかを以下に解説する。

私達人間は、声帯の振動パターンや唇の使い方により様々な音を口から発する事ができる。そして、発音可能な無数の音の中から特定の音を切り出して意味を持たせている。すなわち、日本人は図６６に示す日本語発音表において、各枠の部分の音をそれぞれ定義することで日本語を構成している。

私達日本人は、日本語を話している話者の口から発せられた音声を、無意識に図６６に示す発音表のいずれかの枠の中に引き摺り込ませることで日本語の音を認識する。そして、その組み合わせにより意味を認識する。例えば、最初の発音が“さ”に引き摺り込まれ、次の音が“か”に引き摺り込まれ、その次の音が“な”に引きずり込まれた場合、“さかな”と言う言葉によって“魚”として認識される。脳内では、無意識にこのような作業が行われている。

生まれたばかりの赤ちゃんが喋れないのは図６６に示す日本語の発音表を脳内に持ち合わせていないためである。成長に伴い、図６６の枠を一つ一つ埋めていくことで日本語を構成する発音表が脳内に出来上がり、会話を出来るようになる。一般的には、ママと言う親の言葉を繰り返し聴くことで“ま”の発音を最初に獲得する。言語能力の弱い子供は、図６６にしめす発音表の枠のすべてを埋め終わるまでに時間がかかるものの、一般的には３〜４才になるまでには全ての発音の習得を完了する。但し、発話するためには脳内に既に形成した図６６の発音表と声帯や口の形を作る運動への連動が必要であり、この連携作業を正しく行えるようになるまでにはもう少し時間を要する。それでも一般的には、６〜８才になるまでには、図６６の発音表を構成する発音と声帯振動等の運動との連携が完了する。

日本語は、“じ”と“ぢ”および“ず”と“づ”の発音を除いて、各発音と表記が一致する言語体系を持つ。これに対し、他言語の中には、表記と発音とが一対一に対応しない言語がある。英語もそのような言語の一つである。

例えば、“息子”を意味する“Son”と、“柔らかい”を意味する“Soft”と“太陽の”を意味する“solar”では、図６７に示すように“So”の部分の発音は全て異なる発音となる。ここに、日本語と英語との間の大きな溝があり、日本人の英語聞き取り能力を低下させる要因が潜んでいる。

結論から言うと、私達日本人が英語の聞き取りができない最大の理由は、日本の初等教育においてアルファベットを教えることである。現在の初等教育において小学４年生になると外国語の学習の入り口としてアルファベットを習い始める。

例えば、“さかな”を“ｓａｋａｎａ”と覚え、“うつくしい”を“ｕｔｓｕｋｕｓｈｉｉ”と覚える勉強を日本人は皆小学校時代に行っている。つまり、図６８に示すように日本語を構成する各発音に単に英語で用いられるアルファベット表記を割り当てただけのことを行っている。

このアルファベットの勉強を行うことで、私達は英語を日本語の枠で理解する癖が出来上がってしまう事になる。従って、英語の会話を聞いたとき、それが日本語ではなく英語であるにもかかわらず図６８に示す日本語発音表のどこかの枠に引きずり込んで会話を理解しようとする癖が出来上がってしまう。これが、図６４のステップＳ０２における引き摺り込み現象を招いてしまう最大の原因である。

日本語には日本語を構成する発音があるように、英語には英語を構成する独自の発音があり、この２つは全く体系が異なる。上記のように日本語を単にアルファベットに置き換えた勉強方法を通じて英語の会話を聞くことは、アメリカではインチを尺度として長さを測っているものに対して、むりやりセンチメートルを当て嵌めて長さを測ろうとしているようなものであり、齟齬が生じることは当然の成り行きである。

従って、図６９に示すように、（１）会話を通じて日本語を構成する各発音を習得する、（２）習得している各発音の日本語表記を学ぶ、（３）日本語表記に対応するアルファベットを学ぶ、（４）アルファベットに対応する英語の発音を習得する、と言ったこれまでの学習方法から、（１）会話を通じて日本語を構成する各発音を習得する、（２）習得している各発音の日本語表記を学ぶ、（３´）英語を構成する発音を習得する、（４´）習得している各英語発音に対応するアルファベット表記を習得する、と言う順序に代えることが、引き摺り込み現象を生じさせずに英語をそのまま理解できる脳を作る事になる。すなわち、日本語リスニング→日本語リーディング→英語リーディング→英語リスニングの学習順序から日本語リスニング→日本語リーディング→英語リスニング→英語リーディングの順序に変更する必要がある。

私達は皆、幼少時代に日本語の聞き取りを習得し、その後日本語の読み書きを習得したように、リスニング→リーディングの流れが語学学習に適切であることは間違いない。なお、第２外国語である英語に対してリーディング無しにリスニングができるかを疑問視する声もあるが全く問題ない。実際、発明者はスワヒリ語が母国語であるウガンダの孤児院でボランティアをしていたことがあるが、アルファベットが全く書けない６歳くらいの子供も流暢に英語を話していた。

以上のように、私達日本人はアルファベット学習を行うことで英語と言う全く異なる発音体系を持つ言語を私達が無意識に持ち合わせている日本語の発音体系に当て嵌めて理解する悪癖がついているため、英語を聞いても結局日本語発音表に音を引きずり込んで聞いてしまい、どれだけ学習しても英語が上達しないと言う問題を抱えている。従って、私達は、英語を聞く時には日本語を構成する“定規”を捨て、英語を構成する“定規”を用いることが上達のために不可欠である。

ここで、先行文献１に記載の発明は、学習者が発する音声を分析して、英語の正しい発音と一致しているかを定量評価することで、適切な発音ができるように訓練する。しかしながら、この方法では正しい発音の訓練には繋がるものの、正しい発音を聞き取る能力の訓練と言う観点からは効率が悪かった。

上記課題を鑑み、本発明は、他言語に対するリスニング能力の強化を効率良く実現するための語学学習補助装置、語学学習補助方法、及び語学学習補助プログラムを提供する事を目的とする。

本発明の一態様である語学学習補助装置は、画面を表示する表示パネルと、少なくとも第１言語における子音の発音記号を第１の方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示手段と、前記発音記号表示手段が前記表示パネルに前記発音記号を表示している位置に対する操作入力を検知する操作入力手段と、前記第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する音声データ記憶手段から前記操作入力手段で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを読み込んで再生する音声再生手段と、を具備する。

当該構成とすることにより、ユーザは外国語の音声を聞くに当たってアルファベット表記ではなく発音をベースとして音声の再生及び聞き取りを行うため、母国語の発音体系に脳内で変換されることを防ぎつつ聞き取り能力の向上を図ることができる。

ここで、上記発音記号表示手段は、前記第１言語における子音の発音記号と前記第１言語における母音の発音記号とを組み合わせた発音記号を前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に配置して表示する構成とすると更に良好である。このような表示配置とすることで、ユーザは学習を通じて第１言語での発音の基本単位となる発音記号の表を脳内に形成することができ、右脳と左脳を効率良く使いながら聞き取り能力の向上を図ることができる。

また、前記発音記号表示手段は、前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に、前記子音の発音記号と前記母音の発音記号とを組み合わせた発音記号を明示的又は暗示的に示すアイコンを配置して表示する構成とすると更に良好である。表示パネルの大きさによっては、第１言語において基本単位として用いられる発音記号すべてを同時に表示すると各発音記号の文字が細かくなりすぎる場合もある。そこで、発音記号の存在を示すアイコンを適切な位置に配置しておくことで、ユーザは段又は列の子音と母音の発音記号から当該アイコンが示す発音記号を認識することができ、情報量を抑えた見やすい発音記号表とすることができる。

ここで、前記発音記号表示手段が前記表示パネルに表示中の発音記号であって、前記操作入力手段が検知した操作入力の位置に対応する発音記号のグラフィックを変更する表示変更手段を更に具備する構成とすると更に良好である。操作入力の位置に対応するグラフィックが変更されることでユーザは、自ら選択した発音記号を認識することができ、再生される音声データとの齟齬が生じることを防ぐことができるためである。

また、前記表示変更手段は、前記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを更に変更する構成とすると更に良好である。ユーザは、自ら聞いている音声の発音記号を表示パネル上の発音記号表のグラフィック変化により視覚を通じて認識することができ、脳内に形成した発音記号表に刷り込むことでヒアリング能力を向上させることができる。

ここで、前記音声データ記憶手段は、第１言語で用いられる単語の音声データを、当該単語に対応する発音記号と関連付けて記憶し、前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記単語の音声データを再生し、前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを変更する構成とすると更に良好である。当該構成とすることで実際に第１言語で用いられる単語の発音を発音記号表を補助的に利用して視覚を通じながら学習することができる。

また、前記音声データ記憶手段は、前記第１言語で用いられる音声データを、当該単語を構成する音節と関連付けて記憶し、前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを、前記音節に応じたグラフィックに変更する構成とすると更に良好である。英語のように音節単位で音の纏まりが変化する言語を適切に理解するためには、音節の切り替わりを認識できることが好ましく、音節に基づいたグラフィック変化により、ユーザは音声を聞きながら音節の切り替わりを適切に認識することが可能となる。

また、前記音声データ記憶手段は、第１言語の音声データを当該音声データの音声に対応する発音記号及び声調と関連付けて記憶し、前記表示変更手段は、前記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを前記音声の声調に応じたグラフィックに変更する構成とすると更に良好である。中国語のように、声調が重要な意味を持つ言語において適切な聞き取りを行うためには、発音だけではなく声調を適切に認識できることが不可欠である。そこで、声調に基づくグラフィック変化を行うことによりユーザは音声を聞きながら発音記号だけではなく声調についても適切に認識することができる。

ここで、前記音声データ記憶手段は、複数の話者による音声データを記憶し、前記音声データ記憶手段で記憶されている音声データの話者のうち、前記音声再生手段で再生する音声データの話者に関する設定を行う設定手段を更に具備し、前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記音声データ記憶手段に記憶されている複数の話者による音声データのうち、前記設定手段で設定された話者の音声データを再生する構成とすると更に良好である。

特定の人が喋る事は聞き取ることができるのに、他の人の喋る事は全く聞き取れないという人が多数存在する。これは、脳内に形成された発音記号表に柔軟性がなく、特定の発音しか適切に認識できていないためである。話者の声やイントネーションは千差万別であり、一つの発音が持つ広がりを理解するために、複数の話者の音声データを予め登録しておき、自分が苦手とするタイプの音声で集中的にを聞き取りを行える構成とすることで、話者のタイプに依存しない聞き取り能力を確立することができる。

ここで、前記発音記号表示手段が前記発音記号を表示している領域とは別の前記表示パネル上の領域に、前記操作入力手段で検知された操作入力の位置に対応する発音記号を表示する入力発音記号表示手段を更に具備すると更に良好である。ユーザ自身が入力した発音記号を別の領域に表示し続けることで、再生されている音声データがどの発音記号に係るものであるのかを確認することができる。

ここで、ユーザからの操作入力に基づいて前記音声再生手段が再生した前記音声データの音声に対応する発音記号と、前記音声再生手段が前記音声データを再生した後に前記操作入力手段で検知された操作入力の位置に対応する発音記号とが一致しているかを判定する判定手段と、前記判定手段における判定結果を表示する判定結果表示手段と、を更に具備する構成とすると更に良好である。当該構成により、音声を聞いた後、ユーザが当該音声をなぞるように発音記号を入力して適切に発音の聞き取りができていたかを確認するアウトプット型の学習を可能とすることができる。

ここで、ユーザから発せられた音声を入力する音声入力手段と、前記音声入力手段で入力された音声に対応する発音記号を特定する発音記号特定手段と、前記音声再生手段が再生した前記音声データの音声に対応する発音記号と、前記発音記号特定手段が特定した前記発音記号とが一致しているかを判定する判定手段と、前記判定手段における判定結果を表示する判定結果表示手段と、を更に具備する構成とすると更に良好である。聞いた音声と同じように自ら発音する練習を可能とすることで、リスニング能力だけではなくスピーキング能力の向上に繋げることができる。

ここで、前記表示パネルに音声再生の操作を行うための操作画面を表示する操作画面表示手段を更に具備し、前記音声再生手段は、前記操作画面表示手段が前記表示パネルに表示する前記操作画面に配置された音声再生用ボタンが押下されたことを前記操作入力手段が検知した場合に、前記音声データ記憶手段に記憶されている前記音声データを再生する構成とすると更に良好である。発音記号表とは別に再生入力を行う音声再生プレイヤー画面を設けて置くことで音声再生操作の利便性を向上させることができる。

また、本発明の別の一態様に係る語学学習補助方法は、少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示ステップと、前記発音記号表示ステップが前記表示パネルに前記発音記号を表示している位置に対する操作入力が検知された場合に、前記検知された操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生ステップと、を有する。当該構成とすることにより、ユーザは外国語の音声を聞くに当たってアルファベット表記ではなく発音をベースとして音声の再生及び聞き取りを行うため、母国語の発音体系に脳内で変換されることを防ぎつつ聞き取り能力の向上を図ることができる

また、本発明の別の一態様に係る語学学習補助プログラムは、少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示モジュールと、前記発音記号表示モジュールが前記表示パネルに前記発音記号を表示している位置に対する操作入力が検知された場合に、前記検知された操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生モジュールと、を情報処理装置に実行させる。当該構成とするプログラムが少なくとも表示パネルを有する端末装置において実行されることにより、ユーザは外国語の音声を聞くに当たってアルファベット表記ではなく発音をベースとして音声の再生及び聞き取りを行うことになるため、母国語の発音体系に脳内で変換されることを防ぎつつ聞き取り能力の向上を図ることができる。

本発明によれば、他言語のリスニング能力の強化を効率良く実現するための語学学習補助装置、語学学習補助方法、及び語学学習補助プログラムを提供する事ができる。

実施の形態１に係る語学学習補助装置１００の外観図である。 語学学習補助装置１００のハード構成を示すブロック図である。 語学学習補助装置１００の機能構成を示すブロック図である。 英語を構成する基本単位の発音記号の一覧である。 表示パネルに表示される発音記号表の一例である。 一部の発音記号のグラフィックが変更されている発音記号表の一例である。 一部の発音記号のグラフィックが変更されている発音記号表の一例である。 一部の発音記号のグラフィックが変更されている発音記号表の一例である。 一部の発音記号のグラフィックが変更されている発音記号表の一例である。 一部の発音記号のグラフィックが変更されている発音記号表の一例である。 語学学習補助装置１００の動作の流れを示すフローチャート図である。 表示パネルに表示される発音記号表の一例である。 表示パネルに表示される発音記号表の一例である。 表示パネルに表示される発音記号表の一例である。 一部の発音記号のグラフィックが変更されている発音記号表の一例である。 表示パネルに表示される発音記号表の一例である。 発音記号表の一部と実際の音声の発音との位置関係を概念的に示した図である。 実施の形態２に係る語学学習補助装置２００が表示パネルに表示する画面の一例である。 語学学習補助装置２００の構成を示すブロック図である。 音声データ記憶部に記憶されている各音声データの一覧表（管理ファイル）である。 実施の形態３に係る語学学習補助装置３００が表示パネルに表示する画面の一例である。 語学学習補助装置３００の構成を示すブロック図である。 各単語音声データと当該音声データに関連付けられる情報とを示す一覧表（管理ファイル）である。 音声再生に関する設定画面の一例である。 各単語音声データと当該音声データに関連付けられる情報とを示す一覧表（管理ファイル）である。 語学学習補助装置３００の動作の流れを示すフローチャート図である。 各単語音声データと当該音声データに関連付けられる情報とを示す一覧表（管理ファイル）である。 語学学習補助装置３００が表示パネルに表示する画面の一例である。 実施の形態４に係る語学学習補助装置４００が表示パネルに表示する画面の一例である。 語学学習補助装置４００の構成を示すブロック図である。 各音声データと当該音声データに関連付けられる情報とを示す一覧表（管理ファイル）である。 音声再生に関する設定画面の一例である。 表示パネルで表示される各情報の表示順序を模式的に示す図である。 語学学習補助装置４００の別構成を示すブロック図である。 実施の形態５に係る語学学習補助装置５００の構成を示すブロック図である。 語学学習補助装置５００の動作の流れを示すフローチャート図である。 実施の形態６に係る語学学習補助装置６００の構成を示すブロック図である。 タッチパネルにおける操作入力位置と対応する発音記号との対応関係を示す一覧表（管理ファイル）である。 語学学習補助装置６００の動作の流れを示すフローチャート図である。 語学学習補助装置６００の別構成を示すブロック図である。 実施の形態７に係る語学学習補助装置７００が表示パネルに表示する画面の一例である。 音声再生に関する設定画面の一例である。 語学学習補助装置７００の構成を示すブロック図である。 ユーザが指で操作入力を行っている場合における語学学習補助装置７００が表示パネルに表示する画面の一例である。 語学学習補助装置７００の動作の流れを示すフローチャート図である。 実施の形態８に係る語学学習補助装置８００の構成を示すブロック図である。 語学学習補助装置８００の動作の流れを示すフローチャート図である。 語学学習補助装置８００の別構成を示すブロック図である。 語学学習補助装置８００が表示パネルに表示する画面の一例である。 語学学習補助装置８００が表示パネルに表示する画面の別の一例である。 語学学習補助装置８００を含む語学学習補助システムの構成を示すブロック図である。 実施の形態９に係る語学学習補助装置９００の構成を示すブロック図である。 語学学習補助装置９００が表示パネルに表示する画面の一例である。 語学学習補助装置９００の別構成を示すブロック図である。 語学学習補助装置９００の別構成を示すブロック図である。 表示パネルに表示される発音記号表の一例である。 本発明の語学学習補助装置を含む語学学習補助システムの一例を示すブロック図である。 各発音記号と対応する単語の一覧表（管理ファイル）である。 表示パネルに表示される発音記号表の一例である。 本発明の語学学習補助装置１０００の構成を示すブロック図である。 発音記号表上で選択された発音記号に対応し得るアルファベット表記や単語を表示した画面の一例である。 アラビア語における名前と日本語における名前との距離関係を概念的に説明する図である。 英語における名前と日本語における名前との距離関係を概念的に説明する図である。 脳内で外国語が処理される過程を概念的に説明する図である。 脳内で母国語が処理される過程を概念的に説明する図である。 日本語を構成する日本語発音表の一例である。 アルファベット表記と発音記号と意味（訳）との対応を説明する図である。 英語アルファベットと日本語とが対応付けられた日本語発音表の一例である。 現在の語学教育の流れと、本発明が提案する語学教育の流れとの違いを説明する図である。

以下、本発明の各実施の形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。

（実施の形態１）
図１は本発明の実施の形態１に係る語学学習補助装置１００の外観図の一例である。語学学習世所装置１００は、所謂タブレット型携帯端末装置であり、少なくとも、画面を表示する表示パネル１０１と、ユーザからの操作入力を受けるタッチパネル部１０２と、音声を出力するスピーカー１０３と、を具備する。

なお、ユーザからの操作入力を受ける形態としてはタッチパネルに限定されるものではなく、別途装置に接続するポインティングデバイスで入力を行っても良い。以下の説明では、これらタッチパネルやポインティングデバイスを纏めて、ユーザからの操作入力を受ける操作入力部と称する。

図２は、語学学習補助装置１００のハード構成を示すブロック図である。語学学習補助装置１００は、語学学習補助用のプログラムや各種データを記憶する補助記憶装置であるＨＤＤ（Hard Disk Drive）１０４と、当該プログラムを実行する情報処理装置であるＣＰＵ（Central Processing
Unit）１０５と、当該ＣＰＵ１０５が実行するプログラムや各種データを一時的に記憶しておく主記憶装置であるＲＡＭ（Randam Access memory）１０６と、がバスを介して接続されている。以下の説明では、補助記憶装置と主記憶装置とを纏めて単に記憶装置又は記憶部と称することがある。

また、語学学習補助装置１００は、ユーザの音声を入力するマイクロフォン１０７、語学学習補助用プログラムや語学学習補助用データを外部サーバからダウンロードする無線通信ユニット１０８、装置１００本体の傾きや加速度を検出するセンサー群１０９などが必要に応じて配置される。その他、必要に応じて、語学学習補助用プログラムや語学学習補助用データを記憶した外部ＰＣや外付け記憶媒体と接続する接続コネクターや、ヘッドフォンやイヤフォンを接続するイヤフォンジャックなどが適宜配置される。

次に語学学習補助装置１００の機能について説明する。図３は、語学学習補助装置１００の機能を示すブロック図である。語学学習補助装置１００は、表示パネル１０１と、タッチパネル部（操作入力部）１０２と、スピーカー１０３と、音声データ記憶部１１０と、音声再生部１２０と、発音記号表示部１３０と、表示変更部１４０と、を具備する。

音声データ記憶部１１０は、学習の対象となる言語の音声データを記憶する。以下の説明では、学習の対象となる言語を第１言語と称し、ここでは第１言語が英語であるとする。また、学習者が既に習得している言語を第２言語と称し、ここでは第２言語が日本語であるとする。一般的に、勉強効率の観点から第２言語は学習者の母国語となるようにしておくことが好ましい。また、以下の説明では、本発明の語学学習補助装置１００を利用して語学学習を行う学習者を単にユーザと称することがある。

音声データは、第１言語である英語を母国語とするネイティブスピーカーに英語を構成する子音、母音、及び、子音と母音の組み合せを発音してもらい、収録（収音）したデータである。ここで、子音とは、口の中で空気の流れを妨害する事で発生する音であり有声音と無声音がある。また、母音とは、声帯の震え伴う有声音を言う。

英語を形作る子音と母音の数については、分類学上様々な説があるが、本明細書では、子音を図４に示す２４個（無声音９個、有声音１５個）、母音を２６個とする分類法に従って説明する。但し、この分類法に従う必要は無く、適宜適切な分類法に置き換えて本発明を利用するすることが可能である。

英語は、図４に示した２４個の子音単独の発音、２６個の母音単独の発音、及び、これらの子音と母音との組み合せの発音によって構成されている。但し、英語において、上記子音と母音とが結びつかないパターンもある。図４のように、一つの母音の発音中に調音を変える二重母音や三十母音も母音の一種として説明する。また、便宜上、以下の説明では子音と母音の組み合せの音を一般発音と称する。また、以下の説明では、子音、母音、一般発音を英語を構成する発音の単位となるものとして発音単位又は単位発音と称する。

また、本明細書では、表記の関係上、上記発音記号を図４に示す＃０１〜＃２４、＄０１〜＄２６と言うように表記する場合がある。従って、以下の説明で＃０５や＄１２と言う形で表記されている部分は、図４の対応テーブルを参照してどの発音記号を示しているかを適宜確認されたい。

図３に戻り、音声データ記憶部１１０は、第１言語である英語における子音の発音の音声データ、母音の発音の音声データ、及び、英語で用いられる子音と母音の組合せである一般発音の音声データを記憶する。以下の説明では、これら第１言語を構成する単位となる発音の音声データを特に発音音声データと称することがある。

音声データ記憶部１１０は、具体的には上述したＨＤＤ１０４やＲＡＭ１０６などの記憶装置に該当する。

ここで、音声データ記憶部１１０は、第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する。

音声データ記憶部１１０が記憶する音声データは、ｍｐ３やｗａｖなど所定のフォーマットに従って発音毎に個別のファイルとして記憶されている事が好ましい。但し、１つの共通ファイルとして記憶しておく事も可能である。例えば、当該共通ファイル内の各発音の再生位置を管理しておき、指定された発音の再生位置にジャンプしてロードできる構成であれば共通ファイル形式とすることも可能である。

次に、音声再生部１２０について説明する。音声再生部１２０は、操作入力部であるタッチパネル部１０２で受けたユーザからの音声再生操作（音声再生指示）に基づいて音声データを再生する。ユーザは、タッチパネル部１０２を用いて聞きたい発音を指定して音声再生指示を入力し、音声再生部１２０は、当該指定された発音の音声データを音声データ記憶部１１０から読み出して再生する。音声再生部１２０で再生された音声は、スピーカー１０３より発せられる。

発音記号表示部１３０は、少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネル１０１に表示すると共に当該第１言語における母音の発音記号を第２の方向に並べて表示パネル１０１に表示する。具体的には、発音記号表示部１３０は、子音と母音の発音記号の文字データをＨＤＤ１０４から読み出して表示パネル１０１に表示する。なお、当該文字データは、アイコン形式の画像データとしてＨＤＤ１０４に記憶されていると良い。

図５は、発音記号表示部１３０が各発音記号を表示した表示パネル１０１を示している。図５において、発音記号表示部１３０は、横方向（水平方向）に各子音の発音記号である子音発音記号を、縦方向（垂直方向）に各母音の発音記号である母音発音記号をそれぞれ並べて表示している。

また、発音記号表示部１３０は、当該子音と母音の組み合せの発音である一般発音の位置の視認を容易とするよう、各子音の列と各母音の段に補助線を表示している。図５では、発音記号表示部１３０は、背景の色と異なる補助線を各子音の列と各母音の段に表示する事で、格子状の表が表示される。以下の説明において、図５に示す第１方向に子音の発音記号が、第２方向に母音の発音記号が配置された表を発音記号表１８０と称する。

また、図５に例示する発音記号表１８０では、一般発音の位置にあたる各子音の列と各母音の段との各交点に一般発音用のアイコンがそれぞれ表示されている。図５では、発音記号表示部１３０は、表示パネル１０１上における隣り合う発音との距離と比べて半分以下の直径を持つ小さな円のアイコンとして子音の列と母音の段との交差点位置に表示する。当該アイコンは、この位置における発音記号を暗示的に示している。

これら子音発音記号や母音発音記号の文字データ、補助線の補助線データ、及びアイコンの一般発音アイコンデータと言った画像データは、上述の記憶装置内に記憶されている。これらの文字データ等を纏めて発音記号表１８０を構成するためのデータとして発音記号表データと称する。発音記号表示部１３０は、記憶装置内に記憶されている各発音記号表データを読み出して予め指定されたフォーマットに従って表示パネル１０１上の所定位置に表示する。

次に、表示変更部１４０について説明する。表示変更部１４０は、発音記号表示部１３０が表示している発音記号のうち、音声再生部１２０で再生中の音声データの音声に対応する発音記号のグラフィックを変更する。

具体的には、表示変更部１４０は、基本状態として発音記号表示部１３０が表示している各発音記号のうち、音声再生部１２０で再生中の音声データの音声に対応する発音記号のグラフィックをより目立つようにして表示する事で、ユーザに対して現在スピーカー１０３から発せられている音声の発音の発音記号を、表示パネル１０１を通して視認できるようにする。

表示変更部１４０が行うグラフィックの変更として、発音記号表示部１３０が表示している発音記号のうち、音声再生部１２０で再生中の音声データの音声に対応する発音記号の色を変えて表示する構成とすることで、ユーザは、現在聴いている発音を視認することができるため良好である。

また、表示変更部１４０が行うグラフィックの別の変更方法としては、発音記号表示部１３０が表示している発音記号のうち、音声再生部１２０で再生中の音声データの音声に対応する発音記号を拡大して表示する構成とすることで、ユーザは、現在聴いている発音を視認することができるため良好である。

具体的には、記憶装置内に、グラフィック変更後の発音記号の文字データを記憶しておき、表示変更部１４０は、音声再生部１２０で再生中の音声データの音声に対応する発音記号の文字データを読み出して、発音記号表示部１３０が表示している発音記号の文字データと置き換える。

図６は、＃１６の子音の音声データが再生されている場合に、発音記号表示部１３０が発音記号表において表示している発音記号のうち、＃１６の発音記号の色を表示変更部１４０が変更して表示することで、当該発音記号のグラフィックを変更している様子を示している。また、図６では、色の変更に加えて、表示変更部１４０は、＃１６の発音記号の大きさを拡大して表示している。

また、図７は、＄１５の母音の音声データが再生されている場合に、発音記号表示部１３０が発音記号表において表示している発音記号のうち、＄１５の発音記号の背景色を表示変更部１４０が変更して表示することで、当該発音記号のグラフィックを変更している様子を示している。

また、図８は、＃０３の子音と＄０８の母音との組み合せである一般発音の音声データが再生されている場合に、当該一般発音の発音記号表上における位置である＃０３の列と＄０８の段との交差点位置のグラフィックを表示変更部１４０が変更している様子を示している。図８では、表示変更部１４０が、発音記号表示部１３０が表示している一般発音のアイコンを、色を濃くして大きさを拡大した一般発音アイコンに変更して表示することで再生中の音声データに対応する発音記号のグラフィックを変更している。具体的には、表示変更部１４０は、当該交差点位置に配置されている一般発音アイコンを、再生中の一般発音であることを示す再生中一般発音アイコンに置き換えて表示する。

ここで、図８のように発音記号が表示された位置付近の一般発音については、表示変更部１４０が行う処理によりアイコンが拡大、色の変更、形状の変更等により強調されて表示される事で対応する発音記号が目に入ることにより発音の音声が聞こえているかをユーザは容易に認識できる。しかしながら、発音記号の場所から比較的離れた位置の一般発音アイコンを表示変更部１４０が変更しただけでは、どの発音記号であるのかを認識し辛くなる。

そこで、表示変更部１４０は、図９に示すようにグラフィックを変更すると、ユーザはどの発音記号の音声であるかを認識しやすくなるため好ましい。図９において、表示変更部１４０は、音声再生部１２０が再生中の一般発音に対応する位置のグラフィックを変更する事に加えて、当該一般発音を構成する子音の列を示す補助線と母音の段を示す補助線のグラフィックを変更する。

図９では、表示変更部１４０は、当該一般発音を構成する子音を示す補助線及び母音を示す補助線の太さや色を変更して表示している。これらの表示変更用補助線データも記憶装置に記憶されており、表示変更部１４０は、発音記号表示部１３０が表示している各子音の列を示す子音補助線と母音の段を示す母音補助線のうち、音声再生部１２０が再生中の一般発音の音声データに係る子音の列を示す子音補助線と母音の段を示す母音補助線を、表示変更用補助線に置き換えて表示する。具体的に図９では、音声再生部１２０で再生中の音声データの一般発音が＃２０と＄１５との組み合せの発音であるため、表示変更部１４０は、記憶装置に記憶している表示変更用補助線データを読み込み、発音記号表示部１３０が表示している当該＃２０の子音の補助線と＄１５の母音の補助線を、それぞれ表示変更用補助線に置き換える。

また、図９では、表示変更部１４０は、補助線先にある当該＃２０の子音の発音記号部分と＄１５の母音の発音記号部分のグラフィックも併せて変更している。このように、補助線や音声再生中の一般発音を構成する子音と母音の発音記号部分のグラフィックを併せて変更する事で、ユーザは、自身が聞いている発音の発音記号を認識し易くなる。

また、表示変更部１４０は、１０のように再生中の音声データに対応する発音記号のグラフィックを変更すると聞いている発音を認識し易くなるため更に良好である。図１０では、音声再生部１２０が再生中の一般発音に対応する位置に配置されているアイコンを、当該再生中の一般発音の発音記号を含むアイコンに置き換えて表示することで、再生中の音声データに対応する発音記号のグラフィックを変更している。

図１１は、本実施の形態１に係る語学学習補助装置１００の動作を示すフローチャート図である。まず語学学習補助装置１００が起動されると、発音記号表示部１３０は、子音の発音記号を第１方向に並べ、母音の発音記号を第２方向に並べた発音記号表を表示パネル１０１に表示する（ステップＳ１０１）。

次に、音声再生部１２０は、タッチパネル部１０２でユーザからの音声再生操作を受けたかを判定する（ステップＳ１０２）。

タッチパネル部１０２で音声再生操作を受けてない場合は、音声再生部１２０は待機する。一方、タッチパネル部１０２で音声再生操作を受けた場合は、音声再生部１２０は、音声データ記憶部１１０に記憶されている言語における各発音のうち、音声再生操作で指定された発音の音声データを読み込む（ステップＳ１０３）。

続いて、音声再生部１２０は、ステップＳ１０３で読み込んだ音声データを所定のＣｏｄｅｃに従って再生し、音声アナログ信号に変換してスピーカー１０３に送る（ステップＳ１０４）。当該音声データはスピーカー１０３で電気信号から空気振動に変換されて装置外部に発せられる。

次に、表示変更部１４０は、ステップＳ１０１で発音記号表示部１３０が表示パネル１０１に表示している発音記号のうち、ステップＳ１０４で音声再生手部１２０が再生中の音声データの音声に対応する発音記号のグラフィックを変更する（ステップＳ１０５）。各音声データには、当該音声データの発音に対応する発音記号の画像データが関連付けられており、表示変更部１４０は、当該発音記号の画像データを表示パネルに表示する事で上記グラフィックを一時的に変更する。

ステップＳ１０４における音声再生が終わった場合は、表示変更部１４０は、ステップＳ１０５においてグラフィックを変更して表示パネル１０１に表示している再生中の発音記号を元のグラフィックに戻してステップＳ１０２に戻り、次の音声再生操作が入力されるのを待つ（ステップＳ１０６）。

以上のように、聴覚による発音と視覚による発音記号とを同時にユーザに提示する事で、発音と発音記号が脳内で結合され、発音を聞いたときの認識レベルを深める事が出来る。

ここで、本発明では、表示パネル１０１に発音記号を表示する際に、子音の発音記号を第１の方向に並べ、母音の発音記号を第２の方向に並べた２次元状の発音記号表を表示することを大きな特徴とする。そして、記憶部には音声データが当該音声データに含まれる音声に対応する発音記号と関連付けられた状態で記憶されており、上記発音記号表において再生される音声データの音声に対応する発音記号のグラフィックが変更される構成を取る。

人間の脳は言語処理をつかさどる左脳と空間認識をつかさどる右脳とから構成される。人間が持つセンサーである視覚、聴覚、嗅覚、味覚、触覚の五感で受けた外界からの信号を左脳か右脳かの単独で処理する場合よりも、左脳と右脳の協調でこれらの信号が処理されることにより、物事に対する認識・理解が向上する。スピーカー１０３から発せられる発音に対応する発音記号の文字を単に表示パネル１０１に表示するだけでは、聴覚で受けた英語の音声と視覚で受けた英語の発音記号表記が共に左脳で処理されるため、音とイメージとの脳内での結びつきが強化されにくく、語学学習の向上が思うように捗らないと言う問題がある。

これに対し、本発明では、聴覚で受ける発音が左脳で主に処理される一方、視覚で受ける発音記号は、２次元状の画像データ、すなわち、表示パネル１０１で表示されている発音記号表内における位置と共に強く結びつき、右脳で処理される割合が高まる。従って、左脳と右脳の協調により、認識能力が向上する。

すなわち、表示変更する図５に例示する発音記号表を見ながら音声を聞き続けることで、例えば＃２の子音の発音音声を聞いたときに、表示変更部１４０が図６〜図１０のように表示パネル１０１に表示している発音記号表における該当位置のグラフィックを変更する事で、脳内で再生された発音記号表の右側の方にイメージされ、＄２０の母音の音声を聞いたときに、発音記号表の下側の方にイメージされる。そして、このトレーニングを積む事で、脳内に発音記号表がより鮮明に想起され、発音を聞くことで対応する発音記号とその発音記号表内の位置が脳内に浮かび上がるようになる。従って、このトレーニングを積む事で、従来の勉強方法と比較して耳で聞いている音の意味ある音として捉えられるようになる。

このように、これまで日本で行われていた英語教育は、第１段目にあたる初等教育において日本語をアルファベット表記で表すという教育を行うため、図６６に示した日本語の間違った発音記号表が脳内に形成される。そして、中等教育で本格的な英語のヒアリングを行う場合に、初等教育時に脳内に形成した図６８に示す日本語を単にアルファベット表記に置き換えた発音記号表に従って英語の聞き取りを行おうとする癖がついてしまっている。

そうすると、例えば“Rain”の発音と“Lain”の発音は、共にレインと言う音に集約されてしまい、会話の意味をとるために脳内での複雑な推測処理が増える事になり、会話速度に脳内の理解速度が追いつかなくなって聞き取りが出来なくなってしまっている。

そこで、本発明の語学学習補助装置１００では、英語を日本語に置き換えた発音記号表ではなく、英語でそのまま用いられる発音記号表を表示パネル１０１に表示し、スピーカー１０３から流れる音と同期して対応する発音記号をユーザに提示することを可能とすることで、聴覚と視覚の結びつけを補助し、英語を日本語の発音に置き換えるのではなく、そのまま理解することを促進する事ができる。そして、この語学学習補助装置１００では、発音記号表という２次元状のテーブルである発音記号表を表示し、音声と同期して対応する発音位置にグラフィック変更を施すことを特徴とする。このことにより、脳内において空間認識を担当する右脳が活性化され、音と発音記号の文字だけではなく、音と発音記号の位置との結びつきも強化されていくため、英語の音を聞いた場合に意味ある音として捉えることができるようになる。

このように本発明の語学学習補助装置１００を利用して語学学習を行うことで、適切な発音の聞き取り能力を習得することができ、英語コンプレックスがなくなってより多くの日本人が国際的な舞台でより適切に仕事ができるようなり、グローバリゼーションに対応する事ができる。ひいては、日本の国益に叶う事になる。

なお、上記説明では、発音記号表は一例であり、別の形態の発音記号表を用いても良い。例えば、図１２に例示する発音記号表では、英語を構成する子音のうち、日本人にとって問題となり易い一部の子音を横方向に並べて表示している。また、母音についても、日本人にとって２重母音や３重母音の聞き取りが容易であるため、一部の母音について縦方向に並べて表示している。日本人が特に迷い易い発音に特化して発音記号表を形成し、当該発音記号表含まれる発音記号の音声が再生された場合に、表示変更部１４０が当該発音記号のグラフィックを変更する。このように構成することで、ユーザが聞いた音声について迷い易い状況においてのみ発音記号表を用いて補助することで効率的なリスニングのトレーニングを行うことができる。

また、子音と母音の発音記号の表記方向は直交している必要は無く、図１３のように傾きを設けた発音記号表を用いる事も可能である。

また、図１４に示す発音記号表を表示する構成としても良い。発音記号表示部１３０が表示パネル１０１に表示する図１４に例示する発音記号表では、子音と母音の組み合せである一般発音の発音記号を各桝目に予め表示している。すなわち、発音記号表示部１３０は、各子音の列と各母音の段の交差点に位置する枠に当該子音と母音の組み合わせである一般発音の発音記号を表示する。

そして、表示変更部１４０は、音声再生部１２０が再生中の音声データの一般音声に対応する発音記号のグラフィックを変更して表示する。図１５では、＃０１と＄１１との組み合せからなる発音記号で表される一般発音の音声が音声再生部１２０で再生されており、表示変更部１４０は、当該＃０１の列と＆１１の段の交点に表示されている発音記号を拡大し、また、背景色を変更する事で当該発音記号のグラフィックを変更している。

このように、発音記号表示部１３０が表示パネル１０１に表示する発音記号表としては、図５のように一般発音の発音記号を暗示的に表示する発音記号表だけではなく、図１２や図１４のような一般発音の発音記号を明示的に表示する発音記号表を用いる事も可能である。特に、表示する子音や母音の数を限定する場合には、表示スペースに余裕ができるため、図１２や図１４のようにコンパクト化した発音記号表を用いると見易くなる。

なお、図１６のように長母音を削って更にコンパクト化した発音記号表を用いる事も可能である。長母音の音声の発音記号のグラフィックを変更する場合は、当該長母音に対応する短母音及び延長記号のグラフィックを変更する事で示す事ができる。

また、図１６のように、混同を起こし易い発音記号を発音記号表内の離れた位置に配置すると更に良好である。図１６では、日本人にとって問題になり易い“ｒ”と“ｌ”をそれぞれ発音記号表の中央から見て逆側となるように配置している。図１６では、当該“ｒ”を“ｒｉｇｈｔ”を連想させる右端に配置し、“ｌ”を“ｌｅｆｔ”を想起させる左端に配置している。従って、“ｒ”がつく音声が流れた場合は発音記号表の右側のグラフィックが変わり、“ｌ”がつく音声が流れた場合は、発音記号表の左側のグラフィックが変わることが視覚を通じて脳内に送られてくる。

このような発音記号表を用いてトレーニングを重ねていく事で“ｌ”の発音の音声が聴こえた場合は、脳内に形成された発音記号表で左側の方のグラフィックが変わる事が想起され、“ｒ”の発音の音声が聴こえた場合は、脳内に形成された発音記号表で右側の方のグラフィックが変わることが想起される。このように、音がイメージとして捉えることができるようになり、“ｒ”と“ｌ”を区別することが容易に出来るようになる。

このことは、図１４のように“ｒ”と“ｌ”が隣り合って配置されている場合よりもより効果が高まる。
“ｒ”と“ｌ”や“ｂ”と“ｖ”など似通っている発音記号は、日本語の発音と関連付けるため隣り合う位置や、１、２列（段）離れているだけなど、比較的近い位置に配置されて説明したくなる。しかしながら、これら似通っている２つの発音を明確に別の発音であるとして認識するために、発音記号表で離れた位置に配置する形態をとるとこれらを分離して認識する効果が向上して良好である。

なお、上記説明では、子音を横方向に、母音を縦方向に表示する場合について説明したが、これに限定されるものではなく、母音を縦方向に、子音を横方向に表示しても良い。母音と子音の数が異なるため、表示パネル１０１のサイズに合わせて方向を調整して表示すると良い。

図５〜図１０、図１２〜図１６に示した表示パネル１０１で表示される発音記号表において、当該発音記号や対応するアイコンを押下することで当該押下した位置に対応する発音記号の音声を再生する事が出来る。すなわち、当該押下を行う事により、タッチパネル部１０２より音声再生部１２０に音声の再生指示とどの音声データの再生指示であるかを示す信号が送られ、音声再生部１２０は、音声データ記憶部１１０に記憶されている音声データのうち、指定された音声データを読み込んで再生する。

また、図５〜図１０、図１２〜図１６に示した表示パネル１０１で表示される発音記号表に示されている発音記号やアイコンの位置は、実際に使用されない子音と母音の組み合せも表記しているが、このような実際に用いられない一般発音を示す発音記号や当該位置のアイコンは表示しない構成としても良い。例えば、英語において＃１８＄２６の一般発音は用いられないので、発音記号表においてこの発音記号部分は発音記号を示すアイコンを配置せず、空白にしておくと良い。

また、上記説明した各機能はＣＰＵ１０５が語学学習用プログラムを実行することで実現しても良い。この場合、当該語学学習用プログラムは、少なくとも第１言語における子音の発音記号を第１の方向に、母音の発音記号を第２の方向にそれぞれ並べて表示パネルに表示する発音記号表示モジュールと、語学学習者が行う音声再生のための操作入力に基づいて音声データを再生する音声再生モジュールと、発音記号表示モジュールが表示パネルに表示している発音記号のうち、音声再生モジュールが再生する音声データの音声に対応する発音記号のグラフィックを変更する表示変更モジュールと、をＣＰＵに実行させるプログラムとなる。

また、当該プログラムにおいて表示変更モジュールは、所定の期間グラフィックを変更した後に、元のグラフィックに戻す構成としておくと更に良い。

（実施の形態２）
実施の形態１で説明したように、本発明の語学学習補助装置１００は、耳で聞こえる英語の音声を、話者が意図して話している発音記号に落とし込んで音を認識することを補助する。

ここで、当然のことながら音声は話者によって異なる。従って、適切にリスニングをするには、これらさまざまなバリエーションで発せられる音声を脳内で一意に話者が意図した発音記号に収束させる必要がある。

図１７は、このことを説明するための図であり、図１２の一部分を拡大したものである。理想的な音声の＃９と＄３からなる一般発音の位置が２０１で示される位置であるとした場合、実際の音声は、２０２ａ〜２０２ｊで示されるように理想の発音からずれた発音になる。しかしながら、これらの音声はすべて話者が＃９と＄３からなる一般発音を意図して発しているため、聞き手は、これらすべての音声を、比較的近い発音である２０３〜２０６の発音記号ではなく２０１の発音記号に脳内で落とし込まなければならない。

例えば、２０２ｄで示される音声は、なまりなどの影響により＃９と＄２の発音にも比較的近い位置にある。従って、理想的な音声によるリスニング練習だけでは、２０２ｄのような曖昧な音声が聴こえた場合、２０３の発音記号に落とし込むべきか２０１の発音記号に落とし込むべきかを脳内で推測する処理が発生する。このことは、無駄な処理によるタイムラグを生じたり、また誤った発音記号として認識してしまうといった問題が発生する。

このようなことは、私達が体感するカナダ人の発音は聞き取り易いがイギリス人の発音は聞き取りにくいと言った問題や、〜〜地方の発音はアクセントが強くて聞き取りにくいと言った問題と密接に結びついている。

以上の点を考慮に入れ、本実施の形態２に係る語学学習補助装置２００は、理想的な発音をする人以外の会話も柔軟に聞き取れるトレーニングを行える構成とすることを更に特徴としている。以下、図面を参照して詳細に説明する。なお、語学学習装置２００の外観は図１を引用して説明する。

図１８は本発明の実施の形態２に係る語学学習補助装置２００の表示パネル１０１で表示される画面の一例である。表示パネル１０１の一部の領域に、発音記号表１８０が表示され、他の領域に、プレイヤー画面２８０と設定画面２９０とが表示されている。

プレイヤー画面２８０は、音声の停止ボタン、一時停止ボタン、再生ボタンを操作するための画面であり、タッチパネル部１０２における当該ボタン部分を押下することで、音声の再生操作等を入力する事が出来る。なお、実施の形態１と同様、発音記号表示部１３０が表示している発音記号表１８０の発音記号部分やアイコン部分を押下することによっても、対応する音声データを再生する事ができる構成をとる。

設定画面２９０は、再生する音声データの種類や再生条件を設定するための画面である。図１８の例では、カナダ人の青年であってなまりが無い女性の一人目の音声を収録した音声データを再生するように設定されていることを示している。また、再生操作が行われた場合に、同一音声データを３回繰り返して再生することや、再生速度を普通の速度で再生する事が設定されている。また、複数の発音を続けて再生していく場合に、ランダムに再生する音声の発音が選択されるのではなく、予め登録された順番通りに再生していく事が設定されている。

図１９は、語学学習補助装置２００の構成を示すブロック図である。語学学習補助装置２００は、語学学習補助装置１００に加えて、設定画面表示部２１０と、音声再生設定部２２０と、設定情報記憶部２３０と、を具備する。

設定画面表示部２１０は、上述した設定画面２９０を表示パネル１０１に表示する。当該設定画面２９０の画像データは、記憶装置に記憶されており、設定画面表示部２１０は、当該記憶装置に記憶されている画像データを読み出して表示パネル１０１に表示する。

音声再生設定部２２０は、タッチパネル部１０２で受けた音声再生設定に関する操作入力に基づいて音声再生設定を行う。具体的には、表示パネル１０１に表示している設定画面２９０においてユーザが押下した内容を設定情報として設定情報記憶部２３０に格納する。

音声再生設定部２２０は、設定する情報として話者の国籍、性別、年齢、アクセントの有無・強弱、話者の番号、を再生する音声データの種類として設定する。また、音声再生部１２０が音声データを再生する回数、再生速度、再生順序等を設定情報として設定する。

設定情報記憶部２３０は、音声再生設定部２２０で設定された内容を設定情報として記憶する。当該設定情報は、設定画面表示部２１０や音声再生部１２０によって参照される。

音声データ記憶部１１０は、複数の話者の音声データを記憶する。図２０は、音声データ記憶部１１０に記憶されている各音声データの一欄を示している。

各音声データは、当該音声データの発音を示す発音記号、当該発音のアルファベット表記、当該音声データの話者の国籍、性別、年齢、なまりの有無・強弱、話者の番号（声番号）と関連付けて音声データ記憶部１１０に記憶されている。例えば、Ｎｏ００００１の音声データである“D001_US_M_Child_No_V01.wav”は＃１９＄０３で表記される発音記号の音声データであり、アメリカ人の男の子であって、なまりが無い１人目の子供の発音を収録した音声データであることを示している。

このように、音声データ記憶部１１０は複数の人（話者）の音声を個別の音声データとして収録している。また、設定情報記憶部２３０は、当該音声データ記憶部１１０に音声データが収録されている人のうち音声再生設定部２２０で設定された人の情報を設定情報として記憶しておく。音声再生部１２０は、タッチパネル部１０２で受けたユーザからの音声再生操作に基づいて、予め再生する音声データとして設定されている（指定されている）音声データを再生する。

なお、音声再生設定部２２０は、音声データ記憶部１１０で記憶されている音声データの話者のうち、音声再生部１２０で再生する音声データの話者を指定するものであるため、本明細書内においては指定部と称することがある。

音声再生部１２０は、タッチパネル部１０１で受けたユーザからの音声再生操作に基づいて音声データ記憶部１１０に記憶されている複数の話者による音声データのうち、指定部２２０で指定された話者の音声データを再生する。

また、上述のように音声再生設定部２２０は、音声再生部１２０で再生する音声データの再生回数（リピート回数）や再生速度を設定する。音声再生部１２０は、タッチパネル部１０１で受けたユーザからの音声再生操作に基づいて音声データ記憶部１１０に記憶されている複数の話者による音声データのうち、指定部（音声再生設定部）２２０で指定された話者の音声データを、上記設定された再生速度でリピート回数分に渡って繰り返し再生する。

ここで、発音記号表示部１３０が表示している発音記号表の発音記号の部分や発音記号に該当するアイコン部分がタッチパネル部１０２で押下された場合に、音声再生部１２０は、音声データ記憶部１１０に記憶されている複数の話者による音声データのうち、指定部２２０で指定された話者の音声データであってタッチパネル部１０２を介してユーザから指定された発音に対応する音声データを再生する。

以上のように、本実施の形態２に係る語学学習補助装置２００は、音声データ記憶部１１０は、複数の話者による音声データを記憶する。語学学習補助装置２００は、音声データ記憶部１１０で記憶されている音声データの話者のうち、音声再生部１２０で再生する音声データの話者に関する設定を行う音声再生設定部２２０を更に具備する。音声再生部１２０は、操作入力部１０２で受けたユーザからの音声再生操作に基づいて音声データ記憶部１１０に記憶されている複数の話者による音声データのうち、音声再生設定部２２０で設定された話者の音声データを再生する。

このように構成することで、複数の音声で各発音を聴覚と視覚で確認できる事により、各発音のばらつきを認識する事が出来る。

ここで、ユーザは特定の発音記号に対するトレーニングを行いたい場合は、当該発音記号を指定した上で音声再生指示を操作入力部１０２へ入力する。そこで、音声再生部１２０は、音声データ記憶部１１０に記憶されている複数の話者による音声データのうち、音声再生設定部２２０で設定された話者の音声データであって操作入力部１０２を介してユーザから指定された発音に対応する音声データを再生する。このようにすることで、特定の話者の発音について集中的にトレーニングを行うことが可能となる。

また、音声再生設定部２２０は、音声再生部１２０で再生する音声データのリピート回数と再生速度とを更に設定する構成としておくとユーザに適したトレーニング環境を提供する事が出来るため更に好ましい。ある程度効果が見えてきたユーザは、再生速度を速めて速い会話速度でも適切に発音を認識できるようなトレーニングを求めるためである。

この場合、音声再生部１２０は、操作入力部１０２で受けたユーザからの音声再生操作に基づいて音声データ記憶部１１０に記憶されている複数の話者による音声データのうち、音声再生設定部２２０で設定された話者の音声データを、当該音声再生設定部２２０で設定された再生速度で前記リピート回数再生する。

また、音声再生部１２０は、再生設定部２２０で設定された再生回数分、異なる話者の音声データをランダムに選択して再生できる構成とすると更にトレーニング効果が高まるため好ましい。

この場合、設定場面２９０でランダム再生を設定する項目を更に設けておく。例えば、当該ランダム再生が選択されて設定されている場合であって、再生回数が５回に選択されているとする。この場合、音声再生部１２０は、タッチパネル部１０２を介してユーザから指定された発音に対応する音声データを、音声データ記憶部１１０に記憶されている複数の話者による当該発音に対応する音声データの中から５回ランダムに選択して再生する。

従って、ユーザは、図１８で表示パネル１０１に表示されている発音記号表の中で特にトレーニングを積みたい発音にリンクされている発音記号又は一般発音アイコンを指定する事で、当該指定された発音の音声データを設定画面２９０から設定されている再生回数分ランダムに話者を選択して再生する。このようにすることで、苦手な発音を複数の人の音声でランダムに繰り返し聞くことができるため、効率よくトレーニングを積む事ができる。

（実施の形態３）
英語を構成する各発音記号の発音は、単語の文頭、文中、末尾にくるか等の要因で微妙に変化する。従って、英語を構成する各単位発音の音声データだけではなく、実際に英語で用いられる単語を用いてトレーニングする構成とすることがリスニング能力を向上させる上で好ましい。本実施の形態３に係る語学学習補助装置３００は、単語の正確な発音を聴覚と視覚を使って理解する事を補助することを特徴とする。以下、図面を参照して詳細に説明する。但し、実施の形態１、２で既に説明した部分については一部説明を省略する。

図２１は、本実施の形態３に係る語学学習補助装置３００の表示パネル１０１に表示される画面の一例を示している。表示パネル１０１には発音記号表１８０と、音声プレイヤー２８０と、設定画面２９０と、モードを設定するモード設定画面３９０と、単語を検索する検索欄３９１と、再生されている単語の発音記号を表示する発音記号欄３９２と、再生されている単語のアルファベット表記を表示するアルファベット表記欄３９３と、再生されている単語の日本語訳を表示する翻訳表示欄３９４と、が表示されている。また、表示パネル１０１には、検索した単語の音声データを再生するための再生アイコン３９５が表示されている。なお、以下の説明では、発音記号欄３９２は、２次元状に発音記号を並べた発音記号表１８０とは別に、再生される音声の発音記号を表示する領域であるため、第２発音記号表示欄と称することがある。

図２１では、現在のモードが単語モードであり、ユーザは“ｂｅａｕｔｉｆｕｌ”という単語を３９１の単語検索欄に入力することで検索している。表示パネル１０１には、当該検索された単語の発音記号やアルファベット表記、日本語訳が表示されている。

また、後述するように、単語モードでは、設定画面２９０より設定された条件に従って、単語の音声データを連続して再生する機能を有する。

図２２は、語学学習補助装置３００の構成を示すブロック図である。語学学習補助装置３００は、表示パネル１０１と、操作入力部（タッチパネル部）１０２と、スピーカー１０３と、音声再生部１２０と、発音記号表示部１３０と、表示変更部１４０と、設定画面表示部２１０と、音声データ記憶部３１０と、文字・画像データ記憶部３２０と、設定部３３０と、設定情報記憶部３４０と、単語検索部３５０と、再生制御部３６０と、単語表示部３７０と、を具備する。

音声データ記憶部３１０は、英語の音声データを当該音声データの音声に対応する発音記号等と関連付けて記憶する。音声データ記憶部３１０が記憶する音声データには、英語を構成する各発音の音声を収録した発音音声データの他に、英語で用いられる単語の音声を収録した単語音声データがある。

発音音声データは、対応する発音記号と関連付けて記憶されている。また、単語音声データは、当該単語に対応する発音記号やアルファベット表記、日本語訳等と関連付けられて記憶されている。なお、発音音声データも当該発音音声データの音声に対応し得るアルファベット表記と更に関連付けて記憶される構成としても良い。

文字・画像データ記憶部３２０は、上記発音音声データや単語音声データと言った音声データに関連付けられる発音記号の文字データや、上記単語音声データに関連付けられる各種文字情報を記憶する。

図２３は、各単語音声データと当該音声データに関連付けられる情報とを示す一覧表（管理ファイル）である。図２３に示す管理ファイルも音声データ記憶部３１０に記憶され、各音声データにメタ情報が関連付けられる。

各単語には、当該単語を識別する管理番号が一意に割り当てられている。各単語音声データはｗａｖフォーマットのデータであり、当該単語音声データに収録されている単語の発音記号、発音記号表記順序、音節、アルファベット表記、日本語訳、品詞等の情報が関連付けられて記憶されている。その他、各単語の音声データは、難易度すなわちどのレベルの単語であるかや、ビジネスや経済などどの分野で用いられる単語であるか等と関連付けられていると更に良好である。但し、一つの単語につき、多くのメタ情報を付すことは人的労力を要するため、コストとのバランスで各単語と関連付ける情報量を決定すると良い。

設定部３３０は、音声の再生等に関する情報を設定する。具体的には、表示パネル１０１に表示中の画面を示している設定画面２９０をユーザが開いて操作入力部であるタッチパネル部１０２を介して選択された内容に基づいて設定を行う。また、設定部３３０は、現在のモードとして、実施の形態１、２で説明した英語を構成する単位となる発音の確認を行う発音確認モードか、又は、単語の発音確認等を行う単語モードか、のいずれかの学習モードをモード設定画面３９０で選択された内容に基づいて設定を行う。

図２４は、設定部３３０が行う設定の項目を示している。設定部３３０は、語学学習補助装置３００が有する複数の学習モードのうち、いずれの学習モードによる学習を行うかを設定する。具体的に、本実施の形態３の学習モードは、上述した発音確認モードか単語モードの２つがあり、ユーザからの操作入力に基づいて実行するモードを設定する。図２４では、単語モードに設定されている場合を示している。

また、設定部３３０は、音声データの話者に関する設定（設定１）を行う。実施の形態２と同様、各発音音声データや単語音声データとして、複数の話者の音声データが音声データ記憶部３１０に記憶されており、実際に音声再生部１２０が再生する音声データの話者を選択する。各音声データは、話者の国籍、性別、年齢、なまりの有無・強弱等と関連付けられている。図２４では、アメリカ人の青年でなまりのない話者の音声データの中から再生するように設定されている。なお、性別については指定無し（ランダム）となっている。

但し、複数の外国人による単語の音声を収録することはコスト増加に繋がるため、コストとのバランスで設定１は設けられなくても良い。しかしながら、標準的な１人の音声だけではなく様々な癖のある音声を聞くことは、図１７でも示したようにヒアリングの順応能力を向上させるため、好ましくは男性と女性の２人の音声、更に好ましくは異なる国籍や異なる年齢の人物に単語を読み上げてもらい、収録しておく事が好ましい。

また、設定部３３０は、単語モード時における音声再生条件に関する設定（設定２）を行う。具体的には、連続して再生する単語の数である単語再生数、１つの単語を繰り返して読む回数である再正回数（リピート回数）、音声を読み上げる速度である再生速度、再生する単語の順番である再生順序、再生する単語の難易度を示すレベル、再生する単語が使用される分野、及び、再生する単語の品詞、などに関する情報をユーザからの操作入力に基づいて設定する。

設定情報記憶部３４０は、設定部３３０で設定された情報を設定情報として記憶する。

単語検索部３５０は、操作入力部１０２を介してユーザから受けた単語検索操作に基づいて文字・画像データ記憶部３２０に記憶されている単語データの中から該当する単語があるかどうかの検索を行う。単語検索部３５０は、検索した単語の翻訳や発音記号等を単語表示部３７０に送る。また、単語検索部３５０は、再生制御部３６０に検索した単語を識別する管理番号を再生制御部３６０に送っておくと後の音声再生処理がスムーズにできるため良好である。

再生制御部３６０は、操作入力部１０２で受けたユーザからの音声再生操作に基づいて音声データを再生するための制御を行う。具体的には、再生制御部３６０は、ユーザからの音声の再生指示を操作入力部１０２が受けると、当該指示されている内容の音声データのうち、設定情報記憶部３４０に記憶されている設定に基づく音声データを音声データ記憶部３１０から読み込み、音声再生部１２０に送る。また、再生制御部３６０は、音声データ再生部１２０における音声データの再生に合わせて、発音記号表１８０における当該音声データに対応する発音記号のグラフィックの変更を表示変更部１４０に指示する。表示変更部１４０は、当該変更指示に基づいて表示パネル１０１に表示中の発音記号表１８０における対応する発音記号のグラフィックを変更する。

ここで、具体的に再生制御部３６０が単語音声データを再生する制御を行う場合について説明する。単語検索部３５０がユーザからの単語検索操作入力に基づいて単語を検索し、単語表示部３７０が当該検索された単語に関する情報を表示しているとする。

単語の発音記号など、検索した単語に関する情報が表示されている状態で、再生アイコン３９５がユーザにより押下されたとする。この場合、再生制御部３６０は、単語検索部３５０で検索されて単語表示部３７０が表示している単語の音声データを音声データ記憶部３１０より読み込む。具体的には、単語検索部３５０より送られてきた管理番号の単語の単語音声データを音声データ記憶部３１０より読み込む。この時、音声制御部３６０は、当該単語音声データに関連付けされている発音記号を合わせて読み込む。

再生制御部３６０は、読み込んだ単語音声データを音声再生部１２０に送り、音声再生部１２０は当該単語音声データを再生する。

また、再生制御部３６０は、音声再生部１２０で再生される単語音声データに同期して、発音記号表１８０における再生中の発音部分の発音記号の変更指示を表示変更部１４０に出す。

具体的な例として、再生制御部３６０が操作入力部１０２で受けたユーザからの音声再生操作に基づいて図２３における管理番号Ｎｏ００００１の単語を再生する場合について説明する。この場合、再生制御部３６０は、音声データ記憶部３１０よりＷ００００１．ｗａｖの音声データを読み込んで音声再生部１２０に送る。また、再生制御部３６０は、図２３において当該音声データに関連付けられている発音記号表記順序を読み込む。当該発音記号表記順序は、表示変更部１４０で発音記号の表記を変更する順番を示しており、ここでは、図４に従って、＄０３、＃２０、＃１２、の順序で発音記号を変更する事を示している。

再生制御部３６０は、音声再生部１２０が再生する音声データの音声に同期して＄０３、＃２０、＃１２、の順序で発音記号表１８０における発音記号のグラフィックを変更する指示を表示変更部１４０に出す。表示変更部１４０は、当該指示に従ってグラフィックを変更する。

次に、別の具体例として、図２１の再生アイコン２８０が押下された場合について説明する。この場合、再生制御部３６０は、設定情報記憶部３４０に記憶されている設定内容に基づいて音声データ記憶部３１０より音声データを読み出し、音声再生部１２０が当該音声データを再生する。また、再生制御部３６０は、当該再生される音声データに対応する発音記号のグラフィック変更指示を表示変更部１４０に出す。表示変更部１４０は、発音記号表１８０における再生中の音声の発音記号部分のグラフィックを変更する。

例えば、設定情報記憶部３４０に記憶されている設定内容が図２４に例示する内容であったとする。すなわち、設定内容として、現在のモードが単語モードであり、なまりの無いアメリカ人の青年の音声データを用いて、上級レベルの動詞の単語を２つ、それぞれ３回ずつ普通の速度で読む設定内容であったとする。

この場合、再生制御部３６０は、設定されている現在のモードに従い、音声データ記憶部３１０の中から単語音声データを読み込む。ここで、再生制御部３６０は、各単語音声データに関連付けられているメタ情報を参照し、設定内容に基づいて、上級レベルの動詞の単語であって、なまりの無いアメリカ人の単語音声データを２つ読み込む。

また、再生制御部３６０は、当該読み込んだ単語音声データに対応する単語データを文字・画像データ記憶部３２０より読み込む。

再生制御部３６０は、読み込んだ単語音声データを音声再生部１２０に送り、音声再生部１２０は、当該単語音声データを再生制御部３６０からの制御に従って再生する。再生制御部３６０は、設定情報記憶部３４０に記憶されている再生速度で再生回数分再生順序に従って音声再生部１２０に単語音声データを再生させる制御を行う。

また、再生制御部３６０は、音声再生部１２０に再生させる単語音声データに対応する単語データを単語表示部３７０に送り、単語表示部３７０に表示させる制御を行う。単語表示部３７０は、表示パネル１０１に表示している発音記号欄３９２、アルファベット表記欄３９３、翻訳表示欄３９４に、それぞれ音声再生部１２０で再生される単語の発音記号と、アルファベット表記と、日本語訳とを表示する。

また、再生制御部３６０は、音声再生部１２０に再生させる単語音声データに対応する発音記号表１８０における発音記号のグラフィックを変更させる制御を行う。表示変更部１４０は、当該制御に従って発音記号表１８０における再生されている単語の音声部分の発音記号のグラフィックを変更する。

以上のように、本実施の形態３に係る語学学習補助装置３００は、英語で用いられる単語の音声データを当該単語に対応する発音記号と関連付けて記憶する音声データ記憶部３１０と、操作入力部１０２で受けたユーザからの音声再生操作に基づいて単語の音声データを再生する音声再生部１２０と、発音記号表示部２１０が表示している発音記号のうち、音声再生部１２０で再生中の単語の音声データに対応する発音記号のグラフィックを変更する表示変更部１４０と、を具備する。単語を用いて発音の学習を行う事により、効果的にリスニングトレーニングを行うことができる。

ここで、再生制御部１２０は、音声再生部１２０が再生する音声データの音声の再生タイミングと、表示変更部１４０が当該音声データの音声の発音記号のグラフィックを変更するタイミングを制御する。音声データの音声が再生されるのに同期して、当該音声に対応する発音記号のグラフィックが変更される事で、学習者は聴覚と視覚の両方を使って適切な発音を認識する事ができる。

ここで、音声データ記憶部３１０は、各単語音声データを、当該単語音声データの単語の音声を構成する単位発音毎の発音記号のグラフィック変更タイミングとグラフィック変更期間とを対応付けて記憶しておくと更に良好である。

図２５は、単語音声データと、当該単語音声データに対応付けられるメタ情報とを記憶した管理ファイルの一例である。各単語音声データには、当該単語音声データに含まれる単語の音声を構成する単位発音毎の発音記号のグラフィック変更タイミングとグラフィック変更期間とが発音記号表記順序と言う形で対応付けられている。

例えば、図２５においてＮｏ００００６の管理番号の音声データＷ００００６．ｗａｖに含まれる単語である“ｐｅｏｐｌｅ”の音声は、（＃０２＄０９）、＃０２、＃１５、の３つの発音記号が単位発音となっている。上述しているように、単位発音とは、発音記号表１８０に含まれる発音記号（子音と母音の組み合せからなる一般発音記号も含む）を意味する。

Ｎｏ００００６の単語では、第１の単位発音である（＃０２＄０９）の発音記号のグラフィック変更タイミングが０のタイミングであり、６カウント分の間に渡ってグラフィックが変更される事を示している。表示変更部１４０は、発音記号表１８０の中から（＃０２＄０９）の発音記号を０〜６カウントの期間グラフィックを変更し、６カウント終了時点で当該（＃０２＄０９）の発音記号のグラフィックを元に戻す。次に、表示変更部１４０は、第２の単位発音である＃０２の発音記号のグラフィックを６カウント時点で変更し、９カウント終了時点までの３カウントの期間グラフィックを変更し続ける。表示変更部１４０は、９カウント終了時点で、当該＃０２の発音記号のグラフィックを元に戻す。また、表示変更部１４０は、第３の単位発音である＃１５の発音記号のグラフィックを７カウント時点で変更し、１０カウント秋冷時点までの３カウントの期間グラフィックを変更する。

この例からも分かるように、第２の発音記号のグラフィック変更期間と第３の発音記号のグラフィック変更期間が７〜９カウント目までの２カウントの期間重複している。子音の発音は短いため、発音通りの期間だけグラフィックを変更する場合、グラフィック変更期間が短すぎて学習者が認識する前に元のグラフィックに戻ってしまうことになるため、長めにグラフィック変更期間が設けられている。

このように、再生制御部３６０が読み込んだ音声データを音声再生部１２０に再生させると共に、各単位発音部分の音声が再生されるタイミングでグラフィック変更期間に渡り当該単位発音の発音記号のグラフィックを変更する指示を表示変更部１４０に出す。表示変更部１４０は、当該再生制御部３６０からの指示に基づいて、指示された発音記号を、指示されたタイミングで、指示された期間に渡りグラフィックを変更する。

なお、再生制御部３６０は、設定情報記憶部３４０に記憶されている再生速度に従って、音声再生部１２０で音声データを再生させる。従って、再生制御部３６０は、表示変更部１４０でグラフィック変更させるタイミングと期間も当該再生速度に従って指示する。例えば、設定情報記憶部３４０に記憶されている再生速度が２倍速である場合には、再生制御部３６０は、音声データ再生部１２０に２倍の速度で音声データを再生させ、表示変更部１４０でグラフィック変更するタイミングと期間を、図２５の発音記号表記順序で指定されている値の半分のタイミングと期間でグラフィック変更するよう指示する。

このように構成しておくことで、適切なタイミングで音声と発音記号表１８０における発音記号のグラフィック変更を行うことができる。

なお、英語において音節（シラブル）を理解する事がリスニング能力を向上させる上で重要になる。ここで音節とは、１つの母音を音節主音とし、その母音単独か又は母音の前後に１個または複数個の子音を伴って構成する音声（群）のことを言い、簡潔に言うと、音声の聞こえにおける一つの纏まりを言う。

図２５に示す管理ファイルでは、各単語の音声データに発音記号に加えて音節の区切りが合わせて対応付けられた状態で記憶されている。例えば、Ｎｏ００００６の単語では“ｐｅｏ”の部分が第１音節であり、“ｐｌｅ”の部分が第２音節となる。単位発音との関係では、第１単位発音である（＃０２＄０９）と第１音節が対応し、第２単位発音である＃０２と第３単位発音である＃１５がそれぞれ第２音節に対応している。

音声再生部１２０においてＷ００００６．ｗａｖが再生されると共に、表示変更部１４０において、（＃０２＄０９）、＃０２、＃１５、の順序で発音記号表１８０の対応する発音記号部分のグラフィックを変更されることになるが、これだけではどのタイミングで音節が変わっているかを学習者は認識する事ができない。

そこで、表示変更部１４０は、音節に応じて発音記号のグラフィック変更パターンを変化させる構成とすると更に良好である。

具体的には、文字・画像データ記憶部３２０に記憶されているグラフィック変更用の発音記号の画像データとして、複数種類の画像データを記憶しておく。一例として、各発音記号の画像データとして奇数番目の音節における発音記号用画像データと、偶数番目の音節における発音記号用画像データの２種類を記憶しておく。

例えば、奇数番目の音節における発音記号用画像データを青色太文字の画像データとし、偶数番目の音節における発音記号用画像データを赤色太文字の画像データとする。文字・画像データ記憶部３２０は、発音記号表１８０に含まれる各単位発音の発音記号の発音記号データとして、上述した２種類の発音記号用画像データを記憶しておく。

再生制御部３６０は、表示変更部１４０にグラフィックを変更させる発音記号に係る音節が奇数番目の音節であるか偶数番目の音節であるかに基づいて、文字・画像データ記憶部３２０より対応する方の画像データを読み込んで表示変更部１４０に送る。

例えば、再生制御部３６０は、音声再生部１２０にＷ００００６．ｗａｖの音声データを再生させる場合、第１音節に対応する第１単位発音である（＃０２＄０９）の発音記号の画像データであって、奇数番目音節用の青文字の画像データを文字・画像データ記憶部３２０より読み出して表示変更部１４０に送る。表示変更部１４０は、再生制御部３６０からの制御に従って、０タイミング〜６タイミングの期間に渡り、当該青文字の画像データを＃０２と＄０９の交点の位置に表示する事で発音記号のグラフィックを変更する。

次に、再生制御部３６０は、第２音節に対応する第２単位発音である＃０２の発音記号の画像データであって偶数番目音節用の赤文字の画像データを文字・画像データ記憶部３２０より読み出して表示変更部１４０に送る。表示変更部１４０は、再生制御部３６０からの制御に従って、６タイミング〜９タイミングの期間に渡り、当該赤文字の画像データを＃０２の位置に表示する。

次に、再生制御部３６０は、第２音節に対応する第３単位発音である＃１５の発音記号の画像データであって偶数番目音節用の赤文字の画像データを文字・画像データ記憶部３２０より読み出して表示変更部１４０に送る。表示変更部１４０は、再生制御部３６０からの制御に従って、７タイミング〜１０タイミングの期間に渡り、当該赤文字の画像データを＃１５の位置に表示する。

図２６は、音節を視覚的に認識できる場合の処理の流れを示すフローチャート図である。電源が投入されると、発音記号表示部１３０は、表示パネル１０１に発音記号表１８０を表示する（ステップＳ２０１）。なお、設定画面表示部２１０は、表示パネル１０１に設定用画面２９０を表示する。また、単語表示部３７０は、表示パネル１０１に単語表示用の領域等を表示する。これら、各表示部が表示パネル１０１に表示する画面用の画像データはＨＤＤ１０４である記憶部に記憶されており、各表示部は当該記憶部から対応するデータを読み込んで表示パネル１０１に表示する。

次に、再生制御部３６０は、操作入力部１０２で音声再生操作が入力されたかを判定する（ステップＳ２０２）。音声再生操作（音声再生指示）が入力されていない場合は待機する。一方、音声再生操作が入力された場合には、設定情報記憶部３４０に記憶されている設定情報を参照し（ステップＳ２０３）、当該設定情報に基づいて指定された音声データを読み込む（ステップＳ２０４）。この時、再生制御部３６０は、読み込む音声データに対応付けられている発音記号表示順序と音節に関する情報も合わせて読み込んでおく。

再生制御部３６０は、読み込んだ音声データを音声再生部１２０に送り、音声再生部１２０は、再生制御部３６０からの再生制御に基づいて当該音声データを再生する（ステップＳ２０５）。

続いて、再生制御部３６０は、ステップＳ２０４で読み込んだ発音記号表示順序に基づいて、現在表示変更部１４０でグラフィック変更を行わせる発音記号があるかの判定をタイミング毎に行う（ステップＳ２０６）。グラフィック変更を行う発音記号が無い場合は、次のタイミングまで待機する。

一方、グラフィック変更を行う発音記号がある場合、当該グラフィック変更に係る発音記号が奇数番目の音節に所属しているかどうかを判定する（ステップＳ２０７）。

当該グラフィック変更に係る発音記号が奇数番目の音節に所属している場合、文字・画像データ記憶部３２０の中から、当該発音記号における奇数番目音節用の画像データを読み込んで表示変更部１４０に送る（ステップＳ２０８）。一方、当該グラフィック変更に係る発音記号が偶数番目の音節に所属している場合、文字・画像データ記憶部３２０の中から、当該発音記号における偶数番目音節用の画像データを読み込んで表示変更部１４０に送る（ステップＳ２０９）。

表示変更部１４０は、ステップＳ２０８又はステップＳ２０９で読み込まれた発音記号の画像データを、ステップＳ２１０で表示パネルに表示している発音記号表のうち、該当する発音記号の位置に表示する事で、当該発音記号のグラフィックを変更する（ステップＳ２１０）。

ステップＳ２０６〜ステップＳ２１０の処理を音声再生中の各タイミングに行う。このような流れで処理を行うことで、表示変更部１４０は、発音記号表示部１３０が表示している発音記号のうち、音声再生部１２０で再生中の音声データの音声に対応する発音記号のグラフィックを、音節に応じたグラフィックに変更する。なお、図２６において変更したグラフィックを戻す処理については説明を省略している。

なお、上記説明では偶数番目の音節用と奇数番目の音節用との２パターンの画像データを用いる場合について説明したがこれに限るものではなく、第Ｍ番目の音節用の画像データをそれぞれ記憶部に記憶しておく構成であっても良い。但し、学習者が知りたいのは音節が変化したかどうかであるため、２パターンの画像データを用いる構成としておけば十分効果を奏する事ができる。

なお、上記説明では、異なる色の発音記号の画像データを用いて音節の切り替わりを提示する場合について説明したがこれに限定されるものではない。発音記号の文字の大きさや、背景と文字の色を反転させると言った方法で音節の切り替わりを表示しても良い。

なお、上記説明では、文字・画像データ記憶部３２０は、単語の音声データに、当該単語のアルファベット表記、日本語訳、発音記号を対応付けて記憶する場合について説明したがこれに限定されるものではなく、当該単語を直接的又は間接的に示す画像データを対応付けて記憶しておく構成とすると更に良好である。

図２７に例示する管理ファイルでは、画像データ（Ｗ００００ｘ．ｊｐｅｇ）に対応付けられた状態で各単語の音声データが記憶されている。

図２８は、音声再生部１２０が単語の音声を再生している場合における表示パネル１０１で表示される画面を示している。表示パネル１０２では、表示変更部１４０が発音記号のグラフィックを変更している発音記号表１８０や、単語表示部３７０が発音記号欄３９２に表示する音声再生中の単語の発音記号、アルファベット表記欄３９３に表示する音声再生中の単語のアルファベット表記、翻訳表示欄３９４に表示する音声再生中の単語の日本語訳、とは別に、当該音声再生中の単語を直接的又は間接的に示す単語画像３９６が表示されている。再生制御部３６０は、音声再生部１２０で再生させる音声データに対応付けられた画像データを読み込んで単語表示部３７０に送り、単語表示部３７０は、当該画像を表示パネル１０１に単語画像３９６として表示する。

図２７では、音声再生部１２０は“ｔｒｅｅ”と言う単語の音声データを再生しており、単語表示部３７０は、当該“ｔｒｅｅ”を直接的に示す樹木の画像３９６を表示している。なお、音声再生部１２０が再生する音声データの単語が名詞であれば、当該名詞の画像を表示する事で、当該単語を直接的に示す画像となるが、動詞や形容詞である場合、直接的に示す画像は無い。そこで、このような形容詞や動詞などの単語には、当該単語を連想させる画像を対応付けて記憶しておき、音声が再生されるのと同期して表示パネル１０１に表示される構成とすると良い。本明細書では、このような画像を単語を間接的に示す画像と称する。

なお、単語表示部３７０が単語のアルファベット表記や発音記号、日本語訳等を表示する代わりに単語画像３９６を表示する構成としても良い。このようにすることで、ユーザはアルファベットを介さずに聞こえる音声の持つ意味を理解することができ、アルファベットから離れて音声を認識することができる。

（実施の形態４）
実施の形態３では、単語を学習する単語モードを備え、単語モード設定時に音声再生ボタンが押下されることで記憶部に記憶されている単語の中から設定情報として設定されている内容に基づいて単語が選択され、当該選択された単語の音声データが再生されると共に当該単語のアルファベット表記や発音記号が表示される構成を取っていた。

ここで、通常の会話は複数の単語が並べられた文章形式で進んでいくため、発音記号トレーニング、単語トレーニング、の次の段階としてより実践的なリスニングトレーニングとして、文章形式の音声を聞きながらコンテキストを把握していくと言う例文トレーニングを行える構成とすることが好ましい。

そこで、本実施の形態４に係る語学学習補助装置４００は、学習モードとして新たに例文モードを備えることを特徴とする。以下、図面を参照して詳細に説明する。但し、実施の形態１〜３で既に説明した部分については発明の明確化のため、一部説明を省略する。

図２９は、本実施の形態４に係る語学学習補助装置４００における表示パネル１０１で表示される画面の一例を示している。図２９に示す表示パネル１０１には、例文モード時において例文の発音記号を表示する例文発音記号表示欄４９１と、例文のアルファベット表記を表示する例文アルファベット表示欄４９２と、例文の日本語訳を表示する例文翻訳表示欄４９３と、が配置される。

また、表示パネル１０１には、実施の形態１〜３と同様、発音記号表１８０が表示されており、再生されてスピーカーから流れる音声の発音記号部分のグラフィックが変更される構成を取る。図２９では、読み上げられている例文に含まれる“ｂｅａｕｔｉｆｕｌ”の単語の前半部分の音声が再生されており、対応する発音記号部分（ここでは“ｂ”の子音の発音記号と“ｊｕ：”の部分の発音記号）のグラフィックが変更されている。

図３０は、語学学習補助装置４００の構成を示すブロック図である。語学学習補助装置４００は、語学学習補助装置３００の構成に加えて、新たに例文表示部４１０を備える事を特徴とする。また、音声データ記憶部３１０は、新たに例文の音声データを記憶し、文字・画像データ記憶部３２０は、新たに例文の文字データを記憶する事を特徴とする。これらの例文音声データと例文文字データは、それぞれ関連付けられた状態で記憶されている。

図３１は、例文音声データと例文文字データの関連付けを管理する管理ファイルの一例である。当該管理ファイルは音声データ記憶部３１０又は文字データ記憶部３２０のいずれかに記憶される。

図３１からもわかるように、各例文音声データのファイルは、対応する発音記号に関するデータと、アルファベット表記に関するデータと、日本語訳に関するデータと関連付けられて記憶されている。また、各例文音声データは、当該例文のレベルや、コンテキストの分野と関連付けられて記憶されている。

例えば、図３１においてＮｏ８０００１の管理番号で示される例文の音声データは、Ｓ０００１．ｗａｖというファイルで音声データ記憶部３１０に記憶されており、当該例文の発音記号がＳｐ０００１．ｔｅｘｔというファイルに、当該例文のアルファベット表記がＳａ０００１．ｔｅｘｔというファイルに、日本語訳がＳｔ０００１．ｔｅｘｔというファイルに纏められている。当該Ｓｐ０００１．ｔｅｘｔ、Ｓａ０００１．ｔｅｘｔ、Ｓｔ０００１．ｔｅｘｔが例文文字データとして文字・画像データ記憶部３２０に記憶されている。

設定部３３０は、設定入力部１０２で受けたユーザからの設定に関する操作入力に基づいて、再生条件等の設定を行う。

図３２は、設定部３３０が行う設定内容の一例を示している。設定部３３０は、現在の学習モードに関する設定や、音声データの話者に関する設定（設定１）、音声データの再生条件（設定２）などに関する設定を行う。

図３２では、ユーザからの設定操作に基づいて、現在の学習モードが例文モードに設定されている。また、話者に関する設定１では、なまりの強い初老のイギリス人男性が例文を読んだ音声データを用いる設定となっている。また、再生条件に関する設定２では、ユーザから音声再生指示を受けた場合に、上級難易度に設定されている日常会話の例文１０個をそれぞれ２回ずつ、普通の音読速度で登録されている順序で再生する設定となっている。

設定部３３０が設定するこれらの項目に関する情報は設定情報として設定情報記憶部３４０に格納される。

なお、例文について複数の話者の音声データを用意することはコスト増加に繋がるため、例文モードに関しては、設定１は無くても良い。

再生制御部３６０は、操作入力部１０２より音声再生の操作入力を受けると、設定情報記憶部３４０に記憶されている設定情報を参照し、音声データ記憶部３１０の中から適切な音声データを読み込み、文字・画像データ記憶部３２０の中から対応付けられた文字データ又は画像データを読み込む。

図３２の設定内容の場合は、再生制御部３６０は、音声データ記憶部３１０に記憶されている音声データのうち、なまりの強い初老のイギリス人男性が読み上げた上級レベルの日常会話の例文についての音声データを管理番号の順番に沿って上から１０個読み込む。また、再生制御部３６０は、当該読み込む例文音声データに対応する例文文字データを読み込む。

再生制御部３６０は、読み込んだ例文音声データを音声再生部１２０に送り、音声再生部１２０は、再生制御部３６０からの再生制御に従って当該送られてくる例文音声データを再生する。

再生制御部３６０は、上記再生される例文音声データに対応する例文文字データを例文表示部４１０に送り、例文表示部４１０は、再生制御部３６０からの表示制御に従って当該送られてくる例文文字データを表示パネル１０１に表示する。

例文表示部４１０は、再生制御部３６０から送られてきた例文文字データのうち、発音記号に関する文字データを例文発音記号表示欄４９１に、アルファベット表記に関する文字データを例文アルファベット表示欄４９２に、日本語訳に関する文字データを例文翻訳表示欄４９３に再生制御部３６０からの制御に従ってそれぞれ表示する。

表示変更部１４０は、発音記号表示部１３０が表示パネル１０１に表示している発音記号表のうち、音声再生部１２０が再生中の例文音声データの音声に対応する発音記号のグラフィックを変更する。当該変更方法は、実施の形態３における単語の場合と同様、再生される例文についても例文音声データを発音記号表示順序と関連付けて記憶しておき、再生制御部３６０が音声と同期する形で表示変更部１４０に発音記号のグラフィックの変更指示を出す。表示変更部１４０は、当該指示に基づいて、指示された発音記号のグラフィックを変更する。

以上のように、本実施の形態４に係る語学学習補助装置４００では、複数の単語を組み合わせて構成される例文形式の音声データである例文音声データを更に記憶し、表示変更部１４０は、発音記号表示部１３０が表示している発音記号のうち、音声再生部１２０で再生中の例文音声データの音声に対応する発音記号のグラフィックを変更する。

語学学習補助装置４００は、英語を構成する単位発音の聞き取りを練習する発音確認モード、英語で用いられる単語の聞き取りを練習する単語モード、英語における実際の会話の聞き取りを練習する例文モードの複数の学習モードを有する。設定部３３０は、ユーザからのモード設定の操作入力に基づいて現在の学習モードを設定し、設定情報として設定情報記憶部３４０に記憶しておく。

学習者が現在の学習段階や弱点に合わせて学習モードを選択し、適切な能力向上を図れることで、より短い時間で実用的な語学能力を習得し、グローバル人材としての基礎能力を確立する事ができる。

ここで、例文表示部４１０は、発音記号に関する文字データを例文発音記号表示欄４９１に、アルファベット表記に関する文字データを例文アルファベット表示欄４９２に、日本語訳に関する文字データを例文翻訳表示欄４９３にそれぞれ表示するタイミングをずらして表示する構成とすることが好ましい。

例えば、例文表示部４１０は、例文音声データの再生が終わった段階で発音記号に関する文字データを例文発音記号表示欄４９１に表示し、少しのタイムラグをおいて日本語訳に関する文字データを例文翻訳表示欄４９３に表示し、更にタイムラグをおいてアルファベット表記に関する文字データを例文アルファベット表示欄４９２に表示する。具体的には再生制御部３６０が例文表示部４１０の表示タイミングを制御する。

タイムラグを持たせて表示する事で、ユーザの脳に発音記号を補助として第１に音声を認識させ、２番目にその認識した音声の意味である日本語訳を認識させることで、聞いて認識した音声の意味をユーザに理解させる。その後でアルファベット表記を認識させる形式とすることでリスニングとリーディングを分離する事が出来る。

なお、表示順序としては、発音記号に関する文字データを例文発音記号表示欄４９１に表示し、次に、アルファベット表記に関する文字データを例文アルファベット表示欄４９２に表示し、最後に日本語訳に関する文字データを例文翻訳表示欄４９３に表示する構成としても良い。

なお、例文表示部４１０が例文発音記号表示欄４９１に表示する発音記号に関する文字データは、音声再生部１２０が再生する音声に合わせて音声が流れ終わった部分から少しずつ表示される構成とするとユーザの認識を補強できるため更に良好である。

この時、音声再生部１２０が再生する音声に合わせて表示変更部１４０は、発音記号表１８０上で単位発音毎に発音記号のグラフィックを変更する。これに対し、例文表示部４１０が例文発音記号表示欄４９１に表示する発音記号は、音声再生部１２０が再生する音声部分から単語単位で表示される構成とすると更に良好である。

図３３は、上述した再生制御部３６０が例文表示部４１０における表示速度を制御する場合に表示パネル１０１に表示される例文発音記号表示欄４９１、例文アルファベット表示欄４９２、及び例文翻訳表示欄４９３における表示順序を例示した図である。

再生制御部３６０からの制御に従って音声再生部１２０が例文音声データを再生し、スピーカー１０３より音声が流れるタイミングで、例文における最初の単語の発音記号が表示され、かすかに遅れて当該単語のアルファベット表記が表示される（ステップＳ４０１）。

時間の経過と共に音声再生部１２０で例文音声データが再生されていき、それに追随していく形で例文発音記号表示欄４９１と、例文アルファベット表示欄４９２にそれぞれ例文を構成する単語の発音記号とアルファベット表記が表示されていく（ステップＳ４０２，Ｓ４０３）。

そして例文音声データの再生が終了した後、又は終了近くのタイミングで例文翻訳表示欄４９３に日本語訳に関する文字データが表示される（ステップＳ４０４）。

このような順序で表示させることで、ユーザは音声を聞きながら発音記号表１８０で変更される発音記号のグラフィックを補助として音声を意味ある言葉として認識することができる。それでも認識できなかった場合であっても、少し遅れて例文発音記号表示欄４９１に表示される単語の発音記号を追加補強とすることで聞き終わった単語を認識する事ができる。それに引き続いてアルファベット表記でも例文アルファベット表示欄４９２に表示される事で確実に単語を認識する事が出来ると共に、リスニングとリーディングを組み合わせて認識する事ができる。

以上のように本実施の形態４に係る語学学習補助装置４００において、音声データ記憶部３１０は、第１言語で用いられる文章形式の音声データを、文章を構成する各単語の発音記号と、文章を構成する各単語のアルファベット表記と、文章の第２言語による翻訳文と、関連付けて記憶する。そして、語学学習補助装置４００は、音声再生部１２０で再生されている文章形式の音声データにおける当該文章を構成する各単語の発音記号と、当該文章を構成する各単語のアルファベット表記と、当該文章の第２言語による翻訳文と、を表示パネル１０１に表示する例文表示部４１０を更に具備する。

このように構成することで、例文を用いたより実践的な学習が可能となる。

再生制御部３６０は、例文表示部４１０が表示パネル１０１に表示する文章を構成する各単語の発音記号と、文章を構成する各単語のアルファベット表記と、文章の第２言語による翻訳文と、の表示タイミングを制御する。具体的な制御態様として、再生制御部３６０は、前記音声再生部１２０で再生されている前記文章形式の音声データの音声に対応する発音記号を例文表示部４１０に表示させ、発音記号に遅れてアルファベット表記を表示させ、アルファベット表記に遅れて前記翻訳文を表示させる制御を行う。このような順序で例文表示部４１０に表示させる事で、効率良く学習を行うことが出来る。

なお、文章形式の例文の単語については、纏まりとしてユーザが捉え易いよう、再生制御部３６０は、音声再生部１２０で再生されている文章形式の音声データの音声に対応する発音記号を単語単位で例文表示部４１０に表示させ、アルファベット表記を単語単位で表示させ、翻訳文を音声データの再生が終わった時点で表示させる制御を行うと良い。

なお、上記説明では、語学学習補助装置４００内に配置されている音声データ記憶部３１０に音声データが記憶される場合について説明したが、これに限定されるものではない。図３４に例示するように、装置外部にデータサーバ１１００と音声等データベース１２００を配置し、当該音声等データベース１２００内に音声データや文字データや画像データ等を記憶しておく構成とすることも可能である。この場合、語学学習補助装置４００は、通信部４２０を具備する。データサーバ１１００は、通信部４２０からのアクセスを受けて、音声等データベース１２００より指定されている音声データ等を読み込み、通信部４２０に送信する機能を有する。

この場合、再生制御部３６０は、操作入力部１０２でユーザより音声再生の操作入力を受けると設定情報記憶部３４０に記憶されている設定情報に基づいて再生する音声データを特定し、当該再生する音声データを指定する情報を通信部４２０に送る。

通信部４２０は、再生制御部３６０より再生する音声データを指定する情報を受け取ると、データサーバ１１００にアクセスして当該音声データを読み込む。通信部４２０は、当該読み込んだ音声データを再生制御部３６０に送り、再生制御部３６０は、送られてきた音声データを音声再生部１２０に送る。音声再生部１２０は、当該音声データを再生する。

また、再生制御部３６０は、音声再生部１２０で再生させる音声データの音声に対応する発音記号の画像データを文字・画像データ記憶部３２０より読み込み、表示変更部１４０に送る。表示変更部１４０は、発音記号表示部１３０が表示パネル１０１に表示している発音記号のうち、音声再生部１２０で再生中の音声データに対応する発音記号のグラフィックを変更する。具体的には、表示変更部１４０は、発音記号表示部１３０が表示パネル１０１に表示している音声再生部１２０で再生中の音声データに対応する発音記号の画像アイコンを再生制御部３６０から送られてきた画像アイコンに変更する事で、当該発音記号部分のグラフィックを変更する。

このように、音声データを一箇所に記憶しておき、複数の語学学習補助装置４００よりアクセスを受けて音声コンテンツを配信する語学学習補助システムの構成とすることも可能である。当該構成によれば、データサーバ１１００に対するアクセス履歴からどのような発音記号や単語に対してユーザが苦手意識を持っているかのログを収集する事ができ、そのような弱点部分に特化した補講や語学学習ソフトの開発に繋げることが出来る。

例えば、中学校や高校において各生徒に語学学習補助装置４００を配布して語学学習を行わせる。この際、データサーバ１１００には、各生徒の語学学習補助装置４００からのアクセスログが蓄積するため、教師は当該ログを利用して各生徒の学習状況の管理や弱点把握の分析を行うことができ、学習効率の向上を図ることができる。

（実施の形態５）
ユーザの中には特定の発音を含む単語を集中的に練習したいという場合がある。例えば、（＃１９＄０９）の発音の聞き取りが苦手であり、この発音記号の発音を含む単語を聞き続けることでこの発音に特化してリスニング能力を向上させたいと言う場合がある。

しかしながら、一般のキーボードでは発音記号の入力が困難であり、音声を聞きたい発音記号を指定することが困難であった。効率良くユーザが希望する学習コンテンツを提供できないことはユーザの学習意欲を減退させることになる。すなわち、ユーザが意欲的に（＃１９＄０９）の発音を学習したいと感じても、当該（＃１９＄０９）の発音に関する学習コンテンツを手軽に選択できない場合、ユーザが選択操作を行っている間に無駄な時間が経過してしまい、操作の煩わしさから学習コンテンツが提供される頃には学習意欲が落ちてしまい、学習効率が低下すると言った課題があった。

本実施の形態５に係る語学学習補助装置５００は、特定の発音記号の発音や当該発音記号を含む単語の発音のチェックをし易くすることで効果的に弱点を克服し、リスニング能力を向上させることを目的とする。以下、図面を参照して具体的に説明する。但し、実施の形態１〜４で既に説明した箇所については発明の明確化のため一部説明を省略する。

図３５は、語学学習補助装置５００の構成を示すブロック図である。語学学習補助装置５００は、表示パネル１０１と、発音記号表示部１３０と、音声再生部１２０と、音声データ記憶部３１０と、スピーカー１０３と、タッチパネル部５１０と、を具備する。

表示パネル１０１は画面を表示する。表示パネル１０１は、タッチパネル部５１０として操作入力部としての機能を有する。

発音記号表示部１３０は、少なくとも第１言語における子音の発音記号を第１方向に並べて表示パネル１０１に表示すると共に当該第１言語における母音の発音記号を第２方向に並べて表示パネル１０１に表示する。具体的には、発音記号表示部１３０は、図５、図１２〜図１４、図１６と言った形式の発音記号表１８０を表示パネル１０１に表示する。本実施の形態５においても第１言語は英語であるとして説明する。

音声データ記憶部３１０は、第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する。

タッチパネル部５１０は、発音記号表示部１３０が表示パネル１０１に発音記号を表示している位置に対する操作入力を検知する。

音声再生部１２０は、タッチパネル部５１０で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを再生する。

スピーカー１０３は、音声再生部１２０が再生した音声データを電気信号から空気振動に変換して音声を外部へ放音する。

図３６は、語学学習補助装置５００の動作の流れを示すフローチャート図である。まず、発音記号表示部１３０は、子音の発音記号を第１方向に、母音の発音記号を第２方向にそれぞれ並べた発音記号表をトップ画面の一部として表示パネル１０１に表示する（ステップＳ５０１）。

この状態で、タッチパネル部５１０は、ユーザからの操作入力があったかを判定する（ステップＳ５０２）。ユーザからの操作入力が無い場合には、ユーザからの操作入力を受けるまで待機する。

一方、ユーザからの操作入力があった場合、音声再生部１２０は、タッチパネル部５１０で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを音声データ記憶部３１０より読み込んで再生する（ステップＳ５０３）。音声データ記憶部３１０には、音声データが当該音声データの音声に対応する発音記号と関連付けられた状態で記憶されている。

以上のように、本実施の形態５に係る学習補助装置５００によれば、確認したい発音の音声を手軽に再生することができるため、学習意欲を持続したままリスニングトレーニングを行うことができ、学習効率を向上させることができる。

なお、音声再生部１２０は、タッチパネル部５１０で発音記号が選択された状態で、更にタッチパネル部５１０における音声再生指示操作が入力された場合に、当該タッチパネル部５１０で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを再生する構成としても良い。この場合、表示パネル１０１には音声再生用の操作画面が更に表示される。

（実施の形態６）
英語の発音記号は子音と母音の組み合せの発音記号を含めて数百の数になる。語学学習補助装置の表示パネルの大きさが小さい場合は、表示パネルに表示されている発音記号において隣接する発音記号との距離が小さくなり、誤って隣の発音記号を押してしまう可能性がある。

このような場合に、ユーザが認識している発音記号と再生される音声データの発音記号とが異なってしまうため、混乱を生じる可能性がある。

そこで、タッチパネル部で選択された発音記号をユーザが適切に認識できるよう、表示パネルに表示されている発音記号表において、ユーザが選択した発音記号を視覚で確認できる構成とすることが更に好ましい。以下、図面を参照して本実施の形態６に係る学習補助装置６００について説明する。但し、実施の形態１〜５で既に説明した部分については一部説明を省略する。

図３７は、本実施の形態６に係る語学学習装置６００の構成を示すブロック図である。図３７に示す語学学習装置６００は、表示パネル１０１と、スピーカー１０３と、音声再生部１２０と、発音記号表示部１３０と、音声データ記憶部３１０と、文字・画像データ記憶部３２０と、タッチパネル部５１０と、制御部６１０と、対応表記憶部６２０と、表示変更部６３０と、を具備する。

制御部６１０は、語学学習補助装置６００全体の制御を行う。制御部６１０は語学学習補助装置６００の電源が投入されると、発音記号表示部１３０に発音記号表の表示指示を出す。

発音記号表示部１３０は、制御部６１０より当該表示指示を受けると、英語の子音の発音記号を第１方向に、母音の発音記号を第２方向にそれぞれ並べた発音記号表を表示パネル１０１の所定の位置に表示する。

文字・画像データ記憶部３２０は、発音記号表示部１３０が表示する発音記号表を構成する各発音記号部分の画像データや枠線の画像データなどを記憶する。発音記号表示部１３０は、文字・画像データ記憶部３２０に記憶されているこれらの画像データを所定の位置関係に配置して表示パネル１０１に表示することで発音記号表を表示パネル１０１に表示する。また、文字・画像データ記憶部３２０は、表示変更部６３０が行うグラフィック変更用の発音記号部分の画像データや枠線の画像データを記憶している。

タッチパネル部５１０は、発音記号表示部１３０が表示パネル１０１に発音記号を表示している位置に対する操作入力を検知する。タッチパネル部５１０は、当該操作入力を検知すると、操作入力を検知した位置に関する情報を制御部６１０に送る。

制御部６１０は、タッチパネル部５１０が操作入力を検知した位置に関する情報を受け取ると、対応表記憶部６２０に記憶されている対応表を参照して、どの発音記号に対する操作入力であるかを特定する。制御部６１０は、特定した発音記号部分のグラフィック変更指示を表示変更部６３０に出す。また、制御部６１０は、特定した発音記号に関する音声の再生指示を音声再生部１２０に出す。

対応表記億部６１０は、表示パネル１０１に表示されている発音記号表を構成する各発音記号とタッチパネル部５１０における入力位置との対応関係を示す対応表を記憶する。

図３８は、対応表記億部６２０が記憶する対応表の一例である。英語で用いられる各発音記号には管理番号が割り当てられている。表示パネル１０１に表示される図５に示す発音記号表１８０を構成する発音記号は、全部で（２６＋１）×（２４＋１）＝６７５個ある。各発音記号には管理番号が割り当てられており、各発音記号の表示位置に対応する位置範囲を当該発音記号に関連する再生指示操作の入力範囲とする。

例えば、管理番号Ｎｏ０２４の発音記号は“ｗ”であり、タッチパネル部１０２上において（縦）Ｖ２００〜２１０、（横）Ｈ６９０〜７５０の矩形範囲を当該管理番号Ｎｏ０２４の発音記号に対する再生指示操作の入力範囲とする。

ユーザからの操作入力をタッチパネル部５１０が受けると、ユーザが押下（接触）した位置座標（Ｖｘｘｘ、Ｈｘｘｘ）に関する情報が、タッチパネル部５１０が操作入力を検知した位置に関する情報として制御部６１０に入力される。制御部６１０は、対応表を参照して当該位置座標に対応する発音記号を特定し、特定した発音記号に関する情報を表示変更部６３０と音声再生部１２０に送る。具体的には、発音記号に割り当てられた管理番号を表示変更部６３０と音声再生部１２０に送る。

表示変更部６３０は、発音記号表示部１３０が表示パネル１０１に表示中の発音記号であって、タッチパネル部５１０で検知した操作入力の位置に対応する発音記号のグラフィックを変更する。具体的には、表示変更部６３０は、制御部６１０が特定した発音記号のグラフィック変更用の画像データを文字・画像データ記憶部３２０より読み込む。表示変更部６３０は、発音記号表示部１３０が表示パネル１０１に表示している発音記号の画像データのうち、タッチパネル部５１０で検知した操作入力の位置に対応する発音記号の画像データを、文字・画像データ記憶部３２０より読み込んだグラフィック変更用の画像データに置き換えて表示する。

音声再生部１２０は、タッチパネル部で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを再生する。具体的には、制御部６１０が特定した発音記号に関連する音声データを音声データ記憶部３１０より読み込んで再生する。

図３９は、語学学習補助装置６００の動作の流れを示すフローチャート図である。なお、ステップＳ６０１及びＳ６０２は、図３６のステップＳ５０１及びＳ５０２と同一であるため説明を省略する。

タッチパネル部５１０に対するユーザからの操作入力があった場合、表示変更部６３０は、表示パネルに表示中の発音記号のうち、タッチパネル部５１０で検知した操作入力位置に対応する発音記号のグラフィックを一時的に変更する処理を行う（ステップＳ６０３）。

更に、音声再生部１２０は、タッチパネル部５１０で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを音声データ記憶部３１０より読み込んで再生する（ステップＳ６０４）。

以上のように本実施の形態６に係る語学学習補助装置６００では、表示パネルに表示中の発音記号のうち、タッチパネル部５１０で検知した操作入力位置に対応する発音記号のグラフィックを一時的に変更する処理を行う表示変更部６３０を備える事を特徴とする。表示変更部６３０は、発音記号のグラフィックを所定の時間変更した後に元の発音記号のグラフィックに戻す処理を行う。なお、表示変更部６３０は、音声再生部１２０で音声データの再生が終了した時点で当該発音記号のグラフィックを元に戻す処理を行う構成であっても良い。

このような構成とすることで、タッチパネル部５１０の押し間違えが起こっても、ユーザは自身が意図した発音記号とは別の場所の発音記号が選択されたことを視覚的に認識する事ができるため、再生される音声を誤った発音記号の音声として誤認することを防ぐ事ができる。

なお、語学学習補助装置６００は、設定部３３０等を備えておく事が好ましい。図４０は、語学学習補助装置６００の変形例のブロック図である。図４０において、語学学習補助装置６００は、設定画面表示部２１０と、設定部３３０と、設定情報記憶部３４０と、単語表示部３７０と、を更に具備する。

設定画面表示部２１０は、制御部６１０からの設定画面表示指示に基づいて表示パネル１０１に設定画面を表示する。

設定部３３０は、タッチパネル部５１０が受けたユーザからの設定操作入力に基づいて再生条件等の設定を行う。設定部３３０が行う設定の内容は設定情報として設定情報記憶部３４０に格納される。

設定情報記憶部３４０は、当該設定情報を記憶する。制御部６１０は、設定情報記憶部３４０に記憶されている設定情報に基づいて、音声再生部１２０で再生させる音声データや再生条件を指示する。

単語表示部３７０は、現在の学習モードが単語モードである場合に、音声再生部１２０で再生される音声データの単語のアルファベット表記や日本語訳等を所定の表示欄に表示する。単語のアルファベット表記や日本語訳等は対応する音声データと関連付けられた状態で文字・画像データ記憶部３２０に記憶されている。単語表示部３７０は、タッチパネル部５１０で受けた音声再生操作入力に基づいて音声再生部１２０に再生させる単語の音声データと関連付けられた当該単語のアルファベット表記や発音記号や日本語訳と言った文字データを制御部６１０からの表示指示に基づいて所定の表示欄に表示する。

なお、表示変更部６３０は、タッチパネル部５１０で検知した操作入力位置に対応する発音記号のグラフィックを変更する処理を行う事に加えて、音声再生部１２０で再生される当該発音記号に関連する音声データの音声の発音記号部分のグラフィックを変更する構成とすると更に良好である。

すなわち、発音記号表示部１３０が表示パネル１０１に表示中の発音記号に対する操作入力をタッチパネル部５１０が検知した場合、表示変更部６３０は、発音記号表示部１３０が表示パネル１０１に表示中の発音記号であって、タッチパネル部５１０が検知した操作入力の位置に対応する発音記号のグラフィックを一時的に変更する。また、表示変更部６３０は、発音記号表示部１３０が表示パネル１０１に表示中の発音記号であって、音声再生部１２０がタッチパネル部５１０で受けたユーザからの音声再生操作に基づいて再生中の音声データの音声の発音記号のグラフィックを一時的に変更する。

ここで、タッチパネル部５１０に対する操作入力に基づくグラフィックの変更パターンと、音声再生に基づく発音記号のグラフィック変更パターンは同一であっても良いし異なっていても良い。文字・画像データ記憶部３２０は、通常時用の発音記号の画像データと、タッチパネル部５１０に対する操作入力に基づくグラフィック変更用の発音記号の画像データと、音声再生に基づくグラフィック変更用の発音記号の画像データの３パターンの画像データを各発音記号について記憶しておく。発音記号表示部１３０は、通常時の発音記号の画像データを読み込んで表示パネル１０１の所定位置に配置する。表示変更部６３０は、タッチパネル部５１０に対する操作入力に基づくグラフィック変更用の発音記号の画像データか、又は、音声再生に基づくグラフィック変更用の発音記号の画像データのいずれかを制御部６１０からの指示に従って一時的に読み出して表示パネル１０１に表示する。

このような構成とすることで、ユーザは、タッチパネル部５１０に対して自身が選択した発音記号を適切に知る事ができ、また、再生されている音声の発音記号を適切に知る事ができる。

（実施の形態７）
実施の形態１〜６に係る語学学習補助装置１００〜６００は、語学音声コンテンツを再生してユーザの学習を補助するインプット型の学習補助を行っていた。一方、高い学習効率を実現するためには、ユーザがアウトプット型の学習をできる環境を合わせて提供することが好ましい。

そこで、本実施の形態７に係る語学学習補助装置７００は、学習効率を高めるためにインプット型の学習環境とは別にアウトプット型の学習環境を提供する機能を有する事を特徴とする。以下、図面を参照して具体的に説明する。但し、実施の形態１〜６で既に説明した部分については一部発明を省略する。

図４１は、語学学習補助装置７００の表示パネル１０１に表示される画面の一例を示している。当該表示パネル１０１には、発音記号表１８０と、設定画面３９０と、入力文字表示欄７９０と、操作画面７９１と、合否画面７９５と、が表示される。

設定画面３９０がユーザにより押下されることで、図４２に例示する設定画面が表示パネル１０１に表示される。語学学習補助装置７００は、学習モードとして新たに問題モードを有する。問題モードは、予め音声データを問題として再生し、その後ユーザが当該再生された音声データの音声の発音記号を入力し、音声の発音記号とユーザが入力した発音記号の一致不一致をチェックすることでユーザが主体的にリスニングの学習を行うアウトプット型学習モードである。

また、図４２において、設定１では音声データの話者に関する設定であり、設定２は再生環境等の設定である。図４２では、１０問が問題数として設定されており、１つの問題につき２回ずつ音声データが普通の再生速度で再生される設定になっている。また、出される問題のレベルは上級、分野は日常会話に設定されている。

図４３は、語学学習補助装置７００の構成を示すブロック図である。語学学習補助装置７００は、語学学習補助装置６００に加えて、入力文字表示部７１０と、操作画面表示部７２０と、合否判定部７３０と、合否表示部７４０と、を更に具備する事を特徴とする。

発音記号表示部１３０、入力文字表示部７１０、操作画面表示部７１０、合否表示部７４０、設定画面表示部２１０、はそれぞれ制御部６１０からの表示制御に基づいて発音記号表１８０、入力文字表示欄７９０、操作画面７９１、合否画面７９５、及び設定画面３９０をトップ画面として表示パネル１０１に表示する。

発音記号表示部１３０が表示する発音記号表１８０の部分はタッチパネル部５１０としても機能する。従って、表示パネル１０１に表示されている発音記号表１８０は、発音記号によるソフトキーボードを構成する。

発音記号表１８０を構成する各発音記号部分が押下されることにより、対応する発音記号の入力が行われる。すなわち、発音記号表示部１３０が表示パネル１０１に発音記号を表示している位置に対する操作入力をタッチパネル部５１０が検知し、タッチパネル部５１０で操作入力が検知された位置座標に関する情報が制御部６１０に送られる。制御部６１０は、対応表記億部６２０に記憶されている対応表を参照して、当該位置座標に関する情報で示される位置座標に対応する発音記号を特定し、当該特定した発音記号の表示指示を入力文字表示部７１０に、また、当該特定した発音記号部分のグラフィック変更指示を表示変更部６３０にそれぞれ出す。

表示変更部６３０は、当該制御部６１０からの指示に基づいて発音記号表示部１３０が表示パネル１０１に表示中の発音記号であって、タッチパネル部５１０で検知した操作入力の位置に対応する発音記号のグラフィックを変更する。具体的には、表示変更部６３０は、制御部６１０が特定した発音記号のグラフィック変更用の画像データを文字・画像データ記憶部３２０より読み込む。表示変更部６３０は、発音記号表示部１３０が表示パネル１０１に表示している発音記号の画像データのうち、タッチパネル部５１０で検知した操作入力の位置に対応する発音記号の画像データを、文字・画像データ記憶部３２０より読み込んだグラフィック変更用の画像データに置き換えて表示する。

入力文字表示部７１０は、制御部６１０からの指示に基づいて、タッチパネル部５１０で検知した操作入力の位置に対応する発音記号を入力文字表示欄７９０に表示していく。入力文字表示部７１０は、入力文字表示欄７９０に発音記号を表示するものであるため、以下の説明では入力発音記号表示部７１０と称することがある。

操作画面表示部７２０は、表示パネル１０１に操作画面７９１を表示する。操作画面７９１には、少なくとも問題を開始する開始ボタン７９２が配置されている。図４１では更に、再生された音声データの発音記号と、発音記号のソフトキーボードである発音記号表１８０を用いてユーザより入力された発音記号との一致不一致を判定する判定ボタン７９３と、問題が開始されて再生された音声データをもう一度再生する音声再生ボタン７９４が配置されている。

設定画面表示部２１０がトップ画面の一部として表示パネル１０１に表示している設定画面３９０部分に対する操作入力がタッチパネル部５１０で検知されると、制御部６１０は、設定画面表示部２１０に図４２に示す設定画面の表示指示を出す。設定画面表示部２１０は、当該表示指示に基づいて図４２に示す設定画面を表示パネル１０１に表示する。

設定部３３０は、図４２で例示した各項目に対する設定を行う。設定部３３０がユーザからの設定操作入力に基づいて行った設定の内容は、設定情報として設定情報記憶部３４０に記憶される。

タッチパネル部５１０において操作画面７９１の開始ボタン７９２が押下されると、制御部６１０は、設定情報記憶部３４０に記憶されている設定情報を参照し、設定１の話者の音声データであって設定２のレベルや分野の音声データを音声データ記憶部３１０より読み出して音声再生部１２０に送る。

制御部６１０は、設定情報の設定２で設定されている再生速度で再生回数分、音声再生部１２０に音声データを再生させる。音声再生部１２０は、当該制御部６１０からの制御に従って音声データを再生する。

また、制御部６１０は、当該音声再生部１２０で再生させる音声データの音声に対応する発音記号を合否判定部７３０に送る。

タッチパネル部５１０において操作画面７９１の判定ボタン７９３が押下されると、合否判定部７３０は、ユーザからの解答が正しいかどうかを判定する。具体的には、合否判定部７３０は、タッチパネル部５１０よりユーザから入力された発音記号と、音声再生部１２０で再生された音声データの音声に対応する発音記号と、が一致しているかしていないかを判定する。以下の説明では当該合否判定部７３０を単に判定部７３０と称することがある。

合否表示部７４０は、合否判定部７３０における判定結果を表示する。このように、合否表示部７４０は、合否判定部７３０における音声再生部１２０が再生した音声データの音声に対応する発音記号と、タッチパネル部５１０で検知された操作入力の位置に対応する発音記号とが一致しているかの判定処理の結果を表示するものであるため、本明細書内において判定結果表示部と称することがある。

また、合否表示部７４０は、正解である音声再生部１２０で再生された音声データの音声に対応する発音記号を表示する。また、合否表示部７４０は、設定情報の設定２で設定されている再生問題数に対してこれまで正解した問題数を表示する。

図４４は、“ｐｅｎａｌｔｙ”の単語の音声データが音声再生部１２０で再生された後にユーザが表示表１８０より発音記号を入力して判定ボタン７９３を押すことで合否画面７９５に判定結果や答えが表示されている状況を示している。また、表示変更部６３０は、ユーザが指で押下した発音記号部分のグラフィックを変更している様子を合わせて示している。

図４５は、語学学習補助装置７００の動作を示すフローチャート図である。まず、制御部６１０は、タッチパネル部５１０で問題開始操作が入力されたかを判定する（ステップＳ７０１）。問題開始操作が行われていない場合、具体的には開始ボタン７９２が押下されていない場合は、問題開始操作が行われるまで待機する。

一方、問題開始操作が行われた場合、制御部６１０は、設定情報に従って一問目の音声データを音声データ記憶部３１０より読み出して音声再生部１２０に送り、音声再生部１２０で再生させる（ステップＳ７０２）。

次に、制御部６１０は、タッチパネル部５１０でユーザから順番に入力される発音記号をＤＲＡＭに格納することで、当該ユーザから入力された発音記号を保持しておく（ステップＳ７０３）。

次に、制御部６１０は、判定操作が入力されたかを判定する（ステップＳ７０４）。具体的には、制御部６１０は、タッチパネル部５１０で判定ボタン７９３が押下されたかを判定する。当該判定操作が行われていない場合は、ユーザから当該操作が行われるまで待機する。

一方、ユーザより判定操作が行われた場合、合否判定部７３０は音声データ再生部１２０が再生した音声データの音声に対応する発音記号とステップＳ７０３でユーザから入力された発音記号とが一致するかを判定する（ステップＳ７０５）。

合否表示部７４０は、ステップＳ７０５の判定結果を合否画面７９５に表示する（ステップＳ７０６）。

次に、制御部６１０は設定情報で設定されている全ての問題が終了したかを判定する（ステップＳ７０７）。

設定されている全ての問題に対する解答が終了していない場合は、制御部６１０は、次の問題の音声データを読み出して再生し、ステップＳ７０３に進む（ステップＳ７０８）。

一方、全ての問題に対する解答が終了している場合は、合否表示部７３０は、正解率等の最終結果を合否画面７９５に表示して処理を終了する（ステップＳ７０９）。

なお、ユーザからの解答に制限時間を設ける構成としても良い。この場合、語学学習補助装置７００は、音声再生部１２０が音声データを再生してから所定の時間計測を行うタイマー部を備える。また、当該タイマー部で計測される解答残り時間を表示パネル１０１に表示する残り時間表示部を更に備えることが好ましい。この場合、合否判定部７３０は、タイマー部における時間計測が完了した場合にもステップＳ７０５の合否判定処理を行う。

また、上記説明では、判定ボタン７９３が押下されることで合否判定部７３０が合否判定処理を行う構成としたがこれに限定されるものではない。ユーザから発音記号が新たに入力される度に音声データの発音記号と一致しているかの判定処理を行い、一致している場合に合否表示部７４０が判定結果を表示すると共に次のステップに進む構成としても良い。

以上のように本実施の形態７の語学学習補助装置７００は、第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する音声データ記憶部３１０と、音声データ記憶部３１０に記憶されている音声データを再生する音声再生部１２０と、画面を表示する表示パネル１０２と、少なくとも第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示部１３０と、発音記号表示部１３０が表示パネルに発音記号を表示している位置に対する操作入力を検知するタッチパネル部５１０と、記音声再生部１２０が再生した音声データの音声に対応する発音記号と、タッチパネル部５１０で検知された操作入力の位置に対応する発音記号とが一致しているかを判定する判定部７３０と、判定部７３０における判定結果を表示する判定結果表示部７４０と、を具備する。

当該構成とすることで、ユーザが自発的にアウトプットを行って学習することができるため、リスニング能力の向上を効率的に図ることができる。また、表示パネル１０１には発音記号表１８０が表示されており、当該発音記号表１８０が発音記号に対するソフトキーボードの役割を果たすため、通常のアルファベットによるソフトキーボードとは異なり、ユーザは容易に発音記号の入力を行うことが出来き、効率的な発音学習を可能としている。

なお、合否判定部７３０が行う判定の結果ユーザの解答が間違い出会った場合に、合否表示部７４０が合否画面７９５に不正解であることを表示する事に加えて、表示変更部６３０は、発音記号表１８０を構成する発音記号のうち、正解の発音記号のグラフィックを変更する処理を行うとユーザはどのように発音記号を押していけばよかったかが分かるため更に良好である。

また、表示パネル１０１には、ユーザが誤って入力した発音記号を修正できるように、やり直しボタンが配置されていると更に良好である。制御部６１０は当該やり直しボタンが押下されると、一つ前に入力された発音記号を削除する処理を行う。

なお、本実施の形態７においても、記憶部を語学学習補助装置７００の内部ではなく外部に配置する構成であっても良いことは言うまでも無い。この場合、上述したように、語学学習補助装置７００は、外部のデータサーバと通信を行う通信部を備え、当該通信部は、当該データサーバと通信を行うことで外部の音声データベースより音声を読み込んで制御部６１０に送る構成となる。

なお、上記説明では、語学学習補助装置７００は、タブレット型の携帯端末装置であるものとして、タッチパネル部５１０を備え、当該タッチパネル部５１０に対する操作入力で発音記号を選択する場合について説明したが、装置自体が通常のパーソナルコンピュータの形態をとる場合はこれに限るものではない。この場合、表示パネル１０１に相当するディスプレイにカーソルを表示し、ディスプレイに表示された発音記号表を構成する発音記号の中から選択したい発音記号にマウス等のポインティングデバイスを用いて当該カーソルを移動して選択する構成とすることも可能である。但し、学習効率の観点からタッチパネル形式の操作入力部とすることがより好ましい。

また、上記説明では、語学学習補助装置７００は、実施の形態１〜６で説明したインプット型の学習モードと本実施の形態特有のアウトプット型の学習モードの両方を備えているものとして説明したがこれに限定するものではない。語学学習補助装置７００は、アウトプット型の学習モードのみを備える構成であっても良い。

アウトプット型に特化した語学学習補助装置とすることでコストを下げる事ができる。

（実施の形態８）
実施の形態１〜７に係る語学学習補助装置は、リスニング能力向上に焦点を当てた語学学習補助サービスを提供している。しかしながら、リスニングとスピーキングはコミュニケーションをとる上で表裏一体であり、リスニングと合わせてスピーキングのトレーニングを行う学習モードを備えている事がグローバル人材を育成すると言う観点で更に好ましい。

そこで本実施の形態８に係る語学学習補助装置８００は、ユーザのスピーキングのトレーニングを行えることを特徴とする。以下、図面を参照して詳細に説明する。但し、実施の形態１〜７で既に説明した部分については一部説明を省略する。

図４６は、語学学習補助装置８００の構成を示すブロック図である。語学学習補助装置８００は、表示パネル１０１と、操作入力部１０２と、スピーカー１０３と、音声データ記憶部１１０と、音声再生部１２０と、発音記号表示部１３０と、表示変更部１４０と、音声入力部（マイクロフォン）８１０と、発音記号特定部８２０と、を具備する。

音声データ記憶部１１０は、第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する。

発音記号表示部１３０は、表示パネル１０１に図５や図１２などに例示する発音記号表１８０を表示する。これまで説明したように、発音記号表１８０は、少なくとも第１言語における子音の発音記号を第１の方向に、母音の発音記号を第２の方向にそれぞれ並べたテーブルである。

音声入力部８１０は、所謂マイクロフォンであり、ユーザが発した音声を入力し、当該音声を電気信号に変換して発音記号特定部８２０に送る。

発音記号特定部８２０は、音声入力部８１０より入力した音声を所定のアルゴリズムで解析し、どの発音記号の音声であるかを特定する。具体的には、発音記号特定部８２０は、音声入力部８１０より入力した音声を波形の変化点を基に複数の単位音声に分割する。続いて、発音記号特定部８２０は、分割した単位音声と音声データ記憶部１１０に記憶している英語を構成する発音記号の音声とのマッチング処理を行い、最も波形パターンが近似している音声の発音記号を当該単位音声の発音記号として特定する。発音記号特定部８２０は、分割した単位音声すべてについて当該解析処理を行い、発音記号を特定する。

表示変更部１４０は、発音記号表示部１３０が表示パネル１０１に表示している発音記号のうち、発音記号特定部８２０が特定した発音記号のグラフィックを変更する。グラフィックの変更方法は、実施の形態１〜７で説明した方法を用いる事ができるため、ここでは詳細な説明は省略する。

図４７は、語学学習補助装置８００の動作を示すブロック図である。まず音声入力部８１０で音声が入力されたかを判定する（ステップＳ８０１）。音声が入力されていない場合は、音声が入力されるまで待機する。

音声入力部８１０で音声が入力された場合、発音記号特定部８２０は、当該入力された音声を表す発音記号を特定する（ステップＳ８０２）。

続いて、表示変更部１４０は、発音記号表示部１３０が表示パネル１０１に表示している発音記号表１８０の発音記号のうち、発音記号特定部８２０で特定された発音記号のグラフィックを変更する（ステップＳ８０３）

以上のように、本実施の形態８に係る語学学習補助装置８００は、少なくとも第１言語における子音の発音記号を第１の方向に、母音の発音記号を第２の方向にそれぞれ並べて表示パネルに表示する発音記号表示部１３０と、ユーザが発した第１言語の音声を入力する音声入力部８１０と、音声入力部８１０で入力された第１言語の音声の発音記号を特定する発音記号特定部８２０と、発音記号表示部１３０が表示している発音記号のうち、発音記号特定部８２０で特定された発音記号のグラフィックを変更する表示変更部１４０と、を具備することを特徴とする。

当該構成とすることで、ユーザは自ら英語で発話する事で自身の発音の正しさをチェックする事ができ、スピーキング能力のトレーニングを行うことができる。

ここで、発音記号特定部８２０は、音声入力部８１０で入力したユーザの音声と、音声データ記憶部１１０に記憶されている各発音の音声との比較を行う際に、一致の度合いを数値化して評価することが更に好ましい。発音記号特定部８２０は、各発音の音声との一致度を数値化した上で最も一致度合いが大きかった発音の発音記号をこの入力されたユーザの音声を表す発音記号として特定する。より具体的な処理としては、発音記号特定部８２０は、音声入力部８１０で入力したユーザの音声の波形パターンと、音声データ記憶部１１０に記憶されている各発音の音声の波形パターンとのマッチング処理を行い、これら２つの波形パターンの相関値を算出する事でユーザの音声を表す発音記号を求める事ができる。

なお、発音記号特定部８２０が一致度合いを数値化して求める場合、図４８に示すように一致度合いを表示する発音精度表示部８３０を備える事が更に好ましい。発音精度表示部８３０は、発音記号特定部８２０が発音記号を特定した上記音声入力部８１０で入力された音声の発音の精度（正確度）を表示パネル１０１に表示する。発音記号特定部８２０が音声入力部８１０で入力された音声の発音の精度（正確度）を数値化して求める場合には、発音精度表示部８３０は、発音記号特定部８２０が発音記号を特定した上記音声入力部８１０で入力された音声の発音の精度（正確度）を示す上記数値を表示パネル１０１に表示すると良い。

図４９は、表示パネル１０１に表示される画面の一例を示している。表示パネル１０１には、発音記号表１８０に加えて上記発音の精度（正確度）を表示する発音精度表示欄８９０が表示されている。図４９において、表示変更部１４０が、発音記号特定部８２０が特定した発音記号のグラフィックを変更している。また、発音記号特定部８２０が特定した音声入力部８１０で入力された音声の発音の精度の値が８７％であったことを示している。

なお、語学学習補助装置８００は、実施の形態１〜７で説明した各構成を更に具備する事が可能である。例えば、実施の形態７でタッチパネル部５１０を介して発音記号を入力するかわりに、音声入力部８１０で音声を入力し、発音記号特定部８２０で当該音声を表す発音記号を特定させることで発音記号の入力を行う構成としても良い。

また、図５１に示すように発音記号特定部８２０で特定されたユーザの音声の発音記号を表示するユーザ音声発音記号表示欄８９１を発音記号表１８０とは別の領域に設ける構成としても良い。この場合、音声入力部８１０で入力された音声に対応する発音記号が発音記号特定部８２０で特定されてユーザ音声発音記号表示欄８９１に表示される。この場合、語学学習補助装置８００は、ユーザ音声発音記号表示欄８９１に発音記号特定部８２０で特定された発音記号を表示するユーザ音声発音記号表示部を更に具備する。

また、図５１に示すように録音ボタン８９２と再生ボタン８９３が表示パネル１０１に配置される構成としても良い。録音ボタン８９２が押下された場合に、発音記号特定部８２０は、音声入力部８１０で入力された音声に対する発音記号特定処理を行う。このようにすることでユーザが音声を発していない場合に無駄な処理が行われて電力が消費される事を防ぐ事ができる。

また、音声入力部８１０で入力されたユーザの音声を音声データ記憶部１１０に一時的に記憶する構成とすると更に良好である。再生ボタン８９３が押下された場合に、音声再生部１２０は、当該一時記憶されたユーザの音声を再生する。

この場合、語学学習補助装置８００は、操作入力部１０２で音声録音操作がユーザより入力された場合に、音声入力部８１０で入力されるユーザの音声を録音して音声データ記憶部１１０に格納するユーザ音声録音部を更に具備する。ユーザ音声記憶部１１０は、ユーザ音声録音部が録音するユーザの音声を一時記憶する。

ユーザ音声記憶部１１０にユーザの音声が一時記憶されている状態で、操作入力部１０２で音声再生操作がユーザより入力された場合に、音声再生部１２０は、ユーザ音声記憶部１１０に一時記憶されているユーザの音声を再生する。

ここで、上述した音声録音操作とは録音ボタン８９２が押下された場合などであり、音声再生操作とは、再生ボタン８９３が押下された場合に該当する。

このような機能を備える事で、ユーザは自らの発音をチェックする事ができ、適切な発音に近づけていく事ができる。

また、図５１に示すように通信部４２０を具備し、外部のデータサーバ１１００と通信を行う構成であっても良い。この場合、操作入力部１０２で音声再生操作が入力された場合、音声再生部１２０は、通信部４２０に再生が指示されている音声データの読み込みを指示する。通信部４２０は、データサーバ１１００を介して音声等データベース１２００より指示された音声データを読み込んで音声再生部１２０に送る。音声再生部１２０は、当該通信部４２０より送られてきた音声データを再生する。

また、通信部４２０は、音声入力部８１０で入力された音声をデータサーバ１１００に送る。データサーバ１１００は、発音記号特定部を具備し、当該発音記号特定部が通信部４２０より送られてきた音声を表す発音記号を特定し通信部４２０に返す。通信部４２０は、データサーバ１１００の発音記号特定部によって特定された発音記号や発音の精度に関する情報を表示変更部１４０と発音精度表示部８３０にそれぞれ送る。このような構成としても良い。

（実施の形態９）
実施の形態８では、音声再生部１２０が再生する音声を聞いたユーザが、当該音声の発音と同じ発音の音声を音声入力部８１０より入力する構成を取っていた。

一方、単語の発音記号や単語のアルファベット表記、日本語訳を視覚で確認し、当該単語の発音を発声する練習を行いたいというユーザも存在する。本実施の形態９に係る語学学習補助装置９００は、このような要求に応えることを目的としている。以下、図面を参照して詳細に説明する。但し、実施の形態１〜８で既に説明した部分については一部説明を省略する。

図５２は、語学学習補助装置９００の構成を示すブロック図である。語学学習補助装置９００は、表示パネル１０１と、操作入力部１０２と、発音記号表示部１３０と、問題データ記憶部９１０と、問題表示部９２０と、音声入力部８１０と、発音記号特定部８２０と、ユーザ発音記号表示部９３０と、を具備する。

問題データ記憶部９１０は、第１言語で用いられる単語の発音記号又はアルファベット表記を問題として記憶する。問題データ記憶部９１０に記憶される単語は、当該単語を構成する発音記号と関連付けられた状態で記憶されている。

問題表示部９２０は、第１言語で用いられる単語の発音記号又はアルファベット表記を問題として表示する。具体的には、タッチパネル部５１０より問題表示操作を受けると、問題表示部９２０は、問題データ記憶部９１０より問題データを読み出し、表示パネル１０１に第１言語で用いられる単語の発音記号又はアルファベット表記を表示する。

発音記号表示部１３０は、少なくとも第１言語における子音の発音記号を第１方向に並べ、母音の発音記号を第２方向に並べて表示パネル１０１に表示する。

タッチパネル部５１０は、発音記号表示部１３０が表示パネルに発音記号を表示している位置に対する操作入力を検知する。問題表示部９２０は、当該タッチパネル部５１０で検知された操作入力の位置に対応する発音記号を含む単語の発音記号又はアルファベット表記又は当該単語に対応する第２言語における翻訳を問題として表示する。

発音記号特定部８２０は、音声入力部８１０で入力されたユーザの音声に対応する発音記号を特定し、ユーザ発音記号表示部９３０に当該特定した発音記号を送る。

ユーザ発音記号表示部９３０は、発音記号特定部８２０が特定した発音記号を表示する。すなわち、ユーザ発音記号表示部９３０は、ユーザが発した音声に対応する発音記号を特定する。

図５３は、表示パネル１０１の画面の一例である。表示パネル１０１には、問題の単語の発音記号を表示する問題発音記号欄９９１や、問題の単語のアルファベット表記を表示する問題アルファベット表記表示欄９９２や、問題の単語に対応する日本語訳を表示する翻訳表示欄９９３が配置されている。また、表示パネル１０１には、ユーザが発した音声に対応する発音記号を表示するユーザ発音記号表示欄９９５が配置されている。

問題表示部９２０は、タッチパネル部５１０で検知された操作入力の位置に対応する発音記号を含む単語を問題データ記憶部９１０より読み出し、当該読み出した単語の発音記号又はアルファベット表記又は翻訳をそれぞれ問題として問題発音記号欄９９１、問題アルファベット表記表示欄９９２、翻訳表示欄９９３にそれぞれ表示する。

当該表示パネル１０１に表示される問題である単語の発音記号又はアルファベット表記又は翻訳を見たユーザは、当該単語を自ら読み上げ、当該ユーザの音声が音声入力部８１０で入力される。

発音記号特定部８２０によって特定された発音記号は、ユーザが発した音声に対応する発音記号としてユーザ発音表示部９３０がユーザ発音記号表示欄９９５に表示する。

当該構成とすることで、ユーザは、発音を学習したい発音記号を含む単語を表示パネル１０１に表示されている発音記号表１８０の当該発音記号部分をタッチすることで指定し、当該発音記号を含む単語の問題が視覚でユーザに提示される。ユーザは、当該問題を視認し、自ら発音してみることで、適切な発音ができているかの練習を行うことが出来る。

なお、問題表示部９２０が、表示パネル１０１に表示する問題となる単語について、当該単語の発音記号だけを表示しても良いし、当該単語のアルファベット表記だけを表示しても良いし、当該単語の日本語訳だけを表示しても良い。

また、語学学習補助装置９００は、ユーザが発した音声の発音が正しい発音であったかを判定する構成を備えていると、ユーザは自らの発音が正しい発音であったかどうかを簡単に認識できるため更に好ましい。

図５４は、当該判定機能を有する語学学習補助装置９００の構成の一例を示している。図５４において、語学学習補助装置９００は、表示パネル１０１と、操作入力部１０２と、発音記号表示部１３０と、問題データ記憶部９１０と、問題表示部９２０と、音声入力部８１０と、発音記号特定部８２０と、ユーザ発音記号表示部９３０と、ユーザ発音判定部９４０と、ユーザ発音判定結果表示部９３０と、制御部６１０と、を具備する。

タッチパネル部５１０は、発音記号表示部１３０が表示パネルに発音記号を表示している位置に対する操作入力を検知する。

制御部６１０は、当該タッチパネル部５１０で検知された操作入力の位置に対応する発音記号を含む単語の発音記号又はアルファベット表記又は当該単語に対応する第２言語における翻訳を問題として問題データ記憶部９１０より読み出し、問題表示部９２０に送る。また、制御部６１０は、当該読み出した問題の単語の発音記号をユーザ発音判定部９４０に送る。

問題表示部９２０は、タッチパネル部５１０で受けたユーザからの操作入力に基づいて制御部６１０が問題データ記憶部９１０より読み出した単語の発音記号又はアルファベット表記又は翻訳をそれぞれ問題として問題発音記号欄９９１、問題アルファベット表記表示欄９９２、翻訳表示欄９９３に表示する。

発音記号特定部８２０は、音声入力部８１０で入力されたユーザの音声に対応する発音記号を特定し、ユーザ発音記号表示部９３０及びユーザ発音判定部９４０に当該特定した発音記号を送る。

ユーザ発音記号表示部９３０は、発音記号特定部８２０が特定した発音記号を表示する。すなわち、ユーザ発音記号表示部９３０は、ユーザが発した音声に対応する発音記号を特定する。

ユーザ発音判定部９４０は、制御部６１０が問題表示部９２０に表示させる問題の単語の発音記号と、発音記号特定部８２０が特定したユーザからの音声に対応する発音記号とが一致しているかを判定する。

ユーザ発音判定結果表示部９５０は、ユーザ発音判定部９４０が行う上記判定の結果を表示パネル１０１に表示する。具体的には、ユーザ発音判定結果表示部９５０は、ユーザ発音判定部９４０における判定の結果、問題表示部９２０が表示パネル１０１に表示する問題の単語の発音記号と、ユーザ発音判定部９４０が特定する音声入力部８１０で入力されたユーザの音声に対応する発音記号とが一致している場合には、一致している事を示す文字又は画像データを表示パネル１０１に表示し、一致していない場合は、不一致であることを示す文字列又は画像データを表示パネル１０１に表示する。

このように構成することで、ユーザは自らの発音が正しいかを容易に認識する事ができるため、ユーザ発音判定結果表示部９５０が表示する判定結果を見て、自らの発音を修正していく事ができる。

なお、上記説明では、語学学習補助装置９００におけるユーザからの操作入力を受ける方法としてタッチパネル形式である場合について説明したが、これに限定するものではない。図５５は、語学学習補助装置９００の変形例の構成を示すブロック図である。図５５において、語学学習補助装置９００は、表示パネル１０１と、操作入力部１０２と、発音記号表示部１３０と、問題データ記憶部９１０と、問題表示部９２０と、音声入力部８１０と、発音記号特定部８２０と、表示変更部９３０と、を具備する。

問題データ記憶部９１０は、第１言語で用いられる単語の発音記号又はアルファベット表記又は当該単語の翻訳文を問題として記憶する。

問題表示部９２０は、第１言語で用いられる単語の発音記号又はアルファベット表記を問題として表示する。具体的には、操作入力部１０２がユーザからの問題表示操作を受けると、問題表示部９２０は、問題データ記憶部９１０より問題データを読み出し、表示パネル１０１に第１言語で用いられる単語の発音記号又はアルファベット表記を表示する。

発音記号表示部１３０は、少なくとも第１言語における子音の発音記号を第１方向に並べ、母音の発音記号を第２方向に並べて表示パネル１０１に表示する。

発音記号特定部８２０は、音声入力部８１０で入力された音声に対応する発音記号を特定する。

表示変更部１４０は、発音記号表示部８２０が表示している発音記号のうち、発音記号特定部が特定した発音記号のグラフィックを変更する。

このような構成とすることで、ユーザは、問題表示部９２０が表示する問題の単語の発音記号と、表示変更部１４０が変更する発音記号表示部１３０が表示している発音記号表１８０のうち、発音記号特定部８２０が特定したユーザからの音声に対応する発音記号と、を比較する事で、自身の発音が適切であるかをチェックする事ができる。

また、語学学習補助装置９００がこのような構成を取る場合にも、語学学習補助装置９００は、ユーザ発音判定部９４０と、ユーザ発音判定結果表示部９５０と、を更に具備する構成としても良い。

この場合も、ユーザ発音判定部９４０は、問題表示部９２０が表示パネル１０１に表示した問題の単語の発音記号と、発音記号特定部８２０が特定したユーザからの音声に対応する発音記号とが一致しているかを判定する。

ユーザ発音判定結果表示部９５０は、ユーザ発音判定部９４０が行う上記判定の結果を表示パネル１０１に表示する。

以上、各実施の形態で説明したように本発明の語学学習補助装置によれば、少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に母音の発音記号を第２の方向に並べて表示パネルに表示することで、第１言語で用いられる発音を表す発音記号のテーブル（発音記号表）をユーザに提示する。当該表示パネルに同時に表示されている発音記号のグラフィックを変更しながら音声と発音記号との対応を視覚を通じて認識していく事で、第１言語の言語体系を第２言語の言語体系に無理やり当て嵌めて理解するのではなく、第１言語の語学体系のとおりに理解することを促す事が出来き、リスニング能力を飛躍的に向上させることが出来る。

なお、上記説明では、第１言語を英語、翻訳にあたる第２言語を日本語であるものとして説明したがこれに限定するものではなく他の言語にも応用する事が可能である。例えばフランス人がロシア語を勉強する場合には、第１言語がロシア語、第２言語がフランス語となる。第１言語の種類に合わせて表示パネルに表示される発音記号表も必要に応じて変更される。

ここで第１言語において音声の発音を表記するための発音記号と筆記で用いられる文字が異なる。発音記号は、言語の発音を体系的にかつ忠実に表記するために編み出された人工的記号である。当該発音記号は、現代英語や西欧言語において一般的な文字表記用に用いられる文字コードであるＡＳＣＩＩ（American Standard Code for information interchange）とは異なる。表示パネルに表示される当該発音記号としては国際的に標準化されている国際発音記号（International
Phonetic Alphabet）を用いることが好ましいが、ＳＡＭＰＡ（Speech Assessment methods Phonetic
Alphabet）や独自の発音記号を構成して用いても良い。

また、中国語等のように声調がある言語が存在する。中国語では、平声、上声、去声、入声、の四声が存在する。声調が異なると意味も異なるため、これらの声調も考慮に入れて発音記号表の発音記号のグラフィックが変更される構成とすることが好ましい。

図５６は、当該声調を考慮に入れた発音記号のグラフィック変更を示している。図５６では、発音記号表示部が表示している発音記号のうち、音声再生部で再生中の音声データに対応する発音記号のグラフィックを声調に応じたグラフィックに変更している。具体的に、図５６では、発音記号表示部が表示している発音記号のうち、音声再生部で再生中の音声データに対応する発音記号部分に音声の声調に応じた種類のアイコン（画像データ）を表示する事で、当該発音記号のグラフィックを変更している。図５６では、矢印のアイコンを用いる事で声調を表している。四声のそれぞれに応じて傾きの異なるアイコンが文字・画像データ記憶部に記憶されており、表示変更部は、音声再生部で再生中の音声データの音声に対応する発音記号部分に当該音声の声調に対応付けられた画像データを表示することで当該発音記号のグラフィックの変更を行う。このように構成すると声調や吃音等に対応する事ができるため更に良好である。

なお、上述した語学学習補助装置は、タブレット型端末や据え置き型ＰＣ、ノートＰＣなどの形態の他、ヘッドマウントディスプレイの形態を取る事も可能である。

又、上記説明した語学学習補助装置の各機能は、所定のプログラムをＣＰＵ等の情報処理装置に実行させる事でハードウェアとソフトウェアの協調により実現しても良いし、ハードウェア単独で実現しても良い。

当該プログラムは、記録媒体に記録して提供する事が可能である。記録媒体としては、磁気ディスク、光磁気ディスク、ＣＤＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ等の記録媒体が含まれる。

また、当該プログラムは、インターネットその他の通信媒体を介して伝送する事により提供する事が可能である。図５７は、語学学習補助装置１００を含む語学学習補助システムの一例を示すブロック図である。当該語学学習補助システムにおいて、上述したプログラムを記憶するプログラム等記憶データベース１３００と、語学学習補助装置１００に上述したプログラムを配信するプログラム配信サーバ１４００と、が配置されている。

プログラム等記憶データベース１３００は、語学学習補助アプリケーションやその他のアプリケーションを記憶する。当該語学学習補助アプリケーションは、実行用のプログラムの他、発音記号と対応付けられた音声データや発音記号表を構成する各アイコンや、グラフィック変更用のアイコンなどの画像データなどによって構成される。

プログラム配信サーバ１４００は、語学学習補助装置１００と無線又は有線による通信を行う。プログラム配信サーバ１４００は、語学学習補助装置１００より語学学習補助アプリケーションの送信要求を受信すると、当該要求されているアプリケーションを構成するプログラムや音声データ、グラフィック変更用のアイコン等をプログラム記憶データベース１３００より読み出して語学学習補助装置１００に送信する。当該プログラム等を受信した語学学習補助装置１００は、当該プログラム等をＨＤＤ１０４やＳＤＤ（Solid State Drive）などの記憶装置に格納する。当該プログラムは、ＣＰＵ１０５で実行されることで、上述した各機能が実現される。

なお、上述した語学学習補助アプリケーションは、語学学習アプリケーションや、語学アプリと称されることがある。

なお、上述した音声データ記憶部３１０に記憶される単語音声データは、図５８に示す対応表で発音記号と関連付けられていても良い。図５８において、各単語音声データは、当該単語音声データの単語を構成する単位発音の発音記号と関連付けられている。具体的には、各単語音声データに割り当てられた管理番号が、当該単語音声データの単語を構成する単位発音の発音記号に関連付けられている。例えば、管理番号Ｎｏ１０００１の“ａｓｋ”は３つの単位発音で構成されているため、この３つの単位発音の発音記号と関連付けられている。

このような図５８に示す管理テーブルを記憶部に記憶しておく事で、発音記号表１８０の発音記号がユーザによって選択される事で当該発音記号を含む単語音声データを再生する場合、音声再生部１２０は、当該管理テーブルを参照して、当該発音記号を含む単語の単語音声データを簡単にアクセスする事ができる。

また、学習の対象となる第１言語と、学習者のベースとなる言語である第２言語とを設定する構成を備えると、１台で様々な言語を母国語とする学習者に複数の言語の学習環境を一度に提供する事ができるため更に良好である。

この場合、語学学習捕縄装置は、学習の対象となる第１言語を設定する設定部を更に具備しておく事が好ましい。当該設定部は、上述した設定部３３０と代用することが可能である。すなわち、設定部３３０が開く設定画面には、言語選択欄があり、ユーザは、操作入力部１０２やタッチパネル部５１０を用いて学習対象とする言語を予め登録されている言語の中から選択して現在の学習対象言語として設定する。

なお、この場合、発音記号表示部１３０が表示する発音記号表１８０も設定された学習対象言語によって当然異なる。各言語は、独自の言語体系を有するためであり、基本的に各言語に対応した発音記号表１８０となる。

また、音声データ記憶部１１０、音声データ記憶部３１０、文字・画像データ記憶部３２０、及び問題データ記憶部９１０等にそれぞれ記憶される音声データや文字データ、画像データ、問題データ等は、設定部３３０が設定可能な複数の言語の音声データ等とする必要がある。すなわち、記憶部において複数言語のデータを記憶しておく必要がある。

また、発音記号表示部１３０が表示パネル１０１に表示する発音記号表１８０としては、図５９のような形態を取る事も良好である。図５９では、発音記号表１８０を構成する各単位発音の発音記号を表す画像データ（アイコン）が隣接する発音記号の画像データ（アイコン）と少し距離を離れた状態では位置されている。当該アイコンが発音記号の入力ボタンとして機能したり、音声の発音を示す提示ボタンとして機能する。隣り合う発音記号との間にスペースが設けられることで見易くなっている。なお、図５９では一部の子音や母音を省略した簡易版の発音記号表となっているが、当然第１言語で用いられる発音記号全てを表示する構成としても良い。

なお、発音記号表示部１３０は、表示パネル１０１に上記発音記号表１８０を常時表示する構成でなくても良い。例えば、ユーザからの発音記号表１８０の表示操作を操作入力部１０２が受けた場合に、発音記号表示部１３０は、当該発音記号表１８０を表示する構成としても良い。

また、発音記号表１８０における発音記号が選択された上で、音声再生ボタンが押下されることにより、当該発音記号に対応する音声データが再生される構成としても良いし、発音記号が選択された段階で、そのまま音声データ再生処理に進む構成であっても良い。

また、上記説明した各実施の形態の構成をそれぞれ組み合わせる事も当然可能である。

また、上記で説明した各装置の各部は、それぞれ半導体集積回路を用いて実現されてもよい。ここで集積回路はＬＳＩ、ＶＬＳＩ，ＵＬＳＩと称されることもある。

また、上述した本発明は図６０に示す構成とすることも可能である。図６０に示す語学学習補助装置１０００は、表示パネル１０１と、操作入力部１０２と、音声再生部１２０と、発音記号表示部１３０と、スピーカー１０３と、を具備する。

表示パネル１０１は、画面を表示する。発音記号表示部１３０は、少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に第１言語における母音の発音記号を第２の方向に並べて表示パネルに表示する。操作入力部１０２は、発音記号表示部１３０が表示パネルに発音記号を表示している位置に対する操作入力を検知する。音声再生部１２０は、第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する音声データ記憶部（記憶装置、記憶データベース等）から操作入力部１０２で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを読み込んで再生する。再生された音声は空気振動に変換されてスピーカー１０３より放音される。

また、図６１に示すように表示パネル１０１には、ユーザによって選択された発音記号に対応し得るアルファベット表記を表示するアルファベット表示欄１８１や、当該アルファベット表記を含む単語を表示する単語表示欄１８２が表示されていても良い。図６１では、＄１３の発音記号が選択されている。当該＄１３に対応し得るアルファベット表記は“ｅｒ”“とｉｒ”があり、当該アルファベット表記を含む単語として“ｂｒｏｔｈｅｒ”や“ｇｉｒｌ”がある。これらの発音記号と対応し得るアルファベット表記や単語の対応関係を纏めた管理ファイルも記憶部内に記憶されており、表示部は操作入力を受けた位置に対応する発音記号に対応付けられた上記アルファベット表記や単語を読み出して表示パネル１０１に表示する。

その他、上述した本発明は、以下に示す構成とすることができる。
（付記１）
画面を表示する表示パネルと、
ユーザからの操作入力を受ける操作入力手段と、
少なくとも第１言語における子音の発音記号を第１の方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示手段と、
前記第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する音声データ記憶手段と、
前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記音声データを再生する音声再生手段と、
前記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データに対応する発音記号のグラフィックを変更する表示変更手段と、
を具備する語学学習補助装置。
（付記２）
前記第２の方向は前記第１の方向に対して直角方向であることを特徴とする付記１に記載の語学学習補助装置。
（付記３）
前記第１の方向は横方向であり、前記第２の方向は縦方向である、
付記１又は２に記載の語学学習補助装置。
（付記４）
前記第１の方向は縦方向であり、前記第２の方向は横方向である、
付記１又は２に記載の語学学習補助装置。
（付記５）
前記表示変更手段は、前記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号の色を変えて表示する、
付記１〜４のいずれか１項に記載の語学学習補助装置。
（付記６）
前記表示変更手段は、前記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号を拡大して表示する、
付記１〜５のいずれか１項に記載の語学学習補助装置。
（付記７）
前記音声データ記憶手段は、前記第１言語の音声データとして、前記第１言語で用いられる各子音の音声を収録した子音音声データ、前記第１言語で用いられる各母音の音声を収録した母音音声データ、及び前記第１言語で用いられる前記子音と前記母音との組み合わせの音声を収録した一般音声データを含む発音音声データと、前記第１言語で用いられる単語の音声を収録した単語音声データと、をそれぞれ各音声データの音声に対応する発音記号と関連付けて記憶する、付記１〜６のいずれか１項に記載の語学学習補助装置。
（付記８）
前記音声データ記憶手段は、前記発音音声データを当該発音音声データの音声に対応し得るアルファベット表記と更に関連付けて記憶する、付記７に記載の語学学習補助装置。
（付記９）
前記音声データ記憶手段は、前記単語音声データを当該単語音声データの音声が表す単語のアルファベット表記と関連付けて記憶する、付記７又は８に記載の語学学習補助装置。
（付記１０）
前記音声データ記憶手段は、前記単語音声データを当該単語音声データの音声が表す単語の第２言語における翻訳と更に関連付けて記憶する、付記７〜９のいずれか１項に記載の語学学習補助装置。
（付記１１）
前記音声データ記憶手段は、前記単語音声データを当該単語音声データの音声が表す単語の内容を直接的又は間接的に表す画像データと関連付けて記憶する、付記７〜１０のいずれか１項に記載の語学学習補助装置。
（付記１２）
前記音声データ記憶手段は、前記第１言語の音声データとして、前記第１言語における例文の音声を収録した例文音声データを、当該音声データの例文の発音記号と、当該例文のアルファベット表記と、当該例文の第２言語における翻訳と関連付けて記憶する、付記７〜１１のいずれか１項に記載の語学学習補助装置。
（付記１３）
発音記号表示手段が前記発音記号を表示する前記表示パネルの第１領域とは別の第２領域に、前記音声再生手段が再生中の前記音声データの音声に対応する発音記号を表示する第２発音記号表示手段を具備する、付記１〜１２のいずれか１項に記載の語学学習補助装置。
（付記１４）
前記第２発音記号表示手段は、前記音声再生手段が再生する前記音声データが単語音声データである場合に、前記音声再生手段が再生している前記単語音声データの単語の発音記号を表示する、付記１３に記載の語学学習補助装置。
（付記１５）（実施の形態２）
前記音声データ記憶手段は、複数の話者による音声データを記憶し、
前記音声データ記憶手段で記憶されている音声データの話者のうち、前記音声再生手段で再生する音声データの話者に関する設定を行う設定手段を更に具備し、
前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記音声データ記憶手段に記憶されている複数の話者による音声データのうち、前記設定手段で設定された話者の音声データを再生する、
付記１〜１４のいずれか１項に記載の語学学習補助装置。
（付記１６）
前記音声再生手段は、前記音声データ記憶手段に記憶されている複数の話者による音声データのうち、前記設定手段で設定された話者の音声データであって前記操作入力手段を介してユーザから指定された発音記号に対応する音声データを再生する、
付記１５に記載の語学学習補助装置。
（付記１７）
前記設定手段は、前記音声再生手段で再生する音声データのリピート回数と再生速度とを更に設定し、
前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記音声データ記憶手段に記憶されている複数の話者による音声データのうち、前記設定手段で設定された話者の音声データを、前記設定手段で設定された前記再生速度で前記リピート回数再生する、
付記１５又は１６に記載の語学学習補助装置。
（付記１８）
前記設定手段は、前記音声データ記憶手段で記憶されている音声データの一度の再生回数を設定し、
前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作で指定された発音記号に対応する前記複数の話者による音声データを、前記設定手段で設定された再生回数分ランダムに選択して再生する、
付記１５〜１７に記載の語学学習補助装置。
（付記１９）（実施の形態３）
前記音声データ記憶手段は、第１言語で用いられる単語の音声データを、対応する発音記号と関連付けて記憶し、
前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記単語の音声データを再生し、
前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを変更する表示変更手段と、
を具備する付記１〜１８に記載の語学学習補助装置。
（付記２０）
前記音声データ記憶手段は、前記第１言語で用いられる音声データを、当該単語を構成する音節と関連付けて記憶し、
前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを、前記音節に応じたグラフィックに変更する、付記１９に記載の語学学習補助装置。
（付記２１）（実施の形態４）
前記音声データ記憶手段は、前記第１言語で用いられる文章形式の音声データを、文章を構成する各単語の発音記号と関連付けて記憶し、
前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生されている前記文章形式の音声データの音声に対応する発音記号のグラフィックを変更する、付記１〜２０のいずれか１項に記載の語学学習補助装置。
（付記２２）
前記音声データ記憶手段は、前記第１言語で用いられる文章形式の音声データを、前記文章を構成する各単語の発音記号と、前記文章を構成する各単語のアルファベット表記と、前記文章の第２言語による翻訳文と、関連付けて記憶し、
前記音声再生手段で再生されている前記文章形式の音声データにおける前記文章を構成する各単語の発音記号と、前記文章を構成する各単語のアルファベット表記と、前記文章の第２言語による翻訳文と、を前記表示パネルに表示する例文表示手段を更に具備する、付記１〜２１のいずれか１項に記載の語学学習補助装置。
（付記２３）
前記例文表示手段が前記表示パネルに表示する前記文章を構成する各単語の発音記号と、前記文章を構成する各単語のアルファベット表記と、前記文章の第２言語による翻訳文と、の表示タイミングを制御する制御手段を更に具備する付記２２に記載の語学学習補助装置。
（付記２４）
前記制御手段は、前記音声再生手段で再生されている前記文章形式の音声データの音声に対応する発音記号を前記例文表示手段に表示させ、前記発音記号に遅れて前記アルファベット表記を表示させ、前記アルファベット表記に遅れて前記翻訳文を表示させる制御を行う、
付記２３に記載の語学学習補助装置。
（付記２５）
前記制御手段は、前記音声再生手段で再生されている前記文章形式の音声データの音声に対応する発音記号を単語単位で前記例文表示手段に表示させ、前記発音記号に遅れて前記アルファベット表記を単語単位で表示させ、前記アルファベット表記に遅れて前記翻訳文を表示させる制御を行う、
付記２４に記載の語学学習補助装置。
（付記２６）
前記音声データ記憶手段は、第１言語の音声データを当該音声データの音声に対応する発音記号及び声調と関連付けて記憶し、
前記表示変更手段は、前記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを前記音声の声調に応じたグラフィックに変更する、
付記１〜２５のいずれか１項に記載の語学学習補助装置。
（付記２７）
前記第１言語は中国語である、付記２６に記載の語学学習補助装置。
（付記２８）
前記第１言語は英語であり、前記第２言語は日本語である、付記１〜２５のいずれか１項に記載の語学学習補助装置。
（付記２９）（実施の形態５）
画面を表示する表示パネルと、
少なくとも第１言語における子音の発音記号を第１方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて表示パネルに表示する発音記号表示部と、
前記発音記号表示部が表示パネルに前記発音記号を表示している位置に対する操作入力を検知するタッチパネル部と、
前記第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する音声データ記憶部と、
前記タッチパネル部で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生部と、
を具備する語学学習補助装置。
（付記３０）
前記発音記号表示部は、前記第１言語における子音の発音記号と前記第１言語における母音の発音記号とを組み合わせた発音記号を前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に配置して表示する、
付記２９に記載の語学学習補助装置。
（付記３１）
前記発音記号表示部は、前記第１言語における子音の発音記号と前記第１言語における母音の発音記号とを組み合わせた発音記号による発音が前記第１言語において存在する場合に、前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に、前記子音の発音記号と前記母音の発音記号とを組み合わせた発音記号を配置して表示する、
付記３０に記載の語学学習補助装置。
（付記３２）
前記発音記号表示部は、前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に、前記第１言語における子音の発音記号と前記第１言語における母音の発音記号とを組み合わせた発音記号を明示的又は暗示的に示すアイコンを配置して表示する、
付記２９〜３１のいずれか１項に記載の語学学習補助装置。
（付記３３）
前記発音記号表示部は、前記第１言語における子音の発音記号と前記第１言語における母音の発音記号とを組み合わせた発音記号による発音が前記第１言語において存在する場合に、前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に、前記子音の発音記号と前記母音の発音記号とを組み合わせた発音記号を明示的又は暗示的に示すアイコンを配置して表示する、
付記３２に記載の語学学習補助装置。
（付記３４）
前記発音記号表示部が前記表示パネルに表示中の発音記号であって、タッチパネル部で検知した操作入力の位置に対応する発音記号のグラフィックを変更する表示変更部を更に具備する、
付記２９〜３３のいずれか１項に記載の語学学習補助装置。
（付記３５）
前記表示変更部は、前記発音記号表示部が前記表示パネルに表示中の発音記号であって、音声再生部で再生中の前記音声データの音声に対応する発音記号のグラフィックを変更する、
付記３４に記載の語学学習補助装置。
（付記３６）
前記音声データ記憶部は、前記第１言語を構成する発音の音声データである発音音声データと、前記第１言語で用いられる単語の音声データである単語音声データと、をそれぞれ音声データの音声に対応する発音記号と関連付けて記憶する、
付記２９〜３５のいずれか１項に記載の語学学習補助装置。
（付記３７）
前記第１言語を構成する発音に関する学習を行うモードである第１モードと、前記第１言語で用いられる単語の発音に関する学習を行うモードである第２モードとの２つの学習モードを少なくとも有し、
前記タッチパネル部で受けたユーザからの操作入力に基づいて前記第１モードか前記第２モードのいずれかを現在の学習モードとして設定する設定部を更に具備する、
付記３６に記載の語学学習補助装置。
（付記３８）
前記設定部が現在の学習モードを前記第２モードに設定している場合、前記音声再生部は、前記タッチパネル部で検知した操作入力の位置に対応する発音記号に関連付けられた前記単語音声データのいずれかを選択して再生する、
付記３７に記載の語学学習補助装置。
（付記３９）（実施の形態７）
第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する音声データ記憶部と、
前記音声データ記憶部に記憶されている前記音声データを再生する音声再生部と、
画面を表示する表示パネルと、
少なくとも前記第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示部と、
前記発音記号表示部が表示パネルに前記発音記号を表示している位置に対する操作入力を検知するタッチパネル部と、
前記音声再生部が再生した前記音声データの音声に対応する発音記号と、前記タッチパネル部で検知された操作入力の位置に対応する発音記号とが一致しているかを判定する判定部と、
前記判定部における判定結果を表示する判定結果表示部と、
を具備する語学学習補助装置
（付記４０）
前記発音記号表示部が前記表示パネルに表示中の発音記号であって、タッチパネル部で検知した操作入力の位置に対応する発音記号のグラフィックを変更する表示変更部を更に具備する、
付記３９に記載の語学学習補助装置。
（付記４１）
前記発音記号表示部が前記発音記号を表示している領域とは別の前記表示パネル上の領域に、前記タッチパネル部で検知された操作入力の位置に対応する発音記号を表示する入力発音記号表示部を更に具備する、
付記３９又は４０に記載の語学学習補助装置。
（付記４２）
前記判定結果表示部は、前記音声再生部が再生した前記音声データの音声に対応する発音記号を更に表示することを特徴とする、付記３９〜４１のいずれか１項に記載の語学学習補助装置。
（付記４３）
前記表示パネルに音声再生の操作を行うための操作画面を表示する操作画面表示部を更に具備し、
前記音声再生部は、前記操作画面表示部が前記表示パネルに表示する前記操作画面に配置された音声再生用ボタンが押下されたことを前記タッチパネル部が検知した場合に、前記音声データ記憶部に記憶されている前記音声データを再生する、
付記３９〜４２のいずれか１項に記載の語学学習補助装置。
（付記４４）（実施の形態８）
第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶する音声データ記憶部と、
前記音声データ記憶部に記憶されている前記音声データを再生する音声再生部と、
画面を表示する表示パネルと、
少なくとも前記第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示部と、
ユーザから発せられた音声を入力する音声入力部と、
前記音声入力部で入力された音声に対応する発音記号を特定する発音記号特定部と、
前記音声再生部が再生した前記音声データの音声に対応する発音記号と、前記発音記号特定部が特定した前記発音記号とが一致しているかを判定する判定部と、
前記判定部における判定結果を表示する判定結果表示部と、
を具備する語学学習補助装置。
（付記４５）
前記発音記号表示部が前記表示パネルに表示している前記発音記号のうち、前記発音記号特定部で特定された前記音声入力部で入力された音声に対応する発音記号のグラフィックを変更する表示変更部を更に具備する、
付記４４に記載の語学学習補助装置。
（付記４６）
前記発音記号特定部で特定された前記音声入力部で入力された音声に対応する発音記号を前記発音記号が前記発音記号を表示している領域とは別の領域に表示する第２発音記号表示部を更に具備する、
付記４４又は４５のいずれか１項に記載の語学学習補助装置。
（付記４７）
前記発音記号特定部は、前記音声入力部で入力された音声の発音が前記特定した発音記号が表す発音とどれだけ一致しているかを示す発音精度を更に算出し、
前記発音記号特定部が算出した前記発音精度を表示する発音精度表示部を更に具備する、
付記４４〜４６のいずれか１項に記載の語学学習補助装置。
（付記４８）
前記発音記号特定部は、前記音声入力部で入力された音声の波形パターンと前記音声データ記憶部に記憶している各発音記号に対応する音声データの音声の波形パターンとの相関を取り、最も相関値が高い前記音声データの音声に対応する発音記号を前記音声入力部で入力された音声に対応する発音記号であると判断する、
付記４４〜４７のいずれか１項に記載の語学学習補助装置。
（付記４９）
前記発音精度表示部は、前記発音記号特定部が特定した発音記号に対応する音声の音声データに対する前記相関値を前記発音精度として表示する、
付記４９に記載の語学学習補助装置。
（付記５０）
画面を表示する表示パネルと、
少なくとも前記第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示部と、
前記発音記号表示部が表示パネルに前記発音記号を表示している位置に対する操作入力を検知するタッチパネル部と、
前記タッチパネル部で検知された操作入力の位置に対応する発音記号を含む単語の発音記号又はアルファベット表記を問題として表示する問題表示部と、
ユーザから発せられた音声を入力する音声入力部と、
前記音声入力部で入力された音声に対応する発音記号を特定する発音記号特定部と、
前記発音記号特定部が特定した発音記号を表示するユーザ音声発音記号表示部と、
を具備する語学学習補助装置。
（付記５１）
前記発音記号表示部が前記表示パネルに表示中の発音記号であって、タッチパネル部で検知した操作入力の位置に対応する発音記号のグラフィックを変更する表示変更部を更に具備する、
付記５０に記載の語学学習補助装置。
（付記５２）
前記問題表示部が表示する単語の発音記号と、前記発音記号特定部が特定する前記発音記号とが一致しているかを判定するユーザ発音判定部と、
前記ユーザ発音判定部が行う前記判定の結果を表示するユーザ発音判定結果表示部と、
を更に具備する付記５０又は５１に記載の語学学習補助装置。
（付記５３）
画面を表示する表示パネルと、
少なくとも前記第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示部と、
前記第１言語で用いられる単語の発音記号又はアルファベット表記又は翻訳文を問題として表示する問題表示部と、
ユーザから発せられた音声を入力する音声入力部と、
前記音声入力部で入力された音声に対応する発音記号を特定する発音記号特定部と、
前記発音記号表示部が表示している発音記号のうち、前記発音記号特定部が特定した発音記号のグラフィックを変更する表示変更部と、
を具備する語学学習補助装置。
（付記５４）
前記問題表示部が表示する単語の発音記号と、前記発音記号特定部が特定する前記発音記号とが一致しているかを判定するユーザ発音判定部と、
前記ユーザ発音判定部が行う前記判定の結果を表示するユーザ発音判定結果表示部と、
を更に具備する付記５３に記載の語学学習補助装置。
（付記５５）（方法発明）
少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて表示パネルに表示する発音記号表示ステップと、
語学学習者が行う音声再生のための操作入力に基づいて音声データを再生する音声再生ステップと、
前記発音記号表示ステップで前記表示パネルに表示されている発音記号のうち、前記音声再生ステップで再生される音声データの音声に対応する発音記号のグラフィックを変更する表示変更ステップと、
を有する語学学習補助方法。
（付記５６）
少なくとも第１言語における子音の発音記号を第１方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて表示パネルに表示する発音記号表示ステップと、
前記発音記号表示ステップで前記表示パネルに前記発音記号が表示されている位置に対する操作入力を検知する操作入力検知ステップと、
前記操作入力検知ステップで検知された操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生ステップと、
を有する語学学習補助方法。
（付記５７）
少なくとも前記第１言語における子音の発音記号を第１方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示ステップと、
記憶部に記憶されている第１言語の音声データを再生する音声再生ステップと、
前記発音記号表示ステップによって表示パネルに前記発音記号が表示されている位置に対する操作入力を検知する操作入力検知ステップと、
前記音声再生ステップが再生した前記音声データの音声に対応する発音記号と、前記操作入力検知ステップで検知された操作入力の位置に対応する発音記号とが一致しているかを判定する判定ステップと、
前記判定ステップにおける判定結果を前記表示パネルに表示する判定結果表示ステップと、
を有する語学学習補助方法。
（付記５８）
少なくとも第１言語における子音の発音記号を第１方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示ステップと、
前記第１言語の音声データを再生する音声再生ステップと、
ユーザから発せられた音声を入力する音声入力ステップと、
前記音声入力ステップで入力された音声に対応する発音記号を特定する発音記号特定ステップと、
前記音声再生ステップが再生した前記音声データの音声に対応する発音記号と、前記発音記号特定ステップが特定した前記発音記号とが一致しているかを判定する判定ステップと、
前記判定ステップにおける判定結果を表示する判定結果表示ステップと、
を有する語学学習補助方法。
（付記５９）
少なくとも第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示ステップと、
前記発音記号表示ステップが表示パネルに前記発音記号を表示している位置に対する操作入力を検知する操作入力検知ステップと、
前記操作入力検知ステップで検知された操作入力の位置に対応する発音記号を含む単語の発音記号又はアルファベット表記を問題として表示する問題表示ステップと、
ユーザから発せられた音声を入力する音声入力ステップと、
前記音声入力ステップで入力された音声に対応する発音記号を特定する発音記号特定ステップと、
前記発音記号特定ステップが特定した発音記号を表示するユーザ音声発音記号表示ステップと、
を有する語学学習補助方法。
（付記６０）
少なくとも第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示ステップと、
前記第１言語で用いられる単語の発音記号又はアルファベット表記又は翻訳文を問題として表示する問題表示ステップと、
ユーザから発せられた音声を入力する音声入力ステップと、
前記音声入力ステップで入力された音声に対応する発音記号を特定する発音記号特定ステップと、
前記発音記号表示ステップが表示している発音記号のうち、前記発音記号特定ステップが特定した発音記号のグラフィックを変更する表示変更ステップと、
を有する語学学習補助方法。
（付記６１）（プログラム発明）
少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて表示パネルに表示する発音記号表示ステップと、
語学学習者が行う音声再生のための操作入力に基づいて音声データを再生する音声再生ステップと、
前記発音記号表示ステップで前記表示パネルに表示されている発音記号のうち、前記音声再生ステップで再生される音声データの音声に対応する発音記号のグラフィックを変更する表示変更ステップと、
を情報処理装置（ＣＰＵ）に実行させる語学学習補助プログラム。
（付記６２）
少なくとも第１言語における子音の発音記号を第１方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて表示パネルに表示する発音記号表示ステップと、
前記発音記号表示ステップで前記表示パネルに前記発音記号が表示されている位置に対する操作入力を検知する操作入力検知ステップと、
前記操作入力検知ステップで検知された操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生ステップと、
を情報処理装置（ＣＰＵ）に実行させる語学学習補助プログラム。
（付記６３）
少なくとも前記第１言語における子音の発音記号を第１方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示ステップと、
記憶部に記憶されている第１言語の音声データを再生する音声再生ステップと、
前記発音記号表示ステップによって表示パネルに前記発音記号が表示されている位置に対する操作入力を検知する操作入力検知ステップと、
前記音声再生ステップが再生した前記音声データの音声に対応する発音記号と、前記操作入力検知ステップで検知された操作入力の位置に対応する発音記号とが一致しているかを判定する判定ステップと、
前記判定ステップにおける判定結果を前記表示パネルに表示する判定結果表示ステップと、
を情報処理装置（ＣＰＵ）に実行させる語学学習補助プログラム。
（付記６４）
少なくとも第１言語における子音の発音記号を第１方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示ステップと、
前記第１言語の音声データを再生する音声再生ステップと、
ユーザから発せられた音声を入力する音声入力ステップと、
前記音声入力ステップで入力された音声に対応する発音記号を特定する発音記号特定ステップと、
前記音声再生ステップが再生した前記音声データの音声に対応する発音記号と、前記発音記号特定ステップが特定した前記発音記号とが一致しているかを判定する判定ステップと、
前記判定ステップにおける判定結果を表示する判定結果表示ステップと、
を情報処理装置（ＣＰＵ）に実行させる語学学習補助プログラム。
（付記６５）
少なくとも第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示ステップと、
前記発音記号表示ステップが表示パネルに前記発音記号を表示している位置に対する操作入力を検知する操作入力検知ステップと、
前記操作入力検知ステップで検知された操作入力の位置に対応する発音記号を含む単語の発音記号又はアルファベット表記を問題として表示する問題表示ステップと、
ユーザから発せられた音声を入力する音声入力ステップと、
前記音声入力ステップで入力された音声に対応する発音記号を特定する発音記号特定ステップと、
前記発音記号特定ステップが特定した発音記号を表示するユーザ音声発音記号表示ステップと、
を情報処理装置（ＣＰＵ）に実行させる語学学習補助プログラム。
（付記６６）
少なくとも第１言語における子音の発音記号を第１方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２方向に並べて前記表示パネルに表示する発音記号表示ステップと、
前記第１言語で用いられる単語の発音記号又はアルファベット表記又は翻訳文を問題として表示する問題表示ステップと、
ユーザから発せられた音声を入力する音声入力ステップと、
前記音声入力ステップで入力された音声に対応する発音記号を特定する発音記号特定ステップと、
前記発音記号表示ステップが表示している発音記号のうち、前記発音記号特定ステップが特定した発音記号のグラフィックを変更する表示変更ステップと、
を情報処理装置（ＣＰＵ）に実行させる語学学習補助プログラム。
（付記６７）
画面を表示する表示パネルと、
少なくとも第１言語における子音の発音記号を第１の方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示手段と、
前記発音記号表示手段が前記表示パネルに前記発音記号を表示している位置に対する操作入力を検知する操作入力手段と、
前記第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶している音声データ記憶手段から前記操作入力手段で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを読み込んで再生する音声再生手段と、
を具備する語学学習補助装置。
（付記６８）
前記発音記号表示手段は、前記第１言語における子音の発音記号と前記第１言語における母音の発音記号とを組み合わせた発音記号を前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に配置して表示する、
付記６７に記載の語学学習補助装置。
（付記６９）
前記発音記号表示手段は、前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に、前記子音の発音記号と前記母音の発音記号とを組み合わせた発音記号を明示的又は暗示的に示すアイコンを配置して表示する、
付記６８に記載の語学学習補助装置。
（付記７０）
前記発音記号表示手段が前記表示パネルに表示中の発音記号であって、前記操作入力手段が検知した操作入力の位置に対応する発音記号のグラフィックを変更する表示変更手段を更に具備する、
付記６６〜６９のいずれか１項に記載の語学学習補助装置。
（付記７１）
前記表示変更手段は、記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを更に変更する、
付記７０記載の語学学習補助装置。
（付記７２）
前記音声データ記憶手段は、第１言語で用いられる単語の音声データを、当該単語に対応する発音記号と関連付けて記憶し、
前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記単語の音声データを再生し、
前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを変更する、付記７０に記載の語学学習補助装置。
（付記７３）
前記音声データ記憶手段は、前記第１言語で用いられる音声データを、当該単語を構成する音節と関連付けて記憶し、
前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを、前記音節に応じたグラフィックに変更する、
付記７０又は７１に記載の語学学習補助装置。
（付記７４）
前記音声データ記憶手段は、第１言語の音声データを当該音声データの音声に対応する発音記号及び声調と関連付けて記憶し、
前記表示変更手段は、前記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを前記音声の声調に応じたグラフィックに変更する、
付記７０〜７２のいずれか１項に記載の語学学習補助装置。
（付記７５）
前記音声データ記憶手段は、複数の話者による音声データを記憶し、
前記音声データ記憶手段で記憶されている音声データの話者のうち、前記音声再生手段で再生する音声データの話者に関する設定を行う設定手段を更に具備し、
前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記音声データ記憶手段に記憶されている複数の話者による音声データのうち、前記設定手段で設定された話者の音声データを再生する、
付記６６〜７３のいずれか１項に記載の語学学習補助装置。
（付記７６）
前記発音記号表示手段が前記発音記号を表示している領域とは別の前記表示パネル上の領域に、前記操作入力手段で検知された操作入力の位置に対応する発音記号を表示する入力発音記号表示手段を更に具備する、
付記６６〜７４のいずれか１項に記載の語学学習補助装置。
（付記７７）
ユーザからの操作入力に基づいて前記音声再生手段が再生した前記音声データの音声に対応する発音記号と、前記音声再生手段が前記音声データを再生した後に前記操作入力手段で検知された操作入力の位置に対応する発音記号とが一致しているかを判定する判定手段と、
前記判定手段における判定結果を表示する判定結果表示手段と、
を更に具備する付記６６〜７５のいずれか１項に記載の語学学習補助装置。
（付記７８）
ユーザから発せられた音声を入力する音声入力手段と、
前記音声入力手段で入力された音声に対応する発音記号を特定する発音記号特定手段と、
前記音声再生手段が再生した前記音声データの音声に対応する発音記号と、前記発音記号特定手段が特定した前記発音記号とが一致しているかを判定する判定手段と、
前記判定手段における判定結果を表示する判定結果表示手段と、
を更に具備する付記６６〜７５のいずれか１項に記載の語学学習補助装置。
（付記７９）
前記表示パネルに音声再生の操作を行うための操作画面を表示する操作画面表示手段を更に具備し、
前記音声再生手段は、前記操作画面表示手段が前記表示パネルに表示する前記操作画面に配置された音声再生用ボタンが押下されたことを前記操作入力手段が検知した場合に、前記音声データ記憶手段に記憶されている前記音声データを再生する、
付記６６〜７７のいずれか１項に記載の語学学習補助装置。
（付記８０）
少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示ステップと、
前記発音記号表示ステップが前記表示パネルに前記発音記号を表示している位置に対する操作入力が検知された場合に、前記検知された操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生ステップと、
を有する語学学習補助方法。
（付記８１）
少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示モジュールと、
前記発音記号表示モジュールが前記表示パネルに前記発音記号を表示している位置に対する操作入力が検知された場合に、前記検知された操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生モジュールと、
を情報処理装置に実行させる語学学習補助プログラム。

本発明に係る語学学習補助装置は、特に学習しようとする言語と母国語との発音体系が異なることにより、脳内で母国語の発音体系に無理やり当て嵌めようとする問題を解決することができるため、特にリスニング能力の向上を求める学習者の学習補助装置として利用可能である。特に発音体系が大きく異なる言語を学習する際の補助として利用することが有効的である。

１００ 語学学習補助装置 １０１ 表示パネル
１０２ 操作入力部（タッチパネル部） １０３ 音声出力部（スピーカー）
１０４ ＨＤＤ １０５ ＣＰＵ
１０６ ＲＡＭ １０７ マイクロフォン
１０８ 無線通信ユニット １０９ センサー群
１１０ 音声データ記憶部 １２０ 音声再生部
１３０ 発音記号表示部 １４０ 表示変更部
１８０ 発音記号表 ２００ 語学学習補助装置
２０１ 理想的な発音の位置を示すアイコン
２０２ 現実的な発音の位置を示すアイコン
２０３〜２０６ 理想的な発音の位置を示すアイコン
２１０ 設定画面表示部 ２２０ 音声再生設定部
２３０ 設定情報記憶部 ２８０ 再生操作画面
２９０ 設定画面 ３００ 語学学習補助装置
３１０ 音声データ記憶部 ３２０ 文字・画像データ記憶部
３３０ 設定部 ３４０ 設定情報記憶部
３５０ 単語検索部 ３６０ 再生制御部
３７０ 単語表示部 ３９０ モード設定画面
３９１ 検索欄 ３９２ 発音記号欄
３９３ アルファベット表記欄 ３９４ 翻訳表示欄
３９５ 再生アイコン ３９６ 単語画像
４００ 語学学習補助装置
４１０ 例文表示部 ４２０ 通信部
４９１ 例文発音記号表示欄 ４９２ 例文アルファベット表示欄
４９３ 例文翻訳表示欄
５００ 語学学習補助装置 ５１０ タッチパネル部
６００ 語学学習補助装置
６１０ 制御部 ６２０ 対応表記億部
６３０ 表示変更部
７００ 語学学習補助装置 ７１０ 入力文字表示部
７２０ 操作画面表示部 ７３０ 合否判定部
７４０ 合否表示部 ７９０ 入力文字表示欄
７９１ 操作画面 ７９２ 開始ボタン
７９３ 判定ボタン ７９４ 音声再生ボタン
７９５ 合否（表示）画面
８００ 語学学習補助装置 ８１０ 音声入力部（マイクロフォン）
８２０ 発音記号特定部 ８３０ 発音精度表示部
８９０ 発音精度表示欄 ８９１ ユーザ音声発音記号表示欄
８９２ 録音ボタン ８９３ 再生ボタン
９００ 語学学習補助装置
９１０ 問題データ記憶部 ９２０ 問題表示部
９３０ ユーザ発音記号表示部 ９４０ ユーザ発音判定部
９５０ ユーザ発音判定結果表示部 ９９１ 問題発音記号（表示）欄
９９２ 問題アルファベット表記（表示）欄 ９９３ 翻訳表示欄
９９５ ユーザ発音記号表示欄 １０００ 語学学習補助装置
１１００ データサーバ １２００ 音声等データベース
１３００ プログラム等記憶データベース １４００ プログラム配信サーバ

Claims (15)

1. 画面を表示する表示パネルと、
   少なくとも第１言語における子音の発音記号を第１の方向に並べて前記表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示手段と、
   前記発音記号表示手段が前記表示パネルに前記発音記号を表示している位置に対する操作入力を検知する操作入力手段と、
   前記第１言語の音声データを当該音声データの音声に対応する発音記号と関連付けて記憶している音声データ記憶手段から前記操作入力手段で検知した操作入力の位置に対応する発音記号に関連付けられた音声データを読み込んで再生する音声再生手段と、
   を具備する語学学習補助装置。
2. 前記発音記号表示手段は、前記第１言語における子音の発音記号と前記第１言語における母音の発音記号とを組み合わせた発音記号を前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に配置して表示する、
   請求項１に記載の語学学習補助装置。
3. 前記発音記号表示手段は、前記子音の発音記号の列又は段と前記母音の発音記号の段又は列との交点付近に、前記子音の発音記号と前記母音の発音記号とを組み合わせた発音記号を明示的又は暗示的に示すアイコンを配置して表示する、
   請求項１又は２に記載の語学学習補助装置。
4. 前記発音記号表示手段が前記表示パネルに表示中の発音記号であって、前記操作入力手段が検知した操作入力の位置に対応する発音記号のグラフィックを変更する表示変更手段を更に具備する、
   請求項１乃至３のいずれか１項に記載の語学学習補助装置。
5. 前記表示変更手段は、記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを更に変更する、
   請求項４記載の語学学習補助装置。
6. 前記音声データ記憶手段は、第１言語で用いられる単語の音声データを、当該単語に対応する発音記号と関連付けて記憶し、
   前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記単語の音声データを再生し、
   前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを変更する、請求項５に記載の語学学習補助装置。
7. 前記音声データ記憶手段は、前記第１言語で用いられる音声データを、当該単語を構成する音節と関連付けて記憶し、
   前記表示変更手段は、発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを、前記音節に応じたグラフィックに変更する、
   請求項５又は６に記載の語学学習補助装置。
8. 前記音声データ記憶手段は、第１言語の音声データを当該音声データの音声に対応する発音記号及び声調と関連付けて記憶し、
   前記表示変更手段は、前記発音記号表示手段が表示している前記発音記号のうち、前記音声再生手段で再生中の前記音声データの音声に対応する発音記号のグラフィックを前記音声の声調に応じたグラフィックに変更する、
   請求項５乃至７のいずれか１項に記載の語学学習補助装置。
9. 前記音声データ記憶手段は、複数の話者による音声データを記憶し、
   前記音声データ記憶手段で記憶されている音声データの話者のうち、前記音声再生手段で再生する音声データの話者に関する設定を行う設定手段を更に具備し、
   前記音声再生手段は、前記操作入力手段で受けたユーザからの音声再生操作に基づいて前記音声データ記憶手段に記憶されている複数の話者による音声データのうち、前記設定手段で設定された話者の音声データを再生する、
   請求項１乃至８のいずれか１項に記載の語学学習補助装置。
10. 前記発音記号表示手段が前記発音記号を表示している領域とは別の前記表示パネル上の領域に、前記操作入力手段で検知された操作入力の位置に対応する発音記号を表示する入力発音記号表示手段を更に具備する、
    請求項１乃至９のいずれか１項に記載の語学学習補助装置。
11. ユーザからの操作入力に基づいて前記音声再生手段が再生した前記音声データの音声に対応する発音記号と、前記音声再生手段が前記音声データを再生した後に前記操作入力手段で検知された操作入力の位置に対応する発音記号とが一致しているかを判定する判定手段と、
    前記判定手段における判定結果を表示する判定結果表示手段と、
    を更に具備する請求項１乃至１０のいずれか１項に記載の語学学習補助装置。
12. ユーザから発せられた音声を入力する音声入力手段と、
    前記音声入力手段で入力された音声に対応する発音記号を特定する発音記号特定手段と、
    前記音声再生手段が再生した前記音声データの音声に対応する発音記号と、前記発音記号特定手段が特定した前記発音記号とが一致しているかを判定する判定手段と、
    前記判定手段における判定結果を表示する判定結果表示手段と、
    を更に具備する請求項１乃至１０のいずれか１項に記載の語学学習補助装置。
13. 前記表示パネルに音声再生の操作を行うための操作画面を表示する操作画面表示手段を更に具備し、
    前記音声再生手段は、前記操作画面表示手段が前記表示パネルに表示する前記操作画面に配置された音声再生用ボタンが押下されたことを前記操作入力手段が検知した場合に、前記音声データ記憶手段に記憶されている前記音声データを再生する、
    請求項１乃至１２のいずれか１項に記載の語学学習補助装置。
14. 少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示ステップと、
    前記発音記号表示ステップが前記表示パネルに前記発音記号を表示している位置に対する操作入力が検知された場合に、前記検知された操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生ステップと、
    を有する語学学習補助方法。
15. 少なくとも第１言語における子音の発音記号を第１の方向に並べて表示パネルに表示すると共に前記第１言語における母音の発音記号を第２の方向に並べて前記表示パネルに表示する発音記号表示モジュールと、
    前記発音記号表示モジュールが前記表示パネルに前記発音記号を表示している位置に対する操作入力が検知された場合に、前記検知された操作入力の位置に対応する発音記号に関連付けられた音声データを再生する音声再生モジュールと、
    を情報処理装置に実行させる語学学習補助プログラム。