JP2017009875A - 学習支援装置およびプログラム - Google Patents

Abstract

【課題】学習支援装置においてユーザのリスニング能力をより早く効果的に向上させる。【解決手段】学習問題データとして記憶されている画像データＧをタッチパネル付き表示部に表示させ、当該画像Ｇに表わされている事象を説明する文章１〜文章４に対応した音声１〜音声４を順次再生する。そして、前記音声再生に伴い、前記事象の説明が正しい文章３に関係する前記画像Ｇ上のポイント位置Ｐｍ（Ｐ１，Ｐ２，Ｐ３）に従って、当該ポイント位置に該当する画像部分を、矢印表示（ヒント表示（１））、または時間経過に応じたコントラスト表示（ヒント表示（２））、または時間経過に応じたズーム表示（ヒント表示（３））などにより識別表示させる。そして、前記各文章１〜文章４の何れが正しいかをユーザに選択させて回答させる。【選択図】 図４

Description

本発明は、例えば外国語のリスニングを学習するのに好適な学習支援装置およびその制御プログラムに関する。

従来から、外国語を学習して正しく話せるようになるには、読み書きだけでなくリスニング能力を向上させることが重要であり、以下に記載するような学習支援装置が考えられている。

立体表示装置に２次元的に表示された画像に含まれる物などの対象図形をタッチして選択すると、当該対象図形を３次元的に表示させると共に、同対象図形に対応する名称などの単語を音声出力してユーザに聞かせる学習装置が考えられている（例えば、特許文献１参照。）。

学生のリスニング能力を測定し、その測定の結果に基づいて、学生に対し弱点対策を付した教材を作成し提供して演習を行なわせる語学学習システムが考えられている（例えば、特許文献２参照。）。

特開平１０−３１４１３号公報 特開２００５−２５０４２３号公報

画像に表わされている事象を説明する文章の音声を再生してリスニングさせるものにおいて、より早く効果的にリスニング能力を向上させることが望まれる。

本発明は、このような課題に鑑みなされたもので、ユーザのリスニング能力をより早く効果的に向上させることが可能になる学習支援装置およびその制御プログラムを提供することを目的とする。

本発明に係る学習支援装置は、画像データと、当該画像データにより表示される画像に表わされている事象を文章で説明する文章データと、前記文章の表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段と、を備えたことを特徴としている。

本発明によれば、ユーザのリスニング能力をより早く効果的に向上させることが可能になる。

本発明の学習支援装置の実施形態に係る学習支援システムの外観構成を示す図。 前記学習支援システムにおける学習端末１０の電子回路の構成を示すブロック図。 前記学習端末１０の学習問題データ１２ｂとして記憶される学習問題の１問分のデータ構造を示す図。 前記学習問題データ１２ｂに含まれる学習問題１問分のデータの具体例を示す図。 前記学習問題データ１２ｂに含まれる学習問題（１問分）に対応したヒントデータ１２ｃの具体例を示す図。 前記学習支援システムにおける学習端末１０の制御処理を示すフローチャート。 前記学習端末１０の制御処理における第１実施例のヒント表示処理（１）を示すフローチャート。 前記学習端末１０の第１実施例のヒント表示処理（１）に従った音声再生を伴う画像表示動作を示す図。 前記学習端末１０の学習問題データ１２ｂとして記憶される学習問題１問分の第２実施例のデータ構造を示す図。 前記学習端末１０の制御処理における第２実施例のヒント表示処理（２）を示すフローチャート。 前記学習端末１０の第２実施例のヒント表示処理（２）に従った音声再生を伴う画像表示動作を示す図。 前記学習端末１０の制御処理における第３実施例のヒント表示処理（３）を示すフローチャート。 前記学習端末１０の第３実施例のヒント表示処理（３）に従った音声再生を伴う画像表示動作を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の学習支援装置の実施形態に係る学習支援システムの外観構成を示す図である。

本実施形態の学習支援システムは、ユーザが操作する学習端末１０と、当該学習端末１０とインターネットなどの通信ネットワークＮを介して接続される学習サーバ２０とから構成される。

前記学習端末１０は、タブレット端末などの携帯端末あるいはパソコンからなり、外部からインストールされたプログラム、あるいは予め記憶されたプログラムに従って動作することで前記学習支援システムの端末１０として機能する。

前記学習サーバ２０は、語学学習サイトを有し、前記学習端末１０からの依頼に応じて、当該語学学習の学習支援プログラムを提供したり、ユーザの語学力に応じた学習問題を提供したりする。

図２は、前記学習支援システムにおける学習端末１０の電子回路の構成を示すブロック図である。

前記学習端末１０は、コンピュータである制御装置（ＣＰＵ）１１を備えている。

前記ＣＰＵ１１は、フラッシュＲＯＭなどの記憶装置１２に記憶された端末制御プログラム１２ａに従って回路各部の動作を制御する。

前記端末制御プログラム１２ａは、前記記憶装置１２に予め記憶されるか、光ディスクやメモリカードなどの外部記録媒体１３から記録媒体読み取り部１４により読み込まれて前記記憶装置１２に記憶されるか、前記通信ネットワークＮ上のＷｅｂサーバ（ここではプログラムサーバ）２０から通信部１５によりダウンロードされて前記記憶装置１２に記憶される。

前記端末制御プログラム１２ａとしては、本学習端末１０の全体の動作を司るシステムプログラム、ユーザ操作に応じて前記学習サーバ２０から学習問題を取得し、当該学習問題に応じた表示の制御および音声再生の制御を行なうための学習支援プログラムなどが記憶される。

前記記憶装置１２にはまた、前記学習サーバ２０から取得された学習問題データ１２ｂと当該学習問題データ１２ｂと併せて取得されたヒントデータ１２ｃが記憶される。

前記端末制御プログラム１２ａは、キー操作部１７からのキー入力信号、タッチパネル付き表示部１８からのタッチ操作に応じた入力信号、前記通信部１５を介して受信される前記学習サーバ２０などの外部機器からの通信信号に応じて起動される。

ＲＡＭ１６は、前記ＣＰＵ１１による回路各部の動作の制御に伴う各種データの作業用メモリとして機能し、前記タッチパネル付き表示部１８の液晶表示部に表示させる表示データが描画されて記憶される表示データエリア１６ａなどが確保される。

このように、前記ＣＰＵ１１には、前記記憶装置１２、記録媒体読み取り部１４、通信部１５、ＲＡＭ１６、キー操作部１７、タッチパネル付き表示部１８が接続される他に、当該ＣＰＵ１１により生成された音声や再生された音声を出力するための音声出力部１９が接続される。

図３は、前記学習端末１０の学習問題データ１２ｂとして記憶される学習問題の１問分のデータ構造を示す図である。

図４は、前記学習問題データ１２ｂに含まれる学習問題１問分のデータの具体例を示す図である。

前記学習問題は、写真や絵からなる画像データＧと、当該画像データＧに含まれる物，人，動きなどに関する事象を説明する複数の文章データＢｍ（ここでは４つの文章１〜文章４）と、当該文章データＢｍの各文章が説明している事象に関係した前記画像データＧ上でのポイント位置データＰｍ（Ｐ１〜Ｐ７）と、前記文章データＢｍの各文章の読み上げ音声である音声データＲｍ（音声１〜音声４）とが対応付けられて構成される。

前記複数の文章データＢｍ（文章１〜文章４）は、前記画像データＧの事象を正しく説明する内容の文章（ここでは文章３（正解））と誤って説明する内容の文章（ここでは文章１，２，４（不正解））とが混在して記憶される。

また、前記ポイント位置データＰｍ（Ｐ１〜Ｐ７）は、前記画像データＧにより表される画像上での、例えば、物，人，動きを表す位置とされる。

なお、前記学習問題の画像データＧを前記タッチパネル付き表示部１８により表示させる際には、図４（Ａ）に示すように、当該画像データＧの左下に、前記音声データＲｍ（音声１〜音声４）を聴いたユーザがその何れの音声に対応した文章データ（文章１〜文章４）が正解であるかをタッチ操作により選択して回答するための回答ボタン［１］〜［４］が合成される。

図５は、前記学習問題データ１２ｂに含まれる学習問題（１問分）に対応したヒントデータ１２ｃの具体例を示す図である。

前記ヒントデータ１２ｃは、当該ヒントの対象となる前記画像データＧ上でのポイント位置データＰｍ（Ｐ１〜Ｐ７）に、各該当する位置の物，人，動きを表す単語（名詞，動詞）と、当該単語に対応した画像部分に関する同単語を用いた説明文とを対応付けて構成される。

このように構成された学習支援システムの学習装置１０は、前記制御装置（ＣＰＵ）１１が前記端末制御プログラム１２ａ（前記システムプログラム、学習支援プログラムを含む）に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、後述の動作説明で述べる機能を実現する。

また、前記学習支援システムの学習サーバ２０も同様に、当該学習サーバ２０に備えられた制御装置（ＣＰＵ）がそのサーバ制御プログラムに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、後述の動作説明で述べる機能を実現する。

次に、前記構成の学習支援システムの動作について説明する。

図６は、前記学習支援システムにおける学習端末１０の制御処理を示すフローチャートである。

前記学習端末１０において、前記学習サーバ２０の語学学習サイトにアクセスし、前記学習支援プログラムをダウンロードしてインストールする。

前記学習支援プログラムが起動されると、ユーザの語学力をチェックするためのチェックテストが実行され、テスト実行結果の語学力と、ユーザ入力された語学検定試験の目標点数や希望の問題項目などに応じて、前記学習サーバ２０からユーザに出題する学習問題データ１２ｂと当該学習問題１２ｂに対応したヒントデータ１２ｃが取得され、記憶装置１２に記憶される。

なお、前記学習問題データ１２ｂとそのヒントデータ１２ｃは、前記学習サーバ２０から学習支援プログラムをダウンロードしてインストールする際に、当該プログラムと併せてダウンロードし取得する構成としてもよい。

ユーザ操作に応じて学習の開始が指示されると、記憶装置１２に記憶された学習問題データ１２ｂが制御装置１１に読み出され（取得され）、前記学習問題データ１２ｂから最初の問題が読み出される（ステップＳ１）。そして取得された最初の学習問題の画像データＧ（図４（Ａ）参照）がタッチパネル付き表示部１８に表示される（ステップＳ２）。

ここで、ユーザが、前記表示された画像データＧについて回答選択の前にヒントを得るために、当該画像データＧが表示された画面上をタッチすると（ステップＳ１０（Ｙｅｓ））、当該画像データＧ上のタッチされた位置に対応したポイント位置Ｐｎが、前記ヒントデータ１２ｃ（図５参照）に含まれているか否か判断される（ステップＳ１１）。

前記タッチ位置に対応したポイント位置Ｐｎが、前記ヒントデータ１２ｃに含まれていると判断されると（ステップＳ１１（Ｙｅｓ））、当該ポイント位置Ｐｎに対応付けられたヒント情報の単語が前記画像データＧ上の空エリアに重ねて表示される（ステップＳ１２）。

そして、前記表示されたヒント情報の単語がユーザによりタッチされると（ステップＳ１３（Ｙｅｓ））、前記ヒントデータ１２ｃ内の該当単語に対応付けられた当該単語を含む説明文が表示される（ステップＳ１４）。

具体的には、前記図４（Ａ）に示すように表示された画像データＧおいて、ポイント位置Ｐ１の近傍がタッチされると（ステップＳ１０（Ｙｅｓ））、当該ポイント位置Ｐ１に対応付けられた単語“banner”が表示される（ステップＳ１１→Ｓ１２）。そして、当該単語“banner”がタッチされると（ステップＳ１３（Ｎｏ））、当該単語“banner”を含む説明文“a banner is … between the poles.”が表示される（ステップＳ１４）。

この後、前記表示中の画像データＧ上でのユーザによるタッチ操作が判断される毎に、前記同様に、当該タッチ操作位置（ポイント位置Ｐｎ）に該当する人，物，動きなどの単語が表示され、さらに、当該単語へのタッチ操作に応じて同単語を含む説明文が表示される（ステップＳ１０〜Ｓ１４）。

これにより、ユーザは、前記表示中の問題の画像データＧに対応した正しい文章データＢｍ（文章１〜文章４）が何れであるかの回答選択を行なう前に、当該画像データＧ上の各部の事象を表す説明をヒントとして知ることができる。またそればかりでなく、当該画像データＧ上の各部に関係する様々な事象の英語表現を知ることもできる。

次に、ユーザ操作に応じて、前記表示中の画像データＧに対応付けられている文章データＢｍ（文章１〜文章４）に対応する音声データＲｍ（音声１〜音声４）の再生開始が指示されると（ステップＳ３（Ｙｅｓ））、当該再生開始指示後の１回目（初回）である場合は（ステップＳ４（Ｙｅｓ））、前記各音声１〜音声４が順番に再生され音声出力部１９から出力される（ステップＳ５）。

ユーザは、前記表示中の画像データＧに表わされている事象について、前記音声データＲｍ（音声１〜音声４）として再生された文章データＢｍ（文章１〜文章４）の何れの文章が正しいかを、当該画像データＧ上に表示された回答ボタン［１］〜［４］を選択して回答する（ステップＳ７）。

ここで、ユーザが、前記再生された音声データＲｍ（音声１〜音声４）を、その聞き取りが不十分であることなどによりもう一度聞きたい場合に、例えば前記表示中の画像データＧ上でのタッチ操作あるいはキー操作部１７のキー操作により当該もう一度聞きたい指示があったと判断される（ステップＳ６（Ｙｅｓ））。

すると、前記音声データＲｍ（音声１〜音声４）の再生回数ｎが２回目以降と判断され（ステップＳ４（Ｎｏ））、当該各音声１〜音声４を順番に再生する処理と共に、各対応する文章１〜文章４の正誤をユーザが判断するためのヒント表示処理が実行される（ステップＳＨ（図７〜図１３参照））。

（第１実施例）
図７は、前記学習端末１０の制御処理における第１実施例のヒント表示処理（１）を示すフローチャートである。

図８は、前記学習端末１０の第１実施例のヒント表示処理（１）に従った音声再生を伴う画像表示動作を示す図である。

前記ヒント表示処理（１）が開始されると、図８に示すように、先ず、前記文章データＢｍ（文章１〜文章４）の文章１“There is a man on the bike in front of the banner.”に対応する音声１が読み出されて再生される（ステップＨ１１，Ｈ１２）。

そして、前記文章１に対応付けられた画像データＧ上のポイント位置Ｐｍ（Ｐ１，Ｐ２，Ｐ３）（図４参照）に従い矢印Ｄ１が表示され、当該表示中の画像データＧ上の該当する位置（ここではＰ１〜Ｐ３の範囲の画像部分）が識別表示される（ステップＨ１３）。

この後、次の各文章２〜文章４についても前記同様に、当該各文章２〜文章４の各音声２〜音声４が順番に再生されながら、各対応するポイント位置Ｐｍ（文章２；Ｐ６，Ｐ７／文章３；Ｐ１，Ｐ２，Ｐ３／文章４；Ｐ５，Ｐ６）に矢印Ｄ２，Ｄ３，Ｄ４が表示され、表示中の画像データＧ上の該当する位置（範囲）が順番に識別表示される（ステップＨ１４（Ｙｅｓ）→Ｈ１１〜Ｈ１３）。

これにより、ユーザは、前記矢印Ｄ１〜Ｄ４により順次識別表示される再生中の各文章１〜文章４にそれぞれ関係する事象がある付近の画像部分に注目しながら当該各文章１〜文章４の再生音声を聴くことができ、同各文章１〜文章４の正誤判断を容易に行えるようになる。

（第２実施例）
図９は、前記学習端末１０の学習問題データ１２ｂとして記憶される学習問題１問分の第２実施例のデータ構造を示す図である。

第２実施例（第３実施例も同様）では、前記画像データＧに対応付けられるポイント位置データＰｍとして、正しい文章（ここでは文章３）が説明している事象に関係した当該画像データＧ上でのポイント位置（Ｐ１，Ｐ２，Ｐ３）だけが記憶される。

図１０は、前記学習端末１０の制御処理における第２実施例のヒント表示処理（２）を示すフローチャートである。

図１１は、前記学習端末１０の第２実施例のヒント表示処理（２）に従った音声再生を伴う画像表示動作を示す図である。

前記ヒント表示処理（２）が開始されると、図１１に示すように、前記文章データＢｍ（文章１〜文章４）に対応する各音声１〜音声４が順番に読み出されて再生される（ステップＨ２１）。

すると、前記各文章１〜文章４の音声再生に伴い、正解の文章３に対応付けられた画像データＧ上のポイント位置Ｐｍ（Ｐ１，Ｐ２，Ｐ３）に基づいて正解の文章が示す事象を表した範囲が特定される（ステップＨ２２）。

そして、図１１に示すように、前記表示中の画像データＧ上で前記特定された範囲以外の画像が時間の経過に応じて色合いを薄くして表示される（ステップＨ２３）。言い換えれば、時間の経過に応じて、前記正しい文章３に対応する付近の画像部分が徐々に識別表示される。

これにより、ユーザは、前記再生中の各文章１〜文章４の中で正しい文章３に対応した事象がある付近の画像部分にだけ注目の的が誘導されながら当該各文章１〜文章４の再生音声を聴くことができ、同ユーザのリスニング能力に関わらず、前記文章１〜文章４の正誤判断をより容易に行えるようになる。

（第３実施例）
図１２は、前記学習端末１０の制御処理における第３実施例のヒント表示処理（３）を示すフローチャートである。

図１３は、前記学習端末１０の第３実施例のヒント表示処理（３）に従った音声再生を伴う画像表示動作を示す図である。

前記ヒント表示処理（３）が開始されると、図１３に示すように、前記文章データＢｍ（文章１〜文章４）に対応する各音声１〜音声４が順番に読み出されて再生される（ステップＨ３１）。

すると、前記各文章１〜文章４の音声再生に伴い、正解の文章３に対応付けられた画像データＧ上のポイント位置Ｐｍ（Ｐ１，Ｐ２，Ｐ３）が特定される（ステップＨ３２）。

そして、図１３に示すように、前記表示中の画像データＧが時間の経過に応じて前記特定された位置（ここではＰ１，Ｐ２，Ｐ３を含む所定の範囲）にズームされながら表示される（ステップＨ２３）。言い換えれば、前記第２実施例と同様に、時間の経過に応じて、前記正しい文章３に対応する付近の画像部分だけに徐々に識別されて表示される。

これにより、ユーザは、前記再生中の各文章１〜文章４の中で正しい文章３に対応した事象がある付近の画像部分だけに見ている内容が誘導されながら当該各文章１〜文章４の再生音声を聴くことができ、同ユーザのリスニング能力に関わらず、前記文章３が正しいとの判断をより容易に行えるようになる。

こうして、前記文章データＢｍ（文章１〜文章４）に対応した音声再生を伴う画像データＧのヒント表示処理（ステップＳＨ）が実行された後に、ユーザ操作に応じて、さらにもう一度聞きたい指示があったと判断されると（ステップＳ６（Ｙｅｓ））、その都度、前記同様のヒント表示処理（ステップＳＨ）が繰り返し実行される。

この後、前記表示中の画像データＧの事象について、前記音声１〜音声４として再生された文章１〜文章４の何れの文章が正しいか、当該画像Ｇ上に表示された回答ボタン［１］〜［４］の選択により回答されると（ステップＳ７（Ｙｅｓ））、当該回答が正解か否かが判断されその判断結果が前記タッチパネル式表示部１８に表示される（ステップＳ８）。

続いて、前記学習問題データ１２の学習問題として次の問題があるか否か判断され（ステップＳ９）、次の問題（ここでは２問目）があると判断されると（ステップＳ９（Ｙｅｓ））、当該２問目の問題が読み出され（ステップＳ１）、その画像データＧがタッチパネル付き表示部１８に表示される（ステップＳ２）。

そして、前記１問目の場合と同様に、ユーザは、前記表示された２問目の画像データＧの文章データＢｍに対応した音声再生を行なわせる前に、当該画像データＧ上の各部をタッチ操作して各対応する画像部分の事象を表す単語や説明文をヒントとして表示させたり（ステップＳ１０〜Ｓ１４）、前記文章データＢｍ（文章１〜文章ｎ）に対応した音声再生を行なわせながら正しい文章に対応した画像部分をヒントとして識別表示させたりして（ステップＳＨ）、当該各文章１〜文章ｎの正誤を判断できる。

したがって、前記構成の学習支援システムによれば、学習問題データ１２ｂとして記憶されている画像データＧをタッチパネル付き表示部１８に表示させ、当該画像Ｇに表わされている事象を説明する文章１〜文章４に対応した音声１〜音声４を順次再生する。そして、前記音声再生に伴い、前記事象の説明が正しい文章３に関係する前記画像Ｇ上のポイント位置Ｐｍ（Ｐ１，Ｐ２，Ｐ３）に従って、当該ポイント位置に該当する画像部分を、矢印表示（ヒント表示（１））、または時間経過に応じたコントラスト表示（ヒント表示（２））、または時間経過に応じたズーム表示（ヒント表示（３））などにより識別表示させる。

これにより、ユーザは、前記正しい文章３に対応した事象がある画像部分に注目しながら前記各文章１〜文章４の再生音声を聴くことができ、当該文章３が正しいとの判断を容易に行えるようになる。

なお、前記矢印表示（ヒント表示（１））の場合は、前記各文章１〜文章４に対応した音声１〜音声４を順番に再生する毎に、当該各文章１〜文章４に関係する各々のポイント位置に該当する画像部分を矢印Ｄ１〜Ｄ４で示して識別表示させる。

この場合、ユーザは、前記矢印Ｄ１〜Ｄ４により順次識別表示される前記各文章１〜文章４にそれぞれ対応した事象がある各画像部分に注目しながら当該各文章１〜文章４の再生音声を聴くことができ、同各文章１〜文章４の正誤判断を容易に行えるようになる。

また、前記構成の学習支援システムによれば、前記表示中の画像データＧに対応した各文章１〜文書４の音声再生を行なわせる前にも、当該画像Ｇ上の各部をタッチ操作して各対応する画像部分の事象を表す単語や説明文をヒントとして表示させることができる。

よって、ユーザは、そのリスニング能力に関わらず、前記文章１〜文章４の正誤判断をより容易に行えるようになり、同ユーザのリスニング能力をより早く効果的に向上させることが可能になる。

なお、前記各実施形態では、学習問題として画像Ｇと当該画像Ｇの事象を表す正解／不正解が混在する複数の文章１〜４とを取得し、当該文章１〜４に対応する音声を順番に再生することで、何れか正解の文章をユーザに選択させて回答させる構成としたが、前記画像Ｇの事象を表す正解又は不正解の１つの文章を取得し、当該文章の音声を再生してその文章が正解か否かを回答させる構成としてもよい。

なお、前記各実施形態において記載した学習支援システムによる各処理の手法およびデータベース、すなわち、図６のフローチャートに示す学習端末１０の制御処理、図７、図９、図１２の各フローチャートに示す前記学習端末１０の制御処理に伴うヒント表示処理（１）（２）（３）等の各手法、および学習問題データ１２ｂ、ヒントデータ１２ｃ等のデータベースは、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録装置の媒体に格納して配布することができる。そして、電子機器のコンピュータ（制御装置）は、この外部記録装置の媒体に記憶されたプログラムを記憶装置に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した学習支援機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク上を伝送させることができ、この通信ネットワークに接続されたコンピュータ装置（プログラムサーバ）から前記プログラムのデータを電子機器に取り込んで記憶装置に記憶させ、前述した学習支援機能を実現することもできる。

本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［１］
画像データと、当該画像データにより表示される画像に表わされている事象を文章で説明する文章データと、前記文章の表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、
前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、
前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、
前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段と、
を備えたことを特徴とする学習支援装置。

［２］
前記データ取得手段は、前記文章データとして、前記画像に表わされている事象を正しく説明する文章データと誤って説明する文章データとを混在して複数取得する、
ことを特徴とする［１］に記載の学習支援装置。

［３］
前記音声再生手段は、前記データ取得手段により取得された複数の文章データに各対応する音声データを順次再生し、
前記識別表示手段は、前記音声再生手段により前記複数の文章データに各対応する音声データが順次再生される毎に、前記画像表示手段により表示されている画像上で当該音声再生中の文章データに対応した前記位置データに該当する部分画像を識別表示させる、
ことを特徴とする［２］に記載の学習支援装置。

［４］
前記識別表示手段は、前記音声再生手段により前記複数の文章データに各対応する音声データが再生される間に、前記画像表示手段により表示されている画像上で前記事象を正しく説明する文章データに対応した位置データに該当する部分画像を徐々に識別して表示させる、
ことを特徴とする［２］に記載の学習支援装置。

［５］
前記データ取得手段により取得された前記画像上の各位置データに対応する各画像部分に対応した単語を取得する単語取得手段と、
前記画像表示手段により表示された画像上でユーザ操作に応じて指定された位置の画像部分に対応して前記単語取得手段により取得された単語をヒントとして表示させるヒント単語表示手段と、
を備えたことを特徴とする［１］ないし［４］の何れかに記載の学習支援装置。

［６］
電子機器のコンピュータを、
画像データと、当該画像データにより表示される画像に表わされている事象を文章で説明する文章データと、前記文章の表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、
前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、
前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、
前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段、
として機能させるためのコンピュータ読み込み可能なプログラム。

１０ …学習端末
１１ …制御装置（ＣＰＵ）
１２ …記憶装置
１２ａ…端末制御プログラム
１２ｂ…学習問題データ
１２ｃ…ヒントデータ
１３ …外部記録媒体
１４ …記録媒体読み取り部
１５ …通信部
１６ａ…表示データエリア
１８ …タッチパネル付き表示部
２０ …学習サーバ（Ｗｅｂサーバ）
Ｎ …通信ネットワーク

Claims (6)

1. 画像データと、当該画像データにより表示される画像に表わされている事象を文章で説明する文章データと、前記文章の表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、
   前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、
   前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、
   前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段と、
   を備えたことを特徴とする学習支援装置。
2. 前記データ取得手段は、前記文章データとして、前記画像に表わされている事象を正しく説明する文章データと誤って説明する文章データとを混在して複数取得する、
   ことを特徴とする請求項１に記載の学習支援装置。
3. 前記音声再生手段は、前記データ取得手段により取得された複数の文章データに各対応する音声データを順次再生し、
   前記識別表示手段は、前記音声再生手段により前記複数の文章データに各対応する音声データが順次再生される毎に、前記画像表示手段により表示されている画像上で当該音声再生中の文章データに対応した前記位置データに該当する部分画像を識別表示させる、
   ことを特徴とする請求項２に記載の学習支援装置。
4. 前記識別表示手段は、前記音声再生手段により前記複数の文章データに各対応する音声データが再生される間に、前記画像表示手段により表示されている画像上で前記事象を正しく説明する文章データに対応した位置データに該当する部分画像を徐々に識別して表示させる、
   ことを特徴とする請求項２に記載の学習支援装置。
5. 前記データ取得手段により取得された前記画像上の各位置データに対応する各画像部分に対応した単語を取得する単語取得手段と、
   前記画像表示手段により表示された画像上でユーザ操作に応じて指定された位置の画像部分に対応して前記単語取得手段により取得された単語をヒントとして表示させるヒント単語表示手段と、
   を備えたことを特徴とする請求項１ないし請求項４の何れか１項に記載の学習支援装置。
6. 電子機器のコンピュータを、
   画像データと、当該画像データにより表示される画像に表わされている事象を文章で説明する文章データと、前記文章の表す事象のポイントになる前記画像上の位置を示す位置データとを取得するデータ取得手段と、
   前記データ取得手段により取得された画像データに基づく画像を表示する画像表示手段と、
   前記データ取得手段により取得された文章データに対応する音声データを再生する音声再生手段と、
   前記音声再生手段により前記文章データに対応する音声データが再生されるのに伴い、前記画像表示手段により表示されている画像上の前記位置データに該当する部分画像を識別表示させる識別表示手段、
   として機能させるためのコンピュータ読み込み可能なプログラム。