JP2020020993A - 表示装置、表示制御方法および表示制御プログラム。 - Google Patents

Abstract

【課題】音声再生の経過に合わせて、音声に対応するテキストデータを適切に表示可能な表示装置を実現する。【解決手段】表示装置であって、表示部と、音声データを出力する音声出力部と、第１言語のテキストデータと、前記第１言語のテキストデータの発音を文字で表した発音のテキストデータと、前記第１言語のテキストデータを第２言語で表した第２言語のテキストデータとの前記各テキストデータを前記表示部の異なる１行に表示させる表示制御部と、前記各テキストデータのいずれかに対応する前記音声データを前記音声出力部から再生させる音声制御部と、を備え、前記表示制御部は、前記音声制御部による前記音声データの再生の経過に合わせて、前記各テキストデータを前記表示部の各行でスクロール表示させる。【選択図】図４

Description

本発明は表示装置、表示制御方法および表示制御プログラムに関する。

例えば、下記特許文献１は、英文の音声の聞きとり学習をする際に、英文の音声出力とともに、その英文の全てを表示画面の縦方向の複数行に表示する技術が開示されている。さらに、特許文献１は、表示されている英文の下側に、英文を翻訳した日本文を１行で表示し、日本文を１行で表示しきれない時は、日本文を横方向に自動的にスクロール表示し、ユーザが特別な操作をせずに、英文と日本文との全文を確認することができる技術が開示されている。

特開２００３−１６７５０７号公報

上記に鑑み、本発明は、例えば、ユーザが、音声を聞きながら、その音声の内容を表示画面上で確認する際に、ユーザの目線の縦方向や横方向の動きを少なくし、より簡単に音声の内容を確認できる表示装置等を実現することを目的とする。

（１）本発明の表示装置は、表示部と、音声データを出力する音声出力部と、前記表示部に、第１言語のテキストデータと、前記第１言語のテキストデータの発音を文字で表した発音のテキストデータと、前記第１言語のテキストデータを第２言語で表した第２言語のテキストデータとの前記各テキストデータを前記表示部の異なる１行に表示させる表示制御部と、前記各テキストデータのいずれかに対応する前記音声データを前記音声出力部から再生させる音声制御部と、を備え、前記表示制御部は、前記音声制御部による前記音声データの再生の経過に合わせて、前記各テキストデータを前記表示部の各行でスクロール表示させることを特徴とする。

（２）本発明の表示制御方法は、第１言語のテキストデータと、前記第１言語のテキストデータの発音を文字で表した発音テキストデータと、前記第１言語のテキストデータを第２言語で表した第２言語のテキストデータとの前記各テキストデータを表示部の異なる１行に表示させ、前記テキストデータのいずれかに対応する音声データを音声出力部から再生させ、前記音声データの再生の経過に合わせて、前記各テキストデータを前記表示部の各行でスクロール表示させることを特徴とする。

（３）本発明の表示制御プログラムは、第１言語のテキストデータと、前記第１言語のテキストデータの発音を文字で表した発音のテキストデータと、前記第１言語のテキストデータを第２言語で表した第２言語のテキストデータとの前記各テキストデータを表示部の異なる１行に表示させる表示制御部、前記各テキストデータのいずれかに対応する音声データを音声出力部から再生させる音声制御部、としてコンピュータを機能させ、前記表示制御部は、前記音声制御部による前記音声データの再生の経過に合わせて、前記各テキストデータを前記表示部の各行でスクロール表示させることを特徴とする。

図１は、本発明の実施形態に係る表示装置の要部構成を示すブロック図である。 図１に示す表示装置の外観図の一例である。 図１に示す記憶部の構成の一例を示す図である。 図１に示す表示装置の制御部の機能的構成の一例を示す図である。 第１の実施形態における表示装置のフローの一例を示す図である。 第１の実施形態における表示装置のＵＩ画面の具体例を示す図である。 第２の実施形態における表示装置のＵＩ画面の具体例を示す図である。 第３の実施形態における表示装置のＵＩ画面の具体例を示す図である。 第５の実施形態における表示装置のＵＩ画面の具体例を示す図である。 第６の実施形態における表示装置のＵＩ画面の具体例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

図１は、本発明の実施形態に係る表示装置のブロック図である。図２は、表示装置１の外観の一例を示す外観図である。

図１に示すように、表示装置１は、入力部３、表示部４、記憶部５、音声出力部６を有し、入力部３、表示部４、記憶部５、音声出力部６は、プロセッサからなる制御部２により制御される。また、制御部２は、例えば、記憶部５に格納されるプログラムに従って各種の情報処理を実行する。

入力部３は、表示装置１に対する指示をユーザが入力するためのものである。例えば、
図２に示すように、入力部３は、電源ボタン３１、音量大ボタン３２ａ、音量小ボタン３２ｂ、文字拡大ボタン３３、メニューボタン３４、決定ボタン３５、および、十字キー３６を含む。

電源ボタン３１は、表示装置１の電源をＯＮにするためのボタンである。音量大ボタン３２ａは、スピーカ６１０およびイヤホン６２０から出力される音量の大きさを大きくするためのボタンである。音量小ボタン３２ｂは、スピーカ６１０およびイヤホン６２０から出力される音量の大きさを小さくするためのボタンである。文字拡大ボタン３３は表示部４に表示される文字のサイズを拡大するためのボタンであり、例えば、１回押すごとに文字サイズが大きくなり、最大サイズになった時にもう一度押すと最小サイズの文字に変更される。メニューボタン３４は、表示装置１の動作の設定を変更するためのメニュー画面を表示部４に表示するためのボタンである。決定ボタン３５は、表示されているメニュー画面での設定項目を決定するためのボタンである。十字キー３６は、上キー、下キー、左キー、および、右キーを含み、カーソルを移動させたり、表示装置１の特定の機能を呼び出したりするために使用される。

表示部４は、例えば、液晶パネルであって、制御部２からの指示により、記憶部５のテキストデータや、予め決められたメニュー画面や、複数の文章が分類されている分類名をリスト化したリスト画面等を表示して、必要な情報をユーザに対して提示する。

音声出力部６は、スピーカ６１０、イヤホン６２０を含み、制御部２が例えば、記憶部５の音声データから取得した音声データを音声として出力する。

記憶部５は、ＮＶＲＡＭ（non-Volatile random access memory）、フラッシュメモリなどの不揮発性の記憶装置によって構成され、表示装置１が処理する各種情報や、制御部２によって実行されるプログラムを記憶する。

記憶部５については、具体的には、図３に示すように、テキストデータ、音声データ、設定データおよび設定音声速度などが記憶されている。

図４は、図１の制御部２の機能的構成の一例を示す図である。図４に示すように、制御部２は、例えば、機能的に文章番号取得部２０１、テキストデータ取得部２０２、スクロール位置情報取得部２０３、設定音声速度情報取得部２０４、スクロール時間情報取得部２０５、音声データ取得部２０６、音声制御部２０７、音声再生経過時間取得部２０８、スクロール判断部２０９、表示制御部２１０、音声終了判定部２１１を含む。

以下の説明において、第１言語として英語、第２言語として日本語を例にしているが、言語は日本語と英語に限るものではない。

文章番号取得部２０１は、入力部からの入力に基づき、文章データを特定する文章番号を取得する。例えば、図３（ａ）のテキストデータに示すように、英語と発音と日本語の各テキストデータをひと固まりの文章データとして、文章番号取得部２０１は、１つの文章データに１つの文章番号が対応づけられている場合、複数の文章データのそれぞれに対応付けられた文章番号の中のいずれか１つの文章番号を取得する。

具体的には、例えば、表示制御部２１０は、複数の文章番号を表示部４に表示させ、ユーザにより、表示された文章番号の中のいずれか１つの番号が入力部３から入力された場合、文章番号取得部２０１は、その入力された番号を文章番号として取得する。さらに具体的には、図３（ａ）のテキストデータの１つ目の文章に対応する“１”が入力部３から入力された場合は、文章番号取得部２０１は、文章番号として“１”を取得する。また、例えば、図６（ａ）に示すように、表示制御部２１０が文章の難易度や使用シーン等に分類した分類名を表示部４に表示させている場合、図３（ａ）のテキストデータの各文章番号に分類名を対応付けて記憶していれば（図示なし）、入力部３から特定された分類名に基づき、文章番号取得部２０１は、その分類名の中で一番小さい文章番号や、または、その分類名に対応する文章番号からランダムに１つの文章番号を取得すればよい。

テキストデータ取得部２０２は、文章番号取得部２０１により取得された文章番号に基づき、文章番号に対応付けられた全てのテキストデータを取得する。具体的には、例えば、文章番号取得部２０１により、文章番号として“１”が取得された場合は、テキストデータ取得部２０２は、図３（ａ）のテキストデータに示すように、文章番号“１”に関連付けられているテキスト種別が英語のテキストデータ“Ｉｆｉｔ’ｓ ｎｏｔ ｔｏｏｍｕｃｈ ｔｒｏｕｂｌｅ, ｃａｎ Ｉｌｅａｖｅ ｍｙ ｂａｇｇａｇｅ ａｔ ｔｈｅ ｆｒｏｎｔ？”を取得する。さらに、テキストデータ取得部２０２は、テキスト種別が発音のテキストデータ“イフイッツノットゥマッチトラボーキャナイリーブマイバゲジアッザフロント”を取得する。そして、さらに、テキストデータ取得部２０２は、テキスト種別が日本語のテキストデータ“お手数ですが、私の荷物をフロントで預かってもらえないでしょうか？”を取得する。

ここで、発音のテキストデータは、ある言語の文字で表記された文章の読み方を、他の言語の文字で表記したものであり、例えば、英語のアルファベットで表記された英文の読み方を、日本語の文字のカタカナや平仮名で表記したものである。しかし、これに限らず、英和辞書に表記されている発音記号であってもよく、中国語の文章の読みならピンインであってもよく、また、国際音声記号を用いたものであっても良い。

スクロール位置情報取得部２０３は、文章番号取得部２０１により取得された文章番号に対応する全てのデータ種別のスクロール位置情報を、図３（ｃ）の設定データから取得する。

ここで、スクロール位置情報とは、テキストデータの文字数が多く、表示部４の１画面内に収まらずスクロール表示が必要な場合に、スクロールした画面（２画面目）の先頭に表示する文字のテキストデータ上での位置情報を表している。位置情報とは、その文字または単語が、テキストデータ上の先頭から何文字目または何単語目であるかという情報である。また、図３（ｃ）の設定データにスクロール位置情報が複数ある場合は、２画面目以降の３画面目、４画面目等のスクロールした各画面の先頭に表示する文字または単語の位置情報を表している。

スクロール位置情報取得部２０３は、具体的には、例えば、文章番号取得部２０１により、文章番号として“１”が取得された場合は、図３（ｃ）の設定データに示すように、文章番号“１”、データ種別が英語に対応するスクロール位置情報“７”と“１２”を取得する。ここで、英語のスクロール位置情報“７”は、図３（ａ）のテキストデータの文章番号“１”に対応する英語のテキストデータの先頭から７単語目の“ｃａｎ”を示していて、スクロール位置情報“１２”は、１２単語目の“ａｔ”を示している。

さらに、スクロール位置情報取得部２０３は、データ種別が英語のスクロール位置情報と同様に、データ種別が発音と日本語のスクロール位置情報を取得する。具体的には、例えば、図３（ｃ）の設定データに示すように、文章番号“１”に関連付けられているデータ種別が発音のスクロール位置情報“１７”と“２９”、データ種別が日本語のスクロール位置情報“８”と“１８”を取得する。データ種別が発音のスクロール位置情報“１７”は、文章番号“１”の発音のテキストデータの先頭から１７文字目の“キ”、スクロール位置情報“２９”は２９文字目の“ア”を示している。また、データ種別が日本語のスクロール位置情報“８”は、文章番号“１”の日本語のテキストデータの先頭から８文字目の“私”、スクロール位置情報“１８”は１８文字目の“預”を示している。

設定音声速度情報取得部２０４は、英語の音声データおよび日本語の音声データを音声出力部６から出力するときの再生速度である再生速度情報を取得する。具体的には、例えば、図３（ｄ）の設定音声速度データに示すように、音声種別が英語の再生速度情報“１”と、音声種別が日本語の再生速度情報“２”を取得する。ここで、例えば、英語の再生速度情報“１”は、英語の再生速度情報が“普通”であることを示し、日本語の再生速度情報“２”は、日本語の再生速度情報が“遅い”ことを示している。図３（ｄ）の設定音声速度データの再生速度情報は、ユーザにより設定されたものでも良いし、表示装置１に元々設定されているものでも良い。

ここで、再生速度情報は、何段階に設定されていても良く、例えば３段階に設定されている場合は、図３（ｂ）の音声データに示すように、各段階の速度（速度１、速度２、速度３）に対応した音声データが記憶されている。さらに、図３（ｃ）の設定データに示すように、各段階の速度（速度１、速度２、速度３）に対応したスクロール位置情報とスクロール時間情報とトータル時間情報等の各種の設定データが記憶されている。

スクロール時間情報取得部２０５は、文章番号と、各音声種別の再生速度情報に基づいて、各テキストデータに対応する全てのスクロール位置情報を取得する。具体的には、文章番号取得部２０１により取得された文章番号と、設定音声速度情報取得部２０４により取得された音声種別が英語の再生速度情報に基づいて、データ種別が英語と発音と日本語に対応するスクロール時間情報を図３（ｃ）の設定データから取得する。

例えば、文章番号として“１”、英語の音声の再生速度情報として“１”が取得されている場合は、図３（ｃ）の設定データに示すように、文章番号“１”、英語の音声の再生速度情報“１”に対応する速度１、データ種別が英語のスクロール時間情報である“２”と“３”を取得する。ここで、１つ目の英語のスクロール時間情報“２”は、同じ文章番号“１”のデータ種別が英語の１つ目のスクロール位置情報である“７”が示す７単語目の“ｃａｎ”に対応するスクロール時間情報である。つまり、これは、英語の再生速度情報“１”に対応する速度１の音声データの再生開始から、スクロール時間情報“２”が示す２秒後に“ｃａｎ”が再生されることを表している。また、２つ目の英語のスクロール時間情報“３”は、２つ目のスクロール位置情報“１２”が示す１２単語目の“ａｔ”が、英語の音声データの再生開始から３秒後に再生されることを表している。ここでは、スクロール時間情報の数値の単位を「秒」で表したが、これは、「ミリ秒」などの細かい時間単位であっても構わない。

さらに、スクロール時間情報取得部２０５は、英語のテキストデータに対応するスクロール時間情報と同様に、発音のテキストデータに対応するスクロール時間情報を、英語の再生速度情報に基づいて取得する。具体的には、例えば、図３（ｃ）の設定データに示すように、文章番号“１”、英語の音声の再生速度情報“１”に対応する速度１、データ種別が発音のスクロール時間情報“２”と“３”を取得する。

さらに、スクロール時間情報取得部２０５は、英語のテキストデータに対応するスクロール時間情報と同様に、日本語のスクロール時間情報を、日本語の再生速度情報に基づいて取得する。具体的には、例えば、文章番号として“１”、日本語の音声の再生速度情報として“２”が取得されている場合は、図３（ｃ）の設定データに示すように、文章番号“１”、日本語の音声の再生速度情報“２”に対応する速度２、データ種別が日本語のスクロール時間情報である“１．５”と“２”を取得する。

音声データ取得部２０６は、文章番号と、英語と日本語の各再生速度情報とに基づいて、全ての音声種別の音声データを取得する。例えば、文章番号取得部２０１により取得された文章番号と、設定音声速度情報取得部２０４により取得された英語の音声の再生速度情報に対応する英語の音声データを、図３（ｂ）の音声データから取得する。さらに、文章番号と、設定音声速度情報取得部２０４により取得された日本語の音声の再生速度情報に対応する日本語の音声データを、図３（ｂ）の音声データから取得する。

具体的には、例えば、文章番号取得部２０１により文章番号“１”、設定音声速度情報取得部２０４により英語の再生速度情報“１”が取得されている場合は、文章番号が“１”、英語の再生速度情報“１”に対応する速度１、音声種別が英語の“音声Ｅ１−１“というファイル名の音声データを図３（ｂ）の音声データから取得する。さらに、日本語の音声データについても同様に、文章番号が“１”、日本語の再生速度情報“２”に対応する速度２、データ種別が日本語の“音声Ｊ１−２“というファイル名の音声データを図３（ｂ）の音声データから取得する。

音声制御部２０７は、音声データ取得部２０６により取得された英語の音声データまたは日本語の音声データに基づいた音声を音声出力部６から出力させる制御を行う。

ここで、音声データについては、図３（ｂ）に示すように速度に応じて異なる音声データが記憶されているものとして説明したが、英語と日本語に対応する音声データをそれぞれ１つだけ記憶しておき、図３（ｄ）の再生速度情報に設定されている速度に応じて、音声制御部２０７が音声データを再生する速度を変えて音声出力部６から出力させるようにしても良い。

音声再生経過時間取得部２０８は、音声再生開始からの経過時間を取得する。具体的には、音声再生経過時間取得部２０８は、音声制御部２０７により英語または日本語の音声データの再生開始からの経過時間を取得する。例えば、音声再生経過時間取得部２０８は、再生開始と同時にタイマーを動作させ、タイマーが計測した時間を経過時間として取得する。タイマーによる経過時間の計測は、周知であるので詳細については説明を省略する。

スクロール判断部２０９は、音声データの再生開始からの経過時間が、スクロールする時間に到達したかどうかを判断する。具体的には、音声再生経過時間取得部２０８により取得された音声データの再生開始からの経過時間と、スクロール時間情報取得部２０５により取得されたスクロール時間情報とを比較し、再生開始からの経過時間がスクロール時間情報の時間と一致したかどうかを判断する。経過時間とスクロール時間情報の時間が一致したときは、スクロールが必要なタイミングであるということであり、すなわち、スクロール判断部２０９は、スクロールが必要なタイミングになったかどうかを判断している。再生開始からの経過時間が、スクロール時間情報の時間と一致しない時は、表示部４に表示している内容は変更せず、音声制御部２０７による音声データの再生が継続される。

ここで、スクロール判断部２０９は、図３（ｃ）の設定データに複数のスクロール時間情報が記憶されている場合は、再生開始からの経過時間が、それぞれのスクロール時間情報の時間に一致したかどうかを判断する。複数のスクロール時間情報のそれぞれの時間が、スクロールが必要なタイミングであり、スクロール判断部２０９は、そのタイミングになったかどうかを判断している。具体的には、例えば、英語のスクロール時間情報の“２”と“３”が取得されている場合、英語の音声データの再生開始からの経過時間が、１つ目のスクロール時間情報である２秒に到達したときに、スクロールすべき時間であると判断する。さらに、音声データの再生開始からの経過時間が、２つ目のスクロール時間情報の時間の３秒に到達したときもスクロールすべき時間であると判断する。

スクロール判断部２０９が、スクロールが必要であると判断した場合には、表示制御部２１０にスクロール表示を指示する。表示制御部２１０によるスクロール表示については後述する。

一方、音声データの再生開始からの経過時間が、最後のスクロール時間情報の時間に到達し、スクロール判断部２０９が表示制御部２１０にスクロール指示を行った後は、音声終了判定部２１１に、音声データの再生が終了したかどうかの判定を指示する。

音声終了判定部２１１は、音声制御部２０７による音声データを音声出力部６から出力させる制御が終了し、音声出力部６から音声が出力されなくなった時点で、音声データの再生が終了したと判断する。また、例えば、音声終了判定部２１１が、音声データの再生開始から再生終了までの再生時間であるトータル時間情報を図３（ｃ）の設定データから取得し、音声データの再生開始からの経過時間がトータル時間情報の時間に到達したかどうかを判断し、経過時間がトータル時間情報の時間に到達していれば、音声データの再生が終了したと判断しても良い。ここで、トータル時間情報の取得については、文章番号取得部２１０により取得された文章番号と、設定音声速度情報取得部２０４により取得された再生速度情報と、再生している音声データのデータ種別（英語、日本語）とに基づき、音声終了判定部２１１が、図３（ｃ）の設定データから取得すれば良い。

ここで、音声終了判定部２１１が、英語の音声データの再生が終了したと判断した場合は、表示制御部２１０に各テキストデータを先頭から各行に表示させ、英語の音声データと同じ文章番号に対応する日本語の音声データを音声制御部２０７に再生開始するように指示する。

また、音声終了判定部２１１が、日本語の音声データの再生が終了したと判断した場合は、文章番号取得部２０１に次の文章番号を取得させ、次の文章番号に対しても同様の処理を行う。これにより、ユーザが次の文章番号を指定する操作を行わずに、自動的に次の文章データのテキストデータの表示と音声データの再生を行うので、ユーザがより効率良く学習を行うことができる。

表示制御部２１０は、文章番号取得部２０１により文章番号が取得された後、まずは、テキストデータ取得部２０２により取得された各テキストデータを先頭文字から、表示部４の異なる１行に表示させる。ここで、図３（ｃ）の設定データに、各テキストデータに対応するスクロール位置情報が存在する場合は、表示制御部２１０は、テキストデータの先頭文字から、１つ目のスクロール位置情報が示す位置の１つ手前の文字または単語までを、表示部４に表示させる。具体的には、例えば、文章番号“１”の英語のテキストデータを最初に表示するときには、表示制御部２１０は、図６（ｂ）に示すように、図３（ｃ）の設定データの文章番号“１”に対応する英語の１つ目のスクロール位置情報“７”が示す位置の１つ手前の６単語目の“ｔｒｏｕｂｌｅ，”までを、表示部４に表示させる。発音と日本語についても同様の処理を行い、表示制御部２１０は、図６（ｂ）に示すように、発音と日本語の各テキストデータについても、先頭文字から、１つ目のスクロール位置情報が示す位置の１つ手前の文字までを、表示部４の異なる１行に表示させる。ここで、図３（ｃ）の設定データにスクロール位置情報が存在しない場合、表示制御部２１０は、そのテキストデータの先頭文字から最後の文字までを、表示部４に表示させる。

また、表示制御部２１０は、スクロール判断部２０９によりスクロール表示が指示された場合は、テキストデータ取得部２０２により取得されたテキストデータと、スクロール位置情報取得部２０３により取得されたスクロール位置情報とに基づき、全てのテキストデータを、表示部４でスクロール表示させる。具体的には、表示制御部２１０は、各テキストデータの１つ目のスクロール位置情報が示す位置以降の文字または単語から、２つ目のスクロール位置情報が示す位置の１つ手前の文字または単語までのテキストデータを、表示部４の所定位置から表示させる。つまり、表示制御部２１０は、テキストデータの先頭から表示していた各行の内容を、スクロール表示が指示されたタイミングで、次にスクロール表示するテキストデータの内容に切り替えて、表示部４の所定位置から表示させる。ここで、所定位置とは、表示部４の先頭（左端）として説明するが、表示部４の略中央であっても構わない。

具体的には、表示制御部２１０は、１つ目のスクロール時間情報が示す２秒に到達した時にスクロール表示の指示を受けて、図６（ｃ）に示すように、文章番号“１”の英語の１つ目のスクロール位置情報が示す７単語目の“ｃａｎ”以降から、２つ目のスクロール位置情報が示す位置の１つ手前の１１単語目の“ｂａｇｇａｇｅ”までを、表示部４に表示させる。つまり、音声再生開始から２秒後の“ｃａｎ”の音声が再生されるタイミングに、“ｃａｎ”以降のテキストデータを表示部４に表示することができる。

これにより、スクロール位置情報が示す文字または単語の音声が再生されるタイミングに、その文字または単語の位置以降の文字または単語を表示部４の先頭から表示するので、ユーザは音声再生している文字または単語を表示部４で容易に見つけることが出来る。

さらに、発音と日本語についても同様のスクロール表示の処理を行い、表示制御部２１０は、図６（ｃ）に示すように、英語と発音と日本語の各テキストデータの１つ目のスクロール位置情報の文字または単語から、２つ目のスクロール位置情報が示す位置の１つ手前の位置の文字または単語までを、表示部４のそれぞれ異なる１行に表示させる。

これにより、各テキストデータを異なる１行内で同じ方向にスクロール表示するので、英語または日本語の音声を聞きながらテキストデータ上でその音声の内容を確認する際に、いずれの音声を聞いた場合でも、その音声の内容を同じ横方向の目線の動きで、より簡単に確認することが出来る。

また、表示制御部２１０は、英語の音声データを再生している時は、英語の音声データの再生の経過に合わせて、少なくとも英語のテキストデータと発音のテキストデータとをスクロール表示させればよく、必ずしも日本語のテキストデータのスクロール表示は必要ではない。さらに、日本語の音声データを再生している時は、少なくとも日本語のテキストデータをスクロール表示させればよく、必ずしも英語と発音のテキストデータのスクロール表示は必要ではない。これにより、再生している音声データに関係するテキストデータがスクロール表示されるので、音声データに関連するテキストデータがいずれの行に表示されているかをユーザは認識し易くなり、音声データの内容をより容易に把握することができる。

また、表示制御部２１０は、英語の音声データを再生している時は、英語のテキストデータと発音のテキストデータの少なくとも一方の表示形態を、日本語のテキストデータとは異なる表示形態で表示させても良い。これにより、ユーザは、どの行を見れば音声データの内容が表示されているかを容易に把握することができる。

（処理フローおよび画面例）
図５は、表示装置１が実行する処理の流れを示すフローチャートの概要の一例について説明する。図６は、前記処理の実行中に表示部４に表示されるＵＩ画面の一例を示す図である。図５に示す処理の流れを、図６に示すＵＩ画面を参照しながら説明する。

表示制御部２１０は、図６（ａ）に示すように、図３（ａ）のテキストデータ中のいずれかの文章データを選択可能な文章選択画面を表示部４に表示させる（Ｓ１０１）。ここでは、文章選択画面は、図６（ａ）のように文章データを分類した分類名を表示するが、文章データに対応する文章番号をいくつか表示しても良い。図６（ａ）に示すように、表示制御部２１０が文章の難易度や使用シーン等に分類した分類名を表示部４に表示させている場合、図３（ａ）のテキストデータの各文章番号に分類名を対応付けて記憶していれば（図示なし）、入力部３から特定された分類名に基づき、文章番号取得部２０１は、その分類名の中で一番小さい文章番号や、または、その分類名に対応する文章番号からランダムに１つの文章番号を取得すればよい。

文章番号取得部２０１は、入力部３からのユーザの入力に基づき、入力された分類名に属する文章番号を取得する（Ｓ１０２）。例えば、入力された分類名に属する一番小さい数値の文章番号を取得する。具体的には、図６（ａ）で「入門編」がフォーカスされている場合に、入力部３の決定ボタン３５が入力されると、分類名が入門編に対応付けられた文章番号の中のいずれかの文章番号、例えば、入門編の中で一番小さい数値の文章番号を取得する。

テキストデータ取得部２０２は、文章番号取得部２０１により取得された文章番号に対応する英語のテキストデータと、発音のテキストデータと、日本語のテキストデータとを、図３（ａ）のテキストデータから取得する（Ｓ１０３）。

スクロール位置情報取得部２０３は、文章番号取得部２０１により取得された文章番号に基づき、各テキストデータに対応するスクロール位置情報を、図３（ｃ）の設定データから取得する（Ｓ１０４）。

設定音声速度情報取得部２０４は、英語と日本語のそれぞれの音声種別に対応する再生速度情報を、図３（ｄ）の設定音声速度データから取得する（Ｓ１０５）。

スクロール時間情報取得部２０５は、文章番号取得部２０１により取得された文章番号と、設定音声速度情報取得部２０４により取得された設定音声速度に基づき、各テキストデータに対応するスクロール時間情報を、図３（ｃ）の設定データから取得する（Ｓ１０６）。

音声データ取得部２０６は、設定音声速度情報取得部２０４により取得された設定音声速度に基づき、第１言語と第２言語のそれぞれの音声種別に対応する音声データを、図３（ｂ）の音声データから取得する（Ｓ１０７）。

表示制御部２１０は、テキストデータ取得部２０２により取得された各テキストデータと、スクロール位置情報取得部２０３により取得された各テキストデータのスクロール位置情報とに基づき、各テキストデータの先頭文字からスクロール位置情報が示す位置の１つ手前の文字または単語までを表示部４の各行の先頭から表示させる（Ｓ１０８）。ここまでの処理に基づき、例えば、図６（ｂ）に示すように、英語と発音と日本語の各テキストデータの先頭文字から、各テキストデータの１つ目のスクロール位置情報が示す位置の１つ手前の文字または単語までを、表示部４の各行の先頭から表示する。

音声制御部２０７は、音声データ取得部２０６により取得された音声データを、音声出力部６から出力させる（Ｓ１０９）。

音声再生経過時間取得部２０８は、音声制御部２０７により音声データの再生開始からの経過時間を取得する（Ｓ１１０）。

スクロール判断部２０９は、音声再生経過時間取得部２０８により取得された経過時間が、スクロール時間情報取得部２０５により取得されたスクロール時間に到達したかどうか判断する（Ｓ１１１）。スクロール時間に到達していない場合は、音声制御部２０７により音声データの再生を継続した状態で、再度、Ｓ１１０で音声再生経過時間取得部２０８による経過時間の取得を行い、スクロール時間に到達したかどうかを継続して判断する。

一方、Ｓ１１１で音声データの再生開始からの経過時間がスクロール時間に到達したと判断した場合、表示制御部２１０は、スクロール位置情報取得部２０３により取得された各テキストデータのスクロール位置情報に基づき、各テキストデータを表示部４の各行でスクロール表示させる（Ｓ１１２）。つまり、各テキストデータのスクロール位置情報が示す位置以降の文字または単語から次のスクロール位置情報が示す位置の１つ前の文字または単語までを、表示部４の各行の先頭から表示する。

ここまでの処理に基づき、図６（ｂ）を図６（ｃ）で示すような表示に切り替える。すなわち、表示部４の異なる行の先頭から表示している各テキストデータの先頭文字以降の内容を、スクロールする時間に到達した時に、１つ目のスクロール位置情報の位置以降の文字または単語からの内容に切り替えることにより、スクロール表示を行うことができる。

スクロール判断部２０９は、スクロール時間情報取得部２０５により取得された各テキストデータのスクロール時間情報の中で、Ｓ１１１で判断されたスクロール時間の次のスクロール時間が存在しているかどうかを判断する（Ｓ１１３）。次のスクロール時間が存在している場合は、Ｓ１１１で判断するスクロール時間として、次のスクロール時間を設定する（Ｓ１１４）。Ｓ１１４で、次のスクロール時間を設定した後は、音声制御部２０７により音声データの再生を継続した状態で、再度、Ｓ１１０で音声再生経過時間取得部２０８による経過時間の取得を行う。その後、Ｓ１１１とＳ１１２の処理を行うことにより、図６（ｄ）に示すように、各テキストデータを２つ目のスクロール位置情報が示す位置以降の文字または単語からの表示に切り替え、スクロール表示を行うことができる。

一方、Ｓ１１３で次のスクロール時間が存在しないと判断した場合、音声終了判定部２１１は、音声データの再生が終了したかどうかを判断する（Ｓ１１５）。音声データの再生が終了しない限りは、音声制御部２０７により音声データの再生を継続する。

一方、Ｓ１１５で音声データの再生が終了した場合は、音声データの再生処理を終了する。

ここで、Ｓ１１５で英語の音声データの再生が終了したと判断した場合は、英語の音声データと同じ文章番号の日本語の音声データを再生し、英語の音声データの再生時と同様に、日本語の音声データの再生と、その再生に合わせた各テキストデータの各行でのスクロール表示を行っても良い。つまり、Ｓ１０８の処理に戻り、Ｓ１０８で各テキストデータを先頭から各行に表示し、Ｓ１０９で音声データ取得部２０６により取得した日本語の音声データを出力し、Ｓ１１０以降の処理で日本語の音声データの再生と各テキストデータのスクロール表示を行っても良い。具体的には、図６（ｄ）で英語の音声データの再生が終了した後、図６（ｅ）から図６（ｇ）に示すように、日本語の音声データの再生と、日本語の音声データの再生に合わせて、各テキストデータのスクロール表示を行っても良い。このように、英語の音声と日本語の音声とを連続して再生し、それぞれの音声の再生に合わせて、その音声に一致する内容をスクロール表示することによって、ユーザは、英語の聞き取りと、英語の意味とを連続して目と耳の両方で確認することができ、学習効果を向上させることができる。

（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しつつ説明する。なお、下記において上記第１の実施形態と同様である点については説明を省略する。

図７は、第２の実施形態における各テキストデータのスクロール表示の他の実施形態である。

第２の実施形態は、各テキストデータにおいて、出来る限り多くの文字または単語を表示してスクロール表示するものである。

具体的には、例えば、図６（ａ）のような文章選択画面を表示し、入力部３からのユーザの入力に基づき文章番号が特定されたとき、図６（ｂ）の代わりに、図７（ａ）で示すような表示を行い、その後、図７（ｂ）で示すようなスクロール表示を行う。図７（ａ）と図７（ｂ）は、図６（ｂ）や図６（ｃ）に比べて、各行における空白部分が少なく、より多くの文字または単語を表示している。このようなスクロール表示を行う場合について、英語のテキストデータを例にして説明する。

具体的には、図７のようなスクロール表示を行う場合は、図３（ｃ）の設定データには、データ種別が英語に対応するスクロール位置情報は、９単語目の“ｌｅａｖｅ”の位置情報の“９”が記憶され、スクロール時間情報は“２．５”が記憶されている。そして、スクロール位置情報取得部２０３によりスクロール位置情報として“９”、スクロール時間情報取得部２０５によりスクロール時間情報として“２．５”が取得される。そして、図７（ａ）に示すように、表示制御部２１０は、英語のテキストデータの先頭単語からスクロール位置情報の１つ手前の位置の“Ｉ”までを表示部４に表示させる。本実施形態の場合は、スクロール位置情報として、表示部４の右端の位置まで英語のテキストデータの表示を行えるような位置情報が取得されているので、英語のテキストデータの文字を出来るだけ多く表示できる。

その後、音声制御部２０７により英語の音声データが再生され、音声再生経過時間取得部２０８により再生からの経過時間が取得される。それから、スクロール判断部２０９は、音声再生経過時間取得部２０８により取得された経過時間が、スクロール時間情報の時間に到達したかどうかを判断する。ここでは、例えば、スクロール判断部２０９は、音声再生経過時間取得部２０８により取得された経過時間が、２．５秒に到達したかどうかを判断する。経過時間がスクロール時間情報の時間（ここでは、２．５秒）に到達したときは、スクロール位置情報の位置の単語の“ｌｅａｖｅ”が音声再生されるタイミングであり、かつ、“ｌｅａｖｅ”を表示させるスクロール表示をするタイミングであり、スクロール判断部２０９は、そのタイミングであるかどうかを判断する。

そして、スクロール判断部２０９が、経過時間がスクロール時間情報の時間（ここでは、２．５秒）に到達したと判断したときは、さらに、スクロール位置情報取得部２０３により取得されたスクロール位置情報の中で、次のスクロール位置情報があるかどうか判断する。

次のスクロール位置情報が存在しない場合、表示制御部２１０は、スクロール位置情報の“ｌｅａｖｅ”から表示部４に表示させるのではなく、英語のテキストデータの最後の文字が表示部４の右端に表示されるように、表示部４の先頭に表示させる単語を英語のテキストデータから取得し、その単語から最後の文字までを表示部４に表示させる。つまり、表示制御部２１０は、次にスクロール表示するものがない場合は、これから表示するテキストデータは、表示部４に空白部分が生じないように、テキストデータの最後の文字を表示部４の右端に表示させ、より多くの文字を表示できるように、表示部４の先頭に表示する文字を調整する。

さらに、表示制御部２１０は、具体的には、例えば、図７（ｂ）に示すように、表示部４の右端に最後の文字“？”を表示させ、かつ、最も多くの単語が表示されるように、表示部４の先頭に表示させる単語を決定し、その単語から最後の文字までの範囲のテキストデータを表示部４に表示させる。ここで、表示する英語のテキストデータの範囲は、英語のテキストデータの最後の文字“？”の位置からテキストデータの先頭方向に、表示部４で表示可能な文字数分戻った位置を取得し、その位置の文字から表示するようにすれば、より多くの文字または単語を表示することができる。図７（ｂ）では、テキストデータ中の“？”の位置から、表示可能な文字数分戻った位置の単語の“Ｉ”以降から最後の文字の“？”までを表示する。

さらに、表示制御部２１０は、最後のスクロール画面を表示するときに、１つ前の画面で既に表示していた文字または単語と、新たにスクロール表示した文字または単語とを異なる表示形態で、前記表示部に表示させる。具体的には、最後のスクロール画面において、先頭に表示している文字または単語から、最後のスクロール位置情報の１つ前の位置の文字または単語までを異なる表示形態で表示する。つまり、最後のスクロール画面内において、新たにスクロール表示した文字または単語は、これから再生する英語の音声データに含まれているので、異なる表示形態で表示されている部分の文字または単語を見れば、音声データの内容を把握することができる。これにより、ユーザは、より少ない目線の動きで、より簡単に音声データの内容を確認することができる。

例えば、具体的には、表示制御部２１０は、図７（ｂ）に示すように、“Ｉ”が、線で囲われており、“ｌｅａｖｅ”以降の他の文字とは異なる表示形態で表示部４に表示させる。ここで、異なる表示形態とは、線で囲うことに限らず、文字のフォントの種類を変えたり、文字の色を変えたり、下線を表示してもよい。また、新たにスクロール表示した文字または単語の方を、線で囲ったり、色を変えたりしても構わない。

さらに、表示制御部２１０は、発音のテキストデータと日本語のテキストデータについても、英語のテキストデータと同様のスクロール表示の処理を行う。これにより、表示制御部２１０は、最後のスクロール画面において、各テキストデータにおいて、より多くの文字または単語を表示部４に表示させることができ、また、異なる表示形態で表示されている部分を見れば、再生されている音声データの内容を簡単により少ない目線の動きで確認することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について、図面を参照しつつ説明する。なお、下記において上記第１及び第２の実施形態等と同様である点については説明を省略する。

図８は、第３の実施形態における各テキストデータのスクロール表示の他の実施形態である。

第３の実施形態は、テキストデータ取得部２０２により取得された英語のテキストデータと、発音のテキストデータと、日本語のテキストデータとを表示部４の異なる１行に表示したときに、入力部３の文字拡大ボタン３３により、文字サイズを大きくして、２行表示でスクロール表示するものである。

具体的には、テキストデータ取得部２０２により、図３（ａ）のテキストデータ中から文章番号が“３”のテキストデータが取得されている場合、スクロール位置情報取得部２０３により、図３（ｃ）の文章番号３に対応する英語のスクロール位置情報“５”と、発音のスクロール位置情報“１３”と、日本語のスクロール位置情報“−”が取得される。そして、図８（ａ）に示すように、表示制御部２１０により、各テキストデータの先頭文字からスクロール位置情報の１つ前の位置の文字または単語までを、各テキストデータを表示部４の異なる１行に表示させる。スクロール位置情報が“−”の場合は、スクロール位置情報が存在しないという意味であり、表示制御部２１０は日本語のテキストデータを全て表示部４に表示させる。

その後、入力部３の文字拡大ボタン３３の入力に基づき、図８（ｂ）に示すように、表示制御部２１０は、表示する文字サイズを拡大し、英語のテキストデータと発音のテキストデータとを、表示部４に２行で表示させる。そして、音声制御部２０７は、英語の音声データの再生を開始し、再生の経過に合わせて、表示制御部２１０は、図８（ｃ）に示すように、表示部４でスクロール表示させる。

さらに、英語の音声データの再生が終了すると、図８（ｄ）に示すように、表示制御部２１０は、英語のテキストデータと日本語のテキストデータとを拡大した文字サイズで、表示部４に２行で表示させる。そして、音声制御部２０７は、日本語の音声データの再生を開始し、再生の経過に合わせて、表示制御部２１０は、図８（ｅ）に示すように、英語のテキストデータのみを、表示部４でスクロール表示させる。

本実施形態では、表示制御部２１０は、英語の音声データを再生している時は、英語のテキストデータと発音のテキストデータのみを表示部４に表示させているので、ユーザは、英語の音声データを聞きながら、その発音内容を表示部４上で確認することができ、リスニングやスピーキングに特化した学習をより効率的に行うことができる。さらに、日本語の音声データを再生している時は、英語のテキストデータと日本語のテキストデータとを表示しているので、日本語の音声を聞きつつ日本語のテキストデータも見ながら、英語の内容を確認することができるので、英語のライティングに特化した学習をより効率的に行うことができる。さらに、文字サイズも大きいので、ユーザは表示されている内容をより簡単に確認することができる。また、図８に示したように、英語の音声データと日本語の音声データを連続して再生し、リスニングやスピーキングと、ライティングの学習を連続して行うことができるので、ユーザの学習効果がより上がる。

（第４の実施形態）
以下、本発明の第４の実施形態について、図面を参照しつつ説明する。なお、下記において上記第１乃至第３の実施形態等と同様である点については説明を省略する。

第４の実施形態は、音声データの再生が終了した時に、各テキストデータのスクロール表示を終了させるように、スクロールする時間を調整するものである。

第４の実施形態において、スクロール時間情報取得部２０５は、スクロール時間情報だけでなく、トータル時間情報も取得する。トータル時間情報は、音声データの再生開始から再生終了までの再生時間である。ここでは、トータル時間情報は、図３（ｃ）の設定データの文章番号とデータ種別と速度とに対応付けて記憶している。

さらに、スクロール時間情報取得部２０５は、スクロール位置情報取得部２０３により取得されたスクロール位置情報の個数をカウントし、その個数に１を加算して、表示する画面数を算出する。ここで、スクロール位置情報が１個存在する場合は、スクロール表示する画面が１つと、スクロール表示する前の画面が１つの合計２つ存在することを意味しており、つまり、スクロール位置情報の個数に１を加算すれば、表示する画面数を算出することができる。

それから、スクロール時間情報取得部２０５は、トータル時間情報の時間を、表示する画面数で除算した値を算出する。この除算した値を、スクロール位置情報の個数に合わせて加算し、新たなスクロール時間情報とする。例えば、スクロール位置情報が２つあり、トータル時間情報の時間を画面数で除算した値が２であれば、１つ目のスクロール時間情報は除算した値の“２”、２つ目のスクロール位置情報は除算した値の“２”に“２”を加算した“４”とする。これは、つまり、音声データの再生開始から２秒後に１回目のスクロール表示を行い、再生開始から４秒後に２回目のスクロール表示を行うことを意味している。

さらに、上記第１乃至第３の実施形態と同様に、スクロール判断部２０９は、音声データの再生開始からの経過時間が、スクロール時間情報取得部２０５により新たに算出されたスクロール時間情報の時間に到達したかどうか判断し、到達したと判断した場合に、表示制御部２１０は表示部４にスクロール表示させる。これにより、音声データの再生が終了するまでに、テキストデータのスクロール表示は終了することができる。

具体的には、テキストデータ取得部２０２により、図３（ａ）のテキストデータ中から文章番号が“３”のテキストデータが取得され、図３（ｄ）の日本語の再生速度情報に“１”が記憶されている場合で、日本語の音声データを再生している時に、英語と発音のテキストデータをスクロールする時間について説明する。

スクロール時間情報取得部２０５は、図３（ｃ）の文章番号“３”、データ種別が日本語、再生速度情報“１”に対応する速度１のトータル時間情報の“２”を取得する。さらに、スクロール時間情報取得部２０５は、スクロール位置情報の個数をカウントするが、スクロール位置情報取得部２０３により取得された英語に対応するスクロール位置情報は“５”しかないので、スクロール位置情報の個数として“１”を取得する。また、発音に対応するスクロール位置情報の個数についても、同様にカウントし、“１”を取得する。さらに、スクロール時間情報取得部２０５は、トータル時間情報の“２”を、スクロール位置情報の個数“１”に１を加算した“２”で除算し、“１”を算出し、この“１”を新たなスクロール時間情報として取得する。

そして、スクロール判断部２０９により、日本語の音声データの再生開始からの経過時間が、新たに設定されたスクロール時間情報の“１”が示す１秒に到達したと判断した場合、表示制御部２１０は、英語のテキストデータを表示部４でスクロール表示させる。発音のテキストデータも同様の処理を行い、日本語の音声データの再生開始からの経過時間が１秒に到達したときに、表示制御部２１０は、発音のテキストデータを表示部４でスクロール表示させる。

つまり、日本語の音声データの再生開始から終了までの２秒の間に、２つの画面を１秒ずつ表示し、全てのテキストデータの表示を完了することができる。これにより、音声データの再生が終了した時点で、全てのテキストデータの内容が表示されるので、音声の再生終了後すぐに、次の対象となる音声データの学習に進むことができ、ユーザはより短い時間で効率良く学習を進めることができる。

（第５の実施形態）
以下、本発明の第５の実施形態について、図面を参照しつつ説明する。なお、下記において上記第１乃至第４の実施形態等と同様である点については説明を省略する。

第５の実施形態は、上記第１乃至第４の実施形態で説明したような１画面ずつ切り替えて表示するスクロールではなく、文字または単語を、１文字ずつ、または、１単語ずつ移動させるスムーススクロールに関する実施形態である。

スムーススクロールする場合は、表示制御部２１０は、図３（ｃ）のスクロール位置情報とスクロール時間情報とに基づき、音声データの再生開始からスクロール時間情報の時間が経過するまでに、スクロール位置情報の位置の文字または単語を、表示部４のいずれかの位置に表示させるように、表示部４に既に表示されている文字または単語を、表示部４の左方向に徐々に移動させスクロール表示させる。

具体的には、表示制御部２１０は、例えば、英語のテキストデータにおいて、スクロール位置情報が“５”、スクロール時間情報が“２”の場合、音声データの再生開始からスクロール時間情報の２秒経過するまでに、スクロール位置情報の５単語目が表示部４の先頭に表示させるように、テキストデータを左方向に表示部４でスムーススクロールさせる。つまり、５単語目より前の既に表示している４つの単語について、０．５秒経過するごとに１単語ずつ左方向に動かせば、２秒後には５単語目を表示部４の先頭に表示し、スムーススクロールを実現できる。

このようなスムーススクロールを実現するには、スクロール時間情報取得部２０５は、スクロール時間情報の時間を、現在表示している単語数で除算し、除算した数値を、現在表示している各単語を左方向に動かすスクロール時間情報として取得する。さらに、スクロール判断部２０９により、音声データの再生開始からの経過時間がスクロール時間情報に到達したと判断されたときに、表示制御部２１０は、現在、表示部４の先頭位置に表示している単語の次の単語以降を、表示部４の先頭から表示させ、スムーススクロールさせることができる。

発音と日本語のテキストデータについても、同様に、スクロール位置情報とスクロール時間情報に基づき、スムーススクロールを行うことができる。また、英語のテキストデータについても、テキストデータ内の文字数をカウントし、発音と日本語のテキストデータと同様に、１文字ずつ移動させるスムーススクロールを行っても良い。さらに、文字や単語ではなく、表示部４のドット毎に移動させるスムーススクロールを行っても良い。この場合は、表示制御部２１０は、表示部４の先頭の文字のドットから、スクロール位置情報が示す文字の最後のドットまでを、再生開始からの経過時間がスクロール時間に到達するまでに、最後のドットが表示部４に表示される速度で、左方向に徐々に表示部４で移動させ表示させればよい。これにより、スクロール時間に到達するまでに、スクロール位置情報が示す文字が表示部４に表示されるようにスムーススクロールを行うことができる。

図９は、本実施形態におけるスムーススクロールするときの表示部４に表示されるＵＩ画面の一例を示す図であり、図９に基づいて詳細を説明する。

具体的には、図９（ａ）に示すように、表示制御部２１０は、文章番号“２”に対応する各テキストデータを、表示部４の異なる行にそれぞれ表示させ、音声制御部２０７は、英語の音声データを音声出力部６から再生開始させる。

さらに、スクロール判断部２０９により、再生開始からの経過時間がスクロール時間情報の時間に到達したと判断されたときに、表示制御部２１０は、図９（ｂ）で示すように、表示部４に表示させる。すなわち、図９（ａ）で表示していた英語のテキストデータを左方向に１単語分スクロールする。具体的には、表示制御部２１０は、英語のテキストデータの右端の単語“ｂａｇｇａｇｅ”の次の単語“ｕｎｔｉｌ”を表示部４の右端に表示させ、２単語目の“ｙｏｕ”を表示部４の先頭に表示させる。発音のテキストデータと、日本語のテキストデータについても同様に、各文字を左方向にスクロールする。

さらに、同様に、音声データの再生の経過に合わせて、表示制御部２１０は、図９（ｃ）と図９（ｄ）で示すように、各テキストデータの各単語または各文字を左方向に表示部４でスクロール表示させる。

ここで、スクロール判断部２０９は、表示部４の右端に表示している単語がテキストデータ中の最後の文字であるかどうかを判断し、最後の文字が表示されていると判断した場合は、そのテキストデータについては、表示制御部２１０にスクロール表示を指示しない。

具体的には、例えば、図９（ｅ）に示すように、音声データの再生は継続されている状態であっても、スクロールを行わず、表示部４に表示している内容を継続して表示する。これにより、各行において空白部分を少なくし、より多くの文字または単語を表示することができるので、ユーザはより多くの情報を得ることができる。

ここで、図３（ａ）の文章番号が“３”の文章データを図８（ａ）のように表示した後に、スムーススクロールする場合についてさらに説明する。図８（ａ）で示すように、日本語のテキストデータは短く、最初から全ての文字が表示されているので、左方向へのスクロールは行わず、英語のテキストデータと発音のテキストデータのみスムーススクロールを行う。つまり、スクロール判断部２０９により、各テキストデータ中の最後の文字が表示されているかどうかを、テキストデータ毎に判断しているので、他のテキストデータがスクロールしていても、既に最後の文字が表示されているテキストデータはスクロールしない。すなわち、各テキストデータにおいて、より多くの文字または単語を表示することができる。これにより、ユーザは、それぞれのテキストデータにおいて、より多くの情報を得ることができる。

（第６の実施形態）
以下、本発明の第６の実施形態について、図面を参照しつつ説明する。なお、下記において上記第１乃至第５の実施形態等と同様である点については説明を省略する。

第６の実施形態は、音声データで再生されている文字または単語が、所定位置に表示されるようにスムーススクロールするものである。

図１０は、本実施形態におけるスムーススクロールするときの表示部４に表示されるＵＩ画面の一例を示す図であり、図１０に基づいて詳細を説明する。

本実施形態では、各テキストデータ内の文字または単語が、音声再生開始から何秒後に再生されるかというスクロール時間情報を、各文字または各単語に対応して、図３（ｃ）の設定データに記憶されているものとして説明する。

具体的には、表示制御部２１０は、図１０（ａ）に示すように、表示部４の略中央部の３行分を囲う表示枠を表示させる。この表示枠は、音声データで再生されている文字または単語が、表示部４のどこに表示されるかを示すためのものである。

さらに、表示制御部２１０は、各テキストデータの先頭の文字または単語以降を、表示部４の各行の表示枠の位置から表示させる。そして、音声制御部２０７は、英語の音声データを音声出力部６から再生開始させる。

それから、スクロール判断部２０９により、音声データの再生開始からの経過時間が、スクロール時間情報の時間に到達したと判断されたときに、表示制御部２１０は、表示部４の表示枠の位置に、そのスクロール時間情報に対応する単語を表示させ、英語のテキストデータを表示部４の左方向にスムーススクロールさせる。具体的には、図１０（ｂ）から図１０（ｄ）に示すように、英語の音声データの再生の経過に合わせて、各テキストデータを各行でスムーススクロールする。

さらに、スクロール判断部２０９は、表示枠の位置に英語のテキストデータの最後の単語が表示されているかどうかを判断する。スクロール判断部２０９により、表示枠の位置に英語のテキストデータの最後の単語が表示されていると判断された場合は、表示制御部２１０は表示部４でスムーススクロールを行わせず、現在表示している英語のテキストデータの表示内容を表示部４で継続して表示させる。具体的には、図１０（ｅ）に示すように、英語のテキストデータのスムーススクロールを止めて、英語のテキストデータの最後の単語の一部が表示枠内に表示された状態を継続する。

発音のテキストデータについても、発音の文字が英語の音声データの再生開始から何秒後に再生されるかというスクロール時間情報を各文字に対応して記憶しているので、英語のテキストデータと同様に、スムーススクロールすることができる。ここで、発音のテキストデータの全ての文字に対してスクロール時間情報を備えていなくても、いくつかの文字に対するスクロール時間情報を備えていれば、そのスクロール時間情報を備えている文字と文字の間のテキストデータを、スクロール時間情報の時間間隔内にスムーススクロールすればよい。

日本語のテキストデータについては、英語の音声データを再生しているときには、日本語のテキストデータは一定速度でスムーススクロールするようにすればよい。さらに、日本語のテキストデータの最後の文字が、表示部４に表示された時点でスクロールを止めても構わない。また、日本語の音声データを再生しているときは、日本語のテキストデータに対応するスクロール時間情報に基づき、英語のテキストデータと同様に、スムーススクロールすればよい。

また、表示枠の位置については、ユーザが変更可能にしても良い。さらに、表示枠を表示せずに、表示枠の位置に表示される単語または文字を、他の文字や単語とは異なる表示形態で表示しても良く、また、点滅表示を行うようにしても構わない。

このように、音声データで再生されている文字や単語を、表示枠内に表示するようにスクロールすることにより、ユーザは表示枠内を見ていれば、目線をあまり動かすことなく、より簡単に音声データの内容を確認することができる。

１ 表示装置、２ 制御部、３ 入力部、４ 表示部、５ 記憶部、６ 音声出力部、６１０ スピーカ、６２０ イヤホン、３１ 電源ボタン、３２ａ 音量大ボタン、３２ｂ 音量小ボタン、３３ 文字拡大ボタン、３４ メニューボタン、３５ 決定ボタン、３６ 十字キー、２０１ 文章番号取得部、２０２ テキストデータ取得部、２０３ スクロール位置情報取得部、２０４ 設定音声速度情報取得部、２０５ スクロール時間情報取得部、２０６ 音声データ取得部、２０７ 音声制御部、２０８ 音声再生経過時間取得部、２０９ スクロール判断部、２１０ 表示制御部、２１１ 音声終了判定部

Claims (9)

1. 表示部と、
   音声データを出力する音声出力部と、
   前記表示部に、第１言語のテキストデータと、前記第１言語のテキストデータの発音を文字で表した発音のテキストデータと、前記第１言語のテキストデータを第２言語で表した第２言語のテキストデータとの前記各テキストデータを異なる１行ごとに表示させる表示制御部と、
   前記各テキストデータのいずれかに対応する前記音声データを前記音声出力部から再生させる音声制御部と、を備え、
   前記表示制御部は、前記音声制御部による前記音声データの再生の経過に合わせて、前記各テキストデータを前記表示部の各行でスクロール表示させる
   ことを特徴とする表示装置。
2. 前記表示制御部は、
   前記表示部の所定位置に表示される前記テキストデータ中の文字または単語が、前記音声制御部により音声再生されるタイミングで、前記テキストデータを前記表示部の各行でスクロール表示させる
   ことを特徴とする請求項１に記載の表示装置。
3. 前記表示制御部は、
   前記音声制御部により前記第１言語のテキストデータに対応する前記第１言語の音声データを前記音声出力部から出力させている場合は、前記第１言語のテキストデータと、前記発音のテキストデータとを前記表示部にスクロール表示させ、
   前記音声制御部により前記第２言語のテキストデータに対応する前記第２言語の音声データを前記音声出力部から出力させている場合は、前記第２言語のテキストデータを前記表示部にスクロール表示させること
   を特徴とする請求項１または２に記載の表示装置。
4. 前記各テキストデータをスクロールする時間情報を示すスクロール時間情報と、前記各テキストデータをスクロールする位置情報を示すスクロール位置情報とを取得する取得部をさらに備え、
   前記表示制御部は、前記音声制御部による前記音声データの再生開始からの経過時間が、前記スクロール時間情報の時間に到達したときに、前記スクロール位置情報が示す前記テキストデータ上の位置以降の文字または単語を前記表示部の所定位置から表示させる
   ことを特徴とする請求項１乃至３のいずれかに記載の表示装置。
5. 前記表示制御部は、
   前記音声制御部により前記第１言語のテキストデータに対応する前記音声データの再生が終了した場合、
   前記各テキストデータの先頭の文字または単語から前記表示部の異なる１行に表示させ、
   前記音声制御部は、
   前記第２言語のテキストデータに対応する前記音声データを前記音声出力部に出力させる
   ことを特徴とする請求項１乃至４のいずれかに記載の表示装置。
6. 前記表示制御部は、
   前記テキストデータの最後の文字または単語を、前記表示部のいずれかの位置に表示させたときに、前記表示部のスクロール表示を止める
   ことを特徴とする請求項１乃至５のいずれかに記載の表示装置。
7. 前記表示制御部は、
   前記音声制御部による前記音声データの再生が終了するまでに、全ての前記テキストデータのスクロール表示が終了するタイミングで、前記表示部にスクロール表示させる
   ことを特徴とする請求項１乃至６のいずれかに記載の表示装置。
8. 第１言語のテキストデータと、前記第１言語のテキストデータの発音を文字で表した発音のテキストデータと、前記第１言語のテキストデータを第２言語で表した第２言語のテキストデータとの前記各テキストデータを表示部の異なる１行に表示させ、
   前記テキストデータのいずれかに対応する音声データを音声出力部から再生させ、
   前記音声データの再生の経過に合わせて、前記各テキストデータを前記表示部の各行でスクロール表示させる
   ことを特徴とする表示制御方法。
9. 第１言語のテキストデータと、前記第１言語のテキストデータの発音を文字で表した発音のテキストデータと、前記第１言語のテキストデータを第２言語で表した第２言語のテキストデータとの前記各テキストデータを表示部の異なる１行に表示させる表示制御部、
   前記各テキストデータのいずれかに対応する音声データを音声出力部から再生させる音声制御部、としてコンピュータを機能させ、
   前記表示制御部は、
   前記音声制御部による前記音声データの再生の経過に合わせて、前記各テキストデータを前記表示部の各行でスクロール表示させる
   表示制御プログラム。

Images