JP2012185323A - 再生装置、再生方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 表示されているテキストの記号に対応する音を出力することができる再生装置、再生方法、プログラムおよび記録媒体を提供する。
【解決手段】 タッチイベント＆タッチ座標生成部１２は、入力部１１によって入力された接触状態情報および位置情報に基づいて、タッチイベントおよびタッチ座標を生成する。選択範囲決定部１３は、タッチイベントおよびタッチ座標に基づいて、選択範囲を決定するとともに、対応テーブル１９を参照して、決定した選択範囲に含まれる各記号に対応する記号音の時間的位置を決定する。アクション決定部１４は、タッチイベントおよび選択範囲に基づいて、どのアクションを行うかを決定し、決定したアクションに従って、選択範囲内の記号を表示部１５に表示させるとともに、時間的位置が示す時間に、選択範囲内の記号に対応する記号音をオーディオ再生部１６に出力させる。
【選択図】 図１

Description

本発明は、音の出力とテキストの表示とを連動させることができる再生装置、再生方法、プログラムおよび記録媒体に関する。

音の出力にテキストの表示を連動させる代表的なものとして、音声の再生に合わせて画面に表示される歌詞を見ながら歌を歌うためのカラオケ機器が広く普及している。

第１の従来技術として、特許文献１に記載されるデータ作成装置がある。このデータ作成装置は、音声データの再生時間軸に対するテキストデータの再生タイミングを規定するリンクテーブルを、音声データから抽出した言語とテキストデータの言語とを比較することによって自動的に作成するものである。

第２の従来技術として、特許文献２に記載されるデータ生成装置がある。このデータ生成装置は、音声の再生に合わせてテキストを所定のタイミングで表示するための連動表示用データを生成する。データ生成装置は、音源データに含まれる音声帯域のスペクトル成分から抽出した特徴パラメータを所定の言語の特徴パラメータと比較して言語列を生成する。生成した言語列の読みと、読みが付与された文字列の読みとが一致する言語文字列内の文字列が再生されるタイミングを、音源データの再生経過時間によって示すタイムスタンプ情報として、連動表示用データに含める。読みが付されていない文字列については、読みが付されていない文字列の直前の文字列のタイムスタンプ情報に基づいて、読みが付されていない文字列に所定長の時間帯を割り当てて、当該読みが付されていない文字列と、この文字列に割り当てた時間帯を示すタイムスタンプ情報とを、連動表示用データに含める。データ生成装置は、連動表示用データに基づいて、読みが付されていない文字列についても表示することができる。

特開２００３−２８０６７０号公報 特開２０１０−０１５０８８号公報

第１，第２の従来技術は、音楽や音声などの音データの出力に、文字や記号として表現されるテキストデータを連動して表示させるために、音データとテキストデータとを自動的に関連付けるものである。しかしながら、これらの従来技術は、音データとテキストデータとを自動的に関連付けるものではあるが、音データの出力に合わせて、テキストデータを表示するためのものであり、テキストデータの任意の位置を指定し、指定された位置のテキストデータに対応する音データを出力することはできない。

本発明の目的は、表示されているテキストの記号に対応する音を出力することができる再生装置、再生方法、プログラムおよび記録媒体を提供することである。

本発明は、記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する記憶手段と、
表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する表示手段と、
音を出力するための音出力手段と、
指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する入力手段と、
入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定し、記憶手段に記憶される音情報が示す記号音のうち、前記決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる制御手段とを含むことを特徴とする再生装置である。

また本発明は、前記記憶手段は、記号情報が表す記号と、各記号にそれぞれ対応する記号音が音出力手段によって出力される相対的な時間とを関連付けた対応情報を記憶し、
前記制御手段は、前記記憶手段に記憶される対応情報基づいて、各記号に関連付けられた相対的な時間の記号音を、各記号に対応する記号音として前記音出力手段に出力させることを特徴とする。

また本発明は、前記制御手段は、前記入力手段によって入力される接触状態情報に基づいて定まる接触態様、および入力手段によって入力される位置情報に応じて、前記出力範囲を決定することを特徴とする。

また本発明は、前記入力手段は、タッチパネルであり、
前記接触態様は、タップ、ダブルタップ、ドラッグ、ピンチ、およびフリックのうちの少なくとも１つであることを特徴とする。

また本発明は、前記位置情報は、２つの位置を表す位置情報を含み、
前記制御手段は、該位置情報が示す２つの位置を対角とする矩形の範囲を出力範囲として決定することを特徴とする。

また本発明は、前記表示手段は、前記記号を頁単位で表示し、
前記出力範囲は、頁単位に選択可能であることを特徴とする。

また本発明は、前記制御手段は、前記決定された出力範囲内の記号を、前記決定された出力範囲外の記号よりも強調して前記表示手段に表示させることを特徴とする。

また本発明は、前記表示手段は、前記記号を頁単位で表示し、
前記制御手段は、前記出力範囲が複数頁に及ぶ場合、前記音出力手段によって出力される記号音が表示画面に表示されている最後の記号に対応する記号音になったとき、前記表示手段に次の頁の記号を表示させることを特徴とする。

また本発明は、前記表示手段は、前記記号を頁単位で表示し、
前記制御手段は、前記出力範囲が複数頁に及ぶ場合、前記音出力手段によって出力されている記号音に対応する記号が表示画面内の予め定める行または列に含まれる記号になったとき、前記表示画面に表示する記号をスクロールすることを特徴とする。

また本発明は、前記制御手段は、前記音出力手段によって出力された記号音に対応する記号を、前記表示手段に表示画面から消去させることを特徴とする。

また本発明は、前記制御手段は、前記音出力手段によって出力された記号音に対応する記号のみを、前記表示手段によって表示画面に表示させることを特徴とする。

また本発明は、前記制御手段は、前記音出力手段によって出力されている記号音に対応する記号のみを、前記表示手段によって表示画面に表示させることを特徴とする。

また本発明は、前記記憶手段は、記号情報が示す記号に対応する画像を表す画像情報を記憶し、
前記制御手段は、前記記憶手段に記憶される画像情報が示す画像のうち表示画面に表示されている記号に対応する画像を表示画面に表示し、前記音出力手段が出力している記号音に対応する記号に対応する画像を、他の画像よりも強調して前記表示手段に表示させることを特徴とする。

また本発明は、前記制御手段は、前記入力手段によって入力される位置情報が示す位置が出力範囲内の記号の位置を移動するとき、移動した位置にある記号に対応する記号音のみを音出力手段に出力させることを特徴とする。

また本発明は、前記制御手段は、前記入力手段によって入力される位置情報が示す位置が出力範囲内の記号の位置を移動するとき、該位置が移動する速度で、該位置にある記号に対応する記号音を音出力手段に出力させることを特徴とする。

また本発明は、前記制御手段は、出力範囲内の記号のうち、予め定める大きさ以下の記号に対応する記号音を前記音出力手段に出力させることを特徴とする。

また本発明は、前記制御手段は、記号の大きさまたは色に応じて、前記音出力手段に記号音を出力させる速度を変化させることを特徴とする。

また本発明は、記号の大きさまたは色に応じて、音出力手段に記号音を出力させる音量を変化させることを特徴とする。

また本発明は、前記記号は、文字であり、
前記記号情報は、単語、文章、段落、章、および行または列を構成単位とする文書を表す文書情報であり、
前記出力範囲は、文字単位、単語単位、文章単位、段落単位、章単位、および行単位または列単位に選択可能に設定可能であることを特徴とする。

また本発明は、前記文字は、句点およびピリオドを含み、
前記制御手段は、前記出力範囲を決定するとき、句点およびピリオドを文章の切れ目として認識することを特徴とする。

また本発明は、前記表示画面は、記号を表示するための記号表示領域と、記号表示領域を除く残余の空白領域とに分割され、
前記入力手段は、記号表示領域および空白領域のいずれの領域についても、指の接触状態情報および位置情報を入力可能であることを特徴とする。

また本発明は、前記空白領域は、表示画面の周縁部に形成され、
前記表示手段は、前記文書情報を横書きまたは縦書きで表示画面に表示し、
前記制御手段は、横書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、該位置の左右方向に隣接する段落を出力範囲をとして決定し、または、縦書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち上下方向両端部のうちのいずれか１つの空白部内の位置であるとき、該位置の上下方向に隣接する段落を出力範囲をとして決定することを特徴とする。

また本発明は、前記空白領域は、表示画面の周縁部に形成され、
前記表示手段は、前記文書情報を横書きまたは縦書きで表示画面に表示し、
前記制御手段は、横書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、または、縦書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、表示画面内の頁を出力範囲として決定することを特徴とする。

また本発明は、前記記号は、音符であり、
前記記号情報は、楽譜を表す楽譜情報であり、
前記出力範囲は、音符単位、小節単位、楽節単位、および楽章単位に選択可能に設定可能であることを特徴とする。

また本発明は、記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する記憶手段と、表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する表示手段と、音を出力するための音出力手段と、指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する入力手段とを含む再生装置で実行される再生方法であって、
入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定する決定工程と、
記憶手段に記憶される音情報が示す記号音のうち、決定工程で決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる出力工程とを含むことを特徴とする再生方法である。

また本発明は、記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する記憶手段と、表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する表示手段と、音を出力するための音出力手段と、指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する入力手段と、コンピュータとを含む再生装置のコンピュータに、
入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定する決定工程と、
記憶手段に記憶される音情報が示す記号音のうち、決定工程で決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる出力工程とを実行させるためのプログラムである。

また本発明は、前記のプログラムが記録されたコンピュータ読取り可能な記録媒体である。

本発明によれば、記憶手段は、記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する。表示手段は、表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する。音出力手段は、音を出力する。入力手段は、指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する。そして、制御手段は、入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定し、記憶手段に記憶される音情報が示す記号音のうち、前記決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる。したがって、表示されているテキストの記号に対応する音を出力することができる。

また本発明によれば、前記記憶手段は、記号情報が表す記号と、各記号にそれぞれ対応する記号音が音出力手段によって出力される相対的な時間とを関連付けた対応情報を記憶する。そして、前記制御手段は、前記記憶手段に記憶される対応情報基づいて、各記号に関連付けられた相対的な時間の記号音を、各記号に対応する記号音として前記音出力手段に出力させる。したがって、出力範囲内に表示される記号と、記号に対応する音とを１対１に対応付けることができる。

また本発明によれば、前記制御手段は、前記入力手段によって入力される接触状態情報に基づいて定まる接触態様、および入力手段によって入力される位置情報に応じて、前記出力範囲を決定する。したがって、ユーザは、指が表示画面に接触する接触形態に応じて、音を出力する記号の範囲を指示することができる。

また本発明によれば、前記入力手段は、タッチパネルである。そして、前記接触態様は、タップ、ダブルタップ、ドラッグ、ピンチ、およびフリックのうちの少なくとも１つである。したがって、ユーザは、タッチパネルで用いられる一般的な操作によって、音を出力する記号の範囲を指示することができる。

また本発明によれば、前記位置情報は、２つの位置を表す位置情報を含む。そして、前記制御手段は、該位置情報が示す２つの位置を対角とする矩形の範囲を出力範囲として決定する。したがって、ユーザは、ドラッグによって、表示画面に表示される記号のうちから、音を出力する記号の範囲を指示することができる。

また本発明によれば、前記表示手段は、前記記号を頁単位で表示する。そして、前記出力範囲は、頁単位に選択可能であるので、ユーザは、１つの頁内の全記号に対応する音を出力することができる。

また本発明によれば、前記制御手段は、前記決定された出力範囲内の記号を、前記決定された出力範囲外の記号よりも強調して前記表示手段に表示させる。したがって、ユーザは、音が出力されている記号の範囲を容易に認識することができる。

また本発明によれば、前記表示手段は、前記記号を頁単位で表示する。そして、前記制御手段は、前記出力範囲が複数頁に及ぶ場合、前記音出力手段によって出力される記号音が表示画面に表示されている最後の記号に対応する記号音になったとき、前記表示手段に次の頁の記号を表示させる。したがって、出力範囲が複数の頁に及ぶ場合、ユーザは、頁をめくる操作をしなくても、次の頁の記号に対応する音を聞くことができる。

また本発明によれば、前記表示手段は、前記記号を頁単位で表示する。そして、前記制御手段は、前記出力範囲が複数頁に及ぶ場合、前記音出力手段によって出力されている記号音に対応する記号が表示画面内の予め定める行または列に含まれる記号になったとき、前記表示画面に表示する記号をスクロールする。したがって、出力範囲が複数の頁に及ぶ場合、ユーザは、頁をめくる操作をしなくても、次の頁以降にある記号に対応する音を聞くことができる。

また本発明によれば、前記制御手段は、前記音出力手段によって出力された記号音に対応する記号を、前記表示手段に表示画面から消去させる。したがって、すでに音として出力された記号を表示画面から消去するので、ユーザは、表示画面上で不要な記号を目にすることはない。

また本発明によれば、前記制御手段は、前記音出力手段によって出力された記号音に対応する記号のみを、前記表示手段によって表示画面に表示させる。したがって、これから出力される音に対応する記号を未表示とすることができるので、ユーザは、これから出力される音を予測することができ、語学の学習に役立てることができる。

また本発明によれば、前記制御手段は、前記音出力手段によって出力されている記号音に対応する記号のみを、前記表示手段によって表示画面に表示させる。したがって、ユーザは、表示されている記号に対する音のみを聞くことができ、語学の学習に役立てることができる。

また本発明によれば、前記記憶手段は、記号情報が示す記号に対応する画像を表す画像情報を記憶する。そして、前記制御手段は、前記記憶手段に記憶される画像情報が示す画像のうち表示画面に表示されている記号に対応する画像を表示画面に表示し、前記音出力手段が出力している記号音に対応する記号に対応する画像を、他の画像よりも強調して前記表示手段に表示させる。したがって、ユーザは、どの画像が、記号音が出力されている記号に対応する画像であるかを容易に認識することができる。

また本発明によれば、前記制御手段は、前記入力手段によって入力される位置情報が示す位置が出力範囲内の記号の位置を移動するとき、移動した位置にある記号に対応する記号音のみを音出力手段に出力させる。したがって、ユーザは、指を接触させた記号列に含まれる記号に対応する音のみを聞くことができる。

また本発明によれば、前記制御手段は、前記入力手段によって入力される位置情報が示す位置が出力範囲内の記号の位置を移動するとき、該位置が移動する速度で、該位置にある記号に対応する記号音を音出力手段に出力させる。したがって、ユーザは、指を接触させた記号列に含まれる記号に対応する音を、自分に適した出力速度で聞くことができる。

また本発明によれば、前記制御手段は、出力範囲内の記号のうち、予め定める大きさ以下の記号に対応する記号音を前記音出力手段に出力させる。したがって、ユーザは、文字が小さいために読みにくい文字を音で確認することができる。

また本発明によれば、前記制御手段は、記号の大きさまたは色に応じて、前記音出力手段に記号音を出力させる速度を変化させる。したがって、ユーザは、注意して聞く必要がある部分については、遅い出力速度で聞くことができる。

また本発明によれば、前記制御手段は、記号の大きさまたは色に応じて、音出力手段に記号音を出力させる音量を変化させる。したがって、ユーザは、注意して聞く必要がある部分については、大きい音量で聞くことができる。

また本発明によれば、前記記号は、文字である。前記記号情報は、単語、文章、段落、章、および行または列を構成単位とする文書を表す文書情報である。そして、前記出力範囲は、文字単位、単語単位、文章単位、段落単位、章単位、および行単位または列単位に選択可能に設定可能である。したがって、ユーザは、小説などの文書の文字を、いろいろな単位で音として聞くことができる。

また本発明によれば、前記文字は、句点およびピリオドを含む。そして、前記制御手段は、前記出力範囲を決定するとき、句点およびピリオドを文章の切れ目として認識する。したがって、ユーザは、音を出力する出力範囲として、簡単な操作で文章を選択することができる。

また本発明によれば、前記表示画面は、記号を表示するための記号表示領域と、記号表示領域を除く残余の空白領域とに分割される。そして、前記入力手段は、記号表示領域および空白領域のいずれの領域についても、指の接触状態情報および位置情報を入力可能である。したがって、記号だけでなく、空白領域に含まれる空白部を、出力範囲を選択するために指を接触させる位置として利用することができる。

また本発明によれば、前記空白領域は、表示画面の周縁部に形成される。前記表示手段は、前記文書情報を横書きまたは縦書きで表示画面に表示する。そして、前記制御手段は、横書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、該位置の左右方向に隣接する段落を出力範囲をとして決定し、または、縦書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち上下方向両端部のうちのいずれか１つの空白部内の位置であるとき、該位置の上下方向に隣接する段落を出力範囲をとして決定する。したがって、ユーザは、音を出力する出力範囲として、簡単な操作で段落を選択することができる。

また本発明によれば、前記空白領域は、表示画面の周縁部に形成される。前記表示手段は、前記文書情報を横書きまたは縦書きで表示画面に表示する。そして、前記制御手段は、横書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、または、縦書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、表示画面内の頁を出力範囲として決定する。したがって、ユーザは、音を出力する出力範囲として、簡単な操作で頁を選択することができる。

また本発明によれば、前記記号は、音符である。前記記号情報は、楽譜を表す楽譜情報である。そして、前記出力範囲は、音符単位、小節単位、楽節単位、および楽章単位に選択可能に設定可能である。したがって、ユーザは、楽譜の音符を、いろいろな単位で音として聞くことができる。

また本発明によれば、記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する記憶手段と、表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する表示手段と、音を出力するための音出力手段と、指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する入力手段とを含む再生装置で再生方法を実行するにあたって、決定工程では、入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定する。そして、出力工程では、記憶手段に記憶される音情報が示す記号音のうち、決定工程で決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる。したがって、表示されているテキストの記号に対応する音を出力することができる。

また本発明によれば、記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する記憶手段と、表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する表示手段と、音を出力するための音出力手段と、指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する入力手段と、コンピュータとを含む再生装置のコンピュータに、入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定する決定工程と、記憶手段に記憶される音情報が示す記号音のうち、決定工程で決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる出力工程とを実行させるためのプログラムとして提供することができる。

また本発明によれば、前記プログラムを記録したコンピュータ読取り可能な記録媒体として提供することができる。

本発明の一実施形態である再生装置１の機能の構成を示すブロック図である。 対応テーブル１９の構成を示す図である。 表示画面３０に表示されるテキストの表示例３１を示す図である。 テキストの文章が選択された表示例３２を示す図である。 テキストの段落が選択された表示例３３を示す図である。 テキストの一部の範囲が選択された表示例３４を示す図である。 テキストの頁が選択された表示例３５を示す図である。 再生されている部分を強調して表示する表示例３６を示す図である。 選択されている部分に関連する画像を強調して表示する表示例３７を示す図である。 指２でなぞっている部分が選択される表示例３８を示す図である。 指２でなぞっている部分がなぞっている速度で選択される表示例３９を示す図である。 テキストとオーディオとの連動コンテンツの例を示す図である。 再生装置１が実行する再生処理の処理手順を示すフローチャートである。

図１は、本発明の一実施形態である再生装置１の機能の構成を示すブロック図である。再生装置１は、たとえば電子ブック、携帯端末装置あるいはパーソナルコンピュータなどの情報処理装置によって構成される。以下、再生装置１が電子ブックの場合を例にして説明する。本発明に係る再生方法は、再生装置１によって実行される。

再生装置１は、たとえば図示しない中央処理装置（以下「ＣＰＵ」という）、図示しない記憶装置、入力部１１、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３、アクション決定部１４、表示部１５、オーディオ再生部１６、テキストデータベース（以下「ＤＢ」という）１７、オーディオＤＢ１８および対応テーブル１９を含んで構成される。

ＣＰＵは、記憶装置に記憶されるプログラムを実行することによって、入力部１１、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３、アクション決定部１４、表示部１５、およびオーディオ再生部１６の各機能を実現する。記憶手段である記憶装置は、たとえば半導体メモリあるいは磁気ディスク装置などによって構成される。記憶装置は、ＣＰＵによって実行されるプログラム、ＣＰＵがプログラムを実行するために必要な情報、ならびにテキストＤＢ１７、オーディオＤＢ１８および対応テーブル１９を記憶する。ＣＰＵは、記憶装置に情報を書き込みおよび読み出しすることができる。

入力手段である入力部１１は、たとえばタッチパネルによって構成される。入力部１１は、表示部１５の表示画面に指が接触しているか否かを表す接触状態、および表示部１５の表示画面内で指が表示画面に接触している位置を検出し、検出した接触状態を表す接触状態情報、および検出した位置を表す位置情報を、タッチイベント＆タッチ座標生成部１２に送る。

タッチイベント＆タッチ座標生成部１２は、入力部１１から受け取る接触状態情報に基づいて、指が表示画面に触れる接触態様を生成する。接触態様には、たとえば指が予め定める時間内に１回表示画面に接触する接触態様、指が予め定める時間内に２回表示画面に接触する接触態様、指が表示画面に接触したまま移動する接触態様、２本の指が同時に表示画面に接触し、接触している２つの位置が近づく方向に移動、または離れる方向に移動する接触形態、および接触している指が移動しながら徐々に離れる接触形態などの接触態様がある。

また、タッチイベント＆タッチ座標生成部１２は、入力部１１から受け取る位置情報に基づいて、タッチ座標を生成する。タッチ座標は、指が表示画面に接触した位置を、表示画面上でのＸＹ座標で表す。ＸＹ座標は、表示部１５の表示画面に向かって、表示画面の左上の頂点を原点として、右方向をＸ軸座標の正方向、および下方向をＹ軸座標の正方向とする座標である。入力部１１から受け取る位置情報がＸＹ座標で表わされている場合は、タッチイベント＆タッチ座標生成部１２は、位置情報をそのままタッチ座標とする。本実施形態では、入力部１１から受け取る位置情報はＸＹ座標で表わされているので、入力部１１から受け取る位置情報をそのままタッチ座標として、選択範囲決定部１３に送る。

選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取る接触態様に基づいて、タッチイベントを決定する。タッチイベントは、ユーザが指によって記号を選択した選択方法である。記号は、文字、数字、句点、ピリオド、および音符などを含む。選択方法には、たとえばタップ、ダブルタップ、ドラッグ、ピンチ、およびフリックがある。

また、選択範囲決定部１３は、決定したタッチイベント、およびタッチイベント＆タッチ座標生成部１２から受け取るタッチ座標に基づいて、選択範囲を決定する。記号音は、記号に対応する音である。出力範囲である選択範囲は、表示画面に表示される記号のうち出力すべき記号音に対応する記号の範囲である。また、選択範囲決定部１３は、対応テーブル１９を参照して後述する時間的位置を決定する。選択範囲決定部１３は、決定した選択範囲および時間的位置、ならびにタッチイベントをアクション決定部１４に送る。

タッチイベントの決定については、選択範囲決定部１３は、接触態様が、指が予め定める時間内に１回表示画面に接触する接触態様であるとき、タッチイベントは、タップであると決定する。また、選択範囲決定部１３は、接触態様が、指が予め定める時間内に２回表示画面に接触する接触態様であるとき、タッチイベントは、ダブルタップであると決定する。接触態様が、指が表示画面に接触したまま移動する接触態様であるとき、タッチイベントは、ドラッグであると決定する。接触態様が、二本の指が同時に表示画面に接触し、接触している２つの位置が近づく方向に移動、または離れる方向に移動する接触形態であるとき、タッチイベントは、ピンチであると決定する。接触態様が、接触している指が移動しながら徐々に離れる接触形態であるとき、タッチイベントは、フリックであると決定する。

選択範囲の決定については、たとえば、表示画面に表示されている記号が、小説や論文などの文書の文字である場合、選択範囲決定部１３は、タッチイベントがタップで、かつ、タッチ座標が示す位置、つまり指が接触した位置が文字の位置であるとき、その文字を認識し、認識した文字を含む１つの文章を、選択範囲として決定する。選択範囲決定部１３は、文章の切れ目を、文章の最後の句点「。」またはピリオド「．」によって認識する。

また、選択範囲決定部１３は、表示画面に表示されている記号が、横書きの文書の文字である場合、タッチイベントがタップで、かつ、タッチ座標が示す位置が、表示画面内の周縁部に形成される空白部のうち、左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、その空白部の左右方向に隣接する段落を、選択範囲として決定する。選択範囲決定部１３は、表示画面に表示されている記号が、縦書きの文書の文字である場合、タッチイベントがタップで、かつ、タッチ座標が示す位置が、表示画面内の周縁部に形成される空白部のうち、上下方向の両端部ののうちのいずれか１つの空白部内の位置であるとき、その空白部の上下方向に隣接する段落を、選択範囲として決定する。

また、表示画面に表示されている記号が、横書きの文書の文字である場合、タッチイベントがタップで、かつ、タッチ座標が示す位置が、表示画面内の周縁部に形成される空白部のうち、上下方向の両端部のいずれか１つの空白部内の位置であるとき、その空白部を含む頁を、選択範囲として決定する。表示画面に表示されている記号が、縦書きの文書の文字である場合、タッチイベントがタップで、かつ、タッチ座標が示す位置が、表示画面内の周縁部に形成される空白部のうち、左右方向両端部のいずれか１つの空白部内の位置であるとき、その空白部を含む頁を、選択範囲として決定する。

また、選択範囲決定部１３は、タッチイベントがドラッグであるとき、指が表示画面に最初に接触した位置と、指が表示画面から離反した位置とを対角の頂点とする矩形で囲まれる範囲を選択範囲として決定する。

アクション決定部１４は、選択範囲決定部１３から受け取るタッチイベントおよび選択範囲に基づいて、表示部１５の表示画面に表示される記号のうち、選択範囲内の記号を強調表示して、表示部１５の表示画面に表示させるとともに、選択範囲内の記号に対応する記号音を、選択範囲の先頭から順次オーディオ再生部１６に出力させる。アクション決定部１４は、選択範囲決定部１３から受け取る時間的位置をオーディオ再生部１６に送る。タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、制御手段である。

表示手段である表示部１５は、たとえば液晶ディスプレイによって構成される。表示部１５は、アクション決定部１４から受け取る記号を表示する。表示部１５は、表示画面３０を有する。表示画面３０は、記号を表示するための記号表示領域と、記号を表示しない空白領域とに分割される。空白領域は、表示画面３０の領域のうち、記号表示領域を除く残余の領域である。空白領域は、表示画面３０内の周縁部に形成され、上下方向両端部の空白部、および左右方向両端部の空白部を含む。

音出力手段であるオーディオ再生部１６は、たとえばスピーカを含んで構成される。オーディオ再生部１６は、アクション決定部１４から受け取る時間的位置によって、出力すべく記号音を特定し、特定した記号音を、予め定める速度で出力する。予め定める速度は、たとえば表示画面３０に表示する図示しない設定画面で設定する。

設定は、表示画面３０に表示される設定画面に応答して、入力部１１によって設定される。設定された内容は、記憶装置に記憶される。ＣＰＵ、すなわち入力部１１、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３、アクション決定部１４、表示部１５、およびオーディオ再生部１６は、記憶装置に記憶される設定内容を参照することによって、設定されている内容を認識することができる。設定については、以下同様である。

テキストＤＢ１７は、テキストデータを記憶するデータベースであり、図示しない記憶装置に記憶される。記号情報であるテキストデータは、テキストを構成する複数の記号を表す記号情報である。テキストは、小説、論文、歌詞および楽譜などの文書のことである。テキストは、記号によって構成される。オーディオＤＢ１８は、オーディオデータを記憶するデータベースであり、図示しない記憶装置に記憶される。音情報であるオーディオデータは、音を構成する複数の記号音を表す音情報である。

対応テーブル１９は、テキストＤＢ１７に記憶されるテキストデータが表すテキストを構成する各記号と、各記号が表示される表示画面３０内の位置と、各記号にそれぞれ対応する記号音がオーディオ再生部１６に出力されるときの時間的位置とを関連付けた対応情報である。対応テーブル１９は、図示しない記憶装置に記憶される。

図２は、対応テーブル１９の構成を示す図である。対応テーブル１９は、「テキスト」の項目および「オーディオの秒数」の項目を含んで構成される。「テキスト」の項目は、テキストデータが表すテキストを構成する各記号を示す。「オーディオの秒数」の項目は、各記号に対応する記号音が出力される時間的位置を示す。時間的位置は、隣接する「テキスト」の項目に示される記号に対応する記号音を出力する時間的な位置である。具体的には、テキストを構成する記号のうち、最初の記号に対応する記号音が出力される時刻を起点として、各記号に対応する記号音が出力されるまでの相対的な時間である。

図２に示した例では、テキストデータが示すテキストの例である記号列２０として、記号列「さんぷるてきすと」が示され、オーディオデータが示す音の例である記号音が出力される時間推移２１が示されている。時間推移２１は、最初の記号に対応する記号音が出力される時刻を「０」として、順次継続する記号に対応する記号音が出力されるまでの相対的な時間を示している。具体的には、テキストの項目「さ」に対応するオーディオの秒数の項目は、「０」秒である。以降、テキストの項目「ん」に対応するオーディオの秒数の項目は、「０．１」秒であり、テキストの項目「ぷ」に対応するオーディオの秒数の項目は、「０．２」秒であり、テキストの項目「る」に対応するオーディオの秒数の項目は、「０．３」秒であり、テキストの項目「て」に対応するオーディオの秒数の項目は、「０．４」秒であり、テキストの項目「き」に対応するオーディオの秒数の項目は、「０．５」秒であり、テキストの項目「す」に対応するオーディオの秒数の項目は、「０．６」秒であり、テキ秒ストの項目「と」に対応するオーディオの秒数の項目は、「０．７」秒である。

図３は、表示画面３０に表示されるテキストの表示例３１を示す図である。表示例３１は、テキストが小説の場合の例であり、小説の１頁分の文字列が横書きで表示画面３０に表示されている状態を示している。

テキストは、記号が文字である場合、単語、文章、段落、章、および行または列を構成単位とする。選択範囲は、文字単位、単語単位、文章単位、段落単位、章単位、および行単位または列単位に選択可能に設定可能である。設定は、上述した設定画面で行われる。

図４は、テキストの文章が選択された表示例３２を示す図である。表示例３２は、図３に示した表示例３１に示される文字列の中の１つの文字の位置を、指２でタップしたときに選択される文章の例を示している。

具体的には、ユーザが第３行目の第１４番目の文字「て」をタップしたことによって、選択範囲３２１内の文章、つまりタップされた文字「て」を含む文章が、選択範囲３２１外の文章よりも強調して表示される。この例では、選択範囲３２１外の文字列は、黒色で表示され、選択範囲３２１内の文字列は、黒色よりも目立つ赤色で強調表示される。そして、選択範囲３２１内の文字列の各文字に対応する記号音がオーディオ再生部１６によって出力される。

表示例３２では、入力部１１は、指２が表示画面３０に接触した接触状態を表す接触状態情報および指２が表示画面３０に接触した位置を表す位置情報を、タッチイベント＆タッチ座標生成部１２に送る。タッチイベント＆タッチ座標生成部１２は、予め定める時間、たとえば１秒の時間内に、入力部１１から指２が表示画面３０に接触したことを表す接触状態情報を１回しか受け取らないので、接触態様として、指２が予め定める時間内に１回表示画面３０に接触する接触態様を生成し、選択範囲決定部１３に送る。選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取った接触態様が、指２が予め定める時間内に１回表示画面３０に接触する接触態様であるので、タッチイベントは、タップであると決定する。

また、選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取ったタッチ座標が、第３行目の第１４番目の文字「て」の位置を示しているので、その文字「て」を含む１つの文章を、選択範囲３２１として決定する。選択範囲決定部１３は、対応テーブル１９を参照して、決定した選択範囲３２１に含まれる各文字に対応する記号音の時間的位置を決定する。選択範囲決定部１３は、決定した選択範囲３２１および時間的位置、ならびにタッチイベントをアクション決定部１４に送る。

アクション決定部１４は、選択範囲決定部１３から受け取ったタッチイベントがタッチであり、かつ選択範囲決定部１３から受け取った選択範囲３２１内の文字列が１つの文章であるので、選択範囲決定部１３から受け取った選択範囲３２１を表示部１５に送り、表示画面３０に表示される文字列のうち選択範囲３２１内の文字列の色を黒色から赤色に変化させて強調表示させる。

さらに、アクション決定部１４は、選択範囲決定部１３から受け取った時間的位置をオーディオ再生部１６に送り、オーディオ再生部１６に、オーディオＤＢ１８に記憶される記号音のうち、アクション決定部１４から受け取った時間的位置が示す位置にある記号音を、アクション決定部１４から受け取った時間的位置が示す時間に順次出力させる。

図４に示した表示例３１では、オーディオ再生部１６が選択範囲３２１内の最後の文字に対応する記号音を出力したとき、記号音の出力を終了するが、次の文章について、連続して、記号音の出力を継続するようにしてもよい。具体的には、文章連続モードが設定されている場合、オーディオ再生部１６が選択範囲３２１内の最後の文字に対応する記号音を出力した後、次の文章について、表示例３１で示した処理を繰り返す。文章連続モードは、上述した設定画面で設定される。

図５、テキストの段落が選択された表示例３３を示す図である。表示例３２は、図３に示した表示例３１に示される表示画面３０の周縁部の空白部のうちの左側にある空白部の位置を、指２でタップしたときに選択される段落の例を示している。

具体的には、ユーザが表示画面３０の周縁部の空白部のうちの左側にある空白部３３１または空白部３３２をタップしたことによって、選択範囲３３３内の段落、つまりタップされた空白部３３１または空白部３３２の右側に隣接する段落が、選択範囲３３３外の段落よりも強調して表示される。この例では、選択範囲３３３外の文字列は、黒色で表示され、選択範囲３３３内の文字列は、赤色で強調表示される。そして、選択範囲３３３内の文字列の各記号に対応する記号音がオーディオ再生部１６によって出力される。

表示例３３は、表示例３２と同様にタッチイベントはタッチであり、タッチイベントがタップであると決定するまでの処理については、重複を避けるために説明を省略する。選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取ったタッチ座標が、表示画面３０に向かって左側の空白部３３１の位置を示しているので、その空白部３３１の右側に隣接する段落を、選択範囲３３３として決定する。選択範囲決定部１３は、対応テーブル１９を参照して、決定した選択範囲３３３に含まれる段落の各文字に対応する記号音の時間的位置を決定する。選択範囲決定部１３は、決定した選択範囲３３３および時間的位置、ならびにタッチイベントをアクション決定部１４に送る。

アクション決定部１４は、選択範囲決定部１３から受け取ったタッチイベントがタッチであり、かつ選択範囲決定部１３から受け取った選択範囲３３３が段落であるので、選択範囲決定部１３から受け取った選択範囲３３３を表示部１５に送り、表示画面３０に表示される文字のうち選択範囲３３３内の文字の色を黒色から赤色に変化させて強調表示させる。さらに、アクション決定部１４は、選択範囲決定部１３から受け取った時間的位置をオーディオ再生部１６に送り、オーディオＤＢ１８に記憶される記号音のうち、アクション決定部１４から受け取った時間的位置が示す位置にある記号音を、アクション決定部１４から受け取った時間的位置が示す時間に順次出力させる。

図６は、テキストの一部の範囲が選択された表示例３４を示す図である。表示例３４は、ユーザが、図３に示した表示例３１に示される文字列の中の一部の範囲を、指２を、指２の位置から矢印Ａの方向に指２ａの位置までドラッグすることによって選択したときの例を示している。

具体的には、ユーザが、指２が位置する第２行目の先頭の文字「ど」の位置から、指２ａが位置する第６行目の最後の文字「そ」の位置までを、ドラッグして選択することによって、指２の位置と指２ａの位置とが対角となる矩形の範囲３４２内の文章のうち、１つの文章中の全文字がその矩形の範囲３４２内に含まれる文章が、選択範囲３４１として選択される。選択範囲３４１内の文章が選択範囲３４１外の文章よりも強調して表示される。この例では、選択範囲３４１外の文章は、黒色で表示され、選択範囲３４１内の文章は、赤色で強調表示される。そして、選択範囲３４１内文章の各文字に対応する記号音がオーディオ再生部１６によって出力される。

表示例３４では、入力部１１は、矢印Ａの方向に指２の位置から指２ａの位置までの各位置における指２の表示画面３０との接触状態を表す接触状態情報、および矢印Ａの方向に指２の位置から指２ａの位置まで指２が表示画面３０に接触していた各位置を表す位置情報を、タッチイベント＆タッチ座標生成部１２に送る。タッチイベント＆タッチ座標生成部１２は、接触状態情報および位置情報が、指２が、矢印Ａの方向に指２の位置から指２ａの位置まで表示画面３０に接触したまま移動したことを示しているので、接触態様として、指２が表示画面３０に接触したまま移動する接触態様を生成し、生成した接触態様を選択範囲決定部１３に送る。選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取った接触態様が、指２が表示画面３０に接触したまま移動する接触態様であるので、タッチイベントは、ドラッグであると決定する。

また、選択範囲決定部１３は、タッチイベントがドラッグであり、タッチイベント＆タッチ座標生成部１２によって生成されたタッチ座標が、第２行目の先頭の文字「ど」の位置から、指２ａが位置する第６行目の最後の文字「そ」の位置までを示しているので、その２つの位置を対角の頂点とする矩形の範囲３４２に含まれる文章のうち、１つの文章中の全文字が矩形の範囲３４２内にある文章を、選択範囲３４１として決定する。選択範囲決定部１３は、対応テーブル１９を参照して、決定した選択範囲３４１に含まれる文章の各文字に対応する記号音の時間的位置を決定する。選択範囲決定部１３は、決定した選択範囲および時間的位置、ならびにタッチイベントをアクション決定部１４に送る。

アクション決定部１４は、選択範囲決定部１３から受け取ったタッチイベントがドラッグあり、かつ選択範囲決定部１３から受け取った選択範囲３４１が、テキストの一部の範囲であるので、選択範囲決定部１３から受け取った選択範囲３４１を表示部１５に送り、表示画面３０に表示される文字列のうち、選択範囲３４１内の文章の色を黒色から赤色に変化させて強調表示させる。さらに、アクション決定部１４は、選択範囲決定部１３から受け取った時間的位置をオーディオ再生部１６に送り、オーディオＤＢ１８に記憶される記号音のうち、アクション決定部１４から受け取った時間的位置が示す位置にある記号音を、アクション決定部１４から受け取った時間的位置が示す時間に順次出力させる。

図６に示した例では、２つの位置を対角の頂点とする矩形の範囲３４２に含まれる文章のうち、１つの文章中の全文字が矩形の範囲３４２内にある文章のみを選択範囲３４１に含めたが、範囲拡張モードのときに、２つの位置を対角の頂点とする矩形の範囲３４２に含まれる文字を含む文章を、選択範囲に含めるようにしてもよい。範囲拡張モードは、上述した設定画面で設定される。

図７は、テキストの頁が選択された表示例３５を示す図である。表示例３５は、図３に示した表示例３１に示される表示画面３０の周縁部の空白部のうちの上側にある空白部３５１または下側にある空白部３５２の位置を、指２でタップしたときに選択される頁の例を示している。具体的には、ユーザが表示画面３０の周縁部の空白部のうちの上側にある空白部３５１または下側にある空白部３５２をタップしたことによって、選択範囲３５３内の文字、つまり表示画面３０に表示されている頁内のすべての文字が強調して表示される。この例では、選択範囲３５３内の全文字、つまりその頁内の全文字が赤色で強調表示される。そして、選択範囲３５３内の各文字に対応する記号音がオーディオ再生部１６によって出力される。

表示例３５は、表示例３２と同様にタッチイベントはタッチであり、タッチイベントがタップであると決定するまでの処理については、重複を避けるために説明を省略する。選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２によって生成されたタッチ座標が、表示画面３０に向かって上側にある空白部３５１または下側にある空白部３５２の位置を示しているので、表示画面３０に表示されている頁全体を、選択範囲３５３として決定する。選択範囲決定部１３は、対応テーブル１９を参照して、決定した選択範囲３５３に含まれる各文字に対応する記号音の時間的位置を決定する。選択範囲決定部１３は、決定した選択範囲および時間的位置、ならびにタッチイベントをアクション決定部１４に送る。

アクション決定部１４は、選択範囲決定部１３から受け取ったタッチイベントがタッチであり、かつ選択範囲決定部１３から受け取った選択範囲３５３が表示画面３０に表示されている頁全体であるので、選択範囲決定部１３から受け取った選択範囲３５３を表示部１５に送り、表示画面３０に表示されるすべての文字の色を黒色から赤色に変化させて強調表示させる。さらに、アクション決定部１４は、選択範囲決定部１３から受け取った時間的位置をオーディオ再生部１６に送り、オーディオ再生部１６に、オーディオＤＢ１８に記憶される記号音のうち、アクション決定部１４から受け取った時間的位置が示す位置にある記号音を、アクション決定部１４から受け取った時間的位置が示す時間に順次出力させる。

図７に示した表示例３５では、オーディオ再生部１６が選択範囲３５３内の最後の文字に対応する記号音を出力したとき、記号音の出力を終了するが、次の頁について、連続して、記号音の出力を継続するようにしてもよい。具体的には、頁連続モードが設定されている場合、オーディオ再生部１６が選択範囲３５３内の最後の文字に対応する記号音を出力した後、次の頁について、表示例３５で示した処理を繰り返す。頁連続モードは、上述した設定画面で設定される。

また、スクロールモードが設定されている場合、オーディオ再生部１６が出力する記号音に対応する文字が、選択範囲３５３内の予め定める行に含まれる文字になったとき、次の行以降の文字について、オーディオ再生部１６が出力する記号音に対応する文字が、常に前記予め定める行になるように、表示画面３０に表示される文字をスクロールさせる。

図８は、再生されている部分を強調して表示する表示例３６を示す図である。表示例３６は、タッチイベントおよび選択範囲３６１が、図４に示した表示例３２のタッチイベントおよび選択範囲３４１と同じであるが、選択範囲３６１内の文章の文字のうち、記号音が生成されている文字を含む単語の部分３６２が、選択範囲３６１内の文章の強調表示、たとえば赤色とは異なる強調表示、たとえば青色で、より強調される。

表示例３６では、選択範囲３６１内の記号音の出力を開始するまでの処理は、図４に示した表示例３２の処理と同じであり、重複を避けるために説明を省略する。二重強調表示モードが設定されているとき、アクション決定部１４は、さらに、オーディオ再生部１６に出力させている記号音に対応する文字を含む単語の色を、すでに表示している強調表示、たとえば赤色とは、異なる強調表示、たとえば青色で、表示部１５に表示させる。二重強調表示モードは、上述した設定画面で設定される。アクション決定部１４は、記憶装置に記憶される設定内容を参照することによって、二重強調表示モードであるか否かを認識することができる。

また、先行強調表示モードが設定されているとき、アクション決定部１４は、オーディオ再生部１６に出力させる記号音を含む単語の色を、その記号音を出力する時点よりも予め定める時間早く、すでに表示している強調表示、たとえば赤色とは、異なる強調表示、たとえば青色で、表示部１５に表示させる。先行強調表示モードも上述した設定画面で設定される。

上述した実施形態では、二重強調表示モードおよび先行強調表示モードでは、単語単位でより強調するが、設定によって、文節単位または文章単位で強調するようにしてもよい。この設定は、上述した設定画面で設定される。また、表示例３６では、より強調する文字を、異なる色で強調したが、より強調する文字の背景の色を異なる色で表示する、あるいはより強調する文字を枠で囲むなどの方法によってより強調してもよい。

図９は、選択されている部分に関連付けられている画像を強調して表示する表示例３７を示す図である。テキストＤＢ１７は、テキストデータが示すテキストに関連付けられている複数の画像を表す画像データを記憶する。画像がテキストに関連付けられている場合、再生装置１は、テキストデータが示すテキストを表示画面３０に表示するとき、表示画面３０に表示されるテキストに関連する画像を同時に表示画面３０に表示する。画像データは、画像情報である。

表示例３７は、表示画面３０に表示される画像のうち、オーディオ再生部１６で出力されている記号音に対応する文字の部分を含む段落に関連付けられている画像３７２を強調して表示、たとえば画像３７２を表示枠３７３で囲んで表示する例である。

表示例３７では、選択範囲３７１内の段落を表示しかつ記号音を出力するまでの処理は、図５に示した表示例３３の処理と同じであり、重複を避けるために説明は省略する。アクション決定部１４は、テキストＤＢ１７に記憶される画像データが示す画像のうち、表示画面３０に表示されているテキストに関連付けられている画像を表示画面３０に表示する。さらに、表示画面３０に表示されているテキストの段落に関連付けられている画像のうち、選択範囲３７１の段落の関連付けられている画像３７２を強調して表示する。たとえば、選択範囲３７１の段落の関連付けられている画像３７２に表示枠３７３を付して表示する。

テキストが、画像などを掲載する電子カタログである場合、紙に印刷されているカタログよりも、表示領域の大きさが小さくなる傾向にあり、当然文字も小さくなり、読み難くなるので、電子カタログの説明文を読み上げるのは、理にかなっている。

図１０は、指２でなぞっている部分が選択される表示例３８を示す図である。表示例３８は、出力音指定モードが指定されている場合の例であり、指２でなぞられた文字に対応する記号音が出力される。出力音指定モードは、上述した設定画面で設定される。

表示例３８では、入力部１１は、行方向、たとえば矢印Ｂの方向に指２の位置から指２ｂの位置までの各位置における指２の表示画面３０との接触状態を表す接触状態情報、および行方向、たとえば矢印Ｂの方向に指２の位置から指２ｂの位置まで指２が表示画面３０に接触していた各位置を表す位置情報を、タッチイベント＆タッチ座標生成部１２に送る。タッチイベント＆タッチ座標生成部１２は、接触状態情報および位置情報が、指２が、行方向、たとえば矢印Ｂの方向に指２の位置から指２ｂの位置まで表示画面３０に接触したまま移動したことを示しているので、接触態様として、指２が表示画面３０に接触したまま行方向に移動する接触態様を生成し、生成した接触態様を選択範囲決定部１３に送る。選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取った接触態様が、指２が表示画面３０に接触したまま行方向に移動する接触態様であり、かつ出力音指定モードであるので、タッチイベントは、「なぞる」であると決定する。

また、選択範囲決定部１３は、タッチイベントが「なぞる」であり、タッチイベント＆タッチ座標生成部１２から受け取ったタッチ座標が、第３行目の先頭の文字「め」の位置から、指２ｂが位置する第３行目の最後の文字「る」の位置までを示しているので、その２つの位置に挟まれる位置にある文字を含む範囲を、選択範囲３８１として決定する。選択範囲決定部１３は、対応テーブル１９を参照して、決定した選択範囲３８１に含まれる各文字に対応する記号音の時間的位置を決定する。選択範囲決定部１３は、決定した選択範囲および時間的位置、ならびにタッチイベントをアクション決定部１４に送る。

アクション決定部１４は、選択範囲決定部１３から受け取ったタッチイベントが「なぞる」であるので、選択範囲決定部１３から受け取った選択範囲３８１を表示部１５に送り、表示画面３０に表示される文字列のうち、選択範囲３８１内の文字の色を黒色から赤色に変化させて強調表示させる。さらに、アクション決定部１４は、選択範囲決定部１３から受け取った時間的位置をオーディオ再生部１６に送り、オーディオＤＢ１８に記憶される記号音のうち、アクション決定部１４から受け取った時間的位置が示す位置にある記号音を、アクション決定部１４から受け取った時間的位置が示す時間に順次出力させる。

図１１は、指２でなぞっている部分がなぞっている速度で選択される表示例３９を示す図である。表示例３９は、出力速度指定モードが指定されている場合の例であり、指２がなぞっている文字に対応する記号音が、指２がその文字をなぞる速度で出力される。出力速度指定モードは、上述した設定画面で設定される。

表示例３９では、入力部１１は、指２が表示画面３０に接触している状態であることを表す接触状態情報、および指２が表示画面３０に接触している位置を表す位置情報を、タッチイベント＆タッチ座標生成部１２に送る。タッチイベント＆タッチ座標生成部１２は、接触状態情報および位置情報が、指２が表示画面３０に接触している状態であることを示しているので、接触態様として、指２が表示画面３０に接触している状態である接触態様を生成し、選択範囲決定部１３に送る。選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取った接触態様が、指２が表示画面３０に接触している状態であるであり、かつ出力速度指定モードであるので、タッチイベントは、「なぞる」であると決定する。

また、選択範囲決定部１３は、タッチイベントが「なぞる」であり、かつ出力速度指定モードであるので、タッチイベント＆タッチ座標生成部１２から受け取ったタッチ座標が示す位置にある文字を選択範囲３９１に含める。そして、選択範囲決定部１３は、対応テーブル１９を参照して、その文字に対応する記号音の時間的位置を決定する。選択範囲決定部１３は、決定した選択範囲および時間的位置、ならびにタッチイベントをアクション決定部１４に送る。

アクション決定部１４は、選択範囲決定部１３から受け取ったタッチイベントが「なぞる」であるので、選択範囲決定部１３から受け取った選択範囲３８１を表示部１５に送り、表示画面３０に表示される文字列のうち、選択範囲３８１内の文字の色を黒色から赤色に変化させて強調表示させる。さらに、アクション決定部１４は、選択範囲決定部１３から受け取った時間的位置をオーディオ再生部１６に送り、オーディオＤＢ１８に記憶される記号音のうち、アクション決定部１４から受け取った時間的位置が示す位置にある記号音を、アクション決定部１４から受け取った時間的位置が示す時間に出力させる。

以後、指２が表示画面３０から離反するまで、この処理を繰り返すことによって、指２がなぞっている文字に対応する記号音が、指２が文字をなぞる速度で、オーディオ再生部１６から出力される。

図１２は、テキストとオーディオとの連動コンテンツの例を示す図である。図１２（ａ）は、テキストが日本語の小説の例である。再生装置１の表示画面３０に表示される文字のうち、指２によって選択された選択範囲４１内の文字が赤色で強調表示され、選択範囲４１内の文字に対応する記号音がオーディオ再生部１６から出力される。この例は、図６に示した表示例３４に相当し、テキストの一部の範囲が選択された例である。図１２（ｂ）は、テキストが英語の論文の例である。再生装置１の表示画面３０に表示される文字のうち、指２によって選択された選択範囲４２内の文字が赤色で強調表示され、選択範囲４２内の文字に対応する記号音がオーディオ再生部１６から出力される。

図１２（ｃ）は、テキストが日本語の歌詞の例である。再生装置１の表示画面３０に表示される文字のうち、指２によって選択された選択範囲４３内の文字内が赤色で強調表示され、選択範囲４３内の文字に対応する記号音がオーディオ再生部１６から出力される。図１２（ｄ）は、テキストが楽譜の例である。再生装置１の表示画面３０に表示される音譜のうち、指２によって選択された選択範囲４４内の小節が赤色で強調表示され、選択範囲４４内の音符に対応する記号音がオーディオ再生部１６から出力される。

記号が音符である場合、記号情報は、楽譜を表す楽譜情報である。この場合、選択範囲は、音符単位、小節単位、楽節単位、および楽章単位に選択可能に設定可能である。設定は、上述した設定画面で行われる。すなわち、指２が音符の位置をタップしたとき、小節単位、楽節単位、および楽章単位のうちのどの単位で選択されるかが設定される。

図１３は、再生装置１が実行する再生処理の処理手順を示すフローチャートである。入力部１１によって接触状態情報および位置情報が入力されると、ステップＡ１に移る。

ステップＡ１では、タッチイベント＆タッチ座標生成部１２は、入力部１１から接触状態情報および位置情報を受け取り、受け取った接触状態情報および位置情報に基づいて、タッチイベントおよびタッチ座標を生成し、生成したタッチイベントおよびタッチ座標を選択範囲決定部１３に送る。ステップＡ２では、選択範囲決定部１３は、表示データのどの部分がタッチされたのかを識別する。具体的には、選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取ったタッチ座標が示す位置が、表示画面３０に表示される記号のうちのどの記号であるのかを識別する。

決定工程であるステップＡ３では、選択範囲決定部１３は、タッチイベント＆タッチ座標生成部１２から受け取ったタッチイベントおよび識別した記号に基づいて選択範囲を決定する。また、選択範囲決定部１３は、対応テーブル１９を参照して、決定した選択範囲内の記号に対応する記号音を出力する時間的位置を決定する。選択範囲決定部１３は、決定した選択範囲および時間的位置、ならびにタッチイベントをアクション決定部１４に送る。

ステップＡ４では、アクション決定部１４は、選択範囲決定部１３から受け取ったタッチイベントおよび選択範囲に基づいて、どのアクションを行うかを決定する。アクションは、たとえば選択範囲内の記号を表示画面３０に強調表示するアクション、選択範囲内の記号に対応する記号音を順次オーディオ再生部１６によって出力するアクション、表示画面３０に強調表示している記号のうち、オーディオ再生部１６によって出力されている記号音に対応する記号を、さらに異なる強調表示で表示するアクション、および指２がなぞっている記号に対応する記号音を、指２がなぞっている速度でオーディオ再生部１６によって出力するアクションなどである。

出力工程であるステップＡ５では、アクション決定部１４は、決定したアクションを実行して、再生処理を終了する。具体的には、選択範囲決定部１３は、決定したアクションに従って、表示部１５に、記号を強調表示させるとともに、オーディオ再生部１６の記号音を出力させて、再生処理を終了する。

上述した実施形態では、オーディオ再生部１６が選択範囲内の記号に対応する記号音を出力している間、選択範囲内の記号を表示画面３０に表示したままにしているが、消去するようにしてもよい。たとえば、アクション決定部１４は、オーディオ再生部１６によって出力された記号音に対応する記号を、表示部１５に表示画面３０から消去させる。これによって、すでに音が出力された記号を表示画面３０から消去するので、ユーザは、表示画面３０上で不要な記号を目にすることはない。

あるいは、アクション決定部１４は、表示部１５に選択範囲内の記号を表示画面３０に表示させない状態としておき、選択範囲内の記号のうち、オーディオ再生部１６によって出力された記号音に対応する記号を順次、表示部１５に表示画面３０に表示させる。これによって、これから出力される音に対応する記号を未表示とすることができるので、ユーザは、これから出力される音を予測することができ、語学の学習に役立てることができる。

あるいは、アクション決定部１４は、表示部１５に選択範囲内の記号を表示画面３０に表示させない状態としておき、選択範囲内の記号のうち、オーディオ再生部１６によって出力される記号音に対応する記号のみを、表示部１５に表示画面３０に表示させる。これによって、出力されている記号音に対応する記号にのみを表示とすることができるので、ユーザは、表示されている記号に対する音のみを聞くことができ、語学の学習に役立てることができる。

また、上述した実施形態では、表示画面３０に表示される記号の大きさを一定の大きさとして説明したが、記号の大きさを変化させてもよい。この場合、アクション決定部１４は、選択範囲内の記号のうち、予め定める大きさ以下、たとえば５ポイント以下の記号に対応する記号音の時間的位置を決定し、決定した時間的位置をオーディオ再生部１６に送る。これによって、オーディオ再生部１６は、選択範囲内の記号のうち、予め定める大きさ以下の記号に対応する記号音のみを出力するので、ユーザは、文字が小さいために読みにくい文字を音で確認することができる。

あるいは、表示画面３０に表示される記号の大きさに応じて、記号音を出力する音量、記号音を出力する出力速度、または音量および出力速度を変化させてもよい。この場合、アクション決定部１４は、選択範囲内の記号の大きさに応じて、各記号に対応する記号音を出力する音量、出力速度または音量および出力速度を決定し、決定した音量、出力速度または音量および出力速度を、選択範囲決定部１３から受け取った時間的位置とともに、オーディオ再生部１６に送る。オーディオ再生部１６は、アクション決定部１４から受け取った時間的位置が示す時間に出力する記号音を、アクション決定部１４から受け取った音量、出力速度または音量および出力速度で出力する。たとえば、音量は、記号の大きさが大きいほど大きい音量とし、出力速度は、記号の大きさが大きいほど遅い出力速度とする。これによって、ユーザは、注意して聞く必要がある部分については、大きい音量で、あるいは遅い出力速度で聞くことができる。

あるいは、表示画面３０に表示される記号の色に応じて、記号音を出力する音量、記号音を出力する出力速度、または音量および出力速度を変化させてもよい。この場合、アクション決定部１４は、選択範囲内の記号の色に応じて、各記号に対応する記号音を出力する音量、出力速度または音量および出力速度を決定し、決定した音量、出力速度または音量および出力速度を、選択範囲決定部１３から受け取った時間的位置とともに、オーディオ再生部１６に送る。オーディオ再生部１６は、アクション決定部１４から受け取った時間的位置が示す時間に出力する記号音を、アクション決定部１４から受け取った音量、出力速度または音量および出力速度で出力する。たとえば、色は、目立つ色ほど大きい音量とし、出力速度は、目立つ色ほど遅い出力速度とする。これによって、ユーザは、注意して聞く必要がある部分については、大きい音量で、あるいは遅い出力速度で聞くことができる。

また、上述した実施形態では、再生装置１のＣＰＵが再生装置１の記憶装置に記憶されるプログラムを実行することによって、入力部１１、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３、アクション決定部１４、表示部１５、およびオーディオ再生部１６の各機能を実現するが、上述した処理を実行するためのプログラムは、再生装置１の記憶装置に記憶されることに限定されるものではなく、コンピュータで読取り可能な記録媒体に記録されていてもよい。記録媒体は、たとえば図示しない外部記憶装置としてプログラム読取装置を端末１０に設け、そこに記録媒体を挿入することによって読取り可能な記録媒体であってもよいし、あるいは他の装置の記憶装置であってもよい。

いずれの記録媒体であっても、記憶されているプログラムがコンピュータ、たとえばＣＰＵからアクセスされて実行される構成であればよい。あるいはいずれの記録媒体であっても、プログラムが読み出され、読み出されたプログラムが、再生装置１の記憶装置のプログラム記憶エリアに記憶されて、そのプログラムが実行される構成であってもよい。

再生装置１と分離可能に構成される記録媒体は、たとえば磁気テープ／カセットテープなどのテープ系の記録媒体、フレキシブルディスク／ハードディスクなどの磁気ディスクもしくはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）／ＭＯ（Magneto Optical disk）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（Compact Disk Recordable）／ブルーレイディスクなどの光ディスクのディスク系の記録媒体、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系の記録媒体、またはマスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read Only Memory）／ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）／フラッシュＲＯＭなどの半導体メモリを含む固定的にプログラムを担持する記録媒体であってもよい。

また、再生装置１を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムを供給してもよい。この通信ネットワークとしては、特に限定されず、たとえば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、または衛星通信網など通信ネットワークが利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、たとえば、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）あるいはリモートコントロールで用いられる赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（High Data Rate）、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお、本発明は、上記プログラムが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

このように、再生装置１の記憶装置は、記号を表すテキストデータと、テキストデータが示す記号に対応する記号音を表すオーディオデータとを記憶する。表示部１５は、表示画面３０を有し、再生装置１の記憶装置に記憶されるテキストデータが示す記号を表示画面３０に表示する。オーディオ再生部１６は、音を出力する。入力部１１は、指２が表示画面３０に接触しているか否かの接触状態を表す接触状態情報、および指２が接触している表示画面３０内の位置を表す位置情報を入力する。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、入力部１１によって入力される接触状態情報および位置情報に基づいて、表示画面３０に表示される記号のうち出力すべき記号音に対応する記号の選択範囲を決定し、再生装置１の記憶装置に記憶されるオーディオデータが示す記号音のうち、前記決定された選択範囲内の記号に対応する記号音をオーディオ再生部１６に出力させる。したがって、表示されているテキストの記号に対応する音を出力することができる。

さらに、再生装置１の記憶装置は、テキストデータが表す記号と、各記号にそれぞれ対応する記号音がオーディオ再生部１６によって出力される相対的な時間とを関連付けた対応テーブル１９を記憶する。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、再生装置１の記憶装置に記憶される対応テーブル１９基づいて、各記号に関連付けられた相対的な時間の記号音を、各記号に対応する記号音としてオーディオ再生部１６に出力させる。したがって、選択範囲内に表示される記号と、記号に対応する音とを１対１に対応付けることができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、入力部１１によって入力される接触状態情報に基づいて定まる接触態様、および入力部１１によって入力される位置情報に応じて、選択範囲を決定する。したがって、ユーザは、指２が表示画面３０に接触する接触形態に応じて、音を出力する記号の範囲を指示することができる。

さらに、入力部１１は、タッチパネルである。そして、前記接触態様は、タップ、ダブルタップ、ドラッグ、ピンチ、およびフリックのうちの少なくとも１つである。したがって、ユーザは、タッチパネルで用いられる一般的な操作によって、音を出力する記号の範囲を指示することができる。

さらに、前記位置情報は、２つの位置を表す位置情報を含む。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、該位置情報が示す２つの位置を対角とする矩形の範囲を選択範囲として決定する。したがって、ユーザは、ドラッグによって、表示画面３０に表示される記号のうちから、音を出力する記号の範囲を指示することができる。

さらに、表示部１５は、前記記号を頁単位で表示する。そして、選択範囲は、頁単位に選択可能であるので、ユーザは、１つの頁内の全記号に対応する音を出力することができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、前記決定された選択範囲内の記号を、前記決定された選択範囲外の記号よりも強調して表示部１５に表示させる。したがって、ユーザは、音が出力されている記号の範囲を容易に認識することができる。

さらに、表示部１５は、前記記号を頁単位で表示する。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、選択範囲が複数頁に及ぶ場合、オーディオ再生部１６によって出力される記号音が表示画面３０に表示されている最後の記号に対応する記号音になったとき、表示部１５に次の頁の記号を表示させる。したがって、選択範囲が複数の頁に及ぶ場合、ユーザは、頁をめくる操作をしなくても、次の頁の記号に対応する音を聞くことができる。

さらに、表示部１５は、前記記号を頁単位で表示する。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、選択範囲が複数頁に及ぶ場合、オーディオ再生部１６によって出力されている記号音に対応する記号が表示画面３０内の予め定める行または列に含まれる記号になったとき、表示画面３０に表示する記号をスクロールする。したがって、選択範囲が複数の頁に及ぶ場合、ユーザは、頁をめくる操作をしなくても、次の頁以降にある記号に対応する音を聞くことができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、オーディオ再生部１６によって出力された記号音に対応する記号を、表示部１５に表示画面３０から消去させる。したがって、すでに音として出力された記号を表示画面３０から消去するので、ユーザは、表示画面３０上で不要な記号を目にすることはない。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、オーディオ再生部１６によって出力された記号音に対応する記号のみを、表示部１５によって表示画面３０に表示させる。したがって、これから出力される音に対応する記号を未表示とすることができるので、ユーザは、これから出力される音を予測することができ、語学の学習に役立てることができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、オーディオ再生部１６によって出力されている記号音に対応する記号のみを、表示部１５によって表示画面３０に表示させる。したがって、ユーザは、表示されている記号に対する音のみを聞くことができ、語学の学習に役立てることができる。

さらに、再生装置１の記憶装置は、テキストデータが示す記号に対応する画像を表す画像データを記憶する。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、再生装置１の記憶装置に記憶される画像データが示す画像のうち表示画面３０に表示されている記号に対応する画像を表示画面３０に表示し、オーディオ再生部１６が出力している記号音に対応する記号に対応する画像を、他の画像よりも強調して表示部１５に表示させる。したがって、ユーザは、どの画像が、記号音が出力されている記号に対応する画像であるかを容易に認識することができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、入力部１１によって入力される位置情報が示す位置が選択範囲内の記号の位置を移動するとき、移動した位置にある記号に対応する記号音のみをオーディオ再生部１６に出力させる。したがって、ユーザは、指２を接触させた記号列に含まれる記号に対応する音のみを聞くことができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、入力部１１によって入力される位置情報が示す位置が選択範囲内の記号の位置を移動するとき、該位置が移動する速度で、該位置にある記号に対応する記号音をオーディオ再生部１６に出力させる。したがって、ユーザは、指２を接触させた記号列に含まれる記号に対応する音を、自分に適した出力速度で聞くことができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、選択範囲内の記号のうち、予め定める大きさ以下の記号に対応する記号音をオーディオ再生部１６に出力させる。したがって、ユーザは、文字が小さいために読みにくい文字を音で確認することができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、記号の大きさまたは色に応じて、オーディオ再生部１６に記号音を出力させる速度を変化させる。したがって、ユーザは、注意して聞く必要がある部分については、遅い出力速度で聞くことができる。

さらに、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、記号の大きさまたは色に応じて、オーディオ再生部１６に記号音を出力させる音量を変化させる。したがって、ユーザは、注意して聞く必要がある部分については、大きい音量で聞くことができる。

さらに、前記記号は、文字である。テキストデータは、単語、文章、段落、章、および行または列を構成単位とする文書を表す文書情報である。そして、選択範囲は、文字単位、単語単位、文章単位、段落単位、章単位、および行単位または列単位に選択可能に設定可能である。したがって、ユーザは、小説などの文書の文字を、いろいろな単位で音として聞くことができる。

さらに、前記文字は、句点およびピリオドを含む。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、選択範囲を決定するとき、句点およびピリオドを文章の切れ目として認識する。したがって、ユーザは、音を出力する選択範囲として、簡単な操作で文章を選択することができる。

さらに、表示画面３０は、記号を表示するための記号表示領域と、記号表示領域を除く残余の空白領域とに分割される。そして、入力部１１は、記号表示領域および空白領域のいずれの領域についても、指２の接触状態情報および位置情報を入力可能である。したがって、記号だけでなく、空白領域に含まれる空白部を、選択範囲を選択するために指２を接触させる位置として利用することができる。

さらに、前記空白領域は、表示画面３０の周縁部に形成される。表示部１５は、前記文書情報を横書きまたは縦書きで表示画面３０に表示する。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、横書きで表示される場合、入力部１１によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、該位置の左右方向に隣接する段落を選択範囲をとして決定し、または、縦書きで表示される場合、入力部１１によって入力された位置情報が示す位置が、前記周縁部の空白部のうち上下方向両端部のうちのいずれか１つの空白部内の位置であるとき、該位置の上下方向に隣接する段落を選択範囲をとして決定する。したがって、ユーザは、音を出力する選択範囲として、簡単な操作で段落を選択することができる。

さらに、前記空白領域は、表示画面３０の周縁部に形成される。表示部１５は、前記文書情報を横書きまたは縦書きで表示画面３０に表示する。そして、タッチイベント＆タッチ座標生成部１２、選択範囲決定部１３およびアクション決定部１４は、横書きで表示される場合、入力部１１によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、または、縦書きで表示される場合、入力部１１によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、表示画面３０内の頁を選択範囲として決定する。したがって、ユーザは、音を出力する選択範囲として、簡単な操作で頁を選択することができる。

さらに、前記記号は、音符である。テキストデータは、楽譜を表す楽譜情報である。そして、選択範囲は、音符単位、小節単位、楽節単位、および楽章単位に選択可能に設定可能である。したがって、ユーザは、楽譜の音符を、いろいろな単位で音として聞くことができる。

さらに、記号を表すテキストデータと、テキストデータが示す記号に対応する記号音を表すオーディオデータとを記憶する再生装置１の記憶装置と、表示画面３０を有し、再生装置１の記憶装置に記憶されるテキストデータが示す記号を表示画面３０に表示する表示部１５と、音を出力するためのオーディオ再生部１６と、指２が表示画面３０に接触しているか否かの接触状態を表す接触状態情報、および指２が接触している表示画面３０内の位置を表す位置情報を入力する入力部１１とを含む再生装置１で再生方法を実行するにあたって、図１３に示したフローチャートにおいて、ステップＡ３では、入力部１１によって入力される接触状態情報および位置情報に基づいて、表示画面３０に表示される記号のうち出力すべき記号音に対応する記号の選択範囲を決定する。そして、ステップＡ５では、再生装置１の記憶装置に記憶されるオーディオデータが示す記号音のうち、ステップＡ３で決定された選択範囲内の記号に対応する記号音をオーディオ再生部１６に出力させる。したがって、表示されているテキストの記号に対応する音を出力することができる。

さらに、記号を表すテキストデータと、テキストデータが示す記号に対応する記号音を表すオーディオデータとを記憶する再生装置１の記憶装置と、表示画面３０を有し、再生装置１の記憶装置に記憶されるテキストデータが示す記号を表示画面３０に表示する表示部１５と、音を出力するためのオーディオ再生部１６と、指２が表示画面３０に接触しているか否かの接触状態を表す接触状態情報、および指２が接触している表示画面３０内の位置を表す位置情報を入力する入力部１１と、コンピュータとを含む再生装置１のコンピュータに、入力部１１によって入力される接触状態情報および位置情報に基づいて、表示画面３０に表示される記号のうち出力すべき記号音に対応する記号の選択範囲を決定する図１３に示したフローチャートのステップＡ３と、再生装置１の記憶装置に記憶されるオーディオデータが示す記号音のうち、図１３に示したフローチャートのステップＡ３で決定された選択範囲内の記号に対応する記号音をオーディオ再生部１６に出力させる図１３に示したフローチャートのステップＡ５とを実行させるためのプログラムとして提供することができる。

さらに、前記プログラムを記録したコンピュータ読取り可能な記録媒体として提供することができる。

１ 再生装置
２ 指
１１ 入力部
１２ タッチイベント＆タッチ座標生成部
１３ 選択範囲決定部
１４ アクション決定部
１５ 表示部
１６ オーディオ再生部
１７ テキストＤＢ
１８ オーディオＤＢ
１９ 対応テーブル
２０ テキストデータ
２１ オーディオデータ
３０ 表示画面

Claims (27)

1. 記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する記憶手段と、
   表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する表示手段と、
   音を出力するための音出力手段と、
   指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する入力手段と、
   入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定し、記憶手段に記憶される音情報が示す記号音のうち、前記決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる制御手段とを含むことを特徴とする再生装置。
2. 前記記憶手段は、記号情報が表す記号と、各記号にそれぞれ対応する記号音が音出力手段によって出力される相対的な時間とを関連付けた対応情報を記憶し、
   前記制御手段は、前記記憶手段に記憶される対応情報に基づいて、各記号に関連付けられた相対的な時間の記号音を、各記号に対応する記号音として前記音出力手段に出力させることを特徴とする請求項１に記載の再生装置。
3. 前記制御手段は、前記入力手段によって入力される接触状態情報に基づいて定まる接触態様、および入力手段によって入力される位置情報に応じて、前記出力範囲を決定することを特徴とする請求項１または２に記載の再生装置。
4. 前記入力手段は、タッチパネルであり、
   前記接触態様は、タップ、ダブルタップ、ドラッグ、ピンチ、およびフリックのうちの少なくとも１つであることを特徴とする請求項１〜３のいずれか１つに記載の再生装置。
5. 前記位置情報は、２つの位置を表す位置情報を含み、
   前記制御手段は、該位置情報が示す２つの位置を対角とする矩形の範囲を出力範囲として決定することを特徴とする請求項１〜４のいずれか１つに記載の再生装置。
6. 前記表示手段は、前記記号を頁単位で表示し、
   前記出力範囲は、頁単位に選択可能であることを特徴とする請求項１〜５のいずれか１つに記載の再生装置。
7. 前記制御手段は、前記決定された出力範囲内の記号を、前記決定された出力範囲外の記号よりも強調して前記表示手段に表示させることを特徴とする請求項１〜６のいずれか１つに記載の再生装置。
8. 前記表示手段は、前記記号を頁単位で表示し、
   前記制御手段は、前記出力範囲が複数頁に及ぶ場合、前記音出力手段によって出力される記号音が表示画面に表示されている最後の記号に対応する記号音になったとき、前記表示手段に次の頁の記号を表示させることを特徴とする請求項１〜７のいずれか１つに記載の再生装置。
9. 前記表示手段は、前記記号を頁単位で表示し、
   前記制御手段は、前記出力範囲が複数頁に及ぶ場合、前記音出力手段によって出力されている記号音に対応する記号が表示画面内の予め定める行または列に含まれる記号になったとき、前記表示画面に表示する記号をスクロールすることを特徴とする請求項１〜７のいずれか１つに記載の再生装置。
10. 前記制御手段は、前記音出力手段によって出力された記号音に対応する記号を、前記表示手段に表示画面から消去させることを特徴とする請求項１〜９のいずれか１つに記載の再生装置。
11. 前記制御手段は、前記音出力手段によって出力された記号音に対応する記号のみを、前記表示手段によって表示画面に表示させることを特徴とする請求項１〜９のいずれか１つに記載の再生装置。
12. 前記制御手段は、前記音出力手段によって出力されている記号音に対応する記号のみを、前記表示手段によって表示画面に表示させることを特徴とする請求項１〜９のいずれか１つに記載の再生装置。
13. 前記記憶手段は、記号情報が示す記号に対応する画像を表す画像情報を記憶し、
    前記制御手段は、前記記憶手段に記憶される画像情報が示す画像のうち表示画面に表示されている記号に対応する画像を表示画面に表示し、前記音出力手段が出力している記号音に対応する記号に対応する画像を、他の画像よりも強調して前記表示手段に表示させることを特徴とする請求項１〜１２のいずれか１つに記載の再生装置。
14. 前記制御手段は、前記入力手段によって入力される位置情報が示す位置が出力範囲内の記号の位置を移動するとき、移動した位置にある記号に対応する記号音のみを音出力手段に出力させることを特徴とする請求項１〜１３のいずれか１つに記載の再生装置。
15. 前記制御手段は、前記入力手段によって入力される位置情報が示す位置が出力範囲内の記号の位置を移動するとき、該位置が移動する速度で、該位置にある記号に対応する記号音を音出力手段に出力させることを特徴とする請求項１〜１３のいずれか１つに記載の再生装置。
16. 前記制御手段は、出力範囲内の記号のうち、予め定める大きさ以下の記号に対応する記号音を前記音出力手段に出力させることを特徴とする請求項１〜１５のいずれか１つに記載の再生装置。
17. 前記制御手段は、記号の大きさまたは色に応じて、前記音出力手段に記号音を出力させる速度を変化させることを特徴とする請求項１〜１６のいずれか１つに記載の再生装置。
18. 前記制御手段は、記号の大きさまたは色に応じて、音出力手段に記号音を出力させる音量を変化させることを特徴とする請求項１〜１６のいずれか１つに記載の再生装置。
19. 前記記号は、文字であり、
    前記記号情報は、単語、文章、段落、章、および行または列を構成単位とする文書を表す文書情報であり、
    前記出力範囲は、文字単位、単語単位、文章単位、段落単位、章単位、および行単位または列単位に選択可能に設定可能であることを特徴とする請求項１〜７のいずれか１つに記載の再生装置。
20. 前記文字は、句点およびピリオドを含み、
    前記制御手段は、前記出力範囲を決定するとき、句点およびピリオドを文章の切れ目として認識することを特徴とする請求項１９に記載の再生装置。
21. 前記表示画面は、記号を表示するための記号表示領域と、記号表示領域を除く残余の空白領域とに分割され、
    前記入力手段は、記号表示領域および空白領域のいずれの領域についても、指の接触状態情報および位置情報を入力可能であることを特徴とする請求項２０に記載の再生装置。
22. 前記空白領域は、表示画面の周縁部に形成され、
    前記表示手段は、前記文書情報を横書きまたは縦書きで表示画面に表示し、
    前記制御手段は、横書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、該位置の左右方向に隣接する段落を出力範囲をとして決定し、または、縦書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち上下方向両端部のうちのいずれか１つの空白部内の位置であるとき、該位置の上下方向に隣接する段落を出力範囲をとして決定することを特徴とする請求項２１に記載の再生装置。
23. 前記空白領域は、表示画面の周縁部に形成され、
    前記表示手段は、前記文書情報を横書きまたは縦書きで表示画面に表示し、
    前記制御手段は、横書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、または、縦書きで表示される場合、前記入力手段によって入力された位置情報が示す位置が、前記周縁部の空白部のうち左右方向両端部のうちのいずれか１つの空白部内の位置であるとき、表示画面内の頁を出力範囲として決定することを特徴とする請求項２１または２２に記載の再生装置。
24. 前記記号は、音符であり、
    前記記号情報は、楽譜を表す楽譜情報であり、
    前記出力範囲は、音符単位、小節単位、楽節単位、および楽章単位に選択可能に設定可能であることを特徴とする請求項１〜７のいずれか１つに記載の再生装置。
25. 記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する記憶手段と、表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する表示手段と、音を出力するための音出力手段と、指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する入力手段とを含む再生装置で実行される再生方法であって、
    入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定する決定工程と、
    記憶手段に記憶される音情報が示す記号音のうち、決定工程で決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる出力工程とを含むことを特徴とする再生方法。
26. 記号を表す記号情報と、記号情報が示す記号に対応する記号音を表す音情報とを記憶する記憶手段と、表示画面を有し、記憶手段に記憶される記号情報が示す記号を表示画面に表示する表示手段と、音を出力するための音出力手段と、指が表示画面に接触しているか否かの接触状態を表す接触状態情報、および指が接触している表示画面内の位置を表す位置情報を入力する入力手段と、コンピュータとを含む再生装置のコンピュータに、
    入力手段によって入力される接触状態情報および位置情報に基づいて、表示画面に表示される記号のうち出力すべき記号音に対応する記号の出力範囲を決定する決定工程と、
    記憶手段に記憶される音情報が示す記号音のうち、決定工程で決定された出力範囲内の記号に対応する記号音を音出力手段に出力させる出力工程とを実行させるためのプログラム。
27. 請求項２６に記載のプログラムが記録されたコンピュータ読取り可能な記録媒体。