JP2006012055A - 携帯端末装置、電子メール読み上げ方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】 電子メールの読み上げ動作中に、電子メールの添付ファイルが予め搭載されている処理手段で処理可能か否かを音声出力によりユーザに知らせることができる携帯端末装置を提供する。
【解決手段】 受信した電子メールを読み上げる場合、添付ファイル１に関しては、添付ファイル１の情報を表すための読み上げデータ１０９と、添付ファイル１の添付ファイル名称の読み上げデータ１１０と、添付ファイル１の取り扱い可否情報の読み上げデータ１１１とが作成される。この読み上げデータ１１１としては、例えば「このファイルはフォトビューワで表示可能です。」という読み上げデータが作成される。そして、読み上げデータ１１１を読み上げることによって、添付ファイル１に対応するアプリケーションがユーザに知らされることになる。
【選択図】 図１３

Description

本発明は、電子メールを受信可能な携帯端末装置、その電子メール読み上げ方法、プログラムおよび記憶媒体に関する。

従来、電子メールを送受信可能な携帯端末装置の利用においては、その機器の性格上、野外や移動中において受信した電子メールを確認する機会が多い。受信した電子メールを確認するような場合、画面を安定した状態で読み取ることができるように携帯端末装置を確実に保持しながら、必要な情報の読み出し操作を行う必要がある。

また、携帯端末装置が取り扱い可能な情報としては、従来からの文字情報のみに留まらず、画像データ、音声データ、各種アプリケーションの専用データなど、マルチメディア化した複合化情報などがある。また、最近では、従来のデスクトップＰＣ（パーソナルコンピュータ）でのみ扱われているデータなどを処理可能な携帯端末装置が登場している。

このような状況において、近年の携帯端末装置は、予め、各種のマルチメディア情報、例えば、画像データや音声データを処理するための機能装置、例えば、画像データや音声データを高速で処理するためのアクセラレータや、入出力を行うためのインタフェース装置を有する。また、携帯端末装置に格納されている各種の情報、例えば受信した電子メールのメッセージを読み上げる音声読み上げ機能が搭載されているものもある。

また、携帯端末装置においては、電子メールに添付されたデータ、例えば画像データ、動画データ、音声データなどを、デコード処理した後、対応するアプリケーションにより携帯端末装置の表示装置またはスピーカを介して再生することが可能である。

さらに、音声データを蓄積し、再生する機能と、ヘッドフォンおよびリモートコントロール装置（以下、リモコン装置という）とを用いて、音楽を楽しむためのヘッドフォンステレオ機能を実現するアプリケーションが搭載された携帯端末装置が登場している。このヘッドフォンとリモコン装置を接続可能な携帯端末装置においては、リモコン装置に対応したアプリケーションを起動しておくことによって、携帯端末装置の表示装置を利用することなく、携帯端末装置を鞄やポケットに入れた状態で、リモコン装置から、携帯端末装置に対して簡単な操作を行うことが可能である。

よって、このような構成の携帯端末装置においては、電子メールアプリケーションを起動中に、リモコン装置を操作することによって、例えば図２２に示すような受信した電子メールのメッセージを読み上げる操作を行うことができる。同様に、リモコン装置の操作により、次のメッセージや前のメッセージにスキップ移動してそれらのメッセージを読み上げることが可能である。また、このとき、電子メールのメッセ−ジを、ヘッダパート、本文パート、そして添付ファイルパートにそれぞれ分割し、ヘッダパートに関しては、その全てを棒読みするのではなく、差出人と件名のみ切り出し、図２３に示すように、必要な部分のみを読み上げることによって、ヘッドフォンを用いて聴取する際の利便性を向上させている。また同様に、添付ファイルパートにおいても、添付ファイルの数やファイル名を読み上げることによって、添付ファイルの存在の有無や、添付ファイルの種類など、添付ファイルに関する概略情報を把握することができる。

さらに、添付ファイルがテキストファイルである場合には、ユーザの指示により、当該添付ファイルについて、その要約を作成するなどして読み上げを行うものも存在する（例えば特許文献１を参照）。
特開平１０−２９０２５６号公報

しかしながら、上記のような構成においては、ヘッドフォンとリモコン装置を利用して電子メールのメッセージを聴取している際に、添付ファイルに関する情報が読み上げられたとしても、テキストデータ以外の添付ファイルに関して、添付ファイルの数やファイル名の情報のみを読み上げるだけでは、聴取しているユーザにとって、当該添付ファイルが使用中の携帯端末装置において利用可能なファイルであるか否かが分からない。

また、ファイル名の情報より、添付ファイルが携帯端末装置において利用可能なものであるとユーザが判断可能なものであったとしても、当該添付ファイルの利用に際しては、メールアプリケーションの利用を中断し、添付ファイルを呼び出すアプリケーションを起動し直さなくてはならず、操作内容が限られたリモコン装置による操作のみでは、実行することができない場合が多い。

さらに、添付ファイルが携帯端末装置において利用可能な音声データで、かつ、ヘッドフォンとリモコン装置を用いてそのままの使用形態で聴取可能なものであっても、上述と同様の理由により、ヘッドフォンとリモコン装置が用いられている状況にも関わらず、携帯端末装置自体への操作が必要となり、大きく利便性が損なわれる場合がある。

本発明の目的は、電子メールの読み上げ動作中に、電子メールの添付ファイルが予め搭載されている処理手段で処理可能か否かを音声出力によりユーザに知らせることができる携帯端末装置、電子メール読み上げ方法、プログラムおよび記憶媒体を提供することにある。

本発明は、上記目的を達成するため、少なくとも１つの処理手段と、電子メールを受信する受信手段と、前記受信手段により受信した電子メールを音声に変換して読み上げる読み上げ手段と、前記受信した電子メールに添付ファイルが含まれる場合、前記処理手段のうち、前記添付ファイルを処理可能な処理手段があるか否かを判定する判定手段と、前記判定手段の判定結果を出力する出力手段とを備えることを特徴とする携帯端末装置を提供する。

本発明は、上記目的を達成するため、少なくとも１つの処理手段および電子メールを受信する受信手段を備える携帯端末装置の電子メール読み上げ方法であって、前記受信した電子メールに添付ファイルが含まれる場合、前記処理手段のうち、前記添付ファイルを処理可能な処理手段があるか否かを判定する判定工程と、前記受信した電子メールを音声に変換して読み上げるとともに、前記判定工程の判定結果を音声に変換して読み上げる読み上げ工程とを有することを特徴とする電子メール読み上げ方法を提供する。

本発明は、上記目的を達成するため、少なくとも１つの処理手段および電子メールを受信する受信手段を備える携帯端末装置上で電子メール読み上げ方法を実施するためのプログラムであって、前記受信した電子メールに添付ファイルが含まれる場合、前記処理手段のうち、前記添付ファイルを処理可能な処理手段があるか否かを判定する判定モジュールと、前記受信した電子メールの本文を音声に変換して読み上げるとともに、前記判定モジュールの判定結果を音声に変換して読み上げる読み上げモジュールとを有することを特徴とするプログラムを提供する。

本発明は、上記目的を達成するため、上記プログラムをコンピュータ読み取り可能に格納したことを特徴とする記憶媒体を提供する。

本発明によれば、電子メールの読み上げ動作中に、電子メールの添付ファイルが予め搭載されている処理手段で処理可能か否かを音声出力によりユーザに知らせることができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る携帯端末装置の外観構成を示す図である。

携帯端末装置は、図１に示すように、携帯端末装置本体（以下、本体という）５０１を備える。本体５０１には、液晶表示パネル５０２、操作ボタン群５０３が設けられている。本体５０１には、ヘッドフォン５０６およびリモコン装置５０５がケーブル５０４を介して接続される。なお、リモコン装置５０５は、上記操作ボタン群５０３の一部と同一の機能を有するものであり、例えば、読み上げの開始、停止、一時停止、前のパート移動、後のパート移動、音量のアップダウンなどの操作を行うことが可能である。

次に、携帯端末装置の内部構成について図２を参照しながら説明する。図２は図１の携帯端末装置の内部構成を示すブロック図である。

携帯端末装置は、図２に示すように、メインＣＰＵ６０７を備える。メインＣＰＵ６０７には、Ｉ／Ｏ制御ＣＰＵ６０４、ＲＡＭ６０８、フラッシュＲＯＭ（ＦＬＡＳＨ／ＲＯＭ）６０９、ＰＣＭＣＩＡ６１０、カードインタフェース（カードＩ／Ｆ）装置６１１、ＩｒＭＣ装置６１２、ＭＯＤＥＭ／ＬＡＮ装置６１３、およびＤＳＰ（Digital Signal Processor）６１４が接続されている。

Ｉ／Ｏ制御ＣＰＵ６０４には、携帯端末装置の主の入力装置を構成するデジタイザ装置６０１、液晶表示パネル５０２、操作ボタン群５０３、スピーカ８０５およびバックライト／ＬＥＤ６０６が接続されており、これらは、Ｉ／Ｏ制御ＣＰＵ６０４により制御される。ここで、デジタイザ装置６０１を用いて入力を行う際には、スタイラス６０２が使用される。また、デジタイザ装置６０１は、液晶表示パネル５０２に貼り付けられている。

フラッシュＲＯＭ６０９は、メインＣＰＵ６０７により実行される、携帯端末装置の各種制御のための制御プログラムおよびアプリケーションプログラムと、各種データとを書き換え可能に格納する。ＲＡＭ６０８は、メインＣＰＵ６０７が上記制御プログラムおよびアプリケーションプログラムを実行する際の作業領域を提供する。

ＰＣＭＣＩＡ６１０およびカードＩ／Ｆ装置６１１は、カード型の周辺機器を接続するためのものである。ＩｒＭＣ装置６１２は、赤外線による各種通信を行うためのものである。ＭＯＤＥＭ／ＬＡＮ装置６１３は、公衆回線またはＬＡＮなどのネットワークと接続するためのものである。ＤＳＰ６１４は、音声データおよび画像データを高速に処理するための信号処理プロセッサであり、ＤＳＰ６１４には、音声合成を行うための音声合成エンジン６１５が接続されている。

メインＣＰＵ６０７は、フラッシュＲＯＭ６０９に格納されている制御プログラムおよびアプリケーションプログラムに従って上記各ブロックの制御とともに各種処理を実行する。

上記フラッシュＲＯＭ６０９に格納されているアプリケーションプログラムには、メールアプリケーションプログラムが含まれている。このメールアプリケーションプログラムについて図３を参照しながら説明する。図３は図２のフラッシュＲＯＭに格納されているメールアプリケーションプログラムのモジュール構成を示す図である。

メールアプリケーションプログラムは、図３に示すように、サーバ通信手段７０１、メッセージ受信手段７０２、ヘッダ解析手段７０３、メッセージ再構築手段７０４、マルチパート解析手段７０５、デコード手段７０６、対応アプリ参照手段７０７、利用可否判定手段７０８、読み上げデータ追加手段７０９、ＧＵＩ手段７１０、メールボックス管理手段７１１、メールボックス手段７１２、メッセージ編集手段７１３、メッセージ表示手段７１４、読み上げデータ作成手段７１５、メッセージ読み上げ手段７１６、メッセージ構築手段７２０、ヘッダ構成手段７１９、エンコード手段７１８、メッセージ送信手段７１７の各手段を構築する。

サーバ通信手段７０１は、ＭＯＤＥＭ／ＬＡＮ装置６１３を経由して、電子メール関連のサーバと接続するための手段である。メッセージ受信手段７０２は、サーバと接続することによって、電子メールメッセージの受信手続きを行う手段である。ヘッダ解析手段７０３は、受信した電子メールメッセージのヘッダパートを解析する手段である。メッセージ再構築手段７０４は、解析された結果を元にメッセージの再構築を行う手段である。マルチパート解析手段７０５は、上記ヘッダ解析手段７０３によりメッセージコンテンツがマルチパートであった場合に、各パートの解析を行う手段である。デコード手段７０６は、上記各パートがエンコードされていた場合にデコード処理を行う手段である。対応アプリ参照手段７０７は、マルチパート解析手段７０５により得られた各パートの情報およびデコード手段７０６によりデコードされたデータのファイル名称に基づいて対応するアプリケーションを参照する手段である。利用可否判定手段７０８は、対応アプリ参照手段７０７の参照結果に基づいて上記ファイル名のデータが利用可能であるか否かを判定する手段である。読み上げデータ追加手段７０９は、利用可否判定手段７０８の判定結果に基づいて読み上げデータを追加する手段である。ＧＵＩ手段７１０は、メールアプリケーション全体のユーザＩ／Ｆを制御する手段である。メールボックス管理手段７１１は、電子メールのメッセージを格納する各種メールボックスを管理する手段である。

メールボックス手段７１２は、上記各種メールボックスを構成する手段である。メッセージ編集手段７１３は、液晶表示パネル５０２の表示画面を用いて新規メッセージの作成またはメッセージの再編集を行う手段である。メッセージ表示手段７１４は、メールボックス手段７１２に格納されているメッセージを液晶表示パネル５０２に表示する手段である。読み上げデータ作成手段７１５は、表示されたメッセージに基づいて読み上げを行うための読み上げデータを作成する手段である。メッセージ読み上げ手段７１６は、読み上げデータ作成手段７１５で作成された読み上げデータを読み上げる手段である。メッセージ構築手段７２０は、液晶表示パネル５０２の画面上で編集されたメッセージを送信メッセージコンテンツとして構築する手段である。ヘッダ構成手段７１９は、メッセージ構築手段７２０により構築された送信メッセージからマルチパートヘッダ情報を構成する手段である。エンコード手段７１８は、添付するファイルをエンコード処理する手段である。メッセージ送信手段７１７は、作成、送信指示されたメッセージを、サーバと接続することにより電子メールとして送信する手段である。

次に、添付ファイルの種類と利用可否情報の参照テーブルについて図４を参照しながら説明する。図４は添付ファイルの種類と利用可否情報の参照テーブルの一例を示す図である。

この参照テーブルは、例えば図４に示すように、添付ファイル情報のコンテンツ情報から抽出されたコンテンツタイプ情報と比較されるＭＩＭＥタイプ情報４０１、サブタイプ情報４０２、デコードされた添付ファイルのファイル名の拡張子と比較される拡張子群情報４０３、ＭＩＭＥタイプ情報４０１から拡張子群情報４０３までの参照項目が一致した際に、当該一致した添付ファイルを利用可能な、携帯端末装置に実装されているアプリケーション名称４０４、アプリケーション名称４０４のアプリケーションで実行可能なアクション４０５の各項目からなる。

なお、本図に示す参照テーブルは、携帯端末装置を操作するユーザが任意に編集可能なものであっても、また、携帯端末装置に対してアプリケーションのインストール作業を実行することによって、副次的に登録されるものであってもよい。

次に、上記メールアプリケーションプログラムにより液晶表示パネル５０２に表示されるメール操作画面について図５〜図７を参照しながら説明する。図５はメールアプリケーションプログラムによるメール操作画面の一例を示す図、図６はメールアプリケーションプログラムによる受信箱に格納されているメッセージのリスト表示画面の一例を示す図、図７は図５のメール操作画面においてメッセージの添付ファイルに関する情報を表示している状態を示す図である。

メールアプリケーションプログラムにより液晶表示パネル５０２には、例えば図５に示すようなメール操作画面８０２が表示される。このメール操作画面８０２上には、受信されたメッセージが格納される受信箱を指定するためのタブ８１０、送信したメッセージが保存される送信箱を指定するためのタブ８１１、作成途中のメッセージが格納される草稿メールボックスを指定するためのタブ８１２、送信待ちのメッセージが格納される送信待ちメールボックスを指定するためのタブ８１３が表示され、各タブ８１０〜８１３から所望のタブが指定されると、対応するメールボックスが開かれ、格納されているメッセージが表示される。

また、メール操作画面８０２には、画面をスクロールさせるためのスクロールバー８０３と、メール操作画面８０２上のメールアプリケーショプログラムによる処理に関する操作を行うための操作メニュー群８０４とが表示される。

また、携帯端末装置の本体５０１には、スピーカ８０５、メール操作画面８０２上のメッセージを読み上げるための読み上げモードを起動するハードボタン８０６、読み上げモード時に読み上げに関する主な操作を行うための複合型ハードボタン８０７、読み上げモード時に出力される音声情報の音量を調節するためのハードボタン８０８、読み上げモード時に、前のメッセージ移動、後のメッセージ移動などを行うためのハードボタン８０９が設けられている。ここで、複合型ハードボタン８０７は、ユーザが操作する部位により、再生開始、一時停止、再生終了、前のパート移動、後のパート移動などの操作を可能する。上記各ハードボタン８０６〜８０９は、操作ボタン群５０３を構成する。

メール操作画面８０２において、例えば受信されたメッセージが格納される受信箱を指定するためのタブ８１０がスタイラス６０２のタップ入力などにより選択されると、図６に示すように、受信箱に格納されているメッセージがリスト表示される。ここで、リスト表示されているメッセージの中から、所望のメッセージを選択する場合、所望のメッセージがスタイラス６０２のタップ入力などによりにより選択される。この操作により選択されたメッセージは、その表示が反転されるなど選択されていることを示す表示形態１２０２で表示される。そして、操作メニュー群８０４のうち、対応する操作メニューをスタイラス６０２によるタップ操作などにより選択することによって、この選択されたメッセージに対して操作を行うことが可能になる。例えば選択されたメッセージを開くためのコマンドを選択すれば、図５に示すような電子メールのメッセージが開かれる。

また、スタイラス６０２によるタップおよびドラッグ操作によりスクロールバー８０３を操作すれば、メッセージが表示されている画面がスクロールされる。例えば図５に示すメッセージをその末尾までスクロールさせると、図７に示すように、メッセージ末尾の添付ファイルに関する情報が表示される。ここでは、２つのファイルが添付されており、それぞれの添付ファイルを示すアイコン９１４，９１５とそのファイル名とが表示される。

次に、メールアプリケーションプログラムによる読み上げモードの動作について図８〜図１２を参照しながら説明する。図８および図９は図３のメールアプリケーションプログラムによる読み上げモードの動作の手順を示すフローチャート、図１０〜図１２は図３のメールアプリケーションプログラムの読み上げモードによる読み上げ最中の読み上げカレントポイントの変更を行うためのカレントポイント移動スレッドの動作の手順を示すフローチャートである。ここで、図８〜図１２に示すフローチャートの手順は、メインＣＰＵ６０７により、フラッシュＲＯＭ６０９に格納されているメールアプリケーションプログラムを従って実行されるものである。

携帯端末装置の読み上げモードボタン８０６が操作され、メールアプリケーションプログラムにより読み上げモードが立ち上げられると、図８に示すように、メインＣＰＵ６０７は、メール操作画面８０２上において受信箱が選択されているか否かを判定する（ステップＳ１００１）。ここで、受信箱が選択されていない場合、メインＣＰＵ６０７は、本処理を終了する。これに対し、受信箱が選択されていると判定された場合、メインＣＰＵ６０７は、メール操作画面８０２中の受信箱のリスト表示において１つのメッセージが選択されているか否かを判定する（ステップＳ１００３）。ここで、メッセージが選択されていない場合、メインＣＰＵ６０７は、本処理を終了する。

これに対し、上記ステップＳ１００２において１つのメッセージが選択されていると判定された場合と、メインＣＰＵ６０７は、選択されているメッセージのコンテンツデータを読み込む（ステップＳ１００３）。続いて、メインＣＰＵ６０７は、読み込まれたコンテンツデータからヘッダパートを抽出し、抽出されたヘッダパートを読み込む（ステップＳ１００４）。そして、メインＣＰＵ６０７は、読み込まれたヘッダパートを解析する（ステップＳ１００５）。

次いで、メインＣＰＵ６０７は、ヘッダパートを読み上げるための読み上げデータを構築する（ステップＳ１００６）。続いて、メインＣＰＵ６０７は、コンテンツデータから本文パートを抽出し、抽出された本文パートを読み込む（ステップＳ１００７）。そして、メインＣＰＵ６０７は、本文パートを読み上げるための読み上げデータを構築する（ステップＳ１００８）。

次いで、メインＣＰＵ６０７は、コンテンツデータに添付ファイルがあるか否かを判定する（ステップＳ１００９）。ここで、添付ファイルがあると、メインＣＰＵ６０７は、図９に示すように、添付ファイルのヘッダパートを解析し（ステップＳ１０１０）、個々の添付ファイルのパートを抽出する（ステップＳ１０１１）。そして、メインＣＰＵ６０７は、添付ファイルの各パートをデコード処理する（ステップＳ１０１２）。

次いで、メインＣＰＵ６０７は、デコードされた添付ファイルのファイル名を抽出し（ステップＳ１０１３）、添付ファイルのヘッダの解析結果および抽出されたファイル名から、上記参照テーブル（図４に示す）を参照して、当該添付ファイルを処理可能なアプリケーションを検索する（ステップＳ１０１４）。そして、メインＣＰＵ６０７は、添付ファイルに関する読み上げデータを構築し（ステップＳ１０１５）、再度上記ステップＳ１００９に戻る。ここで、次の添付ファイルがあれば、メインＣＰＵ６０７は、再度上記ステップＳ１０１０からのステップを実行する。そして、添付ファイルがなければ、メインＣＰＵ６０７は、図８に示すように、各パートで構築された読み上げデータを複数パートからなる一群のデータとして、音声合成エンジン６１５に転送する（ステップＳ１０１６）。音声合成エンジン６１５は、転送されたデータを音声信号に変換し、この音声信号をスピーカ８０５に出力する。

１つのメッセージの読み上げが終了すると、メインＣＰＵ６０７は、読み上げるべき次のメッセージが選択されたか否かを判定する（ステップＳ１０１７）。ここで、次のメッセージが選択されていると、メインＣＰＵ６０７は、上記ステップＳ１００３に戻る。これに対し、次のメッセージが選択されていない場合、メインＣＰＵ６０７は、本処理を終了する。

次に、上記メッセージ読み上げモードによりメッセージの読み上げの最中に、ユーザ操作（例えば複合型ハードボタン８０７を用いた操作）により、メッセージおよびメッセージ内の個別パートに関する読み上げ位置の変更操作が行われる場合を説明する。

具体的には、図１０に示すように、メインＣＰＵ６０７は、メッセージの読み上げの最中にユーザ操作（例えば複合型ハードボタン８０７を用いた操作）による読み上げ位置の変更操作のキーイベントの発生を監視し（ステップＳ１１０１）、上記キーイベントの発生がなければ、イベント待ち待機状態を継続する（ステップＳ１１０２）。上記キーイベントが発生すると、メインＣＰＵ６０７は、カレントメッセージ（現在読み上げ中のメッセージ）の位置およびカレントパート（現在読み上げ中であるパート）の位置を読み込む（ステップＳ１１０３）。

次いで、メインＣＰＵ６０７は、上記キーイベントが読み上げているメッセージ内のパート間移動に関するものであるか否かを判定し（ステップＳ１１０４）、上記キーイベントがパート間移動に関するものである場合、上記キーイベントが次の連続するパートに移動するコマンドであるか否かを判定する（ステップＳ１１０５）。

上記ステップＳ１１０５において上記キーイベントが次の連続するパートに移動するコマンドであると判定された場合、メインＣＰＵ６０７は、カレントパートがこのカレントメッセッージの最終パートであるか否かを判定する（ステップＳ１１０６）。ここで、カレントパートが最終パートではないと判定された場合、メインＣＰＵ６０７は、カレントメッセージのカレントパートを次のパートに変更し（ステップＳ１１０７）、読み上げデータをカレントデータすなわちカレントメッセ−ジおよびカレントパートの情報に基づいて再セットする（ステップＳ１１０８）。

上記ステップＳ１１０６において、カレントパートが最終パートであると判定された場合、図１１に示すように、メインＣＰＵ６０７は、カレントメッセージが最終メッセージであるか否かを判定し（ステップＳ１１０９）、カレントメッセージが最終メッセージではない場合、カレントメッセージを次のメッセージに変更する（ステップＳ１１１０）。そして、メインＣＰＵ６０７は、カレントパートをカレントメッセージの先頭パートに変更し（ステップＳ１１１１）、読み上げデータをカレントデータ、すなわちカレントメッセ−ジおよびカレントパートの情報に基づいて再セットする（ステップＳ１１０８；図１０を参照）。

上記ステップＳ１１０５において上記キーイベントが次の連続するパートに移動するコマンドでないと判定された場合、図１１に示すように、メインＣＰＵ６０７は、上記キーイベントがカレントパートを前パートに移動するものであるか否かを判定する（ステップＳ１１１２）。ここで、カレントパートを前パートに移動するものであるキーイベントは、通常、一回のキー操作が行われることによって発生するものであり、このキーイベントに伴う動作は、読み上げているカレントパートの同一パートの先頭から再び読み上げを行う動作となる。また、一回目の上記キー操作が行われた直後から一定の時間内に二回目のキー操作が行われた際には、カレントパートを前パートに移動することができるように構成されている。すなわち、読み上げが行われている最中に、前パートに移動するキー操作がユーザによって行われた際に、単発のキー操作の場合、現在読み上げ中のパートの先頭に戻って読み上げが行われ、二回連続したキー操作の場合、現在読み上げ中のパートの前のパートの先頭から読み上げが行われることになる。

上記ステップＳ１１１２において上記キーイベントがカレントパートを前パートに移動するものであると判定された場合、メインＣＰＵ６０７は、カレントパートが先頭のパートであるか否かを判定する（ステップＳ１１１３）。このとき、カレントパートが先頭パートでない場合、メインＣＰＵ６０７は、カレントメッセージのカレントパートを前のパートに変更し（ステップＳ１１１４）、読み上げデータをカレントデータ、すなわちカレントメッセ−ジおよびカレントパートの情報に基づいて再セットする（ステップＳ１１０８；図１０を参照）。

上記ステップＳ１１１３においてカレントパートが先頭パートであると判定された場合、メインＣＰＵ６０７は、カレントメッセージが先頭メッセージであるか否かを判定する（ステップＳ１１１５）。ここで、カレントメッセージが先頭メッセージでない場合、メインＣＰＵ６０７は、カレントメッセージを前メッセージに変更し（ステップＳ１１１６）、続いて、カレントメッセージのカレントパートを当該メッセージ中の最終パートに変更する（ステップＳ１１１７）。そして、メインＣＰＵ６０７は、読み上げデータをカレントデータ、すなわちカレントメッセ−ジおよびカレントパートの情報に基づいて再セットする（ステップＳ１１０８；図１０を参照）。

上記ステップＳステップ１１１２において前パートへの移動でないと判定された場合、メインＣＰＵ６０７は、カレントパートを同一パート内の先頭に移動し（ステップＳ１１１８）、読み上げデータをカレントデータ、すなわちカレントメッセ−ジおよびカレントパートの情報に基づいて再セットする（ステップＳ１１０８；図１０を参照）。

上記ステップＳ１１１５においてカレントメッセージが先頭メッセージであると判定された場合または上記ステップＳ１１０９においてカレントメッセージが最終メッセージであると判定された場合、メインＣＰＵ６０７は、同一メッセージを選択し（ステップＳ１１２３）、続いて、カレントパートを先頭パートへ移動する（ステップＳ１１２４）。そして、メインＣＰＵ６０７は、読み上げデータをカレントデータ、すなわちカレントメッセ−ジおよびカレントパートの情報に基づいて再セットする（ステップＳ１１０８；図１０を参照）。

上記ステップＳ１１０４において上記キーイベントがパート間の移動に関するものである場合、メインＣＰＵ６０７は、上記キーイベントが読み上げているメッセージ間の移動に関するものであるか否かを判定する（ステップＳ１１１９）。ここで、上記キーイベントがメッセージ間の移動に関するものでない場合、メインＣＰＵ６０７は、その他の処理ルーチンを起動する（ステップＳ１１２０）。そして、メインＣＰＵ６０７は、その他の処理ルーチンにより得られたカレントデータ、すなわちカレントメッセ−ジおよびカレントパートの情報に基づいて読み上げデータを再セットする（ステップＳ１１０８；図１０を参照）。

上記ステップＳ１１１９において上記キーイベントが読み上げているメッセージ間の移動に関するものであると判定された場合、図１２に示すように、メインＣＰＵ６０７は、上記キーイベントがカレントメッセージを次メッセージへ移動するものであるか否かを判定する（ステップＳ１１２１）。ここで、メインＣＰＵ６０７は、上記キーイベントがカレントメッセージを次メッセージへ移動するものであると判定された場合、カレントメッセージが最終メッセージであるか否かを判定し（ステップＳ１１２２）、カレントメッセージが最終メッセージでないと判定された場合、上記ステップＳ１１１１へ進む。そして、カレントメッセ−ジが次メッセージとされ、当該メッセージの先頭パートが選択される。

上記ステップＳ１１２２においてカレントメッセージが最終メッセージであると判定された場合、メインＣＰＵ６０７は、同一メッセージを選択し（ステップＳ１１２３）、続いて、カレントパートを先頭パートへ移動する（ステップＳ１１２４）。そして、メインＣＰＵ６０７は、上記先頭パートを読み上げデータとして再セットする（ステップＳ１１０８；図１０を参照）。

上記ステップＳ１１２１において上記キーイベントがカレントメッセージを次メッセージへ移動するコマンドであると判定された場合、メインＣＰＵ６０７は、上記キーイベントがカレントメッセージを前メッセージへ移動するコマンドであるか否かを判定する（ステップＳ１１２５）。ここでは、上述した前パートへの移動の操作と同じように、前メッセージへの移動に関するキー操作が単発で行われた際には、メインＣＰＵ６０７は、上記キーイベントがカレントメッセージを前メッセージへ移動するコマンドでないと判定し、同一メッセージの先頭から読み上げを行うべくステップＳ１１２３へ進む。

これに対し、ユーザのキー操作が二回連続したキー操作である場合には、メインＣＰＵ６０７は、このキー操作によるキーイベントが、カレントメッセージの、さらに前のメッセージへ移動するコマンドであると判定する。そして、メインＣＰＵ６０７は、カレントメッセージが先頭メッセージであるか否かを判定する（ステップＳ１１２６）。ここで、カレントメッセージが先頭メッセージである場合、メインＣＰＵ６０７は、同一メッセージの先頭から読み上げを行うべくステップＳ１１２３へ進む。

上記ステップＳ１１２６においてカレントメッセージが先頭メッセージでないと判定された場合、メインＣＰＵ６０７は、カレントメッセージを当該メッセージの前メッセージとし（ステップＳ１１２７）、カレントメッセージとして選択されたメッセージの先頭パートをカレントパーとする（ステップＳ１１２８）。そして、メインＣＰＵ６０７は、読み上げデータの再セットを行う（ステップＳ１１０８；図１０を参照）。

なお、図１０〜図１２のフローチャートで示す手順において、前パートまたは前メッセージへの移動のためのキー操作として、所定時間内に２回連続して行われたキー操作を単発のキー操作と識別することによって、カレントパートまたはカレントメッセージを前パートまたは前メッセージへ移動するようにしているが、ユーザの読み上げ開始指示により、一つのメッセージまたは一つのパートの読み上げが開始された時点から所定期間内に、前メッセージまたは前パートへ移動するための１回のキー操作が行われた場合は、カレントパートまたはカレントメッセージを前パートまたは前メッセージへ移動するようにしてよい。

次に、例えば図２２に示す添付ファイル付電子メールのメッセージを読み上げる際に作成された読み上げデータについて図１３および図２２を参照しながら説明する。図１３は図１の携帯端末装置において図２２に示す添付ファイル付電子メールのメッセージを読み上げる際に作成された読み上げデータの一例を示す図、図２２は添付ファイル付電子メールの一例を示す図である。

添付ファイル付電子メールは、例えば図２２に示すように、本文区切り改行２０４を挟んで、ヘッダ部分と、メッセージの内容となるコンテンツ部分とに分割される。ヘッダ部分は、電子メールのやり取りの際の、宛先や送り元、件名、日付情報、参照ＩＤなど、通信規約に従ったメールヘッダパート２０１、メッセージの内容であるコンテンツの形式を記述したコンテンツ情報パート２０２、およびメーラ独自の情報が記述された拡張ヘッダパート２０３に分類される。ここで、コンテンツ情報パート２０２には、メッセージの内容がどの様な種類または形式で、どの様に分割されて格納されているかが記述されている。また、本例では、コンテンツ部分が本文と添付ファイルなど、複数のパートからなるものであるので、それらのコンテンツ間の区切りについての情報が記述されている。

また、メッセージの内容であるコンテンツの部分は、上記コンテンツ間の区切り（boundary）２０８，２１１，２１４により、本文パート２０７と、二つの添付ファイルパートに分割されて構成されている。また、各コンテンツのパートにおいては、それぞれ、コンテンツ情報パート２０６，２０９，２１２が存在し、各コンテンツ情報パート２０６，２０９，２１２には、各コンテンツパートの種類や形式、詳細説明などが記述されている。また、添付ファイルの名称が添付ファイル名称２１０，２１３に記述されている。

図２２のメールメッセージのメールヘッダパート２０１に対する読み上げデータとしては、図１３に示すような読み上げデータ１０１が得られる。上記メールメッセージのコンテンツ情報パート２０２に関しては、読み上げられないので、その読み上げデータ１０２は作成されない。また、拡張ヘッダパート２０３に関しては、同様に、読み上げられないので、その読み上げデータ１０３は作成されない。また、本文区切り改行２０４、（boundary）２０５、コンテンツ情報パート２０６、各区切り情報（boundary）２０８，２１１，２１４のそれぞれに関しても、同様に、読み上げられないので、それぞれの読み上げデータ１０４，１０５，１０６，１０８，１１２，１１６は作成されない。

本文パート２０７に関しては、その読み上げデータとしてデータ１０７が作成される。この読み上げデータ１０７は、本文パート２０７のテキストデータをそのまま読み上げるようなものとして作成される。

コンテンツ情報パート２０９に関しては、添付ファイル１の情報を示す読み上げデータ１０９が作成される。例えば、添付ファイル１の情報を表すために、「添付ファイル１は、画像ファイルで、」という読み上げデータ１０９が作成される。添付ファイル１の添付ファイル名称２１０に関しては、その読み上げデータとして、例えば「名前は、サンプル１.jpegです。」という読み上げデータ１１０が作成される。添付ファイル１の取り扱い可否情報に関しては、その読み上げデータとして、「このファイルはフォトビューワで表示可能です。」という読み上げデータ１１１が作成される。

コンテンツ情報パート２１２に関しては、添付ファイル２の情報を示す読み上げデータ１１３が作成される。例えば、添付ファイル２の情報を表すために、「添付ファイル１は、動画ファイルで、」という読み上げデータ１１３が作成される。添付ファイル２の添付ファイル名称２１３に関しては、その読み上げデータとして、例えば「名前は、サンプル２.mpegです。」という読み上げデータ１１４が作成される。添付ファイル２の取り扱い可否情報に関しては、その読み上げデータとして、「このファイルはメディアプレーヤで視聴可能です。」という読み上げデータ１１５が作成される。

このような構成を有する携帯端末装置のメールアプリケーションプログラムによる動作について説明する。

携帯端末装置においてメールアプリケーションが立ち上げられており、液晶表示パネル５０２には、図６に示すメール操作画面８０２が表示されているとする。このメール操作画面８０２は、スタイラス６０２の操作により、メールアプリケーションプログラムのＧＵＩ手段７１０が操作され、メールボックス管理手段７１１により、受信箱のタブ８１０が選択されて表示されているものである。このメール操作画面８０２において、スタイラス６０２を用いたタップ操作により、１つのメッセージ１２０２を選択した後に、選択されたメッセージに対するダブルタップ操作、またはメニュー操作１２０４の選択により、メッセージ１２０１が開かれ、メッセージ表示手段７１４により液晶表示パネル５０２に表示される（図５または図７を参照）。

ここで、受信したメッセージが、図２２に示すメッセージであるとし、当該メッセージが開かれると、液晶表示パネル５０２には、図５または図７に示すような表示が行われる。ここで、最初のコンテンツパートである本文パート２０７は、コンテンツ情報パート２０６により、テキスト形式の平文であることが示されている。また、次にコンテンツ間区切りにより分割されたコンテンツパートは、コンテンツ情報パート２０９により、ＪＰＥＧ形式の画像データであることが分かり、添付ファイル名称２１０のデータはデコード手段７０６によりデコードされる。その結果、添付された画像データは、ファイル名「サンプル１.jpeg」というファイルとしてＲＡＭ６０８に格納される。同様に、３番目のコンテンツパートすなわちＭＰＥＧ形式の動画データは、ファイル名「サンプル２.mpeg」というファイルとしてＲＡＭ６０８に格納される。そして、添付ファイルに関しては、当該添付ファイルの形式及び種類を表すアイコンとファイル名との表示が行われる。

このような表示状態において、読み上げモードボタン８０６が押されると、図８および図９に示す読み上げモードが開始される。ここで、受信箱の中のメッセージが選択されていれば（ステップＳ１００２）、メッセージコンテンツが読み込まれ（ステップＳ１００３）、メッセージのメールヘッダパートが読み込まれる（ステップＳ１００４）。そして、メールヘッダパートの解析が行われる（ステップＳ１００５）。

読み上げモードにおいては、上記メールヘッダパートを棒読みするのではなく、音声合成される際に必要最小限の情報を、より分かり易い形で読み上げデータに変換する必要がある。ここでは、メールヘッダパート２０１のデータより、差し出し人と件名のデータが抽出され、このデータは、図１３に示すような「○○○○さんから、□□□□の件に関するメールです。」という形式の読み上げデータとして構築される（ステップＳ１００６）。

次に、最初のコンテンツパートである本文パートが抽出され（ステップＳ１００７）、この本文パートは、図２２の本文パート２０７をそのままの形で読み上げるような、読み上げデータとして構築される（ステップＳ１００８）。

次に、添付ファイルがあると（ステップＳ１００９）、各コンテンツ情報パートの解析が行われ（ステップＳ１０１０）、添付ファイルのそれぞれのパートが抽出される（ステップＳ１０１１）。そして、必要に応じてデコード処理が行われる（ステップＳ１１０２）。この際、図５および図７の表示状態にあるメッセージに関しては、既にデコード処理が完了しているために、デコード処理は省略される。次に、デコードされた各添付ファイルのファイル名が抽出され（ステップＳ１１０３）、抽出された添付ファイルに関する情報およびファイル名に基づいて図４の参照テーブルから、対応するアプリケーションが検索される（ステップＳ１０１４）。１番目の添付ファイルに関しては、ＭＩＭＥタイプがｉｍａｇｅであり、サブタイプがｊｐｅｇで、かつファイル名の拡張子が.jpegであることから、対応アプリケーションがフォトビューワであり、アクションが表示可能であるという結果が得られる。同様に、２番目の添付ファイルに関しては、ＭＩＭＥタイプがｖｉｄｅｏであり、サブタイプがｍｐｅｇで、かつファイル名の拡張子が.mpegであることから、対応アプリケーションがメディアプレーヤであり、アクションが視聴可能であるという結果が得られる。

次に、添付ファイルのパートに関する読み上げデータが構築される（ステップＳ１０１５）。ここでは、最初の添付ファイルに関しては、コンテンツ情報パートの情報から、「添付ファイル１は、画像ファイルで、」が、次にデコードされた結果のファイル名から、「名前は、サンプル１.jpegです。」が、そして、対応アプリケーションの検索の結果から、「このファイルはフォトビューワで表示可能です。」という読み上げデータが構築される。また、２番目の添付ファイルに関しては、同様に、「添付ファイル２は、動画ファイルで、」、「名前は、サンプル２.mpegです。」、「このファイルはメディアプレーヤで視聴可能です。」からなる読み上げデータが構築される。

次に、上述の構築された読み上げデータは音声合成エンジン６１５へ転送され（ステップＳ１０１６）、音声合成エンジン６１５により読み上げデータの読み上げが行われる。このとき、音声合成エンジン６１５に送られる読み上げデータは、複数の読み上げデータパートからなるデータ群であり、実際には、１つのメッセージにおいて送られた読み上げデータは、パート毎に識別され、順次、スピーカ８０５から音声として出力される。また、音声の出力は、スピーカ８０５の代わりに、図１に示すヘッドフォン５０６から行うようにしてもよい。音声を他人に聞かれたくない場合には、ヘッドフォン５０６が有効である。また、このときに、リモコン装置５０５により、操作ボタン群５０３と同様の操作が可能である。

メッセージに対する読み上げ動作が終了し、次の受信メッセージの選択が行われると（ステップＳ１０１７）、次の受信メッセージのメッセージコンテンツの読み込みが行われる（ステップＳ１００３）。また、次の受信メッセージが選択されない場合、本処理は終了する。

また、読み上げのための読み上げデータについては、上述したように、メッセージのヘッダパート、本文パート、および存在する添付ファイルの数に対応する添付ファイルパートのそれぞれに分割して読み上げが行われる。このため、ユーザの便宜を考慮して、図１０〜図１２に示すように、読み上げ最中にキー操作を行うことによって、読み上げられているメッセージやパートの聞き直しや、読み飛ばし操作が可能である。

すなわち、読み上げが行われている最中に、操作ボタン群５０３、リモコン装置５０５を用いたキー操作により、現在読み上げられている読み上げデータの位置、すなわち聞き直しや読み飛ばしのために、カレントのポイント位置を移動することによって、読み上げるメッセージの移動やパートの移動が行われる。これにより、現在読み上げ中のデータがキャンセルされ、移動後の位置の読み上げデータの再セットが行われ、再セットされた読み上げデータが音声合成エンジン６１５に転送される。

例えば、あるメッセージの本文パートが読み上げられている最中に、パートの読み飛ばし操作が行われると、当該メッセージに添付ファイルが存在すれば、添付ファイルのパートの読み上げが開始される。また、同様に、本文パートの読み上げが行われている最中に、聞き直しのために、前のパートに移動するキー操作が１回行われた際には、本文パートの先頭から再び読み上げが開始され、前のパートに移動するキー操作が２回連続して行われた際には、当該メッセ−ジのヘッダパートの読み上げが開始されることになる。

このような動作は、メッセージ単位に読み飛ばしを行うべく、後のメッセージに移動する操作や、メッセージ単位に聞き直しを行うべく、前のメッセージに移動する操作を行う際にも、同様の動作が行われる。

以上より、本実施の形態によれば、音声合成エンジン６１５を用いて、受信した電子メールのメッセージを読み上げる際に、添付ファイルの情報については、添付ファイルの属性や種類の情報に加えて、添付ファイルを予め搭載されているアプリケーションで処理可能であるか否かの情報を、音声出力により、ユーザに提供することが可能になり、利便性を大きく向上させることができる。

（第２の実施の形態）
次に、本発明の実施の形態について図１４〜図１７を参照しながら説明する。図１４および図１５は本発明の第２の実施の形態に係る携帯端末装置の読み上げモードの動作の手順を示すフローチャート、図１６は読み上げパート実行スレッドの動作の手順を示すフローチャート、図１７は音声ファイルが添付された電子メールの読み上げデータの一例を示す図である。

本実施の形態は、上記第１の実施の形態と同じ構成を有し、その説明は省略するとともに、本実施の形態の説明には、同一の符号が用いられる。

上記第１の実施の形態においては、添付ファイルに音楽データなどの音声データが含まれている場合でも、読み上げモードにより、添付ファイルに関しては、その種別または形式、名称、対応アプリケーションなどの情報を読み上げることができるが、音楽データそのものを再生することはできない。これに対し、本実施の形態においては、メッセージデータ内のコンテンツ情報パートから、添付ファイルが予め搭載されているアプリケーションで処理可能な音声ファイルであると解析された場合、この添付ファイルを処理可能なアプリケーションに対して、添付ファイルの再生指示を行うためのスクリプトを発生し、このスクリプトを、他の読み上げデータの各パート部分と同様に音声合成エンジン６１５転送する。音声合成エンジン６１５においては、受け取ったスクリプトの内容に従って、対応するアプリケーションの起動が行われる。これにより、音声データの添付ファイルを再生することが可能となる。

本実施の形態においては、読み上げモードが起動されると、図１４および図１５に示すフローチャートに従って手順が実行される。ここで、ステップＳ１３０１〜ステップＳ１３１９のうち、ステップＳ１３１６とステップＳ１３１７とが上記第１の実施の形態に対して異なり、この異なるステップについて説明する。

具体的には、図１５に示すように、読み上げモードにおいて、添付ファイルの読み上げデータの構築（ステップＳ１３１５）が行われた後、メインＣＰＵ６０７は、抽出された添付ファイルに関する情報に基づいて、添付ファイルが本携帯端末装置で処理可能な音声データファイルであるか否かの判定を行う（ステップＳ１３１６）。ここで、添付ファイルが本携帯端末装置で処理可能な音声データファイルである場合、メインＣＰＵ６０７は、添付ファイルの音声データを再生可能なアプリケーションを用いて起動させるためのスクリプトを構築する（ステップＳ１３１７）。そして、メインＣＰＵ６０７は、次の添付ファイルがなければ（ステップＳ１３０９）、上記スクリプト情報を含む読み上げデータを音声合成エンジン６１５へ転送する（ステップＳ１３１８）。

次に、メッセージの各パートに分割された読み上げデータを逐次、音声合成エンジン６１５に入力する読み上げパート実行スレッドについて図１６を参照しながら説明する。

読み上げパート実行スレッドにおいては、図１６に示すように、メインＣＰＵ６０７は、音声合成エンジン６１５に転送された読み上げデータを受け取り（ステップＳ１４０１）、受け取ったデータがアプリケーション起動のためのスクリプトであるか否かを判定する（ステップＳ１４０２）。受け取ったデータが上記スクリプトでない場合、メインＣＰＵ６０７は、受け取ったデータ読み上げデータを音声合成エンジン６１５に入力し（ステップＳ１４０３）、音声合成エンジン６１５を起動する（ステップＳ１４０４）。そして、メインＣＰＵ６０７は、音声合成エンジン６１５による読み上げデータの再生を制御する（ステップＳ１４０５）。音声合成エンジン６１５は、読み上げデータを音声に変換して出力する。そして、メインＣＰＵ６０７は、出力終了メッセージを関係モジュールまたはブロックに出力し（ステップＳ１４０６）、本処理を終了する。

上記ステップ１４０２において受け取った読み上げデータがアプリケーション起動のためのスクリプトであると判定された場合、メインＣＰＵ６０７は、スクリプトの解析を行い（ステップＳ１４０７）、対応するアプリケーションを起動する（ステップＳ１４０８）。この際、対応するアプリケーションに対して、読み込まれるデータファイルの指定と、このアプリケーションが行うべき動作すなわち再生動作とが指示される。次いで、メインＣＰＵ６０７は、対応するアプリケーションによる読み上げデータの再生を制御する（ステップＳ１４０９）。そして、メインＣＰＵ６０７は、出力終了メッセージを関係モジュールまたはブロックに出力し（ステップＳ１４０６）、本処理を終了する。

次に、音声ファイルが添付された電子メールを読み上げる場合の例について図１７を参照しながら説明する。

音声ファイルが添付された電子メールを読み上げる場合、例えば図１７に示すような読み上げデータが生成される。この読み上げデータは、メッセージのヘッダパートとして読み上げられるデータ１５０１、本文パートとして読み上げられるデータ１５０７、添付ファイル情報パートとして読み上げられるデータ１５０９〜１５１１、および、添付ファイルが音声データファイルであるために追加された、アプリケーションに対して再生指示を行うためのスクリプト情報１５１３とを含む。ここで、スクリプト情報１５１３は、「サンプル１.wav」という名称のファイルを、「サウンドプレーヤ」アプリケーションにおいて、「ｐｌａｙ」を実行することを示すものである。このスクリプトに関しては、実際に使用されるシステムに応じて様々な形態を実現可能であるが、本実施の形態では、読み上げデータと同様の形式でデータ転送することによって、添付ファイル情報の読み上げパートの次に、音声データのパートがあたかも追加されたかの如く、動作することが可能となる。

このような構成により、ユーザは、音声ファイルからなる添付ファイルに関しては、特別な操作を行うことなく、上記添付ファイルの内容を確認する事が可能となり、ユーザの利便性を大きく向上させることができる。また、読み上げデータの代わりにアプリ起動のためのスクリプトを付加することによって、添付ファイルすなわち音声ファイルの出力を、あたかも読み上げパートの一つとして取り扱うことが可能となり、操作性を向上させることができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態について図１８〜図２１を参照しながら説明する。図１８および図１９は本発明の第３の実施の形態に係る携帯端末装置の読み上げモードの動作の手順を示すフローチャート、図２０は図１８のステップ１６１８で転送された複数のパートデータを処理する読み上げデータ処理の手順を示すフローチャート、図２１は画像ファイルが添付された電子メールの読み上げデータの一例を示す図である。

本実施の形態は、上記第１の実施の形態と同じ構成を有し、その説明は省略するとともに、本実施の形態の説明には、同一の符号が用いられる。

上記第１および第２の実施の形態においては、受信した電子メールのメッセージの読み上げ動作を行う際、音声データファイル以外（例えば画像ファイル）の添付ファイルに関しては、その添付ファイルに関する情報のみが読み上げられるが、音声データファイル以外（例えば動画ファイル）の添付ファイルが予め搭載されているアプリケーションにより処理可能なものであっても、この添付ファイルのデータを再生することができない。すなわち、予め搭載しているアプリケーションにより処理可能な添付ファイル（音声データファイル以外のデータファイル）であっても、この添付ファイルの内容を確認するためには、読み上げモードを一旦解除し、添付ファイルのアイコンが表示されているメール操作画面から、添付ファイルに対応するアプリケーションの起動を指示するか、またはメールアプリケーションプログラムを中断し、対応するアプリケーションを起動する必要がある。

これに対し、本実施の形態においては、読み上げモード中に、添付ファイルの情報に関する読み上げデータを構築する際に、処理可能な添付ファイルに関しては、その添付ファイルの情報の読み上げデータが構築されるとともに、この添付ファイルに対応するアプリケーションを起動するか否かを問い合わせる旨の読み上げデータが構築され、この読み上げデータによる問い合わせに対応するユーザのキー操作により、上記添付ファイルに対応するアプリケーションの起動が指示された場合、対応するアプリケーションが起動される。これにより、音声データファイル以外（例えば画像ファイル）の添付ファイルに対応するアプリケーションの起動を実現することが可能である。

本実施の形態において、読み上げモードは、図１９および図２０に示すフローチャートに従って実行される。ここで、ステップＳ１６０１〜ステップＳ１６１９のうち、ステップＳ１６１６とステップＳ１６１７とが上記第１の実施の形態に対して異なり、この異なるステップについて説明する。

具体的には、図１９に示すように、添付ファイルの読み上げデータの構築（ステップＳ１６１５）が行われた後、メインＣＰＵ６０７は、選択中のメールメッセージの添付ファイルが予め搭載されているアプリケーションにより処理可能なものであるか否かを判定する（ステップＳ１６１６）。ここで、選択中のメールメッセージの添付ファイルが予め搭載されているアプリケーションにより処理可能なものである場合、メインＣＰＵ６０７は、添付ファイルに対応するアプリケーションの起動を行うか否かをユーザに対して問い合わせる旨の読み上げデータを構築し、添付ファイルに関する情報の読み上げデータのパートに付加する（ステップＳ１６１７）。そして、メインＣＰＵ６０７は、図１８に示すように、次の添付ファイルがなければ（ステップＳ１６０９）、１つのメッセージに対応する読み上げデータの各パートを音声合成エンジン６１５に転送する（ステップＳ１６１８）。

次に、上記ステップ１６１８において転送された複数のパートデータを処理する読み上げデータ処理について図２０を参照しながら説明する。

この読み上げデータ処理においては、図２０に示すように、メインＣＰＵ６０７が、まず、複数のパートデータを含む読み上げデータパート群を受け取り（ステップＳ１８０１）、読み上げパートデータ群をパート毎に分割する（ステップＳ１８０２）。そして、メインＣＰＵ６０７は、分割された読み上げデータパートの中から１つの読み上げデータパート、ここでは先頭の読み上げデータパートを読み込む（ステップＳ１８０３）。

次いで、メインＣＰＵ６０７は、音声合成エンジン６１５により実際に読み込まれた読み上げデータパートを読み上げるように、読み上げパート実行スレッドを制御する（ステップＳ１８０４）。そして、メインＣＰＵ６０７は、読み上げられたデータパート中にアプリケーション起動の問い合わせが含まれているか否かを判定する（ステップＳ１８０５）。ここで、アプリケーション起動の問い合わせが含まれていない場合、メインＣＰＵ６０７は、上記ステップＳ１８０３で読み込まれた１つの読み上げデータパートが最終パートであるか否かを判定する（ステップＳ１８１０）。読み込まれた１つの読み上げデータパートが最終パートでなければ、メインＣＰＵ６０７は、上記ステップＳ１８０３に戻り、次の読み上げデータパートの読み込みを行う。これに対し、読み込まれた１つの読み上げデータパートが最終パートであれば、メインＣＰＵ６０７は、本処理を終了する。

上記ステップＳ１８０５においてアプリケーション起動の問い合わせが含まれていると判定された場合、メインＣＰＵ６０７は、ユーザによるＰｌａｙキーの操作を検出するための検出処理を行う（ステップＳ１８０６）。そして、メインＣＰＵ６０７は、上記検出処理の検出結果に基づいて対応するアプリケーションの起動が指示されたか否かを判定する（ステップＳ１８０７）。ここで、上記ユーザにより操作されるＰｌａｙキーとは、対応するアプリケーションの起動に対応付けられているキーであり、このＰｌａｙキーの操作が検出されると、メインＣＰＵ６０７は、対応するアプリケーションの起動が指示されたと判定し、読み上げデータパートから、添付ファイルに関する情報を解析し（ステップＳ１８０８）、添付ファイルを処理するアプリケーションの起動を行う（ステップＳ１８０９）。そして、メインＣＰＵ６０７は、上記ステップＳ１８１０へ進む。

上記ステップＳ１８０７において上記検出処理の検出結果に基づいて対応するアプリケーションの起動が指示されていないと判定された場合、メインＣＰＵ６０７は、上記ステップＳ１８１０へ進む。

次に、画像ファイルが添付された電子メールを読み上げる場合の例について図２１を参照しながら説明する。

画像ファイルが添付された電子メールを読み上げる場合、例えば図２１に示すような読み上げデータが生成される。この読み上げデータは、メッセージのヘッダパートとして読み上げられるデータ１７０１、本文パートとして読み上げられるデータ１７０７、添付ファイル情報パートとして読み上げられるデータ１７０９〜１７１１、および、添付ファイルが画像ファイルであるために追加された、対応するアプリケーションの起動を問い合わせるために読み上げられるデータ１７１２とを含む。ここで、読み上げデータ１７１２は、例えば「フォトビューワを起動しますか？ 起動する場合はｐｌａｙボタンを押して下さい」というものである。

このように、本実施の形態によれば、読み上げ動作中に、音声データファイル以外（例えば画像ファイル）の添付ファイルに対応するアプリケーションの起動を、音声により問い合わせるので、音声データファイル以外（例えば画像ファイル）の添付ファイルに対応するアプリケーションの起動を実現することが可能になり、音声データファイル以外（例えば画像ファイル）の添付ファイルを処理可能なアプリケーションの起動のための操作を大幅に簡略化することができる。

上記実施形態では、添付ファイルを予め搭載されているアプリケーションで処理可能であるか否かの情報を音声出力する例をあげて説明したが、本発明はそれに限定されるものではなく、表示画面に表示するなどして出力するように構成してもよい。

なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることはいうまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

本発明の第１の実施の形態に係る携帯端末装置の外観構成を示す図である。 図１の携帯端末装置の内部構成を示すブロック図である。 図２のフラッシュＲＯＭに格納されているメールアプリケーションプログラムのモジュール構成を示す図である。 添付ファイルの種類と利用可否情報の参照テーブルを示す図である。 メールアプリケーションプログラムによるメール操作画面の一例を示す図である。 メールアプリケーションプログラムによる受信箱に格納されているメッセージのリスト表示画面の一例を示す図である。 図５のメール操作画面においてメッセージの添付ファイルに関する情報を表示している状態を示す図である。 図３のメールアプリケーションプログラムによる読み上げモードの動作の手順を示すフローチャートである。 図３のメールアプリケーションプログラムによる読み上げモードの動作の手順を示すフローチャートである。 図３のメールアプリケーションプログラムの読み上げモードによる読み上げ最中の読み上げカレントポイントの変更を行うためのカレントポイント移動スレッドの動作の手順を示すフローチャートである。 図３のメールアプリケーションプログラムの読み上げモードによる読み上げ最中の読み上げカレントポイントの変更を行うためのカレントポイント移動スレッドの動作の手順を示すフローチャートである。 図３のメールアプリケーションプログラムの読み上げモードによる読み上げ最中の読み上げカレントポイントの変更を行うためのカレントポイント移動スレッドの動作の手順を示すフローチャートである。 図１の携帯端末装置において図２２に示す添付ファイル付電子メールのメッセージを読み上げる際に作成された読み上げデータの一例を示す図である。 本発明の第２の実施の形態に係る携帯端末装置の読み上げモードの動作の手順を示すフローチャートである。 本発明の第２の実施の形態に係る携帯端末装置の読み上げモードの動作の手順を示すフローチャートである。 読み上げパート実行スレッドの動作の手順を示すフローチャートである。 音声ファイルが添付された電子メールの読み上げデータの一例を示す図である。 本発明の第３の実施の形態に係る携帯端末装置の読み上げモードの動作の手順を示すフローチャートである。 本発明の第３の実施の形態に係る携帯端末装置の読み上げモードの動作の手順を示すフローチャートである。 図１８のステップ１６１８で転送された複数のパートデータを処理する読み上げデータ処理の手順を示すフローチャートである。 画像ファイルが添付された電子メールの読み上げデータの一例を示す図である。 添付ファイル付電子メールの一例を示す図である。 従来の携帯端末装置において図２２に示す添付ファイル付電子メールのメッセージを読み上げる際に作成された読み上げデータの一例を示す図である。

符号の説明

５０１ 本体
５０２ 液晶表示パネル
５０３ 操作ボタン群
５０５ リモコン装置
５０６ ヘッドフォン
６０７ メインＣＰＵ
６０８ ＲＡＭ
６０９ フラッシュＲＯＭ
６１５ 音声合成エンジン
７０１ サーバ通信手段
７０２ メッセージ受信手段
７０３ ヘッダ解析手段
７０４ メッセージ再構築手段
７０５ マルチパート解析手段
７０６ デコード手段
７０７ 対応アプリ参照手段
７０８ 利用可否判定手段
７０９ 読み上げデータ追加手段
７１０ ＧＵＩ手段
７１１ メールボックス管理手段
７１２ メールボックス手段
７１３ メッセージ編集手段
７１４ メッセージ表示手段
７１５ 読み上げデータ作成手段
７１６ メッセージ読み上げ手段
７１７ メッセージ送信手段
７１８ エンコード手段
７１９ ヘッダ構成手段
７２０ メッセージ構築手段
８０５ スピーカ

Claims (9)

1. 少なくとも１つの処理手段と、
   電子メールを受信する受信手段と、
   前記受信手段により受信した電子メールを音声に変換して読み上げる読み上げ手段と、
   前記受信した電子メールに添付ファイルが含まれる場合、前記処理手段のうち、前記添付ファイルを処理可能な処理手段があるか否かを判定する判定手段と、
   前記判定手段の判定結果を出力する出力手段と
   を備えることを特徴とする携帯端末装置。
2. 前記出力手段は、更に前記受信した電子メールの添付ファイルに関する情報を出力することを特徴とする請求項１記載の携帯端末装置。
3. 前記処理手段毎に処理可能なファイルの種別を保持する保持手段を備え、
   前記判定手段は、前記保持手段に保持されている前記処理手段毎に処理可能なファイルの種別と前記受信した電子メールの添付ファイルの種別とに基づいて前記処理手段のうち、前記添付ファイルを処理可能な処理手段があるか否かを判定することを特徴とする請求項１記載の携帯端末装置。
4. 前記判定手段により前記受信した電子メールの添付ファイルを処理可能な処理手段があると判定されたとき、該添付ファイルを処理可能な処理手段を起動する起動手段を備えることを特徴とする請求項１記載の携帯端末装置。
5. 前記判定手段により前記受信した電子メールの添付ファイルを処理可能な処理手段があると判定されたとき、該添付ファイルを処理可能な処理手段の起動をユーザに対して指示するためのメッセージを読み上げる起動指示手段と、
   前記読み上げられたメッセージに応答してユーザにより前記添付ファイルを処理可能な処理手段を起動するための操作が行われると、前記添付ファイルを処理可能な処理手段を起動する起動手段と
   を備えることを特徴とする請求項１記載の携帯端末装置。
6. 前記判定手段により前記受信した電子メールの添付ファイルを処理可能な処理手段があると判定されたときの判定結果は、前記添付ファイルを処理可能な処理手段の名称と該添付ファイルの名称とを少なくとも含み、
   前記出力手段は、前記判定結果として、前記添付ファイルを処理可能な処理手段の名称と該添付ファイルの名称とを少なくとも出力することを特徴とする請求項１記載の携帯端末装置。
7. 少なくとも１つの処理手段および電子メールを受信する受信手段を備える携帯端末装置の電子メール読み上げ方法であって、
   前記受信した電子メールに添付ファイルが含まれる場合、前記処理手段のうち、前記添付ファイルを処理可能な処理手段があるか否かを判定する判定工程と、
   前記受信した電子メールを音声に変換して読み上げるとともに、前記判定工程の判定結果を音声に変換して読み上げる読み上げ工程と
   を有することを特徴とする電子メール読み上げ方法。
8. 少なくとも１つの処理手段および電子メールを受信する受信手段を備える携帯端末装置上で電子メール読み上げ方法を実施するためのプログラムであって、
   前記受信した電子メールに添付ファイルが含まれる場合、前記処理手段のうち、前記添付ファイルを処理可能な処理手段があるか否かを判定する判定モジュールと、
   前記受信した電子メールの本文を音声に変換して読み上げるとともに、前記判定モジュールの判定結果を音声に変換して読み上げる読み上げモジュールと
   を有することを特徴とするプログラム。
9. 請求項８記載のプログラムをコンピュータ読み取り可能に格納したことを特徴とする記憶媒体。

Images