JP2011248508A - 通信端末およびメール読み上げ方法 - Google Patents

Abstract

【課題】電子メールに添付された画像データに写っている内容を音声で読み上げることができる通信端末およびメール読み上げ方法を提供すること。
【解決手段】通信端末１０は、画像データが添付された電子メールを受信する通信部２６と、通信部２６によって受信された電子メールに添付された画像データを解析して、当該画像データに含まれるオブジェクトを音声で読み上げるための画像読み上げデータ２４ｆを作成する読み上げデータ作成部２２ａと、読み上げデータ作成部２２ａによって作成された画像読み上げデータ２４ｆを音声で読み上げる音声読み上げ部２２ｂと、を備える。
【選択図】図１

Description

本発明は、通信端末およびメール読み上げ方法に関する。

弱視ユーザの補助等を目的として、受信したメールやＷＥＢページ等に含まれるテキストを音声で読み上げる機能を有する通信端末が知られている。また、特許文献１では、データ放送で受信した画像データを文字パターンと照合し、画像データに含まれる文字を抽出して読み上げる技術が提案されている。

特開２００６−３３７４１号公報

電子メールには、テキストである本文に加えて、画像データが添付されることがある。電子メールに添付される画像データは、多くの場合において、本文の内容と関連する人物や風景を撮影したものであり、電子メールの内容を十分に理解するために不可欠なものである。しかしながら、上述した従来技術では、電子メールの本文を読み上げることはできても、添付された画像データに写っている人物や風景について読み上げを行うことはできなかった。

本発明は、上記に鑑みてなされたものであって、電子メールに添付された画像データに写っている内容を音声で読み上げることができる通信端末およびメール読み上げ方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、通信端末であって、画像データが添付された電子メールを受信する通信部と、前記通信部によって受信された電子メールに添付された画像データを解析して、当該画像データに含まれるオブジェクトを音声で読み上げるための画像読み上げデータを作成するデータ作成部と、前記データ作成部によって作成された前記画像読み上げデータを音声で読み上げる音声読み上げ部と、を備えることを特徴とする。

また、前記データ作成部は、前記通信部によって受信された電子メールの本文を前記音声読み上げ部が読み上げている間に、当該電子メールに添付された画像データを解析して前記画像読み上げデータを作成し、前記音声読み上げ部は、前記本文の読み上げが完了した後に、前記データ作成部によって作成された前記画像読み上げデータを読み上げることが好ましい。

また、前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析して、当該画像データに含まれるオブジェクトの特徴データを抽出し、抽出された特徴データを用いてサーバに問い合わせを行うことにより、前記オブジェクトの種別または名前を特定し、特定した前記種別または名前に基づき前記画像読み上げデータを作成することが好ましい。

また、前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析して抽出された複数のオブジェクトの重要度を、それぞれのオブジェクトの種別、位置、範囲の少なくも１つに関する判定基準に基づいて判定し、重要度の高いオブジェクトから先に読み上げられるように前記画像読み上げデータを作成することが好ましい。

また、前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析して抽出されたオブジェクトの種別または名前が当該電子メールの本文または件名に含まれるか否かを、オブジェクトの重要度を判定するための判定基準としてさらに用いることが好ましい。

また、前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析することによってオブジェクトの１つとして抽出された人物の電子メールアドレスが当該電子メールの送信元アドレスと一致するか否かを、当該人物に対応するオブジェクトの重要度を判定するための判定基準としてさらに用いることが好ましい。

また、前記データ作成部は、前記通信部によって受信された電子メールに複数の画像データが添付されている場合に、種別または名前が同一のオブジェクトが当該電子メールに添付された他の画像データから抽出されたか否かを、オブジェクトの重要度を判定するための判定基準としてさらに用いることが好ましい。

また、前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析して抽出された複数のオブジェクトを、種別または名前と、重要度とに基づいてグループ分けし、同一のグループに属するオブジェクトが一つの文章または一連の文章として読み上げられるように前記画像読み上げデータを作成することが好ましい。

また、前記データ作成部は、前記通信部によって受信された電子メールに複数の画像データが添付されている場合に、当該複数の画像データの対応関係の説明を含む前記画像読み上げデータを作成することが好ましい。

また、上述した課題を解決し、目的を達成するために、本発明は、通信端末であって、外部機器から画像データを受信する通信部と、前記通信部によって受信された画像データを解析して、当該画像データに含まれるオブジェクトを音声で読み上げるための画像読み上げデータを作成するデータ作成部と、前記データ作成部によって作成された前記画像読み上げデータを音声で読み上げる音声読み上げ部と、を備えることを特徴とする。

また、上述した課題を解決し、目的を達成するために、本発明は、電子メールの受信機能を有する通信端末によって実行されるメール読み上げ方法であって、前記通信端末が、画像データが添付された電子メールを受信する受信ステップと、前記通信端末が、前記受信ステップにおいて受信された電子メールに添付された画像データを解析して、当該画像データに含まれる内容を音声で読み上げるための画像読み上げデータを作成するデータ作成ステップと、前記通信端末が、前記データ作成ステップにおいて作成された前記画像読み上げデータを音声で読み上げる音声読み上げステップと、を含むことを特徴とする。

本発明に係る通信端末およびメール読み上げ方法は、電子メールに添付された画像データに写っている内容を音声で読み上げることができるという効果を奏する。

通信端末の機能の概略構成を示すブロック図である。 画像データを含む電子メールの表示例を示す図である。 アドレス帳データの一例を示す図である。 重要度判定データの一例を示す図である。 解析データの一例を示す図である。 画像読み上げデータの一例を示す図である。 画像データが添付されている電子メールの読み上げ処理の流れを示すシーケンス図である。 画像読み上げデータ作成処理の全体的な流れを示すフロー図である。 人物解析処理の処理手順を示すフロー図である。 オブジェクト解析処理の処理手順を示すフロー図である。 重要度算出処理の処理手順を示すフロー図である。 グループ分け処理の処理手順を示すフロー図である。 データ出力処理の処理手順を示すフロー図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、通信端末の一例として、携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではない。本発明は、例えば、ＰＨＳ（Personal Handy-phone System）、パソコン、携帯情報端末等に対しても適用できる。

まず、通信端末１０の機能の概略構成を説明する。図１は、通信端末１０の機能の概略構成を示すブロック図である。通信端末１０は、無線通信機能と、電子メールの音声読み上げ機能とを備えた携帯電話機である。図１に示すように、通信端末１０は、制御部２２と、記憶部２４と、通信部２６と、操作部２８と、音声処理部３０と、表示部３２と、を有する。

制御部２２は、通信端末１０の全体的な動作を統括的に制御する処理部、例えばＣＰＵ（Central Processing Unit）である。すなわち、通信端末１０の各種の処理が、操作部２８の操作や通信端末１０の記憶部２４に保存されるソフトウェアに応じて適切な手順で実行されるように、通信部２６、表示部３２等の動作を制御する。制御部２２は、記憶部２４に保存されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、制御部２２は、複数のプログラム（アプリケーション、ソフトウェア）を並列で実行することができる。

制御部２２は、各種処理の１つとして、電子メールの読み上げ処理を実行する。制御部２２は、電子メールの読み上げ処理を実現するための機能部として、読み上げデータ作成部２２ａと、音声読み上げ部２２ｂと、を有する。読み上げデータ作成部２２ａと音声読み上げ部２２ｂは、制御部２２が所定のプログラムを実行することによって実現される。

読み上げデータ作成部２２ａは、電子メールに添付されている画像データを解析して、画像データに含まれるオブジェクトを読み上げるための画像読み上げデータを作成する。ここでいうオブジェクトとは、例えば、人物、動物、植物、建物、機械、山等である。

音声読み上げ部２２ｂは、電子メールの本文と、読み上げデータ作成部２２ａによって作成された画像読み上げデータとを音声で読み上げる。このように、通信端末１０は、電子メールの本文だけでなく、電子メールに添付された画像データに含まれるオブジェクトの読み上げを行う。なお、音声読み上げ部２２ｂによる音声読み上げは、いずれの技術を用いて実現されてもよい。

記憶部２４は、各種情報を記憶する記憶装置であり、例えば、フラッシュメモリ等の半導体に情報を記憶させる。記憶部２４には、制御部２２での処理に利用されるアプリケーションのプログラムやデータが記憶されている。具体的には、記憶部２４には、アプリケーションのプログラムとして、読み上げデータ作成部２２ａと音声読み上げ部２２ｂを実現させるためのメール読み上げプログラム２４ａ等が記憶される。なお、メール読み上げプログラム２４ａは、読み上げデータ作成部２２ａを実現させるためのプログラムと、音声読み上げ部２２ｂを実現させるためのプログラムのように、複数のプログラムに分割されていてもよい。

また、記憶部２４には、データとして、電子メール２４ｂ、アドレス帳データ２４ｃ、重要度判定データ２４ｄ、解析データ２４ｅ、画像読み上げデータ２４ｆ等が記憶される。

電子メール２４ｂは、通信端末１０が受信した電子メールである。電子メール２４ｂは、件名や送信元アドレス等が含まれるヘッダ部と、本文と以外に、１ないし複数の画像データが添付されていることがある。画像データが添付されている電子メール２４ｂの表示例を図２に示す。図２に示す例では、表示部３２の上部に件名Ｓ１と送信元アドレスＤ１が表示され、その下に本文Ｔ１、画像データＰ１、本文Ｔ２、画像データＰ２が表示されている。

図２で表示対象となっている電子メール２４ｂは、ＨＴＭＬ形式でレイアウトが定義されており、通信端末１０は、その定義に従って電子メールの本文と、電子メールに添付された画像データとを表示している。なお、画像データが添付されている電子メールは、必ずしも、ＨＴＭＬ形式等でレイアウトが定義されている必要はなく、レイアウトが定義されていない電子メールは、本文の下に画像データを１枚ずつ表示するといった既定の形式で表示される。

アドレス帳データ２４ｃは、通信端末１０の利用者の知り合いの電話番号等が予め登録されるデータである。アドレス帳データ２４ｃの一例を図３に示す。図３の例に示すように、アドレス帳データ２４ｃには、利用者の知り合いごとに、名前と、電話番号と、メールアドレスと、顔画像とが登録される。顔画像は、利用者の知り合い本人の顔が撮影された画像データであり、例えば、通話や電子メールの着信時に発信者を示すために表示部３２に表示される。

重要度判定データ２４ｄは、画像データに含まれるオブジェクトの重要度を判定するための情報が予め登録されるデータである。重要度判定データ２４ｄの一例を図４に示す。図４の例に示すように、重要度判定データ２４ｄには、オブジェクトの種別、専有面積、中心からの距離、電子メールとの関連度、他の画像データでの出現頻度等についての複数の判定条件と、判定条件が満たされた場合に加点される重要度の値とが登録される。なお、図４に示した重要度判定データ２４ｄの判定条件と、重要度の値とはいずれも例であり、適宜変更してよい。

解析データ２４ｅは、画像データに含まれるオブジェクトの解析結果等が格納されるデータである。解析データ２４ｅの一例を図５に示す。図５の例に示すように、解析データ２４ｅには、画像データに含まれるオブジェクトごとに、画像番号、オブジェクト番号、輪郭、特徴データ、種別、名前、確度、メールアドレス、表情、性別、年代、重要度、グループ番号等が格納される。

画像番号は、オブジェクトが含まれていた画像データを識別するための番号である。オブジェクト番号は、オブジェクトを識別するための番号である。輪郭は、画像データにおけるオブジェクトの形状、位置および範囲（大きさ）を表す情報である。輪郭は、例えば、ベクトルの集合によってオブジェクトの形状、位置および範囲を示す情報であってもよいし、正方形や円といった形状を示す表現と位置情報と寸法の組み合わせによってオブジェクトの形状、位置および範囲を示す情報であってもよい。特徴データは、画像データにおけるオブジェクトの特徴を示す情報であり、例えば、色や、テクスチャデータである。

種別は、解析によって判定されたオブジェクトの種別名であり、名前は、解析によって判定されたオブジェクトの固有名詞や商品名等である。確度は、種別や名前の判定結果の確からしさを表す値である。メールアドレスは、オブジェクトに対応する人物のメールアドレスであり、オブジェクトが特定の人物であると判定された場合に設定される。表情、性別、年代は、オブジェクトに対応する人物の解析結果を示す情報であり、オブジェクトが人間であると判定された場合に設定される。

重要度は、オブジェクトの重要度を示す値であり、重要度判定データ２４ｄに基づいて算出される。グループ番号は、関連の強さに基づいて行われたグループ分けによってオブジェクトがどのグループへグループ分けされたかを示す番号である。

画像読み上げデータ２４ｆは、音声読み上げ部２２ｂが画像データの内容を読み上げるために用いるデータであり、解析データ２４ｅに基づいて作成される。画像読み上げデータ２４ｆの一例を図６に示す。図６に示す例では、画像データの内容が平文として画像読み上げデータ２４ｆに格納されている。なお、画像読み上げデータ２４ｆの形式は、図６のように平文である必要はなく、音声読み上げ部２２ｂが読み上げを行うために適した形式であればよい。

通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ方式などによる無線信号回線を確立し、基地局との間で電話通信および情報通信を行う。通信部２６で電子メールが受信されると、制御部２２は、受信された電子メールを電子メール２４ｂとして記憶部２４に記憶させる。

操作部２８は、各種キーを備え、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。そして、発生した信号は、ユーザの指示として制御部２２へ入力される。

音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６から出力される音声信号の処理を実行する。表示部３２は、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro-Luminescence）パネルなどで構成された表示パネルを備え、制御部２２から供給される映像データに応じた映像、画像データに応じた画像等を表示パネルに表示させる。

次に、図７を用いて画像データが添付されている電子メールを読み上げる場合の通信端末１０の動作について説明する。図７は、画像データが添付されている電子メールの読み上げ処理の流れを示すシーケンス図である。

図７の例に示すように、画像データが添付されている電子メールを読み上げるための指示が通信端末１０になされると、音声読み上げ部２２ｂが、電子メールの本文の読み上げを開始する。それと並行して、読み上げデータ作成部２２ａが、画像読み上げデータ作成処理を実行する。画像読み上げデータ作成処理では、電子メールに添付されている画像データを解析して画像読み上げデータ２４ｆを作成する処理が行われる。

そして、音声読み上げ部２２ｂは、電子メールの本文の読み上げを完了すると、読み上げデータ作成部２２ａによって作成された画像読み上げデータ２４ｆの読み上げを開始する。このように、電子メールの本文を読み上げている最中に画像読み上げデータ作成処理を実行することにより、画像読み上げデータ作成処理が実行されていることを利用者に意識させることなく、本文と画像データの読み上げを連続して行うことができる。

次に、図７で示した画像読み上げデータ作成処理について図８〜図１３を参照しながら説明する。図８は、画像読み上げデータ作成処理の全体的な流れを示すフロー図である。図８に示すように、画像読み上げデータ作成処理では、まず、読み上げデータ作成部２２ａが、ステップＳ１０として、電子メールに添付されている画像データに含まれるオブジェクトのうち、人物を抽出して解析するための人物解析処理を実行する。続いて、読み上げデータ作成部２２ａは、ステップＳ１１として、電子メールに添付されている画像データに含まれるオブジェクトのうち、人物以外のオブジェクトを抽出して解析するためのオブジェクト解析処理を実行する。

そして、読み上げデータ作成部２２ａは、ステップＳ１２として、画像データから抽出された各オブジェクトの重要度を算出するための重要度算出処理を実行し、ステップＳ１３として、オブジェクトを関連の強さに基づいてグループ分けするためのグループ分け処理を実行する。そして、読み上げデータ作成部２２ａは、ステップＳ１４として、画像読み上げデータ２４ｆを出力するためのデータ出力処理を実行する。

図９は、図８に示した人物解析処理の処理手順を示すフロー図である。図９に示すように、読み上げデータ作成部２２ａは、まず、ステップＳ２０として、電子メールに添付されている画像データに含まれる人物の顔領域を全て抽出する。なお、顔領域の抽出は、いずれの顔検出技術を用いて実現することとしてもよい。

そして、読み上げデータ作成部２２ａは、ステップＳ２１として、抽出した顔領域の中から未選択の顔領域を１つ選択する。未選択の顔領域を選択できた場合（ステップＳ２２，Ｙｅｓ）、読み上げデータ作成部２２ａは、選択した顔領域を対象に、ステップＳ２３として表情の解析を行い、ステップＳ２４として性別の解析を行い、ステップＳ２５として年代の解析を行う。なお、表情、性別および年代の解析は、いずれの画像解析技術を用いて実現することとしてもよい。

そして、読み上げデータ作成部２２ａは、ステップＳ２６として、選択した顔領域を、アドレス帳データ２４ｃの顔画像と照合する。ここで、一定以上の確度でマッチする顔画像がアドレス帳データ２４ｃに登録されていた場合（ステップＳ２７，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ２８として、その顔画像に対応する名前とメールアドレスを、選択した顔領域に対応する人物の個人情報として取得する。

そして、読み上げデータ作成部２２ａは、ステップＳ２９として、選択した顔領域について得た解析結果を、選択した顔領域の輪郭と対応付けて解析データ２４ｅに追加する。

以上の処理により、例えば、図２に示した画像データＰ１に含まれる人物ＯＢ１の顔領域は、ステップＳ２３で、表情が「笑顔」であると解析され、ステップＳ２４で、性別が「男」であると解析され、ステップＳ２５で、年代が「２０代」であると解析される。また、例えば、人物ＯＢ１の顔領域は、ステップＳ２６で、図３に示したアドレス帳の１行目の顔画像と「９０％」の確度でマッチし、ステップＳ２８で、名前として「田中太郎」が取得され、メールアドレスとして「ｔａｒｏｕ＠ｅｘａｍｐｌｅ．ｃｏｍ」が取得される。

この場合、図５に示した解析データ２４ｅの例の１行目のように、解析結果として、種別に「人間」が設定され、名前に「田中太郎」が設定され、確度に「９０％」が設定され、メールアドレスに「ｔａｒｏｕ＠ｅｘａｍｐｌｅ．ｃｏｍ」が設定され、表情に「笑顔」が設定され、性別に「男」が設定され、年代に「２０代」が設定される。なお、該当する顔画像がアドレス帳データ２４ｃに登録されていなかった場合、図５に示した解析データ２４ｅの例の３行目のように、名前とメールアドレスは空欄となり、確度には、ステップＳ２０での顔領域の抽出において当該領域が人物の顔であると判定された確度が設定される。

解析データ２４ｅへ情報を追加した後、読み上げデータ作成部２２ａは、ステップＳ２１以降を再実行する。そして、未選択の顔領域を選択できなくなった場合、すなわち、抽出した全ての顔領域の解析を完了していた場合（ステップＳ２２，Ｎｏ）、読み上げデータ作成部２２ａは、人物解析処理を終了させる。

図１０は、図８に示したオブジェクト解析処理の処理手順を示すフロー図である。図１０に示すように、読み上げデータ作成部２２ａは、まず、ステップＳ４０として、電子メールに添付されている画像データに含まれるオブジェクトの輪郭を全て抽出する。そして、読み上げデータ作成部２２ａは、ステップＳ４１として、抽出した輪郭のうち、人物解析処理で抽出した人物に対応する輪郭を処理対象から除外する。なお、ステップＳ４０におけるオブジェクトの輪郭の抽出は、いずれの画像解析技術を用いて実現することとしてもよい。

そして、読み上げデータ作成部２２ａは、ステップＳ４２として、抽出した輪郭の中から未選択の輪郭を１つ選択する。未選択の輪郭を選択できた場合（ステップＳ４３，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ４４として、選択した輪郭に囲まれた領域の色やテクスチャデータ等の特徴データを取得する。続いて、読み上げデータ作成部２２ａは、ステップＳ４５として、無線通信を介して輪郭と特徴データを所定のサーバへ送信し、輪郭に囲まれた領域に存在するオブジェクトが何であるかを問い合わせる。

ここでの問い合わせ先のサーバは、膨大な数のオブジェクトの種別と、輪郭と、特徴データとを対応付けて蓄積している装置である。このサーバは、名前をもつオブジェクトについては、名前も輪郭等と対応付けて記憶している。

輪郭と特徴データに一定以上の確度でマッチするオブジェクトの情報がサーバにあった場合（ステップＳ４６，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ４７として、種別や名前等のそのオブジェクトの詳細情報と照合の確度とをサーバから取得する。

そして、読み上げデータ作成部２２ａは、ステップＳ４８として、選択した輪郭について得た解析結果を、選択した輪郭と対応付けて解析データ２４ｅに追加する。

以上の処理により、例えば、図２に示した画像データＰ１に含まれるオブジェクトＯＢ４の輪郭に含まれるオブジェクトは、サーバへの問い合わせにより、「９０％」の確度で、種別が「山」で、名前が「富士山」であることが判明する。この場合、図５に示した解析データ２４ｅの例の４行目のように、解析結果として、種別に「山」が設定され、名前に「富士山」が設定され、確度に「９０％」が設定される。

なお、サーバの問い合わせによって名前が特定されなかった場合、図５に示した解析データ２４ｅの例の５行目のように、名前は空欄となる。また、サーバの問い合わせによって種別が特定されなかった場合、種別は「不明」となる。

解析データ２４ｅへ情報を追加した後、読み上げデータ作成部２２ａは、ステップＳ４２以降を再実行する。そして、未選択の領域を選択できなくなった場合、すなわち、処理対象の全ての領域の解析を完了していた場合（ステップＳ４３，Ｎｏ）、読み上げデータ作成部２２ａは、オブジェクト解析処理を終了させる。

図１１は、図８に示した重要度算出処理の処理手順を示すフロー図である。図１１に示すように、読み上げデータ作成部２２ａは、まず、ステップＳ６０として、解析データ２４ｅに登録されているオブジェクトを識別するための変数ｉを１に初期化する。

そして、読み上げデータ作成部２２ａは、ステップＳ６１として、解析データ２４ｅに登録されているｉ番目のオブジェクトを選択する。ｉ番目のオブジェクトを選択できた場合（ステップＳ６２，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ６３として、重要度判定データ２４ｄを参照して、ｉ番目のオブジェクトの種別と名前に応じた重要度の値を取得する。

具体的には、重要度判定データ２４ｄが図４に示した例の通りである場合、読み上げデータ作成部２２ａは、分類が「種別」となっている判定条件のうち、ｉ番目のオブジェクトの種別と名前が条件を満たすものを選択し、選択した判定条件に対応する重要度の値を重要度判定データ２４ｄから取得する。

例えば、図５に示した解析データ２４ｅの例の１行目のオブジェクトのように、ｉ番目のオブジェクトの種別が「人間」で名前が「田中太郎」と特定されている場合、種別と名前に合致する判定条件として、分類が「種別」で条件が「人間（名前が特定されている）」という判定条件が選択され、この判定条件に対応する重要度の値として「１０」が取得される。

また、例えば、図５に示した解析データ２４ｅの例の３行目のオブジェクトのように、ｉ番目のオブジェクトの種別が「人間」で名前が特定されていない場合、種別と名前に合致する判定条件として、分類が「種別」で条件が「人間（名前が特定されていない）」という判定条件が選択され、この判定条件に対応する重要度の値として「４」が取得される。

また、例えば、図５に示した解析データ２４ｅの例の４行目のオブジェクトのように、ｉ番目のオブジェクトの種別が「山」である場合、種別と名前に合致する判定条件として、分類が「種別」で条件が「山」という判定条件が選択され、この判定条件に対応する重要度の値として「４」が取得される。

図４に示した重要度判定データ２４ｄの例のように、種別と名前に応じた重要度の値は、人間のように電子メールの受信者の関心が強いと思われるものほど高く設定することが好ましい。また、人間でも、アドレス帳データ２４ｃに登録されている知人の方が、見知らぬ人間よりも重要度の値が高くなるように設定することが好ましい。このように重要度の値を設定することにより、画像データに含まれるオブジェクトのうち、電子メールの受信者にとって重要なオブジェクトを優先して読み上げることができる。

続いて、読み上げデータ作成部２２ａは、ステップＳ６４として、重要度判定データ２４ｄを参照して、ｉ番目のオブジェクトの専有面積に応じた重要度の値を取得する。

具体的には、重要度判定データ２４ｄが図４に示した例の通りである場合、読み上げデータ作成部２２ａは、分類が「専有面積」となっている判定条件のうち、ｉ番目のオブジェクトの専有面積が条件を満たすものを選択し、選択した判定条件に対応する重要度の値を重要度判定データ２４ｄから取得する。なお、図４に示した重要度判定データ２４ｄの例では、専有面積は、輪郭で囲まれた領域が画像データの全領域に占める割合として算出されることが前提となっているが、専有面積の求め方はこの通りである必要はない。

図４に示した重要度判定データ２４ｄの例のように、専有面積に応じた重要度の値は、専有面積が広いほど高く設定することが好ましい。一般に、撮影者は、写したい対象が大きく写るように撮影を行う。このため、専有面積が大きいオブジェクトほど重要度の値を高く設定することにより、撮影者が意図的に撮影したオブジェクトが優先して読み上げられる可能性を高くすることができる。

続いて、読み上げデータ作成部２２ａは、ステップＳ６５として、重要度判定データ２４ｄを参照して、ｉ番目のオブジェクトの、画像データの中心からの距離に応じた重要度の値を取得する。

具体的には、重要度判定データ２４ｄが図４に示した例の通りである場合、読み上げデータ作成部２２ａは、分類が「中心からの距離」となっている判定条件のうち、ｉ番目のオブジェクトと画像データの中心との距離が条件を満たすものを選択し、選択した判定条件に対応する重要度の値を重要度判定データ２４ｄから取得する。なお、図４に示した重要度判定データ２４ｄの例では、中心からの距離は、画像データの長辺の長さを１とした場合の相対値として算出されることが前提となっているが、中心からの距離の求め方はこの通りである必要はない。

図４に示した重要度判定データ２４ｄの例のように、中心からの距離に応じた重要度の値は、中心からの距離が短いほど高く設定することが好ましい。一般に、撮影者は、写したい対象が中心近くに写るように撮影を行う。このため、画像データの中心からの距離が短いオブジェクトほど重要度の値を高く設定することにより、撮影者が意図的に撮影したオブジェクトが優先して読み上げられる可能性を高くすることができる。

続いて、読み上げデータ作成部２２ａは、ステップＳ６６として、ｉ番目のオブジェクトの種別、名前、メールアドレス等の解析結果を電子メールの件名、本文、送信元メールアドレス等と照合する。そして、読み上げデータ作成部２２ａは、ステップＳ６７として、重要度判定データ２４ｄを参照して、照合結果に応じた重要度の値を、ｉ番目のオブジェクトの電子メールとの関連度に応じた重要度の値として取得する。

具体的には、重要度判定データ２４ｄが図４に示した例の通りである場合、読み上げデータ作成部２２ａは、分類が「電子メールとの関連度」となっている判定条件のうち、ｉ番目のオブジェクトの種別、名前またはメールアドレスが条件を満たすものを選択し、選択した判定条件に対応する重要度の値を重要度判定データ２４ｄから取得する。

なお、ｉ番目のオブジェクトの種別、名前またはメールアドレスが条件を満たす判定条件が複数ある場合、条件が満たされる各判定条件に対応する重要度の値の合計を、電子メールとの関連度に応じた重要度の値として取得してもよいし、条件が満たされる各判定条件に対応する重要度の値の最大値を、電子メールとの関連度に応じた重要度の値として取得してもよい。

例えば、図５に示した解析データ２４ｅの例の４行目のオブジェクトのように、ｉ番目のオブジェクトの種別が「山」で、名前が「富士山」と特定されており、電子メールの件名、送信元アドレスおよび本文が図２に示した通りであったとする。また、条件が満たされる各判定条件に対応する重要度の値の合計を、電子メールとの関連度に応じた重要度の値として取得するものとする。また、名前が条件を満たす判定条件が複数ある場合、種別が条件を満たす判定条件を検索しないものとする。

この場合、「富士山」が件名Ｓ１に含まれるため、「名前が件名に含まれる」という条件が満たされ、この条件が満たされる判定条件に対応する重要度の値として「１０」が取得される。また、「富士山」が本文Ｔ１に含まれるため、「名前が本文に含まれる」という条件が満たされ、この条件が満たされる判定条件に対応する重要度の値として「８」が取得される。この結果、電子メールとの関連度に応じた重要度の値として「１０」と「８」の合計である「１８」が取得される。

一般に、電子メールの送信者は、電子メールに添付した画像データで伝えたいものについて、電子メールの件名や本文で言及する。このため、オブジェクトの種別や名前が電子メールの件名や本文に含まれる場合にオブジェクトの重要度を高く評価することにより、電子メールの送信者が添付した画像データで伝えたいオブジェクトが優先して読み上げられる可能性を高くすることができる。

また、例えば、図５に示した解析データ２４ｅの例の１行目のオブジェクトのように、種別が「人間」で、名前が「田中太郎」、メールアドレスが「ｔａｒｏｕ＠ｅｘａｍｐｌｅ．ｃｏｍ」と特定されており、電子メールの件名、送信元アドレスおよび本文が図２に示した通りであったとする。

この場合、「ｔａｒｏｕ＠ｅｘａｍｐｌｅ．ｃｏｍ」が送信元アドレスＤ１と一致するため、「メールアドレスが送信元アドレスと一致する」という条件が満たされ、この条件が満たされる判定条件に対応する重要度の値として「６」が取得される。この結果、電子メールとの関連度に応じた重要度の値として「６」が取得される。

一般に、電子メールの送信者は、電子メールで自身の様子について伝えたい場合に、自身が写っている画像データを電子メールに添付することが多い。このため、メールアドレスが送信元アドレスと一致するオブジェクトの重要度を高く評価することにより、電子メールの送信者が添付した画像データで伝えたいオブジェクトが優先して読み上げられる可能性を高くすることができる。

続いて、読み上げデータ作成部２２ａは、ステップＳ６８として、重要度判定データ２４ｄを参照して、ｉ番目のオブジェクトの、他の画像データでの出現数に応じた重要度の値を取得する。

具体的には、重要度判定データ２４ｄが図４に示した例の通りである場合、読み上げデータ作成部２２ａは、分類が「他の画像データでの出現数」となっている判定条件のうち、ｉ番目のオブジェクトの他の画像データでの出現数が条件を満たすものを選択し、選択した判定条件に対応する重要度の値を重要度判定データ２４ｄから取得する。なお、図４に示した重要度判定データ２４ｄの例では、他の画像データでの出現数として、他の画像データから抽出され、かつ、名前が同一であるオブジェクトの数を取得することを前提としているが、他の画像データでの出現数として、他の画像データから抽出され、かつ、種別が同一であるオブジェクトの数を取得することとしてもよい。

図４に示した重要度判定データ２４ｄの例のように、他の画像データでの出現数に応じた重要度の値は、出現数が多いほど高く設定することが好ましい。一般に、電子メールの送信者は、電子メールで何かについて伝えたい場合に、伝えたいものが写っている複数の画像データを電子メールに添付することがある。このため、多くの画像データに含まれるオブジェクトの重要度を高く評価することにより、電子メールの送信者が添付した画像データで伝えたいオブジェクトが優先して読み上げられる可能性を高くすることができる。

続いて、読み上げデータ作成部２２ａは、ステップＳ６９として、ｉ番目のオブジェクトについて取得した重要度の値の合計をｉ番目のオブジェクトと対応付けて解析データ２４ｅに記録する。そして、読み上げデータ作成部２２ａは、ステップＳ７０として、変数ｉに１を加算し、ステップＳ６１以降を再実行する。

そして、ｉ番目のオブジェクトを選択できなくなった場合、すなわち、全てのオブジェクトの重要度の算出を完了していた場合（ステップＳ６２，Ｎｏ）、読み上げデータ作成部２２ａは、重要度算出処理を終了させる。なお、上述した重要度の算出方式は一例であり、一部の判定条件が存在していなくてもよいし、他の判定条件が加わっていてもよい。

図１２は、図８に示したグループ分け処理の処理手順を示すフロー図である。図１２に示すように、読み上げデータ作成部２２ａは、まず、ステップＳ８０として、解析データ２４ｅに登録されているオブジェクトを識別するための変数ｉを１に初期化する。

そして、読み上げデータ作成部２２ａは、ステップＳ８１として、解析データ２４ｅに登録されているｉ番目のオブジェクトを選択する。ｉ番目のオブジェクトを選択できた場合（ステップＳ８２，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ８３として、ｉ番目のオブジェクトがグループ分け済みであるか、すなわち、ｉ番目のオブジェクトにグループ番号が設定済みであるかを判定する。ここで、ｉ番目のオブジェクトがグループ分け済みであった場合（ステップＳ８３，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ８９として、変数ｉに１を加算し、ステップＳ８１以降を再実行する。

一方、ｉ番目のオブジェクトがグループ分け済みでなかった場合（ステップＳ８３，Ｎｏ）、読み上げデータ作成部２２ａは、ステップＳ８４として、ｉ番目のオブジェクトの種別が判明しているか否かを判定する。ここで、ｉ番目のオブジェクトの種別が判明していなかった場合（ステップＳ８４，Ｎｏ）、読み上げデータ作成部２２ａは、ステップＳ８９として、変数ｉに１を加算し、ステップＳ８１以降を再実行する。

一方、ｉ番目のオブジェクトの種別が判明していた場合（ステップＳ８４，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ８５として、同一の画像データから抽出されたオブジェクトから、種別が同一で重要度の差が所定範囲内のオブジェクトを選択する。ここで、オブジェクトが１つも選択されなかった場合（ステップＳ８６，Ｎｏ）、読み上げデータ作成部２２ａは、ステップＳ８９として、変数ｉに１を加算し、ステップＳ８１以降を再実行する。

一方、１以上のオブジェクトが選択された場合（ステップＳ８６，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ８７として、新しいグループ番号を発番し、ステップＳ８８として、発番したグループ番号を、ステップＳ８５で選択したオブジェクトと、ｉ番目のオブジェクトとに対応付けて解析データ２４ｅに記録する。そして、読み上げデータ作成部２２ａは、ステップＳ８９として、変数ｉに１を加算し、ステップＳ８１以降を再実行する。

そして、ｉ番目のオブジェクトを選択できなくなった場合、すなわち、全てのオブジェクトのグループ分けを完了していた場合（ステップＳ８２，Ｎｏ）、読み上げデータ作成部２２ａは、グループ分け処理を終了させる。

例えば、図２に示した画像データＰ２に含まれるオブジェクトＯＢ６、ＯＢ７、ＯＢ８およびＯＢ９について考える。オブジェクトＯＢ６、ＯＢ７およびＯＢ８に対応する人物は、家族であるが、オブジェクトＯＢ９に対応する人物は、他人である。なお、ここでは説明を簡単にするため、重要度を画像の中心からの距離のみに基づいて算出するものとする。

この場合、オブジェクトＯＢ６、ＯＢ７、ＯＢ８およびＯＢ９は、いずれも種別が「人間」と判定されるが、オブジェクトＯＢ６、ＯＢ７およびＯＢ８は、画像データの中心からの距離がほぼ同等であるため重要度が同等に評価されるのに対して、オブジェクトＯＢ９は、画像データの中心からの距離が遠いため重要度が低く評価される。このため、オブジェクトＯＢ６、ＯＢ７およびＯＢ８は同一のグループにグループ分けされるが、オブジェクトＯＢ９はグループ分けされない。このように、種別と重要度とに基づいてグループ分けを行うことにより、関連の強いオブジェクトをグループにまとめることができる。

図１３は、図８に示したデータ出力処理の処理手順を示すフロー図である。図１３に示すように、読み上げデータ作成部２２ａは、まず、ステップＳ１００として、電子メールに添付されている画像データを識別するための変数ｊを１に初期化する。そして、読み上げデータ作成部２２ａは、ステップＳ１０１として、変数ｊの値が、電子メールに添付されている画像データの数よりも大きいかを判定する。

変数ｊの値が電子メールに添付されている画像データの数以下の場合（ステップＳ１０１，Ｎｏ）、読み上げデータ作成部２２ａは、ステップＳ１０２として、電子メールに添付されている画像データが複数であるか否かを判定する。そして、電子メールに添付されている画像データが複数であった場合（ステップＳ１０２，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ１０３として、ｊ番目の画像データと他の画像データの対応関係を示す文章を画像読み上げデータ２４ｆに出力する。

画像データと他の画像データの対応関係を示す文章とは、例えば、図６に示した画像読み上げデータ２４ｆの例の文Ｔ３や文Ｔ６のような文章であり、何番目の画像データであるかや、定義されているレイアウトにおいてどの位置に表示されることになっている画像データであるか等を解説するためのものである。このような文章を出力することにより、聞き手は、現在どの画像データの内容が読み上げられているかを把握することができる。

続いて、読み上げデータ作成部２２ａは、ステップＳ１０４として、ｊ番目の画像データから抽出されたオブジェクトの情報を保持するすべての行を解析データ２４ｅから取得する。そして、読み上げデータ作成部２２ａは、ステップＳ１０５として、取得した行を重要度の高い順にソートする。

ソートの完了後、読み上げデータ作成部２２ａは、ステップＳ１０６として、ソートした行の１つを識別するための変数ｋを１に初期化する。そして、読み上げデータ作成部２２ａは、ステップＳ１０７として、ソートした行からｋ番目の行、すなわち、ｋ番目に重要度の値が大きい行を選択する。

ここで、ｋ番目の行を取得できた場合（ステップＳ１０８，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ１０９として、取得した行の重要度の値が予め定められた所定値よりも大きいかを判定する。そして、取得した行の重要度の値が予め定められた所定値よりも大きい場合（ステップＳ１０９，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ１１０として、取得した行の内容を画像読み上げデータ２４ｆへ出力済みであるか否かを判定する。

取得した行の内容を画像読み上げデータ２４ｆへ出力済みでなかった場合（ステップＳ１１０，Ｎｏ）、読み上げデータ作成部２２ａは、ステップＳ１１１として、取得した行にグループ番号が設定されているか否か、すなわち、取得した行に対応するオブジェクトが他のオブジェクトと同じグループに属しているか否かを判定する。

取得した行にグループ番号が設定されている場合（ステップＳ１１１，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ１１２として、ｋ番目の行の内容と、ｋ番目の行と同じグループ番号が設定されている他の行の内容を一文または一連の文で画像読み上げデータ２４ｆへ出力する。取得した行にグループ番号が設定されていない場合（ステップＳ１１１，Ｎｏ）、読み上げデータ作成部２２ａは、ステップＳ１１３として、ｋ番目の行の内容を一文で画像読み上げデータ２４ｆへ出力する。ここで、一連の文とは、「そして」や「さらに」のように、文章の内容が継続していることを示す接続詞によって接続された複数の文章をいう。

画像読み上げデータ２４ｆへの出力は、特定されたオブジェクトの種別や名前に、輪郭から導き出されるオブジェクトの形状、位置および範囲や、特徴データから導き出されるオブジェクトの色や、解析によって得られた人物の表情、性別、年代から導き出される表現等を組み合わせて行われる。画像読み上げデータ２４ｆへの出力について、図２、図５および図６を参照しながらさらに詳しく説明する。

図６に示した「中央には、大きく富士山が写っています」という文Ｔ４は、オブジェクトＯＢ４の解析結果を出力したものである。文Ｔ４は、名前として特定された「富士山」と、輪郭の位置と範囲から導き出される「中央」と「大きく」の語を組み合わせて出力されている。

また、「中央付近には、田中太郎さんと田中花子さんと男の子が笑顔で写っています」という文Ｔ５は、「Ｇ１」というグループ番号のグループにグループ分けされたオブジェクトＯＢ１、ＯＢ２およびＯＢ３の解析結果を出力したものである。文Ｔ５は、名前として特定された「田中太郎」および「田中花子」と、「人間」という種別と「男」という性別と「子供」という年代の組み合わせから導き出される「男の子」という語と、輪郭の位置から導き出される「中央付近」の語と、表情の解析結果である「笑顔」の語とを組み合わせて出力されている。文Ｔ７も同様である。

また、「左の方には、お寺のようなものがやや大きく写っています」という文Ｔ８は、オブジェクトＯＢ１０の解析結果を出力したものである。文Ｔ８は、種別として特定された「寺」と、輪郭の位置と範囲から導き出される「左の方」と「やや大きく」の語を組み合わせて出力されている。

なお、文Ｔ８において、「お寺が」ではなく「お寺のようなものが」となっているのは、ＯＢ１０の確度が「６０％」と比較的低いためである。このように、確度の値がある値よりも低いオブジェクトについては、「のようなもの」のような曖昧な表現とすることにより、聞き手に誤解を与える可能性を低くすることができる。確度が低いオブジェクトや種別を特定できなかったオブジェクトについては、「赤くて丸いもの」の様に、名前や種別ではなく形状や色でオブジェクトを特定して文を出力することとしてもよい。

ステップＳ１１２またはステップＳ１１３での出力を完了した後、読み上げデータ作成部２２ａは、ステップＳ１１４として、変数ｋに１を加算し、ステップＳ１０７以降を再実行する。また、ステップＳ１１０で、取得した行の内容を画像読み上げデータ２４ｆへ出力済みであった場合も（ステップＳ１１０，Ｙｅｓ）、読み上げデータ作成部２２ａは、ステップＳ１１４として、変数ｋに１を加算し、ステップＳ１０７以降を再実行する。

そして、ステップＳ１０８で、ｋ番目の行を取得できなかった場合や（ステップＳ１０８，Ｎｏ）、ステップＳ１０９で、取得した行の重要度の値が予め定められた所定値以下であった場合（ステップＳ１０９，Ｎｏ）、ｊ番目の画像データのオブジェクトの内容の出力は完了したことになるので、読み上げデータ作成部２２ａは、ステップＳ１１５として、変数ｊに１を加算し、ステップＳ１０１以降を再実行する。

そして、変数ｊの値が電子メールに添付されている画像データの数より大きくなった場合、すなわち、全ての画像データのオブジェクトの内容の出力を完了していた場合（ステップＳ１０１，Ｙｅｓ）、読み上げデータ作成部２２ａは、データ出力処理を終了させる。

上述してきたように、本実施例では、電子メールに添付されている画像データに含まれるオブジェクトを解析した結果に基づいて画像読み上げデータ２４ｆを作成し、画像読み上げデータ２４ｆを音声で読み上げることとしたので、電子メールの本文だけでなく、電子メールに添付されている画像データの内容も音声で読み上げることができる。

なお、通信端末１０の構成は、本発明の要旨を逸脱しない範囲で種々に変更することができる。例えば、輪郭の内部のオブジェクトについてさらに詳細に解析して読み上げることとしてもよい。具体的には、ショートケーキの輪郭を抽出した場合、輪郭の内部の輪郭をさらに解析して、イチゴやスポンジを抽出し、読み上げることとしてもよい。

また、楽器のように音を出すオブジェクトや、猫のように鳴き声を出すオブジェクトが抽出された場合、単にオブジェクトの種別等を読み上げるだけでなく、楽器の音や鳴き声を効果音として再生することとしてもよい。また、オブジェクトとして森が抽出された場合に小鳥のさえずる音を再生するというように、抽出されたオブジェクトに対応する音や音楽の再生を音声での読み上げとともに行ってもよい。なお、再生する楽器の音、鳴き声、音楽等は、無線通信を介してダウンロードすることとしてもよい。

また、上述した実施例では、個人を特定するために、抽出した顔領域をアドレス帳データ２４ｃの顔画像と照合することとしたが、顔領域の情報を無線通信を介してサーバへ送信して個人の特定をサーバに依頼することとしてもよい。依頼先のサーバは、会員が自らの顔画像をプロフィール情報として登録するＳＮＳ（Social Network Service）の機能を提供するサーバであってもよく、この場合、照合対象を依頼主の友人として登録されている会員に限定してもよい。

また、上述した実施例では、電子メールの本文を読み上げている最中に画像読み上げデータ２４ｆを作成することとしたが、通信端末１０が電子メールを受信した際や、通信端末１０がアイドル状態にある場合等に、事前に画像読み上げデータ２４ｆを作成しておくこととしてもよい。

また、図２に示した電子メールのように、本文Ｔ１、画像データＰ１、本文Ｔ２、画像データＰ２というように本文と画像データが交互に表示されるようになっている場合には、本文Ｔ１の読み上げ中に画像データＰ１の画像読み上げデータ２４ｆを作成し、画像データＰ１の画像読み上げデータ２４ｆの読み上げと本文Ｔ２の読み上げの最中に画像データＰ２の画像読み上げデータ２４ｆを作成するというように、画像読み上げデータ２４ｆの作成を画像データ毎に行ってもよい。

また、上述した実施例では、電子メールに添付された画像データの内容を読み上げることとしたが、電子メール以外の手段によって受信した画像データの内容を読み上げる場合にも本発明を適用することができる。

以上のように、本発明に係る通信端末およびメール読み上げ方法は、電子メールの読み上げに有用であり、特に、電子メールに添付された画像データの読み上げに適している。

１０ 通信端末
１５ マイク
１６ レシーバ
２２ 制御部
２２ａ 読み上げデータ作成部
２２ｂ 音声読み上げ部
２４ 記憶部
２４ａ メール読み上げプログラム
２４ｂ 電子メール
２４ｃ アドレス帳データ
２４ｄ 重要度判定データ
２４ｅ 解析データ
２４ｆ 画像読み上げデータ
２６ 通信部
２６ａ アンテナ
２８ 操作部
３０ 音声処理部
３２ 表示部

Claims (11)

1. 画像データが添付された電子メールを受信する通信部と、
   前記通信部によって受信された電子メールに添付された画像データを解析して、当該画像データに含まれるオブジェクトを音声で読み上げるための画像読み上げデータを作成するデータ作成部と、
   前記データ作成部によって作成された前記画像読み上げデータを音声で読み上げる音声読み上げ部と、
   を備えることを特徴とする通信端末。
2. 前記データ作成部は、前記通信部によって受信された電子メールの本文を前記音声読み上げ部が読み上げている間に、当該電子メールに添付された画像データを解析して前記画像読み上げデータを作成し、
   前記音声読み上げ部は、前記本文の読み上げが完了した後に、前記データ作成部によって作成された前記画像読み上げデータを読み上げることを特徴とする請求項１に記載の通信端末。
3. 前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析して、当該画像データに含まれるオブジェクトの特徴データを抽出し、抽出された特徴データを用いてサーバに問い合わせを行うことにより、前記オブジェクトの種別または名前を特定し、特定した前記種別または名前に基づき前記画像読み上げデータを作成することを特徴とする請求項１または２に記載の通信端末。
4. 前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析して抽出された複数のオブジェクトの重要度を、それぞれのオブジェクトの種別、位置、範囲の少なくも１つに関する判定基準に基づいて判定し、重要度の高いオブジェクトから先に読み上げられるように前記画像読み上げデータを作成することを特徴とする請求項１から３のいずれか１項に記載の通信端末。
5. 前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析して抽出されたオブジェクトの種別または名前が当該電子メールの本文または件名に含まれるか否かを、オブジェクトの重要度を判定するための判定基準としてさらに用いることを特徴とする請求項４に記載の通信端末。
6. 前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析することによってオブジェクトの１つとして抽出された人物の電子メールアドレスが当該電子メールの送信元アドレスと一致するか否かを、当該人物に対応するオブジェクトの重要度を判定するための判定基準としてさらに用いることを特徴とする請求項４または５に記載の通信端末。
7. 前記データ作成部は、前記通信部によって受信された電子メールに複数の画像データが添付されている場合に、種別または名前が同一のオブジェクトが当該電子メールに添付された他の画像データから抽出されたか否かを、オブジェクトの重要度を判定するための判定基準としてさらに用いることを特徴とする請求項４から６のいずれか１項に記載の通信端末。
8. 前記データ作成部は、前記通信部によって受信された電子メールに添付された画像データを解析して抽出された複数のオブジェクトを、種別または名前と、重要度とに基づいてグループ分けし、同一のグループに属するオブジェクトが一つの文章または一連の文章として読み上げられるように前記画像読み上げデータを作成することを特徴とする請求項４から７のいずれか１項に記載の通信端末。
9. 前記データ作成部は、前記通信部によって受信された電子メールに複数の画像データが添付されている場合に、当該複数の画像データの対応関係の説明を含む前記画像読み上げデータを作成することを特徴とする請求項１から８のいずれか１項に記載の通信端末。
10. 外部機器から画像データを受信する通信部と、
    前記通信部によって受信された画像データを解析して、当該画像データに含まれるオブジェクトを音声で読み上げるための画像読み上げデータを作成するデータ作成部と、
    前記データ作成部によって作成された前記画像読み上げデータを音声で読み上げる音声読み上げ部と、
    を備えることを特徴とする通信端末。
11. 電子メールの受信機能を有する通信端末によって実行されるメール読み上げ方法であって、
    前記通信端末が、画像データが添付された電子メールを受信する受信ステップと、
    前記通信端末が、前記受信ステップにおいて受信された電子メールに添付された画像データを解析して、当該画像データに含まれる内容を音声で読み上げるための画像読み上げデータを作成するデータ作成ステップと、
    前記通信端末が、前記データ作成ステップにおいて作成された前記画像読み上げデータを音声で読み上げる音声読み上げステップと、
    を含むことを特徴とするメール読み上げ方法。

Images