JP2007011308A - 文書表示装置及び文書読み上げ方法 - Google Patents

Abstract

【課題】利便性の高い感情表現機能を備えた文書表示装置及び文書読み上げ方法を実現する。
【解決手段】文書を表示する表示部と、音声を出力する音声出力部と、所定の単語と当該単語に感情種別とを対応づけて記憶する記憶部と、前記表示部にて表示される文書を音声合成する際に、当該文書中に前記記憶部に記憶された単語が含まれる場合には、当該単語に対応づけられた感情種別に応じた音質にて前記音声出力部から音声合成出力するように制御する制御部とを備えることを特徴とする。
【選択図】図１

Description

本発明は、文書表示装置及び文書読み上げ方法に関する。

近年、携帯電話やＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報通信端末（文書表示装置）において、電子メール等の電子文書の文字列を解析し、音声合成技術によって当該電子文書の音声読み上げを行う機能が注目されている。このような機能を備えた情報通信端末によれば、ユーザは電子文書（メッセージ）の内容を音声によって確認することができる。このため、例えば、ユーザは携帯電話やＰＣのモニタ上で他の作業をしながら電子メールの内容を音声で確認することができる等、情報通信端末における利便性の向上を図ることができる。

ところで、一般的な音声合成技術による音声読み上げ機能は、電子文書の内容に関わらず常に一定の音質で読み上げるため音声に抑揚が無く、聞き手側のユーザにとって非常に違和感を感じさせるものであった。このような問題を解決するために、特開２００４−２８９５７７号公報には、携帯電話等の移動通信端末において、電子メールを受信側の移動通信端末に送信する際に、当該電子メールの内容に応じた感情識別情報を電子メールに付加して送信するという技術が開示されている。
特開２００４−２８９５７７号公報

しかしながら、上記従来技術では、電子メールに感情識別情報を付加して送信を行うため、電子メールのデータ量が大きくなり、ユーザのメール使用コストが増大するという問題がある。また、上記感情識別情報は電子メールのヘッダに付加されるため、ヘッダの変更に伴うメールサービスシステムの変更が必要であり、大掛かりなネットワークの改良が必要であった。

また、送信側の移動通信端末に上記感情識別情報を付加する機能が搭載されていない場合は、受信側の移動通信端末において感情判定を行うことができないという問題がある。

さらに、ユーザは電子メールを作成する度に感情識別情報を入力する必要がある。このような観点から従来の感情表現を行う電子文書の読み上げ技術は利便性が非常に悪いものであった。

本発明は、上述した事情に鑑みてなされたものであり、以下の点を目的とする。

（１） 利便性の高い感情表現による音声読み上げ機能を備えた文書表示装置及び文書読み上げ方法を実現する。

（２） 既存のメールサービスシステムに変更を加えることなく、メール使用コストの増大を防ぐ。

上記目的を達成するために、本発明では、文書表示装置に係る第１の解決手段として、文書を表示する表示部と、音声を出力する音声出力部と、所定の単語と当該単語に感情種別とを対応づけて記憶する記憶部と、前記表示部にて表示される文書を音声合成する際に、当該文書中に前記記憶部に記憶された単語が含まれる場合には、当該単語に対応づけられた感情種別に応じた音質にて前記音声出力部から音声合成出力するように制御する制御部とを備えることを特徴とする。

また、本発明では、文書表示装置に係る第２の解決手段として、上記第１の解決手段において、前記記憶部は、複数の感情種別毎にそれぞれ異なる複数の単語を対応づけて記憶し、前記制御部は、音声合成する際に、表示中の文書に感情種別が異なる単語が複数含まれていた場合、前記感情種別毎に前記文書に含まれる単語の数をカウントし、最も大きいカウント値の感情種別に応じた音質にて前記音声出力部から音声合成出力するように制御することを特徴とする。

また、本発明では、文書表示装置に係る第３の解決手段として、上記第２の解決手段において、前記制御部は、前記カウントの際に、最も大きいカウント値の感情種別が複数ある場合には当該感情種別に応じた音質ではなく、標準の音質にて前記音声出力部から音声合成出力するように制御することを特徴とする。

また、本発明では、文書表示装置に係る第４の解決手段として、上記第２または３の解決手段において、前記記憶部は、感情種別に対応づけられた単語毎に設定した重み付け定数を記憶し、前記制御部は、前記カウントの際に、前記重み付け定数を感情種別毎に合計することにより行うことを特徴とする。

また、本発明では、文書表示装置に係る第５の解決手段として、上記第１〜４いずれかの解決手段において、通信網に接続し、メッセージの送受信を行う通信部を更に備え、前記文書として一のメッセージを音声合成する際に、当該一のメッセージに関連する他のメッセージについての感情種別に従った音質にて前記音声出力部から音声合成出力するように制御することを特徴とする。

また、本発明では、文書表示装置に係る第６の解決手段として、上記第５の解決手段において、前記制御部は、前記一のメッセージと前記他のメッセージとが互いに送信受信の関係にある場合、互いの発生時間間隔に応じて前記音質を変更することを特徴とする。

また、本発明では、文書表示装置に係る第７の解決手段として、上記第１の解決手段において、前記制御部は、音質として、音声の高低、音量、抑揚の内少なくとも１つを音質として設定することを特徴とする。

また、本発明では、文書表示装置に係る第８の解決手段として、上記第１の解決手段において、前記記憶部は、緊急度に関する単語をさらに記憶し、前記制御部は、前記文書を音声合成する際に、当該文書中に前記緊急度に関する単語が含まれる場合には、当該緊急度に応じた音質にて前記音声出力部から音声合成出力するように制御することを特徴とする。

一方、本発明では、文書読み上げ方法に係る第１の解決手段として、文書を表示する表示部と、音声を出力する音声出力部とを備える文書表示装置における文書読み上げ方法であって、所定の単語と当該単語に感情種別を対応づけて予め記憶するステップと、前記表示部にて表示される文書を音声合成するステップと、音声合成する文書中に、前記感情種別が対応づけられた単語が含まれる場合には当該感情種別に応じた音質にて前記音声出力部から音声合成出力するように制御するステップとを有することを特徴とする。

本発明によれば、感情種別判定を電子メール（メッセージ）を受信した情報通信端末（文書表示装置）側で行うため、従来のように送信側の情報通信端末に感情識別情報を付加する機能が搭載されていなくても感情表現による音声読み上げが可能である。また、ユーザが電子メールを送信する度に感情識別情報を入力する必要がない。さらに、従来のように電子メールのヘッダを使用することがないため、メールサービスシステムの変更が必要なく、ユーザのメール使用コストを抑えることが可能である。このように、本発明によれば利便性の高い感情表現による音声読み上げ機能を備えた文書表示装置を実現可能である。

以下、図面を参照して、本発明の一実施形態について説明する。なお、本実施形態では、文書表示装置として、例えば携帯電話等の電子メール（メッセージ）を送受信する機能を備える移動通信端末について説明する。図１は、本発明の実施形態に係る移動通信端末の機能構成を示すブロック図である。この図に示すように、本移動通信端末は、無線通信部１、キー入力部２、表示部３、記憶部４、制御部５及び音声出力部９から構成されている。さらに、制御部５は、その機能構成要素として、感情種別判定部６、音質設定部７、音声合成部８を備えている。

無線通信部１は、制御部５による制御の下に所定の通信方式、例えばＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式等を用いて移動体通信基地局との間で音声信号や電子メール等のデータ信号に関する無線通信を行うものである。キー入力部２は、ダイヤルキーボタン、ファンクションキーボタン、電源キーボタン等から構成されており、これらボタンの操作情報を操作信号として制御部５に出力する。表示部３は、例えば液晶のディスプレイ装置であり、制御部５から入力された表示信号に基づいて各種メッセージや電話番号、画像等を表示する。

記憶部４は、制御部５が実行する制御プログラムを予め記憶すると共に、電話番号、メールアドレス等の各種データを制御部５による制御の下に順次記憶するものであり、当該制御部５の要求に応じて各種データを制御部５に出力する。また、この記憶部４は、図２〜図４に示すような感情種別判定テーブルを記憶している。図２〜図４に示すように、感情種別判定テーブルは、感情種別（親愛、幸福、癒し、不機嫌、落胆・困惑、辛苦、重要、迷惑）ごとにそれぞれカテゴリが設けられ、当該カテゴリに該当する単語と重み付け定数とを記憶したものである。さらに図５に示すように、記憶部４は、緊急度に関するカテゴリと当該カテゴリに該当する単語と重み付け定数とを規定した緊急度判定テーブルも記憶している。

制御部５は、記憶部４に予め記憶された所定の制御プログラム、キー入力部２から入力される操作信号及び無線通信部１の通信状態等に基づいて、本移動通信端末の全体動作を制御するものである。また、この制御部５は、上記制御プログラムに基づく特徴的な制御処理として、上記無線通信部１によって受信した電子メールの本文中の文字列データについて感情種別判定部６及び音声合成部８にて処理を行う。

感情種別判定部６は、電子メールの本文中の文字列データと記憶部４に記憶されている上記感情種別判定テーブルとを比較して感情種別毎に各々該当する単語を文字列データから抽出し、当該単語に割り振られた重み付け定数をカウントし、その合計値から感情種別を判定して当該感情種別を示す感情種別信号を音質設定部７に出力する。また、感情種別判定部６は、上記文字列データと記憶部４に記憶されている緊急度判定テーブルとを比較して該当する単語を抽出し、当該単語に割り振られた重み付け定数の合計値から緊急度を判定して当該緊急度を示す緊急度信号を音質設定部７に出力する。このような感情種別判定部６の処理動作については後で詳細に説明する。

音質設定部７は、上記感情種別判定部６から入力される感情種別信号（つまり感情種別）に基づいて電子メールを読み上げる際の音質（音声の高低、音量及び抑揚）を設定すると共に、緊急度信号（つまり緊急度）に基づいて音声の読み上げ速度を設定し、これら音質に関わる情報を音質設定情報として音声合成部８に出力する。

音声合成部８は、上記音質設定情報を基に、電子メールの文字列データを合成音声データに変換し、当該合成音声データを示す音声信号を音声出力部９に出力する。すなわち、上記合成音声データは、感情種別判定部６で判定された感情種別及び緊急度に対応する音質で読み上げが行われるように生成される。音声出力部９は、例えばスピーカであり、上記音声合成部８から入力される音声信号を音声に変換して外部に出力する。

次に、このように構成された本移動通信端末の電子メール読み上げ処理について図６のフローチャートを用いて説明する。

まず、本移動通信端末（具体的には無線通信部１）は、他の移動通信端末から移動体通信基地局を介して電子メールを受信する（ステップＳ１）。以下では、受信した電子メール（受信メール）が、例えば「長い間辛い思いをしてきたけど、いよいよ楽しみにしていたデートができるね。プレゼントがあるから早く来て。」という文字列データで構成されている場合について説明する。なお、文字列データとして、電子メールの本文だけでなくメールタイトルを含ませても良い。

制御部５における感情種別判定部６は、図７に示すように、記憶部４に記憶されている感情種別判定テーブル及び緊急度判定テーブルを基に、受信メールの文字列データから各感情種別及び緊急度に該当する単語を抽出し（ここでは「辛い」、「楽しみ」、「デート」、「プレゼント」及び「早く」が抽出される）、当該単語に割り振られた重み付け定数をカウントして合計値（カウント値）を算出する（ステップＳ２）。図２に示すように、例えば、「楽しみ」という単語は、感情種別「親愛」のカテゴリ「好き」に該当するので感情種別「親愛」に関する重み付け定数は「２０」となり、また、この「楽しみ」は、感情種別「幸福」のカテゴリ「楽しい」に該当するので感情種別「幸福」に関する重み付け定数は「７０」となる。また、「早く」という単語は、図５に示すように、緊急度のカテゴリ「緊急」に該当し、その重み付け定数は「１」となる。

感情種別判定部６は、他の単語についても同様に図７の表を埋めるような処理を行うことによって各感情種別及び緊急度に関する重み付け定数の合計値を算出する。図７からわかるように、本実施形態では感情種別「幸福」に関する重み付け定数の合計値が最も大きいので、感情種別判定部６は受信メールの感情種別を「幸福」と判定すると共に、緊急度を「１」と判定する（ステップＳ３）。

このように、重み付け定数の合計値の最大値がわかれば感情種別を判定可能であるので、感情種別判定部６は、受信メールの感情種別「幸福」を示す感情種別信号と共に、緊急度「１」を示す緊急度信号を音質設定部７に出力する（ステップＳ４「Ｙｅｓ」）。音質設定部７は、感情種別「幸福」に応じた音声の高低、音量及び抑揚と、緊急度「１」に応じた音声の読み上げ速度を設定し、これらの情報を音質設定情報として音声合成部８に出力する（ステップＳ５）。なお、緊急度を示す数値が大きい程読み上げ速度は速くなり、小さい程読み上げ速度は遅くなる。

音声合成部８は、上記音質設定情報を基に、受信メールの文字列データを合成音声データに変換して音声信号として音声出力部９に出力し、当該音声信号出力部９は、上記音声信号を音声に変換して外部に出力する。これにより受信メールの感情表現可能な音声読み上げが行われる（ステップＳ６）。

ところで、ステップＳ３において、感情種別に関する重み付け定数の合計値の最大値が存在しない場合、つまり重み付け定数の合計値が、カテゴリ２つ以上が等しく且つその値が他のカテゴリに比して最も大きくなるような感情種別が複数存在する場合がある。このような場合、受信メールの感情種別を判定することは困難であるので、感情種別判定部６は、このような受信メールは感情種別判定不能と判定し（ステップＳ４「Ｎｏ」）、ステップＳ７に移行する。

そして、感情種別判定部６は、受信メールに対応する送信履歴が記憶部４に記憶されているか否かを確認する（ステップＳ７）。すなわち、ステップＳ７では、受信メールが本移動通信端末から他の移動通信端末に送信した電子メール（送信メール）に対する返信メールか否かの判定が行われる。

ステップＳ７において、「Ｎｏ」と判定された場合、すなわち受信メールが本移動通信端末からの送信メールに対する返信メールでない場合、感情種別判定部６は、感情種別判定不能を示す感情種別信号と、受信メールの緊急度を示す緊急度信号とを音質設定部７に出力する（ステップＳ８）。

音質設定部７は、上記のように受信メールが感情種別判定不能と判定されると、音質設定情報として感情表現をしない標準設定（デフォルト設定）を選択して音声合成部８に出力する（ステップＳ９）。なお、このデフォルト設定は感情種別に関する設定のみを標準設定にしたものであり、緊急度に関する設定については緊急度に応じて設定される。音声合成部８は、上記デフォルト設定を基に受信メールの文字列データを合成音声データに変換して音声信号として音声出力部９に出力し、当該音声信号出力部９は、上記音声信号を音声に変換して外部に出力する（ステップＳ６）。このように、受信メールが感情判定不能と判定され、当該受信メールが返信メールではない場合は、感情表現のない音声読み上げとなる。

一方、ステップＳ７において、「Ｙｅｓ」と判定された場合、すなわち受信メールが送信メールの履歴に残っているメールと同一のメールタイトルを有している等、本移動通信端末からの送信メールに対する返信メールであった場合、感情種別判定部６は、記憶部４の送信メールフォルダに記憶されている送信メールの文字列データを関連するメッセージとして取得する（ステップＳ１０）と共に、当該送信メールの文字列データを基に、送信メールの感情種別及び緊急度の判定処理を行う（ステップＳ１１）。この送信メールの感情種別及び緊急度の判定処理は、ステップＳ３と同様な処理なので説明は省略する。そして、感情種別判定部６は、送信メールの感情種別判定が可能か否かを判定する（ステップＳ１２）。

ステップＳ１２において、「Ｙｅｓ」と判定された場合、すなわち送信メールの感情種別判定が可能と判定された場合、感情種別判定部６は、送信メールの感情種別を示す感情種別信号及び緊急度を示す緊急度信号を音質設定部７に出力する（ステップＳ１２「Ｙｅｓ」）。音質設定部７は、送信メールの感情種別に応じた音声の高低、音量及び抑揚、緊急度に応じた音声読み上げ速度を設定し、これらの情報を音質設定情報として音声合成部８に出力する（ステップＳ１３）。

音声合成部８は、上記音質設定情報を基に、受信メールの文字列データを合成音声データに変換して音声信号として音声出力部９に出力し、当該音声信号出力部９は、上記音声信号を音声に変換して外部に出力する。これにより受信メールの感情表現による音声読み上げが行われる（ステップＳ６）。このように、受信メールが感情種別判定不能であっても、当該受信メールが本移動通信端末から送信した送信メールに対する返信メールであれば、送信メールと返信メールとは互いに関連するメッセージであるため感情種別が同じである可能性が高いので、送信メールの感情種別を参照することにより受信メールに感情表現を持たせて音声読み上げを行うことができる。

一方、ステップＳ１２において、「Ｎｏ」と判定された場合、すなわち送信メールの感情種別判定が不可能と判定された場合、感情種別判定部６は、感情種別判定不能を示す感情種別信号と、受信メール（返信メール）の緊急度を示す緊急度信号を音質設定部７に出力する。

音質決定部７は、上記のように送信メールが感情種別判定不能と判定されると、音質設定情報として感情表現をしない標準設定（デフォルト設定）を選択して音声合成部８に出力する（ステップＳ１４）。なお、このデフォルト設定は感情種別に関する設定のみを標準設定にしたものであり、緊急度に関する設定については緊急度に応じて設定される。音声合成部８は、上記デフォルト設定を基に受信メールの文字列データを合成音声データに変換して音声信号として音声出力部９に出力し、当該音声信号出力部９は、上記音声信号を音声に変換して外部に出力する（ステップＳ６）。このように、受信メールが返信メールであり、当該返信メールと送信メールとが共に感情判定不能と判定された場合は、感情表現のない音声読み上げとなる。

また、上記ステップＳ１１〜Ｓ１４において、送信メールの送信時間と当該送信メールに対する返信メールの受信時間との時間間隔から緊急度を判定し、当該緊急度に応じて音声読み上げ速度を変更しても良い。例えば、上記時間間隔が長い場合は、緊急度が低いと判断して遅い読み上げ速度に設定し、時間間隔が短い場合は、緊急度が高いと判断して早い読み上げ速度に設定する。

以上のように、本実施形態によれば、感情種別判定を電子メールを受信した移動通信端末で行うため、従来のように送信側の移動通信端末に感情識別情報を付加する機能が搭載されていなくても感情表現による音声読み上げが可能である。また、従来のように、ユーザが電子メールを送信する度に感情識別情報を入力する必要がない。さらに、従来のように電子メールのヘッダを使用することがないため、メールサービスシステムの変更が必要なく、ユーザのメール使用コストを抑えることが可能である。このように、本実施形態によれば感情表現音声読み上げ機能を備えた移動通信端末における利便性を向上できる。

なお、本発明は、上記実施形態に限定されるものではなく、例えば以下のような変形例が考えられる。

（１）上記実施形態では、移動通信端末について説明したが、これに限らず、通信手段を用いて電子メールの送受信を行うパソコン等の情報通信端末でも本電子メール読み上げ手段は適用可能である。

（２）上記実施形態において、感情種別判定テーブル及び緊急度判定テーブルを図２〜図４及び図５のように設定したが、これらはあくまで例であり、これらに限らず、感情種別や当該感情種別に該当する単語等は他のものを設定してももちろん良い。

（３）上記実施形態では、電子メールの感情種別及び緊急度に基づいて音声読み上げを行ったが、これに加えて上記感情種別及び緊急度に応じたキャラクタやアニメーション等を表示部３に表示させても良い。

（４）上記実施形態では、電子メールについての音声合成を例に用いて説明を行ったが、これに限定されず、文字列により構成される電子文書でさえあれば良く、電子メール以外にも、ショートメッセージサービスやＰＴＴ（Ｐｕｓｈ ｔｏ Ｔａｌｋ）等を用いたチャットなどにて送受信されるメッセージも同様に利用可能であるばかりか、インターネット上に公開されるようなホームページ等の閲覧時にも利用可能である。

（５）上記実施形態では、抽出された電子メール(電子文書）の各単語に割り振られた感情種別の重み付け定数をカウントして、各感情種別の重み付け定数の合計値（カウント値）の最大値に基づき当該電子メールの感情種別を判定するように構成したが、これに限らず、感情種別毎に電子メール（電子文書）に含まれる単語の数をカウントし、最も大きいカウント値の感情種別に応じて当該電子メールの感情種別を判定したり、電子メール（電子文書）に含まれる所定の単語の頻出度合をカウントし、最も大きいカウント値の単語（頻出度合の高い単語）に割り振られた感情種別に応じて当該電子メールの感情種別を判定するようにしてもよい。

本発明の一実施形態に係わる移動通信端末の構成ブロック図である。 本発明の一実施形態における感情種別判定テーブルの第１の説明図である。 本発明の一実施形態における感情種別判定テーブルの第２の説明図である。 本発明の一実施形態における感情種別判定テーブルの第３の説明図である。 本発明の一実施形態における緊急度判定テーブルの説明図である。 本発明の一実施形態における移動通信端末の電子メール読み上げ処理フローチャートである。 本発明の一実施形態における感情種別判定方法及び緊急度判定方法の説明図である。

符号の説明

１…無線通信部、２…キー入力部、３…表示部、４…記憶部、５…制御部、６…感情種別判定部、７…音質設定部、８…音声合成部、９…音声出力部

Claims (9)

1. 文書を表示する表示部と、
   音声を出力する音声出力部と、
   所定の単語と当該単語に感情種別とを対応づけて記憶する記憶部と、
   前記表示部にて表示される文書を音声合成する際に、当該文書中に前記記憶部に記憶された単語が含まれる場合には、当該単語に対応づけられた感情種別に応じた音質にて前記音声出力部から音声合成出力するように制御する制御部と
   を備えることを特徴とする文書表示装置。
2. 前記記憶部は、複数の感情種別毎にそれぞれ異なる複数の単語を対応づけて記憶し、
   前記制御部は、音声合成する際に、表示中の文書に感情種別が異なる単語が複数含まれていた場合、前記感情種別毎に前記文書に含まれる単語の数をカウントし、最も大きいカウント値の感情種別に応じた音質にて前記音声出力部から音声合成出力するように制御することを特徴とする請求項１に記載の文書表示装置。
3. 前記制御部は、前記カウントの際に、最も大きいカウント値の感情種別が複数ある場合には当該感情種別に応じた音質ではなく、標準の音質にて前記音声出力部から音声合成出力するように制御することを特徴とする請求項２に記載の文書表示装置。
4. 前記記憶部は、感情種別に対応づけられた単語毎に設定した重み付け定数を記憶し、
   前記制御部は、前記カウントの際に、前記重み付け定数を感情種別毎に合計することにより行うことを特徴とする請求項２または３に記載の文書表示装置。
5. 通信網に接続し、メッセージの送受信を行う通信部を更に備え、
   前記文書として一のメッセージを音声合成する際に、当該一のメッセージに関連する他のメッセージについての感情種別に従った音質にて前記音声出力部から音声合成出力するように制御することを特徴とする請求項１乃至４の何れか１項に記載の文書表示装置。
6. 前記制御部は、前記一のメッセージと前記他のメッセージとが互いに送信受信の関係にある場合、互いの発生時間間隔に応じて前記音質を変更することを特徴とする請求項５に記載の文書表示装置。
7. 前記制御部は、音質として、音声の高低、音量、抑揚の内少なくとも１つを音質として設定することを特徴とする請求項１乃至６の何れか１項に記載の文書表示装置。
8. 前記記憶部は、緊急度に関する単語をさらに記憶し、
   前記制御部は、前記文書を音声合成する際に、当該文書中に前記緊急度に関する単語が含まれる場合には、当該緊急度に応じた音質にて前記音声出力部から音声合成出力するように制御することを特徴とする請求項１乃至７の何れか１項に記載の文書表示装置。
9. 文書を表示する表示部と、音声を出力する音声出力部とを備える文書表示装置における文書読み上げ方法であって、
   所定の単語と当該単語に感情種別を対応づけて予め記憶するステップと、
   前記表示部にて表示される文書を音声合成するステップと、
   音声合成する文書中に、前記感情種別が対応づけられた単語が含まれる場合には当該感情種別に応じた音質にて前記音声出力部から音声合成出力するように制御するステップと
   を有することを特徴とする文書読み上げ方法。

Images