JP2010140414A - 電子メール音声読上げシステム - Google Patents

Abstract

【課題】メール読上げサービスにおいて、通信の品質が悪い、メール読上げ処理を行なうサーバの負荷が高い場合において、処理に多大な時間がかかる場合があった。
【解決手段】メール読上げを提供するサーバと携帯電話のそれぞれが持つ機能、通信品質、ユーザの嗜好の情報から評価値を算出し、サーバと携帯電話でメール読上げに必要な機能を分担する。これによりサービスの品質確保とサーバ負荷の軽減を実現する。
【選択図】図４

Description

本発明は、電子メール読上げシステムの読上げサービスを提供するサーバ、携帯電話に関し、特に、サーバ、携帯電話間で読上げサービスを実現するための機能割当を動的に行なう方法、プログラムに関するものである。

特許文献１は、携帯電話に送信された電子メールを音声合成技術により変換した後に音声ファイルを携帯電話に送信する方法を開示している。特許文献１によれば、携帯電話は音声合成手段を搭載する必要が無い。

特許文献２は、クライアント／サーバシステムにおいて、システム起動時にクライアント処理プログラムと、サーバ処理プログラムを動的に配置し、クライアント／サーバの負荷状況データにより、どちらが処理を行なうかの決定を行なっている。

特開２００７−２３３４３５号公報 特開２００１−０３４４９０号公報

しかし、特許文献１の技術では、音声情報を生成するサーバでの負荷が高い場合、電子メールから音声ファイルへの変換に時間がかかり、ユーザへの音声の提供が遅れる。また、作成された音声ファイルは、元の電子メールのテキストよりサイズが大きくなる。このため、ユーザの所在により通信品質が低い場合、音声ファイルの送信に失敗の虞がある。また、送信に多大な時間を要する。さらに、通信品質の低下時に内容を早急に確認したい場合も、処理フローが通常の場合と変えることができない。このため、ユーザの希望に応じて音声品質、処理時間を変更できない。
特許文献２の技術では、サーバの負荷状態について注目して、機能の振り分けを行なっている。しかし、通話路での遅延およびユーザ嗜好を考慮していない。

上記課題を解決するため、携帯電話とサーバ間で、音声合成処理を始める前に、互いの機能ブロック把握手段と、相互の通信品質把握手段と、サーバの負荷状況把握手段を備え、各把握手段により取得された情報に基づいて読上げサービスを実現するための機能ブロックを、携帯電話とサーバとに動的に割り当てる。

具体的には、メール読上げ装置と携帯電話端末とからなり、メール読上げ装置は、携帯電話端末が有するメール読上げの機能ブロック情報と嗜好情報とを取得して、自装置の負荷状態と機能ブロック情報と嗜好情報とに基づいて携帯電話端末への割当可能なパターンの評価値を演算して、演算された評価値に基づいて割当てパターンを決定し、決定した割当てパターンを携帯電話端末に通知し、携帯電話端末との間でメール読上げの処理を割当てるメール読上げシステムにより、達成できる。

また、第１のコンピュータと第２のコンピュータとを、相手コンピュータとの機能ブロック割当てを行なう機能ブロック割当て部として、動作させ、第１のコンピュータまたは第２のコンピュータを、メールから本文を切出す本文切出部、
本文の構造を解析する言語解析部、構造を解析された本文に抑揚情報を付与する抑揚計算部、構造を解析された本文と抑揚情報に基づいて、音声データを作成する素片結合部、音声データを再生する音声再生部として機能させるためのプログラムにより、達成できる。

さらに、コンピュータを、相手コンピュータとの機能ブロック割当てを行なう機能ブロック割当て部、メールから本文を切出す本文切出部、本文の構造を解析する言語解析部、構造を解析された本文に抑揚情報を付与する抑揚計算部、構造を解析された本文と抑揚情報に基づいて、音声データを作成する素片結合部、音声データを再生する音声再生部として機能させるためのプログラムにより、達成できる。

本発明による電子メール音声読上げシステムにより、通信品質、サーバの負荷状況、ユーザの嗜好に応じた電子メール読上げサービスの提供ができる。

以下、本発明の実施の形態について、実施例を用い図面を参照ながら詳細に説明する。なお、実質同一部位には同じ参照番号を振り、説明は繰り返さない。

まず、図１を参照して、メール読上げシステムの構成を説明する。ここで、図１はメール読上げシステムの機能ブロック図である。図１において、メール読上げシステム５００は、メール送受信サーバ３００と、メール読上げサーバ１００と、携帯電話２００と、３系統の通信路４００とから構成される。通信路４００は、メール送受信サーバ３００とメール読上げサーバ１００の通信路である通信路４００−１、メール読上げサーバ３００と携帯電話２００の通信路である通信路４００−２、メール送受信サーバ３００と携帯電話２００の通信路である通信路４００−３からなる。

メール送受信サーバ３００は、メール受信部３１３、メール送信部３２０、応答時間測定部３１２を有する。メール受信部３１３は、外部からのメールを受信する。メール送信部３２０は、メール読上げサーバ１００または携帯電話２００にメールを送信する。応答時間測定部３１２は、メール送信からＡＣＫ受信までの時間を測定する。

メール読上げサーバ１００は、機能ブロック割当て部１１１、機能割当データ１０７、応答時間測定部１１２、メール受信部１１３、本文切出部１１４、言語解析部１１５、抑揚計算部１１６、素片結合部１１７、音声再生部１１８、言語解析ルール１０８、抑揚ルール１０９、素片データ１１０を有する
機能ブロック割当て部１１１は、読上げに使用する機能ブロック部を携帯電話２００との間で動的な割当てを行なう。機能割当データ１０７は、割当ての判定に使用するデータを保持する。応答時間測定部１１２は、携帯電話２００との間の通信にかかった時間を測定する。メール受信部１１３は、メール送受信サーバ３００からメールを受信する。本文切出部１１４は、メールから読上げ対象となる本文を切出す。言語解析部１１５は、言語解析ルール１０８を使用して本文の内容を構文解析する。抑揚計算部１１６は、抑揚ルール１０９に基づき本文に読上げ時の抑揚情報を付与する。素片結合部１１７は、読上げ音声の元となる音声の素片を持つ素片データ１１０を使用して本文と抑揚情報から音声データを作成する。音声再生部１１８は、作成された音声データを音声として再生する。

携帯電話２００は、記憶領域の大きさと演算装置の能力の制限からメール読上げサーバ１００と同等の機能ブロックを保有することは困難である。そのため、携帯電話２００が一部機能ブロックを保有していなくとも、同様の機能ブロックであっても性能・精度が劣ることになる。携帯電話２００が、応答時間測定部１１２を除きメール読上げサーバ１００と同様の機能ブロックを有する場合でも、携帯電話２００の有する記憶領域の大きさと演算装置の能力により、各機能ブロックの性能・精度・データの量は制限を受ける。これにより携帯電話２００側の機能ブロックのみを使用してメール読上げを行なった場合の音声の品質は、メール読上げサーバ１００の機能ブロックを使用した場合と比較しメール読上げの精度、音声の品質は悪くなる。

次に携帯電話２００の有する機能ブロック、データ、ルールを説明する。携帯電話２００は、機能ブロック割当て部２１１、機能割当データ２０７、メール受信部２１３、本文切出部２１４、言語解析部２１５、抑揚計算部２１６、素片結合部２１７、音声再生部２１８、言語解析ルール２０８、抑揚ルール２０９、素片データ２１０を有する。

機能ブロック割当て部２１１は、読上げに使用する機能ブロックをメール読上げサーバ１００との間で動的な割当てを行なう。機能割当データ２０７は、割当ての判定に使用するデータを保持する。メール受信部２１３は、メール送受信サーバ３００またはメール読上げサーバ１００からメールまたはデータを受信する。本文切出部２１４は、メールから読上げ対象となる本文を切出す。言語解析部２１４は、言語解析ルール２０８を使用して本文の内容を構文解析する。抑揚計算部２１６は、抑揚ルール２０９に基づき本文に読上げ時の抑揚情報を付与する。素片結合部２１７は、読上げ音声の元となる音声の素片を持つ素片データ２１０を使用して本文と抑揚情報から音声データを作成する。音声再生部２１８は、作成された音声データを音声として再生する。
なお、メール読上げシステム５００に、メール送受信サーバ３００を含めないこともある。

図２を参照して、携帯電話の外観を説明する。ここで、図２は携帯電話の正面図である。図２において、携帯電話２００は、筐体２２１に設けたマイク２２２、スピーカ２２３、表示部２２４、キー入力部２２５、アンテナ２２６を含んでいる。図２において、表示部２２４は、読上げの設定画面を表示している。表示部２２４には、三角形の図形と、この三角形中のドットを表示する。携帯電話２００のユーザは、キー入力部２２５の十字キーを操作して、ドットを移動することによって、三角形の頂点に表示した音声品質優先、通話時間優先、機能優先との距離の近さに応じて、読上げ音声品質優先、通話時間優先、機能優先（選択肢充実度）の機能レベルを選択する。なお、読上品質のユーザ嗜好値をＮ１、選択肢充実度のユーザ嗜好値をＮ２、通話時間のユーザ嗜好値をＮ３とする。各Ｎ値は大きいほど嗜好値が高い。ユーザ嗜好値Ｎ１〜Ｎ２は、携帯電話２００の機能割当データ２０７に保持され、必要に応じてメール読上げサーバ１００に送信される。

図３を参照して、携帯電話のハードウェアを説明する。ここで、図３は携帯電話のハードウェアブロック図である。図３において、携帯電話２００は、ＣＰＵ２３０に接続されたデータ送受信部２３１、音声データデコード部２３３、十字キーと決定キーとからなるキー入力部２２５、ＤＲＡＭ２３５、フラッシュメモリ２３６、ＲＯＭ２３７と、データ送受信部２３１に接続されたＲＦ処理部２３２と、ＲＦ処理部２３２に接続されたアンテナ２２６と、音声データデコード部２３３に接続されたアンプ２３４と、アンプ２３４に接続されたスピーカ２２３とから構成される。

ここでは携帯電話２００のハードウェアを説明したが、メール読上げサーバ１００、メール送受信サーバ３００の基本的なハードウェア構成も、データ送受信部２３１をＮＩＣ（Network Interface Card）、音声データデコード部２３３を出力インターフェース、キー入力部を入力インターフェースと入力部に置き換えたものである。
図１を参照して説明した各機能ブロックは、各メモリとメモリに保持されたプログラムをＣＰＵ２３０が実行することで実現する。

次に、図４を参照して、メール送受信サーバとメール読上げサーバと携帯電話との間のメール読上げ処理を説明する。ここで、図４はメール送受信サーバとメール読上げサーバと携帯電話との間のメール読上げ処理のシーケンス図である。

図４において、メール送受信サーバ３００は、あるタイミングで外部より携帯電話２００宛のメールをメール受信部３１３にて受信する。この受信をトリガーとして、メール送受信サーバ３００は、メール送信部３２０を用いて、メールの宛先である携帯電話２００にメールを送信する（Ｓ４１）。メール送受信サーバ３００は、さらに応答時間測定部３１２の応答タイマをスタートする（Ｓ４２）。携帯電話２００は、メール受信部２１３を用いてメールを受信し、メールの受信完了通知（ＡＣＫ）をメール送受信サーバ３００に送信する（Ｓ４３）。メール送受信サーバ３００の応答時間測定部３１２は、応答タイマをストップし、メールの携帯電話２００へのメール送受信にかかった時間を測定する（Ｓ４４）。

ここで、メール送受信サーバ３００は、メールとメール送受信時間の情報をメール読上げサーバ１００に送信する（Ｓ４６）。携帯電話２００は、メール読上げサーバ１００に、自身の機能情報と、ユーザ嗜好値を送信する（Ｓ４７）。メール読上げサーバ１００は、携帯電話２００に、機能割当通知を送信する（Ｓ４８）。ステップ４７とステップ４８とによって、機能ブロック割当て部１１１、２１１は、相互に情報を交換し、メール読上げサーバ１００と携帯電話２００のメール読上げに必要な処理部の機能ブロック割当てを決定する。ここでは、メール読上げサーバ１００で言語解析処理まで実施し、それ以降を携帯電話２００で実施するとして、説明する。

メール読上げサーバ１００は、本文切出し部１１４において、ステップ４６で受信したメールから読上げ対象であるメール本文を切出す（Ｓ４９）。メール読上げサーバ１００は、言語解析処理部１１５において、構文解析を実施する（Ｓ５１）。メール読上げサーバ１００は、携帯電話２００に、構文解析データを送信する（Ｓ５２）。携帯電話２００は、抑揚計算部２１６において、構文解析データに抑揚情報を付与する（Ｓ５３）。携帯電話２００は、素片接続部２１７において、音声データを作成する（Ｓ５４）。携帯電話２００は、音声再生部２１８において、音声データを再生する（Ｓ５６）。

以下では、携帯電話２００は全ての機能ブロックを持つことを前提として、ユーザの嗜好に応じて、メール読上げサーバ１００との間で機能ブロック割当てする手順について、図５ないし図７を参照して説明する。

ここで、図５は評価テーブルを説明する図である。図６は処理予測時間テーブルを説明する図である。図７はメール読上げサーバの機能ブロック割当部におけるパターン評価値演算を説明する図である。なお、図５および図６を参照して説明する評価テーブル５０および処理予測時間テーブル６０は、メール読上げサーバ１００の機能割当てデータ１０７に保持するテーブルである。

図５において、評価テーブル５０は、割当パターン５１、読上品質５２、選択肢充実度５３、データ係数５４で構成される。評価テーブル５０の各レコードは、割当パターンＡからＦに対応して、１から６の数値を保持している。なお、ここで割当パターンＡは、全て携帯電話２００で音声読上げ処理するパターンである。また、割当パターンＢは、本文切出のみメール読上げサーバ１００、以降の処理を携帯電話２００で実施するパターンである。パターンＣは、図８を参照して後述する。パターンＤ〜Ｆも図８から自明である。評価テーブル５０の１から６の数値は、後述する式の重み係数である。

図６において、処理時間予測テーブル６０は、処理部６１、メール読上げサーバの処理時間の負荷高６２、中６３、低６４、携帯電話処理時間６５で構成される。処理時間予測テーブル６０の各レコードは、本文切出部から音声再生部までについて、メール読上げサーバ１００の負荷状態に応じた処理予測時間と、携帯電話の処理予測時間をミリ秒単位で記録している。なお、処理予測時間テーブル６０における負荷は、メール読上げサーバ１００のＣＰＵ使用率により決定され、ＣＰＵ使用率０−２０％を低、２０−６０％を中、７０−１００％を高とする。

図７において、メール読上げサーバ１００の機能ブロック割当部１１１は、メール送受信サーバ３００の応答時間測定部３１２から、メールの通信時間を取得する。また、機能ブロック割当部１１１は、携帯電話２００の機能ブロック割当部２１１から、ユーザ嗜好値Ｎ１〜Ｎ３を取得する。

機能ブロック割当部１１１は、取得したデータと、機能割当データ１０７に保持する評価テーブル５０、処理予測時間テーブル６０と、メール読上げサーバ１００の負荷とから、式１に示す処理予測時間について、割当パターンＡ〜Ｆ（＝ｉ）ごとに算出する。

処理予測時間ｉ＝サーバ処理予測時間ｉ＋携帯電話処理予測時間ｉ …（１）

ここで、サーバ処理予測時間ｉ、携帯電話処理予測時間ｉは、処理予測時間テーブル６０の該当する処理部のレコードの和である。

機能ブロック割当部１１１は、式２に示すパターン評価値について、割当パターンＡ〜Ｆ（＝ｉ）ごとに算出する。

パターン評価値ｉ
＝読上品質ｉ×Ｎ１＋選択肢充実度Ｉｉ×Ｎ２ …（２）
−（通信時間×通信データ量×データ係数ｉ＋処理予測時間ｉ）×Ｎ３

ここで、読上品質ｉ、選択肢充実度ｉ、データ係数ｉは評価テーブル５０の該当割当パターンのレコードの値を用いる。

機能ブロック割当部１１１は、最大のパターン評価値を得たパターンを適用する。機能ブロック割当て部１１１は、採択したパターンを機能割当通知として機能ブロック割当て部２１１への結果通知を行なう。これ以降のシーケンスでは決定された割当てパターンに基づき、メール読上げサーバ１００と携帯電話２００で機能を分担し、メール読上げのサービスを実施する。これを、図８を参照して説明する。

図８はメール読上げサーバと携帯電話の音声読上げ処理フローチャートである。図８において、メール読上げサーバ１００は、式２で求めた６種のパターン評価値から、最大の評価値を持つ割当パターンを判定する（Ｓ８１）。ステップ８１の判定でパターンＣが最大だとして、以下説明する。

メール読上げサーバ１００は、パターンＣを選択し（Ｓ８２）、携帯電話２００に通知する。メール読上げサーバ１００は、本文切出し処理を実施する（Ｓ８３）。メール読上げサーバ１００は、言語解析処理を実施し（Ｓ８４）、結果データを携帯電話２００に送信する。

携帯電話２００は、抑揚計算処理を実施する（Ｓ８６）。携帯電話２００は、素片接続処理を実施する（Ｓ８７）。携帯電話２００は、音声再生処理を実施し（Ｓ８８）、終了する。なお、ステップ８１の判定でパターンＡ、Ｂ、Ｄ〜Ｆが最大の場合は、図８から自明なので説明を省く。

実施例２について、図９を参照して説明する。ここで、図９はメール送受信サーバとメール読上げサーバと携帯電話との間のメール読上げ処理のシーケンス図である。
図９において、メール送受信サーバ３００Ａは、あるタイミングで外部より携帯電話２００宛のメールをメール受信部３１３にて受信する。この受信をトリガーとして、メール送受信サーバ３００Ａは、メール送信部３２０を用いて、メールの宛先である携帯電話２００にメールを送信する（Ｓ９１）。メールを受信した携帯電話２００は、メールの受信完了通知をメール送受信サーバ３００Ａに送信する（Ｓ９２）。

メール送受信サーバ３００Ａは、メールをメール読上げサーバ１００Ａに送付する（Ｓ９３）。メールを受信したメール読上げサーバ１００Ａは、サンプルデータを携帯電話２００に送信する（Ｓ９４）。メール読上げサーバ１００Ａは、さらに応答時間測定部１１２の応答タイマをスタートする（Ｓ９６）。携帯電話２００は、サンプルデータの受信完了通知をメール読上げサーバ１００Ａに送信する（Ｓ９７）。メール読上げサーバ１００Ａの応答時間測定部１１２は、応答タイマをストップし、メールの携帯電話２００へのメール送受信にかかった時間を測定する（Ｓ９８）。

ステップ９８より先は図４のステップ４７以降と同じなので、説明を省略する。すなわち、実施例１と実施例２との違いは、携帯電話２００の応答時間を、メール送受信サーバ３００が実施するか、メール読上げサーバ１００Ａが実施するかの違いである。なお、図７において、メール読上げサーバ１００は、通信時間をメール送受信サーバ３００から取得している。しかし、実施例２では、メール読上げサーバ１００Ａは、通信時間を自身の応答時間測定部１１２から取得する。

上述した実施例により、ユーザの携帯電話２００が持つ機能と、ユーザの嗜好から、ユーザの好みに合わせたメール読上げのサービスの提供が可能となる。また、メール読上げサーバ１００の負荷情報を評価に加えることで、メール読上げサーバ１００への負荷が性能限界を超えないように自動的に調整されサービスの継続利用ができる。

上述した実施例により、メール読上げ処理を行なうサーバ負荷が高く処理に時間がかかることが想定される場合には、携帯電話側でメール読上げ処理を実施する。これにより音声の選択肢と音声の品質は低下するが、迅速にメール読上げ結果をユーザに提供することができる。合わせて、メール読上げ処理を行なうサーバの負荷が性能限界を超えて異常終了することを防止することができ継続してサービスを提供することができる。

携帯端末側で処理を行なうことで発生するサーバの負荷余裕を利用し、音声の選択肢の拡張、高度な文章解析処理の実施など付加価値の高い読上げサービスを提供することができる。

メール読上げシステムの機能ブロック図である。 携帯電話の正面図である。 携帯電話のハードウェアブロック図である。 メール送受信サーバとメール読上げサーバと携帯電話との間のメール読上げ処理のシーケンス図である。 評価テーブルを説明する図である。 処理予測時間テーブルを説明する図である。 メール読上げサーバの機能ブロック割当部におけるパターン評価値演算を説明する図である。 メール読上げサーバと携帯電話の音声読上げ処理フローチャートである。 メール送受信サーバとメール読上げサーバと携帯電話との間のメール読上げ処理のシーケンス図である。

符号の説明

１００…メール読上げサーバ、２００…携帯電話、３００…メール送受信サーバ、４００…通話路、５００…メール読上げシステム。

Claims (5)

1. メール読上げ装置と携帯電話端末とからなるメール読上げシステムにおいて、
   前記メール読上げ装置は、前記携帯電話端末が有するメール読上げの機能ブロック情報と嗜好情報とを取得して、自装置の負荷状態と前記機能ブロック情報と前記嗜好情報とに基づいて前記携帯電話端末への割当可能なパターンの評価値を演算して、演算された評価値に基づいて割当てパターンを決定し、決定した割当てパターンを前記携帯電話端末に通知し、前記携帯電話端末との間でメール読上げの処理を割当てることを特徴とするメール読上げシステム。
2. 請求項１に記載のメール読上げシステムであって、
   前記携帯電話端末は、受信した前記割当てパターンに基づいて、音声を再生することを特徴とするメール読上げシステム。
3. 第１のコンピュータと第２のコンピュータとを、
   相手コンピュータとの機能ブロック割当てを行なう機能ブロック割当て部として、動作させ、
   前記第１のコンピュータまたは前記第２のコンピュータを、
   メールから本文を切出す本文切出部、
   前記本文の構造を解析する言語解析部、
   構造を解析された本文に抑揚情報を付与する抑揚計算部、
   前記構造を解析された本文と前記抑揚情報に基づいて、音声データを作成する素片結合部、
   前記音声データを再生する音声再生部、
   として機能させるためのプログラム。
4. コンピュータを、
   相手コンピュータとの機能ブロック割当てを行なう機能ブロック割当て部、
   メールから本文を切出す本文切出部、
   前記本文の構造を解析する言語解析部、
   構造を解析された本文に抑揚情報を付与する抑揚計算部、
   前記構造を解析された本文と前記抑揚情報に基づいて、音声データを作成する素片結合部、
   前記音声データを再生する音声再生部、
   として機能させるためのプログラム。
5. 請求項４に記載のプログラムであって、
   前記コンピュータを、さらに、
   前記相手コンピュータの応答時間を測定する応答時間測定部として機能させるためのプログラム。

Images