JP2008046951A - 電子文書生成システム、サーバ装置、端末装置、電子文書生成方法、サーバ装置用プログラム及び端末装置用プログラム - Google Patents

Abstract

【課題】文章情報が示す内容を臨場感あふれる態様でユーザに提示する電子文書を簡単に作る。
【解決手段】サーバ装置は、ユーザに対して端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備え、前記端末装置は、文章情報を記憶する文章情報記憶手段と、前記提示情報を、ネットワークを介して前記サーバ装置から取得する提示情報取得手段と、前記記憶された文章情報と、前記取得された提示情報と、に基づいて、電子文書を生成する生成手段と、前記生成された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示手段と、を備え、前記端末装置の前記生成手段は、前記提示手段により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記提示手段により提示させる制御情報を含む電子文書を生成する。
【選択図】図６

Description

本発明は、電子文書を生成する電子文書生成システム、サーバ装置、文字情報により構成される文章情報をユーザに提示する端末装置、電子文書生成方法、サーバ装置用プログラム及び端末装置用プログラムの技術分野に関する。

従来から、ユーザからの指示等に基づいて、例えば、小説、詩、メッセージ、日記、論文、会議文書、手紙、標語等（以下、小説等と称する）の内容を示すテキストデータ等の文章情報を生成する携帯電話機等の端末装置が知られている。具体的に、この種の端末装置は、例えば、キー操作等によりユーザが入力した文字に基づいて文章情報を生成したり、音声認識処理によりユーザの発話音声を解析してユーザの話した言葉を認識し、その認識した言葉に基づいて文章情報を生成するようになっている。

そして、生成された文章情報は、例えば、端末装置の画面に表示されること等によりユーザに対して提示されるようになっている。これにより、ユーザは、端末装置を用いて小説等を楽しむことができる。

こうした端末装置による文章情報の提示の際において、その文章情報の内容等に応じて画像が表示されたり、また効果音等が拡声出力されれば、臨場感が増してより小説等を楽しむことができる。

これに関連する技術として、例えば、特許文献１には、テキストデータを解析して、登場人物Ａのセリフ、登場人物Ｃのセリフ、ナレーション等のようなテキストデータの各部分の読み上げに割り当てる音声キャラクタをユーザに選択させ、これによりテキストデータを、ナレーションや登場人物毎に異なるキャラクタの音声を出力しながら朗読する方法が開示されている。

特開２００３−１２２３８４号公報

しかしながら、上述した従来の技術では、テキストデータが示す内容や、その進行状況等にかかわらず、セリフやナレーション毎に朗読音声の音色が変化するだけであるため、単調となるおそれがある。また、ナレーションや登場人物夫々に適応した音声キャラクタを複数のキャラクタの中からユーザが探し出さなければならないため、音声キャラクタの割り当てが面倒である。

本発明は、以上の点に鑑みてなされたものであり、文章情報が示す内容を臨場感あふれる態様でユーザに提示する電子文書を簡単に作ることができる電子文書生成システム、サーバ装置、端末装置、電子文書生成方法、サーバ装置用プログラム及び端末装置用プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、文字情報により構成される文章情報をユーザに提示する端末装置と、前記端末装置がネットワークを介して接続可能なサーバ装置と、を備える電子文書生成システムであって、前記サーバ装置は、前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備え、前記端末装置は、前記文章情報を記憶する文章情報記憶手段と、前記記憶された提示情報を、前記ネットワークを介して前記サーバ装置から取得する提示情報取得手段と、前記記憶された文章情報と、前記取得された提示情報と、に基づいて、電子文書を生成する生成手段と、前記生成された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示手段と、を備え、前記端末装置の前記生成手段は、前記提示手段により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記提示手段により提示させる制御情報を含む電子文書を生成することを特徴とする。

この発明によれば、端末装置において記憶された文章情報に含まれる文字情報に関連する提示情報が、当該文字情報の提示状況に適応して提示されるように電子文書が生成されるので、文章情報が示す内容を、当該文章情報と提示情報とにより臨場感あふれる態様でユーザに提示することができる電子文書を簡単に作ることができる。

請求項２に記載の発明は、請求項１に記載の電子文書生成システムにおいて、前記サーバ装置は、前記ネットワークを介して前記端末装置から前記文章情報を取得する文章情報取得手段と、所定の条件に基づいて、前記取得された文章情報から文字情報を抽出する抽出手段と、前記区分された文字情報が示す言葉に関連する前記提示情報を前記提示情報記憶手段から検索する検索手段と、を更に備え、前記端末装置の前記提示情報取得手段は、前記検索された提示情報を取得することを特徴とする。

この発明によれば、サーバ装置により、所定の条件に基づいて文字情報を抽出し、当該文字情報に関連する提示情報を検索するので、電子文書生成時における端末装置の負荷を低減することができる。

請求項３に記載の発明は、請求項１または請求項２に記載の電子文書生成システムにおいて、前記サーバ装置の前記提示情報記憶手段は、同一の言葉に関連する複数の前記提示情報を当該言葉に対応付けて記憶し、前記端末装置は、前記ユーザからの指示を指示情報として入力するための指示入力手段を更に備え、前記端末装置の前記提示情報取得手段は、前記記憶された文章情報に含まれる文字情報が示す言葉に関連する前記提示情報を取得し、前記端末装置の前記生成手段は、前記提示情報取得手段により同一の言葉に関連する前記提示情報が複数取得された場合には、当該複数の提示情報のうち、前記入力された指示情報に基づいて選択された提示情報を前記提示手段により提示させるように前記制御情報を生成することを特徴とする。

この発明によれば、文章情報に含まれる文字情報の提示状況に適応して提示する提示情報を、当該文字情報に関連する複数の提示情報の中からユーザが任意に選択することができるのので、電子文書の生成の自由度が向上する。

請求項４に記載の発明は、文字情報により構成される文章情報をユーザに提示する端末装置と、前記端末装置がネットワークを介して接続可能なサーバ装置と、を備える電子文書生成システムであって、前記サーバ装置は、前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段と、前記ネットワークを介して前記端末装置から前記文章情報を取得する文章情報取得手段と、前記取得された文章情報と、前記記憶された提示情報と、に基づいて、前記端末装置により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記端末装置により提示させる制御情報を含む電子文書を生成する生成手段と、前記端末装置は、前記文章情報を記憶する文章情報記憶手段と、前記生成された電子文書を、前記ネットワークを介して前記サーバ装置から取得する電子文書取得手段と、前記取得された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示手段と、を備えることを特徴とする。

この発明によれば、端末装置において記憶された文章情報に含まれる文字情報に関連する提示情報が、当該文字情報の提示状況に適応して提示されるように電子文書が生成されるので、文章情報が示す内容を、当該文章情報と提示情報とにより臨場感あふれる態様でユーザに提示することができる電子文書を簡単に作ることができる。

請求項５に記載の発明は、請求項４に記載の電子文書生成システムにおいて、前記サーバ装置は、所定の条件に基づいて、前記取得された文章情報から文字情報を抽出する抽出手段と、前記区分された文字情報が示す言葉に関連する前記提示情報を前記提示情報記憶手段から検索する検索手段と、を更に備え、前記サーバ装置の前記生成手段は、前記取得された文章情報と、前記検索された提示情報と、に基づいて前記電子文書を生成することを特徴とする。

この発明によれば、サーバ装置により、所定の条件に基づいて文字情報を抽出し、当該文字情報に関連する提示情報を検索するので、電子文書生成時における端末装置の負荷を低減することができる。

請求項６に記載の発明は請求項４または請求項５に記載の電子文書生成システムにおいて、前記サーバ装置は、前記入力された指示情報を前記端末装置から前記ネットワークを介して取得する指示情報取得手段を更に備え、前記サーバ装置の前記提示情報記憶手段は、同一の言葉に関連する複数の前記提示情報を当該言葉に対応付けて記憶し、前記端末装置は、前記ユーザからの指示を指示情報として入力するための指示入力手段を更に備え、前記端末装置の前記生成手段は、前記取得された文章情報に含まれる文字情報が示す言葉に関連する前記提示情報を前記提示情報記憶手段が複数記憶している場合には、当該複数の提示情報のうち、前記取得された指示情報に基づいて選択された提示情報を前記提示手段により提示させる前記制御情報を生成することを特徴とする。

この発明によれば、文章情報に含まれる文字情報の提示状況に適応して提示する提示情報を、当該文字情報に関連する複数の提示情報の中からユーザが任意に選択することができるのので、電子文書の生成の自由度が向上する。

請求項７に記載の発明は、請求項１乃至６のいずれか１項に記載の電子文書生成システムにおいて、前記端末装置の前記提示手段は、前記文章情報に含まれる文字情報が示す言葉に関連する前記提示情報を、当該文字情報が実際に提示されているときと、当該文字情報の提示が開始される前と、当該文字情報の提示が終了した後と、の少なくともいずれか一のタイミングで提示することを特徴とする。

この発明によれば、文章情報に含まれる文字情報の提示状況に適応して、当該文字情報が示す言葉に関連する提示情報が適切なタイミングで提示されるので、より臨場感を向上させることができる。

請求項８に記載の発明は、請求項１乃至７のいずれか１項に記載の電子文書生成システムにおいて、前記提示情報記憶手段に記憶された複数の提示情報には、画像情報と、音情報と、が含まれており、前記端末装置の前記提示手段は、前記文章情報と、前記画像情報と、を画面に表示する表示手段と、前記音情報に対応する音を出力する音出力手段と、前記電子文書に基づいて、前記表示手段と、前記音出力手段と、を制御する制御手段と、を備えることを特徴とする。

この発明によれば、文章情報に含まれる文字情報の表示状況に適応して、当該文字情報が示す言葉に関連する画像情報を表示し、または、当該文字情報が示す言葉に関連する音声情報に対応する音が出力されるので、文章情報が示す内容を、画像及び音により臨場感あふれる態様でユーザに提示することができる。

請求項９に記載の発明は、請求項１乃至７のいずれか１項に記載の電子文書生成システムにおいて、前記提示情報記憶手段に記憶された複数の提示情報には、匂いを示す匂い情報が含まれており、前記端末装置の前記提示手段は、前記文章情報を画面に表示する表示手段と、前記匂い情報に対応する匂い物質を拡散させる拡散手段と、前記電子文書に基づいて、前記表示手段と、前記拡散手段と、を制御する制御手段と、を更に備えることを特徴とする。

この発明によれば、文章情報に含まれる文字情報の表示状況に適応して、当該文字情報が示す言葉に関連する匂い物質が拡散するので、文章情報が示す内容を、匂いにより臨場感あふれる態様でユーザに提示することができる。

請求項１０に記載の発明は、請求項１乃至７のいずれか１項に記載の電子文書生成システムにおいて、前記提示情報記憶手段に記憶された複数の提示情報には、振動を示す振動情報が含まれており、前記端末装置の前記提示手段は、前記文章情報を画面に表示する表示手段と、前記振動情報に対応して前記ユーザが触れる部材を振動させる振動手段と、前記電子文書に基づいて、前記表示手段と、前記振動手段と、を制御する制御手段と、を更に備えることを特徴とする。

この発明によれば、文章情報に含まれる文字情報の表示状況に適応して、当該文字情報が示す言葉に対応してユーザが触れる部材が振動するので、文章情報が示す内容を、振動により臨場感あふれる態様でユーザに提示することができる。

請求項１１に記載の発明は、請求項１乃至１０のいずれか１項に記載の電子文書生成システムにおいて、前記端末装置は、前記ユーザの発話音声を入力するための音声入力手段と、前記入力された音声に基づいて前記ユーザにより発せられた言葉を認識する音声認識処理を行う認識手段と、前記認識された言葉に基づいて前記文章情報を生成する文章情報生成手段と、を更に備え、前記前記文章情報記憶手段は、前記生成された文章情報を記憶することを特徴とする。

この発明によれば、ユーザにより発せられた言葉に対応する文章情報が生成され、当該文章情報に基づいて電子文書が生成されるので、ユーザは、電子文書の基となる文章情報を生成するために煩雑な操作を行う必要が無い。

請求項１２に記載の発明は、文字情報により構成される文章情報をユーザに提示する端末装置と、前記端末装置がネットワークを介して接続可能なサーバ装置であって、前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備えるサーバ装置と、を備える電子文書生成システムにおける電子文書生成方法であって、前記端末装置が、前記文章情報を記憶する文章情報記憶工程と、前記端末装置が、前記記憶された提示情報を、前記ネットワークを介して前記サーバ装置から取得する提示情報取得工程と、前記端末装置が、前記記憶された文章情報と、前記取得された提示情報と、に基づいて、電子文書を生成する生成工程と、前記端末装置が、前記生成された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示工程と、を備え、前記生成工程は、前記提示工程において前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記提示工程において提示させる制御情報を含む電子文書を生成することを特徴とする。

請求項１３に記載の発明は、文字情報により構成される文章情報をユーザに提示する端末装置と、前記端末装置がネットワークを介して接続可能なサーバ装置であって、前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備えるサーバ装置と、を備える電子文書生成システムにおける電子文書生成方法であって、前記サーバ装置が、前記ネットワークを介して前記端末装置から前記文章情報を取得する文章情報取得工程と、前記サーバ装置が、前記取得された文章情報と、前記記憶された提示情報と、に基づいて、前記端末装置により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記端末装置により提示させる制御情報を含む電子文書を生成する生成工程と、前記端末装置が、前記生成された電子文書を、前記ネットワークを介して前記サーバ装置から取得する電子文書取得工程と、前記サーバ装置が、前記取得された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示工程と、を備えることを特徴とする。

請求項１４に記載の発明は、文字情報により構成される文章情報をユーザに提示する端末装置がネットワークを介して接続可能なサーバ装置であって、前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備え、前記文章情報と前記記憶された提示情報とは、前記端末装置により電子文書を生成するために用いられ、前記電子文書は、前記端末装置により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記端末装置により提示させる制御情報を含むことを特徴とする。

請求項１５に記載の発明は、文字情報により構成される文章情報をユーザに提示する端末装置がネットワークを介して接続可能なサーバ装置であって、前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段と、前記ネットワークを介して前記端末装置から前記文章情報を取得する文章情報取得手段と、前記取得された文章情報と、前記記憶された提示情報と、に基づいて、前記端末装置により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記端末装置により提示させる制御情報を含む電子文書を生成する生成手段と、を備えることを特徴とする。

請求項１６に記載の発明は、文字情報により構成される文章情報をユーザに提示する端末装置であって、前記文章情報を記憶する文章情報記憶手段と、関連する言葉に対応付けて前記サーバ装置の提示情報記憶手段に記憶された提示情報を、ネットワークを介してサーバ装置から取得する提示情報取得手段と、前記記憶された文章情報と、前記取得された提示情報と、に基づいて、電子文書を生成する生成手段と、前記生成された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示手段と、を備え、前記生成手段は、前記提示手段により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記提示手段により提示させる制御情報を含む電子文書を生成することを特徴とする。

請求項１７に記載の発明は、文字情報により構成される文章情報をユーザに提示する端末装置であって、前記文章情報を記憶する文章情報記憶手段と、ネットワークを介してサーバ装置から電子文書を取得する電子文書取得手段と、前記取得された電子文書に基づいて、前記文章情報と、当該文章情報に含まれる文字情報が示す言葉に関連する提示情報と、を前記ユーザに提示する提示手段と、を備え、前記電子文書は、前記記憶された文章情報と、関連する言葉に対応付けて前記サーバ装置の提示情報記憶手段に記憶された前記提示情報と、に基づいて前記サーバ装置に生成され、且つ前記提示手段により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記前記提示手段により提示させる制御情報を含むこと特徴とする。

請求項１８に記載の発明は、コンピュータを、請求項１４または請求項１５に記載のサーバ装置として機能させることを特徴とする。

請求項１９に記載の発明は、コンピュータを、請求項１６または請求項１７に記載の端末装置として機能させることを特徴とする。

本発明によれば、端末装置において記憶された文章情報に含まれる文字情報に関連する提示情報が、当該文字情報の提示状況に適応して提示されるように電子文書が生成されるので、文章情報が示す内容を、当該文章情報と提示情報とにより臨場感あふれる態様でユーザに提示することができる電子文書を簡単に作ることができる。

以下、図面を参照して本発明の最良の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、電子文書生成システムに対して本発明を適用した場合の実施形態である。

［１．電子文書生成システムの構成及び機能概要］
先ず、本実施形態に係る電子文書生成システムＳの構成及び機能概要について、図１を用いて説明する。

図１は、本実施形態に係る電子文書生成システムＳの概要構成の一例を示す図である。

図１に示すように、電子文書生成システムＳは、端末装置の一例としての複数の携帯電話機Ｐｋ（ｋ＝１，２・・・ｎ）と、画像・音声ＤＢ（データベース）１０１及び電子文書ＤＢ１０２を備えるサーバ装置の一例としての電子文書サーバＤＳと、を含んで構成されている。

携帯電話機Ｐｋと、電子文書サーバＤＳとは、ネットワークＮＷを介して相互にデータの送受信が可能（例えば、通信プロトコルにＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）を用いて、相互にデータの送受信が可能）になっている。なお、ネットワークＮＷは、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（無線基地局等を含む）、及びゲートウェイ等により構築されている。

上述した構成を有する電子文書生成システムＳにおいて、携帯電話機Ｐｋは、電子文書を再生するようになっている。この電子文書は、携帯電話機Ｐｋに記憶されたテキストデータ（文章情報の一例）と、画像・音声ＤＢ１０１に登録されている画像データ（文章情報の一例）及び音声データ（提示情報の一例）と、に基づき、携帯電話機Ｐｋまたは電子文書サーバＤＳにより生成されるようになっている。

具体的には、テキストデータに含まれる文字情報が示す単語（言葉の一例）と、その単語の意味内容に関連する画像データや音声データと、の対応付けがなされることにより電子文書が作成されるようになっている。この対応付けを含む電子文書の生成は、自動的に行うことも、手動（単語に対応付ける画像データや音声データをユーザが選択する）で行うことも可能である。なお、電子文書を自動的に生成する場合には、電子文書サーバＤＳ側において生成が行われ、電子文書を手動で生成する場合には、携帯電話機Ｐｋ側において生成が行われるようになっている。

電子文書の作成に用いられるテキストデータは、携帯電話機Ｐｋがユーザの発話音声を入力して音声認識処理を行うことにより成され、または、ユーザがキー操作等することで入力された文字情報に基づいて作成されるようになっている。作成されるテキストデータが示す文章の内容あるいは表現形式は、ユーザの任意であり、例えば、小説、随筆、詩、短歌、歌詞、日記、作文、論文、会議文書、手紙、はがきの文面、メッセージ、標語等、文章で表現されるものであれば制限は無い。また、テキストデータが示す文章は、複数の文から構成されるものは勿論のこと、一つの文のみで構成されるものであっても良く、例えば、「ハッピーバースデー！」等というようなメッセージのみであっても良い。

生成された電子文書が携帯電話機Ｐｋにより再生されると、テキストデータが携帯電話機Ｐｋの画面に表示されるとともに、テキストデータが示す文章の内容の進行状況に応じて画像データが画面に表示されたり、音声データに対応する音声が拡声出力されることにより、ユーザは、テキストデータが示す文章の内容を、臨場感あふれる態様で楽しむことができる。

また、生成された電子文書は、電子文書サーバＤＳにより電子文書データベース１０２に登録されるようになっており、登録された電子文書は、他の携帯電話機Ｐｋがダウンロードできるようになっている。

なお、以下の説明においては、画像データの画面表示及び音声データに対応する音声の拡声出力を、夫々、画像データの再生及び音声データの再生ともいう。

［２．電子文書サーバの構成及び機能等］
次に、電子文書サーバＤＳの構成及び機能について、図２乃至図４を用いて説明する。

図２は、本実施形態に係る電子文書サーバＤＳの構成の概要例を示すブロック図である。また、図３は、本実施形態に係る画像・音声ＤＢ１０１の構造の一例を示す図である。また、図４は、本実施形態に係る電子文書の構造の一例を概念的に示す図である。

図２に示すように、電子文書サーバＤＳは、ネットワークＮＷに接続して携帯電話機Ｐｋとの通信を制御する通信部１１と、各種プログラム及びデータ等を記憶するとともに、各種データベースが構築されている提示情報記憶手段の一例としての記憶部１２（例えば、ハードディスクドライブ等）と、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える文章情報取得手段、抽出手段、検索手段及び生成手段の一例としてのシステム制御部１３と、を備え、システム制御部１３と各部とはシステムバス１４を介して相互に接続されている。

記憶部１２には、画像・音声ＤＢ１０１及び電子文書ＤＢ１０２が構築されている。

先ず、画像・音声ＤＢ１０１には、図３に示すように、名詞と動詞とに区分されて、単語毎にその単語の意味内容に関連する画像データや音声データが対応付けて登録されている。例えば、「母さん」に対応付けられる画像データは、一般的な母親をイメージさせる女性の容姿を表現した画像データであり、また、「母さん」に対応付けられる音声データは、例えば、母親について歌っている曲のデータである。

一つの単語には、複数の画像データ、または複数の音声データが対応付けられていても良い。例えば、「誕生日」には、バースデーケーキを表現した画像データと、バースデープレゼントを表現した画像データと、が対応付けられている。また、各単語は、画像データ及び音声データ双方に対応付けられていても良いし、画像データのみまたは音声データのみが対応付けられていても良い。

画像データ及び音声データには夫々優先順位が設定されている。優先順位は、電子文書の作成の際に、テキストデータ中の単語に関連する画像データや音声データを自動的にその単語に対応付けるために用いられる情報であり、単語の意味内容と関連性の高いもの、あるいは、単語の意味内容から連想されるものとして一般的なものほど高く設定されるようになっている。この優先順位は、例えば、電子文書生成システムＳの管理者等により予め設定されたり、電子文書の作成の際に、テキストデータ中の単語に対応付ける画像データまたは音声データとしてユーザに選択された回数が多いデータほど優先順位が高く設定されるようになっている。図３に示す例では、優先順位として「１」が最も高く、「２」、「３」となるに従って優先順位が低くなっている。

なお、画像データのデータ形式は任意であり、その画像の種類は静止画でも動画でも良い。また、音声データの形式も任意であり、その音声の種類も、例えば、音楽、効果音、人の音声等、特に制限は無い。

次に、電子文書ＤＢ１０２には、図４に示す構造を有する電子文書が複数登録されている。各電子文書は、電子文書生成システムＳを利用可能なユーザを識別するためのユーザＩＤ（Identification）に対応付けて、その電子文書を作成したユーザ（電子文書を生成するための操作を行ったユーザ）毎に登録されている。各電子文書は、ＵＲＬ（Uniform Resource Locator）によりその登録位置を特定することができるようになっている。

図４に示すように、電子文書は、大別して、テキストデータと、画像データと、音声データと、により構成されている。

テキストデータは、例えば、ＸＭＬ（eXtensible Markup Language）形式のデータであり、ユーザにより入力等された文字情報と、マークデータ５１（制御情報の一例）と、区切りデータ５２と、により構成されている。

マークデータ５１は、テキストデータ中の単語とその単語に関連する画像データや音声データとの対応付けを規定している。例えば、図中、「帰って」という単語には、画像データ８と音声データ５とが対応付けられている。マークデータ５１は、テキストデータ中の全ての単語に対して埋め込まれているのではなく、名詞及び動詞の一部に対して埋め込まれるようになっている。なお、一つの単語に画像データ及び音声データ双方と対応付けられていても良いし、画像データのみまたは音声データのみが対応付けられていても良い。

区切りデータ５２は、テキストデータ中の文章の段落の区切りを示している。この区切りデータ５２の埋め込み位置は、ユーザが任意に決定しても良いし、自動的に決定しても良い（例えば、文毎に区切る等）。区切りデータ５２により区切られた夫々の段落には、マークデータ５１により、画像データと音声データとが夫々一つずつまで割り当てられるようになっている。

電子文書ＤＢ１０２には、登録されている各電子文書に対応付けて更に配信設定情報が登録されている。配信設定情報は、例えば、公開許否情報、配信日時、配信先電子メールアドレス等により構成されている。

公開許否情報は、対応付けられた電子文書を作成したユーザを除く他のユーザに対して、当該電子文書のダウンロードを許可するか否かを示す情報であり、当該情報に「許可」が設定されている場合には、対象の電子文書を他のユーザが携帯電話機Ｐｋを用いて自由にダウンロードすることが可能であり、当該情報に「不可」が設定されている場合には、対象の電子文書を他のユーザはダウンロードすることはできないようになっている。配信日時及び配信先電子メールアドレスは、特定の日時に特定の相手に電子文書を配信するための情報である。

システム制御部１３は、ＣＰＵが、ＲＯＭや記憶部１２に記憶された各種プログラム（例えば、オペレーティングシステム、電子文書作成処理プログラム等）を読み出し実行することにより当該サーバ全体を制御するとともに、文章情報取得手段、抽出手段、検索手段及び生成手段として機能するようになっている。

具体的に、文章情報取得手段としてのシステム制御部１３は、携帯電話機Ｐｋから送信されたテキストデータ（ユーザが携帯電話機Ｐｋを用いて作成したテキストデータの全部または一部）を受信するようになっている。

また、抽出手段としてのシステム制御部１３は、携帯電話機Ｐｋからから受信されたテキストデータに対して文章解析処理を実行することにより、テキストデータに含まれる文字情報を単語毎に区分し、単語毎に区分された文字情報のうち、名詞と動詞のみを抽出するようになっている。

更に、検索手段としてのシステム制御部１３は、抽出された文字情報が示す単語をキーワードとして、当該単語に関連する画像データ及び音声データを画像・音声ＤＢ１０１から検索するようになっている。このとき、システム制御部１３は、電子文書を携帯電話機Ｐｋ側で生成する場合には、関連する画像データ及び音声データを全て検索する一方、電子文書を電子文書サーバＤＳ側で生成する場合には、関連する画像データ及び音声データのうち優先順位の最も高い画像データ及び音声データのみを検索するようになっている。

そして、システム制御部１３は、電子文書を携帯電話機Ｐｋ側で生成する場合に、検索された画像データ及び音声データを携帯電話機Ｐｋに送信する。一方、生成手段としてのシステム制御部１３は、電子文書を電子文書サーバＤＳ側で生成する場合に、検索された画像データ及び音声データを関連する単語に対応付けるために、受信されたテキストデータにマークデータ５１を埋め込むとともに、当該テキストデータと、検索された画像データ及び音声データとにより電子文書を生成するようになっている。

なお、各種プログラム等は、例えば、他のサーバからダウンロードされるようにしても良いし、ＣＤ−ＲＯＭ等の記録媒体に記録されてドライブを介して読み込まれるようにしても良い。

［３．携帯電話機の構成及び機能等］
次に、携帯電話機Ｐｋの構成及び機能について、図５を用いて説明する。

図５は、本実施形態に係る携帯電話機Ｐｋの概要構成の一例を示すブロック図である。

図５に示すように、携帯電話機Ｐｋは、基地局との電波送受信によりネットワークＮＷに接続して、他の携帯電話機Ｐｋやサーバ等との通信を制御する無線通信部２１と、例えば、マイクロホン、Ａ／Ｄ変換器等を有し、ユーザの発話音声等をマイクロホンから入力すると当該音声に対応した音声データを生成して無線通信部２１に出力する音声入力手段の一例としての音声入力部２２と、例えば、スピーカ、増幅回路等を有し、無線通信部２１から供給された音声データに対応する音声や、記憶部２６に記憶された楽曲データ等に対応する音声等を生成してスピーカにより拡声する音出力手段の一例としての音声出力部２３と、を備え、他の携帯電話機との通話やサーバ等とのデータ通信が可能となっている。かかる通信方式には、例えば、ＰＤＣ（Personal Digital Cellular）方式や、ＩＭＴ（International Mobile Telecommunication）方式、ＰＨＳ（Personal Handyphone System）方式等が採用されている。

また、携帯電話機Ｐｋは、文字や画像等の情報を画面に表示する表示手段の一例としての表示部２４（例えば、液晶ディスプレイ、有機ＥＬディスプレイ等）と、ユーザからの操作指示の入力を受け付け、その指示内容を指示信号（指示情報の一例）としてシステム制御部２７に出力する指示入力手段の一例としての操作部２５（例えば、テンキー、操作ボタン等）と、を備えている。

更に、携帯電話機Ｐｋは、各種プログラム及びデータ等を記憶する文章情報記憶手段の一例としての記憶部２６（例えば、フラッシュメモリ等）を備えている。

更にまた、携帯電話機Ｐｋは、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える認識手段、文章情報生成手段、提示情報取得手段、生成手段、電子文書取得手段、制御手段の一例としてのシステム制御部２７を備え、システム制御部２７と各部とはシステムバス２８を介して相互に接続されている。

ここで、音声出力部２３、表示部２４及びシステム制御部２７は、提示手段の一例を構成する。

システム制御部２７は、ＣＰＵが、ＲＯＭや記憶部２６に記憶された各種プログラムを読み出し実行することにより携帯電話機Ｐｋ全体を制御するとともに、上記各手段として機能するようになっている。

具体的に、認識手段としてのシステム制御部２７は、音声入力部２２により生成されたユーザの発話音声に対応する音声データをＲＡＭ等に記憶させつつ、当該記憶された音声データを音声認識処理により解析してユーザの発した言葉を認識する。

また、文章情報生成手段としてのシステム制御部２７は、認識した言葉に対応する文字情報を生成し、当該文字情報により構成されるテキストデータを生成して記憶部２６に記憶するようになっている。

また、提示情報取得手段としてのシステム制御部２７は、電子文書を携帯電話機Ｐｋ側で生成する場合に、生成されたテキストデータに含まれる文字情報が示す単語に関連する画像データ及び音声データを電子文書サーバＤＳから取得するようになっている。より詳細に、システム制御部２７は、生成されたテキストデータを電子文書サーバＤＳに送信するとともに、当該テキストデータに基づき電子文書サーバＤＳにより検索された画像データ及び音声データを受信するようになっている。

そして、生成手段としてのシステム制御部２７は、電子文書サーバＤＳから取得された画像データ及び音声データを関連する単語に対応付けるために、テキストデータにマークデータ５１を埋め込むとともに、当該テキストデータと、検索された画像データ及び音声データとにより電子文書を生成するようになっている。

一方、電子文書取得手段としてのシステム制御部１３は、電子文書を電子文書サーバＤＳ側で生成する場合に、その生成された電子文書を電子文書サーバＤＳから受信するようになっている。

また、制御手段としてのシステム制御部２７は、生成された電子文書に含まれるテキストデータ、画像データ及び音声データを、当該テキストデータに埋め込まれたマークデータ５１及び区切りデータ５２に基づいて再生するようになっている。より詳細に、システム制御部２７は、例えば、テキストデータに含まれる文字情報を、区切りデータ５２により区切られた段落の文字情報単位で画面に表示させるとともに、現在画面に表示されている文字情報の少なくとも一部が示す単語に関連する画像データ及び音声データを再生するように表示部２４及び音声出力部２３を制御するようになっている。

なお、各種プログラム等は、例えば、電子文書サーバＤＳからダウンロードされるようにしても良いし、予め記憶部２６等に記憶しておくようにしても良い。

［４．電子文書生成システムの動作］
次に、電子文書生成システムＳの動作について、図６乃至図１０を用いて説明する。

はじめに、電子文書を生成する場合の動作について説明するが、先ず、電子文書サーバＤＳ側で電子文書を自動的に生成する場合について説明し、その後、携帯電話機Ｐｋ側で手動により電子文書を生成する場合について説明する。

図６は、本実施形態に係る電子文書生成システムＳの電子文書自動生成時における処理の一例を示すフローチャートである。

図６に示すように、先ず、携帯電話機Ｐｋは、ユーザの発話音声を入力する（ステップＳ１）。具体的に、ユーザが操作部２５の所定のキー等を操作して音声入力の開始を指示してから、音声入力の終了を指示するまでの間、ユーザの発話音声が音声入力部２２から音声データとして入力されてシステム制御部２７のＲＡＭ等に一時的に記憶される。

次いで、携帯電話機Ｐｋは、ＲＡＭ等に記憶された音声データを解析してユーザの発した言葉を認識する（ステップＳ２）、そして、携帯電話機Ｐｋは、当該認識した言葉を文字情報化した後、その最後に区切りデータ５２を埋め込み、テキストデータの一つの段落の文字情報として記憶部２６に記憶する（ステップＳ３）。

そして、携帯電話機Ｐｋは、ユーザが操作部２５を操作して電子文書の生成を指示したか否かを判定し（ステップＳ４）、電子文書の生成を指示した場合は（ステップＳ４：ＹＥＳ）、ステップＳ５に移行し、音声入力の続行を指示した場合、すなわち電子文書の生成を指示しなかった場合は（ステップＳ４：ＮＯ）、ステップＳ１に移行する。

ユーザが電子文書の生成を指示した場合は、ステップＳ１〜Ｓ３の処理が実行されることにより、更にユーザの発した音声に対応する新たな段落の文字情報が、既に生成されているテキストデータに追加される。

一方、ユーザが電子文書の生成を指示した場合は、携帯電話機Ｐｋは、テキストデータの生成を終了させ、記憶部２６に記憶されたテキストデータを電子文書サーバＤＳに送信する（ステップＳ５）。

テキストデータを受信した電子文書サーバＤＳは（ステップＳ２１）、テキストデータ中の区切りデータ５２により区切られた段落のうち、先頭の段落の文字情報に対して文章解析処理を実行し、名詞と動詞のみを抽出する（ステップＳ２２）。

次いで、電子文書サーバＤＳは、抽出された名詞及び動詞の少なくともいずれか一つに関する画像データと音声データとを一つずつ検索する（ステップＳ２３）。具体的に、電子文書サーバＤＳは、先ず、抽出された名詞に関連する画像データ及び音声データのうち優先順位が最も高いデータを、抽出された名詞順に検索する。そして、電子文書サーバＤＳは、抽出された同士に関連する画像データ及び音声データのうち優先順位が最も高いデータを、抽出された動詞順に検索する。このとき、電子文書サーバＤＳは、関連する画像データと音声データとが一つずつ検索された時点で検索を終了する。つまり、電子文書サーバＤＳは、抽出された名詞と動詞のうち、名詞を優先して、関連する画像データ及び音声データを検索する。なお、単語に関連する画像データ及び音声データを検索する際には、所謂、あいまい検索を行っても良い。

次いで、電子文書サーバＤＳは、検索された画像データ及び音声データを関連する名詞または動詞に対応付けるマークデータ５１を、テキストデータ中における最初の段落中の該当する位置に埋め込む（ステップＳ２４）。なお、ステップＳ２３において、画像データまたは音声データが検索できなかった場合には、その検索できなかったデータの対応付けは行われない。

次いで、電子文書サーバＤＳは、テキストデータの最後の段落に対する処理が終了したか否かを判定し（ステップＳ２５）、処理が終了していない場合は（ステップＳ２５：ＮＯ）、ステップＳ２２に移行して次の段落に対して処理を続行し、最後の段落に対する処理が終了した場合は（ステップＳ２５：ＹＥＳ）、ステップＳ２６に移行する。

電子文書サーバＤＳは、ステップＳ２２〜Ｓ２５の処理を繰り返すことにより、テキストデータ中の最初の段落から最後の段落に対し、文章解析、画像データ及び音声データの検索、マークデータ５１の埋め込みを行う。

テキストデータの最後の段落に対する処理が終了すると、電子文書サーバＤＳは、マークデータ５１が埋め込まれたテキストデータと、検索された画像データ及び音声データを結合して電子文書を生成する（ステップＳ２６）。

次いで、電子文書サーバＤＳは、生成された電子文書を、携帯電話機ＰｋのユーザのユーザＩＤに対応付けて電子文書ＤＢ１０２に登録し（ステップＳ２７）、その電子文書を携帯電話機Ｐｋに送信した後（ステップＳ２８）、処理を終了する。

電子文書を受信した携帯電話機Ｐｋは（ステップＳ６）、ユーザによる操作部２５の操作に応じて電子文書を再生する（ステップＳ７）。なお、電子文書の再生処理の詳細については後述する。

次に、電子文書を手動で生成する場合の動作について説明する。

図７は、本実施形態に係る電子文書生成システムＳの電子文書手動生成時における処理の一例を示すフローチャートであり、同図において図６と同様の要素については同様の符号を付してある。また、図８は、選択処理画面の一例を示す図である。

図７に示すように、携帯電話機Ｐｋは、ユーザの発話音声を入力して音声認識処理を実行し、ユーザの発した言葉を文字情報化する（ステップＳ１〜Ｓ３）。

次いで、携帯電話機Ｐｋは、記憶部２６に記憶されたテキストデータのうち、直前のステップＳ３の処理において文字情報化されたばかりの段落分（文章解析が未だ実施されていない段落）のみを電子文書サーバＤＳに送信する（ステップＳ４１）。

テキストデータを受信した電子文書サーバＤＳは（ステップＳ２１）、当該テキストデータに対して、文章解析処理により名詞と動詞の抽出を行う（ステップＳ２２）。

そして、電子文書サーバＤＳは、抽出された名詞及び動詞に関連する全ての画像データ及び音声データをその優先順位に関係なく検索する（ステップＳ６１）。

次いで、電子文書サーバＤＳは、検索された画像データ及び音声データを、夫々関連する単語と対応付けて携帯電話機Ｐｋに送信する（ステップＳ６２）。

そして、電子文書サーバＤＳは、携帯電話機Ｐｋから電子文書を受信したか否かを判定し（ステップＳ６３）、電子文書を受信していない場合は（ステップＳ６３：ＮＯ）、ステップＳ２１に移行する。

一方、画像データ及び音声データを受信した携帯電話機Ｐｋは（ステップＳ４２）、いま文字情報化された段落に対して、受信された画像データ及び音声データのうちどのデータを割り当てるかを選択する選択処理を実行する（ステップＳ４３）。

具体的に、携帯電話機Ｐｋは、例えば、図８に示すような選択処理画面を表示する。ここで、選択処理画面について説明すると、当該画面は、文字情報表示エリア６１、画像・音声リスト表示エリア６２、画像表示エリア６３、キーワード入力エリア６４、音声入力ボタン６５及び保存ボタン６６により構成されている。

文字情報表示エリア６１には、一段落分の文字情報が表示され、そのうち現在選択対象になっている単語が選択表示される（図８に示す例では、「誕生日」が選択されている）。選択対象の単語は、ユーザが操作部２５を操作することにより変更することができるようになっている。

画像・音声リスト表示エリア６２には、現在選択対象になっている単語に関連する画像データ及び音声データのデータ名の一覧が表示され、そのうち、現在選択対象になっている画像データ及び音声データが選択表示される（図８に示す例では、画像データとして「画像２」が選択され、音声データとして「音声３」が選択されている）。そして、選択対象になっている画像データは画像表示エリア６３に表示され、選択対象になっている音声データに対応する音声はスピーカから拡声出力される。また、選択対象の画像データ及び音声データは、ユーザが操作部２５を操作することにより変更することができるようになっており、画像データ及び音声データの双方を一度に選択することも、いずれか一方を選択することも、双方の選択を外すことも可能である。

キーワード入力エリア６４は、画像データ及び音声データを新たに検索するためのキーワードを入力するための領域である。キーワード入力エリア６４に対してユーザにより任意のキーワードが入力されると、入力されたキーワードが携帯電話機Ｐｋから電子文書サーバＤＳに送信され、当該キーワードに関連する画像データ及び音声データが電子文書サーバＤＳにより検索されて、当該検索された画像データ及び音声データが携帯電話機Ｐｋに送信される。そして、新たに検索された画像データ及び音声データの一覧が画像・音声リスト表示エリア６２に選択可能に表示される。このようにして、現在表示されている段落に含まれる単語には関連しない画像データや音声データを当該段落に割り当てることもできる。

音声入力ボタン６５は、次の音声入力を開始してテキストデータの生成を続行するためのボタンであり、保存ボタン６６は、テキストデータの生成を終了させて、電子文書を生成するためのボタンである。

ユーザは、操作部２５を操作することにより、選択処理画面を通じて、テキストデータに含まれる単語に対応付ける画像データ及び音声データを、その内容を確認しながら段落毎に選択することができるようになっている。

ここで、ユーザが音声入力ボタン６５または保存ボタン６６を選択すると、ユーザの操作に基づいて選択された画像データ及び音声データを夫々関連する単語に対応付けるマークデータ５１を、テキストデータ中における割り当て対象の段落の該当する位置に埋め込み（ステップＳ４４）、選択されなかった画像データ及び音声データを削除する。

次いで、携帯電話機Ｐｋは、保存ボタン６６が選択されたか否かを判定し（ステップＳ４５）、音声入力ボタン６５が選択された場合、すなわち、保存ボタン６６が選択されなかった場合は（ステップＳ４５：ＮＯ）、ステップＳ１に移行し、保存ボタン６６が選択された場合は（ステップＳ４５：ＹＥＳ）、ステップＳ４６に移行する。

携帯電話機Ｐｋは、ステップＳ１〜Ｓ４５の処理を繰り返すことにより、ユーザの発した音声に対応するテキストデータに含まれる単語に関連する画像データ及び音声データを電子文書作成サーバＤＳから取得し、テキストデータにマークデータ５１を埋め込んでいく。

そして、携帯電話機Ｐｋは、保存ボタン６６が選択されると、マークデータ５１が埋め込まれたテキストデータと、電子文書作成サーバＤＳから取得した画像データ及び音声データを結合して電子文書を生成する（ステップＳ４６）。

次いで、携帯電話機Ｐｋは、生成された電子文書を電子文書作成サーバＤＳに送信し（ステップＳ４７）、ユーザによる操作部２５の操作に応じて電子文書を再生する（ステップＳ７）。

一方、電子文書を受信した電子文書作成サーバＤＳは、ステップＳ６３の判定において電子文書を受信したと判定し（ステップＳ６３：ＹＥＳ）、当該電子文書を携帯電話機ＰｋのユーザのユーザＩＤに対応付けて電子文書ＤＢ１０２に登録し（ステップＳ２７）、処理を終了する。

なお、上記の電子文書の生成処理においては、音声認識処理によりユーザの発話音声からテキストデータを生成する場合の動作について説明したが、キー操作によりユーザが文章を入力してテキストデータを生成する場合の動作も同様である。この場合、携帯電話機Ｐｋは、例えば、ユーザにより所定の操作がなされたときに、テキストデータに区切りデータ５２を埋め込んで段落を分ければ良い。

次に、電子文書の再生処理の実施例について説明する。

図９は、テキストデータ及び画像データの画面表示例を示す図である。

なお、以下の説明の前提として、電子文書を構成するテキストデータには、「朝食の玉子焼きをほおばっていると、母さんが言った。」（以下、段落２と称する）と、「明日は１８日よ。忘れたの？あなたの誕生日じゃない」（以下、段落３と称する）と、が含まれているものとする。また、段落２の「母さん」について、母親を表現した画像データ（以下、母親画像データと称する）と、母親について歌っている曲の音声データ（以下、母親音声データと称する）と、を対応付けるマークデータ５１が埋め込まれているものとし、段落３の「誕生日」について、バースデーケーキを表現した画像データ（以下、誕生日画像データと称する）と、誕生日について歌っている曲の音声データ（以下、誕生日音声データと称する）と、を対応付けるマークデータ５１が埋め込まれているものとする。

先ず、第１の実施例について説明する。以下に説明する第１の実施例は、テキストデータを段落毎に画面に表示する場合の例である。

図９（ａ）に示すように、携帯電話機Ｐｋは、例えば、段落２を画面に表示しているときに、当該段落に含まれる「母さん」に関連する母親画像データ及び母親音声データを再生する。

そして、ユーザによる操作部２５の操作等により、次の段落の表示が指示されると、携帯電話機Ｐｋは、段落３を画面に表示するとともに、当該段落に含まれる「誕生日」に関連する誕生日画像データ及び誕生日音声データを再生する。

このように、第１の実施例では、携帯電話機Ｐｋは、実際に画面に表示されている段落に含まれる単語に関連する画像データまたは音声データを、当該段落を表示しているときに再生する。

なお、段落を表示しているときではなく、段落を表示する前または後に画像データ及び音声データを再生しても良い。例えば、段落２を画面に表示した後、ユーザによる操作部２５の操作等により、次の段落の表示が指示されたら、段落２を画面から消去して、段落３に含まれる「誕生日」に関連する誕生日画像データを所定時間（例えば、３秒等）画面に表示した後、当該誕生日画像データを画面から消去して、段落３を画面に表示するようにしても良いし、段落２を画面に表示した後、ユーザによる操作部２５の操作等により、次の段落の表示が指示されたら、段落２を画面から消去して、段落２に含まれる「母さん」に関連する母親画像データを所定時間画面に表示した後、当該母親画像データを画面から消去して、段落３を画面に表示するようにしても良い。また、音声データについても上記と同様のタイミングで拡声出力しても良い。

次に、第２の実施例について説明する。以下に説明する第２の実施例は、テキストデータをスクロール表示する場合の例である。

第２の実施例では、携帯電話機Ｐｋは、テキストデータを画面上の所定範囲内で表示するとともに、画面上における所定の行に表示されている段落に含まれる単語に関連する画像データ及び音声データを再生する。

例えば、図９（ｂ）に示す例では、画面の３行目に段落２が表示されているときは、携帯電話機Ｐｋは、当該段落に含まれる「母さん」に関連する母親画像データ及び母親音声データを再生する。

そして、ユーザによりスクロール操作等が行われて、画面の３行目に段落３が表示されているときは、携帯電話機Ｐｋは、当該段落に含まれる「誕生日」に関連する誕生日画像データ及び誕生日音声データを再生する。

次に、第３の実施例について説明する。以下に説明する第３の実施例は、画面に表示された文字を順次色変わりさせる場合の例である。

図９（ｃ）に示すように、携帯電話機Ｐｋは、画面に表示されている文字の色を文章に沿って所定の時間（この時間はユーザ操作により変更可能である）毎に一文字ずつ変化させる（図９（ｃ）に示す例では、太字で表現した文字の色が変化している）。

そして、文字の色の変化が段落２まで進行すると、携帯電話機Ｐｋは、当該段落に含まれる「母さん」に関連する母親画像データ及び母親音声データを再生する。

更に、文字の色の変化が段落３まで進行すると、当該段落に含まれる「誕生日」に関連する誕生日画像データ及び誕生日音声データを再生する。

なお、文字の色の変化と同期して、当該文字に対応する音声を拡声出力することによりテキストデータの朗読処理を行うようにしても良い。

次に、特定の日時に特定の相手に電子文書を配信する場合の動作について説明する。

図１０は、本実施形態に係る電子文書生成システムＳの日時指定配信の処理例を示すフローチャートである。

なお、以下の説明の前提として、電子文書サーバＤＳは、携帯電話機Ｐ１のユーザにより作成された電子文書を、携帯電話機Ｐ２に配信するもとする。

携帯電話機Ｐ２に配信されるべき電子文書は、携帯電話機Ｐ１のユーザにより作成されて、既に電子文書ＤＢ１０２に登録されている。この電子文書は、例えば、「ハッピーバースデー！」というメッセージを示すテキストデータと、この「ハッピーバースデー」に関連する誕生日画像データ及び誕生日音声データと、により構成され、テキストデータには、その対応付けを規定するマークデータ５１が埋め込まれている。

携帯電話機Ｐ１は、図１０に示すように、先ず、電子文書サーバ等にアクセスして配信設定画面を画面に表示し、ユーザによる操作部２５の操作に基づいて、配信する電子文書のデータ名、配信日時、配信先の電子メールアドレス（携帯電話機Ｐ２のユーザの電子メールアドレス）を含む配信設定情報を設定する（ステップＳ８１）。配信日時には、例えば、携帯電話機Ｐ２のユーザの誕生日の日付と00時00分が設定される。

次いで、携帯電話機Ｐ１は、設定された配信設定情報を含む配信設定リクエストを電子文書サーバＤＳに送信する（ステップＳ８２）。

配信設定リクエストを受信した電子文書サーバＤＳは（ステップＳ１０１）、配信設定リクエストに設定されているデータ名が示す電子文書に対応付けて当該配信設定リクエストに設定されている配信日時、電子メールアドレスを電子文書ＤＢ１０２に登録する（ステップＳ１０２）。

そして、電子文書サーバＤＳは、現在の日時が、電子文書ＤＢ１０２に登録された配信日時を経過したか否かを判定し（ステップＳ１０３）、経過していない場合は（ステップＳ１０３：ＮＯ）、所定時間経過後に再度ステップＳ１０３に移行し、経過した場合は（ステップＳ１０３）、ステップＳ１０４に移行する。

現在の日時が配信日時を経過すると、電子文書サーバＤＳは、対象の電子文書を電子文書ＤＢ１０２から取得する（ステップＳ１０４）。

次いで、電子文書サーバＤＳは、電子文書ＤＢ１０２から配信先の電子メールアドレスを取得し、当該電子メールアドレス宛ての電子メールを生成するとともに、電子文書ＤＢ１０２から取得された電子文書を例えば、ＭＩＭＥ（Multipurpose Internet Mail Extensions）方式に基づいてエンコードし、生成された電子メールに添付する処理を行う（ステップＳ１０５）。

最後に、電子文書サーバＤＳは、生成された電子メールを送信する（ステップＳ１０６）。

その後、携帯電話機Ｐ２が、電子メールサーバ等を介して、電子文書サーバＤＳから送信された電子メールを受信し（ステップＳ１２１）、ユーザによる操作部２５の操作に応じて、電子メールに添付された電子文書を再生する（ステップＳ１２２）。そうすると、例えば、画面には「ハッピーバースデー！」の文字とともに、バースデーケーキの画像が表示され、更に、誕生日の歌が流れる（拡声出力される）。

以上説明したように、本実施形態によれば、携帯電話機Ｐｋ側で電子文書を生成する場合には、携帯電話機Ｐｋが、画像・音声ＤＢ１０１に登録されている画像データ及び音声データを電子文書サーバＤＳから取得し、記憶部２６に記憶されたテキストデータと、当該テキストデータに含まれる文字情報が示す単語に関連する画像データ及び音声データとに基づいて、テキストデータを画面に表示する際に、当該テキストデータに含まれる文字情報が示す単語の表示状況に適応して当該単語に関連する画像データまたは音声データを再生するための対応付けを規定するマークデータ５１をテキストデータに埋め込み、電子文書を生成するようになっている。

また、電子文書サーバＤＳ側で電子文書を生成する場合には、電子文書サーバＤＳが、携帯電話機Ｐｋからテキストデータを取得し、当該テキストデータと、画像・音声ＤＢ１０１に登録されている画像データ及び音声データとに基づいて、テキストデータを画面に表示する際に、当該テキストデータに含まれる文字情報が示す単語の表示状況に適応して当該単語に関連する画像データまたは音声データを再生するための対応付けを規定するマークデータ５１をテキストデータに埋め込み、電子文書を生成するようになっている。

従って、テキストデータ含まれる文字情報が示す言葉に関連する画像データまたは音声データが、当該単語の表示状況に適応して再生されるように電子文書が生成されるので、テキストデータが示す文章の内容を、当該テキストデータと画像データ及び音声データとにより臨場感あふれる態様でユーザに提示する電子文書を簡単に作ることができる。

また、携帯電話機Ｐｋは、生成された電子文書に含まれるテキストデータに埋め込まれたマークデータ５１や区切りデータ５２に基づいて、当該テキストデータに含まれる文字情報が示す単語に関連すると画像データや音声データを、当該文字情報が実際に表示されているときに再生し、または、当該文字情報の表示が開始される前に再生し、あるいは、当該文字情報の表示が終了した後に再生する等の適切なタイミングで画像データや音声データが再生されるので、臨場感を向上させることができる。

更に、電子文書サーバＤＳは、テキストデータに対して文章解析処理を実行して当該テキストデータから名詞または動詞を示す文字情報を抽出し、当該抽出された文字情報が示す単語に関連する画像データまたは音声データを検索し、当該検索された画像データまたは音声データに基づいて電子文書が生成されるので、電子文書生成時における携帯電話機Ｐｋの負荷を低減することができる。

更にまた、画像・音声ＤＢ１０１には、一つの単語に関連する複数の画像データや音声データが当該単語に関連付けて登録されており、テキストデータに含まれる文字情報が示す単語に関連する画像データや音声データが複数存在する場合には、ユーザによる操作部２５の操作に基づいて選択された画像データや音声データを対応付けるようにマークデータ５１をテキストデータに埋め込むので、テキストデータ含まれる文字情報の表示状況に適応して再生される画像データや音声データをユーザが任意に選択することが可能となり、電子文書の生成の自由度が向上する。

また更に、携帯電話機Ｐｋは、ユーザの発話音声を入力して音声認識処理を実行し、ユーザが発した言葉に対応するテキストデータを生成するので、ユーザは、電子文書の基となる文章を作成するために煩雑な文字入力操作を行わなくても良い。

なお、上記説明した実施形態においては、電子文書作成の際に、画像データ及び音声データをテキストデータ中の段落毎に一つずつまで割り当てられるようにマークデータ５１をテキストデータに埋め込んで、テキストデータ中の単語と、関連する画像データや音声データとを対応付けるようにしていたが、画像データ及び音声データが一つの段落に夫々複数割り当てられるようにマークデータ５１を埋め込んでも良い。この場合、電子文書を再生する際には、例えば、ある段落を画面に表示するときに、当該段落に割り当てられた複数の画像データ及び音声データを夫々所定の時間間隔で順次再生させるようにすれば良い。

また、一つの段落に含まれる複数の単語夫々に対して画像データや音声データを対応付けるようにマークデータ５１を埋め込んでも良い。この場合、電子文書を再生する際には、例えば、上記図９（ｃ）に示した方法（画面に表示された文字を順次色変わりさせる）で文字を表示するとともに、文字の色の変化が進行中の単語に関連する画像データや音声データを再生させれば良い。

また、上記実施形態においては、電子文書サーバＤＳにおいてテキストデータの文章解析処理を行っていたが、携帯電話機Ｐｋにおいてテキストデータの文章解析処理を行っても良い。この場合、携帯電話機Ｐｋは、例えば、テキストデータから単語を抽出したら、当該抽出された単語に関連する画像データ及び音声データを検索するように電子文書サーバＤＳにリクエストを送信し、電子文書サーバＤＳにより検索された画像データ及び音声データを携帯電話機Ｐｋが受信して、電子文書を生成すれば良い。

また、上記実施形態においては、電子文書を自動的に生成する場合には電子文書サーバＤＳで生成を行い、電子文書を手動で生成する場合には、携帯電話機Ｐｋで生成を行うようにしていたが、電子文書サーバＤＳまたは携帯電話機Ｐｋのいずれか一方のみで電子文書の生成を行うようにしても良い。

また、一度生成された電子文書を編集するようにしても良い（例えば、テキストデータに含まれる文字情報の変更や、マークデータ５１及び区切りデータ５２の追加、削除、変更等）。

また、上記実施形態においては、本発明の端末装置に携帯電話機を適用した場合について説明したが、例えば、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、ＳＴＢ（Set Top Box）、テレビゲーム機等に適用することができる。

また、上記実施形態においては、画像データ及び音声データの双方に基づいて電子文書を生成し、当該電子文書の再生の際には、画像データ及び音声データの双方が再生されるようにしていたが、例えば、画像データまたは音声データのいずれか一方のみとテキストデータとに基づいて電子文書を再生し、当該一方のデータのみがテキストデータとともに再生されるようようにしても良い。

また、上記実施形態においては、電子文書に基づいてテキストデータを画面に表示するとともに、表示画像を表示したり、音声を拡声するようにしていたが、これに限られるものではなく、例えば、匂いを有する匂い物質を拡散させたり、振動を発生させるようにしても良い。

具体的に、匂い物質を拡散させる場合には、例えば、単語毎に関連する匂いを示す匂いデータ（例えば、単語が「ケーキ」であれば甘い匂いを示し、単語が「レモン」であれば酸っぱい匂いを示す等：匂い情報の一例）を対応付けてデータベースに登録しておき、匂いデータを含んだ電子文書が生成可能となるようにする。そして、端末装置において匂い物質を複数種類収容、放出する収容部（拡散手段の一例）を設け、電子文書再生の際において、匂いデータに対応する匂い物質を空気中に放出させるように制御すれば良い（複数種類の匂い物質を混合させた上で拡散しても良い）。

また、振動を発生させる場合には、例えば、振動に関連する単語（例えば「地震」、「事故」等）に対応付けて、ユーザが触れる部材（例えば、携帯電話機であればその筐体、テレビゲーム機であればゲームコントローラ等）を振動させることを示す振動データ（振動情報の一例）をデータベースに登録しておき、振動データを含んだ電子文書が生成可能となるようにする。そして、端末装置においてバイブレータ（振動手段の一例）を設け（例えば、携帯電話機であればその筐体内部、テレビゲーム機であればゲームコントローラ内部に設ける等）、電子文書再生の際において、振動データに対応してバイブレータを振動させるように制御すれば良い。また、振動データは一種類だけではなく、複数種類であっても良く（例えば、相対的に弱い振動を示す振動データと強い振動を示す振動データ等）、振動データに対応してバイブレータの振動態様を変化させても良い。

このように、電子文書を再生する際に、ユーザの視覚、聴覚だけではなく臭覚、触覚にも訴えることで、より臨場感を増すことができる。なお、電子文書の生成には、画像データ、音声データ、匂いデータ及び振動データ全種類のデータを用いても良いが、一部の種類のデータのみを用いてもかまわない。

本実施形態に係る電子文書生成システムＳの概要構成の一例を示す図である。 本実施形態に係る電子文書サーバＤＳの構成の概要例を示すブロック図である。 本実施形態に係る画像・音声ＤＢ１０１の構造の一例を示す図である。 本実施形態に係る電子文書の構造の一例を概念的に示す図である。 本実施形態に係る携帯電話機Ｐｋの概要構成の一例を示すブロック図である。 本実施形態に係る電子文書生成システムＳの電子文書自動生成時における処理の一例を示すフローチャートである。 本実施形態に係る電子文書生成システムＳの電子文書手動生成時における処理の一例を示すフローチャートである。 選択処理画面の一例を示す図である。 テキストデータ及び画像データの画面表示例を示す図である。 本実施形態に係る電子文書生成システムＳの日時指定配信の処理例を示すフローチャートである。

符号の説明

１１ 通信部
１２ 記憶部
１３ システム制御部
１４ システムバス
２１ 無線通信部
２２ 音声入力部
２３ 音声出力部
２４ 表示部
２５ 操作部
２６ 記憶部
２７ システム制御部
２８ システムバス
１０１ 画像・音声ＤＢ
１０２ 電子文書ＤＢ
Ｐｋ 携帯電話機
ＤＳ 電子文書サーバ
Ｓ 電子文書生成システム

Claims (19)

1. 文字情報により構成される文章情報をユーザに提示する端末装置と、前記端末装置がネットワークを介して接続可能なサーバ装置と、を備える電子文書生成システムであって、
   前記サーバ装置は、
   前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備え、
   前記端末装置は、
   前記文章情報を記憶する文章情報記憶手段と、
   前記記憶された提示情報を、前記ネットワークを介して前記サーバ装置から取得する提示情報取得手段と、
   前記記憶された文章情報と、前記取得された提示情報と、に基づいて、電子文書を生成する生成手段と、
   前記生成された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示手段と、を備え、
   前記端末装置の前記生成手段は、前記提示手段により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記提示手段により提示させる制御情報を含む電子文書を生成することを特徴とする電子文書生成システム。
2. 請求項１に記載の電子文書生成システムにおいて、
   前記サーバ装置は、
   前記ネットワークを介して前記端末装置から前記文章情報を取得する文章情報取得手段と、
   所定の条件に基づいて、前記取得された文章情報から文字情報を抽出する抽出手段と、
   前記区分された文字情報が示す言葉に関連する前記提示情報を前記提示情報記憶手段から検索する検索手段と、を更に備え、
   前記端末装置の前記提示情報取得手段は、前記検索された提示情報を取得することを特徴とする電子文書生成システム。
3. 請求項１または請求項２に記載の電子文書生成システムにおいて、
   前記サーバ装置の前記提示情報記憶手段は、同一の言葉に関連する複数の前記提示情報を当該言葉に対応付けて記憶し、
   前記端末装置は、
   前記ユーザからの指示を指示情報として入力するための指示入力手段を更に備え、
   前記端末装置の前記提示情報取得手段は、前記記憶された文章情報に含まれる文字情報が示す言葉に関連する前記提示情報を取得し、
   前記端末装置の前記生成手段は、前記提示情報取得手段により同一の言葉に関連する前記提示情報が複数取得された場合には、当該複数の提示情報のうち、前記入力された指示情報に基づいて選択された提示情報を前記提示手段により提示させるように前記制御情報を生成することを特徴とする電子文書生成システム。
4. 文字情報により構成される文章情報をユーザに提示する端末装置と、前記端末装置がネットワークを介して接続可能なサーバ装置と、を備える電子文書生成システムであって、
   前記サーバ装置は、
   前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段と、
   前記ネットワークを介して前記端末装置から前記文章情報を取得する文章情報取得手段と、
   前記取得された文章情報と、前記記憶された提示情報と、に基づいて、前記端末装置により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記端末装置により提示させる制御情報を含む電子文書を生成する生成手段と、
   前記端末装置は、
   前記文章情報を記憶する文章情報記憶手段と、
   前記生成された電子文書を、前記ネットワークを介して前記サーバ装置から取得する電子文書取得手段と、
   前記取得された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示手段と、
   を備えることを特徴とする電子文書生成システム。
5. 請求項４に記載の電子文書生成システムにおいて、
   前記サーバ装置は、
   所定の条件に基づいて、前記取得された文章情報から文字情報を抽出する抽出手段と、
   前記区分された文字情報が示す言葉に関連する前記提示情報を前記提示情報記憶手段から検索する検索手段と、を更に備え、
   前記サーバ装置の前記生成手段は、前記取得された文章情報と、前記検索された提示情報と、に基づいて前記電子文書を生成することを特徴とする電子文書生成システム。
6. 請求項４または請求項５に記載の電子文書生成システムにおいて、
   前記サーバ装置は、
   前記入力された指示情報を前記端末装置から前記ネットワークを介して取得する指示情報取得手段を更に備え、
   前記サーバ装置の前記提示情報記憶手段は、同一の言葉に関連する複数の前記提示情報を当該言葉に対応付けて記憶し、
   前記端末装置は、
   前記ユーザからの指示を指示情報として入力するための指示入力手段を更に備え、
   前記端末装置の前記生成手段は、前記取得された文章情報に含まれる文字情報が示す言葉に関連する前記提示情報を前記提示情報記憶手段が複数記憶している場合には、当該複数の提示情報のうち、前記取得された指示情報に基づいて選択された提示情報を前記提示手段により提示させる前記制御情報を生成することを特徴とする電子文書生成システム。
7. 請求項１乃至６のいずれか１項に記載の電子文書生成システムにおいて、
   前記端末装置の前記提示手段は、前記文章情報に含まれる文字情報が示す言葉に関連する前記提示情報を、当該文字情報が実際に提示されているときと、当該文字情報の提示が開始される前と、当該文字情報の提示が終了した後と、の少なくともいずれか一のタイミングで提示することを特徴とする電子文書生成システム。
8. 請求項１乃至７のいずれか１項に記載の電子文書生成システムにおいて、
   前記提示情報記憶手段に記憶された複数の提示情報には、画像情報と、音情報と、が含まれており、
   前記端末装置の前記提示手段は、
   前記文章情報と、前記画像情報と、を画面に表示する表示手段と、
   前記音情報に対応する音を出力する音出力手段と、
   前記電子文書に基づいて、前記表示手段と、前記音出力手段と、を制御する制御手段と、
   を備えることを特徴とする電子文書生成システム。
9. 請求項１乃至７のいずれか１項に記載の電子文書生成システムにおいて、
   前記提示情報記憶手段に記憶された複数の提示情報には、匂いを示す匂い情報が含まれており、
   前記端末装置の前記提示手段は、
   前記文章情報を画面に表示する表示手段と、
   前記匂い情報に対応する匂い物質を拡散させる拡散手段と、
   前記電子文書に基づいて、前記表示手段と、前記拡散手段と、を制御する制御手段と、
   を更に備えることを特徴とする電子文書生成システム。
10. 請求項１乃至７のいずれか１項に記載の電子文書生成システムにおいて、
    前記提示情報記憶手段に記憶された複数の提示情報には、振動を示す振動情報が含まれており、
    前記端末装置の前記提示手段は、
    前記文章情報を画面に表示する表示手段と、
    前記振動情報に対応して前記ユーザが触れる部材を振動させる振動手段と、
    前記電子文書に基づいて、前記表示手段と、前記振動手段と、を制御する制御手段と、
    を更に備えることを特徴とする電子文書生成システム。
11. 請求項１乃至１０のいずれか１項に記載の電子文書生成システムにおいて、
    前記端末装置は、
    前記ユーザの発話音声を入力するための音声入力手段と、
    前記入力された音声に基づいて前記ユーザにより発せられた言葉を認識する音声認識処理を行う認識手段と、
    前記認識された言葉に基づいて前記文章情報を生成する文章情報生成手段と、を更に備え、
    前記前記文章情報記憶手段は、前記生成された文章情報を記憶することを特徴とする電子文書生成システム。
12. 文字情報により構成される文章情報をユーザに提示する端末装置と、前記端末装置がネットワークを介して接続可能なサーバ装置であって、前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備えるサーバ装置と、を備える電子文書生成システムにおける電子文書生成方法であって、
    前記端末装置が、前記文章情報を記憶する文章情報記憶工程と、
    前記端末装置が、前記記憶された提示情報を、前記ネットワークを介して前記サーバ装置から取得する提示情報取得工程と、
    前記端末装置が、前記記憶された文章情報と、前記取得された提示情報と、に基づいて、電子文書を生成する生成工程と、
    前記端末装置が、前記生成された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示工程と、を備え、
    前記生成工程は、前記提示工程において前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記提示工程において提示させる制御情報を含む電子文書を生成することを特徴とする電子文書生成方法。
13. 文字情報により構成される文章情報をユーザに提示する端末装置と、前記端末装置がネットワークを介して接続可能なサーバ装置であって、前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備えるサーバ装置と、を備える電子文書生成システムにおける電子文書生成方法であって、
    前記サーバ装置が、前記ネットワークを介して前記端末装置から前記文章情報を取得する文章情報取得工程と、
    前記サーバ装置が、前記取得された文章情報と、前記記憶された提示情報と、に基づいて、前記端末装置により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記端末装置により提示させる制御情報を含む電子文書を生成する生成工程と、
    前記端末装置が、前記生成された電子文書を、前記ネットワークを介して前記サーバ装置から取得する電子文書取得工程と、
    前記サーバ装置が、前記取得された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示工程と、
    を備えることを特徴とする電子文書生成方法。
14. 文字情報により構成される文章情報をユーザに提示する端末装置がネットワークを介して接続可能なサーバ装置であって、
    前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段を備え、
    前記文章情報と前記記憶された提示情報とは、前記端末装置により電子文書を生成するために用いられ、
    前記電子文書は、前記端末装置により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記端末装置により提示させる制御情報を含むことを特徴とするサーバ装置。
15. 文字情報により構成される文章情報をユーザに提示する端末装置がネットワークを介して接続可能なサーバ装置であって、
    前記ユーザに対して前記端末装置により提示させる複数の提示情報を、夫々関連する言葉に対応付けて記憶する提示情報記憶手段と、
    前記ネットワークを介して前記端末装置から前記文章情報を取得する文章情報取得手段と、
    前記取得された文章情報と、前記記憶された提示情報と、に基づいて、前記端末装置により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記端末装置により提示させる制御情報を含む電子文書を生成する生成手段と、
    を備えることを特徴とするサーバ装置。
16. 文字情報により構成される文章情報をユーザに提示する端末装置であって、
    前記文章情報を記憶する文章情報記憶手段と、
    関連する言葉に対応付けて前記サーバ装置の提示情報記憶手段に記憶された提示情報を、ネットワークを介してサーバ装置から取得する提示情報取得手段と、
    前記記憶された文章情報と、前記取得された提示情報と、に基づいて、電子文書を生成する生成手段と、
    前記生成された電子文書に基づいて、前記文章情報と、前記提示情報と、を前記ユーザに提示する提示手段と、を備え、
    前記生成手段は、前記提示手段により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記提示手段により提示させる制御情報を含む電子文書を生成することを特徴とする端末装置。
17. 文字情報により構成される文章情報をユーザに提示する端末装置であって、
    前記文章情報を記憶する文章情報記憶手段と、
    ネットワークを介してサーバ装置から電子文書を取得する電子文書取得手段と、
    前記取得された電子文書に基づいて、前記文章情報と、当該文章情報に含まれる文字情報が示す言葉に関連する提示情報と、を前記ユーザに提示する提示手段と、
    を備え、
    前記電子文書は、前記記憶された文章情報と、関連する言葉に対応付けて前記サーバ装置の提示情報記憶手段に記憶された前記提示情報と、に基づいて前記サーバ装置に生成され、且つ前記提示手段により前記文章情報を提示する際に、当該文章情報に含まれる文字情報の提示状況に適応して当該文字情報が示す言葉に関連する前記提示情報を前記前記提示手段により提示させる制御情報を含むこと特徴とする端末装置。
18. コンピュータを、
    請求項１４または請求項１５に記載のサーバ装置として機能させることを特徴とするサーバ装置用プログラム。
19. コンピュータを、
    請求項１６または請求項１７に記載の端末装置として機能させることを特徴とする端末装置用プログラム。

Images