JP2008113331A - 電話システム、電話機、サーバ装置およびプログラム - Google Patents

Abstract

【課題】従来の留守番電話システムにおいては、留守番電話を聞く前に、話者の感情が分からなかった、という課題があった。
【解決手段】サーバ装置から、感情情報を有する１以上の不在着信情報を受信する不在着信情報受信部と、各不在着信情報に対応し、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、１以上の表示情報を表示する留守電情報表示部と、表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、出力指示をサーバ装置に送信する出力指示送信部と、サーバ装置から留守番電話の音声を受信する留守番電話音声受信部と、受信した留守番電話の音声を出力する留守番電話音声出力部を具備する電話機により、留守番電話を聞く前に、話者の感情が分かる。
【選択図】図１

Description

本発明は、留守番電話機能を有する電話システムや電話機等に関するものである。

携帯電話を利用した通信サービスの一つに、移動体通信事業者による「着もじ」というサービスがある。本サービスは、電話にメッセージを添えて、会話をする前に「気持ち」や「用件」を伝えることができるサービスである（例えば、非特許文献１参照）。本サービスにおいて、伝えたいメッセージは、ユーザが手入力する必要がある。

また、関連する技術として、音声を特徴分析し、音声の話者の感情を取得する感情認識装置がある（例えば、特許文献１参照）。本感情認識装置は、音声認識を利用した感情認識装置であり、感情認識装置が有する特徴信号抽出手段が、感情に対応する音声信号の特徴を抽出する。また、感情認識装置が有するズレ検出手段は、基準となる音声信号と特徴信号とのズレ量を検出する。感情認識装置が有する感情判断手段は、前記ズレ量に基づいて、感情状態を判断する。以上より、本感情認識装置は、感情を適切に判断することができる装置である。なお、音声を解析し、話者の感情を判断する技術は、他にもある（例えば、非特許文献２、非特許文献３参照）。
特開平５−１２０２３号公報（第１頁、第１図等） ホームページ、インターネット＜ＵＲＬ：http://www.nttdocomo.co.jp/service/chaku_moji/index.html＞ ホームページ、インターネット＜ＵＲＬ：http://www.ie.u-ryukyu.ac.jp/~j01016/web/web.html＞ ホームページ、インターネット＜http://www.message1.co.jp/modules/services/?c=detail&type=integration&id=17＞

既存の電話システム（例えば携帯電話）では、電話機の電源が切ってあったり圏外にある場合等にネットワーク側で音声メッセージを記録し、後から音声メッセージを聞くことができる留守番電話サービスが提供されている。しかし、このサービスでは、メッセージを録音した話者の感情が分からないために、ユーザが自分の現在の心境に応じて聞きたくないメッセージを聞かないでおいたり、聞いてみたいと思うメッセージや緊急性の高そうなメッセージを選んで聞くことはできないという課題があった。
このような課題に対応する方法として、非特許文献１のサービスで実現されているように、留守番電話サービスに文字メッセージを添付することが考えられる。しかしながら、非特許文献１のサービスでは、感情を示すメッセージをユーザが手入力しなければならず、煩雑であるという面は否めない。特に「怒り」や「困惑」や「悲しみ」などの否定的な感情を示すメッセージを入力するということは考えにくく、全ての録音メッセージに文字メッセージが添付されることが常態とはなり難い。こしたがって、このような方法は、上記の課題に対する十分な解法とはならない。

本発明は、特許文献１などにおける音声から感情認識を行う技術を留守番電話に用いることにより、例えば、ユーザの現在の心理状態に応じて、聞きたくないであろう留守番電話を聞かずに済むための仕組みを提供することを目的としている。また、複数の留守番電話の音声が蓄積されている場合、複数の音声を聞く順序を、ユーザが適切に選択でき、適切な行動をとることができる電話システムを提供することを目的としている。

本第一の発明の電話システムは、留守番電話の音声を蓄積し電話機に送信するサーバ装置と、留守番電話の音声を出力する電話機を具備する電話システムであって、前記サーバ装置は、前記電話機を識別する情報である電話機識別子と、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納し得る音声格納部と、話者が保有する第二電話機から、前記電話機識別子と留守番電話の音声を受信する音声情報受信部と、前記音声情報受信部が受信した電話機識別子と音声を前記音声格納部に蓄積する音声蓄積部と、前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、前記音声解析部が取得した感情情報を、前記音声に対応付けて前記音声格納部に蓄積する話者情報蓄積部と、前記電話機に不在着信を示す情報であり、前記感情情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信する不在着信情報送信部と、前記電話機からの留守番電話の音声の出力指示を受信する出力指示受信部と、前記出力指示受信部が出力指示を受信した場合、当該出力指示に対応する留守番電話の音声を前記音声格納部から読み出し、当該読み出した留守番電話の音声を、前記出力指示を送信した電話機に送信する留守番電話音声送信部を具備し、前記電話機は、前記サーバ装置から、感情情報を有する１以上の不在着信情報を受信する不在着信情報受信部と、前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、前記受付部が受け付けた出力指示を、前記サーバ装置に送信する出力指示送信部と、前記出力指示の送信に対応して、前記サーバ装置から留守番電話の音声を受信する留守番電話音声受信部と、前記留守番電話音声受信部が受信した留守番電話の音声を出力する留守番電話音声出力部を具備する電話システムである。

かかる構成により、留守番電話を聞く前に、電話のユーザは、留守番電話の音声を解析して取得された話者の感情を知ることができる。その結果、例えば、ユーザの現在の心理状態に応じて、聞きたくないであろう留守番電話を聞かずに済む。また、複数の留守番電話の音声が蓄積されている場合、複数の音声を聞く順序を、ユーザが適切に選択でき、適切な行動をとることができる。

また、本第二の発明の電話システムは、第一の発明に対して、前記音声解析部は、前記音声情報受信部が受信した音声を解析し、前記話者の属性を示す情報である話者属性情報をも取得し、前記話者情報蓄積部は、前記音声解析部が取得した感情情報と話者属性情報を、前記音声に対応付けて前記音声格納部に蓄積し、前記不在着信情報送信部は、前記電話機に不在着信を示す情報であり、前記感情情報と前記話者属性情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信し、前記不在着信情報受信部は、前記サーバ装置から、感情情報と話者属性情報を有する１以上の不在着信情報を受信し、前記表示情報構成部は、前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成する電話システムである。

かかる構成により、留守番電話を聞く前に、電話のユーザは、留守番電話の音声を解析して取得された話者の感情と話者属性（例えば、性別や年齢など）を知ることができる。その結果、例えば、ユーザの現在の心理状態に応じて、聞きたくないであろう留守番電話を聞かずに済む。また、複数の留守番電話の音声が蓄積されている場合、複数の音声を聞く順序を、ユーザがさらに適切に選択でき、さらに適切な行動をとることができる。

また、本第三の発明の電話システムは、第一、第二いずれかの発明に対して、前記表示情報構成部は、前記感情情報、または前記感情情報と前記話者属性情報に対応するアイコンを格納し得るアイコン格納手段と、前記１以上の不在着信情報ごとに、前記各不在着信情報が有する前記感情情報、または前記各不在着信情報が有する前記感情情報と前記話者属性情報をキーとして、前記アイコン格納手段からアイコンを取得するアイコン取得手段と、前記１以上の不在着信情報ごとに、前記アイコン取得手段が取得したアイコンを有する１以上の表示情報を構成する表示情報構成手段を具備する電話システムである。

かかる構成によれば、アイコンを電話機側で保持するので、アイコンの更新やカスタマイズをサーバと通信することなく簡単に行うことができる。例えばカメラ付きの電話機で撮影した画像やメールに添付されたイメージデータから編集ないし変換することにより得られた画像をアイコンとしてアイコン格納手段に格納し、所定の感情情報と話者属性情報をキーとして取得されるように構成することにより、ユーザごとにアイコンをカスタマイズすることが可能である。

また、本第四の発明の電話システムは、第一、第二いずれかの発明に対して、前記音声解析部は、前記音声の解析結果である感情情報、または前記音声の解析結果である感情情報と話者属性情報に対応するアイコンを格納し得るアイコン格納手段と、前記音声情報受信部が受信した音声を解析し、前記音声の解析結果である感情情報、または前記音声の解析結果である感情情報と話者属性情報を得る音声解析手段と、前記音声解析手段が得た感情情報、または感情情報と話者属性情報と対になるアイコンを、前記アイコン格納手段から取得するアイコン取得手段を具備し、前記アイコンは、感情情報、または感情情報と話者属性情報である電話システムである。

かかる構成によれば、電話機でアイコンを保持する必要がなく、電話機において少ない記憶容量で、話者の感情や話者属性を示す不在着信リストを表示できる。また、この場合には、ユーザに電話機を操作させることなく、サーバ側でアイコンを更新することが可能である。さらに、音声解析手段により得られる感情情報の種類が増えた場合等にも対応する新たなアイコンをサーバ側で追加すれば足りるので、音声解析手段の機能拡張に対応することも容易である。

また、本第五の発明の電話システムは、第一から第四いずれかの発明に対して、前記表示情報構成部は、２以上の表示情報について、各表示情報を構成する元になった感情情報をキーとして、前記２以上の表示情報をソートして、前記２以上の表示情報のリストを構成する電話システムである。

かかる構成により、複数の留守番電話の音声が蓄積されている場合、複数の音声を聞く順序を、ユーザがさらに適切に選択でき、適切な行動をとることができる。

また、本第六の発明の電話システムは、第一から第五いずれかの発明に対して、前記音声解析部は、留守番電話の音声が無声であることを判断し、前記音声解析部が留守番電話の音声が無声であることを判断した場合、前記音声蓄積部は前記音声を前記音声格納部に蓄積しない、または前記留守番電話音声送信部は前記音声を電話機に送信しない、または前記音声格納部に蓄積された音声を削除する留守電音声削除部をさらに具備することを特徴とする電話システムである。

かかる構成により、ユーザが不要な留守番電話の音声を聞く無駄を排除できる。

また、本第七の発明の電話機は、留守番電話の音声を蓄積し、留守番電話の音声を出力する電話機であって、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納し得る音声格納部と、前記第二電話機から、留守番電話の音声を受信する音声情報受信部と、前記音声情報受信部が受信した音声を前記音声格納部に蓄積する音声蓄積部と、前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、前記音声解析部が取得した感情情報を、前記音声に対応付けて前記音声格納部に蓄積する話者情報蓄積部と、不在着信を示す情報であり、感情情報を有する情報である不在着信情報を１以上、前記音声格納部から読み出し、各不在着信情報に対応する情報であり、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、前記受付部が受け付けた出力指示を用いて、当該出力指示に対応する留守番電話の音声を前記音声格納部から読み出す留守番電話音声取得部と、前記留守番電話音声取得部が取得した留守番電話の音声を出力する留守番電話音声出力部を具備する電話機である。

かかる構成により、サーバ装置における処理が不要となり、電話機における処理のみで、感情を示すアイコンが表示された不在着信リストを表示できる。

また、本第八の発明の電話機は、第七の発明に対して、前記音声解析部は、前記音声情報受信部が受信した音声を解析し、前記話者の属性を示す情報である話者属性情報をも取得し、前記話者情報蓄積部は、前記音声解析部が取得した感情情報と話者属性情報を、前記音声に対応付けて前記音声格納部に蓄積し、前記表示情報構成部は、感情情報と話者属性情報を有する１以上の不在着信情報を前記音声格納部から読み出し、各不在着信情報に対応する情報であり、前記電話機が有する表示手段に表示する情報であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成する電話機である。

かかる構成により、サーバ装置における処理が不要となり、電話機における処理のみで、感情と話者属性を示すアイコンが表示された不在着信リストを表示できる。

また、本第九の発明の電話機は、第七、第八いずれかの発明に対して、前記表示情報構成部は、前記感情情報、または前記感情情報と前記話者属性情報に対応するアイコンを格納し得るアイコン格納手段と、前記１以上の不在着信情報ごとに、前記不在着信情報が有する感情情報、または前記不在着信情報が有する感情情報と話者属性情報をキーとして、前記アイコン格納手段からアイコンを取得するアイコン取得手段と、前記１以上の不在着信情報ごとに、前記アイコン取得手段が取得したアイコンを有する１以上の表示情報を構成する表示情報構成手段を具備する電話機である。

かかる構成により、表示するアイコンを電話機側でカスタマイズできる。

本発明によれば、留守番電話を聞く前に、話者の感情が分かる電話システム等を提供できる。

以下、電話システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）

本実施の形態において、留守番電話の音声を蓄積し、電話機に送信するサーバ装置と、留守番電話の音声を出力する電話機を有する電話システムであって、電話機で留守番電話の音声の話者の感情を示すアイコン等を表示できる電話システムについて説明する。

図１は、本実施の形態における電話システムの概念図である。電話システムは、留守番電話の音声を入力する第二電話機１１、留守番電話の音声を蓄積し、電話機１３に送信するサーバ装置１２、留守番電話を出力する電話機１３を有する。電話システムは、通常、1以上の第二電話機１１、1以上の電話機１３を有する。電話システムが有するサーバ装置１２は、通常、一つであるが、２以上のサーバ装置１２で分散処理しても良い。

図２は、本実施の形態における電話システムのブロック図である。第二電話機１１は、通常の電話機能を有する電話機であり、いわゆる携帯電話機であっても、固定式の電話機であっても良い。第二電話機１１は公知の電話機であるので、詳細な説明を省略する。

サーバ装置１２は、音声格納部１２０１、音声情報受信部１２０２、音声蓄積部１２０３、音声解析部１２０４、話者情報蓄積部１２０５、不在着信情報送信部１２０６、出力指示受信部１２０７、留守番電話音声送信部１２０８を具備する。

電話機１３は、いわゆる携帯電話機であっても、固定式の電話機であっても良い。また、電話機１３は、Ｌモード（登録商標）機能を有する電話機であっても良い。電話機１３は、不在着信情報格納部１３０１、不在着信情報受信部１３０２、不在着信情報蓄積部１３０３、表示情報構成部１３０４、留守電情報表示部１３０５、受付部１３０６、出力指示送信部１３０７、留守番電話音声受信部１３０８、留守番電話音声出力部１３０９を具備する。

表示情報構成部１３０４は、アイコン格納手段１３０４１、アイコン取得手段１３０４２、表示情報構成手段１３０４３を具備する。

音声格納部１２０１は、電話機１３を識別する情報である電話機識別子と、留守番電話の音声と、話者の感情を示す情報である感情情報と、第二電話機１１を識別する情報である第二電話機識別子と、留守番電話を受け付けた時刻を示す時刻情報を対に有する留守番電話情報を1以上、格納し得る。留守番電話情報は、留守番電話の音声と感情情報のみを有しても良い。留守番電話情報は、電話機識別子、音声、感情情報、第二電話機識別子および時刻情報以外の情報を有しても良い。電話機識別子と第二電話機識別子は、例えば、電話番号であるが、ＩＰアドレスやＭＡＣアドレスなどの電話機を特定する他の情報でも良い。また、電話機識別子や第二電話機識別子は、電話を受ける人や、電話をした人を特定する情報でも良い。電話を受ける人や、電話をした人を特定する情報は、例えば、指紋や虹彩や顔認識などの人体認証により取得した情報でも良い。感情情報における感情とは、例えば、「怒り」「困惑」「喜び」「悲しみ」などの感情を識別する感情識別情報である。また、感情情報は、例えば、感情識別情報と、「怒り」「困惑」「喜び」「悲しみ」などの感情の度合いを示す度合情報を有する情報である。例えば、「怒り」が大きい時には、感情情報は、例えば、「Ａ，１０」である。「Ａ」は「怒り」を示す。各感情の程度は、例えば、「１〜１０」で示される。また、例えば、「困惑」「喜び」「悲しみ」は、それぞれ「Ｂ」「Ｃ」「Ｄ」に対応する。従って、例えば、感情情報が「Ｃ，８」である場合、かなり喜びが大きい、ということになる。また、感情情報は、「怒り」「困惑」「喜び」「悲しみ」を識別する情報だけでも良い。例えば、「Ａ」は「怒り」、「Ｂ」「Ｃ」「Ｄ」はそれぞれ「困惑」「喜び」「悲しみ」を示す。また、感情情報は、感情を視覚的に示すアイコンなどの図柄や、第二電話機識別子で識別されるユーザの写真などでも良い。なお、写真は、例えば、電話機１３がカメラ付携帯電話で、当該カメラで撮影した写真が自動的に登録されることが望ましい。また、感情情報は、アイコンと感情識別情報の組でも良い。また、感情情報のデータ構造は問わない。また、第二電話機識別子が空の場合、第二電話機１１のユーザが非通知で通話したことを示す。音声格納部１２０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

音声情報受信部１２０２は、話者が保有する第二電話機１１から、電話機１３の電話機識別子と留守番電話の音声と第二電話機１１を識別する第二電話機識別子を受信する。なお、第二電話機１１から電話機１３への通話の要求を受け付け、一定時間以上、電話機１３からの応答がない場合に、留守番電話のモードに変更される等、留守番電話機能が動作する処理は公知技術であるので、詳細な説明を省略する。また、音声情報受信部１２０２が受信する音声は、アナログでもデジタルでも良い。アナログの音声を受信する場合、通常、音声解析のためにデジタルデータに変換する。また、音声情報受信部１２０２は、電話機識別子と留守番電話の音声のみを受信しても良い。さらに、音声情報受信部１２０２における音声の受信と、電話機識別子や第二電話機識別子の受信のタイミングは問わない。音声情報受信部１２０２は、無線の通信手段（携帯電話網を利用した無線通信）が好適であるが、有線の通信手段でも実現可能である。

音声蓄積部１２０３は、音声情報受信部１２０２が受信した情報（例えば、電話機識別子と音声と第二電話機識別子）を音声格納部１２０１に蓄積する。電話機識別子と音声等は、対応付けられて蓄積される。ただし、電話機識別子と音声等の対応付けの手段は、リンクや一のバッファへの格納等、問わない。音声蓄積部１２０３は、音声情報受信部１２０２が音声等を受信した時刻を示す時刻情報をも音声格納部１２０１に蓄積することは好適である。なお、音声蓄積部１２０３は、図示しない時計を保持しており、当該時計から時刻情報を取得し、音声格納部１２０１に蓄積する。音声蓄積部１２０３は、通常、ＭＰＵやメモリ等から実現され得る。音声蓄積部１２０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭやフラッシュメモリ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

音声解析部１２０４は、音声情報受信部１２０２が受信した音声を解析し、話者の感情を示す情報である感情情報を取得する。「音声情報受信部１２０２が受信した音声を解析する」とは、音声格納部１２０１に存在する音声を読み出して、解析することも含む。つまり、音声解析部１２０４における解析処理は、音声蓄積部１２０３のおける音声の蓄積後でも、蓄積前でも良い。ここで、「解析」とは、例えば、音声の特徴抽出である。音声の特徴抽出とは、発話された音声のピッチ、音声の基本周波数（Ｆ０）、第二フォルマント周波数（Ｆ２）、第三フォルマント周波数（Ｆ３）、スペクトラム、音の強さ、音圧、発話速度、会話の間、イントネーション、レスポンスタイプなどの情報（特徴量）を取得することである。音声解析部１２０４が、音声を解析し、如何なる音声の特徴量を取得するかは問わない。通常、音声解析部１２０４は、音声をフレームに分割し、フレームごとに音声解析を行い、フレームごとに取得した複数の特徴量（特徴ベクトル）の列（特徴ベクトル系列）から、音声の感情のカテゴリー（例えば、「怒り」「困惑」「喜び」「悲しみ」のうちの、どのカテゴリーかを示す情報）を得る。なお、この音声の感情のカテゴリーは、感情識別情報である。また、音声解析部１２０４は、感情識別情報と、その度合いを示す度合情報を得る。例えば、音声解析部１２０４は、解析によって得た音声の時系列波形において、振幅が強く、時間長が短い場合に、「怒り」の感情であると判断する。また、怒り時の音の強さは、平静時と比べ、通常、１０ｄＢ程度は高い。これは、他の感情とも著しく異なっており、音の強さは、怒りの感情を判別する特徴ベクトルとして用いられる。音声解析部１２０４の処理は公知技術（上記特許文献１や非特許文献２など）であるので、詳細な説明を省略する。音声解析部１２０４は、通常、ＭＰＵやメモリ等から実現され得る。音声解析部１２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭやフラッシュメモリ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、音声解析部１２０４は、実施の形態４で詳述するように、無声の音声を認識しても良い。

話者情報蓄積部１２０５は、音声解析部１２０４が取得した感情情報を、音声に対応付けて音声格納部１２０１に蓄積する。ここで、対応付ける音声は、音声解析部１２０４における解析対象の音声である。話者情報蓄積部１２０５は、通常、ＭＰＵやメモリ等から実現され得る。話者情報蓄積部１２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

不在着信情報送信部１２０６は、電話機１３に不在着信を示す情報であり、感情情報を有する１以上の不在着信情報を、感情情報と対になる電話機識別子で識別される電話機１３に送信する。不在着信情報送信部１２０６は、例えば、電話機１３からの要求（この要求は、例えば、電話機識別子を含む）に応じて、電話機識別子をキーとして、音声格納部１２０１を検索し、音声格納部１２０１から電話機識別子と対になる感情情報と、第二電話機識別子と、留守番電話を受け付けた時刻を示す時刻情報を読み出し、不在着信情報を構成する。本電話機識別子と対になる留守番電話が２件以上格納されている場合、不在着信情報送信部１２０６は、２以上の不在着信情報（不在着信情報のリスト）を構成する。そして、不在着信情報送信部１２０６は、1以上の不在着信情報を電話機識別子で識別される電話機１３に送信する。不在着信情報送信部１２０６は、無線または有線の通信手段等で実現され得る。

出力指示受信部１２０７は、電話機１３からの留守番電話の音声の出力指示を受信する。出力指示は、通常、出力する音声を識別する情報を含む。出力指示受信部１２０７は、無線の通信手段が好適であるが、有線の通信手段でも実現可能である。無線または有線の通信手段等で実現され得る。通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

留守番電話音声送信部１２０８は、出力指示受信部１２０７が出力指示を受信した場合、当該出力指示に対応する留守番電話の音声を音声格納部１２０１から読み出し、当該読み出した留守番電話の音声を、出力指示を送信した電話機１３に送信する。留守番電話音声送信部１２０８は、無線または有線の通信手段等で実現され得る。

不在着信情報格納部１３０１は、１以上の不在着信情報を格納し得る。この不在着信情報は、不在着信情報蓄積部１３０３が蓄積した情報である。不在着信情報格納部１３０１は、ハードディスク等の不揮発性の記録媒体が好適であるが、ＲＡＭ等の揮発性の記録媒体でも実現可能である。

不在着信情報受信部１３０２は、サーバ装置１２から、感情情報を有する１以上の不在着信情報を受信する。不在着信情報の受信について、電話機１３のユーザからの指示の入力に応じて、サーバ装置１２に不在着信情報の送信を指示し、その結果、１以上の不在着信情報を受信しても良いし、サーバ装置１２から通信可能な状態にある電話機１３へ自動的に１以上の不在着信情報を送信し、不在着信情報受信部１３０２が１以上の不在着信情報を受信しても良い。不在着信情報受信部１３０２が自動的に１以上の不在着信情報を受信するために、例えば、不在着信情報受信部１３０２は、定期的にサーバ装置１２を検索しに行っても良いし、サーバ装置１２が留守番電話の音声等を第二電話機１１から受信した場合に、対応する電話機１３に不在着信情報を送信しても良い。不在着信情報受信部１３０２は、無線の通信手段が好適であるが、有線の通信手段でも実現可能である。

表示情報構成部１３０４は、不在着信情報受信部１３０２が受信した１以上の不在着信情報を取得し、各不在着信情報に対応する１以上の表示情報を構成する。表示情報とは、電話機１３が有する表示手段（図示しない）に表示する情報（表示する元になる情報）であり、感情を識別する情報を含む情報である。感情を識別する情報とは、例えば、感情を視覚的に示すアイコンである。アイコンとは、顔を示す図柄でも良いし、第二電話機１１の話者の顔写真や、感情を示す文字列や、感情を示す動画等でも良く、広く解する。感情を識別する情報とは、感情情報と同じでも良いし、感情情報を用いて取得される情報（上記、アイコンなど）でも良い。また、表示情報構成部１３０４は、各表示情報を構成する元になった感情情報をキーとして、２以上の表示情報をソートして、２以上の表示情報のリストを構成することは好適である。表示情報構成部１３０４は、感情識別情報ごとに不在着信リストの項目をカテゴライズして表示できるように２以上の表示情報を構成することは好適である。表示情報の構成とは、表示するためのバッファに書き込む処理でも良いし、表示のための画面を構築する処理でも良い。表示情報構成部１３０４は、通常、ＭＰＵやメモリ等から実現され得る。表示情報構成部１３０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

アイコン格納手段１３０４１は、感情情報、または感情情報と話者属性に対応するアイコンを格納し得る。ここでのアイコンは、上記の感情を識別する情報に該当する。アイコン格納手段１３０４１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

アイコン取得手段１３０４２は、１以上の不在着信情報ごとに、各不在着信情報が有する感情情報、または各不在着信情報が有する感情情報と話者属性をキーとして、アイコン格納手段１３０４１からアイコンを取得する。アイコン取得手段１３０４２は、通常、ＭＰＵやメモリ等から実現され得る。アイコン取得手段１３０４２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

表示情報構成手段１３０４３は、１以上の不在着信情報ごとに、アイコン取得手段１３０４２が取得したアイコンを有する１以上の表示情報を構成する。表示情報は、例えば、アイコンと、不在着信情報が有する第二電話機識別子と、留守番電話を受け付けた時刻を示す時刻情報を有する。なお、表示情報構成手段１３０４３は、第二電話機識別子をキーとして、電話機１３が保持している電話帳情報を図示しない手段により検索し、第二電話機識別子と対になる氏名やニックネームを表示情報に含めても良い。第二電話機識別子から氏名を検索する技術は公知技術であるので詳細な説明を省略する。表示情報構成手段１３０４３は、通常、ＭＰＵやメモリ等から実現され得る。表示情報構成手段１３０４３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

留守電情報表示部１３０５は、表示情報構成部１３０４が構成した１以上の表示情報を表示手段（図示しない）に表示する。なお、表示手段は、通常、液晶ディスプレイであるが、他の表示媒体（例えば、ＣＲＴ、有機ＥＬ、ＰＤＰ、プロジェクター等）でも良い。留守電情報表示部１３０５は、外部のディスプレイ（例えば、テレビ）に、通信手段を用いて１以上の表示情報を送信する処理を行っても良い。かかる送信処理も、表示手段に表示する処理である。留守電情報表示部１３０５は、通常、ディスプレイのドライバーソフトまたは、ディスプレイのドライバーソフトとディスプレイ等で実現され得る。

受付部１３０６は、留守電情報表示部１３０５が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから入力手段により、受け付ける。ユーザは、表示手段に表示された留守番電話のリスト（例えば、感情を示すアイコンを含むリスト）から、音声出力する留守番電話を、十字カーソルやテンキー等の入力手段を用いて選択する。そして、受付部１３０６は、かかる選択を受け付ける。かかる選択の結果、生じる指示は、ここでは、出力指示である。出力指示は、例えば、「ｓｅｎｄ 音声ＩＤ」である。「ｓｅｎｄ」は、留守番電話の音声を送信せよ、との指示であり、「音声ＩＤ」は送信を要求した留守番電話の音声を識別するＩＤである。受付部１３０６は、他の指示やデータなどを受け付けても良いことは言うまでもない。他の指示とは、例えば、不在着信リストを出力させる指示である不在着信リストの出力指示である。出力指示等の入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部１３０６は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

出力指示送信部１３０７は、受付部１３０６が受け付けた出力指示を、サーバ装置１２に送信する。出力指示送信部１３０７は、無線または有線の通信手段等で実現され得る。

留守番電話音声受信部１３０８は、出力指示送信部１３０７における出力指示の送信に対応して、サーバ装置１２から留守番電話の音声を受信する。留守番電話音声受信部１３０８は、無線の通信手段が好適であるが、有線の通信手段でも実現可能である。

留守番電話音声出力部１３０９は、留守番電話音声受信部１３０８が受信した留守番電話の音声を出力する。留守番電話音声出力部１３０９は、例えば、留守番電話音声受信部１３０８が受信した留守番電話の音声を、一度、記憶媒体（図示しない）に記録し、当該記憶媒体上の音声を読み出しながら、スピーカーから音声出力する。

留守番電話音声出力部１３０９は、スピーカーを含むと考えても含まないと考えても良い。留守番電話音声出力部１３０９は、スピーカーのドライバーソフトまたは、スピーカーのドライバーソフトとスピーカー等で実現され得る。

次に、電話システムの動作について説明する。まず、第二電話機１１は、留守番電話の音声を入力し、サーバ装置１２に留守番電話の音声と、第二電話機識別子、電話機識別子を送信する処理を行う。第二電話機１１は、公知の装置であるので、詳細な説明を省略する。なお、第二電話機識別子で識別される第二電話機１１は、電話をかけた話者が保持している電話機である。電話機識別子で識別される電話機１３は、電話をかけられた方の電話機である。

次に、サーバ装置１２の動作について図３のフローチャートを用いて説明する。なお、図３のフローチャートにおいて、留守番電話の音声を音声格納部１２０１に蓄積する処理は公知技術であるので、説明を省略する。音声情報受信部１２０２が、第二電話機１１から、留守番電話の音声、第二電話機１１の第二電話機識別子、電話機１３の電話機識別子を受信し、音声蓄積部１２０３が留守番電話の音声、第二電話機識別子、電話機識別子、および時刻情報を対にして蓄積する。なお、音声蓄積部１２０３は、図示しない時計から時刻情報を取得するものとする。

次に、サーバ装置１２における音声の感情判断の処理、不在着信情報の送信処理等について、図３のフローチャートを用いて説明する。

（ステップＳ３０１）不在着信情報送信部１２０６は、不在着信情報を送信するタイミングか否かを判断する。不在着信情報を送信するタイミングであればステップＳ３０２に行き、不在着信情報を送信するタイミングでなければステップＳ３０５に行く。なお、不在着信情報を送信するタイミングであるとは、例えば、電話機１３から不在着信情報の送信指示を受信した場合である。また、不在着信情報を送信するタイミングであるとは、例えば、定期的に不在着信情報を送信することとしており、保持している時計から取得した時刻が、その送信時になったことである。

（ステップＳ３０２）不在着信情報送信部１２０６は、不在着信情報を送信する電話機識別子を取得する。電話機１３から不在着信情報の送信指示を受信する場合、電話機識別子は、例えば、不在着信情報の送信指示に含まれている。また、定期的に不在着信情報を送信する場合、電話機識別子は、音声格納部１２０１に格納されている情報である。

（ステップＳ３０３）不在着信情報送信部１２０６は、ステップＳ３０２で取得した電話機識別子をキーとして、音声格納部１２０１を検索し、電話機識別子と対になる感情情報、第二電話機識別子、時刻情報などを取得する。かかる感情情報、第二電話機識別子、時刻情報などが、ここでは、不在着信情報である。また、不在着信情報送信部１２０６は、通常、電話機識別子と対になる感情情報を含む不在着信情報をすべて取得し、メモリ上に配置する。なお、このすべての不在着信情報は、適宜、不在着信リストとも言う。

（ステップＳ３０４）不在着信情報送信部１２０６は、ステップＳ３０３で取得した１以上の不在着信情報を、ステップＳ３０２で取得した電話機識別子で識別される電話機１３に送信する。ステップＳ３０１に戻る。

（ステップＳ３０５）出力指示受信部１２０７は、電話機１３から出力指示を受信したか否かを判断する。出力指示を受信すればステップＳ３０６に行き、出力指示を受信しなければステップＳ３０９に行く。

（ステップＳ３０６）留守番電話音声送信部１２０８は、ステップＳ３０５で受信した出力指示を読み出し、当該出力指示に含まれる音声ＩＤ（送信する音声を識別する情報）、電話機識別子を取得し、メモリ上に配置する。

（ステップＳ３０７）留守番電話音声送信部１２０８は、ステップＳ３０６で取得した音声ＩＤをキーとして、音声格納部１２０１を検索し、音声ＩＤに対応する留守番電話の音声を読み出す。

（ステップＳ３０８）留守番電話音声送信部１２０８は、ステップＳ３０７で読み出した音声を、ステップＳ３０６で取得した電話機識別子で識別される電話機１３に送信する。ステップＳ３０１に戻る。

（ステップＳ３０９）音声解析部１２０４は、カウンタｉに１を代入する。

（ステップＳ３１０）音声解析部１２０４は、ｉ番目の留守番電話の音声が、音声格納部１２０１に存在するか否かを判断する。ｉ番目の留守番電話の音声が存在すればステップＳ３１１に行き、ｉ番目の留守番電話の音声が存在しなければステップＳ３０１に戻る。

（ステップＳ３１１）音声解析部１２０４は、音声格納部１２０１から、ｉ番目の音声に対応する感情情報（ｉ番目の感情情報）を読み出す。

（ステップＳ３１２）音声解析部１２０４は、ｉ番目の感情情報が空であるか否か（ｉ番目の音声に対する感情判断の処理が未処理か否か）を判断する。感情判断が未処理であればステップＳ３１３に行き、感情判断が未処理でなければステップＳ３１７に行く。なお、感情判断が未処理か否かの判断方法は、感情情報が空であるか否かを判断する以外に、感情判断処理の完了／未完了を示すフラグ（例えば、完了は「１」、未完了は「０」など）を読み出して判断するなど、他の判断方法でも良い。

（ステップＳ３１３）音声解析部１２０４は、音声格納部１２０１からｉ番目の音声を読み出し、メモリ上に配置する。

（ステップＳ３１４）音声解析部１２０４は、ｉ番目の音声を解析し、特徴ベクトルを抽出し、メモリ上に配置する。

（ステップＳ３１５）音声解析部１２０４は、ステップＳ３１４で抽出したｉ番目の音声の特徴ベクトルを用いて、感情を判定し、感情情報を取得する。

（ステップＳ３１６）話者情報蓄積部１２０５は、ステップＳ３１５で取得した感情情報を、ｉ番目の音声に対応付けて音声格納部１２０１に蓄積する。

（ステップＳ３１７）音声解析部１２０４は、カウンタｉを１、インクリメントする。ステップＳ３１０に戻る。

なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

また、図３のフローチャートにおいて、新しく蓄積された音声の順に蓄積されており、音声の解析処理は、新たに蓄積された音声から行い、解析済みの音声が出てきたところで解析処理を終了することが望ましい。

次に、電話機１３の動作について、図４のフローチャートを用いて説明する。

（ステップＳ４０１）不在着信情報受信部１３０２は、不在着信情報を受信したか否かを判断する。不在着信情報を受信すればステップＳ４０２に行き、不在着信情報を受信しなければステップＳ４０３に行く。なお、不在着信情報受信部１３０２は、１以上の不在着信情報をリストで受信しても良いし、不在着信情報を一つずつ受信しても良い。

（ステップＳ４０２）不在着信情報蓄積部１３０３は、ステップＳ４０１で受信した１以上、または一の不在着信情報を不在着信情報格納部１３０１に蓄積する。ステップＳ４０１に戻る。

（ステップＳ４０３）受付部１３０６は、不在着信リストの出力指示を受け付けたか否かを判断する。出力指示を受け付ければステップＳ４０４に行き、出力指示を受け付けなければステップＳ４１５に行く。

（ステップＳ４０４）表示情報構成部１３０４は、カウンタｉに１を代入する。

（ステップＳ４０５）表示情報構成部１３０４が具備するアイコン取得手段１３０４２は、不在着信情報格納部１３０１にｉ番目の不在着信情報が存在するか否かを判断する。ｉ番目の不在着信情報が存在すればステップＳ４０５に行き、ｉ番目の不在着信情報が存在しなければステップＳ４１２に行く。なお、「不在着信情報」は、「不在着信リスト項目」と同意義である。

（ステップＳ４０６）アイコン取得手段１３０４２は、ｉ番目の不在着信情報を、不在着信情報格納部１３０１から読み出す。

（ステップＳ４０７）アイコン取得手段１３０４２は、ステップＳ４０５で読み出したｉ番目の不在着信情報から感情情報を取得し、メモリ上に配置する。

（ステップＳ４０８）アイコン取得手段１３０４２は、ステップＳ４０６で取得した感情情報をキーとして、アイコン格納手段１３０４１を検索し、アイコンをメモリ上に読み出す。

（ステップＳ４０９）表示情報構成手段１３０４３は、ｉ番目の不在着信情報から、第二電話機識別子や時刻情報やなどの他の情報を取得し、メモリ上に配置する。

（ステップＳ４１０）表示情報構成手段１３０４３は、ステップＳ４０８で取得したアイコン、ステップＳ４０９で取得した第二電話機識別子や時刻情報などの情報を用いて、表示する元になる表示情報を構成する。ここでの表示情報の構成とは、例えば、所定のバッファに、感情情報（ステップＳ４０７で取得）やアイコンや第二電話機識別子や時刻情報などの情報を書き込むことである。

（ステップＳ４１１）表示情報構成手段１３０４３は、カウンタｉを１、インクリメントする。ステップＳ４０５に戻る。

（ステップＳ４１２）表示情報構成手段１３０４３は、２以上の表示情報について、各表示情報を構成する元になった感情情報をキーとして、２以上の表示情報をソートして、２以上の表示情報のリストを構成する。このソート処理により、例えば、喜びを示すアイコンに対応する留守番電話の情報と、悲しみを示すアイコンに対応する留守番電話の情報が分離される。つまり、ソート処理により、蓄積されている留守番電話のリストが、電話をかけた話者の感情に応じてカテゴリー分けされる。

（ステップＳ４１３）表示情報構成手段１３０４３は、出力する表示情報のリスト（不在着信リスト）を構成する。

（ステップＳ４１４）留守電情報表示部１３０５は、ステップＳ４１３で構成した不在着信リストを表示手段に表示する。ステップＳ４０１に戻る。

（ステップＳ４１５）受付部１３０６は、留守番電話の音声の出力指示を受け付けたか否かを判断する。出力指示を受け付ければステップＳ４１６に行き、出力指示を受け付けなければステップＳ４０１に戻る。なお、ステップＳ４１５の前には、不在着信リストがディスプレイに表示されている状態である、とする。

（ステップＳ４１６）出力指示送信部１３０７は、サーバ装置１２に送信する出力指示を構成する。なお、出力指示送信部１３０７は、例えば、格納している電話機１３の電話機識別子を読み出し、指示された留守番電話の音声を識別する音声ＩＤを取得し、電話機識別子および音声ＩＤを有する出力指示を構成する。出力指示は、例えば、「ｓｅｎｄ_ｍｅｓｓａｇｅ 音声ＩＤ，電話機識別子」である。

（ステップＳ４１７）出力指示送信部１３０７は、ステップＳ４１６で構成した出力指示をサーバ装置１２に送信する。なお、出力指示送信部１３０７は、予めサーバ装置１２と通信するための情報（サーバ装置１２のＩＰアドレスや電話番号など）を保持している、とする。

（ステップＳ４１８）留守番電話音声受信部１３０８は、サーバ装置１２から留守番電話の音声を受信したか否かを判断する。音声を受信すればステップＳ４１９に行き、音声を受信しなければステップＳ４２１に行く。

（ステップＳ４１９）留守番電話音声出力部１３０９は、ステップＳ４１８で受信した音声をメモリ上に読み出し、スピーカーに音声出力する。

（ステップＳ４２０）留守番電話音声出力部１３０９は、出力した音声に対応する不在着信情報であり、不在着信情報格納部１３０１の不在着信情報を削除する。また、留守番電話音声出力部１３０９は、不在着信情報を削除する代わりに、不在着信情報に対応する音声を出力したことを示すフラグ（例えば、「１」）を不在着信情報格納部１３０１に書き込んでも良いし、不在着信情報の音声の未出力を示すアイコンを削除しても良いし、不在着信情報の音声を出力済みであることを示すアイコンを追記しても良い。ステップＳ４０１に戻る。

（ステップＳ４２１）留守番電話音声受信部１３０８は、タイムアウトか否かを判断する。タイムアウトであればステップＳ４０１に戻り、タイムアウトでなければステップＳ４１８に戻る。なお、タイムアウトとは、出力指示をサーバ装置１２に送信してから、所定時間以上、音声を受信しなかったことである。

なお、図４のフローチャートにおいて、表示情報をソートする処理（ステップＳ４１２の処理）は行わなくても良い。

なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以下、本実施の形態における電話システムの具体的な動作について説明する。電話システムの概念図は図１である。

今、電話機１３の表示情報構成部１３０４のアイコン格納手段１３０４１は、図５に示すアイコン管理表を保持している、とする。アイコン管理表は、「感情情報」と「アイコン」を有するレコードを複数保持している。このアイコンは、感情情報に対応して表示されるアイコンである。

また、サーバ装置１２は、多数の第二電話機１１からの留守番電話の音声や第二電話機識別子や電話機識別子や時刻情報等を音声格納部１２０１に蓄積していく。なお、留守番電話の音声を蓄積する技術は公知技術であるので、詳細な説明を省略する。そして、音声格納部１２０１は、図６に示す留守番電話情報管理表を保持することとなる、とする。留守番電話情報管理表は、「ＩＤ」「電話機識別子」「第二電話機識別子」「時刻情報」「感情情報」「音声」を有する。「ＩＤ」は、レコードを識別する情報であり、表におけるレコード管理のために存在する。「電話機識別子」は、電話の相手先を識別する情報を示す属性であり、ここでは、電話機１３の電話番号を示す属性である。また、「第二電話機識別子」は、電話をかけた者の電話機を識別する情報を示す属性であり、ここでは、第二電話機１１の電話番号を示す属性である。「時刻情報」は、サーバ装置１２が留守番電話を蓄積した時刻を格納する属性である。時刻情報は、サーバ装置１２が保持している時計（図示しない）から、サーバ装置１２内の図示しない手段が取得して、蓄積する情報である。「感情情報」は、音声解析部１２０４が音声を解析し、取得した感情情報であり、話者情報蓄積部１２０５が蓄積した感情情報を格納する属性である。「音声」は、ここでは、ファイルで保持されているが、保持されるデータ構造や形式は問わない。なお、図６における留守番電話情報管理表は、音声の解析前の管理表であり、感情情報が空となっている。

かかる状況で、音声解析部１２０４は、留守番電話情報管理表内の音声の解析を開始する、とする。つまり、まず、音声解析部１２０４は、例えば、１番目の留守番電話の音声から、感情情報が空である音声を、音声格納部１２０１に存在する留守番電話情報管理表から読み出し、メモリ上に配置する。そして、音声解析部１２０４は、まず、１番目の音声を解析し、特徴ベクトル系列を抽出し、メモリ上に配置する。音声解析部１２０４は、抽出した１番目の音声の特徴ベクトル系列を用いて、感情を、例えば、「悲しみ」と判定し、感情情報「悲しみ」を取得する。そして、話者情報蓄積部１２０５は、取得した感情情報「悲しみ」を、１番目の音声に対応付けて音声格納部１２０１の留守番電話情報管理表の属性「感情情報」の属性値として蓄積する。かかる処理を、すべての属性「感情情報」の属性値が埋まるまで繰り返す。なお、音声解析部１２０４が取得した特徴ベクトル系列から感情が鑑定できない場合は、「感情情報」は「空」としても良い。なお、かかる感情判定の技術は、上述したように公知技術であるので詳細な説明を省略する。

そして、話者情報蓄積部１２０５は、留守番電話情報管理表のすべてのレコードの属性「感情情報」の属性値を書き込む（上述したように、感情判定できなかった場合は、空でも良い）。そして、図７に示す留守番電話情報管理表が得られる。

次に、電話機識別子「０９０−１２３４−５６７８」で識別される電話機１３を保有するユーザが、電話機１３を操作し、不在着信情報の送信指示（電話機識別子「０９０−１２３４−５６７８」を含む送信指示）をサーバ装置１２に送信した、とする。または、サーバ装置１２は、設定された時刻やタイミングが到来し、不在着信情報の送信タイミングになった、と判断した、とする。

次に、サーバ装置１２の不在着信情報送信部１２０６は、不在着信情報を送信する電話機識別子「０９０−１２３４−５６７８」を取得する。そして、不在着信情報送信部１２０６は、取得した電話機識別子「０９０−１２３４−５６７８」をキーとして、音声格納部１２０１の留守番電話情報管理表を検索し、電話機識別子「０９０−１２３４−５６７８」と対になる第二電話機識別子、時刻情報、感情情報を取得する、とする。そして、不在着信情報送信部１２０６は、図８に示す不在着信情報管理表を構成する。次に、不在着信情報送信部１２０６は、電話機識別子「０９０−１２３４−５６７８」で識別される電話機１３に、図８に示す不在着信情報管理表を送信する。不在着信情報管理表のデータは、不在着信リストである。

次に、電話機識別子「０９０−１２３４−５６７８」で識別される電話機１３の不在着信情報受信部１３０２は、図８に示す不在着信情報管理表を受信する。そして、不在着信情報蓄積部１３０３は、受信した図８に示す不在着信情報管理表を不在着信情報格納部１３０１に蓄積する。

次に、ユーザは、電話機１３を操作し、不在着信リストの出力指示を入力した、とする。不在着信リストの出力指示の入力方法は問わない。メニュー画面からの入力でも、十字カーソルを用いての入力等でも良い。そして、電話機１３の受付部１３０６は、不在着信リストの出力指示を受け付ける。なお、電話機１３は、ユーザからの不在着信リストの出力指示を受けつけなくても、不在着信情報管理表を受信した場合に、直ちに、不在着信リストを表示する処理を行っても良い。

そして、表示情報構成部１３０４が具備するアイコン取得手段１３０４２は、不在着信情報格納部１３０１から図８に示す不在着信情報管理表を読み出し、メモリ上に配置する。そして、不在着信情報管理表の１番目のレコードが有する感情情報をキーとして、図５のアイコン管理表を検索し、感情情報と対になるアイコンを読み出し、第二電話機識別子、時刻情報と対にメモリ上に配置する。また、表示情報構成手段１３０４３は、各第二電話機識別子をキーとして、図示しない電子電話帳を検索し、氏名（ニックネームでも良い）の情報を取得し、アイコン、時刻情報と対にメモリ上に配置する。そして、以上の処理を、２番目以降のレコードに対しても繰り返し行う。以上の処理により、表示情報構成手段１３０４３は、アイコン、時刻情報、氏名（ニックネームでも良い）の情報を対に有するレコードを１以上、メモリ上に保持することとなる。なお、第二電話機識別子を氏名（ニックネームでも良い）の情報に変換する技術は公知技術であるので、詳細な説明を省略する。

次に、留守電情報表示部１３０５は、表示情報構成手段１３０４３がメモリ上に構成した不在着信リストを表示手段に表示する。かかる不在着信リストの表示例を図９に示す。図９において、カセットテープのアイコンは、留守番電話の音声を未だ出力していないことを示す。なお、音声出力後は、例えば、対応するカセットテープのアイコンの表示は消える。

次に、ユーザが、図９に示す感情を示すアイコンが付与された不在着信リストを見て、「ゆいちゃん」の喜びの音声を、「楽しいお誘いかな！」と考えて、一番優先して、当該「ゆいちゃん」の不在着信リスト項目を選択した、とする。つまり、本ユーザは、図９に示す不在着信リストの表示画面から、一番上の留守番電話の音声の出力指示を入力した、とする。すると、電話機１３の受付部１３０６は、留守番電話の音声の出力指示を受け付ける。そして、出力指示送信部１３０７は、サーバ装置１２に送信する出力指示（例えば、「送信指示＿音声 ５４８，０９０−１２３４−５６７８」）を構成する。「送信指示＿音声」は、留守番電話の音声の送信を指示する命令である。「５４８」は、サーバ装置１２における不在着信リストの項目を特定するＩＤである。「０９０−１２３４−５６７８」は、電話機１３の電話機識別子である。そして、出力指示送信部１３０７は、出力指示（例えば、「送信指示＿音声 ５４８，０９０−１２３４−５６７８」）を送信する。なお、「０９０−１２３４−５６７８」は、電話機１３が予め保持しており、出力指示送信部１３０７が読み出す情報である。

次に、サーバ装置１２の出力指示受信部１２０７は、「０９０−１２３４−５６７８」で識別される電話機１３から出力指示（例えば、「送信指示＿音声 ５４８，０９０−１２３４−５６７８」）を受信する。次に、留守番電話音声送信部１２０８は、受信した出力指示を読み出し、当該出力指示に含まれる音声ＩＤ（ここでは、例えば、「５４８」）、電話機識別子（例えば、「０９０−１２３４−５６７８」）を取得し、メモリ上に配置する。留守番電話音声送信部１２０８は、取得した音声ＩＤ（例えば、「５４８」）をキーとして、音声格納部１２０１の留守番電話情報管理表を検索し、音声ＩＤ「５４８」と同一の「ＩＤ」を有するレコードに含まれる留守番電話の音声（属性値「音声」）を読み出す。そして、留守番電話音声送信部１２０８は、読み出した音声を、取得した電話機識別子「０９０−１２３４−５６７８」で識別される電話機１３に送信する。

次に、留守番電話音声受信部１３０８は、サーバ装置１２から留守番電話の音声を受信する。そして、留守番電話音声出力部１３０９は、受信した音声をメモリ上に読み出し、スピーカーに音声出力する。

また、次に、ユーザは、困惑している「やっ君」の音声を聞こうと、当該リスト項目に対して出力指示を入力する。そして、上記と同様に、電話機１３のユーザは、「やっ君」の留守番電話を聞くことができる。

そして、例えば、電話機１３のユーザの気分が優れない場合、怒っている鈴木先輩の声を聞くのが躊躇われるので、気分転換に一杯飲みに行った後、鈴木先輩の留守番電話を聞こうと、決心する。

また、電話機１３のユーザは、非通知で、無声の音声について、「非通知で、会話なしか。無視だな。」と考え、例えば、サーバ装置１２に当該音声の削除、または当該不在着信リスト項目の削除を指示する。つまり、例えば、ユーザは、非通知で、無声の不在着信リスト項目を指示し、削除コマンドを入力する、とする。そして、電話機１３は、例えば、「削除 ８」という命令（例えば、「削除 ＩＤ」という構造を有する）を構成し、サーバ装置１２に送信する。そして、サーバ装置１２は「削除 ８」という命令を受信し、「ＩＤ＝８」で特定される不在着信リスト項目（図８参照）を削除する。

なお、上記の図９の不在着信リストの表示に変えて、図１０に示すように、感情情報に基づいて不在着信リスト項目をソートして、不在着信リストを表示しても良い。かかる場合、表示情報構成手段１３０４３は、２以上の表示情報（不在着信リスト項目）について、各表示情報を構成する元になった感情情報をキーとして、２以上の表示情報をソートして、２以上の表示情報のリストを構成する。ソートする順序は、例えば、「喜び」「困惑」「悲しみ」「怒り」「無声」の順にソートする。但し、ソートの順序は問わない。

以上、本実施の形態によれば、留守番電話を聞く前に、話者の感情が分かる電話システム等を提供できる。その結果、例えば、ユーザの現在の心理状態に応じて、聞きたくないであろう留守番電話を聞かずに済むための仕組みを提供できる。また、早く聞きたい電話の内容を容易に選択できる。また、感情情報に基づいて不在着信リスト項目をソートして、不在着信リストを表示した場合、早く聞きたい電話の内容をさらに容易に選択でき、また、聞きたくない複数の不在着信リスト項目も一目して判断できる。

なお、本実施の形態によれば、アイコンは、人の写真（特に、顔写真）でも良い。また、かかる場合、例えば、アイコン格納手段１３０４１のアイコン管理表は、図１１に示すように、第二電話機識別子（または電話の話者（氏名やニックネーム））ごとに、かつ感情情報ごとにアイコン（写真を含む）を管理していても良い。かかる場合、アイコン取得手段１３０４２は、１以上の不在着信情報ごとに、各不在着信情報が有する感情情報、および第二電話機識別子をキーとして、アイコン格納手段１３０４１からアイコンを取得する。なお、アイコン取得手段１３０４２は、１以上の不在着信情報ごとに、各不在着信情報が有する感情情報、または各不在着信情報が有する感情情報と話者属性と、第二電話機識別子をキーとして、アイコン格納手段１３０４１からアイコンを取得しても良い。話者属性が含まれる態様について、実施の形態２等で説明する。かかることは、他の実施の形態においても同様である。

また、本実施の形態の具体例によれば、感情情報は、「怒り」「困惑」「喜び」「悲しみ」であったが、感情情報は、感情を識別する情報と、感情の程度を示す情報を有しても良い。かかる場合、感情情報は、例えば、「怒り，１０」「困惑，３」「喜び，８」「悲しみ，４」などである。表示情報構成手段１３０４３は、かかる感情情報が有する程度情報（程度を示す情報）を取得し、程度情報に応じて、アイコンのサイズを変更したり（程度が大きいほどアイコンを大きくするなど）、アイコンの背景色を変更したり（程度が大きいほど、背景色を暖色［赤に近づく］にする、など）、アイコンの輪郭線の太さを変更したり（程度が大きいほど、線を太くする、など）でも良い。かかることも、他の実施の形態においても同様である。

また、本実施の形態において、アイコンは、電話機１３が有するので、電話機１３ごとにカスタマイズが可能となる。したがって、電話をかけてくる友人の顔写真などをアイコンとして登録しておけば、非常に興味深い、楽しい留守番電話システムとなる。

さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるサーバ装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、電話機を識別する情報である電話機識別子と、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納しており、コンピュータを、話者が保有する第二電話機から、前記電話機識別子と留守番電話の音声を受信する音声情報受信部と、前記音声情報受信部が受信した電話機識別子と音声を前記記憶媒体に蓄積する音声蓄積部と、前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、前記音声解析部が取得した感情情報を、前記音声に対応付けて前記記憶媒体に蓄積する話者情報蓄積部と、前記電話機に不在着信を示す情報であり、前記感情情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信する不在着信情報送信部と、前記電話機からの留守番電話の音声の出力指示を受信する出力指示受信部と、前記出力指示受信部が出力指示を受信した場合、当該出力指示に対応する留守番電話の音声を前記記憶媒体から読み出し、当該読み出した留守番電話の音声を、前記出力指示を送信した電話機に送信する留守番電話音声送信部、として機能させるためのプログラム、である。

また、上記サーバ装置のプログラムにおいて、コンピュータを、前記表示情報構成部は、２以上の表示情報について、各表示情報を構成する元になった感情情報をキーとして、前記２以上の表示情報をソートして、前記２以上の表示情報のリストを構成するものとして機能させるためのプログラム、であることは好適である。

また、本実施の形態における電話機を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、前記サーバ装置から、感情情報を有する１以上の不在着信情報を受信する不在着信情報受信部と、前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、前記受付部が受け付けた出力指示を、前記サーバ装置に送信する出力指示送信部と、前記出力指示の送信に対応して、前記サーバ装置から留守番電話の音声を受信する留守番電話音声受信部と、前記留守番電話音声受信部が受信した留守番電話の音声を出力する留守番電話音声出力部として機能させるためのプログラム、である。

また、上記電話機のプログラムにおいて、コンピュータを、前記表示情報構成部は、前記感情情報、または前記感情情報と前記話者属性に対応するアイコンを格納し得るアイコン格納手段と、前記１以上の不在着信情報ごとに、前記各不在着信情報が有する前記感情情報、または前記各不在着信情報が有する前記感情情報と前記話者属性をキーとして、前記アイコン格納手段からアイコンを取得するアイコン取得手段と、前記１以上の不在着信情報ごとに、前記アイコン取得手段が取得したアイコンを有する１以上の表示情報を構成する表示情報構成手段を具備するものとして機能させるためのプログラム、であっても良い。
（実施の形態２）

本実施の形態において、実施の形態１と比較して、性別や年齢などの、留守番電話の音声を解析して得られた話者の属性値と感情情報を用いて、留守番電話の音声を示すアイコン等を表示できる点が異なる。

図１２は、本実施の形態における電話システムのブロック図である。本電話システムは、第二電話機１１、サーバ装置１２２、電話機１２３を具備する。

サーバ装置１２２は、音声格納部１２０１、音声情報受信部１２０２、音声蓄積部１２０３、音声解析部１２２０４、話者情報蓄積部１２２０５、不在着信情報送信部１２２０６、出力指示受信部１２０７、留守番電話音声送信部１２０８を具備する。

電話機１２３は、不在着信情報格納部１３０１、不在着信情報受信部１２３０２、不在着信情報蓄積部１３０３、表示情報構成部１２３０４、留守電情報表示部１３０５、受付部１３０６、出力指示送信部１３０７、留守番電話音声受信部１３０８、留守番電話音声出力部１３０９を具備する。

表示情報構成部１２３０４は、アイコン格納手段１３０４１、アイコン取得手段１２３０４２、表示情報構成手段１３０４３を具備する。

音声解析部１２２０４は、音声情報受信部１２０２が受信した音声を解析し、感情情報と、話者の属性を示す情報である話者属性情報を取得する。音声の解析については、実施の形態１で説明した通りである。なお、音声解析部１２２０４は、音声の音響分析を行い（音声を解析し）、音声の特徴ベクトル系列を取得し、特徴ベクトル系列が有する、例えば、周波数の平均値または中央値が所定値より高ければ音声（電話）の主は女性であり、所定値より低ければ音声（電話）の主は男性である、と判断する。また、音声解析部１２２０４は、基本周波数等により性別を推定しても良い。なお、音声を解析し、性別や年齢を推定する技術は公知技術であり、詳細な説明を省略する。また、感情情報の取得方法は、実施の形態１で説明した通りである。音声解析部１２２０４は、通常、ＭＰＵやメモリ等から実現され得る。音声解析部１２２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、音声解析部１２２０４は、実施の形態４で詳述するように、無声の音声を認識しても良い。

話者情報蓄積部１２２０５は、音声解析部１２２０４が取得した感情情報と話者属性情報を、音声に対応付けて音声格納部１２０１に蓄積する。話者情報蓄積部１２２０５は、通常、ＭＰＵやメモリ等から実現され得る。話者情報蓄積部１２２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

不在着信情報送信部１２２０６は、電話機１２３に不在着信を示す情報であり、感情情報と話者属性情報を有する１以上の不在着信情報を、感情情報と対になる電話機識別子で識別される電話機１２３に送信する。不在着信情報送信部１２２０６は、無線または有線の通信手段等で実現され得る。

不在着信情報受信部１２３０２は、サーバ装置１２２から、感情情報と話者属性情報を有する１以上の不在着信情報を受信する。不在着信情報の受信について、電話機１２３のユーザからの指示の入力に応じて、サーバ装置１２２に不在着信情報の送信を指示し、その結果、１以上の不在着信情報を受信しても良いし、サーバ装置１２２から、自動的に１以上の不在着信情報を送信し、不在着信情報受信部１２３０２が１以上の不在着信情報を受信しても良い。不在着信情報受信部１２３０２は、無線の通信手段が好適であるが、有線の通信手段でも実現可能である。

表示情報構成部１２３０４は、不在着信情報受信部１２３０２が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、電話機１２３が有する表示手段に表示する情報（表示する元になる情報）であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成する。感情と話者属性を識別する情報とは、例えば、感情と話者属性（性別や年齢など）を視覚的に示すアイコンである。感情と話者属性を識別する情報とは、感情情報と話者属性情報と同じでも良いし、感情情報と話者属性情報を用いて取得される情報（上記、アイコンなど）でも良い。また、表示情報構成部１２３０４は、各表示情報を構成する元になった感情情報をキーとして、２以上の表示情報をソートして、２以上の表示情報のリストを構成することは好適である。表示情報構成部１２３０４は、通常、ＭＰＵやメモリ等から実現され得る。表示情報構成部１２３０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

アイコン取得手段１２３０４２は、１以上の不在着信情報ごとに、各不在着信情報が有する感情情報と話者属性情報をキーとして、アイコン格納手段１３０４１からアイコンを取得する。アイコン取得手段１２３０４２は、通常、ＭＰＵやメモリ等から実現され得る。アイコン取得手段１２３０４２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、電話システムを構成するサーバ装置１２２の動作について説明する。サーバ装置１２２の動作は、図３のフローチャートを用いて説明したサーバ装置の動作に対して、以下が異なる。まず、ステップＳ３０３において、サーバ装置１２２の不在着信情報送信部１２２０６は、電話機識別子をキーとして、音声格納部１２０１を検索し、電話機識別子と対になる感情情報、話者属性情報、第二電話機識別子、時刻情報などを取得する。つまり、不在着信情報は、話者属性情報を有する。

そして、ステップＳ３１４からステップＳ３１６において、音声解析部１２２０４は、音声を解析し、感情情報と話者属性情報を取得し、話者情報蓄積部１２０５は、取得した感情情報と話者属性情報を、音声に対応付けて音声格納部１２０１に蓄積する。

次に、電話システムを構成する電話機１２３の動作について説明する。本電話機１２３の動作は、図４のフローチャートにおける動作と比較して、以下が異なる。

つまり、ステップＳ４０７、ステップＳ４０８において、アイコン取得手段１２３０４２は、感情情報と話者属性情報をキーとしてアイコンを取得する。

以下、本実施の形態における電話システムの具体的な動作について説明する。電話システムの概念図は図１である。

今、電話機１２３の表示情報構成部１２３０４のアイコン格納手段１３０４１は、図１３に示すアイコン管理表を保持している、とする。アイコン管理表は、「感情情報」と「話者属性」と「アイコン」を有するレコードを複数保持している。このアイコンは、感情情報に対応して表示されるアイコンである。属性「話者属性」の属性値は、ここでは、「女性」または「男性」である。

また、サーバ装置１２は、多数の第二電話機１１からの留守番電話の音声を音声格納部１２０１に蓄積していく。そして、音声格納部１２０１は、留守番電話情報管理表を保持することとなる、とする。留守番電話情報管理表の各レコードは、図６の留守番電話情報管理表のレコードと比較して、属性「話者属性情報」をさらに有する。つまり、ここでの留守番電話情報管理表は、「ＩＤ」「電話機識別子」「第二電話機識別子」「時刻情報」「感情情報」「話者属性情報」「音声」を有する。

かかる状況で、音声解析部１２２０４は、留守番電話情報管理表内の音声の解析を開始する、とする。つまり、まず、音声解析部１２２０４は、例えば、１番目の留守番電話の音声から、感情情報および話者属性情報が空である音声を、音声格納部１２０１に存在する留守番電話情報管理表から読み出し、メモリ上に配置する。そして、音声解析部１２２０４は、まず、１番目の音声を解析し、特徴ベクトルを抽出し、メモリ上に配置する。音声解析部１２２０４は、抽出した１番目の音声の特徴ベクトルを用いて、感情を、例えば、「悲しみ」と判定し、感情情報「悲しみ」を取得する。また、音声解析部１２２０４は、抽出した１番目の音声の特徴ベクトルを用いて、話者属性情報を、例えば、「女性」と判定し、話者属性情報「女性」を取得する。そして、話者情報蓄積部１２２０５は、取得した感情情報「悲しみ」と話者属性情報「女性」を、１番目の音声に対応付けて音声格納部１２０１の留守番電話情報管理表の属性「感情情報」「話者属性」の属性値として蓄積する。かかる処理を、すべての属性「感情情報」「話者属性情報」の属性値が埋まるまで繰り返す。なお、音声解析部１２２０４が取得した特徴ベクトルから感情や話者属性（ここでは、性別）が判定できない場合は、「感情情報」と「話者属性情報」は「空」としても良い。

そして、話者情報蓄積部１２２０５は、留守番電話情報管理表のすべてのレコードの属性「感情情報」と「話者属性情報」の属性値を書き込む（上述したように、感情判定や話者属性の判定ができなかった場合は、空でも良い）。そして、図１４に示す留守番電話情報管理表が得られる。

次に、電話機識別子「０９０−１２３４−５６７８」で識別される電話機１２３を保有するユーザが、電話機１２３を操作し、不在着信情報の送信指示（電話機識別子「０９０−１２３４−５６７８」を含む送信指示）をサーバ装置１２２に送信した、とする。または、サーバ装置１２２は、設定された時刻やタイミングが到来し、不在着信情報の送信タイミングになった、と判断した、とする。

次に、サーバ装置１２２の不在着信情報送信部１２２０６は、不在着信情報を送信する電話機識別子「０９０−１２３４−５６７８」を取得する。そして、不在着信情報送信部１２２０６は、取得した電話機識別子「０９０−１２３４−５６７８」をキーとして、音声格納部１２０１の留守番電話情報管理表を検索し、電話機識別子「０９０−１２３４−５６７８」と対になる第二電話機識別子、時刻情報、感情情報、話者属性情報を取得する、とする。そして、不在着信情報送信部１２０６は、図１５の不在着信情報管理表を構成する。次に、不在着信情報送信部１２２０６は、電話機識別子「０９０−１２３４−５６７８」で識別される電話機１２３に、構成した不在着信情報管理表を送信する。なお、この不在着信情報管理表は、図８の不在着信情報管理表と比較して、「話者属性情報」を有する。

次に、電話機識別子「０９０−１２３４−５６７８」で識別される電話機１２３の不在着信情報受信部１２３０２は、図１５に示す不在着信情報管理表を受信する。そして、不在着信情報蓄積部１３０３は、受信した図１５に示す不在着信情報管理表を不在着信情報格納部１３０１に蓄積する。

次に、ユーザは、電話機１２３を操作し、不在着信リストの出力指示を入力した、とする。不在着信リストの出力指示の入力方法は問わない。そして、電話機１２３の受付部１３０６は、不在着信リストの出力指示を受け付ける。

そして、表示情報構成部１２３０４が具備するアイコン取得手段１２３０４２は、不在着信情報格納部１３０１から図１５に示す不在着信情報管理表を読み出し、メモリ上に配置する。そして、不在着信情報管理表の１番目のレコードが有する感情情報と話者属性情報をキーとして、図１３のアイコン管理表を検索し、感情情報と話者属性情報の組と対になるアイコンを読み出し、第二電話機識別子、時刻情報と対にメモリ上に配置する。また、表示情報構成手段１３０４３は、各第二電話機識別子をキーとして、図示しない電子電話帳を検索し、氏名（ニックネームでも良い）の情報を取得し、アイコン、時刻情報と対にメモリ上に配置する。以上の処理を、不在着信情報管理表の２番目以降のレコードに対しても行う。そして、以上の処理により、表示情報構成手段１３０４３は、アイコン、時刻情報、氏名（ニックネームでも良い）の情報を対に有するレコードを１以上、メモリ上に保持することとなる。

次に、留守電情報表示部１３０５は、表示情報構成手段１３０４３がメモリ上に構成した不在着信リストを表示手段に表示する。かかる不在着信リストの表示例を図１６に示す。図１６において、カセットテープのアイコンは、留守番電話の音声を未だ出力していないことを示す。

次に、電話機１２３のユーザが、図１６の不在着信リストを見て、現在の自分の気分に応じて、項目を選択して、留守番電話の音声を聞くことができる点、実施の形態１の具体例において述べたことと同様である。

以上、本実施の形態によれば、留守番電話を聞く前に、話者の感情や属性（性別など）が分かる電話システム等を提供できる。その結果、例えば、ユーザの現在の心理状態に応じて、聞きたくないであろう留守番電話を聞かずに済むための仕組みを提供できる。また、早く聞きたい電話の内容を容易に選択できる。また、感情情報に基づいて不在着信リスト項目をソートして、不在着信リストを表示した場合、早く聞きたい電話の内容をさらに容易に選択でき、また、聞きたくない複数の不在着信リスト項目も一目して判断できる。特に、不在着信リスト項目が第二電話機１１の第二電話機識別子を有しない場合（話者が電話番号非通知で留守番電話を入れた場合）など、話者属性の情報は重要である。つまり、話者属性が男性か女性か、または年齢が高齢か青年か等により、電話機１２３のユーザのリスト項目の選択順序が変わってくる。つまり、留守番電話の音声を残した話者の属性に応じて、電話機１２３のユーザは、適切な優先度で音声を聞くことができる。さらに、本実施の形態によれば、電話機でアイコンを保持しており、電話機ごとに出力するアイコンをカスタマイズできる。そのため、アイコンを話者の写真とするなどの工夫ができる。

さらに、本実施の形態におけるサーバ装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、電話機を識別する情報である電話機識別子と、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納しており、コンピュータを、話者が保有する第二電話機から、前記電話機識別子と留守番電話の音声を受信する音声情報受信部と、前記音声情報受信部が受信した電話機識別子と音声を前記記憶媒体に蓄積する音声蓄積部と、前記音声情報受信部が受信した音声を解析し、感情情報と、前記話者の属性を示す情報である話者属性情報を取得する音声解析部と、前記音声解析部が取得した感情情報と話者属性情報を、前記音声に対応付けて前記記憶媒体に蓄積する話者情報蓄積部と、前記電話機に不在着信を示す情報であり、前記感情情報と前記話者属性情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信する不在着信情報送信部と、前記電話機からの留守番電話の音声の出力指示を受信する出力指示受信部と、前記出力指示受信部が出力指示を受信した場合、当該出力指示に対応する留守番電話の音声を前記記憶媒体から読み出し、当該読み出した留守番電話の音声を、前記出力指示を送信した電話機に送信する留守番電話音声送信部、として機能させるためのプログラム、である。

また、上記サーバ装置のプログラムにおいて、コンピュータを、前記表示情報構成部は、２以上の表示情報について、各表示情報を構成する元になった感情情報をキーとして、前記２以上の表示情報をソートして、前記２以上の表示情報のリストを構成するものとして機能させるためのプログラム、である。

また、本実施の形態における電話機を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、前記サーバ装置から、感情情報と話者属性情報を有する１以上の不在着信情報を受信する不在着信情報受信部と、前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、前記受付部が受け付けた出力指示を、前記サーバ装置に送信する出力指示送信部と、前記出力指示の送信に対応して、前記サーバ装置から留守番電話の音声を受信する留守番電話音声受信部と、前記留守番電話音声受信部が受信した留守番電話の音声を出力する留守番電話音声出力部として機能させるためのプログラム、である。

また、上記電話機のプログラムにおいて、コンピュータを、前記表示情報構成部は、前記感情情報、または前記感情情報と前記話者属性に対応するアイコンを格納し得るアイコン格納手段と、前記１以上の不在着信情報ごとに、前記各不在着信情報が有する前記感情情報、または前記各不在着信情報が有する前記感情情報と前記話者属性をキーとして、前記アイコン格納手段からアイコンを取得するアイコン取得手段と、前記１以上の不在着信情報ごとに、前記アイコン取得手段が取得したアイコンを有する１以上の表示情報を構成する表示情報構成手段を具備するものとして機能させるためのプログラム、であっても良い。
（実施の形態３）

本実施の形態において、実施の形態１、実施の形態２における電話システムに対して、アイコンはサーバ装置から送信され、留守番電話の音声を出力する電話機は受信したアイコンを表示する、という電話システムについて説明する。

図１７は、本実施の形態における電話システムのブロック図である。本電話システムは、第二電話機１１、サーバ装置１７２、電話機１７３を具備する。

サーバ装置１７２は、音声格納部１２０１、音声情報受信部１２０２、音声蓄積部１２０３、音声解析部１７２０４、話者情報蓄積部１２２０５、不在着信情報送信部１２２０６、出力指示受信部１２０７、留守番電話音声送信部１２０８を具備する。

音声解析部１７２０４は、アイコン格納手段１７２０４１、音声解析手段１７２０４２、アイコン取得手段１７２０４３を具備する。

電話機１７３は、不在着信情報格納部１３０１、不在着信情報受信部１２３０２、不在着信情報蓄積部１３０３、表示情報構成部１７３０４、留守電情報表示部１３０５、受付部１３０６、出力指示送信部１３０７、留守番電話音声受信部１３０８、留守番電話音声出力部１３０９を具備する。

アイコン格納手段１７２０４１は、感情情報、または感情情報と話者属性情報に対応するアイコンを格納し得る。アイコン格納手段１７２０４１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

音声解析手段１７２０４２は、音声情報受信部１２０２が受信した音声を解析し、当該音声の解析結果が示す感情情報、または当該音声の解析結果が示す感情情報と話者属性情報を得る。なお、音声解析手段１７２０４２は、無声の音声を認識しても良い。音声解析手段１７２０４２は、通常、ＭＰＵやメモリ等から実現され得る。音声解析手段１７２０４２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

アイコン取得手段１７２０４３は、音声解析手段１７２０４２が得た感情情報、または感情情報と話者属性情報と対になるアイコンを、アイコン格納手段１７２０４１から取得する。なお、アイコン取得手段１７２０４３が取得したアイコンは、ここでは、電話機１７３に送信する感情情報、または感情情報と話者属性情報である。アイコン取得手段１７２０４３は、通常、ＭＰＵやメモリ等から実現され得る。アイコン取得手段１７２０４３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

表示情報構成部１７３０４は、不在着信情報受信部１２３０２が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、電話機１７３が有する表示手段（図示しない）に表示する情報（表示する元になる情報）であり、感情を識別する情報を含む１以上の表示情報を構成する。表示情報は、不在着信情報受信部１２３０２が受信した不在着信情報が有するアイコンを含む。このアイコンは、留守番電話の話者の感情を示すアイコン、または留守番電話の話者の感情と話者属性示すアイコンである。

次に、電話システムを構成するサーバ装置１７２の動作について図１８のフローチャートを用いて説明する。図１８のフローチャートにおいて、図３のフローチャートと異なるステップのみ説明する。

（ステップＳ１８０１）音声解析手段１７２０４２は、ｉ番目の音声を解析して、感情情報と話者属性情報を取得し、メモリ上に一時記憶する。

（ステップＳ１８０２）アイコン取得手段１７２０４３は、ステップＳ１８０１で得た感情情報と話者属性情報をキーとして、アイコン格納手段１７２０４１を検索する。そして、アイコン取得手段１７２０４３は、アイコン格納手段１７２０４１からアイコンを読み出す。ステップＳ３１６に行く。

（ステップＳ１８０３）話者情報蓄積部１２２０５は、ステップＳ１８０１で取得した感情情報と話者属性情報を、ｉ番目の音声に対応付けて音声格納部１２０１に蓄積する。

なお、図１８のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

また、図１８のフローチャートにおいて、不在着信情報が有する感情情報等は、ここではアイコンである。

次に、電話システムを構成する電話機１７３の動作について図１９のフローチャートを用いて説明する。図１９のフローチャートにおいて、図４のフローチャートの差は、ステップＳ４０７、Ｓ４０８、Ｓ４０９が存在しない点である。なお、図１９のフローチャートのＳ４１０において、表示情報構成部１７３０４は、不在着信情報が有するアイコン等を利用して、表示情報を構成する点、図４のフローチャートにおける動作とは異なる。また、図１９のＳ４１２におけるソートを行うためには、例えば、不在着信情報はアイコンの他にアイコンを識別するＩＤ（例えば、「喜び」は「１」、「悲しみ」は「２」など）を有しており、例えば、このＩＤをキーとして不在着信情報をソートする。

なお、図１９のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

なお、本実施の形態における電話システムは、実施の形態１、２の電話システムと比較して、アイコンを保持している装置が異なるに過ぎない。つまり、実施の形態１、２の電話システムにおいて、感情や話者属性に対応するアイコンは、電話機が保持していた。しかし、本実施の形態における電話システムは、感情や話者属性に対応するアイコンは、サーバ装置が保持している。

以上、本実施の形態によれば、留守番電話を聞く前に、話者の感情や属性（性別など）が分かる電話システム等を提供できる。その結果、例えば、ユーザの現在の心理状態に応じて、聞きたくないであろう留守番電話を聞かずに済むための仕組みを提供できる。また、早く聞きたい電話の内容を容易に選択できる。また、感情情報に基づいて不在着信リスト項目をソートして、不在着信リストを表示した場合、早く聞きたい電話の内容をさらに容易に選択でき、また、聞きたくない複数の不在着信リスト項目も一目して判断できる。特に、不在着信リスト項目が第二電話機１１の第二電話機識別子を有しない場合（話者が電話番号非通知で留守番電話を入れた場合）など、話者属性の情報は重要である。つまり、話者属性が男性か女性か、または年齢が高齢か青年か等により、電話機１７３のユーザのリスト項目の選択順序が変わってくる。つまり、留守番電話の音声を残した話者の属性に応じて、電話機１７３のユーザは、適切な優先度で音声を聞くことができる。さらに、本実施の形態によれば、電話機でアイコンを保持する必要はなく、電話機の記憶容量は節約できる。

なお、本実施の形態におけるサーバ装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、電話機を識別する情報である電話機識別子と、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納しており、コンピュータを、話者が保有する第二電話機から、前記電話機識別子と留守番電話の音声を受信する音声情報受信部と、前記音声情報受信部が受信した電話機識別子と音声を前記記憶媒体に蓄積する音声蓄積部と、前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、前記音声解析部が取得した感情情報を、前記音声に対応付けて前記記憶媒体に蓄積する話者情報蓄積部と、前記電話機に不在着信を示す情報であり、前記感情情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信する不在着信情報送信部と、前記電話機からの留守番電話の音声の出力指示を受信する出力指示受信部と、前記出力指示受信部が出力指示を受信した場合、当該出力指示に対応する留守番電話の音声を前記記憶媒体から読み出し、当該読み出した留守番電話の音声を、前記出力指示を送信した電話機に送信する留守番電話音声送信部、として機能させるためのプログラムであり、前記音声解析部は、前記音声の解析結果である感情情報、または前記音声の解析結果である感情情報と話者属性情報に対応するアイコンを格納し得るアイコン格納手段と、前記音声情報受信部が受信した音声を解析し、前記音声の解析結果である感情情報、または前記音声の解析結果である感情情報と話者属性情報を得る音声解析手段と、前記音声解析手段が得た感情情報、または感情情報と話者属性情報と対になるアイコンを、前記アイコン格納手段から取得するアイコン取得手段を具備し、前記アイコンは、感情情報、または感情情報と話者属性情報であるプログラム、である。

また、上記サーバ装置のプログラムにおいて、コンピュータを、前記表示情報構成部は、２以上の表示情報について、各表示情報を構成する元になった感情情報をキーとして、前記２以上の表示情報をソートして、前記２以上の表示情報のリストを構成するものとして機能させるためのプログラム、であることは好適である。

また、本実施の形態における電話機を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、前記サーバ装置から、感情情報を有する１以上の不在着信情報を受信する不在着信情報受信部と、前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、前記受付部が受け付けた出力指示を、前記サーバ装置に送信する出力指示送信部と、前記出力指示の送信に対応して、前記サーバ装置から留守番電話の音声を受信する留守番電話音声受信部と、前記留守番電話音声受信部が受信した留守番電話の音声を出力する留守番電話音声出力部として機能させるためのプログラム、である。なお、ここで、不在着信情報は、話者の感情や話者属性を示すアイコンを有する。
（実施の形態４）

本実施の形態において、実施の形態１から実施の形態３と比較して、音声解析部は、無音声を検知し、無音声の場合は、音声を電話機に送信しない、または、無音声の音声を蓄積しない、または削除する構成を有する電話システムである。

図２０は、本実施の形態における電話システムのブロック図である。本電話システムは、第二電話機１１、サーバ装置２０２、電話機１２３を具備する。

サーバ装置２０２は、音声格納部１２０１、音声情報受信部１２０２、音声蓄積部１２０３、音声解析部２０２０４、留守電音声削除部２０２０１、話者情報蓄積部１２２０５、不在着信情報送信部１２２０６、出力指示受信部１２０７、留守番電話音声送信部１２０８を具備する。

音声解析部２０２０４は、音声情報受信部１２０２が受信した音声を解析し、感情情報と、話者の属性を示す情報である話者属性情報を取得する。また、音声解析部２０２０４は、留守番電話の音声が無声であることを判断する。音声の解析については、実施の形態１等で説明した通りである。音声解析部２０２０４は、通常、ＭＰＵやメモリ等から実現され得る。音声解析部２０２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、音声解析部２０２０４は、留守番電話の音声が無声であることを判断した場合、音声蓄積部１２０３は当該音声を音声格納部１２０１に蓄積しない、または留守番電話音声送信部１２０８は当該音声を電話機１２３に送信しないことは好適である。無声音声を蓄積しない、または送信しない場合、後述する留守電音声削除部２０２０１は不要である。なお、音声を解析し、無声か否かを判断する技術は公知技術であるので、詳細な説明を省略する。音声解析部２０２０４は、通常、ＭＰＵやメモリ等から実現され得る。音声解析部２０２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

留守電音声削除部２０２０１は、音声格納部１２０１に蓄積された無声の音声を削除する。音声が無声か否かは、音声解析部２０２０４が判断したものである。留守電音声削除部２０２０１は、通常、ＭＰＵやメモリ等から実現され得る。留守電音声削除部２０２０１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、電話システムの動作について説明する。本電話システムにおいて、実施の形態１、２、３の電話システムと比較して、無声音声は、電話機１２３で出力されない点が異なるだけである。無声音声を電話機１２３で出力されないために、サーバ装置２０２は、上述した留守電音声削除部２０２０１を有しても良い。また、無声音声を電話機１２３で出力されないために、音声蓄積部１２０３は無声音声を音声格納部１２０１に蓄積しない構成としても良い。また、無声音声を電話機１２３で出力されないために、留守番電話音声送信部１２０８は電話機１２３からの要求があった場合でも、音声を電話機１２３に送信しない構成としても良い。さらに、電話機１２３は、無声音声を出力しない構成としても良い。かかる場合、不在着信情報受信部１２３０２が受信した不在着信情報に、無声音声であることを示す情報を含むこととなり、留守番電話音声出力部１３０９は、かかる無声音声であることを示す情報を読み出した場合に、音声を出力しない、という構成である。そして、かかる場合、電話機１２３のユーザが要求した項目に対応する音声が無声音声である旨を、表示手段に表示しても良い。

以上、本実施の形態によれば、電話機のユーザは、無声音声を聞くことを回避できる。したがって、無駄な時間を費やすことがない。

なお、本実施の形態によれば、サーバ装置２０２が留守電音声削除部２０２０１を有したが、電話機１２３が、留守電音声削除部を有しても良い。また、電話機１２３で無声音声を判定し、その旨を出力する構成でも良い。

さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、電話機を識別する情報である電話機識別子と、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納しており、コンピュータを、話者が保有する第二電話機から、前記電話機識別子と留守番電話の音声を受信する音声情報受信部と、前記音声情報受信部が受信した電話機識別子と音声を前記記憶媒体に蓄積する音声蓄積部と、前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得し、かつ、留守番電話の音声が無声であることを判断する音声解析部と、前記音声解析部が取得した感情情報を、前記音声に対応付けて前記記憶媒体に蓄積する話者情報蓄積部と、前記電話機に不在着信を示す情報であり、前記感情情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信する不在着信情報送信部と、前記電話機からの留守番電話の音声の出力指示を受信する出力指示受信部と、前記出力指示受信部が出力指示を受信した場合、当該出力指示に対応する留守番電話の音声を前記記憶媒体から読み出し、当該読み出した留守番電話の音声を、前記出力指示を送信した電話機に送信する留守番電話音声送信部、として機能させるためのプログラム、であり、前記音声解析部が留守番電話の音声が無声であることを判断した場合、前記音声蓄積部は前記音声を前記音声格納部に蓄積しない、または前記留守番電話音声送信部は前記音声を電話機に送信しない、または前記音声格納部に蓄積された音声を削除する留守電音声削除部としてさらに機能させるためのプログラム、である。
（実施の形態５）

本実施の形態において、留守番電話の音声を出力する電話機が音声を解析し、感情や話者属性（性別や年齢など）を判定し、留守番電話の音声を示すアイコン等を表示する。

本実施の形態において、上記の各実施の形態に対して、音声の解析する装置が異なる。また、本電話機は、留守番電話の音声を蓄積しているサーバ装置から音声を受信しても良いし、一の留守番電話の音声ごとに、第二電話機から音声を受信しても良い。

図２１は、本実施の形態における電話システムのブロック図である。電話システムは、少なくとも第二電話機１１と電話機２１３を具備する。本実施の形態における電話機２１３は、音声格納部１２０１、音声情報受信部１２０２、音声蓄積部１２０３、音声解析部１２２０４、話者情報蓄積部１２２０５、表示情報構成部２１３０４、留守電情報表示部１３０５、受付部１３０６、出力指示送信部１３０７、留守番電話音声受信部１３０８、留守番電話音声出力部１３０９を具備する。

表示情報構成部２１３０４は、アイコン格納手段１２３０４１、アイコン取得手段１２３０４２、表示情報構成手段２１３０４３を具備する。

ここで、音声情報受信部１２０２が音声を受信する経路やタイミングは問わない。音声情報受信部１２０２は、電話機のユーザの指示により、サーバ装置等から音声を受信しても良いし、１以上の第二電話機１１からの留守番電話の音声の送信ごとに、留守番電話の音声を蓄積しても良い。

表示情報構成部２１３０４は、不在着信を示す情報であり、感情情報を有する情報である不在着信情報を１以上、音声格納部１２０１から読み出し、各不在着信情報に対応する情報であり、電話機２１３が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する。また、表示情報構成部２１３０４は、感情情報と話者属性情報を有する１以上の不在着信情報を音声格納部１２０１から読み出し、各不在着信情報に対応する情報であり、電話機２１３が有する表示手段に表示する情報であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成する。表示情報構成部２１３０４は、通常、ＭＰＵやメモリ等から実現され得る。表示情報構成部２１３０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

表示情報構成手段２１３０４３は、不在着信情報を１以上、音声格納部１２０１から読み出し、かつ、アイコン取得手段１２３０４２が取得したアイコンを取得し、１以上の不在着信情報ごとに、不在着信情報とアイコンを用いて、感情を識別する情報または感情と話者属性を識別する情報を含む１以上の表示情報を構成する。表示情報構成手段２１３０４３は、通常、ＭＰＵやメモリ等から実現され得る。表示情報構成手段２１３０４３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、本電話システムの動作について説明する。本電話システムの電話機２１３は、１以上の第二電話機１１から送信された留守番電話の音声を蓄積し、ユーザの指示により、または自動的に、不在着信情報のリストを表示手段に表示する。その際、電話機２１３が有する音声解析部１２２０４が、音声格納部１２０１に格納している音声を読み出し、当該音声を解析し、話者の感情を示す感情情報、または感情情報と話者属性情報を取得し、話者情報蓄積部１２２０５はメモリ上または音声格納部１２０１に一時記憶する。

そして、受付部１３０６が不在着信リストの出力指示を受け付けた場合、上記の実施の形態で述べた処理と同様の処理により、表示情報構成部２１３０４のアイコン取得手段１２３０４２は、アイコン格納手段１２３０４１から、感情情報、または感情情報と話者属性情報をキーとしてアイコンを検索し、アイコンを取得する。そして、表示情報構成手段２１３０４３は、音声格納部１２０１に格納されている他の情報（第二電話機識別子や受信時刻の時刻情報など）を読み出し、アイコンとともに表示情報を構成する。

そして、留守電情報表示部１３０５は、不在着信リストを表示する。不在着信リストの表示例は、図９、図１０、図１６である。

さらに、受付部１３０６が音声の出力指示を受け付けた場合、留守番電話音声出力部１３０９は、出力指示に対応する音声を、音声格納部１２０１から読み出し、出力する。

以上、本実施の形態によれば、留守番電話を聞く前に、話者の感情が分かる電話システム等を提供できる。その結果、例えば、ユーザの現在の心理状態に応じて、聞きたくないであろう留守番電話を聞かずに済むための仕組みを提供できる。また、早く聞きたい電話の内容を容易に選択できる。

また、本実施の形態において、上記の他の実施の形態における電話システムと同様、感情情報に基づいて不在着信リスト項目をソートしても良い。かかるソートした不在着信リストを表示した場合、早く聞きたい電話の内容をさらに容易に選択でき、また、聞きたくない複数の不在着信リスト項目も一目して判断できる。

なお、本実施の形態において、上記の他の実施の形態における電話システムと同様、アイコンは図柄だけであえるとは限らず、１以上の文字、動画、写真等でも良い。つまり、アイコンは感情を認識できる、または感情と話者属性を認識できる情報であれば良い。したがって、不在着信リストの表示は、例えば、図２２に示すようなものでも良い。図２２において、アイコンは、文字となっている。

さらに、本実施の形態における電話機を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、留守番電話の音声を蓄積し、留守番電話の音声を出力する電話機であって、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納し得る記憶媒体を具備している電話機を、第二電話機から、留守番電話の音声を受信する音声情報受信部と、前記音声情報受信部が受信した音声を記憶媒体に蓄積する音声蓄積部と、前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、前記音声解析部が取得した感情情報を、前記音声に対応付けて前記記憶媒体に蓄積する話者情報蓄積部と、不在着信を示す情報であり、感情情報を有する情報である不在着信情報を１以上、前記記憶媒体から読み出し、各不在着信情報に対応する情報であり、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、前記受付部が受け付けた出力指示を用いて、当該出力指示に対応する留守番電話の音声を前記記憶媒体から読み出す留守番電話音声取得部と、前記留守番電話音声取得部が取得した留守番電話の音声を出力する留守番電話音声出力部として機能させるためのプログラム、である。

また、上記の電話機のプログラムにおいて、前記音声解析部は、前記音声情報受信部が受信した音声を解析し、前記話者の属性を示す情報である話者属性情報をも取得し、前記話者情報蓄積部は、前記音声解析部が取得した感情情報と話者属性情報を、前記音声に対応付けて前記音声格納部に蓄積し、前記表示情報構成部は、感情情報と話者属性情報を有する１以上の不在着信情報を前記音声格納部から読み出し、各不在着信情報に対応する情報であり、前記電話機が有する表示手段に表示する情報であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成するプログラム、である。

また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

また、図２３は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のサーバ装置を実現するコンピュータの外観の例を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図２３は、このコンピュータシステム３４０の概観図であり、図２４は、コンピュータシステム３４０のブロック図である。また、本明細書で述べた電話機も、図２４に示すようなハードウェア構成に加え、電話機能を実現するためのマイクとスピーカーを具備している。

図２３において、コンピュータシステム３４０は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。

図２４において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３４１３と、ＣＰＵ３４１３、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）３４１５と、ＣＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム３４０に、上述した実施の形態のサーバ装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３４１に、上述した実施の形態の情報処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。

なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段（出力指示送信部や留守番電話音声受信部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる電話システムは、留守番電話を聞く前に、話者の感情が分かるという効果を有し、例えば、携帯電話を用いた電話システム等として有用である。

実施の形態１における電話システムの概念図 同電話システムのブロック図 同サーバ装置の動作について説明するフローチャート 同電話機の動作について説明するフローチャート 同アイコン管理表を示す図 同留守番電話情報管理表を示す図 同留守番電話情報管理表を示す図 同不在着信情報管理表を示す図 同不在着信リストの表示例を示す図 同不在着信リストの表示例を示す図 同アイコン管理表を示す図 実施の形態２における電話システムのブロック図 同アイコン管理表を示す図 同留守番電話情報管理表を示す図 同不在着信情報管理表を示す図 同不在着信リストの表示例を示す図 実施の形態３における電話システムのブロック図 同サーバ装置の動作について説明するフローチャート 同電話システムの動作について説明するフローチャート 実施の形態４における電話システムのブロック図 実施の形態５における電話システムのブロック図 同不在着信リストの表示例を示す図 同サーバ装置を実現するコンピュータの外観図 同サーバ装置または電話機を実現するシステムのブロック図

符号の説明

１１ 二電話機
１２、１２２、１７２、２０２ サーバ装置
１３、１２３、１７３、２１３ 電話機
１２０１ 音声格納部
１２０２ 音声情報受信部
１２０３ 音声蓄積部
１２０４、１２２０４、１７２０４、２０２０４ 音声解析部
１２０５、１２２０５ 話者情報蓄積部
１２０６、１２２０６ 不在着信情報送信部
１２０７ 出力指示受信部
１２０８ 留守番電話音声送信部
１３０１ 不在着信情報格納部
１３０２ 不在着信情報受信部
１３０３ 不在着信情報蓄積部
１３０４、１２３０４、１７３０４、２１３０４ 表示情報構成部
１３０５ 留守電情報表示部
１３０６ 受付部
１３０７ 出力指示送信部
１３０８ 留守番電話音声受信部
１３０９ 留守番電話音声出力部
１３０４１、１２３０４１、１７２０４１ アイコン格納手段
１３０４２、１２３０４２、１７２０４３ アイコン取得手段
１３０４３、２１３０４３ 表示情報構成手段
２０２０１ 留守電音声削除部
１７２０４２ 音声解析手段

Claims (16)

1. 留守番電話の音声を蓄積し電話機に送信するサーバ装置と、留守番電話の音声を出力する電話機を具備する電話システムであって、
   前記サーバ装置は、
   前記電話機を識別する情報である電話機識別子と、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納し得る音声格納部と、
   話者が保有する第二電話機から、前記電話機識別子と留守番電話の音声を受信する音声情報受信部と、
   前記音声情報受信部が受信した電話機識別子と音声を前記音声格納部に蓄積する音声蓄積部と、
   前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、
   前記音声解析部が取得した感情情報を、前記音声に対応付けて前記音声格納部に蓄積する話者情報蓄積部と、
   前記電話機に不在着信を示す情報であり、前記感情情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信する不在着信情報送信部と、
   前記電話機からの留守番電話の音声の出力指示を受信する出力指示受信部と、
   前記出力指示受信部が出力指示を受信した場合、当該出力指示に対応する留守番電話の音声を前記音声格納部から読み出し、当該読み出した留守番電話の音声を、前記出力指示を送信した電話機に送信する留守番電話音声送信部を具備し、
   前記電話機は、
   前記サーバ装置から、感情情報を有する１以上の不在着信情報を受信する不在着信情報受信部と、
   前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、
   前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、
   前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、
   前記受付部が受け付けた出力指示を、前記サーバ装置に送信する出力指示送信部と、
   前記出力指示の送信に対応して、前記サーバ装置から留守番電話の音声を受信する留守番電話音声受信部と、
   前記留守番電話音声受信部が受信した留守番電話の音声を出力する留守番電話音声出力部を具備する電話システム。
2. 前記音声解析部は、
   前記音声情報受信部が受信した音声を解析し、前記話者の属性を示す情報である話者属性情報をも取得し、
   前記話者情報蓄積部は、
   前記音声解析部が取得した感情情報と話者属性情報を、前記音声に対応付けて前記音声格納部に蓄積し、
   前記不在着信情報送信部は、
   前記電話機に不在着信を示す情報であり、前記感情情報と前記話者属性情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信し、
   前記不在着信情報受信部は、
   前記サーバ装置から、感情情報と話者属性情報を有する１以上の不在着信情報を受信し、
   前記表示情報構成部は、
   前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成する請求項１記載の電話システム。
3. 前記表示情報構成部は、
   前記感情情報、または前記感情情報と前記話者属性情報に対応するアイコンを格納し得るアイコン格納手段と、
   前記１以上の不在着信情報ごとに、前記各不在着信情報が有する前記感情情報、または前記各不在着信情報が有する前記感情情報と前記話者属性情報をキーとして、前記アイコン格納手段からアイコンを取得するアイコン取得手段と、
   前記１以上の不在着信情報ごとに、前記アイコン取得手段が取得したアイコンを有する１以上の表示情報を構成する表示情報構成手段を具備する請求項１または請求項２記載の電話システム。
4. 前記音声解析部は、
   前記音声の解析結果である感情情報、または前記音声の解析結果である感情情報と話者属性情報に対応するアイコンを格納し得るアイコン格納手段と、
   前記音声情報受信部が受信した音声を解析し、前記音声の解析結果である感情情報、または前記音声の解析結果である感情情報と話者属性情報を得る音声解析手段と、
   前記音声解析手段が得た感情情報、または感情情報と話者属性情報と対になるアイコンを、前記アイコン格納手段から取得するアイコン取得手段を具備し、
   前記アイコンは、感情情報、または感情情報と話者属性情報である請求項１または請求項２いずれか記載の電話システム。
5. 前記表示情報構成部は、
   ２以上の表示情報について、各表示情報を構成する元になった感情情報をキーとして、前記２以上の表示情報をソートして、前記２以上の表示情報のリストを構成する請求項１から請求項４いずれか記載の電話システム。
6. 前記音声解析部は、
   留守番電話の音声が無声であることを判断し、
   前記音声解析部が留守番電話の音声が無声であることを判断した場合、
   前記音声蓄積部は前記音声を前記音声格納部に蓄積しない、
   または前記留守番電話音声送信部は前記音声を電話機に送信しない、
   または前記音声格納部に蓄積された音声を削除する留守電音声削除部をさらに具備することを特徴とする請求項１から請求項５いずれか記載の電話システム。
7. 留守番電話の音声を蓄積し、留守番電話の音声を出力する電話機であって、
   留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納し得る音声格納部と、
   前記第二電話機から、留守番電話の音声を受信する音声情報受信部と、
   前記音声情報受信部が受信した音声を前記音声格納部に蓄積する音声蓄積部と、
   前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、
   前記音声解析部が取得した感情情報を、前記音声に対応付けて前記音声格納部に蓄積する話者情報蓄積部と、
   不在着信を示す情報であり、感情情報を有する情報である不在着信情報を１以上、前記音声格納部から読み出し、各不在着信情報に対応する情報であり、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、
   前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、
   前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、
   前記受付部が受け付けた出力指示を用いて、当該出力指示に対応する留守番電話の音声を前記音声格納部から読み出す留守番電話音声取得部と、
   前記留守番電話音声取得部が取得した留守番電話の音声を出力する留守番電話音声出力部を具備する電話機。
8. 前記音声解析部は、
   前記音声情報受信部が受信した音声を解析し、前記話者の属性を示す情報である話者属性情報をも取得し、
   前記話者情報蓄積部は、
   前記音声解析部が取得した感情情報と話者属性情報を、前記音声に対応付けて前記音声格納部に蓄積し、
   前記表示情報構成部は、
   感情情報と話者属性情報を有する１以上の不在着信情報を前記音声格納部から読み出し、各不在着信情報に対応する情報であり、前記電話機が有する表示手段に表示する情報であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成する請求項７記載の電話機。
9. 前記表示情報構成部は、
   前記感情情報、または前記感情情報と前記話者属性情報に対応するアイコンを格納し得るアイコン格納手段と、
   前記１以上の不在着信情報ごとに、前記不在着信情報が有する感情情報、または前記不在着信情報が有する感情情報と話者属性情報をキーとして、前記アイコン格納手段からアイコンを取得するアイコン取得手段と、
   前記１以上の不在着信情報ごとに、前記アイコン取得手段が取得したアイコンを有する１以上の表示情報を構成する表示情報構成手段を具備する請求項７または請求項８記載の電話機。
10. 請求項１から請求項６いずれか記載の電話機を構成するサーバ装置。
11. 請求項１から請求項６いずれか記載の電話機を構成する電話機。
12. 記憶媒体に、
    電話機を識別する情報である電話機識別子と、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納しており、
    コンピュータを、
    話者が保有する第二電話機から、前記電話機識別子と留守番電話の音声を受信する音声情報受信部と、
    前記音声情報受信部が受信した電話機識別子と音声を前記記憶媒体に蓄積する音声蓄積部と、
    前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、
    前記音声解析部が取得した感情情報を、前記音声に対応付けて前記記憶媒体に蓄積する話者情報蓄積部と、
    前記電話機に不在着信を示す情報であり、前記感情情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信する不在着信情報送信部と、
    前記電話機からの留守番電話の音声の出力指示を受信する出力指示受信部と、
    前記出力指示受信部が出力指示を受信した場合、当該出力指示に対応する留守番電話の音声を前記記憶媒体から読み出し、当該読み出した留守番電話の音声を、前記出力指示を送信した電話機に送信する留守番電話音声送信部、として機能させるためのプログラム。
13. コンピュータを、
    前記音声解析部は、
    前記音声情報受信部が受信した音声を解析し、前記話者の属性を示す情報である話者属性情報をも取得し、
    前記話者情報蓄積部は、
    前記音声解析部が取得した感情情報と話者属性情報を、前記音声に対応付けて前記音声格納部に蓄積し、
    前記不在着信情報送信部は、
    前記電話機に不在着信を示す情報であり、前記感情情報と前記話者属性情報を有する１以上の不在着信情報を、前記感情情報と対になる電話機識別子で識別される電話機に送信するものとして機能させるための請求項１２記載のプログラム。
14. コンピュータを、
    前記サーバ装置から、感情情報を有する１以上の不在着信情報を受信する不在着信情報受信部と、
    前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、
    前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、
    前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、
    前記受付部が受け付けた出力指示を、前記サーバ装置に送信する出力指示送信部と、
    前記出力指示の送信に対応して、前記サーバ装置から留守番電話の音声を受信する留守番電話音声受信部と、
    前記留守番電話音声受信部が受信した留守番電話の音声を出力する留守番電話音声出力部として機能させるためのプログラム。
15. 前記不在着信情報受信部は、
    前記サーバ装置から、感情情報と話者属性情報を有する１以上の不在着信情報を受信し、
    前記表示情報構成部は、
    前記不在着信情報受信部が受信した１以上の不在着信情報を取得し、各不在着信情報に対応し、前記電話機が有する表示手段に表示する情報であり、感情と話者属性を識別する情報を含む１以上の表示情報を構成する、ものとして機能させるための請求項１４記載のプログラム。
16. 留守番電話の音声を蓄積し、留守番電話の音声を出力する電話機であって、留守番電話の音声と、話者の感情を示す情報である感情情報を対にして格納し得る記憶媒体を具備している電話機を、
    第二電話機から、留守番電話の音声を受信する音声情報受信部と、
    前記音声情報受信部が受信した音声を記憶媒体に蓄積する音声蓄積部と、
    前記音声情報受信部が受信した音声を解析し、前記話者の感情を示す情報である感情情報を取得する音声解析部と、
    前記音声解析部が取得した感情情報を、前記音声に対応付けて前記記憶媒体に蓄積する話者情報蓄積部と、
    不在着信を示す情報であり、感情情報を有する情報である不在着信情報を１以上、前記記憶媒体から読み出し、各不在着信情報に対応する情報であり、前記電話機が有する表示手段に表示する情報であり、感情を識別する情報を含む１以上の表示情報を構成する表示情報構成部と、
    前記表示情報構成部が構成した１以上の表示情報を前記表示手段に表示する留守電情報表示部と、
    前記留守電情報表示部が表示した１以上の表示情報のうちの一の表示情報の選択の入力であり、当該選択された表示情報に対応する留守番電話の音声の出力指示の入力を、ユーザから受け付ける受付部と、
    前記受付部が受け付けた出力指示を用いて、当該出力指示に対応する留守番電話の音声を前記記憶媒体から読み出す留守番電話音声取得部と、
    前記留守番電話音声取得部が取得した留守番電話の音声を出力する留守番電話音声出力部として機能させるためのプログラム。