JP2018036871A

JP2018036871A - 情報処理サーバ、情報処理システム、端末装置、及びプログラム

Info

Publication number: JP2018036871A
Application number: JP2016169691A
Authority: JP
Inventors: 伸一深澤; Shinichi Fukazawa
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2018-03-08
Anticipated expiration: 2036-08-31
Also published as: JP6729193B2

Abstract

【課題】ユーザが、分散環境において、遠隔地での会話の発生や当該会話の大まかな内容を把握することができ、さらに、誰が通話状態にあるのかを直感的に認識することを可能にする情報処理サーバを提供する。【解決手段】通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを生成し、前記会話イベントオブジェクトに係るデータを配信する会話イベントオブジェクト配信部を備える、情報処理サーバを提供する。【選択図】図２４

Description

本発明は、情報処理サーバ、情報処理システム、端末装置、及びプログラムに関する。

近年、従来のようにハードウェアにより実現される電話機に代わって、アプリケーションソフトウェアにより実現されるソフトフォンが普及してきている。ソフトフォンは、ソフトウェアで実現されるため、ソフトフォンへの機能追加、ソフトフォンと他のアプリケーションソフトウェアとの連携等を、電話機に比べて比較的容易に実現することができる。そのため、ソフトフォンに関する様々な応用技術が提案されている。例えば、下記特許文献１には、カメラから得られた撮像画像の表示画面において当該撮像画像に写っている人物をタッチすると、顔認識により当該人物を特定し、当該人物の電話番号を取得し、当該人物への電話発信を行う技術が、開示されている。

また、下記特許文献２には、例えばビデオ通話機能を有するソフトフォンにおいて、実空間の撮像画像上で実空間上の位置情報を扱うことができる情報処理方法が開示されている。

上述のようなソフトフォンは、ＦＡＸ（ｆａｃｓｉｍｉｌｅ）、電子メール、インスタントメッセンジャー、およびＶｏＩＰ（ＶｏｉｃｅｏｖｅｒＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）などを統合したユニファイドコミュニケーション（登録商標）技術・システムにも用いられている。上記ユニファイドコミュニケーション技術・システムは、異なる複数の場所で複数の人物が協働（ｃｏｌｌａｂｏｒａｔｉｏｎ）作業を行う遠隔分散協働型オフィス（分散環境）で用いられている。

特開２００７−２０８８６３号公報特許第５６９２２０４号公報

「会話」という行為は２名で行われるとは限らず、３名以上のグループで行われることも多い。３名以上のグループで行われる会話としては、例えば、会話の開始時にグループのメンバが全員そろっているパターンの他に、開始された会話の存在に周囲の者が気づき（Ａｗａｒｅｎｅｓｓ：アウェアネス）、気づいた者がその会話の場に後から加わることにより、当該会話を行っているグループのメンバ数が増えていくようなパターンがある。特に、インフォーマル・コミュニケーション（雑談等のあらかじめ計画されておらず偶発的に発生するコミュニケーション）をベースとした会話行為は、後者のパターンで発生することが多いと考えられる。また、後者の場合においては、会話に加わる前の周囲の者は、会話の発生と当該会話の大まかな内容に関する情報（自分が会話に後から参加したいか否か判断できる程度の粒度を持つ断片的な会話情報）を知ることができる状態にある場合が多い。

しかしながら、従来のソフトフォン製品は、議題が決まった上での話し合いなど、意図的、かつ、正式・公式的なフォーマル・コミュニケーションにおいて使用されることが前提になっている。すなわち、従来のソフトフォン製品は、メンバ全員が会話の開始時からそろっているパターンを想定しているため、メンバ全員が一斉に会話（通信）を開始するテレビ会議（多人数通話）機能か、表示画面のプレゼンスリスト（所在リスト）上で、既存のメンバが通話状態であるか否かの２値情報を知ることができる機能か、しか有していなかった。そのため、従来のソフトフォン製品が遠隔分散協働型オフィス（分散環境）で使用された場合には、メンバが同室環境にいる場合のように、周囲の会話が自然に聞こえてくることにより会話の存在に気づき、さらに当該会話内容の大まかな把握から会話に関心を持つことから会話に参加し、最終的に多人数会話に至る、という自然な行為が実現し難い。すなわち、従来のソフトフォン製品は、上述のようなインフォーマル・コミュニケーションに対応するものではなかった。

そこで、本発明は、上記状況に鑑みてなされたものであり、本発明の目的とするところは、ユーザが、分散環境において、遠隔地での会話の発生や当該会話の大まかな内容を把握することができ、さらに、誰が通話状態にあるのかを直感的に認識することを可能にする、新規かつ改良された情報処理サーバ、情報処理システム、端末装置、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを生成し、前記会話イベントオブジェクトに係るデータを配信する会話イベントオブジェクト配信部を備える、情報処理サーバが提供される。

前記会話イベントオブジェクト配信部は、前記会話イベントオブジェクトに対するユーザの入力を取得し、前記会話イベントオブジェクトに紐づけられた前記複数の話者の通信識別情報に、前記ユーザの通信用識別情報を関連付けてもよい。

前記情報処理サーバは、前記通話の音声データから抽出された語句に係る発言語句オブジェクトを生成し、前記発言語句オブジェクトに係るデータを配信する、発言語句オブジェクト配信部をさらに備えてもよい。

前記情報処理サーバは、前記前記発言語句オブジェクトに対して重みづけ処理を行う重みづけ処理部をさらに備え、前記発言語句オブジェクト配信部は、前記重みづけ処理の結果と所定の値とを比較し、比較結果に基づいて、前記発言語句オブジェクトに係るデータを配信してもよい。

前記重みづけ処理部は、前記通話における前記語句の出現頻度に基づいて、前記重みづけ処理を行ってもよい。

前記重みづけ処理部は、前記語句の抽象度に基づいて、前記重みづけ処理を行ってもよい。

前記重みづけ処理部は、前記語句の品詞カテゴリに基づいて、前記重みづけ処理を行ってもよい。

前記重みづけ処理部は、前記通話の音声データに含まれる前記語句の発話の音圧に係るデータに基づいて、前記重みづけ処理を行ってもよい。

前記前記発言語句オブジェクト配信部は、前記発言語句オブジェクトに紐づけて、前記重みづけ処理の結果に係るデータを配信してもよい。

前記情報処理サーバは、前記発言語句オブジェクトに係る語句を発言した前記話者の位置に基づいて、前記発言語句オブジェクトの表示位置を決定し、決定した前記表示位置を配信する発言状況演算部をさらに備えてもよい。

前記発言語句オブジェクト配信部は、実空間における、前記通話に係る前記複数の話者のうちの１人の前記話者と、前記通話に参加していないユーザとの位置関係に基づいて、前記発言語句オブジェクトを配信してもよい。

前記会話イベントオブジェクト配信部は、実空間における、前記通話に係る前記複数の話者のうちの１人の前記話者と、前記通話に参加していないユーザとの位置関係に基づいて、前記会話イベントオブジェクトを配信してもよい。

前記情報処理サーバは、ユーザの前記通話に対する関心度の入力を取得し、前記会話イベントオブジェクトに対して、取得した前記関心度と、前記ユーザの通信用識別情報とを紐づける関心度制御部をさらに備えてもよい。

前記情報処理サーバは、前記ユーザに係る表示体を生成し、取得した前記関心度に基づいて、前記会話イベントオブジェクトの位置と前記表示体との仮想的位置関係を決定する表示体制御部をさらに備えてもよい。

前記情報処理サーバは、前記通話の音声データから抽出された語句に係る発言語句オブジェクトを生成し、前記発言語句オブジェクトに係るデータを配信する、発言語句オブジェクト配信部と、前記前記発言語句オブジェクトに対して重みづけ処理を行う重みづけ処理部と、をさらに備え、前記発言語句オブジェクト配信部は、前記重みづけ処理の結果と、所定の値とを比較し、比較結果に基づいて、前記発言語句オブジェクトに係るデータを配信し、前記所定の値は、取得した前記関心度に基づいて、変更されてもよい。

前記関心度制御部は、前記ユーザの前記通話に係る複数の話者についての関心度の比率の入力を取得し、前記会話イベントオブジェクトに紐づけて、取得した前記関心度の比率に係るデータを配信してもよい。

前記情報処理サーバは、前記通話の音声データから抽出された語句に係る発言語句オブジェクトを生成し、前記発言語句オブジェクトに係るデータを配信する、発言語句オブジェクト配信部と、前記前記発言語句オブジェクトに対して重みづけ処理を行う重みづけ処理部と、をさらに備え、前記発言語句オブジェクト配信部は、前記重みづけ処理の結果と、所定の値とを比較し、比較結果に基づいて、前記発言語句オブジェクトに係るデータを配信し、前記所定の値は、取得した前記関心度及び前記関心度の比率に基づいて、変更されてもよい。

前記関心度制御部は、前記会話イベントオブジェクトに紐づけられた前記複数の話者の通信識別情報に、前記通話に対して前記関心度を入力した前記ユーザの通信用識別情報を関連付けてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、通話に係る複数の話者が存在する実空間に対応する３次元仮想空間を生成し、前記通話に係る複数の話者の通信用識別情報のそれぞれに対応する複数のオブジェクトと、前記複数のオブジェクトを互いに紐づける、前記通話に係る会話イベントオブジェクトとを生成して、前記３次元仮想空間に配置する、会話イベントオブジェクト配信部を備える、情報処理サーバが提供される。

前記情報処理サーバは、ユーザの前記通話に対する関心度の入力を取得し、前記ユーザに対応するユーザオブジェクトを前記３次元仮想空間に配置し、取得した前記関心度に基づいて、前記３次元仮想空間における、前記会話イベントオブジェクトと前記ユーザオブジェクトとの間の仮想的距離を決定する、表示体制御部をさらに備えてもよい。

前記情報処理サーバは、ユーザの前記通話に係る前記複数の話者についての関心度の比率の入力を取得し、取得した前記関心度の比率に基づいて、生成した前記会話イベントオブジェクト上に、前記関心度の比率を示す基準点を配置する、関心度制御部をさらに備えてもよい。

また、上記課題を解決するために、本発明の更なる別の観点によれば、情報処理サーバと、複数の端末装置とを含む情報処理システムであって、前記情報処理サーバは、通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを生成し、前記会話イベントオブジェクトに係るデータを、前記複数の端末装置に配信する、情報処理システムが提供される。

また、上記課題を解決するために、本発明の更なる別の観点によれば、通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを表示する表示部を備える、端末装置が提供される。

前記表示部は、前記通話の音声データから抽出された語句に係る発言語句オブジェクトを表示してもよい。

前記端末装置は、前記発言語句オブジェクトに対して行われた重みづけ処理の結果を取得して、前記重みづけ処理の結果と所定の値とを比較し、比較結果に基づいて、前記表示部を制御する、発言語句オブジェクト制御部をさらに備えてもよい。

前記端末装置は、前記発言語句オブジェクトに対して行われた重みづけ処理の結果を取得して、前記重みづけ処理の結果に基づいて、前記発言語句オブジェクトの大きさ、色、コントラスト、表示位置のいずれか１つを制御する、発言語句オブジェクト制御部をさらに備えてもよい。

前記端末装置は、ユーザの前記通話に対する関心度を取得し、前記関心度に基づいて、前記通話に係る音声の出力を制御する音声出力制御部をさらに備えてもよい。

前記端末装置は、ユーザによる、前記表示部に表示された前記ユーザに係るユーザオブジェクトに対する操作に基づいて、前記ユーザの前記通話に対する関心度を取得する会話関心度設定部をさらに備えてもよい。

前記端末装置は、前記ユーザオブジェクトの表示のために、前記ユーザの顔画像を取得する撮像部をさらに備えてもよい。

前記端末装置は、ユーザの前記通話に対する関心度を取得したことに基づいて、前記ユーザの存在を示す通知を行う会話関心度通知部をさらに備えてもよい。

前記会話関心度通知部は、前記ユーザの存在を示す通知表示を前記表示部に表示させ、取得した前記関心度に基づいて、前記通知表示の大きさ、色、動き、コントラスト、表示位置のいずれか１つを制御してもよい。

前記会話関心度通知部は、前記ユーザの存在を示す音声出力を音声出力部に行わせ、
取得した前記関心度に基づいて、前記音声出力の音量を制御してもよい。

また、上記課題を解決するために、本発明の更なる別の観点によれば、コンピュータを、通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを生成し、前記会話イベントオブジェクトに係るデータを配信する会話イベントオブジェクト配信部として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、ユーザが、分散環境において、遠隔地での会話の発生や当該会話の大まかな内容を把握することができ、さらに、誰が通話状態にあるのかを直感的に認識することが可能である。

第１の実施形態に係る情報処理システムの概略的な構成の一例を示す説明図である。第１の実施形態に係る端末装置１００のハードウェア構成の一例を示すブロック図である。第１の実施形態に係る端末装置１００の機能構成の一例を示すブロック図である。第１の実施形態に係る俯瞰モードで表示される表示画面の一例を説明するための説明図である。第１の実施形態に係る近接モードで表示される表示画面の一例を説明するための説明図である。ユーザにより指定される近接撮像画像７１内の位置の第１の例を説明するための説明図である。ユーザにより指定される近接撮像画像７１内の位置の第２の例を説明するための説明図である。センタオフィス１０に対応する３次元仮想空間９０の第１の例を説明するための説明図である。図８に示される３次元仮想空間９０に配置されたオブジェクト９１の選択の一例を説明するための説明図である。センタオフィス１０に対応する３次元仮想空間９０の第２の例を説明するための説明図である。図１０に示される３次元仮想空間９０に配置されたオブジェクト９１の選択の一例を説明するための説明図である。会話モードで表示される表示画面８０の一例を説明するための説明図である。表示モードの遷移の一例を説明するための遷移図である。センタオフィス１０に対応する３次元仮想空間９０内におけるＣＯＭＭリンク８６の一例を説明するための説明図である。端末装置１００の表示画面５０に表示されるＣＯＭＭリンク８６およびＣＯＭＭワード８７の一例を説明するための説明図である。端末装置１００の表示画面５５に表示されるＣＯＭＭリンク８６およびＣＯＭＭワード８７の別の一例を説明するための説明図である。第１の実施形態に係る端末装置１００のソフトウェア構成の一例を示すブロック図である。第１の実施形態に係る情報管理サーバ２００のハードウェア構成の一例を示すブロック図である。第１の実施形態に係る情報管理サーバ２００の機能構成の一例を示すブロック図である。第１の実施形態に係る音声認識サーバ２０１のハードウェア構成の一例を示すブロック図である。第１の実施形態に係る音声認識サーバ２０１の機能構成の一例を示すブロック図である。第１の実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。第１の実施形態に係る起動処理の概略的な流れの一例を示すフローチャートである。第１の実施形態に係る通信制御処理の概略的な流れの一例を示すシーケンス図である。第２の実施形態に係る情報管理サーバ２００Ａの機能構成の一例を示すブロック図である。第２の実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。第３の実施形態に係る端末装置１００Ａの機能構成の一例を示すブロック図である。分散オフィスに対応する３次元仮想空間９０内における第三者オブジェクト９４と仮想的距離９７の一例を説明するための説明図である。第３の実施形態に係る端末装置１００Ａの表示画面に表示される第三者オブジェクト及び仮想的距離の一例を説明するための説明図である。第３の実施形態に係る端末装置１００Ａの表示画面５７に表示される第三者オブジェクト９４及び仮想的距離９７の他の一例を説明するための説明図である。分散オフィスに対応する３次元仮想空間９０内における話者関心比反映位置９６の設定の一例を説明するための説明図である。第３の実施形態に係る端末装置１００Ａの表示画面５８に表示される話者関心比反映位置９６の設定の一例を説明するための説明図である。第三者オブジェクト９４によって話者関心比反映位置９６を設定する際の表示画面６２の一例を説明するための説明図である。第３の実施形態に係る端末装置１００Ａの表示画面に表示される会話関心度に関する情報を含む通知の表示の一例を説明するための説明図である。第３の実施形態に係る情報管理サーバ２００Ｂの機能構成の一例を示すブロック図である。第３の実施形態に係る、会話関心度設定とＣＯＭＭワード８７の通信情報量変更と通知処理との概略的な流れの一例を示すシーケンス図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じてボタン画像６３Ａ及びボタン画像６３Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、ボタン画像６３Ａ及びボタン画像６３Ｂを特に区別する必要が無い場合には、単にボタン画像６３と称する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１情報処理システムの概略的な構成
１．２端末装置の構成
１．２．１ハードウェア構成
１．２．２機能構成
１．２．３ソフトウェア構成
１．３情報管理サーバの構成
１．３．１ハードウェア構成
１．３．２機能構成
１．４音声認識サーバの構成
１．４．１ハードウェア構成
１．４．２機能構成
１．５処理の流れ
２．第２の実施形態
２．１情報管理サーバの構成
２．１．１機能構成
２．２処理の流れ
３．第３の実施形態
３．１端末装置の構成
３．１．１機能構成
３．２情報管理サーバの構成
３．２．１機能構成
３．３処理の流れ
４．補足

＜１．第１の実施形態＞
＜１．１情報処理システムの概略的な構成＞
本発明の第１の実施形態は、分散環境において、複数の遠隔地に存在する複数の人物の間での会話に使用される情報処理システムに関する。まず、図１を参照して、第１の実施形態に係る情報処理システムの概略的な構成を説明する。図１は、本実施形態に係る情報処理システムの概略的な構成の一例を示す説明図である。

図１に示すように、本実施形態に係る情報処理システムは、例えば、複数の拠点にわたって利用される。図１の例では、情報処理システムは、センタオフィス１０とサテライトオフィス２０（又はホームオフィスと２０）にわたって利用される。例えば、センタオフィス１０は、比較的大規模なオフィスであり、サテライトオフィス２０（又はホームオフィスと２０）は、比較的小規模なオフィスである。

情報処理システムは、センタオフィス１０において、カメラ１１、マイクロフォン１３、センサ１５、メディア配信サーバ１７、情報管理サーバ（情報処理サーバ）２００、音声認識サーバ２０１、及びＬＡＮ（ＬｏｃａｌＡｒｅａｎｅｔｗｏｒｋ）１９を含む。また、情報処理システムは、サテライトオフィス２０（又はホームオフィスと２０）において、端末装置１００、ディスプレイ２１、及びＬＡＮ２３を含む。また、情報処理システムは、さらに外部ネットワーク３０及びＰＢＸ（ＰｒｉｖａｔｅＢｒａｎｃｈｅＸｃｈａｎｇｅ）４０を含む。

（カメラ１１）
カメラ１１は、当該カメラ１１が向いている方向（即ち、撮像方向）の領域を撮像する。センタオフィス１０には、１台又は複数のカメラ１１が設置される。そして、設置された各カメラ１１は、それぞれの設置位置からセンタオフィス１０の一部又は全体を撮像することができる。図１からわかるように、本実施形態に係る情報処理システムにおいては、センタオフィス１０に設置された複数のカメラ１１により、様々な位置からセンタオフィス１０を撮像することができる。なお、本実施形態においては、カメラ１１を通じて生成される撮像画像は、静止画像であってもよく、又は動画像（即ち映像）であってもよく、特に限定されるものではない。また、カメラ１１は、例えば、自動で撮像方向を変えることができる。さらに、カメラ１１は、例えば、ズーム機能を有する。当該ズーム機能は、光学ズーム機能であってもよく、又はデジタルズーム機能であってもよく、特に限定されない。

また、カメラ１１は、当該カメラ１１の位置を変えることが可能であってもよい。例えば、カメラ１１は、ドリー（図示省略）により可動するように構成されていてもよい。言い換えると、カメラ１１は、レール（図示省略）に沿って可動するように構成されていてもよい。この場合においては、レールに沿ってカメラ１１が可動するためのモータ（図示省略）の制御により、カメラ１１が当該レールに沿って動いてもよい。これにより、センタオフィス１０に設置されたカメラ１１が１台の場合であっても、異なる位置から撮像された撮像画像をカメラ１１により取得することが可能になる。

また、カメラ１１がその位置を変えることが可能である場合には、上記ズーム機能は、カメラ１１の位置を変えることによるズーム機能であってもよい。例えば、上記ズーム機能は、ドリーによるズーム機能であってもよい。具体的には、被写体に向かってカメラ１１を動かすことによりズームインを行い、カメラ１１が被写体から離れる方向にカメラ１１を動かすことによりズームアウトを行ってもよい。なお、ドリーによるズーム機能は、光学ズーム又はデジタルズームのように、精緻に調整されるズームでなくてもよい。この場合、例えば、ズームインでは、被写体がより大きく写った撮像画像が取得できればよく、ズームアウトでは、被写体がより小さく写った撮像画像が取得できればよい。

（マイクロフォン１３）
マイクロフォン１３は、当該マイクロフォン１３の周囲の音を集音する。センタオフィス１０には、例えば、１台又は複数のマイクロフォン１３が設置される。例えば、設置された各マイクロフォン１３は、センタオフィス１０内のそれぞれの設置位置の周囲の音を集音する。このように、本実施形態に係る情報処理システムでは、センタオフィス１０に設置された複数のマイクロフォン１３により、センタオフィス１０内の様々な位置での音が集音される。

（センサ１５）
センサ１５は、様々な種類のものを検知する様々な種類のセンサを含み得る。センタオフィス１０には、例えば、１台又は複数のセンサ１５が設置される。センサ１５は、例えば、人物が座席にいるか否かを判定する座席センサであってもよい。当該座席センサは、各座席に設置され、押圧を検出することにより、各座席に人物が座っているか否かを判定する。また、センサ１５は、例えば、座席等に設置された振動センサであってもよく、該当する座席に着席する人物に起因する振動を検出することにより、該当する座席に人物が座っているかを判定する。また、センサ１５は、例えば、机下等に設置された人感センサであってもよく、当該人感センサは、該当する座席に着席する人物に起因する赤外線、超音波、可視光等の変化を検出することにより、該当する座席に人物が座っているかを判定する。

（メディア配信サーバ１７）
メディア配信サーバ１７は、要求に応じて端末装置１００等にメディア（例えば、音声、映像等）を配信する。

（情報管理サーバ２００）
情報管理サーバ２００は、本実施形態に係る情報処理システムにおいて用いられる様々な情報を管理する。即ち、情報管理サーバ２００は、当該様々な情報を記憶し、適時に当該様々な情報を更新する。例えば、情報管理サーバ２００は、上述したカメラ１１、マイクロフォン１３及びセンサ１５に関するパラメータを管理する。具体的には、例えば、情報管理サーバ２００は、カメラ１１のパラメータとして、カメラ１１の設置位置、撮像方向（例えば、カメラ１１のレンズと垂直な方向）、ズーム率等の情報を記憶し、更新する。

また、例えば、情報管理サーバ２００は、実空間に対応する３次元仮想空間のデータを生成、管理する。当該３次元仮想空間は、例えば、センタオフィス１０を模した３次元仮想空間のことを意味する。また、当該３次元仮想空間には、オブジェクトが配置される。例えば、当該オブジェクトは、人物に対応し、当該オブジェクトは、センタオフィス１０の各座席の位置に対応する上記３次元仮想空間内の３次元仮想位置に配置される。即ち、人物が座席に座っている場合には当該人物が存在するであろう位置に対応する３次元仮想位置に、上記オブジェクトが配置される。一例として、当該オブジェクトは、円柱状の形状を持つ。なお、３次元仮想空間及びオブジェクトについては後述する。

さらに、例えば、情報管理サーバ２００は、マイクロフォン１３や端末装置１００の集音部１４０から取得した音声データを、対応する通信用ＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）のデータを付与して、音声認識サーバ２０１へ送信する。また、例えば、情報管理サーバ２００は、音声認識サーバ２０１から認識結果の語句データ（例えば、上記音声データから抽出された語句についてのデータ）を受信し管理する。なお、当該音声データと当該通信用ＩＤのデータ、及び、当該語句データについては後述する。また、音声データの取得や記憶に係る処理等、情報管理サーバ２００が行う処理、もしくは当該処理の一部については、情報管理サーバ２００ではなくメディア配信サーバ１７、端末装置１００等の他の装置によって行われてもよい。

（音声認識サーバ２０１）
音声認識サーバ２０１は、大規模な語句リストのデータを内蔵し、例えば情報管理サーバ２００を介して、端末装置１００やマイクロフォン１３で取得された音声データを受信し、音声認識処理を行う。当該音声認識処理とは、上述の語句リストを用いて、受信した音声データに含まれる語句の抽出を行う処理のことである。そして、音声認識サーバ２０１は、音声認識処理の結果であるデータを上述の情報管理サーバ２００へと送信する。なお、音声認識サーバ２０１は、仮想サーバやアプリケーションソフトウェアとして、上述の情報管理サーバ２００、メディア配信サーバ１７、後述するＰＢＸ４０等の他のサーバ機器等により実現されてもよい。

（ＬＡＮ１９、外部ネットワーク３０）
ＬＡＮ１９は、センタオフィス１０内の各装置を接続するネットワークである。また、ＬＡＮ１９は、外部ネットワーク３０を介して、センタオフィス１０内の各装置とセンタオフィス１０外の装置とを接続する。ＬＡＮ１９及び外部ネットワーク３０は、有線又は無線であることができ、例えば、インターネット、ＩＰ−ＶＰＮ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ‐ＶｉｒｔｕａｌＰｒｉｖａｔｅＮｅｔｗｏｒｋ）、専用回線、又はＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、赤外線通信などの任意の通信ネットワークから構成される。

（端末装置１００）
端末装置１００は、ユーザにより使用される。例えば、端末装置１００は、電話、メール等のコミュニケーションを行うための機能をユーザに提供する。端末装置１００は、例えば、タブレット端末である。なお、端末装置１００は、タブレット端末の代わりに、スマートフォン、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、ディスプレイ付き電話機等の、表示機能及び通信機能を有する別の装置であってもよい。

（ディスプレイ２１）
ディスプレイ２１は、様々な画面を表示する。例えば、ディスプレイ２１は、カメラ１１を通じて取得された撮像画像を含む画面を表示する。これにより、端末装置１００のユーザを含む多数の人物が、ディスプレイ２１を介してセンタオフィス１０の様子を見ることができる。また、ディスプレイ２１は、例えば、いずれかの音声も出力してもよい。具体的には、ディスプレイ２１は、マイクロフォン１３により集音される音声を出力してもよい。これにより、端末装置１００のユーザを含む多数の人物が、ディスプレイ２１を介してセンタオフィス１０内の音を聞くことができる。

（ＬＡＮ２３）
ＬＡＮ２３は、サテライトオフィス２０（又はホームオフィス２０）内の各装置を接続するネットワークである。また、ＬＡＮ２３は、外部ネットワーク３０を介して、サテライトオフィス２０内の各装置とサテライトオフィス２０外の装置とを接続する。ＬＡＮ２３についても、有線又は無線であることができ、例えば、専用回線、赤外線通信などの任意の通信ネットワークから構成される。

（ＰＢＸ４０）
ＰＢＸ４０は、外部ネットワーク３０を介した装置間の通信を可能にする。ＰＢＸ４０は、例えば、Ｈ．３２３又はＳＩＰ（ＳｅｓｓｉｏｎＩｎｉｔｉａｔｉｏｎＰｒｏｔｏｃｏｌ）に従って動作することができる。具体的には、例えば、ＰＢＸ４０は、通信用の識別情報（例えば、電話番号）とＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）アドレスとを、互いに対応付けて記憶する。そして、ＰＢＸ４０は、要求に応じて、通信用の識別情報をＩＰアドレスに変換し、当該ＩＰアドレスを要求元に提供する。なお、ＰＢＸ４０は、上述のＬＡＮ１９又はＬＡＮ２３に接続されてもよい。

＜１．２端末装置の構成＞
続いて、図２から図１７を参照して、本実施形態に係る端末装置１００の構成の一例を説明する。端末装置１００は、先に説明したように、コミュニケーションを行うための機能をユーザに提供する装置である。

＜１．２．１ハードウェア構成＞
まず、図２を参照して、本実施形態に係る端末装置１００のハードウェア構成の一例を説明する。図２は、本実施形態に係る端末装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、端末装置１００は、ＣＰＵ（ｃｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）８０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）８０３、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）８０５、バス８０７、記憶装置８０９、通信インターフェース８１１、カメラ８１３、マイクロフォン８１５、スピーカ８１７及びタッチパネル８２０を有する。

（ＣＰＵ８０１、ＲＯＭ８０３、ＲＡＭ８０５）
ＣＰＵ８０１は、端末装置１００における様々な処理を実行する。また、ＲＯＭ８０３は、端末装置１００における処理をＣＰＵ８０１に実行させるためのプログラム及びデータを記憶する。さらに、ＲＡＭ８０５は、ＣＰＵ８０１の処理の実行時に、プログラム及びデータを一時的に記憶する。

（バス８０７）
バス８０７は、ＣＰＵ８０１、ＲＯＭ８０３及びＲＡＭ８０５を相互に接続する。バス８０７には、さらに、後述する記憶装置８０９、通信インターフェース８１１、カメラ８１３、マイクロフォン８１５、スピーカ８１７及びタッチパネル８２０が接続される。バス８０７は、例えば、複数の種類のバスを含む。具体的には、バス８０７は、ＣＰＵ８０１、ＲＯＭ８０３及びＲＡＭ８０５を接続する高速バスと、当該高速バスよりも低速の１つ以上の別のバスを含んでもよい。

（記憶装置８０９）
記憶装置８０９は、端末装置１００内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（ＨａｒｄＤｉｓｋ）等の磁気記憶装置であってもよく、又は、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ（ＦＬＡＳＨＭｅｍｏｒｙ）、ＭＲＡＭ（ＭａｇｎｅｔｏｒｅｓｉｓｔｉｖｅＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＦｅＲＡＭ（ＦｅｒｒｏｅｌｅｃｔｒｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）及びＰＲＡＭ（ＰｈａｓｅｃｈａｎｇｅＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅｍｅｍｏｒｙ）であってもよい。

（通信インターフェース８１１）
通信インターフェース８１１は、端末装置１００の通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信インターフェース８１１は、無線通信用のインターフェースであってもよく、この場合には、例えば、通信アンテナ、ＲＦ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ）回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース８１１は、有線通信用のインターフェースであってもよく、この場合には、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

（カメラ８１３）
カメラ８１３は、被写体を撮像する。カメラ８１３は、例えば、光学系、撮像素子及び画像処理回路を含む。

（マイクロフォン８１５）
マイクロフォン８１５は、周囲の音を集音する。マイクロフォン８１５は、周囲の音を電気信号へ変換し、当該電気信号をデジタルデータに変換する。

（スピーカ８１７）
スピーカ８１７は、音声を出力する。スピーカ８１７は、デジタルデータを電気信号に変換し、当該電気信号を音声に変換する。

（タッチパネル８２０）
タッチパネル８２０は、タッチ検出面８２１及び表示面８２３を含む。

タッチ検出面８２１は、タッチパネル８２０におけるタッチ位置を検出する。より具体的には、例えば、ユーザが、タッチパネル８２０にタッチすると、タッチ検出面８２１は、当該タッチを感知し、当該タッチの位置に応じた電気信号を生成し、そして当該電気信号をタッチ位置の情報に変換する。タッチ検出面８２１は、例えば、静電容量方式、抵抗膜方式、光学式等の任意のタッチ検出方式に対応することができる。

表示面８２３は、端末装置１００からの出力画像（即ち、表示画面）を表示する。表示面８２３は、例えば、液晶、有機ＥＬ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ：ＯＬＥＤ）、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）等を用いて実現され得る。

＜１．２．２機能構成＞
次に、本実施形態に係る端末装置１００の機能構成の一例を説明する。図３は、本実施形態に係る端末装置１００の機能構成の一例を示すブロック図である。図３を参照すると、端末装置１００は、通信部１１０、入力部１２０、撮像部１３０、集音部１４０、表示部１５０、音声出力部１６０、記憶部１７０及び制御部１８０を有する。

（通信部１１０）
通信部１１０は、他の装置と通信する。例えば、通信部１１０は、上述のＬＡＮ２３に接続され、サテライトオフィス２０内の各装置と通信する。また、通信部１１０は、上述の外部ネットワーク３０及びＬＡＮ１９を介して、センタオフィス１０内の各装置と通信する。具体的には、例えば、通信部１１０は、カメラ１１、マイクロフォン１３、センサ１５、メディア配信サーバ１７、情報管理サーバ２００及び音声認識サーバ２０１と通信する。なお、通信部１１０は、例えば、通信インターフェース８１１により実現され得る。

（入力部１２０）
入力部１２０は、端末装置１００のユーザによる入力を受け付ける。そして、入力部１２０は、入力結果を後述する制御部１８０へ提供する。例えば、入力部１２０は、表示画面におけるユーザにより指定される位置を検出する。より具体的には、入力部１２０は、タッチ検出面８２１により実現され、タッチパネル８２０におけるタッチ位置を検出する。そして、入力部１２０は、検出されたタッチ位置を制御部１８０へ提供する。

（撮像部１３０）
撮像部１３０は、被写体を撮像する。例えば、撮像部１３０は、端末装置１００の正面方向の領域を撮像する。この場合には、撮像部１３０は、端末装置１００のユーザを撮像することができる。撮像部１３０は、撮像結果（即ち、撮像画像）を制御部１８０に提供する。なお、撮像部１３０は、例えば、カメラ８１３により実現され得る。

（集音部１４０）
集音部１４０は、端末装置１００の周囲の音を集音する。例えば、集音部１４０は、端末装置１００のユーザの声を集音することができる。集音部１４０は、集音結果（音声データ）を制御部１８０に提供する。なお、集音部１４０は、例えば、マイクロフォン８１５により実現され得る。

（表示部１５０）
表示部１５０は、出力画像（表示画面）を表示する。表示部１５０は、制御部１８０による制御に応じて表示画面を表示する。なお、表示部１５０は、例えば、表示面８２３により実現され得る。

（音声出力部１６０）
音声出力部１６０は、音声を出力する。音声出力部１６０は、制御部１８０による制御に応じて音声を出力する。なお、音声出力部１６０は、例えば、スピーカ８１７により実現され得る。

（記憶部１７０）
記憶部１７０は、端末装置１００の動作のためのプログラム及びデータを記憶する。例えば、記憶部１７０は、実空間に対応する３次元仮想空間のデータを記憶する。具体的には、例えば、情報管理サーバ２００が、センタオフィス１０に対応する３次元仮想空間のデータを記憶しており、制御部１８０が、通信部１１０を介して、上記３次元仮想空間のデータを取得する。そして、記憶部１７０は、取得された当該３次元仮想空間のデータを記憶する。なお、記憶部１７０は、例えば、記憶装置８０９により実現され得る。

（制御部１８０）
制御部１８０は、端末装置１００の様々な機能を提供する。制御部１８０は、実空間情報提供部１８１、音声出力制御部１８２、位置取得部１８３、オブジェクト選択部１８５、ＩＤ取得部１８７、電話部１８９、会話オブジェクト選択部１９１、ＣＯＭＭリンク制御部１９３、及びＣＯＭＭワード制御部（発言語句オブジェクト制御部）１９５を含む。なお、制御部１８０は、例えば、ＣＰＵ８０１、ＲＯＭ８０３及びＲＡＭ８０５により実現され得る。以下に、制御部１８０の各機能部について説明する。

（実空間情報提供部１８１）
実空間情報提供部１８１は、実空間の情報を端末装置１００のユーザに提供する。詳細には、実空間情報提供部１８１は、表示部１５０に、実空間の撮像画像の表示画面を表示させる。より具体的には、例えば、当該撮像画像は、実空間（センタオフィス１０）内にあるカメラ１１を通じて取得される撮像画像である。なお、当該撮像画像は、カメラ１１により取得された撮像画像であってもよく、又は、カメラ１１により取得された撮像画像を加工することにより生成された撮像画像であってもよい。また、上記表示画面は、当該撮像画像を一部又は全体に含む画面である。すなわち、実空間情報提供部１８１は、通信部１１０を介して、カメラ１１の撮像画像を取得する。そして、実空間情報提供部１８１は、当該撮像画像を含む表示画面を生成し、表示部１５０に当該表示画面を表示させる。

また、例えば、上記撮像画像は、実空間内にある複数の撮像装置のうちの選択された１つの撮像装置を通じて取得された撮像画像であってもよい。より具体的には、例えば、上記撮像画像は、センタオフィス１０に配置された複数のカメラ１１のうちの選択された１つのカメラ１１を通じて取得された撮像画像であってもよい。なお、ユーザがカメラ１１をどのように選択するかの具体的な手法は後述する。このように、ユーザがカメラ１１を選択することができるので、ユーザは所望の位置からの撮像画像を見ることができる。

また、例えば、上記表示画面は、表示モードに応じた撮像画像を含む。より具体的には、例えば、上記表示画面は、第１の表示モードでは、実空間（例えばセンタオフィス１０内）の第１の領域が撮像された第１の撮像画像を含み、第２の表示モードでは、実空間の、第１の領域よりも狭い第２の領域が撮像された第２の撮像画像を含む。即ち、実空間情報提供部１８１は、第１の表示モードでは、上記第１の撮像画像を表示部１５０に表示させ、第２の表示モードでは、上記第２の撮像画像を表示部１５０に表示させる。

さらに具体的には、例えば、上記第１の撮像画像は、第１のズーム率に対応する撮像画像である。そして、上記第２の撮像画像は、上記第１のズーム率よりも大きい第２のズーム率に対応する撮像画像である。例えば、実空間情報提供部１８１は、通信部１１０を介して、カメラ１１へのズーム（光学ズーム、デジタルズーム、又は撮像装置の位置の変更によるズーム（例えば、ドリーによるズーム））に関する要求を行うことにより、第１のズーム率に対応する撮像画像、又は第２のズーム率に対応する撮像画像を取得する。または、実空間情報提供部１８１は、カメラ１１の撮像画像に対するデジタルズームにより、第１のズーム率に対応する撮像画像、又は第２のズーム率に対応する撮像画像を取得してもよい。

なお、ここでのズーム率は、１．５倍、２倍等の精緻な値である必要はなく、被写体が撮像画像に写る大きさの程度を直接的又は間接的に示すものであればよい。例えば、カメラ１１の位置の変更によるズーム（例えば、ドリーによるズームイン及びズームアウト）が用いられる場合には、ズーム率は、１．５倍、２倍等の精緻な値ではなく、被写体の大きさの程度を直接的に示すもの（例えば、被写体の概ねの大きさの程度を示すパラメータ等）、又は、被写体の大きさの程度を間接的に示すもの（例えば、レールにおけるカメラ１１の位置等）であってもよい。第１のズーム率に対応する撮像画像は、被写体がより小さく写っている撮像画像であり、第１のズーム率よりも大きい第２のズーム率に対応する撮像画像は、当該被写体がより大きく写っている撮像画像であればよい。

一例として、上記表示画面は、俯瞰モードでは、Ｘ倍のズーム率（例えば、Ｘ＝１）での撮像でカメラ１１により生成された俯瞰撮像画像を含み、近接モードでは、Ｙ倍のズーム率（Ｙ＞Ｘ）での撮像でカメラ１１により生成された近接撮像画像を含む。即ち、俯瞰撮像画像は、センタオフィス１０内のより広い領域が撮像された撮像画像であり、近接撮像画像は、センタオフィス１０内のより狭い領域が撮像された撮像画像である。以下、これら撮像画像について、図４及び図５を参照してその具体例を説明する。

−俯瞰モードで表示される表示画面−
図４は、本実施形態に係る俯瞰モードで表示される表示画面の一例を説明するための説明図である。詳細には、図４には、俯瞰モードの表示画面６０が示されている。当該表示画面６０は、俯瞰撮像画像６１、ボタン画像６３、プレゼンスアイコン６５、吹き出し画像６７及びマップ画像６９を含む。

俯瞰撮像画像６１は、例えば、Ｘ倍のズーム率でのカメラ１１により取得された撮像画像である。一例として、Ｘ＝１である。即ち、俯瞰撮像画像６１は、ズームなしでのカメラ１１の撮像画像である。また、例えば、ユーザが、俯瞰撮像画像６１の位置を指定すると、実空間情報提供部１８１は、表示モードを俯瞰モードから近接モードに切り替える。より具体的には、例えば、ユーザが俯瞰撮像画像６１内の所望の位置をタッチし、俯瞰撮像画像６１に対応するタッチ位置が検出されると、実空間情報提供部１８１は、表示モードを俯瞰モードから近接モードに切り替える。

また、ボタン画像６３は、別のカメラ１１を選択するための画像である。例えば、ユーザが、ボタン画像６３の位置を指定すると、実空間情報提供部１８１は、別のカメラ１１の俯瞰撮像画像を取得し、表示部１５０に当該俯瞰撮像画像を表示させる。より具体的には、例えば、ユーザがボタン画像６３の位置をタッチし、ボタン画像６３に対応するタッチ位置が検出されると、実空間情報提供部１８１は、別のカメラ１１の俯瞰撮像画像を取得し、表示部１５０に当該俯瞰撮像画像を表示させる。具体的には、図４の例においては、ボタン画像６３Ａの位置がユーザにより指定されると、現在のカメラ１１の左側に位置するカメラ１１が選択される。また、ボタン画像６３Ｂの位置がユーザにより指定されると、現在のカメラ１１の右側に位置するカメラ１１が選択される。そして、実空間情報提供部１８１は、選択されたカメラ１１の俯瞰撮像画像を取得し、表示部１５０に、当該俯瞰撮像画像を表示させる。

また、プレゼンスアイコン６５は、例えば、俯瞰撮像画像６１に写る人物の繁忙度を示すアイコンである。より具体的には、プレゼンスアイコン６５は、人物の繁忙度に応じて色が変わる。一例として、プレゼンスアイコンは、赤色の場合に繁忙度が高いことを示し、黄色の場合に繁忙度が普通であることを示し、青色の場合に繁忙度が低いことを示す。後述するように、俯瞰撮像画像６１のうちのどこに人物が写っているはずであるかが分かるので、このようなアイコンを表示することも可能である。なお、人物の繁忙度については、当該人物に対応するＰＣ等の端末装置１００の操作状況（一定時間あたりの高頻度打鍵や業務アプリケーションの長期継続使用等が行われていれば当該人物は忙しいと判断する等）によって、判断してもよい。また、本実施形態においては、プレゼンスアイコン６５は、上述のような形態に限定されるものではなく、例えば、白い色の円のアイコンである場合には、対応する人物が在席中であることを示し、黒色の円のアイコンである場合には、対応する人物が不在であることを示していてもよい。

上述のように、表示画面６０は、例えば、俯瞰撮像画像６１に写る人物に関連する情報（以下、「人物関連情報」と呼ぶ）を含む。そして、人物関連情報は、例えば、上記人物の状態を示す状態情報を含む。上述したように、当該状態情報は、その一例としてプレゼンスアイコン６５を挙げることができる。なお、人物関連情報は、２つ以上の時点における上記人物の状態を示す状態履歴を含んでもよい。また、一例として、当該状態履歴情報は、俯瞰撮像画像６１に写る人物の繁忙度の履歴を含んでもよい。即ち、表示画面６０に、人物の繁忙度の履歴が表示されてもよい。実空間情報提供部１８１は、例えば、通信部１１０を介して、情報管理サーバ２００から人物関連情報、又は人物関連情報の表示に必要な情報を取得する。

本実施形態においては、このような人物関連情報により、ユーザは、人物が置かれている状況をより的確に把握することができる。また、上述の状態情報により、ユーザは、状態情報に対応する人物にコンタクトしてもよいかをより的確に判断することができる。また、状態履歴により、ユーザは、状態履歴に対応する人物の瞬時の状態だけではなく、ある期間での当該人物の状態を把握することができるので、ユーザは、当該人物にコンタクトしてもよいかをさらに的確に判断することができる。

また、吹き出し画像６７は、俯瞰撮像画像６１に写る人物により提示される文字情報を含む画像である。吹き出し画像６７も、人物関連情報の一例である。

また、マップ画像６９は、センタオフェス１０のマップを示す画像である。マップ画像６９は、さらに、使用しているカメラ１１をアイコン３１により示す。なお、センタオフィス１０内に１つ又は少数のカメラ１１しか設置されない場合には、マップ画像６９は省略されてもよい。

−近接モードで表示される表示画面−
図５は、本実施形態に係る近接モードで表示される表示画面の一例を説明するための説明図である。詳細には、図５には、近接モードで表示される表示画面７０が示されている。当該表示画面７０は、近接撮像画像７１、ボタン画像７３及びマップ画像７５を含む。

近接撮像画像７１は、例えば、Ｙ倍のズーム率（Ｙ＞Ｘ）でのカメラ１１の撮像画像である。一例として、Ｙ＝１．５である。即ち、俯瞰撮像画像６１は、１．５倍ズームの撮像でのカメラ１１の撮像画像である。

また、ボタン画像７３は、表示モードを近接モードから俯瞰モードに切り替えるための画像である。例えば、ユーザが、ボタン画像７３の位置を指定すると、実空間情報提供部１８１は、表示モードを近接モードから俯瞰モードに切り替える。より具体的には、例えば、ユーザがボタン画像７３をタッチし、ボタン画像７３に対応するタッチ位置が検出されると、実空間情報提供部１８１は、表示モードを近接モードから俯瞰モードに切り替える。

また、マップ画像７５は、俯瞰モードにおけるマップ画像６９と同様に、センタオフェス１０のマップを示す画像である。マップ画像７５は、さらに、使用しているカメラ１１を示す。例えば、近接モードでは、ズームされたことを象徴的に示すために、マップ画像７５の中の使用しているカメラのアイコン３１が、撮影対象により近接した位置に表示される。なお、俯瞰モードにおけるマップ画像６９と同様に、センタオフィス１０内に１つ又は少数のカメラ１１しか設置されない場合には、マップ画像７５は省略されてもよい。

なお、近接モードで表示される表示画面７０にも、プレゼンスアイコン６５、吹き出し画像６７等の人物関連情報が含まれてもよい。

以上のように表示モードを切り替えることにより、より広い領域が撮像された撮像画像が表示されることにより、ユーザは実空間の全体的な状況を見ることができ、また特定の人物を容易に見つけることができる。そして、より狭い領域が撮像された撮像画像が表示されることにより、ユーザは特定の人物の位置をより容易に指定することができる。また、本実施形態においては、ユーザは容易な操作により、表示モードを切り替えることができる。また、より広い領域が撮像された撮像画像とより狭い領域が撮像された撮像画像とは、互いにズーム率が異なる撮像画像であるため、ユーザは、これらの撮像画像間の関係を直感的に容易に把握することができる。よって、ユーザは、表示モードが切り替わったとしても、特定の人物を容易に見つけ、当該特定の人物の位置を指定することができる。

−その他の実空間情報−
以上のように、実空間情報提供部１８１は、表示部１５０に実空間の撮像画像の表示画面を表示させることにより、実空間の視覚的な情報を提供する。さらに、実空間情報提供部１８１は、実空間の聴覚的な情報も提供してもよい。即ち、実空間情報提供部１８１は、音声出力部１６０に、実空間での集音により得られた音声データの音声を出力させてもよい。例えば、実空間情報提供部１８１は、ユーザにより選択されたカメラ１１に近いマイクロフォン１３を選択する。そして、実空間情報提供部１８１は、通信部１１０を介して、当該マイクロフォン１３から、センタオフィス１０での集音により得られた音声データを取得する。そして、実空間情報提供部１８１は、音声出力部１６０に、取得した音声データの音声を出力させてもよい。

（音声出力制御部１８２）
音声出力制御部１８２は、制御部１８０が通信部１１０を介して取得したデータに基づいて、音声出力部１６０による音声出力を制御する。具体的には、音声出力制御部１８２は、上記データに基づいて、音声出力部１６０から出力される音声の音量を制御する。

（位置取得部１８３）
位置取得部１８３は、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を取得する。より具体的には、例えば、入力部１２０が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を検出すると、位置取得部１８３は、当該位置を取得する。そして、位置取得部１８３は、当該撮像画像内の位置をオブジェクト選択部１８５に提供する。

例えば、位置取得部１８３は、図５の近接撮像画像７１内のいずれかの位置を取得した場合に、当該位置をオブジェクト選択部１８５に提供する。以下、位置取得部１８３による位置の取得及び提供について図６及び図７を参照して具体的に説明する。

図６は、ユーザにより指定される近接撮像画像７１内の位置の第１の例を説明するための説明図である。図６には、近接モードの表示画面に含まれる近接撮像画像７１、及びユーザの手３が、示されている。また、図６には、近接撮像画像７１に写る人物の人物画像７７が示されている。そして、ユーザは、手３で人物画像７７の位置をタッチすることにより、近接撮像画像７１の人物画像７７の位置を指定している。この場合に、入力部１２０は、近接撮像画像７１の人物画像７７の上記位置を検出し、位置取得部１８３は、当該位置を取得する。そして、入力部１２０は、取得した当該位置をオブジェクト選択部１８５に提供する。

図７は、ユーザにより指定される近接撮像画像７１内の位置の第２の例を説明するための説明図である。図７には、近接撮像画像７１に写る人物画像７７Ａ及び７７Ｂが示されている。そして、ユーザは、手３で人物画像７７Ａの位置をタッチすることにより、近接撮像画像７１の人物画像７７Ａの位置を指定している。この場合に、入力部１２０は、近接撮像画像７１の人物画像７７Ａの上記位置を検出し、位置取得部１８３は、当該位置を取得する。そして、入力部１２０は、取得した当該位置をオブジェクト選択部１８５に提供する。

（オブジェクト選択部１８５）
オブジェクト選択部１８５は、取得される撮像画像内の位置に基づいて、実空間に対応する３次元仮想空間に配置されたオブジェクトを選択する。例えば、位置取得部１８３が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を取得すると、オブジェクト選択部１８５は、当該位置に基づいて、上記実空間に対応する３次元仮想空間に配置されたオブジェクトを選択する。詳細には、上記オブジェクトは、上記撮像画像内の上記位置に対応する上記３次元仮想空間内の３次元仮想位置に配置されたオブジェクトである。また、例えば、上記撮像画像は、表示画面に含まれる上記第２のモード（例えば、近接モード）の撮像画像である。例えば、位置取得部１８３が、カメラ１１により生成された近接撮像画像７１内の位置を取得すると、オブジェクト選択部１８５は、センタオフィス１０に対応する３次元仮想空間に配置されたオブジェクトのうちの、上記位置に対応するオブジェクトを選択する。なお、オブジェクト選択部１８５は、例えば、センタオフィス１０に対応する３次元仮想空間のデータを記憶部１７０から取得する。

−１つのオブジェクトが配置されている場合の例−
以下、図８及び図９を参照して、３次元仮想空間９０に１つのオブジェクト９１が配置されている場合の３次元仮想空間９０の具体例を説明する。図８は、センタオフィス１０に対応する３次元仮想空間９０の第１の例を説明するための説明図である。図８においては、センタオフィス１０に対応する３次元仮想空間９０が示されている。また、当該３次元仮想空間９０には、オブジェクト９１が配置されている。当該オブジェクト９１は、人物（例えば、Ａ氏）に対応する。そして、当該オブジェクト９１は、センタオフィス１０の当該人物（例えば、Ａ氏）の座席の位置に対応する３次元仮想位置に配置される。即ち、上記人物が座席に座っている場合には上記人物が存在するであろう位置に対応する３次元仮想位置に、上記オブジェクト９１が配置される。この例では、オブジェクト９１は、円柱状のオブジェクトである。当該円柱状のオブジェクト９１は、例えば、半径Ｒ及び高さＨを伴う円柱のオブジェクトである。半径Ｒ及び高さＨは、例えば、予め定められている。なお、３次元仮想空間９０のデータには、各カメラ１１に関連する情報も含まれている。例えば、各カメラ１１に関連する情報は、各カメラ１１の設置位置に対応する３次元仮想位置、撮像方向（例えば、カメラのレンズと垂直な方向）、画角等を含む。

図９は、図８に示される３次元仮想空間９０に配置されたオブジェクト９１の選択の一例を説明するための説明図である。図９においては、理解を容易にするために、３次元仮想空間９０における水平面における位置関係が示されている。具体的には、図９では、３次元仮想空間９０に配置されたオブジェクト９１、撮像に用いられるカメラ１１の設置位置に対応する３次元仮想位置（以下、「仮想カメラ位置」と呼ぶ）Ｏ、カメラ１１の撮像方向（例えば、カメラのレンズと垂直な方向）に対応する軸ｙ、及び、軸ｙと直交する軸ｘが、示されている。図９の例では、理解を容易にするために、カメラ１１は、当該カメラ１１の撮像方向が水平面に平行になるように、設置されているものとする。

さらに、図９においては、カメラ１１の画角θも示されている。また、図９においては、カメラ１１の撮像方向に対応する軸ｙに垂直であり、且つ画角θに対応する幅を有する仮想面９３が示されている。また、仮想面９３は、仮想カメラ位置Ｏから距離Ｉだけ離れている。そして、仮想面９３は、四角形の面であり、撮像画像と同一の縦横比を有する。即ち、仮想面９３は、撮像画像に対応する面である。

オブジェクト選択部１８５は、例えば、図６に示されるようにユーザにより指定される上記撮像画像内の位置を、３次元仮想位置Ａに変換する。そして、オブジェクト選択部１８５は、仮想カメラ位置Ｏと３次元仮想位置Ａとを通る直線に交わるオブジェクトを特定する。すなわち、オブジェクト選択部１８５は、オブジェクト９１を特定する。そして、オブジェクト選択部１８５は、オブジェクト９１を選択する。図９の例では、例えば、仮想面９３のうちの３次元仮想位置Ｂと３次元仮想位置Ｄとの間にある３次元仮想位置に変換される撮像画像内の位置が、撮像画像内でユーザにより指定されると、オブジェクト９１が選択される。なお、このような位置は、概ね、撮像画像においてオブジェクト９１に対応する人物が写っている位置である。なお、距離Ｉは、仮想カメラ位置Ｏとオブジェクト９１との間に仮想面９３が位置するように決定される。一例として、距離Ｉは、カメラ１１の焦点距離であるが、当然ながら本実施形態においてはこれに限られない。

また、上記においては、３次元仮想空間９０の水平面に着目してオブジェクト９１を選択する手法を説明したが、当該手法によれば、当然ながら、垂直方向（例えば、ｚ軸）での処理を加えたとしても、撮像画像内の位置を３次元仮想位置に変換して当該３次元仮想位置からオブジェクト９１を特定することが可能である。また、上述した例では、撮像画像内の位置を３次元仮想位置に変換することにより、撮像画像内の位置に対応するオブジェクト９１が特定されたが、本実施形態においては、撮像画像内の位置に対応するオブジェクト９１を特定する手法は、これに限られない。

一例として、オブジェクト選択部１８５は、仮想カメラ位置Ｏを原点としてオブジェクト９１を仮想面９３に射影し、オブジェクト９１の射影範囲を、撮像画像内の範囲に変換してもよい。そして、ユーザにより指定される上記撮像画像内の位置が、上記範囲に含まれる場合に、オブジェクト選択部１８５は、オブジェクト９１を選択してもよい。

また、別の例としては、仮想カメラ位置Ｏ、軸ｙ及び画角θを用いて３次元仮想空間９０のレンダリングを行うことにより、レンダリング画像を生成し、当該レンダリング画像のうちのオブジェクト９１が写っている範囲から、オブジェクト９１に対応する撮像画像内の範囲を得てもよい。そして、ユーザにより指定される上記撮像画像内の位置が、上記範囲に含まれる場合に、オブジェクト選択部１８５は、オブジェクト９１を選択してもよい。

−状態を考慮したオブジェクトの選択
また、例えば、３次元仮想空間９０に配置されるオブジェクト９１は、複数の状態のうちのいずれかの状態を示す状態情報に対応する。例えば、オブジェクト９１は、人物に対応する。そして、オブジェクト９１は、当該人物が座席に座っているか否かを示す状態情報（以下、「存否情報」と呼ぶ）に対応する。当該存否情報は、人物が座席に座っている状態、又は人物が座席に座っていない状態を示す。オブジェクト選択部１８５は、例えば、オブジェクト９１に対応する人物が座席に座っているか否かの判定結果を、通信部１１０を介してセンサ１５から取得する。そして、当該判定結果が存否情報となる。

そして、例えば、オブジェクト選択部１８５は、上記３次元仮想空間９０に配置されたオブジェクト９１であって、上記複数の状態のうちの所定の状態を示す状態情報に対応する上記オブジェクト９１を、選択する。より具体的には、オブジェクト選択部１８５は、上記３次元仮想空間９０に配置されたオブジェクト９１であって、人物が座席に座っている状態を示す状態情報に対応するオブジェクト９１を、選択する。即ち、オブジェクト選択部１８５は、センサ１５により人物が座席に座っていると判定される場合には、当該人物に対応するオブジェクト９１を選択し得るが、センサ１５により人物が座席に座っていないと判定される場合には、当該人物に対応するオブジェクト９１を選択しない。

このように、本実施形態においては、人物の状態に応じてオブジェクト９１が選択されるので、本来選択されるべきでないオブジェクト９１が選択されることを回避することができる。例えば、本実施形態においては、人物がいない場合に当該人物に対応するオブジェクト９１が選択されてしまうことを、回避することができる。

−２つのオブジェクトが配置されている場合の例
また、３次元仮想空間９０内に２つ以上のオブジェクト９１が配置され得る。以下、２つのオブジェクト９１が配置される場合の３次元仮想空間９０の具体例を、図１０を参照して説明する。図１０は、センタオフィス１０に対応する３次元仮想空間９０の第２の例を説明するための説明図である。図１０には、センタオフィス１０に対応する３次元仮想空間９０が示されている。また、当該３次元仮想空間９０には、オブジェクト９１Ａ及びオブジェクト９１Ｂが配置されている。オブジェクト９１Ａは、ある人物（例えば、Ａ氏）に対応し、センタオフィス１０の当該ある人物の座席の位置に対応する３次元仮想位置に配置される。また、オブジェクト９１Ｂは、ある人物（例えば、Ｂ氏）に対応し、センタオフィス１０の当該ある人物の座席の位置に対応する３次元仮想位置に配置される。図８の例と同様に、オブジェクト９１は、半径Ｒ及び高さＨを伴う円柱状のオブジェクトである。

このように３次元仮想空間９０内に２つ以上のオブジェクト９１が配置される場合には、複数のオブジェクト９１が、ユーザにより指定される撮像画像内の位置に対応し得る。例えば、図１０の例において、オブジェクト９１Ａとオブジェクト９１Ｂの両方が、ユーザにより指定される撮像画像内の位置に対応し得る。一例として、図７に示されるように撮像画像内に２人の人物が写り得るような場合に、ユーザが、撮像画像において当該２人の人物が重なり合う位置を指定すると、当該２人の人物に対応する２つのオブジェクト９１が、上記位置に対応し得る。

そこで、このような場合（即ち、複数のオブジェクト９１が、ユーザにより指定される撮像画像の位置に対応する場合）には、オブジェクト選択部１８５は、上記複数のオブジェクト９１のうちのいずれか１つのオブジェクト９１を選択する。即ち、オブジェクト選択部１８５は、ユーザにより指定される撮像画像内の位置に対応する３次元仮想空間９０内の３次元仮想位置にそれぞれ配置された複数のオブジェクト９１がある場合に、当該複数のオブジェクト９１のうちのいずれか１つのオブジェクト９１を選択する。

例えば、上記撮像画像は、実空間内にある撮像装置を通じて生成される。そして、オブジェクト選択部１８５は、上記複数のオブジェクト９１のうちの、上記撮像装置に対応する３次元仮想空間９０内の３次元仮想位置により近いオブジェクト９１を選択する。より具体的には、例えば、撮像画像は、センタオフィス１０内にあるカメラ１１を通じて取得される。そして、オブジェクト選択部１８５は、ユーザにより指定される撮像画像内の位置に対応する複数のオブジェクト９１がある場合に、カメラ１１の設置位置に対応する３次元仮想位置（即ち、仮想カメラ位置Ｏ）により近いオブジェクト９１を選択する。以下、この点について図１０及び図１１を参照して具体例を説明する。

図１１は、図１０に示される３次元仮想空間９０に配置されたオブジェクト９１の選択の一例を説明するための説明図である。図１１においては、理解を容易にするために、３次元仮想空間９０における水平面における位置関係が示されている。具体的には、図１１においては、３次元仮想空間９０に配置されたオブジェクト９１Ａ及びオブジェクト９１Ｂが示されている。また、図１１においては、図９と同様に、仮想カメラ位置Ｏ、軸ｙ、軸ｘ、画角θ及び仮想面９３が、示されている。この図１１の例でも、図９と同様に、理解を容易にするために、カメラ１１は、当該カメラ１１の撮像方向が水平面に並行になるように、設置されているものとする。

例えば、図７に示されるようにユーザにより上記撮像画像内の位置が指定される。この場合に、図９を参照して説明した手法に従うと、撮像画像内の上記位置が、３次元仮想位置Ｂ’と３次元仮想位置Ｄとの間にある３次元仮想位置に変換される場合には、オブジェクト９１Ａ及びオブジェクト９１Ｂの両方が、撮像画像内の上記位置に対応するオブジェクトとして特定される。そして、オブジェクト選択部１８５は、オブジェクト９１Ａ及びオブジェクト９１Ｂのうちの、仮想カメラ位置Ｏにより近いオブジェクト９１Ａを選択する。

なお、ユーザにより指定される撮像画像内の位置が、３次元仮想位置Ｂと３次元仮想位置Ｂ’との間にある３次元仮想位置に変換される場合には、オブジェクト９１Ａが、上記撮像画像内の位置に対応するオブジェクトとして特定され、選択される。また、ユーザにより指定される撮像画像内の位置が、３次元仮想位置Ｄと３次元仮想位置Ｄ’との間にある３次元仮想位置に変換される場合には、オブジェクト９１Ｂが、上記撮像画像内の位置に対応するオブジェクトとして特定され、選択される。

このように、本実施形態においては、複数のオブジェクト９１から１つのオブジェクト９１が選択されることにより、複数のオブジェクト９１が選択されることに起因してその後の処理でエラー（複数の通信用ＩＤを取得することによるエラー）が発生することを、回避することができる。また、複数のオブジェクト９１のうちのカメラ１１に対応する仮想カメラ位置に近いオブジェクト９１が選択されることにより、例えば、撮像画像において人物が重なりあっているような場合でも、手前に写っている人物に対応するオブジェクト９１が選択される。従って、ユーザは、ユーザが意図した人物に対応するオブジェクト９１が選択することができる。

以上のように、オブジェクト選択部１８５は、オブジェクト９１を選択する。そして、オブジェクト選択部１８５は、選択したオブジェクト９１の識別情報（以下、「オブジェクトＩＤ」と呼ぶ）をＩＤ取得部１８７に提供する。当該オブジェクトＩＤは、選択されたオブジェクト９１に対応する人物の識別情報であってもよく、又は、選択されたオブジェクト９１に付された単なる番号（例えば、数字や文字等で構成される）であってもよい。

（会話オブジェクト選択部１９１）
会話オブジェクト選択部１９１は、後述する「ＣＯＭＭリンク」オブジェクトを選択する。位置取得部１８３が、実空間の撮像画像の表示画面においてユーザにより指定される上記撮像画像内の位置を取得すると、会話オブジェクト選択部１９１は、当該位置に基づいて、上記実空間に対応する３次元仮想空間に配置されたＣＯＭＭリンク（すなわち、会話イベントオブジェクト）を選択する。なお、ＣＯＭＭリンクは、例えば、通話に対応するオブジェクトであり、線分状の形状を持ち、その両端には、当該通話に関わる人物に対応するオブジェクト９１等が位置する。当該ＣＯＭＭリンクの詳細については後述する。

（ＩＤ取得部１８７）
ＩＤ取得部１８７は、選択される上記オブジェクト９１に対応する識別情報を取得する。例えば、当該識別情報は、選択される上記オブジェクト９１に対応する通信用の識別情報（以下、「通信用ＩＤ」と呼ぶ）である。当該通信用ＩＤは、一例として電話番号が挙げられる。具体的には、例えば、オブジェクト選択部１８５が、オブジェクト９１を選択すると、ＩＤ取得部１８７は、選択された当該オブジェクト９１のオブジェクトＩＤを取得する。そして、オブジェクト選択部１８５は、通信部１１０を介して、オブジェクトＩＤを情報管理サーバ２００へ送信し、オブジェクトＩＤに対応する通信用ＩＤを取得する。当該通信用ＩＤは、選択されたオブジェクト９１に対応する人物の通信用ＩＤである。当該通信用ＩＤは、オブジェクト９１に対応する人物（即ち、ユーザにより指定された撮像画像の位置に写っている人物）の通信装置の通信用ＩＤである。そして、ＩＤ取得部１８７は、取得した通信用ＩＤを後述する電話部１８９に提供する。

以上のように、本実施形態においては、ユーザにより撮像画像内の位置が指定されると、当該位置に対応するオブジェクト９１が選択され、当該オブジェクト９１に対応する通信用ＩＤが取得される。これにより、ユーザは、直感的な操作で対象の人物にコンタクトすることが可能になる。また、撮像画像において人物がどのように写っているかによらず、当該人物に対応するオブジェクト９１が選択され、通信用ＩＤが取得されるので、より確実に当該人物にコンタクトすることが可能になる。

また、ＩＤ取得部１８７は、選択される会話オブジェクトに対応する複数の識別情報、具体的には、後述するＣＯＭＭリンクの線分の両端に位置するオブジェクト９１に対応する２以上の話者の通信用ＩＤを取得することもできる。具体的には、例えば、オブジェクト選択部１８５が、会話オブジェクト（ＣＯＭＭリンク）を選択すると、ＩＤ取得部１８７は、選択された会話オブジェクトの両端に位置するオブジェクト９１に対応する２以上の話者のオブジェクトＩＤを取得する。そして、オブジェクト選択部１８５は、通信部１１０を介して、ＩＤ取得部１８７により取得された上記２以上のオブジェクトＩＤを情報管理サーバ２００へ送信し、オブジェクトＩＤに対応する通信用ＩＤを取得する。当該通信用ＩＤは、選択されたオブジェクト９１に対応する人物の通信用ＩＤである。さらに、ＩＤ取得部１８７は、オブジェクト選択部１８５により取得された複数の通信用ＩＤを取得する。そして、ＩＤ取得部１８７は、取得した通信用ＩＤを電話部１８９に提供する。

以上のように、ユーザにより撮像画像内の位置が指定されると、当該位置に対応する会話オブジェクトが選択され、当該会話オブジェクトに対応する複数の通信用ＩＤが取得される。これにより、ユーザは、遠隔会話という不可視の存在を直感的な操作で指定することが可能になり、既存のたとえば二者通話への参入による三者通話への移行操作が容易に実施できるようになる。

（電話部１８９）
電話部１８９は、電話を行うための機能を提供する。例えば、電話部１８９は、ソフトフォンの機能を提供する。例えば、電話部１８９は、ＩＤ取得部１８７により提供される通信用ＩＤを取得すると、当該通信用ＩＤを用いて電話発信を行う。より具体的には、例えば、電話部１８９は、通信用ＩＤを取得すると、通信部１１０を介して、当該通信用ＩＤをＰＢＸ４０に提供し、ＰＢＸ４０からＩＰアドレスを取得する。そして、電話部１８９は、当該ＩＰアドレスを有する通信装置（即ち、着信先の通信装置）との間で、セッションを確立するための一連のシーケンスを実行する。このように、電話部１８９は、表示画面においてユーザにより指定された撮像画像内の位置に写る人物への電話のための電話発信を行う。即ち、電話部１８９は、当該人物の通信装置への電話発信を行う。

また、電話の相手先の通信装置からの音声データが、通信部１１０により受信されると、電話部１８９は、音声出力部１６０に、当該音声データの音声を出力させる。また、電話部１８９は、通信部１１０に、集音部１４０により提供される音声データを電話の相手先の通信装置へ送信させる。また、電話部１８９は、例えば、通信部１１０に、撮像部１３０により提供される撮像画像（例えば、端末装置１００のユーザが写っている撮像画像）も電話の相手先の通信装置へ送信させる。

また、電話部１８９は、表示部１５０に、電話時の表示画面を表示させる。例えば、電話時の表示画面を表示する表示モードを、会話モードと呼ぶ。この場合に、電話部１８９は、ＩＤ取得部１８７により提供される通信用ＩＤを取得すると、表示モードを、近接モードから会話モードへ切り替える。以下、会話モードの表示画面について図１２を参照してその具体例を説明する。

図１２は、会話モードで表示される表示画面８０の一例を説明するための説明図である。図１２においては、会話モードで表示される表示画面８０が示されている。当該表示画面８０は、相手側撮像画像８１、ボタン画像８３及び自分側撮像画像８５を含む。

相手側撮像画像８１は、例えば、電話の相手先の通信装置から取得された撮像画像である。例えば、電話の相手先の通信装置からの撮像画像が、通信部１１０により受信されると、電話部１８９は、当該撮像画像を相手側撮像画像８１として利用する。

また、ボタン画像６３は、電話を終了させるための画像である。例えば、ユーザが、ボタン画像８３の位置を指定すると、電話部１８９は、通話を終了させる。より具体的には、例えば、ユーザがボタン画像８３をタッチし、ボタン画像８３に対応するタッチ位置が検出されると、電話部１８９は、セッションの切断を含む電話終了用のシーケンスを実行する。また、例えば、電話部１８９は、表示モードを会話モードから俯瞰モードに切り替える。

自分側撮像画像８５は、撮像部１３０により提供される撮像画像である。

−表示モードの遷移−
ここでは、表示画面の表示モードの遷移、すなわち、俯瞰モード、近接モード及び会話モードの遷移の具体例を、図１３を参照して説明する。図１３は、表示モードの遷移の一例を説明するための遷移図である。図１３を参照すると、例えばソフトウェアの起動時において、カメラ１１、マイクロフォン１３、センサ１５、情報管理サーバ２００等との接続処理が行われると、表示モードは、俯瞰モード３０１になる（ＥＮＴＲＹ）。

俯瞰モード３０１では、俯瞰モード処理が実行される（ＤＯ）。そして、ユーザが、俯瞰撮像画像６１の位置を指定すると、モード変更処理が行われ（ＥＸＩＴ）、表示モードは、俯瞰モード３０１から近接モード３０３に切り替わる。モード変更処理は、カメラ１１のズーム処理を含む（ＥＮＴＲＹ）。

近接モード３０３では、近接モード処理が実行される（ＤＯ）。そして、ユーザが、近接撮像画像７１のうちの人物が写っている位置を指定すると、モード変更処理が行われ（ＥＸＩＴ）、表示モードは、近接モード３０３から会話モード３０５に切り替わる。この場合のモード変更処理は、通話のための処理を含む（ＥＮＴＲＹ）。また、ユーザが、ボタン画像７３の位置を指定すると、モード変更処理が行われ（ＥＸＩＴ）、表示モードは、近接モード３０３から俯瞰モード３０１に切り替わる。この場合のモード変更処理は、上述した接続処理を含む（ＥＮＴＲＹ）。

会話モード３０５では、会話モード処理が実行される（ＤＯ）。また、ユーザが、ボタン画像８３をタッチすると、モード変更処理が行われ（ＥＸＩＴ）、表示モードは、会話モード３０５から俯瞰モード３０１に切り替わる。この場合のモード変更処理は、上述した接続処理を含む（ＥＮＴＲＹ）。

−表示モードに応じた撮像画像-
上述したように、例えば、実空間情報提供部１８１は、第１の表示モード（例えば、俯瞰モード）では、実空間の第１の領域が撮像された第１の撮像画像（例えば、俯瞰撮像画像６１）を表示部１５０に表示させる。また、実空間情報提供部１８１は、第２の表示モード（例えば、近接モード）では、上記第１の領域よりも狭い第２の領域が撮像された第２の撮像画像（例えば、近接撮像画像７１）を表示部１５０に表示させる。そして、上述した例では、実空間の第１の領域が撮像された第１の撮像画像は、第１のズーム率に対応する撮像画像であり、上記第１の領域よりも狭い第２の領域が撮像された第２の撮像画像は、上記第１のズーム率よりも大きい第２のズーム率に対応する撮像画像である。しかしながら、本実施形態においては、上記第１の撮像画像及び上記第２の撮像画像はこれに限られない。

例えば、実空間情報提供部１８１は、俯瞰モードの際には、センタオフィス１０の広い領域を撮像するカメラ１１を選択し、当該カメラ１１の撮像画像を俯瞰撮像画像６１として取得する。そして、実空間情報提供部１８１は、近接モードの際には、センタオフィス１０のより狭い領域を撮像するカメラ１１（例えば、より前方にあるカメラ）を選択し、選択されたカメラ１１の撮像画像を近接撮像画像７１として取得する。

これにより、カメラ１１の配置によっては、カメラ１１により取得された撮像画像により、より容易に人物の位置を指定しやすくなる。このような場合には、カメラ１１にズームを要求しなくてもよいことがある。その結果、この場合、例えば、光学ズーム又はドリーによるズームを要求する場合のように、個別の複数の端末装置１００からの同一のカメラ１１に対する要求が競合し、いずれかの端末装置１００に待ち状態が生じるようなこともない。また、この場合には、例えば、デジタルズームを用いる場合のように、処理量が増大するようなこともない。

−より自由な条件での撮像により生成される撮像画像−
また、上述した例では、表示モードが切り替えられる例を説明したが、本実施形態においては、表示画面はこれに限られない。例えば、表示モードの切り替えの代わりに、より自由な条件での撮像により撮像画像が取得され、当該撮像画像を含む表示画面が表示されてもよい。例えば、実空間の撮像画像は、複数のズーム率のうちの選択されたズーム率に対応する撮像画像であってもよい。この場合に、例えば、実空間情報提供部１８１は、入力部１２０を介してユーザにより指定されるズーム率を、通信部１１０を介してカメラ１１に要求する。その結果、カメラ１１は、ズーム率を要求に従って変更し、変更後のズーム率での撮像により生成された撮像画像を端末装置１００に提供する。そして、実空間情報提供部１８１は、表示部１５０に、提供された撮像画像を含む表示画面を表示させる。そして、ユーザは、当該撮像画像内の位置を指定すると、位置取得部１８３は、当該位置を取得する。さらに、位置取得部１８３は、撮像画像内の当該位置をオブジェクト選択部１８５に提供する。これにより、ユーザは、細かいズーム率を指定して、所望の撮像画像を表示することができる。よって、ユーザは、撮像画像を用いて、特定の人物の位置をより指定しやすくなる。

なお、上述したように、ここでのズーム率は、１．５倍、２倍等の精緻な値である必要はなく、被写体が撮像画像に写る大きさの程度を直接的又は間接的に示すものである。例えば、とりわけカメラ１１の位置の変更によるズーム（例えば、ドリーによるズームイン及びズームアウト）が用いられる場合には、ズーム率は、１．５倍、２倍等の精緻な値ではなく、被写体の大きさの程度を直接的に示すもの（例えば、被写体の概ねの大きさの程度を示すパラメータ、等）、又は、被写体の大きさの程度を間接的に示すもの（例えば、レールにおけるカメラ１１の位置等）であってもよい。

（ＣＯＭＭリンク制御部１９３）
ＣＯＭＭリンク制御部１９３は、「ＣＯＭＭリンク」オブジェクトに関する情報を情報管理サーバ２００から受信し、当該ＣＯＭＭリンクの表示の制御等を行う。

ここで、「ＣＯＭＭリンク」オブジェクトとは、本明細書においては、端末装置１００の表示部１５０の画面に提示されるユーザインタフェースの表示要素または入力要素であってもよい。より具体的には、ＣＯＭＭリンクは、端末装置１００の集音部１４０を介して通話を行っている、例えば人物Ｃと人物Ｄに関して、人物Ｃに対応するオブジェクト９１に対応する撮像画像内の位置と、人物Ｄに対応するオブジェクト９１に対応する撮像画像内の位置とを結ぶ「線分」または曲線の「弦」である。当該ＣＯＭＭリンクは、センタオフィス１０に対応する３次元仮想空間９０内に３次元の線分または曲線弦として存在することができる（図１４を用いて後述する）。

なお、上記人物Ｃと上記人物Ｄは実空間上の異なる拠点に存在していても構わず、その場合は、ＣＯＭＭリンクは異なる拠点をそれぞれ撮影した複数の撮像画像間をまたいで表示されても構わない。また、ＣＯＭＭリンクは、一人の人物に対し２以上同時に存在してもよく、例えば、三者通話の場合は人物Ｌ、人物Ｍ、人物Ｎに対応する３つの位置をたとえば三角形の３辺状につなぐ３本のＣＯＭＭリンクが存在し表示されても構わない。さらに、ユーザが、三角形やそれ以上の頂点を有する多角形を構成するＣＯＭＭリンクの内部領域の一部を指定することで、多角形等を構成する複数のＣＯＭＭリンクの端に位置する複数のオブジェクト９１のすべてを指定できるようにしてもよい（このような表示例としては、後述する図１６が挙げられる）。なお、当該多角形のＣＯＭＭリンクにおいては、同一の多角形を構成する複数の辺が、互いに交差しないように構成されていることが好ましい。

なお、ＣＯＭＭリンクの基礎となる会話行動（通話動作）は、端末装置１００の集音部１４０を介したものでなくてもよい。例えば、後述する情報管理サーバ２００は、本実施形態に係る情報処理システムが備える複数のマイクロフォン１３のパラメータとして各マイクロフォン１３の設置位置や集音方向に関する情報を記録し更新してもよい。この場合、情報管理サーバ２００は、上記会話行動（通話動作）の話者である人物のオブジェクト９１の位置情報から最も近い位置に設置されたマイクロフォン１３から集音された音声データを利用し、前述のＣＯＭＭリンクや後述するＣＯＭＭワード（発言語句オブジェクト）の生成や管理に係る処理を行ってもよい。

ＣＯＭＭリンクは、ＣＯＭＭリンク制御部１９３により表示部１５０が制御されることにより、端末装置１００の表示部１５０の画面上、例えば図４の俯瞰撮像画像６１上やマップ画像６９上に射影して重畳表示される（図１５を用いて後述する）。端末装置１００の表示画面を見たユーザは、実空間の写像画像上に表示されたＣＯＭＭリンクを視認することで、分散環境にいる複数の遠隔地の誰と誰とが通話状態にあるかを直感的に把握することができる。さらに、会話（通話）という音声情報ベースの行為がＣＯＭＭリンクにより可視化されることで、たとえば遠隔地の音声データを取得・出力できず画像データのみの遠隔通信にメディア情報共有が制限される場合でも、ユーザは、ＣＯＭＭリンクが表示された端末装置１００の表示画面を見て遠隔地での会話行為の発生を知ることができる。

以下に、ＣＯＭＭリンク８６の一例を、図１４を参照して説明する。図１４は、センタオフィス１０に対応する３次元仮想空間９０内におけるＣＯＭＭリンク８６の一例を説明するための説明図である。この３次元仮想空間９０に関するデータは、先に説明したように、情報管理サーバ２００が管理している。図１４においては、センタオフィス１０に対応する３次元仮想空間９０が示されている。また、当該３次元仮想空間９０には、オブジェクト９１Ｃ及びオブジェクト９１Ｄが配置されている。オブジェクト９１Ｃは、たとえば人物Ｃに対応し、センタオフィス１０内の人物Ｃの座席の位置に対応する３次元仮想位置に配置される。また、オブジェクト９１Ｄは、たとえば人物Ｄに対応し、センタオフィス１０内の人物Ｄの座席の位置に対応する３次元仮想位置に配置される。図８や図１０の例と同様に、これらオブジェクト９１は、たとえば半径Ｒ及び高さＨを伴う円柱状のオブジェクトである。また、図１４においては、オブジェクト９１Ｃおよびオブジェクト９１Ｄそれぞれの３次元重心位置９２Ｃおよび９２Ｄも示されている。なお、本実施形態においては、３次元重心位置９２Ｃおよび９２Ｄは、幾何学的な３次元の重心位置でなくてもよく、それぞれオブジェクト９１の３次元形状内に含まれている位置（点）であればよく、例えばオブジェクト９１の上面中心位置であってもよい。また、図１４には、上記３次元重心位置９２Ｃと９２Ｄを両端とする線分状のＣＯＭＭリンク８６が示されている。このようにＣＯＭＭリンク８６はオブジェクトの一種として３次元仮想空間９０内に位置や形状等の情報を有することができる。なお、ＣＯＭＭリンク８６の生成については、後述する。

そして、前述のように、ＣＯＭＭリンク８６は通話中状態である端末装置１００のユーザである人物のオブジェクト９１間をつなぐオブジェクトであるため、当該ＣＯＭＭリンク８６は、その線分の両端に位置する、最低２以上のオブジェクト９１とそれに対応する通信用ＩＤのデータと紐づく。たとえば、図１４におけるＣＯＭＭリンク８６を、後述するような入力方法でユーザが指定すると、当該ユーザの端末装置１００は、ＣＯＭＭリンク８６の両端の位置にあるオブジェクト９１Ｃおよびオブジェクト９１Ｄの通信用ＩＤの情報を取得することができる。これにより、当該ユーザの端末装置１００は、例えば、当該ユーザのＣＯＭＭリンク８６というひとつのオブジェクトを指定する１操作に基づいて、オブジェクト９１Ｃとオブジェクト９１Ｄという異なる位置にある２つのオブジェクト９１を同時に選択することができる。さらに、当該ユーザの端末装置１００は、上述の２つのオブジェクト９１に対応する人物Ｃと人物Ｄそれぞれの通信用ＩＤを利用して、人物Ｃと人物Ｄ（に対応する端末装置１００）にアクセスすることができる。すなわち、ユーザは、二者通話中の人物Ｃと人物Ｄに対して、両者をつなぐＣＯＭＭリンク８６を指定する１操作を行うことにより、当該二者通話に参加することができ、容易に、人物Ｃ及び人物Ｄとの三者通話を行うことができる。

また、実空間上で三者通話と二者通話との２つの通話が存在する場合に、三者通話を示す三角形状のＣＯＭＭリンクを、二者通話の一方の話者が指定した場合には、三者通話のＣＯＭＭリンクを指定した話者のみが三者通話に参加するようにしてもよく、もしくは、二者通話の両方の話者が、三者通話に参加するようにしてもよい。さらに、三者通話のＣＯＭＭリンクを指定した話者のみが三者通話に参加した後に、三者通話の複数の話者が許可した場合に、二者通話の残りの話者が三者通話に参加してもよい。

（ＣＯＭＭワード制御部１９５）
ＣＯＭＭワード制御部１９５は、後述する「ＣＯＭＭワード」オブジェクトに関する情報を情報管理サーバ２００から受信し、ＣＯＭＭワードの表示の制御を行う。また、ＣＯＭＭワード制御部１９５は、通信部１１０に、集音部１４０により提供される音声データを情報管理サーバ２００へ送信させる。この時、ＣＯＭＭワード制御部１９５は、送信する音声データに、音声を発した人物に対応する通信用ＩＤのデータを付与して送信してもよい。当該通信用ＩＤを特定する処理は、端末装置１００が、当該端末装置１００のユーザとしてあらかじめ登録された人物に対応する通信用ＩＤを選択したり、音声認識サーバ２０１が話者認識処理を行い音声データから発話人物を特定したりすることで実施してもよい。

ここで、「ＣＯＭＭワード」オブジェクトとは、本明細書においては、端末装置１００の表示部１５０の画面に提示されるユーザインタフェースの表示要素であってもよい。より具体的には、ＣＯＭＭワードは、端末装置１００を介した通話内容の要部が音声認識処理で抽出され、可視化処理されて前述のＣＯＭＭリンク８６の近傍位置に表示されるオブジェクトであってもよい。たとえば、人物Ｃと人物Ｄがそれぞれ端末装置１００Ｃと端末装置１００Ｄを介して二者通話を行っている。この時、端末装置１００Ｃと１００Ｄからそれぞれ入力された人物Ｃと人物Ｄの音声データは、端末装置１００Ｃと１００Ｄのそれぞれの通信用ＩＤのデータを付与されて情報管理サーバ２００へ送信される。情報管理サーバ２００は受信した音声データを音声認識サーバ２０１へ送信し、音声認識サーバ２０１からその認識結果となる語句データを受信して、認識結果にあたる語句データを端末装置１００Ｃと端末装置１００Ｄへ送信する。なお、情報管理サーバ２００及び音声認識サーバ２０１での処理の詳細については後述する。また、当該ＣＯＭＭワードは、ＣＯＭＭワード制御部１９５により表示部１５０が制御されることにより、端末装置１００の表示部１５０の画面上、たとえば図４の俯瞰撮像画像６１上やマップ画像６９上で、前述の対応するＣＯＭＭリンク８６の近傍位置に重畳表示される（図１５参照）。なお、「ＣＯＭＭワード」オブジェクトは、前述の「ＣＯＭＭリンク」オブジェクト同様、３次元仮想空間９０内において位置や形状（体積）を有するデータであってもよく、そのデータは情報管理サーバ２００によって管理されていてもよい。さらに、その際、「ＣＯＭＭワード」オブジェクトは、３次元仮想空間９０内において、対応する「ＣＯＭＭリンク」オブジェクトに空間的に近接するまたは近傍の位置に設定されてもよく、当該設定は情報管理サーバ２００によって行われても構わない。

以下に、ＣＯＭＭワード８７の一例を、図１５を参照して説明する。図１５は、端末装置１００の表示画面５０に表示されるＣＯＭＭリンク８６およびＣＯＭＭワード８７の一例を説明するための説明図である。図１５においては、俯瞰モードまたは近接モードで表示される表示画面５０が示されている。表示画面５０は、撮像画像５１Ａ、５１Ｂ、５１Ｚ、マップ画像６９Ａ、６９Ｂ、６９Ｚ、人物Ｃ、Ｄ、Ｅ、Ｆの人物画像７７Ｃ、７７Ｄ、７７Ｅ、７７Ｆ、人物Ｃ、Ｄ、Ｅ、Ｆのプレゼンスアイコン７９Ｃ、７９Ｄ、７９Ｅ、７９Ｆ、射影して重畳表示されたＣＯＭＭリンク８６Ｇ２、８６Ｇ３、８６Ｈ２、８６Ｈ３、及びＣＯＭＭワード８７Ｉ、８７Ｊ、８７Ｋ、８７Ｌを含む。撮像画像５１Ａ、５１Ｂ、５１Ｚは、分散環境における拠点Ａ、Ｂ、Ｚ（たとえば、東京、大阪、沖縄）をそれぞれ俯瞰的に撮影した画像であり、マップ画像６９Ａ、６９Ｂ、６９Ｚは撮像画像５１Ａ、５１Ｂ、５１Ｃ内の各種オブジェクトの位置関係を２次元的に表現したたとえば平面図である。なお、撮像画像５１とマップ画像６９とは、表示画面５０上にどちらか一方だけが表示されていてもよい。

例えば、拠点Ａの人物Ｃと拠点Ａの人物Ｄが自席にある端末装置１００Ｃと１００Ｄとで二者通話を始めると、撮像画像５１Ａ上の人物画像７７Ｃと７７Ｄとの間に、ＣＯＭＭリンク８６Ｇ３、マップ画像６９Ａ上のプレゼンスアイコン７９Ｃと７９Ｄ上に、ＣＯＭＭリンク８６Ｇ２、さらにその近傍位置にＣＯＭＭワード８７Ｉ、８７Ｊ、８７Ｋが表示される。なお、撮像画像５１Ａ上の人物画像７７Ｃと７７Ｄとは、それぞれ人物Ｃ及び人物Ｄに対応し、マップ画像６９Ａ上のプレゼンスアイコン７９Ｃと７９Ｄとは、それぞれ人物Ｃ及び人物Ｄに対応する。また、拠点Ａの人物Ｅと拠点Ｂの人物Ｆが自席にある端末装置１００Ｅと１００Ｆとで二者通話を始めると、撮像画像５１Ａ上の人物画像７７Ｅと撮像画像５１Ｂ上の人物画像７７ＦにまたがってＣＯＭＭリンク８６Ｈ３、マップ画像６９Ａ上のプレゼンスアイコン７９Ｅとマップ画像６９Ｂ上のプレゼンスアイコン７９ＦにまたがってＣＯＭＭリンク８６Ｈ２が表示される。なお、撮像画像５１Ａ上の人物画像７７Ｅと７７Ｆとは、それぞれ人物Ｅ及び人物Ｆに対応し、マップ画像６９Ａ上のプレゼンスアイコン７９Ｅと７９Ｆとは、それぞれ人物Ｅ及び人物Ｆに対応する。

そして、端末装置１００Ｕのユーザが表示画面５０上のＣＯＭＭリンク８６Ｇ３またはＣＯＭＭリンク８６Ｇ２をタッチ入力して指定すると、当該ユーザは人物Ｃと人物Ｄの二者会話に参加することができる。また、端末装置１００Ｕのユーザが表示画面５０上のＣＯＭＭリンク８６Ｈ３またはＣＯＭＭリンク８６Ｈ２をタッチ入力して指定すると、当該ユーザは人物Ｅと人物Ｆの二者会話に参加することができる。

図１５では、ＣＯＭＭリンク８６Ｇ３またはＣＯＭＭリンク８６Ｇ２の近傍位置に、ＣＯＭＭワード８７Ｉ、８７Ｊ、８７Ｋが表示されている。ここで、ＣＯＭＭワード８７は、先に説明したように、端末装置１００を介した通話内容の要部が音声認識処理で抽出され、可視化処理されて表示されるオブジェクトである。例えば、図１５においては、ＣＯＭＭワード８７は、後述する統計的重み付け処理による重みが反映されるように表示される（当該重み付け処理は、後述する情報管理サーバ２００で行われ、当該重み付け処理の結果は端末装置１００等へ配信される。詳細については後述する）。例えば、図１５においては、ＣＯＭＭワード８７Ｉの語句「会議」は、ＣＯＭＭワード８７Ｊの語句「中止」やＣＯＭＭワード８７Ｋの語句の「開催」等より大きなサイズで表示されている。この図１５のＣＯＭＭワードの表示は、統計的重み付け処理による重みを反映した表示であり、例えば重みの基になる指標が話者の発言回数である場合には、「会議」という語句はその他の語句「中止」等よりも多くの回数で話者によって発言され、通話内に多く出現していることを示す。このように、ＣＯＭＭワード８７が、統計的重み付け処理による重みが反映されるように表示されことにより、表示画面５０を見ているユーザにも直感的に会話の要部を理解することができる。

さらに、ＣＯＭＭワード８７の位置について説明すると、ＣＯＭＭワード８７Ｉの語句「会議」は対応するＣＯＭＭリンク８６Ｇの中央付近に位置している。それに対し、ＣＯＭＭワード８７Ｊの語句「中止」等は、ＣＯＭＭリンク８６Ｇに紐づけられた人物Ｃの人物画像７７Ｃの付近の位置に、ＣＯＭＭワード８７Ｋの語句「開催」等は、ＣＯＭＭリンク８６Ｇに紐づけられた人物Ｄの人物画像７７Ｄの付近の位置に表示されている。これは、ＣＯＭＭリンク８６Ｇに対応する二者通話を行っている人物Ｃと人物Ｄのどちらがどのような語句を多く発言しているかという会話の発言状況を、位置（ＣＯＭＭリンク８６の端のオブジェクト９１からの距離と同義）というパラメータに変換して可視化処理した結果である。例えば、ＣＯＭＭワード８７Ｉの語句「会議」は、ＣＯＭＭリンク８６の中央付近に位置しているので、人物Ｃも人物Ｄも同じくらいの回数で発言していることを表す。一方で、ＣＯＭＭワード８７Ｊの語句「中止」は、人物Ｃの人物画像７７Ｃの付近に位置していることから、人物Ｃが多く発言しており、ＣＯＭＭワード８７Ｋの語句「開催」は、人物Ｄの人物画像７７Ｄの付近に位置していることから、人物Ｄが多く発言している語句であることを表す。なお、上記の各ＣＯＭＭワード８７とオブジェクト９１（すなわち対応する語句の発言者のオブジェクト）との位置関係は、表示部１５０での表示上だけでなく、３次元仮想空間９０においても同様の位置または同様の距離の関係であってもよい（例えば、ＣＯＭＭワード８７Ｊは、３次元仮想空間９０においても、人物Ｃの人物画像７７Ｃに対応するオブジェクト９１Ｃの近傍に位置していてもよい）。

このように、本実施形態においては、ＣＯＭＭワード制御部１９５が行う、上記の統計的重み付けや発言状況を反映した可視化処理を行い、通話内容の要部をＣＯＭＭワード８７として表示する。従って、本実施形態によれば、遠隔地にいて会話の音声が聞こえないようなユーザでも、ＣＯＭＭワード８７が表示された画面を見ることより、会話内容の大まかな把握を行うことが可能となる。例えば、図１５の例においては、遠隔地のユーザは、ＣＯＭＭワード８７が表示された画面を見ることにより、人物Ｃと人物Ｄは明日の会議の開催可否をテーマにした会話を行っており、人物Ｃは会議の中止や延期を主張している一方、人物Ｄは同会議を開催すべきだと主張している、というような、会話内容を把握することができる。そして、当該ユーザが、会話内容の大まかな把握を行った後に、当該会話内容に関心が生じたら、前述のＣＯＭＭリンク８６に対する簡便な指定操作によって、スムーズに当該会話に参加することができる。すなわち、同一環境下にいる場合と同じように、ユーザは、二者会話にスムーズに参加することができる。

なお、ＣＯＭＭワード制御部１９５は、ＣＯＭＭワード８７の表示の際に、上記通話に含まれるすべての語句データを表示しなくてもよい。例えば、ＣＯＭＭワード制御部１９５は、上記重み付けにおける重みの値と所定の閾値（所定の値）とを比較し、当該重みの値が所定の閾値以上であった語句のみ、端末装置１００の表示画面に表示されるように制御しても構わない。このようにすることで、ＣＯＭＭワード８７として、会話における重要度が高い語句のみが「精選」されて表示されることとなる。また、この時、重み付き語句データのＣＯＭＭワード８７に対応するＣＯＭＭリンク８６についても、表示の制御がなされてもよい。さらに、ＣＯＭＭワード制御部１９５は、重みの値に基づいて、ＣＯＭＭワード８７の表示を制御してもよい。具体的には、ＣＯＭＭワード制御部１９５は、重みの値に基づいて、ＣＯＭＭワード８７の表示の大きさ、色、当該表示が重畳される画面とのコントラスト、表示する位置等を制御してもよい。

図１６は、端末装置１００の表示画面５５に表示されるＣＯＭＭリンク８６およびＣＯＭＭワード８７の別の一例を説明するための説明図である。図１６においては、俯瞰モードまたは近接モードで表示される表示画面５５が示されている。まず、拠点Ａの人物Ｃと拠点Ｂの人物Ｆが自席にある端末装置１００Ｃと１００Ｆとで二者通話を始めると、人物Ｃと人物Ｆの人物画像間にＣＯＭＭリンク８６およびＣＯＭＭワード８７が表示される。さらに、拠点Ａの人物Ｄが上記ＣＯＭＭリンク８６を指定操作し、ＣＯＭＭリンク８６に対応する会話に参加し、三者通話に移行すると、人物Ｃと人物Ｄ、および、人物Ｆと人物Ｄの人物画像間にＣＯＭＭリンク８６およびＣＯＭＭワード８７が表示される。その結果、例えば、人物Ｃ、人物Ｄ及び人物Ｆをつなぐ三角形状のＣＯＭＭリンク８６Ｍ３及びＣＯＭＭリンク８６Ｍ２が表示される。この場合、さらに別の人物Ｅが上記三者通話に参入して四者通話に移行するためには、例えば、人物Ｅが、三角形状のＣＯＭＭリンク８６Ｍ２のいずれか一辺に該当する位置、または、当該三角形の内部領域の一部に該当する位置を指定する操作を行えばよい。

＜１．２．３ソフトウェア構成＞
次に、本実施形態に係る端末装置１００のソフトウェア構成の一例を説明する。図１７は、本実施形態に係る端末装置１００のソフトウェア構成の一例を示すブロック図である。図１７を参照すると、端末装置１００は、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）８４０及び複数のアプリケーションソフトウェアを有する。そして、端末装置１００は、アプリケーションソフトウェアとして、ソフトフォン８５１、超臨場感クライアント８５３及び電話発信制御機能８５５を含む。

（ＯＳ８４０）
ＯＳ８４０は、端末装置１００を動作させるための基本的な機能を提供するソフトウェアである。ＯＳ８４０は、各アプリケーションソフトウェアを実行する。

（ソフトフォン８５１）
ソフトフォン８５１は、端末装置１００を用いて電話を行うためのアプリケーションソフトウェアである。電話部１８９は、例えば、ソフトフォン８５１により実現され得る。

（超臨場感クライアント８５３）
超臨場感クライアント８５３は、実空間の情報を端末装置１００に提供するためのアプリケーションソフトウェアである。超臨場感クライアント８５３は、実空間（例えば、センタオフィス１０）にいる人物の状態を示す状態情報を取得し、ＯＳを介してソフトフォン８５１に提供してもよい。そして、ソフトフォン８５１は、当該状態情報に基づいて、電話発信を制御してもよい。なお、実空間情報提供部１８１は、例えば、超臨場感クライアント８５３により実現され得る。

（電話発信制御機能８５５）
また、電話発信制御機能８５５は、表示画面内の撮像画像に写っている人物の通信装置の通信用ＩＤを取得するアプリケーションソフトウェアである。電話発信制御機能８５５は、通信用ＩＤを取得すると、ＯＳ８４０を介してソフトフォン８５１に提供する。そして、ソフトフォン８５１は、当該通信用ＩＤを用いて、電話発信を行う。なお、位置取得部１８３、オブジェクト選択部１８５及びＩＤ取得部１８７は、電話発信制御機能８５５により実現され得る。

＜１．３情報管理サーバの構成＞
続いて、図１８及び図１９を参照して、本実施形態に係る情報管理サーバ２００の構成の一例を説明する。情報管理サーバ２００は、先に説明したように、本実施形態に係る情報処理システムにおいて用いられる様々な情報を管理する。

＜１．３．１ハードウェア構成＞
まず、図１８を参照して、本実施形態に係る情報管理サーバ２００のハードウェア構成の一例を説明する。図１８は、本実施形態に係る情報管理サーバ２００のハードウェア構成の一例を示すブロック図である。図１８を参照すると、情報管理サーバ２００は、ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５、バス９０７、記憶装置９０９及び通信インターフェース９１１を有する。

（ＣＰＵ９０１、ＲＯＭ９０３、ＲＡＭ９０５）
ＣＰＵ９０１は、情報管理サーバ２００における様々な処理を実行する。また、ＲＯＭ９０３は、情報管理サーバ２００における処理をＣＰＵ９０１に実行させるためのプログラム及びデータを記憶する。さらに、ＲＡＭ９０５は、ＣＰＵ９０１の処理の実行時に、プログラム及びデータを一時的に記憶する。

（バス９０７）
バス９０７は、ＣＰＵ９０１、ＲＯＭ９０３及びＲＡＭを相互に接続する。バス９０７には、さらに、記憶装置９０９及び通信インターフェース９１１が接続される。バス９０７は、例えば、複数の種類のバスを含む。一例として、バス９０７は、ＣＰＵ９０１、ＲＯＭ９０３及びＲＡＭ９０５を接続する高速バスと、当該高速バスよりも低速の１つ以上の別のバスを含んでもよい。

（記憶装置９０９）
記憶装置９０９は、情報管理サーバ２００内で一時的又は恒久的に保存すべきデータを記憶する。記憶装置９０９は、例えば、ハードディスク等の磁気記憶装置であってもよく、又は、ＥＥＰＲＯＭ、フラッシュメモリ、ＭＲＡＭ、ＦｅＲＡＭ及びＰＲＡＭ等の不揮発性メモリであってもよい。

（通信インターフェース９１１）
通信インターフェース９１１は、情報管理サーバ２００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信インターフェース９１１は、無線通信用のインターフェースであってもよく、この場合には、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インターフェース９１１は、有線通信用のインターフェースであってもよく、この場合には、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

＜１．３．２機能構成＞
次に、本実施形態に係る情報管理サーバ２００の機能構成の一例を説明する。図１９は、本実施形態に係る情報管理サーバ２００の機能構成の一例を示すブロック図である。図１９を参照すると、情報管理サーバ２００は、通信部２１０、記憶部２２０及び制御部２３０を有する。

（通信部２１０）
通信部２１０は、他の装置と通信する。例えば、通信部２１０は、ＬＡＮ１９に直接的に接続され、センタオフィス１０内の各装置と通信する。具体的には、例えば、通信部２１０は、カメラ１１、マイクロフォン１３、センサ１５、メディア配信サーバ１７及び音声認識サーバ２０１と通信する。また、通信部２１０は、外部ネットワーク３０及びＬＡＮ２３を介して、サテライトオフィス２０内の各装置と通信する。具体的には、例えば、通信部２１０は、端末装置１００及びディスプレイ２１と通信する。なお、通信部２１０は、例えば、通信インターフェース９１１により実現され得る。

（記憶部２２０）
記憶部２２０は、情報管理サーバ２００の動作のためのプログラム及びデータを記憶する。とりわけ本実施形態では、記憶部２２０は、情報処理システムにおいて用いられる様々な情報を記憶する。

第１の例として、記憶部２２０は、カメラ１１、マイクロフォン１３及びセンサ１５に関するパラメータを記憶する。当該パラメータの具体的な内容は、上述したとおりである。第２の例として、記憶部２２０は、実空間に対応する３次元仮想空間９０のデータを記憶する。当該３次元仮想空間９０は、例えば、センタオフィス１０を模した３次元仮想空間である。当該３次元仮想空間９０の具体的な内容は、上述したとおりである。第３の例として、記憶部２２０は、人物関連情報を記憶する。当該人物関連情報は、例えば、センタオフィス１０にいる人物の人物関連情報である。なお、当該人物関連情報の具体的な内容は、上述したとおりである。第４の例として、記憶部２２０は、３次元仮想空間に配置されるオブジェクト９１のオブジェクトＩＤと通信用ＩＤとを、互いに対応付けて記憶する。なお、当該オブジェクトＩＤ及び通信用ＩＤの具体的な内容は、上述したとおりである。

（制御部２３０）
制御部２３０は、情報管理サーバ２００の様々な機能を提供する。制御部２３０は、ＣＯＭＭリンク配信部（会話イベントオブジェクト配信部）２３１、抽出語句データ管理部２３２、重み付け演算部（重み付け処理部）２３３、ＣＯＭＭワード配信部（発言語句オブジェクト配信部）２３４、及び発言状況演算部２３５を含む。制御部２３０は、例えば、要求に応じて、情報処理システムにおいて用いられる様々な情報を提供する。具体的には、制御部２３０は、端末装置１００による要求に応じて、３次元仮想空間９０のデータ、人物関連情報、オブジェクトＩＤに対応する通信用ＩＤ、並びに、カメラ１１、マイクロフォン１３及びセンサ１５に関するパラメータ等を提供する。また、例えば、制御部２３０は、本実施形態に係る情報処理システムにおいて用いられる様々な情報を適宜更新してもよい。制御部２３０は、自動で、又は手動による指示に応じて、当該情報を更新する。

（ＣＯＭＭリンク配信部２３１）
ＣＯＭＭリンク配信部２３１は、ＣＯＭＭリンク８６を生成するための情報を端末装置１００等からから受信し、当該ＣＯＭＭリンク８６の位置とサイズに関する演算、ＣＯＭＭリンク８６の配信、ＣＯＭＭリンク８６へのユーザ入力データの取得、を行う。詳細には、ＣＯＭＭリンク配信部２３１は、端末装置１００からＣＯＭＭリンク８６の基礎となる会話行動（通話動作）を通信部２１０を介して受信する。そして、ＣＯＭＭリンク配信部２３１は、当該端末装置１００からの情報に基づいて、先に説明した３次元仮想空間９０を用いて当該端末装置１００を利用する話者に係るオブジェクト９１を取得し、これらオブジェクト９１をつなぐＣＯＭＭリンク８６に係るデータを生成し、配信する。詳細には、ＣＯＭＭリンク配信部２３１は、先に説明したように、予め記憶部２２０に記憶された実空間に対応する３次元仮想空間９０上における複数の人物のオブジェクト９１を参照し、当該端末装置１００から得られた会話行動の情報に基づき、当該会話行動に係る話者のオブジェクト９１を選択する。そして、選択したオブジェクト９１を結びつけるＣＯＭＭリンクを３次元仮想空間９０上に生成する。

さらに、ＣＯＭＭリンク配信部２３１は、生成したＣＯＭＭリンク８６に係るデータを記憶部２２０に記憶させる。この時、ＣＯＭＭリンク配信部２３１は、ＣＯＭＭリンク８６に識別用のＩＤを付与して記憶部２２０に記憶し情報管理を行ってもよい。さらに、ＣＯＭＭリンク配信部２３１は、当該ＣＯＭＭリンク８６に付与したＩＤと、ＣＯＭＭリンク８６に対応する２以上の話者のオブジェクトＩＤ（通信用ＩＤ（通信用識別情報））とを対応づけて記憶部２２０に記憶することにより、ＣＯＮＮリンク８６に２以上の話者のオブジェクトＩＤを紐づけて管理してもよい。なお、ＣＯＭＭリンク配信部２３１は、上記会話行動（通話動作）の話者である人物の位置情報については、３次元仮想空間９０上のオブジェクト９１のデータを用いず、情報管理サーバ２００が複数のマイクロフォン１３の集音データから音源推定処理を行うことにより、位置を推定して求めてもよい。

また、ＣＯＭＭリンク配信部は、生成したＣＯＭＭリンク８６に対するユーザからの入力操作を通信部２１０を介して受信した場合には、ＣＯＭＭリンク８６に、当該ユーザのオブジェクトＩＤを関連付ける。このようにすることで、ＣＯＭＭリンク８６に対応する２以上の話者のオブジェクトＩＤが、当該ユーザのオブジェクトＩＤと関連付けられる。そして、本実施形態においては、１つのＣＯＭＭリンク８６に関連付けられたオブジェクトＩＤを参照して制御を行うことにより、新たに当該ユーザが加わった通話を開始することができる。

（抽出語句データ管理部２３２）
抽出語句データ管理部２３２は、端末装置１００の通信部１１０から受信した音声データを取得し、音声認識サーバ２０１へ送信する。そして、抽出語句データ管理部２３２は、音声認識サーバ２０１から認識結果の語句データを受信し、当該語句の発言者の識別情報と対応させて管理する。なお、例えば、抽出語句データ管理部２３２は、語句に関するデータや当該語句の発言者の識別情報は記憶部２２０に記憶させてもよい。

（重み付け演算部２３３）
重み付け演算部２３３は、抽出語句データ管理部２３２が管理する語句データを分析し、統計的な重み付け処理を行う。当該重み付けのための指標としては、たとえば、語句の会話における出現頻度（回数）（例えば、出現頻度が高いほど重みを大きくする）、語句の抽象度（例えば、具体性が高いほど重みを大きくする。具体的には、「料理」よりも、「フランス料理」という語句の方が具体性が高いこととなり、「フランス料理」よりも「ブッフブルキニョン（ブルゴーニュ風牛肉の赤ワイン煮）」の方がより具体性が高いこととなる。なお、抽象度を示す値は、例えば、抽出された語句とともに、音声認識サーバ２０１から供給される。）、語句の品詞カテゴリ（例えば、動詞よりも名詞の重みを大きくする）等の指標を用いる。また、端末装置１００が、集音部１４０と電話部１８９とを用いて、音声データの取得時に当該音声データとともに通話音声（語句の発話）の音圧のデータも取得して情報管理サーバ２００へ送信し、重み付け演算部２３３は、当該音圧データを重み付けのための指標として用いてもよい（例えば、大きな音圧レベルで発せられた語句ほど重みを大きくする）。

（ＣＯＭＭワード配信部２３４）
ＣＯＭＭワード配信部２３４は、抽出語句データ管理部２３２、重み付け演算部２３３、後述する発言状況演算部２３５から取得した、語句を含む語句データを用いて、当該語句を含むＣＯＭＭワード８７を生成し、ＣＯＭＭワード８７に係るデータを配信する。この際、ＣＯＭＭワード配信部２３４は、生成したＣＯＭＭワード８７には、当該ＣＯＭＭワードに含まれる語句の発言者の識別情報が紐づける。また、ＣＯＭＭワード配信部２３４は、生成したＣＯＭＭワード８７を記憶部２２０に記憶させてもよい。さらに、ＣＯＭＭワード配信部２３４は、重み付け演算部２３３による重みづけ処理の結果に応じて、配信してもよい。より具体的には、ＣＯＭＭワード配信部２３４は、重みづけ処理の結果（重みの値）と所定の閾値（所定の値）とを比較し、比較結果に基づいて、生成したＣＯＭＭワード８７を配信してもよい。この場合、ＣＯＭＭワード配信部２３４は、ＣＯＭＭワード８７に紐づけて重みづけ処理の結果のデータを配信してもよい。さらに、ＣＯＭＭワード配信部２３４は、後述する発言状況演算部２３５に算出されたＣＯＭＭワード８７の位置情報をともに配信してもよい。

（発言状況演算部２３５）
発言状況演算部２３５は、抽出語句データ管理部２３２が管理する語句データと、当該語句データに対応する識別情報データとを分析し、当該語句データが二者通話内の仮想的な場において、どのような位置（各発話者からの仮想的な距離）に存在するかを算出する。発言状況演算部２３５は、ＣＯＭＭリンク８６の３次元仮想空間９０内における位置と、ＣＯＭＭリンク８６に対応するＣＯＭＭワード８７の当該ＣＯＭＭリンク８６に対する位置とを算出する。例えば、図１５の例で説明すると、ＣＯＭＭワード８７Ｉの語句「会議」が、人物Ｃも人物Ｄも同じくらいの回数（例えば、人物Ｃが１０回、人物Ｄも１０回）で発言されている場合には、ＣＯＭＭワード８７Ｉ「会議」の位置は、例えば、ＣＯＭＭリンク８６Ｇ上の「中点」となる。一方で、ＣＯＭＭワード８７Ｊの語句「中止」は、人物Ｃが多く発言している（例えば、人物Ｃが５回、人物Ｄは０回）ことから、ＣＯＭＭワード８７Ｊ「中止」の位置は、人物Ｃの近傍となる。さらに、ＣＯＭＭワード８７Ｋの語句「開催」は、人物Ｄが多く発言している（たとえば、人物Ｃが１回、人物Ｄは６回）ことから、ＣＯＭＭワード８７Ｋ「開催」の位置は、人物Ｄの近傍となる。そして、発言状況演算部は、算出した位置をＣＯＭＭワードに紐づけて、ＣＯＭＭワード配信部２３４に供給する。ＣＯＭＭワード配信部２３４は、当該位置情報をＣＯＭＭワード８７とともに、端末装置１００へ配信することから、端末装置１００においては、当該位置情報に基づいて、ＣＯＭＭワード８７が表示されることとなる。

すなわち、制御部２３０は、抽出語句データ管理部２３２、重み付け演算部２３３、発言状況演算部２３５等による情報処理によって、通話中状態の端末装置１００から受信した音声データを、位置情報や重み付けや発言状況を反映した重み付き語句データに変換し、関連する拠点の端末装置１００へと送信する。なお、制御部２３０（ＣＯＭＭワード配信部２３４）は、前記統計的重み付けにおける重みの値が所定の閾値以上であった重み付き語句データのみ、端末装置１００へ配信するようにしてもよい。

＜１．４音声認識サーバの構成＞
続いて、図２０及び図２１を参照して、本実施形態に係る音声認識サーバ２０１の構成の一例を説明する。音声認識サーバ２０１は、先に説明したように、大規模な語句リストのデータを内蔵し、情報管理サーバ２００を介して、端末装置１００やマイクロフォン１３で取得された音声データを受信し、音声データに対して音声認識処理を行って、認識結果のデータを情報管理サーバ２００へと送信する。

＜１．４．１ハードウェア構成＞
図２０を参照して、本実施形態に係る音声認識サーバ２０１のハードウェア構成の一例を説明する。図２０は、本実施形態に係る音声認識サーバ２０１のハードウェア構成の一例を示すブロック図である。図２０を参照すると、音声認識サーバ２０１は、ＣＰＵ７０１、ＲＯＭ７０３、ＲＡＭ７０５、バス７０７、記憶装置７０９及び通信インターフェース７１１を備える。

（ＣＰＵ７０１、ＲＯＭ７０３、ＲＡＭ７０５）
ＣＰＵ７０１は、音声認識サーバ２０１における様々な処理を実行する。また、ＲＯＭ７０３は、音声認識サーバ２０１における処理をＣＰＵ７０１に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ７０５は、ＣＰＵ７０１の処理の実行時に、プログラム及びデータを一時的に記憶する。

（バス７０７）
バス７０７は、ＣＰＵ７０１、ＲＯＭ７０３及びＲＡＭ７０５を相互に接続する。バス７０７には、さらに、記憶装置７０９及び通信インターフェース７１１が接続される。バス７０７は、例えば、複数の種類のバスを含む。

（記憶装置７０９）
記憶装置７０９は、音声認識サーバ２０１内で一時的又は恒久的に保存すべきデータ、例えば、語句データを記憶する。記憶装置７０９は、例えば、ハードディスク等の磁気記憶装置であってもよく、又は、ＥＥＰＲＯＭ、フラッシュメモリ、ＭＲＡＭ、ＦｅＲＡＭ及びＰＲＡＭ等の不揮発性メモリであってもよい。

（通信インターフェース７１１）
通信インターフェース７１１は、音声認識サーバ２０１が備える通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と通信する。通信インターフェース７１１は、無線通信用のインターフェースであってもよく、もしくは、有線通信用のインターフェースであってもよい。

＜１．４．２機能構成＞
次に、本実施形態に係る音声認識サーバ２０１の機能構成の一例を説明する。図２１は、本実施形態に係る音声認識サーバ２０１の機能構成の一例を示すブロック図である。図２１を参照すると、音声認識サーバ２０１は、通信部５１０、記憶部５２０及び制御部５３０を備える。

（通信部５１０）
通信部５１０は、他の装置と通信する。例えば、通信部５１０は、ＬＡＮ１９に直接的に接続され、センタオフィス１０内の各装置と通信する。具体的には、例えば、通信部５１０は、マイクロフォン１３及び情報管理サーバ２００と通信する。また、通信部５１０は、外部ネットワーク３０及びＬＡＮ２３を介して、サテライトオフィス２０内の各装置と通信する。

（記憶部５２０）
記憶部５２０は、音声認識サーバ２０１の動作のためのプログラム及びデータを記憶する。詳細には、本実施形態では、記憶部５２０は、大規模な語句リストのデータを記憶する。

（制御部５３０）
制御部５３０は、音声認識サーバ２０１の様々な機能を提供する。制御部５３０は、語句抽出部５３１及び語句データ生成部５３３を含む。

（語句抽出部５３１）
語句抽出部５３１は、記憶部５２０に記憶された語句リストを参照して、情報管理サーバ２００を介して、端末装置１００やマイクロフォン１３から取得された音声データから語句を抽出する。語句抽出部５３１は、音声データを受け取ったら逐次、当該音声データから語句を抽出してもよく、もしくは、受け取った音声データの量が所定の量になった場合に（例えば、５分間分の会話に係る音声データ）、受け取った音声データから語句を抽出してもよい。また、語句抽出部５３１は、記憶部５２０にあらかじめ記憶された、語句を発話した話者に対応付けられた語句リストを用いて、語句の抽出を行ってもよい。このようにすることで、当該話者の発言する語句の傾向についての情報を蓄積し、語句抽出部５３１は、蓄積した情報を用いて、当該話者の発言の頻度が高い語句を優先的に抽出することができる。また、特定の語句は抽出されることがないように（業務に関係のない語句（例えば「ゲーム」等の語句））が抽出されることがないように、語句抽出部５３１による語句の抽出の際には、フィルタリングを行ってもよい。

（語句データ生成部５３３）
語句データ生成部５３３は、語句抽出部５３１により抽出された語句の抽出（認識）結果のデータを生成し、通信部５１０を介して、情報管理サーバ２００へ送信する。

＜１．５処理の流れ＞
続いて、図２２を参照して、本実施形態に係る情報処理の例を説明する。図２２は、本実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。図２２には、ステップＳ４０１からステップＳ４１３までが含まれる。

（ステップＳ４０１）
位置取得部１８３は、実空間の撮像画像の表示画面において当該撮像画像内の位置がユーザにより指定されたかを判定する。より具体的には、例えば、位置取得部１８３は、近接撮像画像７１内の位置をユーザにより指定されたかを判定する。上記位置が指定されていれば、処理はステップＳ４０３へ進む。一方、上記位置が指定されていない場合には、ステップＳ４０１を繰り返す。

（ステップＳ４０３）
位置取得部１８３は、ユーザにより指定される上記撮像画像内の位置を取得する。

（ステップＳ４０５）
オブジェクト選択部１８５は、実空間に対応する３次元仮想空間９０のデータを記憶部１７０から取得する。

（ステップＳ４０７）
取得された上記撮像画像内の上記位置に基づいて、上記３次元仮想空間９０に配置されたオブジェクト９１を選択する。

（ステップＳ４０９）
ＩＤ取得部１８７は、選択された上記オブジェクト９１に対応する通信用ＩＤを着信側の通信用ＩＤとして取得する。

(ステップＳ４１１)
ＩＤ取得部１８７は、発信側の通信用ＩＤ（即ち、端末装置１００の通信用ＩＤ）を取得する。

（ステップＳ４１３）
電話部１８９は、着信側の通信用ＩＤを用いて電話発信を行う。その後、電話部１８９は、電話のための様々な処理を実行し、処理は終了する。

以上のように、本実施形態に係る情報処理が実行される。さらに、当該情報処理の開始前に行われる起動処理の一例を、図２３を参照して説明する。図２３は、本実施形態に係る起動処理の概略的な流れの一例を示すフローチャートである。図２３は、ステップＳ５０１からステップＳ５０７までを含む。

（ステップＳ５０１）
ソフトフォン８５１の起動処理が実行される。これにより、ソフトフォン８５１が起動する。

（ステップＳ５０３）
ソフトフォン８５１に関する登録処理が実行される。例えば、ソフトフォン８５１の登録処理の１つとして、ＰＢＸ４０での登録（例えば、ＳＩＰＲＥＧＩＳＴＲＡＴＩＯＮ）が行われる。

（ステップＳ５０５）
超臨場感クライアント８５３の起動処理が実行される。例えば、超臨場感クライアント８５３において利用されるカメラ１１、マイクロフォン１３、センサ１５、メディア配信サーバ１７、情報管理サーバ２００等が特定される。

（ステップＳ５０７）
超臨場感クライアント８５３の俯瞰モード処理が実行される。そして、一連の起動処理は終了する。

次に、本実施形態に係る通信制御処理の一例を、図２４を参照して説明する。図２４は、本実施形態に係る通信制御処理の概略的な流れの一例を示すシーケンス図である。図２４の通信制御処理においては、情報管理サーバ２００が、先に二者通話を開始した人物Ｃの端末装置１００Ｃと人物Ｄの端末装置１００Ｄ間の会話に関する情報をＣＯＭＭリンク８６及びＣＯＭＭワード８７として第三者となるユーザの端末装置１００Ｕに配信するまでの処理を含む。さらに、図２４の通信制御処理においては、当該ユーザが端末装置１００Ｕから当該ＣＯＭＭリンク８６を指定入力することで、上記二者通話に参加するまでの処理を含む。詳細には、図２４には、ステップＳ６０１からステップＳ６１３までが含まれる。

（ステップＳ６０１）
情報管理サーバ２００を介して、端末装置１００Ｃと端末装置１００Ｄ間での二者通話が開始される。この二者通話の開始には、前述のステップＳ４０１からステップＳ４１３で説明した一連の情報処理が用いられていてもよい。

（ステップＳ６０３）
情報管理サーバ２００は、端末装置１００Ｃと端末装置１００Ｄ間の二者通話における音声データから音声認識サーバ２０１が抽出した語句データを取得する。さらに、情報管理サーバ２００は、取得した語句データを用いて、位置情報や統計的重み付けや発言状況を反映した重み付き語句データを生成する。

（ステップＳ６０５）
情報管理サーバ２００は、端末装置１００Ｃと端末装置１００Ｄ間の二者通話に関する重み付き語句データを、端末装置１００Ｕへ送信する。

（ステップＳ６０７）
端末装置１００Ｕは、重み付き語句データを受信し、表示部１５０の画面上にＣＯＭＭリンク８６とＣＯＭＭワード８７を表示する。

（ステップＳ６０９）
端末装置１００Ｕは、表示された端末装置１００Ｃと端末装置１００Ｄに対応するオブジェクト９１をつなぐＣＯＭＭリンク８６を指定するユーザ入力を取得する。

（ステップＳ６１１）
端末装置１００Ｕは、上記ＣＯＭＭリンク８６を指定するユーザ入力に関するデータ（例えば、前述の会話オブジェクトに対応する２以上の話者のオブジェクトＩＤ）を情報管理サーバ２００へ送信する。

（ステップＳ６１３）
情報管理サーバ２００は、上記ＣＯＭＭリンク８６を指定するユーザ入力に関するデータを受信し、上記ＣＯＭＭリンク８６に対応する端末装置１００Ｃと端末装置１００Ｄ間の二者通話のセッションに端末装置１００Ｕとの通話を追加する。そして、端末装置１００Ｃ、端末装置１００Ｄ、端末装置１００Ｕ間の三者通話のセッションが開始される。

以上説明したように、本実施形態においては、通話の話者を結ぶＣＯＭＭリンク８６が表示されることから、ユーザは、ＣＯＭＭリンク８６を視認することで、分散環境にいる複数の遠隔地の誰と誰との間に会話が発生したかを直感的に把握することができる。さらに、本実施形態においては、通話内容の要部をＣＯＭＭワード８７として表示することから、遠隔地にいて音声が聞こえないようなユーザでも、ＣＯＭＭワード８７が表示された画面を見ることより、会話内容の大まかな把握を行うことが可能となる。そして、当該ユーザは、会話内容の大まかな把握を行った後に、当該会話内容に関心が生じたら、前述のＣＯＭＭリンク８６に対する簡便な指定操作によって、スムーズに当該会話に参加することができる。すなわち、本実施形態によれば、ユーザが、分散環境において、遠隔地での会話の発生や当該会話の大まかな内容を把握することができ、さらに、誰が通話状態にあるのかを直感的に認識することが可能である。

＜２．第２の実施形態＞
次に、以下に説明する、本発明の第２の実施形態は、例えば分散オフィスのような分散環境と同室環境とが混在する環境において、ユーザが、既に通話を行っている複数の話者のいずれかの話者と同室環境内の位置に存在することを前提とした処理である。

詳細には、上述の第１の実施形態においては、分散環境では気づきにくくなってしまう会話というコミュニケーションイベントについて、それをＣＯＭＭリンク８６およびＣＯＭＭワード８７として可視化処理することにより、ユーザが遠隔地の会話にも気づけるようにしていた。しかしながら、例えば、分散オフィスのような分散環境と同室環境とが混在する環境においては、ユーザが、既に通話を行っている複数の話者の全ての話者と異なる環境内に位置するものとは限られず、当該通話の話者の１人と同室環境に位置する場合がある。この場合、当該ユーザは、同室環境に位置することから、周囲の会話として、当該通話の内容を自然に聴感できているため、当該会話をＣＯＭＭワード８７として、ユーザの端末装置１００Ｕ上にも提示すると、視聴した情報と表示された情報とによって、ユーザに対して同一の情報が二重に提供されることとなる。そして、このような情報の二重提供は、かえってユーザの思考の混乱を招くこととなる。そこで、本実施形態においては、同室環境の人物の発話に関するＣＯＭＭワード８７の生成や配信処理を回避することにより、同一情報の二重提供を防ぎ、ユーザの指向を混乱させることを避けるような処理を行う。さらに、本実施形態においては、ＣＯＭＭワード８７の生成や配信処理を回避することにより、本実施形態のシステムにおける処理の一部を軽減化し、処理の迅速化を図ることができる。

＜２．１情報管理サーバの構成＞
＜２．１．１機能構成＞
図２５を参照して、本実施形態に係る情報管理サーバ２００Ａの機能構成の一例を説明する。図２５は、本実施形態に係る情報管理サーバ２００Ａの機能構成の一例を示すブロック図である。当該情報管理サーバ２００Ａは、上述した第１の実施形態の情報管理サーバ２００と同様に、通信部２１０、記憶部２２０、及び制御部２３０を有する。さらに、制御部２３０は、第１の実施形態と同様に、ＣＯＭＭリンク配信部２３１、抽出語句データ管理部２３２、重み付け演算部２３３、ＣＯＭＭワード配信部２３４、及び発言状況演算部２３５を含む。加えて、制御部２３０は、位置連動配信制御部２３６をさらに含む。従って、ここでは、第１の実施形態と同様の機能部の説明は省略し、位置連動配信制御部２３６についてのみ説明する。

（位置連動配信制御部２３６）
位置連動配信制御部２３６は、既に行われている通話に対応する人物（話者）の位置と、当該通話に参加していない第三者ユーザの位置と、を比較し、当該第三者ユーザの端末装置１００ＵへＣＯＭＭワード８７を配信するか否かを制御する。より具体的には、位置連動配信制御部２３６は、上記通話の音声に係る人物（話者）の位置情報と、上記通話に関与していない端末装置１００Ｕの位置情報とを比較し、両者の位置情報が所定の距離内、もしくは、同拠点の同室環境に共に存在する場合には、ＣＯＭＭワード８７の生成又は配信に係る制御処理を中止する。

＜２．２処理の流れ＞
続いて、図２６を参照して、本実施形態に係る情報処理の例を説明する。図２６は、本実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。図２６には、ステップＳ７０１からステップＳ７０７までが含まれており、ステップＳ７０１は、第１の実施形態の図２４のステップＳ６０１の後に、開始される。

（ステップＳ７０１）
情報管理サーバ２００は、端末装置１００Ｃと端末装置１００Ｄ間での二者通話が開始されたことを検知した場合には、次のステップＳ７０３へ進む。なお、情報管理サーバ２００は、二者通話が開始されたことを検知していない場合には、ステップＳ７０１を繰り返す。

（ステップＳ７０３）
位置連動配信制御部２３６は、上記通話から抽出された語句データに係る語句を発話した人物の位置と、上記通話に関与していない端末装置１００Ｕの位置（上記通話に参加していないユーザの位置）との間の距離を算出する。

（ステップＳ７０５）
位置連動配信制御部２３６は、ステップＳ７０３へ算出した距離を、あらかじめ定められた所定の距離と比較する。算出した距離が所定の距離よりも短い場合には、処理を終了する。一方、算出した距離が所定の距離よりも長い場合には、ステップＳ７０７へ進む。なお、所定の距離とは、例えば、話者とユーザとが同室に存在する場合に想定される両者の間の距離のことであり、もしくは、一方の話者が実空間上で発話した場合に、ユーザが当該発話の聞くことが可能な実空間上の位置と、上記話者との間の距離のことである。

（ステップＳ７０７）
図２４のステップＳ６０３へ進む。すなわち、会話についての語句を抽出し、抽出した語句に対して重みづけを行う。

以上のように、本実施形態においては、位置連動配信制御部２３６は、通話の話者の１人と同室環境又は当該話者の近傍に位置する場合には、同室環境の人物の発話に関するＣＯＭＭワード８７の生成や配信処理を回避するような処理を行う。詳細には、位置連動配信制御部２３６は、図２４のステップＳ６０３の処理をスキップするような処理を行う。

例えば、第２の実施形態を図１５の例で説明すると、第三者ユーザが拠点Ｂ：大阪オフィスにいる場合、拠点Ｂにいる人物Ｆは第三者ユーザと同室におり周囲の会話として自然に聞こえている。このような場合には、本実施形態においては、人物Ｅと人物Ｆの二者通話における人物Ｆの発話分については、情報管理サーバ２００Ａは、ＣＯＭＭワード８７を生成して第三者ユーザの端末装置１００Ｕへ送信する処理を回避する。具体的には、図１５のＣＯＭＭワード８７Ｌは情報管理サーバ２００Ａで生成されない、または、端末装置１００Ｕへは配信されず、結果、端末装置１００Ｕの表示画面上には提示されないこととなる。

なお、本実施形態においては、ＣＯＭＭワード８７の配信を回避する処理を行うことに限定されるものではなく、例えば、ＣＯＭＭリンク８６の配信を回避する処理を行ってもよい。また、本実施形態においては、ＣＯＭＭワード８７の配信を回避する処理を行うことに限定されるものではなく、例えば、配信するＣＯＭＭワード８７の量を少なくする処理を行ってもよい。

すなわち、本実施形態によれば、同室環境の人物の発話に関するＣＯＭＭワード８７の生成や配信処理を回避することにより、同一情報の二重提供を防ぎ、第三者ユーザの思考を混乱させることを避けることができる。詳細には、第三者ユーザの端末装置１００の表示画面には、ＣＯＭＭワード８７やＣＯＭＭリンク８６が表示されなくなることにより、これらＣＯＭＭリンク８６やＣＯＭＭワード８７や重畳描画の背景となる撮像画像５１の視認性が向上する。さらに、本実施形態においては、ＣＯＭＭワード８７の生成や配信処理を回避することにより、本実施形態のシステムにおける処理の一部を軽減化し、処理の迅速化を図ることができる。

＜３．第３の実施形態＞
以下に説明する本発明の第３の実施形態は、既に開始された会話に対して、どの第三者ユーザが当該会話に関心を持っているかどうかを当該会話に関わる話者に示す。このようにすることで、同一環境で行われている会話のように、話者は関心を持っている第三者ユーザの存在に気が付き、当該会話に第三者ユーザを引き込むことができる。

詳細には、先に説明したように、「会話」という行為は２名で行われるとは限らず、３名以上のグループで行われることも多い。このような場合に、会話の開始時にグループのメンバが全員そろっているパターンの他に、開始された会話の存在に周囲の者が気づき（Ａｗａｒｅｎｅｓｓ：アウェアネス）、その者がその会話の場に後から加わることで、当該会話を行っているグループのメンバ数が増えていくようなパターンがある。

例えば、このような状況において、同室環境では、会話中の二者の近くに立って当該会話内容に関心を持って聴いている第三者の存在に、会話中の二者は自然に気づくだろう。また、上記第三者は同じ場所に立ち続けているとは限らず、上記会話内容への関心がさらに強まれば会話中の二者へさらに近づき、逆に会話内容への関心が失われれば会話中の二者から離れて去っていく。このように第三者は上記会話内容への関心度に合わせて自身の位置を能動的に変動させる。すなわち、第三者の会話内容への関心度は、会話中の二者と第三者との間の空間的「距離」として現象化される。さらに、当該距離が近ければ会話中の二者は第三者の存在に気づきやすくなり、逆に距離が遠ければ第三者に気づきにくくなる。そして、会話中の二者が、近づく第三者に気づいて会話に引き入れたり、第三者が会話の様子見をしながら徐々に近づいて行ってそのまま会話に参加したりして、自然な三者会話が始まることとなる。

しかしながら、従来から分散環境において使用されていた従来のソフトフォン製品は、先に説明したように、メンバ全員が会話の開始時からそろっているパターンを想定しているため、第三者に会話に対する関心度や、関心度に応じた会話の話者と第三者との相互の位置関係の変化を考慮して処理するものではない。従って、従来のソフトフォン製品を用いた場合、同室環境での会話と比べて、第三者が途中から加わりにくく、また、会話の二者側も第三者から急に話しかけられることとなることから、二者が驚き、第三者と二者との通話がスムーズに進まないことがある。

そこで、本実施形態は、複数の遠隔地における第三者の会話への関心度を、たとえば仮想的な「距離」として第三者が直感的に設定入力でき、当該会話を行っている二者には、その距離（関心度）に応じて、当該会話に関心を持っている第三者が存在することを知らせる通知がなされるような機能を提供する。さらに、本実施形態は、上記距離（関心度）に応じて、当該会話に係る会話内容の情報を第三者が取得できるようにする機能を提供する。

＜３．１端末装置の構成＞
＜３．１．１機能構成＞
図２７を参照して、本実施形態に係る端末装置１００Ａの機能構成の一例を説明する。図２７は、本実施形態に係る端末装置１００Ａの機能構成の一例を示すブロック図である。図２７を参照すると、端末装置１００Ａは、第１の実施形態に係る端末装置１００と同様に、通信部１１０、入力部１２０、撮像部１３０、集音部１４０、表示部１５０、音声出力部１６０、記憶部１７０及び制御部１８０を有する。さらに、制御部１８０は、第１の実施形態と同様に、実空間情報提供部１８１、音声出力制御部１８２、位置取得部１８３、オブジェクト選択部１８５、ＩＤ取得部１８７、電話部１８９、会話オブジェクト選択部１９１、ＣＯＭＭリンク制御部１９３、及びＣＯＭＭワード制御部１９５を含む。加えて、制御部１８０は、会話関心度設定部１９６、話者関心比設定部１９７、及び、会話関心度通知部１９８をさらに含む。従って、ここでは、第１の実施形態と同様の機能部の説明は省略し、会話関心度設定部１９６、話者関心比設定部１９７、及び、会話関心度通知部１９８についてのみ説明する。

（会話関心度設定部１９６）
会話関心度設定部１９６は、ユーザの端末装置１００Ａへの入力から、後述する「会話関心度（関心度）」の設定入力を受け付け、その結果を表示部１５０へ表示させるとともに、当該会話関心度に関するデータを情報管理サーバ２００へと送信する。ここで、「会話関心度」とは、本明細書においては、本実施形態に係る情報処理システム上で発生したある通話（会話）に対してユーザが感じた関心の度合い、を多段階で示すものである。多段階とは、例えば各段階の間隔を１きざみとして、０：全く関心がない〜９：非常に関心がある、の１０段階でもよいし、０〜９９の１００段階でもよいし、さらにＶｉｓｕａｌＡｎａｌｏｇｕｅＳｃａｌｅのように無段階の連続的な尺度であってもよい。なお、ひとつの会話関心度は、ひとつの通話（会話）、すなわちひとつのＣＯＭＭリンク８６に紐付き、さらに、当該ＣＯＭＭリンク８６に係る１つ又は複数のＣＯＭＭワード８７に対して紐づくことができる。

端末装置１００Ａのユーザによる、上記会話関心度の設定操作は、たとえば入力部１２０から数値を指定入力することであってもよい。しかしながら、より直感的に入力できる方法として、ユーザが、ＣＯＭＭリンク８６に対して自身の仮想的な化体（以下、「第三者オブジェクト（ユーザオブジェクト）」）を配置し、その第三者オブジェクトの位置とＣＯＭＭリンク８６の位置との間の仮想的距離により、会話関心度を入力する操作法を図２８を参照して以下に説明する。図２８は、分散オフィスに対応する３次元仮想空間９０内における第三者オブジェクト９４と仮想的距離９７の一例を説明するための説明図である。

図２８においては、分散オフィスに対応する３次元仮想空間９０が示されている。当該３次元仮想空間９０には、人物Ｅに対応するオブジェクト９１Ｅ及び人物Ｆに対応するオブジェクト９１Ｆが配置されている。また、オブジェクト９１Ｅと９１Ｆ間には人物ＥとＦの二者通話に対応したＣＯＭＭリンク８６が生成され配置されている。なお、ＣＯＭＭリンク８６の基となる両端のオブジェクト９１はそれぞれ実空間上の別拠点に存在していても構わない。この場合、両端のオブジェクト９１は同じ３次元仮想空間９０内にそれぞれ絶対位置座標を持っており、全体位置座標からオブジェクト９１間の相対的位置関係が算出されてもよい。もしくは、各拠点間の位置関係が予め定められおり、情報管理サーバ２００が、その位置関係を用いて、拠点をまたぐ場合の各拠点に存在する人物に対応するオブジェクト９１の相対的位置関係を算出してもよい。ユーザが、当該ＣＯＭＭリンク８６に対して第三者オブジェクト９４Ｕを設置すると、３次元仮想空間９０には第三者オブジェクト９４Ｕが新たに配置される。また、第三者オブジェクト９４Ｕの位置は、ユーザの水平方向の位置指定だけで自由に設定できる。

そして、第三者オブジェクト９４Ｕが３次元仮想空間９０に配置されると、当該第三者オブジェクト９４Ｕの３次元重心位置９２Ｕと、ＣＯＭＭリンク８６の話者関心比反映位置９６Ｕ（話者関心比反映位置９６Ｕの初期位置は、例えばＣＯＭＭリンク８６の中点）が生成される。さらに、３次元重心位置９２Ｕの位置と３次元重心位置９６Ｕの位置との間の仮想的距離９７Ｕを、後述する情報管理サーバ２００Ｂや端末装置１００Ａが算出する。従って、ユーザ（第三者）が第三者オブジェクト９４Ｕの配置位置を変更操作することで、仮想的距離９７Ｕの大きさも対応して変更される。

先に説明したように、会話への関心度の高いまたは低いという概念は、会話が発生している位置に対して会話の第三者がとる距離が近いまたは遠いという概念と、相性がよい。従って、上記距離に応じて会話への関心度を表示した場合、当該表示により直感的に関心度を把握することが可能である。また、前述の通り端末装置１００Ａは、表示部１５０に撮像画像５１やマップ画像６９を表示することができる。撮像画像５１やマップ画像６９は実空間の構造を射影した情報であるため、位置や距離といった情報を重畳させてグラフィカルに表示したりタッチ指定入力したりするのに適している。従って、本実施形態に係る情報処理システムにおいては、数値をキーボード等で指定入力させたり、その結果設定される仮想的距離の値を数値で表示させたりするよりも、前述の第三者オブジェクト９４を、撮像画像５１やマップ画像６９上に投影して表示し、表示させた第三者オブジェクト９４（詳細には画面表示体）に対して操作を行わせ、位置を変更することにより、会話への会話関心度を入力する方法を採用することが好ましい。このような方法を採用することにより、ユーザは、直感的に会話関心度を入力することが可能となり、ユーザの利便性が向上する。

なお、本実施形態においては、あるユーザは、ひとつのＣＯＭＭリンク８６に対しひとつの第三者オブジェクト９４および仮想的距離９７を設定できる。しかし、本実施形態はこれに限定されるものではない。例えば、複数のＣＯＭＭリンク８６に対しひとつの第三者オブジェクト９４を設定し、当該第三者オブジェクト９４の位置を変更すると、上記複数のＣＯＭＭリンク８６との位置関係に従い、当該第三者オブジェクト９４の上記複数のＣＯＭＭリンク８６への複数の仮想的距離９７が連動して変更されるような処理を行ってもよい。

次に、図２９及び図３０を参照して、本実施形態に係る端末装置１００Ａの表示画面に表示される第三者オブジェクト及び仮想的距離の一例を説明する。図２９は、本実施形態に係る端末装置１００Ａの表示画面に表示される第三者オブジェクト及び仮想的距離の一例を説明するための説明図である。図３０は、本実施形態に係る端末装置１００Ａの表示画面５７に表示される第三者オブジェクト９４及び仮想的距離９７の他の一例を説明するための説明図である。

図２９においては、表示画面５６が示されている。実空間では人物ＥとＦが二者通話をしており、表示画面５６上には当該二者通話に対応したＣＯＭＭリンク８６Ｈ３が撮像画像５１Ａ、５１Ｂ上に、またはＣＯＭＭリンク８６Ｈ２がマップ画像６９Ａ、６９Ｂ上に表示されている。ユーザ（第三者）はＣＯＭＭリンク８６Ｈ３に対して、撮像画像５１Ａ、５１Ｂ、５１Ｚ上の２次元表示位置に第三者オブジェクト９４Ｕの位置を指定入力することができる。そして、当該入力に対応して撮像画像５１上には第三者オブジェクト９４Ｕの画面表示体（アイコン）９８Ｕ３、話者関心比反映位置９６Ｕの画面表示体１０１Ｕ３、および仮想的距離９７Ｕの画面表示体１０３Ｕ３が表示される。

同様に、ユーザは、ＣＯＭＭリンク８６Ｈ２に対して、マップ画像６９Ａ、６９Ｂ、６９Ｚ上の２次元表示位置に第三者オブジェクト９４Ｕの位置を指定入力することができる。そして、当該入力に対応してマップ画像６９上には第三者オブジェクト９４Ｕの画面表示体９８Ｕ２、話者関心比反映位置９６Ｕの画面表示体１０１Ｕ２、および仮想的距離９７Ｕの画面表示体１０３Ｕ２が表示される。第三者オブジェクト９４Ｕの画面表示体９８Ｕ３または９８Ｕ２は、例えば当該ユーザの氏名が描かれたアイコンでもよいし、図２９に図示されているようにユーザの顔画像でもよい。ユーザの当該顔画像は、例えば、当該ユーザの端末装置１００Ａの撮像部１３０で撮影されて顔検出処理により顔領域をトリミングされた画像でもよい。

ユーザは、第三者オブジェクト９４Ｕの画面表示体９８Ｕ３または９８Ｕ２を、たとえば画面上でドラッグ操作し、前述の３次元仮想空間９０における位置を指定入力することができる。ユーザによる上記位置の指定入力に対応して画面表示体９８Ｕ３または９８Ｕ２の画面上２次元表示位置も変更され、また、対応して仮想的距離９７Ｕの長さと画面表示体１０３Ｕ３または１０３Ｕ２の表示上の長さと端点位置が変更される。そして、変更された仮想的距離９７Ｕが、上記ユーザのＣＯＭＭリンク８６Ｈ２に係る会話への会話関心度に対応する。なお、本実施形態においては、仮想的距離９７と会話関心度との対応関係は、関心度の最大／最小値と、仮想的距離９７の最大／最小値との対応関係が適切に対応していれば、任意に設定されてもよい。そして、会話関心度設定部１９６は、上述のような、ユーザの第三者オブジェクト９４に対する操作に基づいて、当該ユーザの会話関心度を取得することができる。

図３０においては、表示画面５７が示されている。表示画面５７上には、図２９と同様に、ＣＯＭＭリンク８６Ｈ３または８６Ｈ２、第三者オブジェクト９４Ｕの画面表示体９８Ｕ３または９８Ｕ２、仮想的距離９７Ｕの画面表示体１０３Ｕ３または１０３Ｕ２が表示されている。しかし、図３０では、第三者オブジェクト９４Ｕの画面表示体９８Ｕ３または９８Ｕ２は、図２９の例と比較してＣＯＭＭリンク８６Ｈ３または８６Ｈ２により近い位置に設定されている。さらに、これに対応して、仮想的距離９７Ｕの画面表示体１０３Ｕ３または１０３Ｕ２の表示上の長さと端点位置が変更されている。

さらに、図３０ではＣＯＭＭリンク８６Ｈ３または８６Ｈ２近傍に表示されるＣＯＭＭワード８７の数が図２９よりも増えている。これは、同室環境では、第三者が二者会話の場の近くに寄るほど当該会話の内容がより多く聞こえる、という事象を本実施形態に係るシステムにおいて再現している。すなわち、ユーザが、会話に関心を持ち、第三者オブジェクト９４Ｕの画面表示体９８Ｕ３または９８Ｕ２をＣＯＭＭリンク８６Ｈ３または８６Ｈ２により近い位置に設定した場合には、仮想的距離９７Ｕの画面表示体１０３Ｕ３または１０３Ｕ２の長さが短くなり、会話関心度が高くなったことを示す。それに伴い、表示されるＣＯＭＭワード８７の数が増加する。この仮想的距離９７（すなわち、会話関心度）の大きさに応じたＣＯＭＭワード８７の表示数の変更処理は、前述の、ＣＯＭＭワード制御部１９５による重み付き語句データの表示における重み閾値を用いた処理において、ＣＯＭＭワード制御部１９５が当該閾値の大きさを上記仮想的距離９７の大きさに対応させて変化させることにより、実現されてもよい。

なお、本実施形態においては、取得した会話関心度に基づき、ＣＯＭＭワード８７の表示数を仮想的距離９７の大きさに対応させて変化させることに限定されるものではない。例えば、本実施形態においては、マイクロフォン１３や集音部１４０から取得され情報管理サーバ２００Ｂを介してユーザの端末装置１００Ａから提示される会話の音声の音量を、音声出力制御部１８２により、会話関心度に応じて、すなわち、仮想的距離９７の大きさに応じて変化させてもよい。

（話者関心比設定部１９７）
話者関心比設定部１９７は、ユーザの端末装置１００Ａへの入力から、後述する「話者関心比（関心度を比率）」の設定処理を行い、その結果を表示部１５０へ表示させるとともに、当該話者関心比に関するデータを後述する情報管理サーバ２００Ｂへと送信する。また、話者関心比設定部１９７は、ＣＯＭＭワード制御部１９５が表示するＣＯＭＭワード８７の話者別比率を変更させる。ここで、「話者関心比」とは、本明細書においては、本実施形態に係る情報処理システム上で発生したある通話における各話者（とその発話内容）に対してユーザが感じた会話関心度の高さの比率、を示すものである。例えば、話者関心比は、１つの会話の話者毎に０．０〜１．０の間の値をとり、さらに複数の話者の話者関心比の合計値は１．０となる。より具体的には、人物Ｅと人物Ｆとの二者の会話に対して、ユーザが関心を持った場合を例に説明する。ユーザは、上記会話に係るＣＯＭＭワード８７の表示を見て、上記会話での人物Ｅの発言に対して、当該会話での人物Ｆの発言に比べて高い関心（詳細には、人物Ｅに対しては人物Ｆの４倍程度となる関心）を持っていると仮定する。このような場合、例えば、話者関心比は、当該会話に対する全体の会話関心度を１．０とすると、人物Ｅに対しては０．８、人物Ｆに対しては０．２として表現することができる。このように、ユーザが話者関心比を設定することにより、その設定比率に応じて、ユーザに対して、各話者に係るＣＯＭＭワード８７（すなわち、話者の発言した語句）が表示部１５０の画面上に表示されることができる。

以下に、図３１及び図３２を参照して、本実施形態に係る話者関心比を示す話者関心比反映位置９６の設定の一例を説明する。図３１は、分散オフィスに対応する３次元仮想空間９０内における話者関心比反映位置（基準点）９６の設定の一例を説明するための説明図である。図３２は、本実施形態に係る端末装置１００Ａの表示画面５８に表示される話者関心比反映位置９６の設定の一例を説明するための説明図である。

図３１においては、分散オフィスに対応する３次元仮想空間９０が示されている。図２８と比較して、話者関心比反映位置９６Ｕが設定された位置が異なっている。なお、話者関心比反映位置９６Ｕをユーザが設定する方法については後述する。図２８では、話者関心比反映位置９６Ｕは初期位置としてＣＯＭＭリンク８６の線分の中点にあり、すなわち、ユーザの、人物Ｅへの話者関心比は０．５、人物Ｆへの話者関心比も０．５であり、話者関心比は人物Ｅ、Ｆの両方に対して等しい状態を示している。一方、図３１では、話者関心比反映位置９６Ｕは、ＣＯＭＭリンク８６の線分上でオブジェクト９１Ｅとオブジェクト９１Ｆからそれぞれ７：３の距離長になる位置にあり、すなわち距離長に反比例して、ユーザの、人物Ｅへの話者関心比は０．３、人物Ｆへの話者関心比は０．７であることを示している。

また、図３２においては表示画面５８が示されている。図３０と比較して、話者関心比反映位置９６Ｕが設定された位置が異なっており、それを受けて図３２の仮想的距離９７Ｕの画面表示体１０３Ｕ３および１０３Ｕ２の表示上の長さと端点位置が図３０と異なっている。話者関心比反映位置９６Ｕは、図３０はＣＯＭＭリンク８６の線分の中点であったが、図３２では図３１の位置設定状態に合わせてオブジェクト９１Ｅとオブジェクト９１Ｆからそれぞれ７：３の距離長になる位置に設定されている。すなわち、図３２の話者関心比反映位置９６Ｕは、当該距離長に反比例して、ユーザの、人物Ｅへの話者関心比は０．７、人物Ｆへの話者関心比は０．３であることを示している。

また、図３２では、ＣＯＭＭリンク８６Ｈ３または８６Ｈ２近傍に表示されるＣＯＭＭワード８７の数の分布が図３０と異なっている。すなわち、話者関心比が下がった（０．５→０．３）人物Ｅに関連するＣＯＭＭワード数（人物Ｅの近傍に表示されるＣＯＭＭワードの数）が減少し、話者関心比が上がった（０．５→０．７）人物Ｆに関連するＣＯＭＭワード数（人物Ｆの近傍に表示されるＣＯＭＭワードの数）は増加している。なお、話者関心比反映位置９６Ｕの位置は、ＣＯＭＭリンク８６Ｈ３または８６Ｈ２上の１点をユーザがたとえばタッチ指定入力することを契機として設定されてもよい。

また、本実施形態においては、話者関心比反映位置９６Ｕの位置は、他の方法により設定されてもよい。以下に、図３３を参照して、他の一例を説明する。図３３は、第三者オブジェクト９４によって話者関心比反映位置９６を設定する際の表示画面６２の一例を説明するための説明図である。詳細には、図３３は、端末装置１００Ａの表示画面５０上の部分領域を示しており、図３３の左右の図で、第三者オブジェクト９４の向きとそれにより設定される話者関心比反映位置９６が異なる例を２つ例示している。

詳細には、図３３の第三者オブジェクト９４Ｕの画面表示体９８Ｕ２は、第三者ユーザの顔画像の周囲にひとつの尖端部１０５を有する。そして、当該第三者オブジェクト９４Ｕを指定入力する第三者ユーザは、例えば２本以上の指を用いたタッチ回転操作を行い、上記尖端部１０５の向きを変更することができる。さらに、当該尖端部１０５の向きの延長線９９上に、人物Ｅのオブジェクトと人物Ｆのオブジェクト間に形成されたＣＯＭＭリンク８６Ｈ２の線分が存在し、延長線９９とＣＯＭＭリンク８６Ｈ３と交わる場合、話者関心比設定部１９７は、その交点の位置を、話者関心比反映位置９６Ｕの位置として取得する。このようにして、話者関心比反映位置９６Ｕの位置が設定されるため、話者関心比設定部１９７は、ユーザの会話の話者に対する話者関心比を算出することができる。例えば、図３３を見ると、図３３の左図の第三者オブジェクト９４Ｕの画面表示体９８Ｕ２と比べて、右図の第三者オブジェクト９４Ｕの画面表示体９８Ｕ２は右方向に回転した向きとなっており、その向きに対応する話者関心比反映位置９６Ｕ（画面表示体１０１Ｕ２）の位置も左図と比べ右図の方が右寄りに位置している。

また、本実施形態においては、ユーザがＣＯＭＭリンク８６及び第三者オブジェクト９４を操作して、話者関心比を設定することに限定されるものではない。例えば、本実施形態においては、各ＣＯＭＭワード８７に対するユーザの視線を認識し、認識した頻度を用いて、話者関心比を算出してもよい（例えば、人物Ｅと人物Ｆとが会話しており、ユーザが、画面表示された人物Ｅが発話した語句に係るＣＯＭＭワード８７と人物Ｆが発話した語句に係るＣＯＭＭワード８７とを見た場合を例に説明する。このような場合、ユーザの視線を検出する視線検出装置を用いることにより、各ＣＯＭＭワード８７に向けられたユーザの視線を検出し、カウントすることができる。従って、ユーザが、人物Ｅが発話した語句に係るＣＯＭＭワード８７に対して７回視線を落とし、人物Ｆが発話した語句に係るＣＯＭＭワード８７に対して３回視線を落とした場合には、人物Ｅへの話者関心比は０．７、人物Ｆへの話者関心比は０．３とすることができる）。

（会話関心度通知部１９８）
会話関心度通知部１９８は、情報管理サーバ２００から会話関心度に関する情報を受信し、当該会話関心度に関する情報を、当該会話を行う人物の端末装置１００の表示部１５０の画面上にプッシュ通知表示する。例えば、人物Ｃと人物Ｄが端末装置１００Ｃと１００Ｄ間で行っている二者通話に対し、ユーザの端末装置１００Ｕが会話関心度を設定した場合には、端末装置１００Ｃと１００Ｄの各会話関心度通知部１９８は、後述する情報管理サーバ２００Ｂから端末装置１００Ｕで設定された会話関心度のデータを受信する。さらに、端末装置１００Ｃと１００Ｄの各会話関心度通知部１９８は、会話関心度の値の大きさに対応した注意喚起強度で、端末装置１００Ｃと１００Ｄの表示部１５０の画面上に、会話に関心を持つユーザの存在を知らせる通知を表示させる。ここで、上記通知は、例えばポップアップ形式のウィンドウ（表示）である。また、注意喚起強度は、上述の会話関心度に応じて設定され、会話関心度が大きいほど、注意喚起強度は大きくなる。上記通知の表示形態は、当該注意喚起強度に応じて変更される。具体的には、注意喚起強度が大きいほど、上記ポップアップ形式のウィンドウの表示の大きさが大きくなる。また、本実施形態においては、注意喚起強度に応じてウィンドウの表示の大きさを変更することに限定されるものではなく、ウィンドウの表示位置が変更されたり（画面の中央に近いほど注意喚起強度が大きい）、ウィンドウと背景とのコントラストを変更したり、ウィンドウの色、ウィンドウの表示アニメーション（動き）の種類等を変更してもよい。また、上記通知は、画面表示に限定されるものではなく、例えば、会話に関心を持つユーザの存在を知らせるサイン音等でもよく、この場合はサイン音の音量、周波数分布、リズム等を注意喚起強度に応じて変更してもよい。

以下に、図３４を参照して、本実施形態に係る端末装置１００Ａの表示画面に表示される会話関心度に関する情報を含む通知の表示の一例を説明する。図３４は、本実施形態に係る端末装置１００Ａの表示画面に表示される会話関心度に関する情報を含む通知の表示の一例を説明するための説明図である。図３４の上側の表示画面５９は注意喚起強度が高い通知の表示の一例であり、図３４の下側の表示画面６６は注意喚起強度が低い通知の表示の一例である。表示画面５９においては、表示画面６６と比べて、通知ウィンドウ１０７が大きなサイズで画面中央に近い位置に表示されており、ユーザが通知の出現に気づきやすくなっている。また、通知ウィンドウ１０７には、３次元仮想空間９０における仮想的距離の大きさを表示してもよい（例えば、表示画面５９のウィンドウ１０７においては「１．５ｍ」と表示されている）。

なお、図３４においては、該当する会話に対して一人の第三者が関心を示している場合の例を示しているが、同一の会話に対して複数の第三者が関心を示している場合には，１つのウィンドウでその旨の情報を示してもよく、もしくは、第三者ごとにウィンドウを表示させてもよい。また、図３４においては、俯瞰モードで表示される表示画面にウィンドウが重ねられているが、本実施形態においては、このような表示形態に限定されるものではない。例えば、会話モードで表示される表示画面に上記ウィンドウが重ねられてもよい。

＜３．２情報管理サーバの構成＞
＜３．２．１機能構成＞
次に、図３５を参照して、本実施形態に係る情報管理サーバ２００Ｂの機能構成の一例を説明する。図３５は、本実施形態に係る情報管理サーバ２００Ｂの機能構成の一例を示すブロック図である。図３５を参照すると、第１及び第２の実施形態の情報管理サーバ２００と同様に、情報管理サーバ２００Ｂは、通信部２１０、記憶部２２０及び制御部２３０を有する。さらに、制御部２３０は、第２の実施形態と同様に、ＣＯＭＭリンク配信部２３１、抽出語句データ管理部２３２、重み付け演算部２３３、ＣＯＭＭワード配信部２３４、発言状況演算部２３５、及び位置連動配信制御部２３６を含む。加えて、制御部２３０は、会話関心度制御部２４１をさらに含む。従って、ここでは、第１及び第２の実施形態と同様の機能部の説明は省略し、会話関心度制御部２４１についてのみ説明する。

（会話関心度制御部２４１）
会話関心度制御部２４１は、会話関心度に対応したＣＯＭＭワード８７の提供情報量と、会話関心度に対応した通知の配信に係る処理を行う。詳細には、会話関心度制御部２４１は、関心度制御部２４２、表示体制御部２４３、関心会話情報量制御部２４４及び会話関心度通知送信部２４５を含む。

（関心度制御部２４２）
関心度制御部２４２は、ユーザの通話に対する会話関心度の入力を取得し、ＣＯＭＭリンク８６に対して、取得した当該会話関心度と、上記ユーザのオブジェクトＩＤ（通信用ＩＤ（通信用識別情報））とを関連付ける。さらに、紐づけられた会話関心度は、ＣＯＭＭリンク８６とともに、ＣＯＭＭリンク配信部２３１及び通信部２１０を介して、端末装置１００に配信される。このようにすることで、ＣＯＭＭリンク８６に対応する２以上の話者のオブジェクトＩＤが、当該ユーザのオブジェクトＩＤと関連付けられる。そして、本実施形態においては、１つのＣＯＭＭリンク８６に関連付けられたオブジェクトＩＤを参照して制御を行うことにより、話者の端末装置１００に対して、上記ユーザの存在の通知を行うことができる。また、関心度制御部２４２は、ユーザの話者関心比を取得して、ＣＯＭＭリンク８６に対して、取得した話者関心比と、上記ユーザのオブジェクトＩＤ（通信用ＩＤ（通信用識別情報））とを関連付けてもよい。この場合にも、紐づけられた話者関心比は、ＣＯＭＭリンク８６とともに、ＣＯＭＭリンク配信部２３１及び通信部２１０を介して、端末装置１００に配信される。

（表示体制御部２４３）
表示体制御部２４３は、ユーザによる会話への会話関心度の入力操作が行われた場合には、当該ユーザに係る画面表示体９８を生成する。さらに、表示体制御部２４３は、取得した会話関心度に基づいて、会話に対応するＣＯＭＭリンク８６と画面表示体９８との仮想的位置関係を決定する。詳細には、表示体制御部２４３は、ユーザによる会話への会話関心度の入力操作が行われた場合には、先に説明した３次元仮想空間９０上に、当該ユーザに係る第三者オブジェクト９４を配置する。この際、上記会話関心度に基づいて、３次元仮想空間９０上のＣＯＭＭリンク８６と第三者オブジェクト９４との間の仮想的距離は決定される。さらに、表示体制御部２４３は、ユーザによる話者関心比の入力操作が行われて場合には、３次元仮想空間９０において、ＣＯＭＭリンク８６上の話者関心比に対応する位置に話者関心比反映位置９６を配置する。

（関心会話情報量制御部２４４）
関心会話情報量制御部２４４は、会話関心度および話者関心比に基づいて、ＣＯＭＭワード配信部２３４を制御する。より具体的には、関心会話情報量制御部２４４は、ＣＯＭＭワード配信部２３４におけるＣＯＭＭワード８７の配信の際に行う、ＣＯＭＭワード８７に係る重みの数値と比較される所定の閾値を、会話関心度および話者関心比に基づいて、変更する。

（会話関心度通知送信部２４５）
会話関心度通知送信部２４５は、ユーザが設定した会話関心度（もしくは話者関心比）に対応した通知情報のデータを、会話関心度を設定されたＣＯＭＭリンク８６の両端に位置するオブジェクト９１の通信用ＩＤに対応する端末装置１００へ送信する。当該会話関心度に対応した通知情報のデータは、当該会話関心度や仮想的距離９７の大きさ、当該会話関心度を設定した第三者ユーザの通信用ＩＤ、等を含む。

＜３．３処理の流れ＞
続いて、図３６を参照して、本実施形態に係る情報処理の例を説明する。図３６は、本実施形態に係る、会話関心度設定とＣＯＭＭワード８７の通信情報量変更と通知処理との概略的な流れの一例を示すシーケンス図である。図３６には、ステップＳ８０１からステップＳ８４３までが含まれている。なお、図３６のステップＳ８０１からステップＳ８０７は、それぞれ図２４のステップＳ６０１からステップＳ６０７と同様の処理であり、ここでは説明を省略する。従って、ステップＳ８０１、ステップＳ８０３、ステップＳ８０５、ステップＳ８０７を順次行った後、以下のステップＳ８２１を行うこととなる。

（ステップＳ８２１）
端末装置１００Ｕは、表示された端末装置１００Ｃと端末装置１００Ｄに対応するオブジェクトをつなぐＣＯＭＭリンク８６に対し、会話関心度や話者関心比を設定するユーザ入力を取得する。

（ステップＳ８２３）
端末装置１００Ｕは、ＣＯＭＭリンク８６に対して設定された会話関心度や話者関心比に関するデータを情報管理サーバ２００Ｂへ送信する。

（ステップＳ８２５）
情報管理サーバ２００Ｂは、上記ＣＯＭＭリンク８６に対して設定された会話関心度や話者関心比に関するデータを受信し、上記ＣＯＭＭリンク８６の識別情報と対応させデータ管理する。

（ステップＳ８２７）
情報管理サーバ２００Ｂは、会話関心度や話者関心比の大きさに対応した情報量のＣＯＭＭワード８７に関するデータを端末装置１００Ｕへ送信する。

（ステップＳ８２９）
端末装置１００Ｕは、受信した会話関心度や話者関心比の大きさに対応した情報量のＣＯＭＭワード８７に関するデータを利用して、表示部１５０に表示するＣＯＭＭワード８７の状態を変更させる。

（ステップＳ８３１、ステップＳ８３３）
情報管理サーバ２００Ｂは、会話関心度に対応した通知情報のデータを端末装置１００Ｃと１００Ｄへ送信する。

（ステップＳ８３５、ステップＳ８３７）
端末装置１００Ｃと１００Ｄは、受信した会話関心度に対応した通知情報のデータを利用して、表示部１５０に会話関心度に対応した注意喚起強度で通知を表示させる。

（ステップＳ８３９）
端末装置１００Ｃ（または１００Ｄ）は、上記通知から第三者ユーザの存在に気づいた人物Ｃ（または人物Ｄ）による通話への引き込みの入力を取得する。

（ステップＳ８４１）
端末装置１００Ｃは、上記通話への引き込みの入力に関するデータ（第三者ユーザの識別情報を含んでいてもよい）を情報管理サーバ２００Ｂへ送信する。次に、ステップＳ８０９へ進む。

（ステップＳ８０９、ステップＳ８１１）
ステップＳ８０９及び、その後のステップＳ８１１は、それぞれ図２４のステップＳ６０９、ステップＳ６１１と同様の処理であり、ここでは説明を省略する。なお、ステップＳ８１１とステップＳ８４１は、どちらか一方の処理が実行されればステップＳ８４３へ進んで構わない。

（ステップＳ８４３）
情報管理サーバ２００Ｂは、上記通話引き込みの入力に関するデータ、もしくは、上記ＣＯＭＭリンク８６を指定するユーザ入力に関するデータを受信する。そして、上記ＣＯＭＭリンク８６に対応する端末装置１００Ｃと端末装置１００Ｄ間の二者通話のセッションに端末装置１００Ｕの通話を新たに加わり、端末装置１００Ｃ、端末装置１００Ｄ、端末装置１００Ｕ間の三者通話のセッションが開始される。

以上のようにして、本実施形態においては、複数の遠隔地における第三者の会話への会話関心度を、たとえば仮想的な「距離」として第三者が直感的に設定入力でき、当該会話を行っている二者には、その距離（会話関心度）に応じて、当該会話に関心を持っている第三者が存在することを知らせる通知がなされるような機能を提供する。さらに、本実施形態においては、上記距離（会話関心度）に応じて、当該会話に係る会話内容の情報を第三者が取得できるようにする機能を提供する。従って、本実施形態によれば、同室環境下での会話にように、会話中の二者の近くに立って当該会話内容に関心を持って聴いているような第三者の存在に気づくことができ、その気づきをきっかけとして、当該会話に第三者を招き入れることができる。その結果、本実施形態によれば、同室環境下での会話のように、第三者と二者との会話をスムーズに進めることができる。

さらに、本実施形態においては、上記距離（会話関心度）に応じて、当該会話に係る会話内容の情報を第三者が取得できるようにする機能を提供する。従って、本実施形態によれば、同室環境下での会話のように、第三者が二者会話の場の近くに寄るほど当該会話の内容がより多く聞こえる事象と同様の事象を提供することができることから、より自然に第三者は会話に関する情報を取得し、取得した情報に基づいて、スムーズに当該会話に参加することができる。

＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、実空間に対応する３次元仮想空間９０として、センタオフィス１０の３次元仮想空間９０が用意される例を説明したが、本発明の実施形態はこれに限定されない。例えば、複数の３次元仮想空間９０が用意されてもよい。一例として、実空間に対応する３次元仮想空間９０は、複数のオフィスの各々について用意されてもよい。例えば、サテライトオフィス２０、ホームオフィス２０、他のセンタオフィス１０等についての３次元仮想空間９０も用意されてもよい。この場合に、各オフィスの３次元仮想空間９０は、各オフィスの大きさに応じた大きさの３次元仮想空間であってもよい。また、端末装置１００のオブジェクト選択部１８５は、複数の３次元仮想空間９０のうちの所望の３次元仮想空間９０のデータを取得してもよい。また、オフィス以外の３次元仮想空間９０が用意されてもよい。

また、人物が座席に座っている場合に限り当該人物に対応するオブジェクト９１が選択される例を説明したが、本発明の実施形態はこれに限定されない。例えば、人物が座席に座っていない場合にもオブジェクト９１が選択されてもよい。一例として、人物が座席に座っている場合には、当該座席に設置された通信装置の通信用ＩＤが取得され、人物が座席に座っていない場合には、当該人物の携帯端末の通信用ＩＤが取得されてもよい。

また、通信用ＩＤが電話番号である例を説明したが、本発明の実施形態はこれに限定されない。通信用ＩＤは、電話番号以外のＩＤであってもよい。一例として、通信用ＩＤは、電話番号以外のソフトフォン用ＩＤであってもよい。また、別の例として、通信用ＩＤは、電話以外の通信のためのＩＤであってもよい。例えば、通信用ＩＤは、メールアドレスであってもよく、又はショートメッセージ用のＩＤであってもよい。この場合に、通信用ＩＤを用いて、メールが送信され、又はショートメッセージが送信されてもよい。

また、オブジェクト９１が選択された場合に当該オブジェクト９１に対応する通信用ＩＤが取得される例を説明したが、本発明の実施形態はこれに限定されない。例えば、オブジェクト９１が選択された場合に当該オブジェクト９１に対応するいずれかの識別情報が取得されてもよい。一例として、オブジェクト９１が選択された場合にオブジェクト９１に対応する人物のいずれかの識別情報が取得されてもよい。そして、例えば、この識別情報から、通信用ＩＤが取得されてもよい。

また、実空間に対応する３次元仮想空間９０に配置されるオブジェクト（オブジェクト選択部１８５により選択されるオブジェクト）９１が人物に対応し且つ円柱状のオブジェクトである例を説明したが、本発明の実施形態はこれに限定されない。例えば、オブジェクトは、円柱状のオブジェクトではなく、別の形状のオブジェクトであってもよい。また、例えば、オブジェクト９１は、人物以外のものに対応してもよい。一例として、オブジェクト９１は、実空間の領域に対応してもよい。具体的には、例えば、オブジェクト９１は、座席に対応し、当該座席の位置に対応する３次元仮想位置に配置されてもよい。そして、当該座席に設置された通信装置の通信用ＩＤと上記オブジェクト９１とが対応し、当該オブジェクト９１が選択されると、当該通信用ＩＤが取得されてもよい。また、オブジェクト９１は、座席よりも広い領域に対応し、当該領域の範囲に対応する３次元仮想範囲に渡って存在してもよい。そして、当該領域内に設置された通信装置の通信用ＩＤと上記オブジェクト９１とが対応し、当該オブジェクト９１が選択されると、当該通信用ＩＤが取得されてもよい。

また、表示画面において撮像画像の位置がユーザによるタッチで指定される例を説明したが、本発明の実施形態はこれに限定されない。例えば、撮像画像の位置は、タッチパネル８２０以外の入力手段を用いてユーザにより指定されてもよい。例えば、撮像画像の位置は、マウスによるクリックで指定されてもよく、ボタン、キーボード等の別の入力手段を用いて指定されてもよい。

また、カメラ１１により生成される撮像画像、マイクロフォン１３により生成される音声データ、及び、センサ１５による判定結果が、それぞれ、カメラ１１、マイクロフォン１３及びセンサ１５により、端末装置１００に直接提供される例を説明したが、本発明の実施形態はこれに限定されない。例えば、別の装置によりこれらのデータが提供されてもよい。一例として、いずれかのサーバ（例えば、メディア配信サーバ）が、これらのデータを取得し、これらのデータを端末装置１００に提供してもよい。

また、位置取得部１８３、オブジェクト選択部１８５及びＩＤ取得部１８７等の機能が端末装置１００により備えられる例を説明したが、本発明の実施形態はこれに限定されない。例えば、これらの機能は、端末装置１００以外の装置により備えられてもよい。一例として、これらの機能はいずれかのサーバにより備えられてもよい。また、ＣＯＭＭリンク配信部２３１及び語句抽出データ管理部２３２等の機能が情報管理サーバ２００により備えられる例を説明したが、本発明の実施形態はこれに限定されない。例えば、これらの機能は、情報管理サーバ２００以外の装置により備えられてもよい。一例として、これらの機能は端末装置１００により備えられてもよい。

また、実空間の撮像画像の表示画面が端末装置１００により表示される例を説明したが、本発明の実施形態はこれに限定されない。例えば、当該表示画面は別の装置により表示されてもよい。一例として、上記表示画面はサテライトオフィス２０に設置されたディスプレイ２１により表示されてもよい。そして、ユーザが、当該ディスプレイ２１において、表示画像に含まれる撮像画像の位置を指定してもよい。

また、話者及びユーザは、座席に着席しているものとして説明したが、本発明の実施形態はこれに限定されず、話者及びユーザは実空間上で移動していてもよい。例えば、各話者及びユーザが持っている、タブレット等の端末装置１００による通信やカメラ１１による被写体に追従した撮像により、移動する各話者及びユーザの位置を特定し、特定した位置に基づいて、上述の３次元仮想空間９０におけるオブジェクトの位置を決定してもよい。

また、本明細書の情報処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、情報処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。

また、情報処理装置（例えば、端末装置）に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。

３手
１０センタオフィス
１１、８１３カメラ
１３、８１５マイクロフォン
１５センサ
１７メディア配信サーバ
１９、２３ＬＡＮ
２０サテライトオフィス
２１ディスプレイ
３０外部ネットワーク
３１アイコン
４０ＰＢＸ
５０、５５、５６、５７、５８、５９、６０、６２、６６、７０、８０表示画面
５１、５１Ａ、５１Ｂ、５１Ｚ撮像画像
６１俯瞰撮像画像
６３、６３Ａ、６３Ｂ、７３、８３ボタン画像
６５、７９Ｃ，７９Ｄ、７９Ｅ、７９Ｆプレゼンスアイコン
６７吹き出し画像
６９、６９Ａ、６９Ｂ、６９Ｚ、７５マップ画像
７１近接撮像画像
７７、７７Ａ、７７Ｂ、７７Ｃ、７７Ｄ、７７Ｅ、７７Ｆ人物画像
８１相手側撮像画像
８５自分側撮像画像
８６、８６Ｇ２、８６Ｇ３、８６Ｈ２、８６Ｈ３、８６Ｍ２、８６Ｍ３ＣＯＭＭリンク
８７、８７Ｉ、８７Ｊ、８７Ｋ、８７ＬＣＯＭＭワード
９０３次元仮想空間
９１、９１Ａ、９１Ｂ、９１Ｃ、９１Ｄ、９１Ｅ、９１Ｆオブジェクト
９２、９２Ｃ、９２Ｄ、９２Ｅ、９２Ｆ、９２Ｕ３次元重心位置
９３仮想面
９４、９４Ｕ第三者オブジェクト
９６９６Ｕ話者関心比反映位置
９７９７Ｕ仮想的距離
９８、９８Ｕ２、９８Ｕ３、１０１、１０１Ｕ２、１０１Ｕ３、１０３、１０３Ｕ２、１０３Ｕ３画面表示体
９９延長線
１００、１００Ａ、１００Ｃ、１００Ｄ、１００Ｕ端末装置
１０５尖端部
１０７通知ウィンドウ
１１０、２１０、５１０通信部
１２０入力部
１３０撮像部
１４０集音部
１５０表示部
１６０音声出力部
１７０、２２０、５２０記憶部
１８０、２３０、５３０制御部
１８１実空間情報提供部
１８２音声出力制御部
１８３位置取得部
１８５オブジェクト選択部
１８７ＩＤ取得部
１８９電話部
１９１会話オブジェクト選択部
１９３ＣＯＭＭリンク制御部
１９５ＣＯＭＭワード制御部
１９６会話関心度設定部
１９７話者関心比設定部
１９８会話関心度通知部
２００、２００Ａ、２００Ｂ情報管理サーバ
２０１音声認識サーバ
２３１ＣＯＭＭリンク配信部
２３２抽出語句データ管理部
２３３重みづけ演算部
２３４ＣＯＭＭワード配信部
２３５発言状況演算部
２３６位置連動配信制御部
２４１会話関心度制御部
２４２関心度制御部
２４３表示体制御部
２４４関心会話情報量制御部
２４５会話関心度通知送信部
５３１語句抽出部
５３３語句データ生成部
７０１、８０１、９０１ＣＰＵ
７０３、８０３、９０３ＲＯＭ
７０５、８０５、９０５ＲＡＭ
７０７、８０７、９０７バス
７０９、８０９、９０９記憶装置
７１１、８１１、９１１通信インターフェース
８１７スピーカ
８２０タッチパネル
８２１タッチ検出面
８２３表示面
８４０ＯＳ
８５１ソフトフォン
８５３超臨場感クライアント
８５５電話発信制御機能

Claims

通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを生成し、前記会話イベントオブジェクトに係るデータを配信する会話イベントオブジェクト配信部を備える、情報処理サーバ。
前記会話イベントオブジェクト配信部は、前記会話イベントオブジェクトに対するユーザの入力を取得し、前記会話イベントオブジェクトに紐づけられた前記複数の話者の通信用識別情報に、前記ユーザの通信用識別情報を関連付ける、
請求項１に記載の情報処理サーバ。
前記通話の音声データから抽出された語句に係る発言語句オブジェクトを生成し、前記発言語句オブジェクトに係るデータを配信する、発言語句オブジェクト配信部をさらに備える、
請求項１に記載の情報処理サーバ。
前記前記発言語句オブジェクトに対して重みづけ処理を行う重みづけ処理部をさらに備え、
前記発言語句オブジェクト配信部は、前記重みづけ処理の結果と所定の値とを比較し、比較結果に基づいて、前記発言語句オブジェクトに係るデータを配信する、
請求項３に記載の情報処理サーバ。
前記重みづけ処理部は、前記通話における前記語句の出現頻度に基づいて、前記重みづけ処理を行う、請求項４に記載の情報処理サーバ。
前記重みづけ処理部は、前記語句の抽象度に基づいて、前記重みづけ処理を行う、請求項４に記載の情報処理サーバ。
前記重みづけ処理部は、前記語句の品詞カテゴリに基づいて、前記重みづけ処理を行う、請求項４に記載の情報処理サーバ。
前記重みづけ処理部は、前記通話の音声データに含まれる前記語句の発話の音圧に係るデータに基づいて、前記重みづけ処理を行う、請求項４に記載の情報処理サーバ。
前記前記発言語句オブジェクト配信部は、前記発言語句オブジェクトに紐づけて、前記重みづけ処理の結果に係るデータを配信する、請求項４から８のいずれか１項に記載の情報処理サーバ。
前記発言語句オブジェクトに係る語句を発言した前記話者の位置に基づいて、前記発言語句オブジェクトの表示位置を決定し、決定した前記表示位置を配信する発言状況演算部をさらに備える、請求項３から９のいずれか１項に記載の情報処理サーバ。
前記発言語句オブジェクト配信部は、実空間における、前記通話に係る前記複数の話者のうちの１人の前記話者と、前記通話に参加していないユーザとの位置関係に基づいて、前記発言語句オブジェクトを配信する、請求項３に記載の情報処理サーバ。
前記会話イベントオブジェクト配信部は、実空間における、前記通話に係る前記複数の話者のうちの１人の前記話者と、前記通話に参加していないユーザとの位置関係に基づいて、前記会話イベントオブジェクトを配信する、請求項１に記載の情報処理サーバ。
ユーザの前記通話に対する関心度の入力を取得し、前記会話イベントオブジェクトに対して、取得した前記関心度と、前記ユーザの通信用識別情報とを紐づける関心度制御部をさらに備える、
請求項１に記載の情報処理サーバ。
前記ユーザに係る表示体を生成し、取得した前記関心度に基づいて、前記会話イベントオブジェクトの位置と前記表示体との仮想的位置関係を決定する表示体制御部をさらに備える、
請求項１３に記載の情報処理サーバ。
前記通話の音声データから抽出された語句に係る発言語句オブジェクトを生成し、前記発言語句オブジェクトに係るデータを配信する、発言語句オブジェクト配信部と、
前記前記発言語句オブジェクトに対して重みづけ処理を行う重みづけ処理部と、
をさらに備え、
前記発言語句オブジェクト配信部は、前記重みづけ処理の結果と、所定の値とを比較し、比較結果に基づいて、前記発言語句オブジェクトに係るデータを配信し、
前記所定の値は、取得した前記関心度に基づいて、変更される、
請求項１３又は１４に記載の情報処理サーバ。
前記関心度制御部は、前記ユーザの前記通話に係る複数の話者についての関心度の比率の入力を取得し、前記会話イベントオブジェクトに紐づけて、取得した前記関心度の比率に係るデータを配信する、請求項１３又は１４に記載の情報処理サーバ。
前記通話の音声データから抽出された語句に係る発言語句オブジェクトを生成し、前記発言語句オブジェクトに係るデータを配信する、発言語句オブジェクト配信部と、
前記前記発言語句オブジェクトに対して重みづけ処理を行う重みづけ処理部と、
をさらに備え、
前記発言語句オブジェクト配信部は、前記重みづけ処理の結果と、所定の値とを比較し、比較結果に基づいて、前記発言語句オブジェクトに係るデータを配信し、
前記所定の値は、取得した前記関心度及び前記関心度の比率に基づいて、変更される、
請求項１６に記載の情報処理サーバ。
前記関心度制御部は、前記会話イベントオブジェクトに紐づけられた前記複数の話者の通信用識別情報に、前記通話に対して前記関心度を入力した前記ユーザの通信用識別情報を関連付ける、
請求項１３から１７のいずれか１項に記載の情報処理サーバ。
通話に係る複数の話者が存在する実空間に対応する３次元仮想空間を生成し、
前記通話に係る複数の話者の通信用識別情報のそれぞれに対応する複数のオブジェクトと、前記複数のオブジェクトを互いに紐づける、前記通話に係る会話イベントオブジェクトとを生成して、前記３次元仮想空間に配置する、
会話イベントオブジェクト配信部を備える、情報処理サーバ。
ユーザの前記通話に対する関心度の入力を取得し、
前記ユーザに対応するユーザオブジェクトを前記３次元仮想空間に配置し、
取得した前記関心度に基づいて、前記３次元仮想空間における、前記会話イベントオブジェクトと前記ユーザオブジェクトとの間の仮想的距離を決定する、
表示体制御部をさらに備える、
請求項１９に記載の情報処理サーバ。
ユーザの前記通話に係る前記複数の話者についての関心度の比率の入力を取得し、
取得した前記関心度の比率に基づいて、生成した前記会話イベントオブジェクト上に、前記関心度の比率を示す基準点を配置する、
関心度制御部をさらに備える、
請求項１９に記載の情報処理サーバ。
情報処理サーバと、複数の端末装置とを含む情報処理システムであって、
前記情報処理サーバは、通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを生成し、前記会話イベントオブジェクトに係るデータを、前記複数の端末装置に配信する、
情報処理システム。
通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを表示する表示部を備える、端末装置。
前記表示部は、前記通話の音声データから抽出された語句に係る発言語句オブジェクトを表示する、請求項２３に記載の端末装置。
前記発言語句オブジェクトに対して行われた重みづけ処理の結果を取得して、前記重みづけ処理の結果と所定の値とを比較し、比較結果に基づいて、前記表示部を制御する、発言語句オブジェクト制御部をさらに備える、請求項２４に記載の端末装置。
前記発言語句オブジェクトに対して行われた重みづけ処理の結果を取得して、前記重みづけ処理の結果に基づいて、前記発言語句オブジェクトの大きさ、色、コントラスト、表示位置のいずれか１つを制御する、発言語句オブジェクト制御部をさらに備える、請求項２４に記載の端末装置。
ユーザの前記通話に対する関心度を取得し、前記関心度に基づいて、前記通話に係る音声の出力を制御する音声出力制御部をさらに備える、請求項２３から２６のいずれか１項に記載の端末装置。
ユーザによる、前記表示部に表示された前記ユーザに係るユーザオブジェクトに対する操作に基づいて、前記ユーザの前記通話に対する関心度を取得する会話関心度設定部をさらに備える、請求項２３から２６のいずれか１項に記載の端末装置。
前記ユーザオブジェクトの表示のために、前記ユーザの顔画像を取得する撮像部をさらに備える請求項２８に記載の端末装置。
ユーザの前記通話に対する関心度を取得したことに基づいて、前記ユーザの存在を示す通知を行う会話関心度通知部をさらに備える、請求項２３から２６のいずれか１項に記載の端末装置。
前記会話関心度通知部は、
前記ユーザの存在を示す通知表示を前記表示部に表示させ、
取得した前記関心度に基づいて、前記通知表示の大きさ、色、動き、コントラスト、表示位置のいずれか１つを制御する、
請求項３０に記載の端末装置。
前記会話関心度通知部は、
前記ユーザの存在を示す音声出力を音声出力部に行わせ、
取得した前記関心度に基づいて、前記音声出力の音量を制御する、
請求項３０に記載の端末装置。
コンピュータを、
通話に係る複数の話者の通信用識別情報を紐づける、前記通話に係る会話イベントオブジェクトを生成し、前記会話イベントオブジェクトに係るデータを配信する会話イベントオブジェクト配信部として機能させるための、プログラム。