JP4438671B2 - マルチモーダルサービス提供方法及び提供システム並びにその制御プログラム - Google Patents

Description

この発明は、マルチモーダルサービスセッション提供方法及び提供システム並びにその制御プログラムに関する。

従来においても、マルチモーダルサービス提供システムが知られている。その例としては、電子会議システム（従来の電子会議システムという）がある。
従来の電子会議システムは、電子会議に参加する複数の端末装置（以下、単に端末という）がネットワークを介して電子会議システムサーバに接続されるようにして構成されている。その端末には、電子会議システムアプリケーションのプログラムが実装され、電子会議システムサーバには、電話アプリケーションやホワイトボード共有アプリケーションのプログラムが実装されている。

電子会議システムの端末を使用するユーザが発行するマルチモーダルサービスについての要求が、端末の電子会議システムアプリケーションのプログラム処理を介して電子会議システムサーバに届き、その電子会議システムサーバにおいて届いた要求に基づいて電話アプリケーションやホワイトボード共有アプリケーションのプログラム処理が行われてユーザ希望のマルチモーダルサービスが各端末のユーザに提供される。

また、特許文献１には、複数の基本サービスを統合して仮想サービスを提供するサービス連携装置に係る技術が記載されている。この技術は、サービス連携装置において、提供しようとする仮想サービスを予め定義しておき、その仮想サービスを構成する基本サービスの個々の基本サービスオブジェクトをその定義に基づいて所定の順序で起動して行くことにより前記仮想サービスのための仮想サービスオブジェクトを生成し、生成された仮想サービスオブジェクトを実行すると、その中で個々の基本サービスをユーザが操作しつつそれらの基本サービスが仮想サービスとして統合されてユーザに提供しようとするものである。

特許文献２には、複数のサーバが提供するサービスの各々を各サーバのシステム環境に応じて連携させるサービス連携システムに係る技術が記載されている。
このサービス連携システムは、サービスパターン管理手段（サービスパターン管理部）が管理するマスタ情報と、サーバ状態管理手段（サーバ状態管理部）が所定の時間間隔で管理する複数のサーバとの最新の接続状態に関する情報とに基づいて最新のサービスパターンをサービスパターン管理手段で生成し、サーバ状態管理手段が管理するサーバ状態管理情報から算出されるサーバ稼動率とその閾値とに基づいて、サービスパターン管理手段で生成された最新のサービスパターンから利用者に提供可能なサービスをサービス生成手段（サービス生成部）で選択して生成し、そのサービスを利用者に提供するものである。

特許文献３には、グループ通信に参加する参加者の増減に応じて利用者端末が通信に利用する配送路を制御するようにして、利用者端末が逐次参加したり離脱したりできるグループ通信システムが記載されている。
このグループ通信システムを構成するセッション情報登録端末がセッション情報をセッション情報サーバに登録すると、セッション情報サーバがセッション識別子をセッション情報登録端末に付与する。セッション情報登録端末は、付与されたセッション識別子をセッションに参加する利用者携帯端末の各々へ順次通知し、それらの利用者端末は、受け取ったセッション識別子を元に自身の配送路情報をセッション情報サーバに登録すると共に、各利用者端末は、セッション情報サーバから他の利用者端末の配送路情報を取得する。これにより、利用者端末のセッションへの参加ができる。
セッションからの離脱は、当該利用者端末がその配送路情報の削除要求と同時にそのためのイベントを送信すると、セッション情報サーバは、削除要求対応の新たな配送路情報を生成して配送路情報の更新を行う一方、利用者端末でも、同様の配送路情報の更新を行う。これにより、当該利用者端末は、セッションから離脱することができる。
このようにして、特許文献３に記載のグループ通信システムは構成されている。
特開平１０−２３２８９９号公報 特開２００４−２６５０９６号公報 特開２００４−１６５７４２号公報

上述の電子会議システム例においては、マルチモーダルサービスの提供に供される端末の電子会議システムアプリケーションプログラムと、電子会議システムサーバの電話アプリケーションプログラムやホワイトボード共有アプリケーションプログラムとの関係が緊密であるので、電子会議システムサーバに新たなサービスのためのアプリケーションプログラムを追加することが容易にできない。つまり、そのシステムのままでは、既設のアプリケーション（サービス）とその他のアプリケーション（サービス）とを統合した新たなサービスを自在に提供するのには極めて難しさがある。

特許文献１に記載されるサービス連携装置は、個々の基本サービスオブジェクトを仮想サービスの定義に基づいて順次起動して仮想サービスオブジェクトを生成し、生成された仮想サービスオブジェクトの実行の中で個々の基本サービスをユーザが操作しつつそれらの基本サービスを仮想サービスとして統合させてユーザに提供しようとするものであるから、複数の基本サービスと仮想サービスとはそれらのオブジェクト間に一定の連携が形成されているものであり、予め仕組まれている基本サービス以外のサービスを統合させるのには難点がある。

また、特許文献２に記載されるサービス連携システムは、サービスパターン管理手段が管理するマスタ情報を元に複数のサービスパターンを生成し、その中から利用者に提供可能なサービスを選択して生成し、そのサービスを利用者に提供するものであるから、このシステムにおいて複数のサービスが連携されるとは言っても、生成されるサービスパターンの元になるマスタ情報は、サービスパターン管理手段によって管理されており、利用者がサービスパターンの生成に関与し得る手段はないから、利用者主導のサービスの連携はできない。

また、特許文献３に記載されるグループ通信システムは、そのセッション情報登録端末がセッション情報をセッション情報サーバに登録し、セッション情報サーバがセッション識別子をセッション情報登録端末に付与する。そのセッション情報登録端末が、付与されたセッション識別子をセッションに参加する利用者携帯端末の各々へ順次通知し、それらの利用者端末は、受け取ったセッション識別子を元に自身の配送路情報をセッション情報サーバに登録すると共に、各利用者端末は、セッション情報サーバから他の利用者端末の配送路情報を取得する。こうして、利用者端末のセッションへの参加を行うことができることを示しているが、そのセッションが、例えば、テレビ会議である場合に、そこで利用者端末間で送受される複数のメディアの統合形態については特に言及はないから従来技術を踏襲していると考えられ、複数メディアの統合には上述した技術的課題が残存していると言える。
このことは、セッションからの離脱についても言える。

この発明は、上述の事情に鑑みてなされたもので、端末とサービスサーバとの間のソフト上の相互依存性をほぼ解除してマルチモーダルサービスセッションを確立することのできるマルチモーダルサービスセッション提供方法及び提供システム並びにその制御プログラムを提供することを１つの目的としている。
また、この発明は、端末とサービスサーバとの間のソフト上の相互依存性をほぼ解除して端末にマルチモーダルサービスを提供し得るマルチモーダルサービス提供方法及び提供システム並びにその制御プログラムを提供することを他の目的としている。

上記課題を解決するために、請求項１記載の発明は、セッションに参加する複数の端末装置と、前記各端末装置にそれぞれ異なるサービスを提供する複数種のサービスサーバと、前記各端末装置と前記複数種のサービスサーバとの間に介設された統合サーバとを備えて、前記複数種のサービスサーバのサービスを統合して前記各端末装置に提供するためのマルチモーダルサービスセッションを前記複数種のサービスサーバと前記各端末装置との間に確立するマルチモーダルサービス提供方法に係り、統合された前記サービスの提供に際して、前記複数の端末装置のうち、任意の端末装置がセッション確立要求を発行すると、前記統合サーバは、発行された前記セッション確立要求に基づいて前記複数の端末装置と前記セッション確立要求対応の前記サービスサーバとの間に前記マルチモーダルサービスセッションを確立し、この後、前記サービスサーバの１つとしての発言権サーバが、特定の第１のサービスサーバが提供する第１のサービスに対する第１のフロア権の取得要求を発行したある端末装置に対して、当該第１のフロア権を与えたときは、当該ある端末装置が前記第１のフロア権を保持している限り、前記統合サーバが保持する予め決められたサービス連携条件に基づいて、特定の第２のサービスサーバが提供する第２のサービスに対する第２のフロア権も連携して当該ある端末装置に与えることを特徴としている。

請求項２記載の発明は、請求項１記載のマルチモーダルサービス提供方法に係り、前記発言権サーバは、前記ある端末装置が、前記第１のサービスサーバが提供する前記第１のサービスに対する前記第１のフロア権を保持している期間は、他の端末装置からの、前記第２のサービスサーバが提供する前記第２のサービスに対する前記第２のフロア権の要求を拒否することを特徴としている。

請求項３記載の発明は、請求項１記載のマルチモーダルサービス提供方法に係り、前記セッションが電子会議であり、前記第１のサービスサーバが音声転送サーバ、及び、前記第２のサービスサーバがホワイトボードアプリケーションサーバであると共に、前記第１のサービスに対する前記第１のフロア権とは、音声通話転送サービスに対する音声通話転送権であり、かつ、前記第２のサービスに対する前記第２のフロア権とは、ホワイトボード書き込みサービスに対するホワイトボードの書き込み権であることを特徴としている。

請求項４記載の発明は、請求項１記載のマルチモーダルサービス提供方法に係り、前記セッションがＴＶ電話通信又はＴＶ会議であり、前記第１のサービスサーバが音声転送サーバ、及び、前記第２のサービスサーバが画像転送サーバであると共に、前記第１のサービスに対する前記第１のフロア権とは、音声通話転送サービスに対する音声通話転送権であり、かつ、前記第２のサービスに対する前記第２のフロア権とは、ビデオ画像送信サービスに対する画像送信権であることを特徴としている。

請求項５記載の発明は、請求項１記載のマルチモーダルサービス提供方法に係り、前記統合サーバは、前記任意の端末装置からの前記セッション確立要求を解析し、該解析手段の解析結果に基づいて前記サービスサーバ向けの第1のセッション開始要求を前記サービスサーバ別に発行し、前記サービスサーバから返送される第1の前記セッション開始要求に対する応答情報を受信し、受信した前記応答情報に基づいて他の前記端末装置向けの第２のセッション開始要求を発行することを特徴としている。

請求項６記載の発明は、請求項１記載のマルチモーダルサービス提供方法に係り、複数種の前記サービスサーバの１つとしてグループ管理サーバを付設し、前記任意の端末装置から、前記統合サーバに対して、マルチモーダルサービスセッションに参加する端末装置を指定するグループ識別情報を含むセッション確立要求が発行されると、前記統合サーバは、発行された前記セッション確立要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、問い合わせた結果に基づいて前記サービスサーバに対して第３のセッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴としている。

請求項７記載の発明は、請求項１記載のマルチモーダルサービス提供方法に係り、複数種の前記サービスサーバの１つとしてグループ管理サーバを付設し、前記任意の端末装置から、前記統合サーバに対して、マルチモーダルサービスセッションに参加する端末装置を指定するグループ識別情報を含むセッション確立要求が発行されると、前記統合サーバは、発行された前記セッション確立要求に基づいてグループ識別情報を含むセッション開始要求を前記複数種のサービスサーバに対して発行し、前記複数種のサービスサーバは、前記セッション開始要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、問い合わせた結果に基づいて他の前記端末装置に対して第４のセッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴としている。

請求項８記載の発明は、セッションに参加する複数の端末装置と、前記各端末装置にそれぞれ異なるサービスを提供する複数種のサービスサーバと、前記各端末装置と前記複数種のサービスサーバとの間に介設された統合サーバとを備え、前記複数種のサービスサーバのサービスを統合して前記各端末装置に提供するためのマルチモーダルサービスセッションを前記複数種のサービスサーバと前記各端末装置との間に確立するマルチモーダルサービス提供システムに係り、統合された前記サービスの提供に際して、前記複数の端末装置のうち、任意の端末装置からセッション確立要求が発行されると、前記統合サーバは、発行された前記セッション確立要求に基づいて前記複数の端末装置と前記セッション確立要求対応の前記サービスサーバとの間に前記マルチモーダルサービスセッションを確立し、この後、前記サービスサーバの１つとしての発言権サーバが、特定の第１のサービスサーバが提供する第１のサービスに対する第１のフロア権の取得要求を発行したある端末装置に対して、当該第１のフロア権を与えたときは、当該ある端末装置が前記第１のフロア権を保持している限り、前記統合サーバが保持する予め決められたサービス連携条件に基づいて、特定の第２のサービスサーバが提供する第２のサービスに対する第２のフロア権も連携して当該ある端末装置に与える構成になされていることを特徴としている。

請求項９記載の発明は、請求項８記載のマルチモーダルサービス提供システムに係り、前記発言権サーバは、前記ある端末装置が、前記第１のサービスサーバが提供する前記第１のサービスに対する前記第１のフロア権を保持している期間は、他の端末装置からの、前記第２のサービスサーバが提供する前記第２のサービスに対する前記第２のフロア権の要求を拒否することを特徴としている。

請求項１０記載の発明は、請求項８記載のマルチモーダルサービス提供システムに係り、前記セッションが電子会議であり、前記第１のサービスサーバが音声転送サーバ、及び、前記第２のサービスサーバがホワイトボードアプリケーションサーバであると共に、前記第１のサービスに対する前記第１のフロア権とは、音声通話転送サービスに対する音声通話転送権であり、かつ、前記第２のサービスに対する前記第２のフロア権とは、ホワイトボード書き込みサービスに対するホワイトボードの書き込み権であることを特徴としている。

請求項１１記載の発明は、請求項８記載のマルチモーダルサービス提供システムに係り、前記セッションがＴＶ電話通信又はＴＶ会議であり、前記第１のサービスサーバが音声転送サーバ、及び、前記第２のサービスサーバが画像転送サーバであると共に、前記第１のサービスに対する前記第１のフロア権とは、音声通話転送サービスに対する音声通話転送権であり、かつ、前記第２のサービスに対する前記第２のフロア権とは、ビデオ画像送信サービスに対する画像送信権であることを特徴としている。

請求項１２記載の発明は、請求項８記載のマルチモーダルサービス提供システムに係り、前記統合サーバが、前記任意の端末装置からの前記セッション確立要求を解析する解析手段と、該解析手段の解析結果に基づいて前記サービスサーバ向けの第1のセッション開始要求を前記サービスサーバ別に発行する第1の発行手段と、前記サービスサーバから返送される第1の前記セッション開始要求に対する応答情報を受信する受信手段と、該受信手段で受信される前記応答情報に基づいて他の前記端末装置向けの第２のセッション開始要求を発行する第２の発行手段とを有して構成されることを特徴としている。

請求項１３記載の発明は、請求項８記載のマルチモーダルサービス提供システムに係り、複数種の前記サービスサーバの１つとしてグループ管理サーバが設けられ、前記任意の端末装置から、前記統合サーバに対して、マルチモーダルサービスセッションに参加する端末装置を指定するグループ識別情報を含むセッション確立要求が発行されると、前記統合サーバが、発行された前記セッション確立要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、問い合わせた結果に基づいて前記サービスサーバに対して第３のセッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴としている。

請求項１４記載の発明は、請求項８記載のマルチモーダルサービス提供システムに係り、複数種の前記サービスサーバの１つとしてグループ管理サーバが設けられ、前記任意の端末装置から、前記統合サーバに対して、マルチモーダルサービスセッションに参加する端末装置を指定するグループ識別情報を含むセッション確立要求が発行されると、前記統合サーバが、発行された前記セッション確立要求に基づいてグループ識別情報を含むセッション開始要求を前記複数種のサービスサーバに対して発行し、前記複数種のサービスサーバは、前記セッション開始要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、問い合わせた結果に基づいて他の前記端末装置に対して第４のセッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴としている。

請求項１５記載の発明は、請求項８記載のマルチモーダルサービス提供システムに係り、前記サービスサーバの１つとして、セッション保存サーバが含まれていることを特徴としている。

請求項１６記載の発明は、制御プログラムに係り、コンピュータに請求項１乃至７のいずれか一に記載のマルチモーダルサービス提供方法を実行させることを特徴としている。

請求項１７記載の発明は、制御プログラムに係り、コンピュータを制御して、請求項８乃至１５のいずれか一に記載のマルチモーダルサービス提供システムの各機能を実現させることを特徴としている。

この発明によれば、複数種のサービスサーバのうちの２以上のサービスサーバのサービスが統合されて端末装置に提供するのに先立って、端末装置からセッション確立要求を発行し、発行されたセッション確立要求に基づいて端末装置とセッション確立要求対応の前記サービスサーバとの間にマルチモーダルサービスセッションを統合サーバを介して確立し、その後に、各サービスサーバが提供するサービスを統合サーバサービスで連携させて統合させるようにしているから、端末とサービスサーバとの間のソフト上の相互依存性がほぼ解除され得るので、複数の既存サービスと新しいサービスとの柔軟な組み合わせを達成し得る。

この発明は、複数種のサービスサーバと端末装置との間に統合サーバを介設し、その統合サーバを介してマルチモーダルサービスセッションを確立し、そのマルチモーダルサービスセッションにおいて各サービスサーバが提供するサービスを統合サーバサービスで連携させて統合させるようにして構成される。

図１は、この発明の実施例１であるマルチモーダルサービス提供システムの基本的構成を示す図、図２は、同マルチモーダルサービス提供システムの具体的構成を示す図、図３は、同マルチモーダルサービス提供システムの統合サーバの構成を示す図、図４は、同マルチモーダルサービス提供システムの統合サーバを構成するセッション確立処理部の構成を示す図、図５は、同マルチモーダルサービス提供システムの統合サーバを構成するサービス連携処理部の構成を示す図、図６は、同マルチモーダルサービス提供システムのセッション確立時のタイミングチャート、また、図７は、同マルチモーダルサービス提供システムのセッション中のタイミングチャートである。

この実施例のマルチモーダルサービス提供システム１は、端末装置からの要求に応じて複数のサービスサーバが提供するそれぞれのサービスを統合サーバにより１つのマルチモーダルサービスとして端末装置に提供するシステムに係り、その基本的構成は、図１に示すように、端末装置（以下、端末という）２と、統合サーバ８と、各々、異なるサービスを提供する複数のサービスサーバ、例えば、サービスサーバ１２、１４及び１６とから成るが、具体的構成例としては、図２に示すように、端末２、４及び６と、統合サーバ８及び１０と、発言権サーバ１２と、音声転送サーバ１４と、ホワイトボードアプリケーションサーバ１６とから構成されている。
以下、この具体的構成例について説明する。

上述のマルチモーダルサービスとは、複数端末間で行われるコミニケーションサービスをいう。このコミニケーションサービスの例は、半二重の音声通話とホワイトボード共有サービスで構成されている。
半二重の音声通話は、ＰＴＴ（Ｐush Ｔo Ｔalk）サービスとして知られているものと同様のものである。
具体的に言うと、後述するサーバ１２、１４及び１６が提供するサービスが、マルチモーダルサービスに含まれる個々のサービスの例であり、統合サーバ８が、端末２及び４に対して、また、統合サーバ１０が端末６に対して上述のコミニケーションサービスを提供するようにしてマルチモーダルサービス提供システム１は構成されている。

端末２、４及び６は、マルチモーダルサービスを利用する端末である。それぞれの端末には、発言権クライアントと、音声送受信クライアントと、ホワイトボードアプリケーションクライアントとを実装して成る。
統合サーバ８及び１０は、端末２、４及び６に対して発言権サービスと音声転送サービスとホワイトボードアプリケーションサービスとを連携して統合されて成るコミニケーションサービス（マルチモーダルサービスの１つ）を提供する。

統合サーバ８及び統合サーバ１０は、図３に示すように、セッション確立処理部２０とサービス連携処理部３０とから構成されている。
セッション確立処理部２０は、図４に示すように、マルチモーダルサービスセッションの確立を行う処理部で、解析部２１と、第１の発行部１２と、受信部２３と、第２の発行部２４とから構成される。

解析部２１は、端末２、４及び６からのメッセージ形式のセッション確立要求を受信して解析する処理部である。セッション確立要求には、複数のサービスサーバのサービスを利用する旨の記述（詳細は後述）が含まれている。
第１の発行部２２は、解析部２１での解析結果から各サービスサーバ１２、１４及び１６が解釈できる書式で、かつ、サービスサーバ別のセッション開始要求をメッセージ形式で生成し、対応サービスサーバに発行する処理部である。

受信部２３は、各サービスサーバ１２、１４及び１６からのレスポンス（応答情報）、すなわち、端末に向けてのメッセージ形式のセッション開始要求を受信する処理部である。
第２の発行部２４は、受信部２３で受信した各レスポンスを統合してその結果を端末２、４及び６に発行する処理部である。この処理部で行うレスポンスの統合には、各サービスサーバ１２、１４及び１６が各サービスサーバ毎の所要のタイミングでレスポンスを返信して来るので、全レスポンスがあるまでの待ち受けをし、応答がないサービスサーバがある場合には、そのサービスがない状態で端末２、４及び６にレスポンスを発行する等の判断が含まれる。

サービス連携処理部３０は、図５に示すように、モニター部３１と、決定部３２と、発行部３３と、保存部３４とから構成される。
モニター部３１は、サービスサーバ１２、１４及び１６が提供するサービスの制御情報と、端末２、４、６から送出される送出情報、例えば、音声データ、ホワイトボードの書き込み命令等とをモニターする処理部である。制御情報は、サービスの状態情報が含まれる。
決定部３２は、モニター部３１でモニターした制御情報及び送出情報と保存部３４のサービス連携条件（以下、ポリシ情報又はポリシともいう）とに基づいて、すなわち、制御情報及び送出情報とどのような関係にあるかに基づいてサービス連携の仕方を決定する処理部である。
サービス連携条件は、上記制御情報及び上記送出情報と所定の関係で予め決められる。
発行部３３は、決定部３２で決定されたサービス連携の仕方を必要なサービスサーバ及び端末に対して発行する処理部である。
保存部３４は、決定部３２でのサービス連携の仕方の決定に必要なサービス連携のポリシ情報を保存して決定部３２に提供する処理部である。

セッション確立処理部２０も、また、サービス連携処理部３０も、プログラムの処理で構成されるもので、そのプログラムは、統合サーバ８及び１０の不揮発性記憶装置（例えば、不揮発性メモリ）に記憶され、統合サーバ８及び１０のＣＰＵ乃至プロセッサによって統合サーバ８及び１０の揮発性メモリに読み出されてＣＰＵ乃至プロセッサで実行されることによって、上述の各処理部の機能が遂行されて行くようにして構成されている。

また、統合サーバ８、１０の接続ポートにサービスサーバを接続するには、統合サーバに予めサービスサーバの情報を登録して置く必要がある。その情報は、サービスサーバのアドレス、サービスサーバで提供するサービスの種類（サービス名）及びセッション確立のための情報（セッション確立時に統合サーバがサービスサーバに送るべき情報）である。

発言権サーバ１２は、複数端末間で行われるセッション中の或る時間にどの端末がメディアを送信するかを制御する、すなわち、同種のサービスの競合を解決し、複数のフロア権取得要求が発行されその競合が解決されて許容される端末に対しフロア権を与える制御を行うサービスを提供するサーバである。
音声転送サーバ１４は、セッション参加中の１つの端末が送信した音声データをセッション参加中の他の端末に転送するサービスを提供するサーバである。
ホワイトボードアプリケーションサーバ１６は、複数端末ユーザがそれぞれの端末画面上で同一の絵や写真を見たり、それらの絵や写真の上に線や文字を書き込んだりするサービスを提供するサーバである。

次に、図２乃至図７を参照して、この実施例の動作について説明する。
先ず、マルチモーダルサービス提供システム１がコミニケーションサービス（マルチモーダルサービスの１つの例）を提供するのに先立って行われるセッション確立時の動作について、図６を参照して説明する。
なお、この実施例において、セッション確立に必要なシグナリング、例えば、セッション確立要求に対する確認応答等は、公知の一般的な手順の下で執り行われるものであり、そのこと自体にこの発明があるのではないので、説明を簡潔にするために、以下の動作説明の中ではその逐一の説明は省略する。
また、セッションの確立及び終了は、例えば、ＳＩＰ（Ｓession Ｉnitiation Ｐrotcol）で行われる。

マルチモーダルサービス提供システム１が構築されるときに、その統合サーバ８、１０に接続されるサービスサーバの情報（上述した情報）が、予め、統合サーバ８、１０に登録されてそれらのサービスサーバが接続される。
したがって、一旦、マルチモーダルサービス提供システム１ が所要のサービスサーバを接続した後であっても、他のサービスサーバを接続してマルチモーダルサービスを提供しようとするときには、そのサービスサーバの情報を統合サーバに登録しさえすれば、そのサービスサーバが提供するサービスを加えて拡張されたマルチモーダルサービスの提供が可能になる。

上述のマルチモーダルサービス提供システム１の端末２からセッション確立要求が統合サーバ８に対して発行される（図６の（１））。
この要求の中には、セッション確立開始情報、例えば、端末２、４及び６が、確立されたセッションの中でサービスサーバ１２、１４及び１６が提供するサービスを利用することになるセッションで、そのセッション確立を開始する旨を合図する情報が含められている。
また、上記要求の中には、統合サーバ８が連携して統合されたマルチモーダルサービスを端末に対して提供するのを可能にするサーバ選択情報も含まれる。サーバ選択情報としては、例えば、サービスサーバ１２、１４及び１６のアドレスであっても、また、それらサーバが提供するサービスのサービス名であってもよい。

統合サーバ８は、端末２からのセッション確立要求を受け取り、サービスサーバ１２、１４及び１６からのサービスを受けたいマルチモーダルサービスセッション（サービスセッション）を開始するに当たって、サービスサーバ１２、１４及び１６の各々に対してセッション開始要求を発行する（図６の（２−１）、（２−２）、（２−３））。
このセッション開始要求には、マルチモーダルサービスセッションに参加する端末は２、４及び６であることを記述してある。

このことは、図６では、参照番号（２−１）、（２−２）及び（２−３）で示され、その枝番号がサービスサーバ１２、１４及び１６に対して送られる要求であることを示しており、これらは、統合サーバ８が各サービスサーバに対して発行する要求としては論理的には互いに同位であることを表したものである。

サービスサーバ１２、１４及び１６は、統合サーバ８からのセッション開始要求を受け取り、統合サーバ８は、端末２、４及び６が参加するセッションを確立するために、それぞれの各端末に向けたセッション開始要求を発行する。
この要求は、図６においては、（３−１）、（３−２）及び（３−３）として示してある。セッション開始要求（３−１）、（３−２）及び（３−３）は、各端末が接続されている統合サーバ８、１０に対して送られる。

統合サーバ８、１０は、自身の配下に接続されている端末に対するセッション開始要求を受け取ると、それぞれの端末に対してマルチモーダルサービスセッション開始要求を発行する（図６の（４））。
以上の処理手順を踏むことにより、マルチモーダルサービスセッションが確立する（図６の（５））。

次に、上述のようにして、マルチモーダルサービスセッションが確立された状態におけるマルチモーダルサービスの提供動作を説明する。
このマルチモーダルサービスの提供動作は、基本的には、上述のＳＩＰによるが、これに限らない。

上述のようにして、セッション参加の端末とサービスサーバとの間に通信回線が形成された状態において、マルチモーダルサービスが開始されているとする。
このマルチモーダルサービスの提供は、一般的には、次のようにして行われる。
マルチモーダルサービスの提供に際して、任意の端末が、フロア権を取得し得る状態にあるとき、その端末からマルチモーダルサービスを構成する或る１つのサービスについてのフロア権取得要求が、時系列上で順次、統合サーバ８、１０を径由して発言権サーバ１２に到達する。
その発行は、１つの端末から行われる場合もあれば、複数の任意の端末から行われる場合もある。

そのフロア権取得要求が、１つの端末から発行されるときに、発言権サーバ１２がいずれの端末にも与えていないならば、発言権サーバ１２において同種のロア権取得要求の競合はないから、発言権サーバ１２は、上記１つの端末に対して上記フロア権取得要求対応のフロア権を与える。
また、そのフロア権取得要求が、複数の端末から時系列上で前後して発行されるとき、発言権サーバ１２においてフロア権取得要求対応のフロア権取得要求の競合が生じるので、その競合は、発言権サーバ１２において公知の手順に従って処理されて決まる端末に対してフロア権が与えられる。
すなわち、先行する端末に対して、既に、フロア権を発行している場合には、後続してフロア権取得要求を送信して来ている端末（以下、後続端末という）に対してはフロア権獲得失敗（フロア権発行拒否）通知を後続端末に対して返送する。

上記のフロア権を与えられる端末に対しては、発言権サーバ１２からフロア権獲得成功通知が送信されると共に、フロア権を要求しなかったその他の端末に対しては、フロア権が取得されたことの通知（フロア権取得済み通知）が送信される。

フロア権獲得成功通知と、フロア権獲得失敗通知と、フロア権取得済み通知とは、統合サーバ８、１６を径由して端末２、４、６に送信される。これらの送信が行われる場合、フロア権取得済み通知を受ける端末には、フロア権獲得失敗通知を受ける端末も含まれる。これら双方を受ける端末には、フロア権取得済み通知と、フロア権獲得失敗通知とは、若干の時間差をもって到達する。

各端末に上記の各通知が到達すると、フロア権を取得した端末は、マルチモーダルサービスセッションに参加する他の端末に提供するためのデータ（当該端末からの送出情報）を対応するサービスサーバに対して送信することができるようになる。
また、その他の端末は、自端末以外のいずれかの端末がフロア権を取得したことを認識することができる。

このようにして、フロア権を与えられてマルチモーダルサービスを構成する複数のサービスが、時系列上で順次、提供されようとするとき、その提供されんとする異種のサービス間に競合が発生することがある。
この競合は、統合サーバ８、１０で連携処理され、マルチモーダルサービスを構成する各サービスが順序立てられて各端末にマルチモーダルサービスとして提供される。

その連携処理について以下説明する。
各サービスサーバによるサービスの提供は、独立に行われようとする。そのサービスサーバが提供しようとするサービスについての制御情報及び端末が送信（送出）する送出情報が、サービス連携処理部３０のモニタ部３１でモニタされている。
モニタ部３１から上記モニタ結果を受け取る決定部３２は、モニタ結果から保存部３４のポリシを参照してサービス連携の仕方を決定する。
こうして決定されたサービス連携の仕方は、発行部３３から対応するサービスサーバ及び端末に対して発行する。

以下に、サービス連携処理部３０での処理例を説明する。
例えば、遠隔会議サービスにおいて、例えば、ポリシとして、「グループ音声通話のフロア権である音声通話転送権とホワイトボードのフロア権である書き込み権は、同じ端末に与えるようにし、ホワイトボードの書き込み権は音声通話のフロア権に従属する」というポリシが、保存部３４に設定・保存してあるとする。この設定は、例えば、事前設定である。

この条件の下で、上述のような同種のサービス、例えば、音声通話についてのフロア権取得要求の競合が発言権サーバ１２で処理されて或る端末に音声通話についてのフロア権が与えられ、かつ、その或る端末からホワイトボードアプリケーションサーバ１６への書き込み命令が送信されたとすると、或る端末が音声通話のフロア権を取得したことをモニタ部３１がモニタし、その時には同じ端末に対してホワイトボード書き込み権が与えられた状態になるので、同端末によって音声通話フロア権の取得が維持されている期間に、同端末からホワイトボードの書き込み命令をモニタ部３１がモニタしたとしたら、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と書き込み権とを同じ端末が持っている」状態に合致するので、ホワイトボードの書き込み命令を同じ端末に提供させるというサービス連携の仕方を決定する。このサービス連携の仕方は、発行部３３からホワイトボードアプリケーションサーバ１６に転送される。

上記遠隔会議サービスの例におけるポリシの例において、或る端末が音声通話のフロア権を取得したことをモニタ部３１がモニタし、その時には同じ端末に対してホワイトボード書き込み命令が与えられた状態になるので、同端末によって音声通話フロア権の取得が維持されている期間に、他の端末からホワイトボードの書き込み命令をモニタ部３１がモニタしたとしたら、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と書き込み権とを同じ端末が持っている」状態に合致しないので、ホワイトボードの書き込み情報を他の端末に提供させないというサービス連携の仕方（或るいは、「上記ホワイトボードの書き込み命令を発行した端末が音声通話のフロア権を次に取得するまでその書き込み命令を保持させるというサービス連携の仕方」）を決定する。このサービス連携の仕方も、発行部３３からホワイトボードアプリケーションサーバ１６に転送される。

また、遠隔会議サービスにおいて音声通話のフロア権とホワイトボードの書き込み権とが従属しないの例として、「グループ音声通話のフロア権とホワイトボードの書き込み権は同じ端末に与えるようにする」というポリシが設定されていたとすれば、或る端末が音声通話のフロア権を取得したことをモニタしたときは、同じ端末がホワイトボードの書き込み権を要求できる状態であり、もし同じ端末からホワイトボードの書き込み権が要求されれば、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と書き込み権とを同じ端末が持っている」状態に合致するので、「その書き込み権の要求は採用される、すなわち、その端末にホワイトボードアプリケーションサーバのサービスについてのフロア権が与えられるが、他の端末がホワイトボードの書き込み権を要求した場合にはその要求を拒否させる」というサービス連携の仕方を決定する。このサービス連携の仕方も、発行部３３からホワイトボードアプリケーションサーバ１６に転送される。

また、遠隔会議サービスでの音声通話のフロア権とホワイトボードの書き込み権とが従属しない場合に、音声通話のフロア権とホワイトボードの書き込み権の要求が同時に発行されるときの例（以下、上記例という）において、「グループ音声通話のフロア権とホワイトボードの書き込み権は同じ端末に与えるようにする」というポリシが設定されていたとすれば、或る端末が音声通話のフロア権を取得したことをモニタし、かつ、異なる端末がホワイトボードの書き込み権を取得したことをモニタしたときには、決定部３２は、上記ポリシに照らし会わせて、「直ちに両フロア権の取得が無効にする」というサービス連携の仕方を決定する。具体的には、決定部３２は、両フロア権の開放要求を両端末に指示する決定を行う。

上記例において、サービス連携の仕方の他の例として、或る端末が音声通話のフロア権を取得したことをモニタしたときには、「同じ端末がホワイトボードの書き込み権を要求していなくても、同端末に代わって統合サーバ８、１０がホワイトボードの書き込み権を要求、取得する」というサービス連携の仕方を決定する。

また、ＴＶ電話サービスにおいて、例えば、ポリシとして、「グループ音声通話のフロア権である音声通話転送権とビデオカメラで撮像したビデオ画像の画像送信権は、同じ端末に与えるようにする」というポリシが、保存部３４に設定・保存してあるとする。
この条件の下で、上述のような同種のサービス（例えば、音声通話）についてのフロア権取得要求の競合が発言権サーバ１２で処理されて或る端末に音声通話についてのフロア権が与えられ、かつ、その或る端末から画像転送サーバ（このサーバも他のサービスサーバと同様にして統合サーバ８、１０に接続し得るもの）へのビデオ画像が送信されたとすると、或る端末が音声通話のフロア権を取得したことをモニタ部３１がモニタし、これと同時に同じ端末からビデオ画像が送信されていることをモニタ部３１がモニタしたとしたら、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と画像送信権とを同じ端末が持っている」状態に合致するので、ビデオ画像を同じ端末に提供させるようにサービス連携の仕方を決定する。このサービス連携の仕方は、発行部３３から図示しない画像送信サーバに転送される。

上記ＴＶ電話サービスの例におけるポリシの例において、或る端末が音声通話のフロア権を取得したことをモニタ部３１がモニタし、これと同時に他の端末からビデオ画像をモニタ部３１がモニタしたとしたら、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と画像送信権とを同じ端末が持っている」状態に合致しないので、ビデオ画像を他の端末に提供しないようにサービス連携の仕方を決定する。このサービス連携の仕方も、発行部３３から図示しない画像送信サーバに転送される。

また、ＴＶ会議サービスについても、上述した２つの例におけるポリシ制御によるサービス連携を組み合わせて提供することができる。
なお、いずれの例におけるポリシだけでなく、提供しようとするマルチモーダルサービスに応じた各種各様のポリシでマルチモーダルサービスを提供することができる。

上述したような連携処理により、マルチモーダルサービスを構成する各サービスは、統合サーバ８、１０で連携されて統合された新しいサービス、すなわち、マルチモーダルサービスとしてセッション参加の各端末に提供される。

そして、上述したマルチモーダルサービスの提供が行われ、その或るサービスについてのフロア権を取得している端末が、そのフロア権を開放するに際しては、その端末からフロア権開放要求が発行され、そのフロア権開放要求は、統合サーバを径由して発言権サーバ１２に到達する。
発言権サーバ１２は、全端末に対して当該フロア権が開放されたことを通知する。
このようにしてマルチモーダルサービスを構成する各サービスについてのフロア権の開放が行われると、開設されていたマルチモーダルサービスセッションは終了する。

上述した遠隔会議サービスの具体的な例について、図７を参照して以下に説明する。
端末２がフロア権としての発言権取得要求を発行したとする（図７の（６ａ））。その発言権取得要求は、統合サーバ８を径由して発言権サーバ１２に到達する。
発言権サーバ１２は、その時点でそのセッション中の発言権取得端末がないとすると、端末２に発言権を与えることとし、発言権が端末２に与えられたことを全セッション参加端末（２、４及び６）に通知するために発言権取得済み通知を発行する（図７の（６ｂ））。発言権取得済み通知（図７の（６ｂ））は、各端末が各別に接続されている統合サーバ８及び１０を径由して対応する端末に送られる。
これにより、この時点でのセッション発言権は、端末２が持っている状態に遷移する。

このようにして発言権を与えられた端末２は、サービスサーバ１４及び１６が提供する各サービスにアクセスすることが可能になる。
サービスサーバ１４及び１６が提供するサービスは、それぞれ、この実施例の構成（図２）からして、サービスサーバ１４については音声データの送信（７ａ）であり、サービスサーバ１６についてはホワイトボードアプリケーションで共有する画像の操作命令（８ａ）である。

端末から発せられた音声データや画像操作命令は、統合サーバ８を介して対応するサービスサーバ１４、１６に転送される。
その後に、音声転送サーバ１４は、音声データ（７ａ）を他のセッション参加端末に転送し（７ｂ）、ホワイトボードアプリケーションサーバ１６は、画像操作命令（８ａ）を他のセッション参加端末に転送する（８ｂ）。

上述したような発言権が端末２に付与されている状態において、たとえば端末６がホワイトボードアプリケーションサーバ１６に対する書き込み命令を発行するとしたならば、統合サーバＳＳ２のモニター部３１が上述の書き込み命令及び発言権サーバ１２の制御情報をモニターし、その時点での発言権取得端末が端末２であることを認識しているので、保存部３４のポリシ、例えば、「端末２に発言権を与えており、端末６から書き込み命令が発行されたなら、ホワイトボードアプリケーションサーバ１６に書き込み命令を転送させない」が保存されているとすると、決定部３２は、そのポリシを参照してその書き込み命令は統合サーバ１０の発行部３３からホワイトボードアプリケーションサーバ１６に転送されない。

上述のようにして確立され、マルチモーダルサービスに係る所要のサービス提供が終了すると、いずれかの端末から発言権解放要求（１０ａ）が発行されると、上述した発言権取得要求（６ａ）の場合と同様にその発言権開放要求が処理され、セッション中のいずれの端末へも発言権開放通知が統合サーバ８から転送され（１０ｂ）、これらいずれの端末も発言権を持っていない状態に遷移する。
このようにしてマルチモーダルサービスを構成する各サービスについてのフロア権としての発言権の開放が行われると、開設されていたマルチモーダルサービスセッションは終了する。

このように、この実施例の構成によれば、マルチモーダルサービスの提供に際して、サービスサーバについての所定の情報を統合サーバに登録した後、セッション開始要求、すなわち、端末からのサービス利用要求をセッション確立処理部で該要求対応のサービスサーバに振り分け、前記要求を振り分けられたサービスサーバが提供するサービスをサービス連携処理部で連携させて統合させるようにしているから、端末とサービスサーバとの間のソフト上の相互依存性がほぼ解除され得るので、複数の既存サービスと新しいサービスとの柔軟な組み合わせを達成し得る、すなわち、複数の既存サービスへの新しいサービスの統合に際して新しいサービスの追加を容易にすることが可能になる。

また、上述したように、統合サーバにおいてマルチモーダルサービスの提供を受けたい端末とその提供に係わるサービスサーバとの間にマルチモーダルサービスセッションを確立し、統合サーバでマルチモーダルサービスのための各サービスを連携し統合させているから、複数のサービスを統合した新しいサービスを提供することができる。
さらに、端末から統合サーバへ送信されるセッション確立要求には、複数のサービスを利用する旨が記述されるから、統合サーバへ複数のサービスを同時に要求することができる。

また、上述したように、統合サーバで個々のサービスの連携を為して統合（協調）されるから、端末で個々のサービスを利用する場合に比して、ユーザに取ってのサービス品質を向上させることができる。
また、ネットワーク内に同じサービスを提供するサーバを複数配置することが容易にできるので、負荷分散が容易となる。
また、サービスサーバの容易な追加により、新しいサービスを容易に導入することが可能である。

図８は、この発明の実施例２であるマルチモーダルサービス提供システムの構成を示す図である。
この実施例の構成が、実施例１のそれと大きく異なる点は、マルチモーダルサービスのセッション開始要求の中のセッション参加端末の指定をグループＩＤで行い、そのセッション開始要求を受信する統合サーバがグループ管理サーバに対してセッション参加端末をグループＩＤで問い合わせるようにした点である。
すなわち、この実施例のマルチモーダルサービス提供システム１Ａは、図８に示すように、統合サーバ８Ａ及び１０Ａにグループ管理サーバ１８を新たに接続するほか、各端末２Ａ、４Ａ及び６Ａ、各統合サーバ８Ａ及び１０Ａ及びグループ管理サーバ１８は次のように構成する。

各端末２Ａ、４Ａ及び６Ａのいずれかが、セッション確立要求を発行するとき、そのセッションに参加する端末のグループＩＤ、例えば、３つの端末２Ａ、４Ａ及び６Ａを識別するグループＩＤをそのセッション確立要求に記述して対応する統合サーバ８Ａ、１０Ａに送出する構成とする。
また、各統合サーバ８Ａ及び１０Ａのいずれも、セッション確立時に端末から送られて来るセッション確立要求に記述されているグループＩＤでグループ管理サーバ１８に問い合わせ、グループＩＤで識別されるグループの端末の各々を認識し、その結果に基づいて各サービスサーバに対してセッション開始要求を発行する構成とする。

そして、グループ管理サーバ１８は、各統合サーバ８Ａ、１０ＡからグループＩＤによる問い合わせに対して、当該グループＩＤで指定されるグループの端末の識別情報を各統合サーバ８Ａ、１０Ａに返送する構成とする。
この構成以外のこの実施例の構成は、実施例１と同じであるので、同一の構成部分には同一の参照符号を付して、その逐一の説明は省略する。

次に、図８を参照して、この実施例の動作について説明する。
上述したところから明らかなように、この実施例と実施例１との差異は、端末、例えば、２Ａから発行されるセッション確立要求の内容が異なる。
すなわち、この実施例では、セッションに参加する端末の各々は、予めグループに纏められており、そのグループＩＤをセッション確立要求の中で記述するようにした点である。

そのセッション確立要求がマルチモーダルサービスを受けたい端末、例えば、２Ａから発行されると、当該セッション確立要求を受け取った統合サーバ８Ａ、１０Ａは、セッション確立要求の中のグループＩＤでグループ管理サーバ１８を問い合わせる。
これに対して、グループ管理サーバ１８は、グループＩＤで判別される端末の識別情報を統合サーバ８Ａ、１０Ａに対して回答する。

マルチモーダルサービスを受けたい端末の識別情報の回答を受けた統合サーバ８Ａ、１０Ａは、実施例１で説明したと同様にして、それぞれのサービスサーバ１２、１４、１６に対してセッション開始要求を発行し、マルチモーダルサービスのセッション確立処理を行う。
このマルチモーダルサービスのセッション確立処理が完了した後に、実施例１で説明したと同様のマルチモーダルサービスセッションの動作が当該セッションに参加している端末と各サービスサーバ１２、１４、１６との間で執り行われる。

このように、この実施例の構成によれば、端末で発行するセッション確立要求の中に記述されるグループＩＤについての端末の識別を統合サーバからグループ管理サーバに対して問い合わせるようにして、実施例１と同効を得ることができる。

図９は、この発明の実施例３であるマルチモーダルサービス提供システムの構成を示す図である。
この実施例の構成が、実施例１のそれと大きく異なる点は、セッション開始要求のセッション参加端末の指定をグループＩＤで行い、そのセッション開始要求を統合サーバがサービスサーバに発行し、サービスサーバがグループ管理サーバに対してセッション参加端末をグループＩＤで問い合わせるようにした点である。

すなわち、この実施例のマルチモーダルサービス提供システム１Ｂは、図９に示すように、グループ管理サーバ１８Ｂをサービスサーバ１２Ｂ、１４Ｂ及び１６Ｂに接続し、サービスサーバ１２Ｂ、１４Ｂ及び１６ＢからグループＩＤでセッション参加端末の各々についての問い合わせがあったときそれに対する回答を各サービスサーバに返すようにして構成される。

そのために、端末２Ｂ、４Ｂ及び６Ｂは、セッション参加端末を識別するグループＩＤをセッション確立要求の中に記述して発行する。統合サーバ８Ｂ及び１０Ｂは、端末２Ｂ、４Ｂ及び６Ｂからセッション確立要求を受け取り、そのグループＩＤで各サービスサーバ１２Ｂ、１４Ｂ及び１６Ｂに対してセッション開始要求を発行する。セッション開始要求を受け取ったサービスサーバ１２Ｂ、１４Ｂ及び１６Ｂは、そこに記述されているグループＩＤで識別される端末の各々をグループ管理サーバ１８Ｂに問い合わせてセッションに参加する端末の各々を認識する。
この構成以外のこの実施例の構成は、実施例１と同じであるので、同一の構成部分には同一の参照符号を付して、その逐一の説明は省略する。

次に、図９を参照して、この実施例の動作について説明する。
上述したところから明らかなように、この実施例と実施例１との差異は、端末、例えば、２Ａから発行されるセッション確立要求の内容が異なる。
すなわち、この実施例では、セッションに参加する端末の各々は、予めグループに纏められており、そのグループＩＤをセッション確立要求の中で記述するようにしている。

そのセッション確立要求が、マルチモーダルサービスを受けたい端末、例えば、２Ｂから発行されると、そのセッション確立要求の中にグループＩＤが記述されて発行される。
このセッション確立要求を受け取った統合サーバ８Ｂ、１０Ｂは、セッション確立要求の中のグループＩＤでサービスサーバ１２Ｂ、１４Ｂ、１６Ｂに対してセッション開始要求を発行する。

そのサービスサーバ１２Ｂ、１４Ｂ、１６Ｂは、グループＩＤで識別される端末についてグループ管理サーバ１８Ｂへ問い合わせる。
グループ管理サーバ１８Ｂは、問い合わせに対する回答をサービスサーバ１２Ｂ、１４Ｂ、１６Ｂに行う。
サービスサーバ１２Ｂ、１４Ｂ、１６Ｂは、回答対象の端末が接続されている統合サーバ８Ｂ、１０Ｂに対してマルチモーダルサービスセッション開始要求を発行する。

以上の処理手順により、マルチモーダルサービスセッションが確立されてそのセッション、すなわち、セッション参加端末間のコミニケーションセッションが開始される。
このマルチモーダルサービスセッション中の動作は、実施例１と同様なので、その逐一の説明は省略する。

このように、この実施例の構成によれば、端末で発行するセッション確立要求の中に記述されるグループＩＤについての端末の識別をサービスサーバからグループ管理サーバに対して問い合わせるようにしても、実施例１と同効を得ることができる。

図１０は、この発明の実施例４であるマルチモーダルサービス提供システムの構成を示す図、図１１は、同マルチモーダルサービス提供システムのセッション確立時のタイミングチャート、図１２は、同マルチモーダルサービス提供システムのセッション中のタイムチャートである。

この実施例の構成が、実施例１のそれと大きく異なる点は、マルチモーダルサービスのセッション内容を記録して保存し、セッション内容を参照し得るようにした点である。
すなわち、この実施例のマルチモーダルサービス提供システム１Ｃは、図１０に示すように、セッション保存サーバ１８Ｃを統合サーバ８に接続し、端末２及び４からのセッション内容の問い合わせに対してセッション保存サーバ１８Ｃに保存されているセッション内容を返送するようにして構成される。
この構成以外のこの実施例の構成は、実施例１と同じであるので、同一の構成部分には同一の参照符号を付して、その逐一の説明は省略する。

次に、図１０乃至図１１を参照して、この実施例の動作について説明する。
先ず、マルチモーダルサービス提供システム１Ｃがコミニケーションサービス（マルチモーダルサービスの１つの例）を提供するのに先立って行われるセッション確立時の動作について、図１１を参照して説明する。
なお、この実施例において、セッション確立に必要なシグナリング、例えば、セッション確立要求に対する確認応答等は、実施例１と同様であり、説明を簡潔にするために、以下の動作説明の中ではその逐一の説明は省略する。

上述のマルチモーダルサービス提供システム１Ｃが構築されるときに、その統合サーバ８にサービスサーバとしてのセッション保存サーバ１８Ｃが接続されるが、その接続の際にサービスサーバ１８Ｃの情報（実施例１で説明した情報）が、予め、統合サーバ８に登録される。

このようにしてマルチモーダルサービス提供システム１Ｃが構築された後、端末１からセッション確立要求が統合サーバ８に対して発行される（図１１の（１））。
この要求の中には、セッション確立開始情報、例えば、端末２、４及び６が、確立されたセッションの中でサービスサーバ１２、１４、１６及び１８Ｃが提供するサービスを利用することになるセッションで、そのセッション確立を開始する旨を合図する情報が含められている。

また、上記要求の中には、統合サーバ８、１０が連携して統合されたマルチモーダルサービスを端末に対して提供するのを可能にするサーバ選択情報も含まれる。サーバ選択情報としては、例えば、サービスサーバ１２、１４、１６及び１８Ｃのアドレスであっても、また、それらサーバが提供するサービスのサービス名であってもよい。
例えば、そのサービス名から統合サーバ８が適切なサービスサーバを選択する。

統合サーバ８は、端末２からのセッション確立要求を受け取り、サービスサーバ１２、１４、１６及び１８Ｃを利用した、すなわち、これらサービスサーバについてのサービスを受けたいマルチモーダルサービスセッション（サービスセッション）を開始するに当たって、サービスサーバ１２、１４、１６及び１８Ｃの各々に対してサービスセッション開始要求を発行する（図１１の（２−１）、（２−２）、（２−３）、（２−５））。
この図１１に示される参照番号（２−１）、（２−２）、（２−３）及び（２−５）の枝番号がサービスサーバ１２、１４、１６及び１８Ｃに対して送られる要求であることを示しており、これらは、統合サーバ８が各サービスサーバに対して発行する要求としては論理的には互いに同位であることを表したものである。

上述のようにしてセッション保存サーバ１８Ｃに対して発行されるセッション開始要求（２−５）には、セッションへの参加端末が端末２、４及び６であることと、このセッションでセッション保存サーバ１８Ｃが保存すべきサービスの種別は、発言権サーバ１２、音声転送サーバ１４及びホワイトボードアプリケーションサーバ１６が提供するサービスであることが記述されている。
また、サービスサーバ１２、１４及び１６に対して発行されるセッション開始要求には、マルチモーダルサービスセッションに参加する端末は端末２、端末４、端末６及びセッション保存サーバ１８Ｃであることが記述されている。したがって、セッション保存サーバ１８Ｃは、サービスサーバ１２、１４及び１６から見ると１つの端末として見えるようになる。

サービスサーバ１２、１４及び１６は、統合サーバ８からのセッション開始要求を受け取り、統合サーバ８は、端末２、４及び６が参加するセッションを確立するために、それぞれの各端末に向けたセッション開始要求を発行する。
この要求は、図１１においては、（３−１）、（３−２）及び（３−３）として示してある。セッション開始要求（３−１）、（３−２）及び（３−３）は、各端末が接続されている統合サーバ８、１０に対して送られる。

統合サーバ８、１０は、自身の配下に接続されている端末に対するセッション開始要求を受け取ると、それぞれの端末とセッション保存サーバ１８Ｃに対してマルチモーダルサービスセッション開始要求を発行する（図１１の（４））。
以上の処理手順を踏むことにより、マルチモーダルサービスセッションが確立する（図１１の（５））。

上述したようにしてマルチモーダルサービスセッションが確立された後のマルチモーダルサービスセッションを、上述した同様の遠隔会議サービスの具体的な例について、図１２を参照して以下に説明する。
端末２がフロア権としての発言権取得要求を発行したとする（図１２の（６ａ））。その発言権取得要求は、統合サーバ８を介して発言権サーバ１２に到達する。
発言権サーバ１２は、その時点でそのセッション中の発言権取得端末がないとすると、端末２に発言権を与えることとし、発言権が端末２に与えられたことを全セッション参加端末（２、４、６及び１８Ｃ）に通知するために発言権取得済み通知を発行する（図１２の（６ｂ）、（６ｂ−５））。発言権取得済み通知（図１２の（６ｂ））は、各端末が各別に接続されている統合サーバ８及び１０を介して対応する端末に送られ、また、発言権取得済み通知（図１２の（６ｂ−５））は、統合サーバ８からセッション保存サーバ１８Ｃに送られる。
これにより、この時点でのセッション発言権は、端末２が持っている状態に遷移する。

このようにして発言権を与えられた端末２は、サービスサーバ１４及び１６が提供する各サービスにアクセスすることが可能になる。
サービスサーバ１４及び１６が提供するサービスは、それぞれ、この実施例の構成（図１０）からして、サービスサーバ１４については音声データの送信（７ａ）であり、サービスサーバ１６についてはホワイトボードアプリケーションで共有する画像の操作命令（８ａ）である。

端末から発せられた音声データや画像操作命令は、統合サーバ８を介して対応するサービスサーバ１４、１６に転送される。
その後に、音声転送サーバ１４は、音声データ（７ａ）を他のセッション参加端末に転送し（７ｂ）、ホワイトボードアプリケーションサーバ１６は、画像操作命令（８ａ）を他のセッション参加端末に転送する（８ｂ）。
また、統合サーバ８は、セッション保存サーバ１８Ｃに対して記録・保存のために音声データ及び画像操作命令を転送する。その音声データは、図１２中には（７ｂ−５）で示し、画像操作命令は、（８ｂ−５）で示してある。

上述のようにして確立され、マルチモーダルサービスに係る所要のサービス提供が行われつつ、そのセッション内容がセッション保存サーバ１８Ｃに保存されて行く。
そのマルチモーダルサービスの提供が終了すると、それぞれの端末は、発言権解放要求（１０ａ）を発行すると、上述した発言権取得要求（６ａ）の場合と同様にその発言権開放要求が処理され、セッション中のいずれの端末へも発言権開放通知が統合サーバ８から転送され（１０ｂ）、これらいずれの端末も発言権を持っていない状態に遷移する。
このようにしてマルチモーダルサービスを構成する各サービスについてのフロア権としての発言権の開放が行われると、開設されていたマルチモーダルサービスセッションは終了する。

このように、この実施例の構成によれば、実施例１と同効が得られるほか、マルチモーダルサービスセッションのセッション内容を記録・保存し、セッション参加者やセッション参加者がセッション内容を開示したいと思う者などセッション内容を参照する権利を有する者によって保存されているセッション内容を参照することができる。

以上、この発明の実施例を、図面を参照して詳述してきたが、この発明の具体的な構成は、これらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもそれらはこの発明に含まれる。
例えば、上述の実施例では、発言権サーバと、音声転送サーバと、ホワイトボードアプリケーションサーバとを例示して説明したが、マルチモーダルサービスの提供に用いれるその他のサーバが統合サーバに接続されてマルチモーダルサービス提供システムが構築されてもよい。

上記実施例ではポリシの設定は、事前設定である場合を説明したが、これに限らず、事後設定でもよい。
また、上述の実施例で説明した各ポリシは、サービス連携の仕方を決定する例示であり、連携されるサービスに応じてそれに適切なポリシが用意されてマルチモーダルサービスの提供を行うようにしてもよい。例えば、発言権サービスに音声転送サービスを従属し、発言権を取得した端末のみが音声データの送信を行うが、ホワイトボードアプリケーションサービスは、発言権サービスに従属せず、独立に画像操作命令をやり取りするようにすることも可能である。

この実施例で用いれるプロトコルは、主として、ＳＩＰであるとして、この発明の説明をしているが、この発明は、特定のプロトコルを用いてのみ構成し得るものではなく、その他のプロトコル、例えば、ＲＴＣＰ（ＲＴＰ Ｃontrol Ｐrotocol）(ＲＴＰ（Ｒeal-time Ｔransport Ｐrotocol）)を用いてこの発明を構成するようにしてもよい。

また、上述の実施例では、端末と統合サーバとは、単に通信回線で接続されると説明したが、これら両者間の接続は、端末利用者がマルチモーダルサービス事業者とのサービス契約を結ぶときに設定するようにしてもよいし、端末がモバイル端末であれば、ネットワーク内の最寄の統合サーバに設定されたりすることも可能である。

また、上述の実施例では、端末と、統合サーバと、サービスサーバとが、いずれの情報の送受においても、同一の通信回線を介する説明であったが、上述のマルチモーダルサービスセッションの確立に係るセッション確立情報及び連携に係る制御情報の送受信以外の情報、例えば、サービス情報の送受には、上記セッション確立情報及び制御情報の送受を行う通信回線以外の通信回線を用いるようにしてもよい。

ここに開示しているマルチモーダルサービスセッション確立方法及びその装置並びにマルチモーダルサービス提供方法及びその装置は、各種の通信システムで利用し得る。

この発明の実施例１であるマルチモーダルサービス提供システムの基本的構成を示す図である。 同マルチモーダルサービス提供システムの具体的構成を示す図である。 同マルチモーダルサービス提供システムの統合サーバの構成を示す図である。 同マルチモーダルサービス提供システムの統合サーバを構成するセッション確立処理部の構成を示す図である。 同マルチモーダルサービス提供システムの統合サーバを構成するサービス連携処理部の構成を示す図である。 同マルチモーダルサービス提供システムのセッション確立時のタイミングチャート図である。 同マルチモーダルサービス提供システムのセッション中のタイミングチャートである。 この発明の実施例２であるマルチモーダルサービス提供システムの構成を示す図である。 この発明の実施例３であるマルチモーダルサービス提供システムの構成を示す図である。 この発明の実施例４であるマルチモーダルサービス提供システムの構成を示す図である。 同マルチモーダルサービス提供システムのセッション確立時のタイミングチャートである。 同マルチモーダルサービス提供システムのセッション中のタイムチャートである。

符号の説明

１、１Ａ、１Ｂ、１Ｃ マルチモーダルサービス提供システム
２、２Ａ、２Ｂ、２Ｃ 端末
８、８Ａ、８Ｂ 統合サーバ
１０、１０Ａ、１０Ｂ 統合サーバ
１２、１２Ｂ 発言権サーバ
１４、１４Ｂ 音声転送サーバ
１６、１６Ｂ ホワイトボードアプリケーションサーバ
１８、１８Ｂ グループ管理サーバ
１８Ｃ セッション保存サーバ
２０ セッション確立処理部（セッション確立手段）
３１ モニター部（モニター手段）
３２ 決定部（決定手段）
３３ 発行部（発行手段）
３４ 保存部（保存手段）

Claims (17)

1. セッションに参加する複数の端末装置と、前記各端末装置にそれぞれ異なるサービスを提供する複数種のサービスサーバと、前記各端末装置と前記複数種のサービスサーバとの間に介設された統合サーバとを備えて、前記複数種のサービスサーバのサービスを統合して前記各端末装置に提供するためのマルチモーダルサービスセッションを前記複数種のサービスサーバと前記各端末装置との間に確立するマルチモーダルサービス提供方法であって、
   統合された前記サービスの提供に際して、前記複数の端末装置のうち、任意の端末装置がセッション確立要求を発行すると、
   前記統合サーバは、発行された前記セッション確立要求に基づいて前記複数の端末装置と前記セッション確立要求対応の前記サービスサーバとの間に前記マルチモーダルサービスセッションを確立し、この後、
   前記サービスサーバの１つとしての発言権サーバが、特定の第１のサービスサーバが提供する第１のサービスに対する第１のフロア権の取得要求を発行したある端末装置に対して、当該第１のフロア権を与えたときは、当該ある端末装置が前記第１のフロア権を保持している限り、前記統合サーバが保持する予め決められたサービス連携条件に基づいて、特定の第２のサービスサーバが提供する第２のサービスに対する第２のフロア権も連携して当該ある端末装置に与えることを特徴とするマルチモーダルサービス提供方法。
2. 前記発言権サーバは、前記ある端末装置が、前記第１のサービスサーバが提供する前記第１のサービスに対する前記第１のフロア権を保持している期間は、他の端末装置からの、前記第２のサービスサーバが提供する前記第２のサービスに対する前記第２のフロア権の要求を拒否することを特徴とする請求項１記載のマルチモーダルサービス提供方法。
3. 前記セッションが電子会議であり、前記第１のサービスサーバが音声転送サーバ、及び、前記第２のサービスサーバがホワイトボードアプリケーションサーバであると共に、
   前記第１のサービスに対する前記第１のフロア権とは、音声通話転送サービスに対する音声通話転送権であり、かつ、
   前記第２のサービスに対する前記第２のフロア権とは、ホワイトボード書き込みサービスに対するホワイトボードの書き込み権であることを特徴とする請求項１記載のマルチモーダルサービス提供方法。
4. 前記セッションがＴＶ電話通信又はＴＶ会議であり、前記第１のサービスサーバが音声転送サーバ、及び、前記第２のサービスサーバが画像転送サーバであると共に、
   前記第１のサービスに対する前記第１のフロア権とは、音声通話転送サービスに対する音声通話転送権であり、かつ、
   前記第２のサービスに対する前記第２のフロア権とは、ビデオ画像送信サービスに対する画像送信権であることを特徴とする請求項１記載のマルチモーダルサービス提供方法。
5. 前記統合サーバは、前記任意の端末装置からの前記セッション確立要求を解析し、該解析手段の解析結果に基づいて前記サービスサーバ向けの第1のセッション開始要求を前記サービスサーバ別に発行し、前記サービスサーバから返送される第1の前記セッション開始要求に対する応答情報を受信し、受信した前記応答情報に基づいて他の前記端末装置向けの第２のセッション開始要求を発行することを特徴とする請求項１記載のマルチモーダルサービス提供方法。
6. 複数種の前記サービスサーバの１つとしてグループ管理サーバを付設し、
   前記任意の端末装置から、前記統合サーバに対して、マルチモーダルサービスセッションに参加する端末装置を指定するグループ識別情報を含むセッション確立要求が発行されると、
   前記統合サーバは、発行された前記セッション確立要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、
   問い合わせた結果に基づいて前記サービスサーバに対して第３のセッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴とする請求項１記載のマルチモーダルサービス提供方法。
7. 複数種の前記サービスサーバの１つとしてグループ管理サーバを付設し、
   前記任意の端末装置から、前記統合サーバに対して、マルチモーダルサービスセッションに参加する端末装置を指定するグループ識別情報を含むセッション確立要求が発行されると、
   前記統合サーバは、発行された前記セッション確立要求に基づいてグループ識別情報を含むセッション開始要求を前記複数種のサービスサーバに対して発行し、
   前記複数種のサービスサーバは、前記セッション開始要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、
   問い合わせた結果に基づいて他の前記端末装置に対して第４のセッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴とする請求項１記載のマルチモーダルサービス提供方法。
8. セッションに参加する複数の端末装置と、
   前記各端末装置にそれぞれ異なるサービスを提供する複数種のサービスサーバと、
   前記各端末装置と前記複数種のサービスサーバとの間に介設された統合サーバとを備え、
   前記複数種のサービスサーバのサービスを統合して前記各端末装置に提供するためのマルチモーダルサービスセッションを前記複数種のサービスサーバと前記各端末装置との間に確立するマルチモーダルサービス提供システムであって、
   統合された前記サービスの提供に際して、前記複数の端末装置のうち、任意の端末装置からセッション確立要求が発行されると、
   前記統合サーバは、発行された前記セッション確立要求に基づいて前記複数の端末装置と前記セッション確立要求対応の前記サービスサーバとの間に前記マルチモーダルサービスセッションを確立し、この後、
   前記サービスサーバの１つとしての発言権サーバが、特定の第１のサービスサーバが提供する第１のサービスに対する第１のフロア権の取得要求を発行したある端末装置に対して、当該第１のフロア権を与えたときは、当該ある端末装置が前記第１のフロア権を保持している限り、前記統合サーバが保持する予め決められたサービス連携条件に基づいて、特定の第２のサービスサーバが提供する第２のサービスに対する第２のフロア権も連携して当該ある端末装置に与える構成になされていることを特徴とするマルチモーダルサービス提供システム。
9. 前記発言権サーバは、前記ある端末装置が、前記第１のサービスサーバが提供する前記第１のサービスに対する前記第１のフロア権を保持している期間は、他の端末装置からの、前記第２のサービスサーバが提供する前記第２のサービスに対する前記第２のフロア権の要求を拒否することを特徴とする請求項８記載のマルチモーダルサービス提供システム。
10. 前記セッションが電子会議であり、前記第１のサービスサーバが音声転送サーバ、及び、前記第２のサービスサーバがホワイトボードアプリケーションサーバであると共に、
    前記第１のサービスに対する前記第１のフロア権とは、音声通話転送サービスに対する音声通話転送権であり、かつ、
    前記第２のサービスに対する前記第２のフロア権とは、ホワイトボード書き込みサービスに対するホワイトボードの書き込み権であることを特徴とする請求項８記載のマルチモーダルサービス提供システム。
11. 前記セッションがＴＶ電話通信又はＴＶ会議であり、前記第１のサービスサーバが音声転送サーバ、及び、前記第２のサービスサーバが画像転送サーバであると共に、
    前記第１のサービスに対する前記第１のフロア権とは、音声通話転送サービスに対する音声通話転送権であり、かつ、
    前記第２のサービスに対する前記第２のフロア権とは、ビデオ画像送信サービスに対する画像送信権であることを特徴とする請求項８記載のマルチモーダルサービス提供システム。
12. 前記統合サーバは、前記任意の端末装置からの前記セッション確立要求を解析する解析手段と、該解析手段の解析結果に基づいて前記サービスサーバ向けの第1のセッション開始要求を前記サービスサーバ別に発行する第1の発行手段と、前記サービスサーバから返送される第1の前記セッション開始要求に対する応答情報を受信する受信手段と、該受信手段で受信される前記応答情報に基づいて他の前記端末装置向けの第２のセッション開始要求を発行する第２の発行手段とを有して構成されることを特徴とする請求項８記載のマルチモーダルサービス提供システム。
13. 複数種の前記サービスサーバの１つとしてグループ管理サーバが設けられ、
    前記任意の端末装置から、前記統合サーバに対して、マルチモーダルサービスセッションに参加する端末装置を指定するグループ識別情報を含むセッション確立要求が発行されると、
    前記統合サーバは、発行された前記セッション確立要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、
    問い合わせた結果に基づいて前記サービスサーバに対して第３のセッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴とする請求項８記載のマルチモーダルサービス提供システム。
14. 複数種の前記サービスサーバの１つとしてグループ管理サーバが設けられ、
    前記任意の端末装置から、前記統合サーバに対して、マルチモーダルサービスセッションに参加する端末装置を指定するグループ識別情報を含むセッション確立要求が発行されると、
    前記統合サーバは、発行された前記セッション確立要求に基づいてグループ識別情報を含むセッション開始要求を前記複数種のサービスサーバに対して発行し、
    前記複数種のサービスサーバは、前記セッション開始要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、
    問い合わせた結果に基づいて他の前記端末装置に対して第４のセッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴とする請求項８記載のマルチモーダルサービス提供システム。
15. 前記サービスサーバの１つとして、セッション保存サーバが含まれていることを特徴とする請求項８記載のマルチモーダルサービス提供システム。
16. コンピュータに請求項１乃至７のいずれか一に記載のマルチモーダルサービス提供方法を実行させることを特徴とする制御プログラム。
17. コンピュータを制御して、請求項８乃至１５のいずれか一に記載のマルチモーダルサービス提供システムの各機能を実現させることを特徴とする制御プログラム。

Images