JP2007074221A - 多地点会議方法及び多地点会議システム並びに多地点会議処理装置のプログラム - Google Patents

Abstract

【課題】 クライアントの処理能力の高低関係なく、システムに参加することのできる、多地点会議方法を提供する。
【解決手段】 多地点会議処理装置が、第１端末および第２端末それぞれより受信した音声情報を合成すると共に、当該合成した音声情報を第１端末へ配信する際には、その合成した音声情報から配信先の第１端末の音声情報を削除して配信し、当該合成した音声情報を第２端末へ配信する際には、その合成した音声情報から第２端末の音声情報を削除して配信する。また第１端末および第２端末それぞれより受信した映像情報を、各第１端末へ配信する際に、該配信先の第１端末以外の、他の第１端末または第２端末の映像情報を選択して配信し、第１端末それぞれより受信した映像情報を、選択または合成して前記第２端末へ配信する。
【選択図】 図１

Description

本発明は、多地点に設置された各端末間で、サーバを介して映像や音声を送受信する、多地点会議方法及び多地点会議システム並びに多地点会議処理装置のプログラムに関する。

パーソナルコンピュータ（ＰＣ）の性能向上により、マイクやスピーカ、カメラを当該ＰＣに具備して、そのＰＣを、ネットワークを介した他のＰＣとの間の、映像／音声の双方向通信に利用することが可能となっている。またこれらの技術を用いて、映像／音声通信に特化した端末も実現されている。これらの端末を「クライアント」と呼ぶこととする。また映像情報／音声情報の配信処理や、それら情報を各端末へ配信するための呼制御の機能を具備したサーバを用いることにより、複数のクライアントを、サーバを介して接続し、多地点間での映像／音声通信を提供することも可能となっている。

多地点会議を実現するクライアントは、自クライアントのカメラで撮影した映像情報をエンコードして、通信ネットワークへ送信し、また他クライアントから送信された映像情報を通信ネットワークを介して受信し、その映像情報をエンコードしてモニタに表示する処理を行う。ここで、システムに参加するクライアントが３台以上になった場合には、あるクライアントに対して、他の２台以上のクライアントから送信された映像情報を配信する際のサーバの処理方法が大きく２つの方法に大別できる。まず、１つ目は、他のクライアントから配信された複数の映像情報をサーバで選択、または複数の映像情報を合成し、１つのストリームとして配信し、該配信先のクライアントが受信する方法である。この方法では、配信先のクライアントは常に１つのストリームにより映像情報を受信し再生処理を行えばよいので、処理能力がそれほど高くないクライアントでもシステムに参加することが可能となる。また２つ目の方法は、他のクライアントからの映像情報をそれぞれ別のストリームにより、サーバが配信先のクライアントへ配信し、該配信先のクライアントでは、複数のストリームにより映像情報を別々に受信して、各映像情報を、それぞれ別々に再生処理を行う方法である。この２つ目の方法では、配信先のクライアントにおける受信と再生の処理が複数同時に行われるので、高負荷に耐えることのできる能力を必要とする。なおクライアント間で映像や音声の情報をサーバを介して送受信する会議システムに関する技術が公開されている（特許文献１参照）。
"Arcstar IP-VPN ネットワークイメージ"、「online」、「平成１７年７月２０日検索」、インターネット＜ＵＲＬ：http://www.ntt-vpn.com/ip-vpn/push/tv/push_tv_net.html＞

しかしながら、従来の多地点会議システムでは、そのシステムを実現するに当たり、上述のような１つ目の方法のみを用いた多地点会議システムであるか、または２つ目の方法のみを用いた多地点会議システムであるかの何れかであった。

そこでこの発明は、クライアントの処理能力の高低関係なく、システムに参加することのできる、多地点会議方法及び多地点会議システム並びに多地点会議処理装置のプログラムを提供することを目的としている。

上記目的を達成するために、本発明は、受信した複数の配信映像をそれぞれ再生処理できる複数の第１端末と、受信した１つの配信映像のみを再生処理できる第２端末と、前記第１端末や前記第２端末が送信した映像情報および音声情報を他の端末へ配信する多地点会議処理装置と、からなる多地点会議システムにおける多地点会議方法であって、前記多地点会議処理装置が、前記第１端末および第２端末それぞれより受信した音声情報を合成すると共に、当該合成した音声情報を前記第１端末へ配信する際には、その合成した音声情報から配信先の第１端末の音声情報を削除して配信し、当該合成した音声情報を前記第２端末へ配信する際には、その合成した音声情報から第２端末の音声情報を削除して配信し、前記第１端末および第２端末それぞれより受信した映像情報を、各第１端末へ配信する際に、該配信先の第１端末以外の、他の第１端末または第２端末の映像情報を選択して配信し、前記第１端末それぞれより受信した映像情報を、選択または合成して前記第２端末へ配信することを特徴とする多地点会議方法である。

また本発明は、受信した複数の配信映像をそれぞれ再生処理できる複数の第１端末と、受信した１つの配信映像のみを再生処理できる第２端末と、前記第１端末や前記第２端末が送信した映像情報および音声情報を他の端末へ配信する多地点会議処理装置と、からなる多地点会議システムであって、前記多地点会議処理装置は、前記第１端末および第２端末それぞれより受信した音声情報を合成すると共に、当該合成した音声情報を前記第１端末へ配信する際には、その合成した音声情報から配信先の第１端末の音声情報を削除して配信し、当該合成した音声情報を前記第２端末へ配信する際には、その合成した音声情報から第２端末の音声情報を削除して配信する音声配信手段と、前記第１端末および第２端末それぞれより受信した映像情報を、各第１端末へ配信する際に、該配信先の第１端末以外の、他の第１端末または第２端末の映像情報を選択して配信する第１映像配信手段と、前記第１端末それぞれより受信した映像情報を、選択または合成して前記第２端末へ配信する第２映像配信手段と、を備えることを特徴とする多地点会議システムである。

また本発明は、前記多地点会議処理装置が、前記音声配信手段と、前記第１映像配信手段と、を有する第１サーバと、前記第２映像配信手段と、前記音声配信手段により配信された第２端末を宛先とする音声情報を転送する音声転送手段と、を有する第２サーバと、により構成されることを特徴とする。

また本発明は、前記多地点会議処理装置が、前記第１端末および前記第２端末それぞれと、前記映像情報および前記音声情報を配信または受信するための、ＩＰアドレス、ポート番号を少なくとも含む通信識別子と、前記映像情報および前記音声情報の送受信に用いる配信能力情報を交換することを特徴とする。

また本発明は、受信した複数の配信映像をそれぞれ再生処理できる複数の第１端末と、受信した１つの配信映像のみを再生処理できる第２端末と、から送信された映像情報および音声情報を他の端末へ配信する多地点会議処理装置のコンピュータに実行させるプログラムであって、前記第１端末および第２端末それぞれより受信した音声情報を合成すると共に、当該合成した音声情報を前記第１端末へ配信する際には、その合成した音声情報から配信先の第１端末の音声情報を削除して配信し、当該合成した音声情報を前記第２端末へ配信する際には、その合成した音声情報から第２端末の音声情報を削除して配信する音声配信処理と、前記第１端末および第２端末それぞれより受信した映像情報を、各第１端末へ配信する際に、該配信先の第１端末以外の、他の第１端末または第２端末の映像情報を選択して配信する第１映像配信処理と、前記第１端末それぞれより受信した映像情報を、選択または合成して前記第２端末へ配信する第２映像配信処理と、をコンピュータに実行させるプログラムである。

本発明によれば、複数の映像を別々に受信して再生できるクライアントと、１つの映像しか受信および再生処理できないクライアントが多地点会議システムに混在するような場合には、複数の映像の全てまたは複数を１つに合成する処理機能を持ったサーバを備えることで、１つの映像しか受信および再生処理できないクライアントでも多地点会議システムに参加できるようなシステムを構成することができる。つまり、クライアントの処理能力の高低関係なく、全てのクライアントがシステムに参加することのできる多地点会議システムを提供することができる。

以下、本発明の一実施形態による多地点会議システムを図面を参照して説明する。図１は同実施形態による多地点会議システムの構成を示すブロック図である。この図において、符号１０はサーバ群である。また符号２０、３０はクライアントである。クライアント２０、３０とサーバ群１０とは通信ネットワークを介して接続されている。またクライアント２０は、タイプＡのクライアントであり、タイプＡは、複数のストリームにより配信された別々の映像情報を同時に受信、再生処理することができるクライアントである。したがってタイプＡのクライアント２０は、高負荷に耐えることのできる処理機能を有している。また、クライアント３０は、タイプＢのクライアントであり、タイプＢは、１つストリームにより配信された１つの映像情報のみを受信、再生処理することができるクライアントである。したがって、クライアント３０は、クライアント２０の比べて、処理機能の劣る端末である。なお、クライアント２０とクライアント３０の処理機能の違いは、搭載されているＣＰＵの処理速度や、メモリ容量や、ソフトウェアなどによって、予めどちらのタイプの端末かが決められていても良いし、また、ユーザが決定してサーバ群に登録して、タイプが決められるようにしても良い。

図２はクライアントの機能ブロックを示す図である。
この図においては、タイプＡおよびタイプＢの各クライアントの機能ブロックを示している。タイプＡのクライアント２０は、１つの音声処理部２１、１つの映像エンコーダ２２、複数の映像デコーダ２３、カメラ２４、マイク２５、スピーカ２６の各機能が備えられている。クライアント２０の映像デコーダ２３では、別々のストリームにより受信した複数の映像情報それぞれをデコード処理しディスプレイなどに表示する処理を行う。また映像エンコーダ２２はカメラ２４で撮影した映像をエンコードし、通信ネットワークに接続されたサーバ群１０へ送信する処理を行う。また、音声処理部２１は、マイク３５で収拾した音声をエンコードして通信ネットワークに接続されたサーバ群１０へ送信する処理と、通信ネットワークを介して受信した音声情報をデコードしてスピーカ２６へ出力する処理を行う。

またタイプＢのクライアント３０は、１つの音声処理部３１、１つの映像エンコーダ３２、１つの映像デコーダ３３、カメラ３４、マイク３５、スピーカ３６の各機能が備えられている。クライアント３０の映像デコーダ３３では、１つのストリームにより受信した映像情報のみをデコード処理しディスプレイなどに表示する処理を行う。また映像エンコーダ３２は、映像エンコーダ２２同様に、カメラ２４で撮影した映像をエンコードし、通信ネットワークに接続されたサーバ群１０へ送信する処理を行う。また、音声処理部３１は音声処理部２１同様に、マイク３５で収拾した音声をエンコードして通信ネットワークに接続されたサーバ群１０へ送信する処理と、通信ネットワークを介して受信した音声情報をデコードしてスピーカ３６へ出力する処理を行う。

図３はサーバ群の各サーバにおける機能ブロックを示す図である。
この図が示すように、本実施形態による多地点会議システムでは、サーバ群として会議サーバ１１と、映像変換サーバ１２が存在する。そして、会議サーバ１１において、会議管理機能部１１１は、会議システムの処理開始や、会議システムへのクライアントの参加要求の処理や、会議システム開始時間の登録処理などの、会議システムの運営にかかわる管理処理を行う。また、接続制御機能部１１２は、映像変換サーバ１２やクライアント２０や３０が映像情報や音声情報を送信また受信する際に用いる、ＩＰアドレスやポート番号や、また、音声情報や映像情報を送信する際の情報として必要な配信能力情報＜映像：コーデック種別（MPEG-4 SP3 など），ビットレート，フレームレート，画像サイズなど、音声：コーデック種別（G.711など），ビットレートなど＞を、映像変換サーバ１２やクライアント２０や３０に要求し、また他の装置やクライアントに通知する処理を行う。

また音声合成機能部１１３は、クライアント２０、３０より受信した音声情報を合成すると共に、合成した音声情報をクライアント２０へ配信する際に、その合成した音声情報から配信先のクライアント２０の音声情報を削除して配信する処理を行う。またクライアント３０へは、複数のクライアント２０から受信した音声情報を合成して、映像変換サーバ１２を介して送信する。また映像転送機能部１１４は、クライアント２０、３０の送信した映像情報を、他の配信先となるクライアント２０へ配信する際に、該配信先のクライアント２０以外の、他のクライアント２０やクライアント３０の送信した映像情報を選択して配信する処理を行う。またクライアント３０へは、複数のクライアント２０から受信した映像情報をそれぞれ、映像変換サーバ１２を介して送信する。

また映像変換サーバ１２において、接続制御機能部１２１は、自サーバや会議サーバ１１やクライアント３０が映像情報や音声情報を送信また受信する際に用いる、ＩＰアドレスやポート番号や、また、音声情報や映像情報を送信する際の情報として必要な配信能力情報＜映像：コーデック種別（MPEG-4 SP3 など），ビットレート，フレームレート，画像サイズなど、音声：コーデック種別（G.711など），ビットレートなど＞を、会議サーバ１１やクライアント３０に要求、配信する処理を行う。また音声処理機能部１２２は、会議サーバ１１から送信された合成後の音声情報をクライアント３０へ送信する処理と、クライアント３０から送信された音声情報を会議サーバ１１へ転送する処理とを行う。また映像トランスコード機能部１２３は、会議サーバ１１から受信した複数の映像情報を選択または合成して１つのストリームによりクライアント３０へ配信する処理と、クライアント３０から送信された映像情報を会議サーバ１１へ転送する処理とを行う。

図４はコネクション確立状態を示す図である。
図５はコネクション確立処理を示す第１の図である。
図６はコネクション確立処理を示す第２の図である。
図４は、多地点会議システムにおいて、タイプＡとしてクライアント２０−１、２０−２、またタイプＢとしてクライアント３０の３つのクライアントが利用される場合の、ａ〜ｏまでの１５のコネクション確立状態を示している。
ここでａは、会議サーバ１１からクライアント２０−１へ送信される複数合成された音声情報（下り）と、クライアント２０−１から会議サーバ１１へ送信されるクライアント２０−１の収拾した音声情報（上り）のコネクションを示している。
またｂは、クライアント２０−１から会議サーバ１１へ送信される映像情報のコネクション（上り）を示している。
またｃは、会議サーバ１１からクライアント２０−１へ送信される映像情報のコネクション（下り）のうち、クライアント２０−２で撮影された映像を送信するコネクションを示している。
またｄは、会議サーバ１１からクライアント２０−１へ送信される映像情報のコネクション（下り）のうち、クライアント３０で撮影された映像を送信するコネクションを示している。

またｅは、会議サーバ１１からクライアント２０−２へ送信される複数合成された音声情報（下り）と、クライアント２０−２から会議サーバ１１へ送信されるクライアント２０−２の収拾した音声情報（上り）のコネクションを示している。
またｆは、クライアント２０−２から会議サーバ１１へ送信される映像情報のコネクション（上り）を示している。
またｇは、会議サーバ１１からクライアント２０−２へ送信される映像情報のコネクション（下り）のうち、クライアント２０−１で撮影された映像を送信するコネクションを示している。
またｈは、会議サーバ１１からクライアント２０−２へ送信される映像情報のコネクション（下り）のうち、クライアント３０で撮影された映像を送信するコネクションを示している。

またｉは、会議サーバ１１から映像変換サーバ１２へ送信される複数合成された音声情報（下り）と、映像変換サーバ１２から会議サーバ１１へ送信されるクライアント３０の音声情報（上り）のコネクションを示している。
またｊは、クライアント２０−１から受信した映像情報を、会議サーバ１１が映像変換サーバ１２へ送信するコネクション（下り）を示している。
またｋは、クライアント２０−２から受信した映像情報を、会議サーバ１１が映像変換サーバ１２へ送信するコネクション（下り）を示している。
またｌは、クライアント３０から受信した映像情報を、映像変換サーバ１２が会議サーバ１１へ送信するコネクション（上り）を示している。

またｍは、映像変換サーバ１２からクライアント３０へ送信される複数合成された音声情報（下り）と、クライアント３０から映像変換サーバ１２へ送信されるクライアント３０の収拾した音声情報（上り）のコネクションを示している。
またｎは、映像変換サーバ１２からクライアント３０へ送信される変換後の映像情報のコネクション（下り）を示している。
またｏは、クライアント３０から映像変換サーバ１２へ送信される映像情報のコネクション（上り）を示している。

次に、図４、５、６を用いてサーバ群とクライアントの間のコネクションの確立処理について説明する。
まず、会議サーバ１１では、予めクライアント２０−１、２０−２、３０からのアクセスを受付けており、該クライアントの会議システムへの参加登録が行われる。例えば会議サーバ１１がウェブサーバの処理部を備えており、このウェブサーバ処理部の配信するウェブページにおいて、各クライアントを操作するユーザの処理により、各クライアントのＳＩＰアドレスや、会議識別番号や、会議開始時刻などの情報と、また、各クライアントがタイプＡとタイプＢのどちらのタイプのクライアントかを示す情報が登録される。なお、これらの登録処理は、会議サーバ１１へ多地点会議システムの管理者が入力するようにしてもよい。これにより、会議識別番号ごとに、その会議識別番号で表される会議に参加するクライアント２０、３０のＳＩＰアドレスや会議開始時刻やタイプ種別などの各登録情報がデータベースなどに登録される。

次に、会議サーバ１１の会議管理機能部１１１は、カウントしている時刻とデータベースに記録されている会議開始時刻とを比較し、一致した時点において、会議システムの処理の開始を検出する。そして、会議管理機能部１１１は接続制御機能部１１２に、会議開催要求の情報を送信する（ステップＳ１）。また会議管理機能部１１１は接続制御機能部１１２に、登録済みのクライアントに対する会議参加要求の情報を送信する（ステップＳ２）。すると、接続制御機能部１１２は、登録されている各クライアントと、会議サーバ１１、映像変換サーバ１２間の、コネクション確立処理を開始する。以下、コネクション確立処理フローについて順を追って説明する。

まず、クライアント２０−１が既にコネクションが確立されたものとする。そして次に、上述のステップＳ２において、会議管理機能部１１１が接続制御機能部１１２に対して、クライアント３０に対する会議参加要求の情報を送信したとする。すると、
（ステップＳ３）接続制御機能部１１２は、映像転送機能部１１４が映像変換サーバ１２へ映像を配信する場合に用いるＩＰアドレスの情報と、配信能力情報＜映像：コーデック種別（MPEG-4 SP3 など），ビットレート，フレームレート，画像サイズなど、音声：コーデック種別（G.711など），ビットレートなど＞とを映像変換サーバ１２へ通知する。またその応答として、映像変換サーバ１２の接続制御機能部１２１は、クライアント３０との間で映像や音声の情報を送受信するＩＰアドレスと、それら映像や音声の情報をクライアント３０から受信する各受信ポート番号と、クライアント３０との間で映像や音声の情報を送受信する際の配信能力情報とを、会議サーバ１１へ返送する。

（ステップＳ４）次に、接続制御機能部１１２は、ステップＳ３で映像変換サーバ１２から返送を受けた情報を、クライアント３０へ転送する。これにより、映像変換サーバ１２がクライアント３０との間で映像と音声の情報を送受信する際に利用する各情報（ＩＰアドレスや受信ポートや配信能力情報）がクライアント３０へ通知される。すると、クライアント３０は、会議サーバ１１へ、映像変換サーバ１２から映像や音声の情報を受信する際に用いる受信ポート番号と、映像変換サーバ１２との間で映像や音声の情報を送受信する際に利用する配信能力情報を返信する。

（ステップＳ５）次に、接続制御機能部１１２は、映像変換サーバ１２から音声情報を受信する際に用いる受信ポート番号を、映像変換サーバ１２へ通知する。またその返信として、映像変換サーバ１２の接続制御機能部１２１は、会議サーバ１１へ音声情報を送信する際に用いる送信ポート番号を、会議サーバ１１へ通知する。
（ステップＳ６）次に、接続制御機能部１１２は、映像変換サーバ１２へ音声情報を送信する際に用いる送信ポート番号を、映像変換サーバ１２へ通知する。またその返信として、映像変換サーバ１２の接続制御機能部１２１は、会議サーバ１１から音声情報を受信する際に用いる受信ポート番号を、会議サーバ１１へ通知する。

（ステップＳ７）そして、接続制御機能部１１２は、映像変換サーバ１２からステップＳ６において受信した情報（音声情報の受信ポート番号）を、音声合成機能部１１３に通知する。そしてその返信として、音声合成機能部１１３はＯＫまたはＮＧの情報を、接続制御機能部１１２へ送信する。

（ステップＳ８）次に、接続制御機能部１１２は、映像情報を映像変換サーバ１２から受信する際に用いるＩＰアドレスとその受信ポート番号とを、映像変換サーバ１２に通知する。するとその返信として、映像変換サーバ１２の接続制御機能部１２１は、会議サーバ１１へ映像情報を送信する際に用いるＩＰアドレスとその送信ポート番号とを、会議サーバ１１へ送信する。
（ステップＳ９）次に、接続制御機能部１１２は、ステップＳ４においてクライアント３０より受信した情報（映像や音声を受信する際に用いる各受信ポート番号と、配信能力情報）を、映像変換サーバ１２へ送信する。これにより、クライアント３０が映像変換サーバ１２と映像や音声の情報を送受信する際に用いる情報が、映像変換サーバ１２へ、会議サーバ１１を介して通知される。またその返信として、映像変換サーバ１２は、音声情報をクライアント３０へ送信する際に用いる送信ポート番号と、映像情報をクライアント３０へ送信する際に用いる送信ポート番号とを、会議サーバ１１へ送信する。

（ステップＳ１０）次に、接続制御機能部１１２は、ステップＳ８において映像変換サーバ１２より受信した情報（映像変換サーバ１２が会議サーバ１１へ映像情報を送信する際に用いるＩＰアドレスとその送信ポート番号）を、映像転送機能部１１４へ通知する。映像転送機能部１１４は、その返信として接続制御機能部１１２へＯＫまたはＮＧの情報を返信する。

（ステップＳ１１）次に、接続制御機能部１１２は、映像情報を送信する際の情報として配信能力情報＜映像：コーデック種別（MPEG-4 SP3 など），ビットレート，フレームレート，画像サイズなど＞をクライアント２０−１へ送信する。するとクライアント２０−１はその返信として、会議サーバ１から映像情報を受信する際の受信ポート番号と、映像情報の送信する際に用いる配信能力情報を会議サーバ１１へ送信する。
（ステップＳ１２）また、接続制御機能部１１２は、ステップＳ１１においてクライアント２０−１から受信した情報（受信ポート番号や配信能力情報）を映像転送機能部１１４へ通知する。すると映像転送機能部１１４はその返信としてＯＫまたはＮＧの情報を返信する。

（ステップＳ１３）また、接続制御機能部１１２は、映像変換サーバ１２へ映像情報を送信する際に用いるＩＰアドレスとその送信ポート番号と、映像を送信する際に利用する配信能力情報＜映像：コーデック種別（MPEG-4 SP3 など），ビットレート，フレームレート，画像サイズなど＞を、映像変換サーバ１２へ送信する。またその返信として、映像変換サーバ１２は、会議サーバ１１から映像情報を受信する際のＩＰアドレスとその受信ポート番号と、映像情報の受信に利用する配信能力情報＜映像：コーデック種別（MPEG-4 SP3 など），ビットレート，フレームレート，画像サイズなど＞を、会議サーバ１１へ送信する。

（ステップＳ１４）また、接続制御機能部１１２は、ステップＳ１３において映像変換サーバ１２から受信した情報（ＩＰアドレス、受信ポート番号、配信能力情報）を、映像転送機能部１１４へ通知する。これにより、映像変換サーバ１２へ映像情報を送信する際に用いられる各種情報が映像転送機能部１１４に通知される。その返信として映像転送機能部１１４は、ＯＫまたはＮＧの情報を接続制御機能部１１２に通知する。以上、ステップＳ２〜ステップＳ１４の処理により、クライアント３０とサーバ群１０における各サーバとの間のコネクションの確立処理が終了する。

次に、会議サーバ１１の会議管理機能部１１１がクライアント２０−２への会議参加要求を接続制御機能部１１２に通知し、クライアント２０−２とのコネクションの確立処理を開始する。
（ステップＳ１５）接続制御機能部１１２は、映像情報と音声情報とを受信するＩＰアドレスと各受信ポート番号とを、クライアント２０−２に送信する。するとその返信としてクライアント２０−２は受信用のＩＰアドレスと、音声情報と映像情報を受信する各受信ポート番号を会議サーバ１１に送信する。
（ステップＳ１６）次に接続制御機能部１１２は、ステップＳ１５で受信したＩＰアドレスと音声情報を受信する受信ポート番号を、音声合成機能部１１３に通知する。またその返信として音声合成機能部１１３はＯＫまたはＮＧの情報を接続制御機能部１１２に送信する。
（ステップＳ１７）また接続制御機能部１１２は、ステップＳ１５で受信したＩＰアドレスと映像情報を受信する受信ポート番号を、映像転送機能部１１４に通知する。またその返信として映像転送機能部１１４はＯＫまたはＮＧの情報を接続制御機能部１１２に送信する。

（ステップＳ１８）次に接続制御機能部１１２は、クライアント２０−１との間で映像情報を送受信する際に用いるＩＰアドレスと、その映像情報の送受信に用いる情報として配信能力情報＜映像：コーデック種別（MPEG-4 SP3 など），ビットレート，フレームレート，画像サイズなど＞とを、クライアント２０−１へ送信する。またその応答として、クライアント２０−１は、映像情報を送受信する際に用いるＩＰアドレスと、映像情報の受信ポート番号と、映像情報の送受信に用いる情報として配信能力情報を会議サーバ１１に送信する。
（ステップＳ１９）そして接続制御機能部１１２は、クライアント２０−１から受信した、映像情報の受信ポート番号と配信能力情報とを、映像転送機能部１１４に通知する。その応答として映像転送機能部１１４は、ＯＫまたはＮＧの情報を接続制御機能部１１２に通知する。

（ステップＳ２０）また接続制御機能部１１２は、映像変換サーバ１２に映像情報を送信する際に用いるＩＰアドレスと、送信ポート番号と、当該映像情報の送受信に用いる配信能力情報を、映像変換サーバ１２へ送信する。するとその返信として映像変換サーバ１２の接続制御機能部１２１は、映像情報を受信するＩＰアドレスと、その受信ポートと、配信能力情報とを会議サーバ１１に送信する。
（ステップＳ２１）すると接続制御機能部１１２は、ステップＳ２０において映像変換サーバ１２から受信した情報（映像変換サーバ１２で映像情報受信時に利用するＩＰアドレス、受信ポート、配信能力情報）を、映像転送機能部１１４に通知する。そしてその応答として映像転送機能部１１４は、ＯＫまたはＮＧの情報を接続制御機能部１１２に送信する。

（ステップＳ２２）また接続制御機能部１１２は、映像情報をクライアント２０−２に送信する際に用いるＩＰアドレスと、配信能力情報とを、クライアント２０−２に送信する。これにより、クライアント２０−２は、映像情報を会議サーバ１１から受信する際に用いるＩＰアドレスと、受信ポート番号と、配信能力情報とを、会議サーバ１１に返信する。
（ステップＳ２３）接続制御機能部１１２は、クライアント２０−２から受信したＩＰアドレスと、受信ポート番号と、配信能力情報とを、１つめの映像情報（例えばクライアント２０−１から配信された映像情報）をクライアント２０−２に送信する際に用いる情報として、映像転送機能部１１４に通知する。すると映像転送機能部１１４は、ＯＫまたはＮＧの情報を返信する。

（ステップＳ２４）また接続制御機能部１１２は、映像情報をクライアント２０−２に送信する際に用いるＩＰアドレスと、配信能力情報とを、クライアント２０−２に送信する。これにより、クライアント２０−２は、映像情報を会議サーバ１１から受信する際に用いる、ＩＰアドレスと、受信ポート番号と、配信能力情報とを、会議サーバ１１に返信する。
（ステップＳ２５）接続制御機能部１１２は、クライアント２０−２から受信したＩＰアドレスと、受信ポート番号と、配信能力情報とを、２つめの映像情報（例えばクライアント３０から配信された映像情報）をクライアント２０−２に送信する際に用いる情報として、映像転送機能部１１４に通知する。すると映像転送機能部１１４は、ＯＫまたはＮＧの情報を返信する。
以上の処理により、クライアント２０−２とサーバ群１０における各サーバとの間のコネクションの確立処理（図４で示したａ〜ｏ）が終了する。なお、クライアント２０−１とサーバ群１０との間のコネクションの確立処理も同様にして行われている。

そして、会議に参加する全てのクライアントとの間でコネクションの確立処理が終了すると、会議サーバ１１から各クライアントに対して配信開始の指示が通知される。するとタイプＡのクライアント２０−１、２０−２においては、カメラ２４で撮影した映像情報と、マイク２５で収拾した音声情報とを順じ会議サーバ１１へ送信する。またタイプＢのクライアント３０においては、カメラ３４で撮影した映像情報と、マイク３５で収拾した音声情報とを順じ映像変換サーバ１２に送信する。そして、下記の会議サーバ１１と映像変換サーバ１２との処理により、映像情報と音声情報の配信処理が行われる。

＜会議サーバにおける処理＞
会議サーバ１１の音声合成機能部１１３は、クライアント２０−１、クライアント２０−２、映像変換サーバ１２から送信された音声情報（クライアント３０で収拾された音声情報）を受信して合成する。そして、合成した音声情報をクライアント２０−１やクライアント２０−２、また映像変換サーバ１２に送信する。その時、音声合成機能部１１３は、合成した音声情報をクライアント２０−１に送信する際には、クライアント２０−１から受信した音声情報を合成した音声情報から省いて、送信する。また同様に、音声合成機能部１１３は、合成した音声情報をクライアント２０−２に送信する際には、クライアント２０−２から受信した音声情報を合成した音声情報から省いて送信し、合成した音声情報を映像変換サーバ１２に送信する際には、映像変換サーバ１２から受信した音声情報を合成した音声情報から省いて送信する。

また会議サーバ１１の映像転送機能部１１４は、クライアント２０−１、クライアント２０−２、映像変換サーバ１２から送信された映像情報を転送する。たとえば、映像転送機能部１１４は、映像変換サーバ１２とクライアント２０−２からそれぞれ受信した映像情報を、別々のセッションとしてクライアント２０−１に送信する。また、映像転送機能部１１４は、映像変換サーバ１２とクライアント２０−１からそれぞれ受信した映像情報を、別々のセッションとしてクライアント２０−２に送信する。また、映像転送機能部１１４は、クライアント２０−１とクライアント２０−２からそれぞれ受信した映像情報を、別々のセッションとして映像変換サーバ１２に送信する。

＜映像変換サーバにおける処理＞
映像変換サーバの音声処理機能部１２２は、クライアント３０から受信した音声情報を、会議サーバ１１へ転送すると共に、会議サーバ１１から受信した合成された音声情報をクライアント３０へ送信する。また、映像トランスコード機能部１２３は、会議サーバ１１から別々のセッションにより受信した映像情報を合成する。この時、受信した全ての映像情報を合成してもよいし、予め選択された映像情報のみを合成するようにしても良い。そして、映像トランスコード機能部１２３は、合成された映像情報をクライアント３０へ送信する。

以上の処理により、複数の映像を別々に受信して再生できるタイプＡのクライアント２０と、１つの映像しか受信および再生処理できないタイプＢのクライアント３０が多地点会議システムに混在するような場合には、映像を１つに合成する処理機能を持った映像変換サーバ１２を備えることで、タイプＢのクライアントでも多地点会議システムに参加できるようなシステムを構成することができる。つまり、クライアントの処理能力の高低関係なく、全てのクライアントがシステムに参加することのできる多地点会議システムを提供することができる。

なお上述の会議サーバや映像変換サーバやクライアントは内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

多地点会議システムの構成を示すブロック図である。 クライアントの機能ブロックを示す図である。 サーバ群の各サーバにおける機能ブロックを示す図である。 コネクション確立状態を示す図である。 コネクション確立処理を示す第１の図である。 コネクション確立処理を示す第２の図である。

符号の説明

１０・・・サーバ群
１１・・・会議サーバ
１２・・・映像変換サーバ
２０，３０・・・クライアント
１１１・・・会議管理機能部
１１２，１２１・・・接続制御機能部
１１３・・・音声合成機能部
１１４・・・映像転送機能部
１２２・・・音声処理機能部
１２３・・・映像トランスコード機能部

Claims (5)

1. 受信した複数の配信映像をそれぞれ再生処理できる複数の第１端末と、
   受信した１つの配信映像のみを再生処理できる第２端末と、
   前記第１端末や前記第２端末が送信した映像情報および音声情報を他の端末へ配信する多地点会議処理装置と、
   からなる多地点会議システムにおける多地点会議方法であって、
   前記多地点会議処理装置が、
   前記第１端末および第２端末それぞれより受信した音声情報を合成すると共に、当該合成した音声情報を前記第１端末へ配信する際には、その合成した音声情報から配信先の第１端末の音声情報を削除して配信し、当該合成した音声情報を前記第２端末へ配信する際には、その合成した音声情報から第２端末の音声情報を削除して配信し、
   前記第１端末および第２端末それぞれより受信した映像情報を、各第１端末へ配信する際に、該配信先の第１端末以外の、他の第１端末または第２端末の映像情報を選択して配信し、
   前記第１端末それぞれより受信した映像情報を、選択または合成して前記第２端末へ配信する
   ことを特徴とする多地点会議方法。
2. 受信した複数の配信映像をそれぞれ再生処理できる複数の第１端末と、
   受信した１つの配信映像のみを再生処理できる第２端末と、
   前記第１端末や前記第２端末が送信した映像情報および音声情報を他の端末へ配信する多地点会議処理装置と、
   からなる多地点会議システムであって、
   前記多地点会議処理装置は、
   前記第１端末および第２端末それぞれより受信した音声情報を合成すると共に、当該合成した音声情報を前記第１端末へ配信する際には、その合成した音声情報から配信先の第１端末の音声情報を削除して配信し、当該合成した音声情報を前記第２端末へ配信する際には、その合成した音声情報から第２端末の音声情報を削除して配信する音声配信手段と、
   前記第１端末および第２端末それぞれより受信した映像情報を、各第１端末へ配信する際に、該配信先の第１端末以外の、他の第１端末または第２端末の映像情報を選択して配信する第１映像配信手段と、
   前記第１端末それぞれより受信した映像情報を、選択または合成して前記第２端末へ配信する第２映像配信手段と、
   を備えることを特徴とする多地点会議システム。
3. 前記多地点会議処理装置は、
   前記音声配信手段と、前記第１映像配信手段と、を有する第１サーバと、
   前記第２映像配信手段と、前記音声配信手段により配信された第２端末を宛先とする音声情報を転送する音声転送手段と、を有する第２サーバと、
   により構成されることを特徴とする請求項２に記載の多地点会議システム。
4. 前記多地点会議処理装置は、
   前記第１端末および前記第２端末それぞれと、前記映像情報および前記音声情報を配信または受信するための、ＩＰアドレス、ポート番号を少なくとも含む通信識別子と、前記映像情報および前記音声情報の送受信に用いる配信能力情報を交換する
   ことを特徴とする請求項２または請求項３に記載の多地点会議システム。
5. 受信した複数の配信映像をそれぞれ再生処理できる複数の第１端末と、
   受信した１つの配信映像のみを再生処理できる第２端末と、
   から送信された映像情報および音声情報を他の端末へ配信する多地点会議処理装置のコンピュータに実行させるプログラムであって、
   前記第１端末および第２端末それぞれより受信した音声情報を合成すると共に、当該合成した音声情報を前記第１端末へ配信する際には、その合成した音声情報から配信先の第１端末の音声情報を削除して配信し、当該合成した音声情報を前記第２端末へ配信する際には、その合成した音声情報から第２端末の音声情報を削除して配信する音声配信処理と、
   前記第１端末および第２端末それぞれより受信した映像情報を、各第１端末へ配信する際に、該配信先の第１端末以外の、他の第１端末または第２端末の映像情報を選択して配信する第１映像配信処理と、
   前記第１端末それぞれより受信した映像情報を、選択または合成して前記第２端末へ配信する第２映像配信処理と、
   をコンピュータに実行させるプログラム。
   

Images