JP2006203569A - マルチメディアデータ通信システム、マルチメディアデータ通信方法およびプログラム - Google Patents

Abstract

【課題】中継装置やネットワークの負荷を著しく増大させることなく、多数の端末によるマルチメディアデータ通信を可能にする。
【解決手段】端末４１〜４ｎは入力マルチメディアデータを送信部４１−２〜４ｎ−２から通信接続４１−ｃ〜４ｎ−ｃを介して中継装置５にマルチメディアデータを送信する。中継装置５は中継受信部５−１で受信したマルチメディアデータを多重化部５−３で多重化した後に中継送信部５−２から通信接続４１−d〜４ｎ−dを介して端末４１〜４ｎに送信する。端末４１〜４ｎは受信部４１−３〜４ｎ−３で受信したマルチメディアデータを非多重化部４１−６〜４ｎ−６で非多重化し選択・合成部４１−４〜４ｎ−４で選択・合成処理を行った後に出力部４１−５〜４ｎ−５から出力する。
【選択図】図３

Description

本発明は、複数の端末間で通信ネットワークを解してマルチメディアデータを通信するためのマルチメディアデータ通信システムおよび方法に関し、特に双方向の多地点マルチメディアデータ通信を行うシステムと方法に関する。

企業内ネットワークの整備や、一般家庭へのブロ−ドバンドの浸透に見られるように、通信ネットワークの普及や広帯域化は進行しつつある。また、端末の高性能化も日進月歩で進んでいる。

これらの通信ネットワークの広帯域化および端末の高性能化に伴って普及しつつあるのが、通信ネットワークで接続された多数の端末間で映像や音声およびプレゼンテ−ションデータといったマルチメディアデータを通信するシステムである。

当該システムの代表的形態としては会議や遠隔講義等に用いられる多地点コミュニケ−ションシステムが挙げられる。これは、通信ネットワークを介して、コミュニケ−ション参加者の端末を相互接続した上で、参加者の端末でリアルタイムに取り込んだ映像や音声およびプレゼンテ−ションデータといったマルチメディアデータを他参加者の端末に送信することで、物理的に離れた参加者間でのコミュニケ−ションを可能にするシステムである。

しかし、このようなマルチメディアデータ通信システムでは、各端末毎に利用可能なマルチメディアデータのデータ形式等が異なっている。そのため、従来のマルチメディアデータ通信システムでは、中継装置において、それぞれの端末に適した形式となるようにマルチメディアデータを選択・合成する必要があった（例えば、特許文献１、２参照。）。

多地点マルチメディアデータ通信用の代表的なシステムとしては、例えばITU−T H.323 "Packet−based multimedia communications systems"が挙げられる。当該システムの集中型方式では、マルチメディアデータを集約して参加端末へ中継するための装置として中継装置(ＭＣＵ: Multipoint control unit)を規定している。集中型方式における端末と中継装置の構成例を図５に示す。中継装置は、通信に参加している端末から送信された複数のマルチメディアデータを集約し、それぞれの参加端末に適した形式となるように当該マルチメディアデータを選択・合成した上で各参加端末に送信する装置である。このとき、必要とされるマルチメディアデータの選択・合成の処理は送信先の端末毎に異なるため、中継装置における選択・合成処理にかかる負荷は参加端末の数に応じて高くなってしまう。このように、多地点マルチメディアデータ通信を集約するための中継装置を用いた従来の構成では、多数の端末で通信を行うことは困難であるという問題があった。

また、H.323では集中型方式とは別に分散型方式も規定している。分散型方式の構成例を図６に示す。分散型方式では端末から送信されたマルチメディアデータを各端末に同時送信するマルチキャスト転送を用いることが規定されており、マルチメディアデータの送信に関しては中継装置の関与は不要となる。しかしながら、マルチキャストを用いるためのネットワーク構成には制限があることが一般的であり、多くの場合大規模となる多地点マルチメディアデータ通信に適用することは困難であるという問題があった。
特開平１１−１１２５６９号公報 特開２００３−８７３０４号公報

上述した従来のマルチメディアデータ通信システムでは、端末数が多数になると中継装置や通信ネットワークの負荷が増大してしまうという問題点があった。

本発明の目的は、端末数が多数になっても中継装置や通信ネットワークの負荷の増大を抑制することができるマルチメディア通信システムおよび方法を提供することである。

上記目的を達成するために、本発明は、複数の端末間で通信ネットワークを介してマルチメディアデータを通信するためのマルチメディアデータ通信システムであって、
単一もしくは複数のマルチメディアデータを前記通信ネットワークから受信する受信手段と、前記受信手段により受信されたマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換する変換手段と、前記変換手段により生成されたマルチメディアデータを出力する出力手段とをそれぞれ備えた複数の端末と、
単一もしくは複数のマルチメディアデータを前記通信ネットワークを介して前記複数の端末からそれぞれ受信する中継受信手段と、前記中継受信手段により受信されたマルチメディアデータを前記通信ネットワークを介して前記複数の端末の全てに送信する中継送信手段とを備えた中継装置とを具備することを特徴とする。

本発明のマルチメディア通信システムでは、複数の端末から送信されたマルチメディアデータの選択・合成処理を各端末に設けられた変換手段で実施するようにしているので、多地点マルチメディアデータ通信に参加する端末の数が多い場合においても、中継装置の負荷を著しく増大させることがない。

また、本発明の他のマルチメディアデータ通信システムは、複数の端末間で通信ネットワークを介してマルチメディアデータを通信するためのマルチメディアデータ通信システムであって、
単一もしくは複数の多重化マルチメディアデータを前記通信ネットワークから受信する受信手段と、前記受信手段により受信された多重化マルチメディアデータを非多重化して単一もしくは複数のマルチメディアデータを抽出する非多重化手段と、前記非多重化手段で抽出した単一もしくは複数のマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換する変換手段と、前記変換手段により生成されたマルチメディアデータを出力する出力手段とをそれぞれ備えた複数の端末と、
単一もしくは複数のマルチメディアデータを前記通信ネットワークを介して前記複数の端末からそれぞれ受信する中継受信手段と、前記中継受信手段により受信されたマルチメディアデータを多重化して単一もしくは複数の多重化マルチメディアデータに変換する多重化手段と、前記多重化手段により多重化された単一もしくは複数のマルチメディアデータを前記通信ネットワークを介して前記複数の端末の全てに送信する中継送信手段とを備えた中継装置とを具備することを特徴とする。

本発明によれば、中継装置において参加端末から送信されたマルチメディアデータを中継する際に、当該マルチメディアデータを多重化して送信し、各端末では多重化されたマルチメディアデータを非多重化するようにしているので、通信ネットワーク上を流れる通信パケット数やコネクション数を少なくして、ネットワークの負荷を軽減することができる。

以上説明したように、本発明によれば、下記のような効果を得ることができる。
（１）マルチメディアデータの選択・合成処理を各端末で行うようにしているので、多地点マルチメディア通信において、参加端末が多い場合であっても中継装置の負荷の著しい増大を抑えることができる。
（２）中継装置において参加端末から送信されたマルチメディアデータを中継する際に、当該マルチメディアデータを多重化することで、通信ネットワーク上を流れる通信パケット数やコネクション数を少なくするようにしているので、ネットワークの負荷を軽減することができる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明の第１の実施形態のマルチメディアデータ通信システムの構成を示すブロック図である。この図１を参照して、本実施形態のマルチメディアデータ通信システムの構成について詳述する。

本実施形態のマルチメディアデータ通信システムは、マルチメディアデータを送受信するｎ台の端末１１〜１ｎと、各端末１１〜１ｎから送信されたマルチメディアデータを他の端末１１〜１ｎに中継する中継装置２を含む。ｎ台の端末１１〜１ｎはそれぞれ通信ネットワーク３を介して中継装置２と接続される。ここでｎは１以上の数とする。また、ここで言うマルチメディアデータとしては、例えば音声データや映像データ、あるいはプレゼンテーションデータや文書データなどを想定すればよい。また、通信されるメディアデータの種類は単一でも複数種類でも構わない。さらに、メディアデータの構成としては、ＰＣＭや圧縮データ等の形態を適宜利用すればよく、必要な符号化処理および復号化処理を必要に応じて本構成の中に含めればよい。

端末１１は、入力部１１−１と送信部１１−２を有する。入力部１１−１は、マルチメディア信号もしくはマルチメディアデータを取り込むためのインターフェイスを備える。当該インターフェイスとしては、例えば、記憶装置に予め保存しておいたマルチメディアデータを取り出すためのインターフェイスや、カメラやマイクを通して端末外部からリアルタイムでマルチメディアデータを取り込むためのインターフェイス、等が考えられる。送信部１１−２は、入力部１１−１により入力されたマルチメディア信号もしくはマルチメディアデータを通信ネットワーク３を介して中継装置２に送信するためのインターフェイスを備える。

また、端末１１は、受信部１１−３と選択・合成部１１−４および出力部１１−５を有する。受信部１１−３は、中継装置２から送信された単一もしくは複数のマルチメディアデータを通信ネットワーク３を介して受信するためのインターフェイスを備える。選択・合成部１１−４は、受信部１１−３により受信されたマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換する変換手段として機能する。出力部１１−５は、選択・合成部１１−４により生成されたマルチメディアデータの出力用のインターフェイスを備える。当該インターフェイスとしては、例えば、マルチメディアデータを記憶装置に保存するためのインターフェイスや、ディスプレイやスピーカを通して端末外部にマルチメディアデータを出力するためインターフェイス等が考えられる。

中継装置２は、中継受信部２−１と中継送信部２−２を有する。中継受信部２−１は端末１１〜１ｎから送信された単一もしくは複数のマルチメディアデータを通信ネットワーク３を介して受信するためのインターフェイスを備える。中継送信部２−２は、中継受信部２−１により受信されたマルチメディアデータを通信ネットワーク３を介して全ての端末１１〜１ｎに送信するためのインターフェイスを備える。

次に、図１を参照して、本発明の第１の実施形態のマルチメディアデータ通信システムの動作について詳述する。

端末１１において、入力部１１−１はマルチメディアデータを接続１１−ａを通して取り込む。取り込み方式としては、記憶装置に保存されたマルチメディアデータを取り込む方式や、カメラやマイクを通して端末外部からリアルタイムでマルチメディアデータを取り込む方式、等が考えられる。入力部１１−１は取得された当該マルチメディアデータを送信部接続１１−ｂを通して送信部１１−２に供給する。

送信部１１−２は、当該マルチメディアデータを通信接続１１−ｃを通して中継装置２の中継受信部２−１に送信する。

また、端末１１において、受信部１１−３は中継装置２の中継送信部２−２から送信されたマルチメディアデータを通信接続１１−ｄを通して受信する。受信部１１−３は当該マルチメディアデータを接続１１−ｅを通して選択・合成部１１−４に供給する。

選択・合成部１１−４には、中継装置２を通じてｎ台の端末１１〜１ｎが送信したマルチメディアデータが供給される。選択・合成部１１−４は、この端末ｎ台分のマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施して、端末１１で出力するためのマルチメディアデータに変換する。選択・合成処理の規則としては、例えば、端末１１を除いた端末ｎ−１台の音声データを選択し、合成して単一出力とする音声ミキシング規則や、端末ｎ台の映像データから端末利用者の指示によって特定の１台の端末の映像のみを選択する映像選択規則、端末ｎ台の映像データから端末１１の映像のみを左右反転処理する自己映像鏡像化規則、等が考えられる。最後に、選択・合成部１１−４は選択・合成処理の完了したマルチメディアデータを接続１１−ｆを通して出力部１１−５に供給する。

出力部１１−５は当該マルチメディアデータを接続１１−ｇを通して出力する。出力方式としては、例えば、記憶装置に保存しておく方式や、ディスプレイやスピーカを通して端末外部に出力する方式、等が考えられる。

端末１１以外の端末１２〜１ｎについても端末１１と同様の動作が行われるものとする。ただし、このとき各端末１１〜１ｎの動作は他の端末と独立に行われる。例えば、入力部１１−１〜１ｎ−１それぞれにおける信号の入力方式や、選択・合成部１１−４〜１ｎ−４における選択・合成処理の動作規則、出力部１１−５〜１ｎ−５における信号の出力方式、等については端末１１〜１ｎの能力やユーザの指定に従ってそれぞれで異なることになる。

ここで、ｎ台の参加端末全てがマルチメディアデータを送信する必要は必ずしもない。すなわち、入力部１１−１と送信部１１−２を備えずにマルチメディアデータの受信動作のみを行う受信専用端末とする構成も可能である。また、マルチメディアデータの送信を停止して受信のみの動作を行っている端末や、マルチメディアデータの送信動作のみを行う送信専用端末などを混在して接続することも可能である。

中継装置２の中継受信部２−１は端末１１〜１ｎの送信部１１−２〜１ｎ−２から送信されたマルチメディアデータを通信接続１１−ｃ〜１ｎ−ｃを通して受信する。中継受信部２−１は当該マルチメディアデータを接続２−aを通して中継送信部２−２に供給する。

中継送信部２−２は当該マルチメディアデータを通信接続１１−ｄ〜１ｎ−ｄを通して端末１１〜１ｎに送信する。この送信処理は、各端末１１〜１ｎ毎に個別送信してもよいし、通信ネットワーク３が例えばマルチキャストのような同時送信機能を有する場合、同時送信機能を用いて各端末１１〜１ｎに一斉に行ってもよい。

ここで、図１における端末１１〜１ｎの送信部１１−２〜１ｎ−２と選択・合成部１１−４〜１ｎ−４の間を接続し、図２に示すように送信部７１−２と選択・合成部７１−４が接続７１−ｘで接続された構成としてもよい。この構成によれば、例えば送信部７１−２から送信されるマルチメディアデータに関わる変換処理の制御情報や制御信号を送信部７１−２から選択・合成部７１−４に供給し、選択・合成部７１−４では、供給された変換処理の制御情報によって変換処理の制御を行うことにより、選択・合成部７１−４の動作制御の柔軟性向上や自動化が可能となる。

例えば、送信部７１−２から、マルチメディアデータとして音声データを送信する際に、使用される端末の識別情報もしくは送信されたマルチメディアデータの識別情報等を選択・合成部７１−４に供給することにより、選択・合成部７１−４において、自己端末である端末７１から送信された音声データをユーザ等が設定することなく自動的に識別して除外する音声ミキシング処理が可能となる。

同時に、選択・合成部７１−４から情報や制御信号を送信部７１−２に供給する構成としてもよい。例えば、選択・合成部７１−４に供給される音声データの到着状況に関する統計情報や音声データの優先順位の情報を、接続７１−ｘを通して選択・合成部７１−４から送信部７１−２に供給し、送信部７１−２では、この統計情報や優先順位の情報を用いて送信制御を行うことにより、参加端末からの音声データが少ない、あるいは発生しない状況においてのみ、例えばＢＧＭのような低プライオリティの音声データを端末７１から送信する処理が可能となる。

以上、説明したとおり、第１の実施形態では、各端末から送信されたマルチメディアデータの選択・合成処理を各端末１１〜１ｎに設けられた選択・合成部１１−４〜１ｎ−４で行うことにより、多地点マルチメディアデータ通信に参加する端末の数が多い場合においても、中継装置２の負荷を著しく増大させることがないという効果が得られる。

（第２の実施形態）
次に、本発明の第２の実施形態のマルチメディアデータ通信システムについて説明する。

多地点会議を構成する通信ネットワークは、一般に大規模なものとなり、マルチメディアデータを通信相手まで送り届けるための転送装置が存在することが多い。この転送装置としては、例えばルータやプロキシサーバが該当する。多地点会議システムのネットワークを構成する当該転送装置では、コネクション管理とマルチメディアデータの通信パケット単位での転送が行われるため、端末数が増加して通信パケット数やコネクション数が増えるにしたがって転送装置にかかる負荷も増大する。したがって、第１の実施形態でマルチキャストを用いない場合、通信ネットワークを構成する転送装置の負荷が増大する可能性が有る。

以下、前記問題点を解決する第２の実施形態について、図３を用いて詳述する。

本実施形態では、マルチメディアデータを送受信するｎ台の端末４１〜４ｎと、各端末４１〜４ｎから送信されたマルチメディアデータを他の端末４１〜４ｎに中継する中継装置５を含む。ｎ台の端末４１〜４ｎはそれぞれ通信ネットワーク６を介して中継装置５と接続される。ここでｎは１以上の数とする。また、ここで言うマルチメディアデータとしては、例えば音声データや映像データ、あるいはプレゼンテーションデータや文書データなどを想定すればよい。また、通信されるメディアデータの種類は単一でも複数種類でも構わない。さらに、メディアデータの構成としては、ＰＣＭや圧縮データ等の形態を適宜利用すればよく、必要な符号化処理および復号化処理を必要に応じて本構成の中に含めればよい。

端末４１は、入力部４１−１と送信部４１−２を有する。入力部４１−１はマルチメディアデータを取り込むためのインターフェイスを備える。当該インターフェイスとしては、例えば、記憶装置に予め保存しておいたマルチメディアデータを取り出すためのインターフェイスや、カメラやマイクを通して端末外部からリアルタイムでマルチメディアデータを取り込むためのインターフェイス等が考えられる。送信部４１−２はマルチメディアデータを通信ネットワーク６を介して中継装置５に送信するためのインターフェイスを備える。

また、端末４１は、受信部４１−３と非多重化部４１−６と選択・合成部４１−４および出力部４１−５を有する。受信部４１−３は中継装置５から送信されたマルチメディアデータを通信ネットワーク６を介して受信するためのインターフェイスを備える。選択・合成部４１−４は、供給されたマルチメディアデータから必要ものを選択・合成する規則をあらかじめ、もしくは、リアルタイムで与えられているものとする。出力部４１−５はマルチメディアデータの出力用のインターフェイスを備える。当該インターフェイスとしては、例えば、マルチメディアデータを記憶装置に保存するためのインターフェイスや、ディスプレイやスピーカを通して端末外部にマルチメディアデータを出力するためインターフェイス等が考えられる。

中継装置５は、中継受信部５−１と多重化部５−３および中継送信部５−２を有する。中継受信部５−１は端末４１〜４ｎから送信されたマルチメディアデータを通信ネットワーク６を介して受信するためのインターフェイスを備える。中継送信部５−２はマルチメディアデータを通信ネットワーク６を介して端末４１〜４ｎに送信するためのインターフェイスを備える。

次に、図３を参照して、本発明の第２の実施形態のマルチメディアデータ通信システムの動作について詳述する。

端末４１において、入力部４１−１はマルチメディアデータを接続４１−aを通して取り込む。取り込み方式としては、記憶装置に保存されたマルチメディアデータを取り込む方式や、カメラやマイクを通して端末外部からリアルタイムでマルチメディアデータを取り込む方式、等が考えられる。入力部４１−１は取得された当該マルチメディアデータを送信部接続４１−ｂを通して送信部４１−２に供給する。

送信部４１−２は当該マルチメディアデータを通信接続４１−ｃを通して中継装置５の中央受信部５−１に送信する。

また、端末４１において受信部４１−３は中継装置５の中継送信部５−２から送信されたマルチメディアデータを通信接続４１−ｄを通して受信する。受信部４１−３は当該マルチメディアデータを接続４１−eを通して非多重化部４１−６に供給する。

非多重化部４１−６は当該マルチメディアデータを非多重化し、端末４１〜４ｎが４１−ｃ〜４ｎ−ｃを通して送信した全ての、もしくは、一部のマルチメディアデータを取り出す。さらに、非多重化部４１−６は取り出した複数のマルチメディアデータを接続４１−ｈを通して選択・合成部４１−４に供給する。

選択・合成部４１−４には、中継装置５を通じてｎ台の端末４１〜４ｎが送信したマルチメディアデータが供給される。選択・合成部４１−４はこの端末ｎ台分のマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施して、端末４１で出力するためのマルチメディアデータに変換する。選択・合成処理の規則としては、例えば、端末４１を除いた端末ｎ−１台の音声データを選択し、合成して単一出力とする音声ミキシング規則や、端末ｎ台の映像データから端末利用者の指示によって特定の１台の端末の映像のみを選択する映像選択規則、端末ｎ台の映像データから端末４１の映像のみを左右反転処理する自己映像鏡像化規則、等が考えられる。また、選択・合成部における選択処理の一部もしくは全てを非多重化部でマルチメディアデータを取り出す際に実施する形態としても良い。最後に、選択・合成部４１−４は選択・合成処理の完了したマルチメディアデータを接続４１−ｆを通して出力部４１−５に供給する。

出力部４１−５は当該マルチメディアデータを接続４１−ｇを通して出力する。出力方式としては、例えば、記憶装置に保存しておく方式や、ディスプレイやスピ−カ−を通して端末外部に出力する方式、等が考えられる。

端末４１以外の端末４２〜４ｎについても端末４１と同様の動作が行われるものとする。ただし、このとき各端末４１〜４ｎの動作は他の端末と独立して行われる。例えば、入力部４１−１〜４ｎ−１それぞれにおける信号の入力方式や、選択・合成部４１−４〜４ｎ−４における選択・合成処理の動作規則、出力部４１−５〜４ｎ−５における信号の出力方式、等については端末４１〜４ｎの能力やユ−ザの指定に従ってそれぞれで異なることになる。

ここで、ｎ台の参加端末全てがマルチメディアデータを送信する必要は必ずしもない。すなわち、入力部４１−１と送信部４１−２を備えずにマルチメディアデータの受信動作のみを行う受信専用端末とする構成も可能である。また、マルチメディアデータの送信を停止して受信のみの動作を行っている端末や、マルチメディアデータの送信動作のみを行う送信専用端末などを混在して接続することも可能である。

中継装置５の中継受信部５−１は端末４１〜４ｎの送信部４１−２〜４ｎ−２から送信されたマルチメディアデータを通信接続４１−ｃ〜４ｎ−ｃを通して受信する。中継受信部５−１は当該マルチメディアデータを接続５−aを通して多重化部５−３に供給する。

多重化部５−３にはｎ台の端末４１〜４ｎが送信したマルチメディアデータが供給される。多重化部５−３は当該マルチメディアデータを多重化することにより、単一もしくは複数のマルチメディアデータに変換する。多重化方法としては、例えば、複数の端末のマルチメディアデータのパケットを単一パケットに多重化する方法や、ある端末の複数メディアのデータパケットを単一パケットに多重化する方法などを用いればよい。多重化部５−３は前記多重化されたマルチメディアデータを接続５−bを通して中継送信部５−２に供給する。

中継送信部５−２は当該多重化マルチメディアデータを通信接続４１−ｄ〜４ｎ−ｄを通して端末４１〜４ｎに送信する。この送信処理は、各端末４１〜４ｎ毎に個別送信してもよいし、通信ネットワーク６が例えばマルチキャストのような同時送信機能を有する場合、同時送信機能を用いて各端末４１〜４ｎに一斉に行ってもよい。

ここで、図３における端末４１〜４ｎの送信部４１−２〜４ｎ−２と選択・合成部４１−４〜４ｎ−４の間を接続し、図４に示すように送信部８１−２と選択・合成部８１−４が接続８１−ｘで接続された構成としてもよい。この構成によれば、例えば送信部８１−２から送信されるマルチメディアデータに関わる情報や制御信号を送信部８１−２から選択・合成部８１−４に供給することで、選択・合成部の動作制御の柔軟性向上や自動化が可能となる。

例えば、送信部８１−２から音声データを送信する際に使用される端末識別情報等を選択・合成部８１−４に供給することにより、選択・合成部８１−４において、自己端末である端末８１から送信された音声データをユ−ザ等が設定することなく自動的に識別して除外する音声ミキシング処理が可能となる。

同時に、選択・合成部８１−４から情報や制御信号を送信部８１−２に供給する構成としてもよい。例えば、選択・合成部８１−４に供給される音声データの到着状況に関する統計情報を、接続８１−ｘを通して選択・合成部８１−４から送信部８１−２に供給することにより、参加端末からの音声データが少ない、あるいは発生しない状況においてのみ、例えばＢＧＭのような低プライオリティの音声データを端末８１から送信する処理が可能となる。

以上、説明したとおり、本発明の第２の実施形態では、中継装置５の多重化部５−３でマルチメディアデータを多重化して送信する。この際に、多重化により送信するマルチメディアデータパケット数を多重化前よりも削減することにより、通信ネットワーク６を通るマルチメディアデータのパケット数を軽減することができる。また、多重化により送信するマルチメディアデータのコネクション数を多重化前よりも削減することにより、通信ネットワーク６を通るマルチメディアデータのコネクション数を軽減することができる。これにより多地点マルチメディアデータ通信の参加端末が多い場合においても、中継装置の負荷を増加させないという効果に加えて、通信ネットワーク６にかかる負荷が著しく増大することがないという効果を得ることができる。

また、図には示されていないが、上記第１および第２の実施形態のマルチメディアデータ通信システムは、上記で説明したマルチメディアデータ通信方法を実行するためのプログラムを記録した記録媒体を備えている。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体から中継装置２、各端末１１〜１ｎ、中継装置５、各端末４１〜４ｎにそれぞれ読み込まれ、これらの装置の動作を制御する。具体的には、各装置内のＣＰＵがこのプログラムの制御により各装置のハードウェア資源に特定の処理を行うように指示することにより上記の処理が実現される。

本発明の第１の実施形態の構成および動作を示すブロック図である。 本発明の第１の実施形態における端末の他の構成を示すブロック図である。 本発明の第２の実施形態の構成および動作を示すブロック図である。 本発明の第２の実施形態における端末の他の構成を示すブロック図である。 H.323における集中型方式の構成例を示すブロック図である。 H.323における分散型方式の構成例を示すブロック図である。

符号の説明

１１〜１ｎ、４１〜４ｎ 端末
１１−１〜１ｎ−１、４１−１、４ｎ−１ 入力部
１１−２〜１ｎ−２、４１−２〜４ｎ−２ 送信部
１１−３〜１ｎ−３、４１−３〜４ｎ−３ 受信部
１１−４〜１ｎ−４、４１−４〜４ｎ−４ 選択・合成部
１１−５〜１ｎ−５、４１−５〜４ｎ−５ 出力部
４１−６〜４ｎ−６ 非多重化部
２、５ 中継装置
２−１、５−１ 中継受信部
２−２、５−２ 中継送信部
５−３ 多重化部
３、６ 通信ネットワーク
７１ 端末
７１−１、８１−１ 入力部
７１−２、８１−２ 送信部
７１−３、８１−３ 受信部
７１−４、８１−４ 選択・合成部
７１−５、８１−５ 出力部
８１−６ 非多重化部

Claims (22)

1. 複数の端末間で通信ネットワークを介してマルチメディアデータを通信するためのマルチメディアデータ通信システムであって、
   単一もしくは複数のマルチメディアデータを前記通信ネットワークから受信する受信手段と、前記受信手段により受信されたマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換する変換手段と、前記変換手段により生成されたマルチメディアデータを出力する出力手段とをそれぞれ備えた複数の端末と、
   単一もしくは複数のマルチメディアデータを前記通信ネットワークを介して前記複数の端末からそれぞれ受信する中継受信手段と、前記中継受信手段により受信されたマルチメディアデータを前記通信ネットワークを介して前記複数の端末の全てに送信する中継送信手段とを備えた中継装置と、
   を具備することを特徴とするマルチメディアデータ通信システム。
2. 複数の端末間で通信ネットワークを介してマルチメディアデータを通信するためのマルチメディアデータ通信システムであって、
   単一もしくは複数の多重化マルチメディアデータを前記通信ネットワークから受信する受信手段と、前記受信手段により受信された多重化マルチメディアデータを非多重化して単一もしくは複数のマルチメディアデータを抽出する非多重化手段と、前記非多重化手段で抽出した単一もしくは複数のマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換する変換手段と、前記変換手段により生成されたマルチメディアデータを出力する出力手段とをそれぞれ備えた複数の端末と、
   単一もしくは複数のマルチメディアデータを前記通信ネットワークを介して前記複数の端末からそれぞれ受信する中継受信手段と、前記中継受信手段により受信されたマルチメディアデータを多重化して単一もしくは複数の多重化マルチメディアデータに変換する多重化手段と、前記多重化手段により多重化された単一もしくは複数のマルチメディアデータを前記通信ネットワークを介して前記複数の端末の全てに送信する中継送信手段とを備えた中継装置と、
   を具備することを特徴とするマルチメディアデータ通信システム。
3. 前記複数の端末のうちの少なくとも１つ以上の端末が、
   マルチメディア信号もしくはマルチメディアデータを入力する入力手段と、
   前記入力手段により入力されたマルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信する送信手段とを、さらに具備する請求項１または２記載のマルチメディアデータ通信システム。
4. 前記送信手段は、変換処理の制御情報を生成して前記変換手段に供給する手段を有し、
   前記変換手段は、前記送信手段から供給された変換処理の制御情報によって変換処理の制御を行う請求項３記載のマルチメディアデータ通信システム。
5. 前記送信手段から前記変換手段へ供給される制御情報として、
   端末の識別情報もしくは送信されたマルチメディアデータの識別情報が含まれる請求項４記載のマルチメディアデータ通信システム。
6. 前記複数の端末間で通信されるマルチメディアデータとして音声データを含み、
   前記送信手段から前記変換手段へ供給される端末の識別情報もしくはマルチメディアデータの識別情報により、前記変換手段において自端末から送信された音声データを除外する処理を行う請求項５記載のマルチメディアデータ通信システム。
7. 前記変換手段は、送信制御信号を生成して前記送信手段に供給する手段を有し、
   前記送信手段は、前記変換手段から供給された前記送信制御信号により送信処理の制御を行う請求項３記載のマルチメディアデータ通信システム。
8. 前記複数の端末間で通信されるマルチメディアデータとして音声データを含み、
   前記変換手段から前記送信手段へ供給される送信制御情報として音声データの優先順位の情報を含み、
   前記送信手段における送信制御に前記優先順位を用いる請求項７記載のマルチメディアデータ通信システム。
9. 複数の端末間で通信ネットワークを介してマルチメディアデータを通信するためのマルチメディアデータ通信方法であって、
   前記複数の端末のうちの少なくとも１つ以上の端末において、マルチメディア信号もしくはマルチメディアデータを入力し、入力された該マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信するステップと、
   中継装置において、前記少なくと１つ以上の端末から送信された単一もしくは複数のマルチメディアデータを前記通信ネットワークを介してそれぞれ受信し、受信された該マルチメディアデータを前記通信ネットワークを介して前記複数の端末の全てに送信するステップと、
   前記複数の端末のそれぞれにおいて、単一もしくは複数のマルチメディアデータを前記通信ネットワークから受信するステップと、
   前記複数の端末のそれぞれにおいて、受信された前記マルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換するステップと、
   前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換されたマルチメディアデータを出力するステップと、
   を具備することを特徴とするマルチメディアデータ通信方法。
10. 複数の端末間で通信ネットワークを介してマルチメディアデータを通信するためのマルチメディアデータ通信方法であって、
    前記複数の端末のうちの少なくとも１つ以上の端末において、マルチメディア信号もしくはマルチメディアデータを入力し、入力された該マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信するステップと、
    中継装置において、前記少なくと１つ以上の端末から送信された単一もしくは複数のマルチメディアデータを前記通信ネットワークを介してそれぞれ受信し、受信された該単一もしくは複数のマルチメディアデータを多重化して単一もしくは複数の多重化マルチメディアデータに変換するステップと、多重化された単一もしくは複数の多重化マルチメディアデータを前記通信ネットワークを介して前記複数の端末の全てに送信するステップと、
    前記複数の端末のそれぞれにおいて、単一もしくは複数の多重化マルチメディアデータを前記通信ネットワークから受信するステップと、
    前記複数の端末のそれぞれにおいて、受信された前記多重化マルチメディアデータを非多重化して単一もしくは複数のマルチメディアデータを抽出し、抽出された単一もしくは複数のマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換するステップと、
    前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換されたマルチメディアデータを出力するステップと、
    を具備することを特徴とするマルチメディアデータ通信方法。
11. 前記複数の端末のうちの少なくとも１つ以上の端末において、前記マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信するステップでは、変換処理の制御情報を生成するステップをさらに有し、
    前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換するステップでは、供給された前記変換処理の制御情報によって変換処理の制御を行う請求項９または１０記載のマルチメディアデータ通信方法。
12. 前記制御情報として、端末の識別情報もしくは送信されたマルチメディアデータの識別情報が含まれる請求項１１記載のマルチメディアデータ通信方法。
13. 前記複数の端末間で通信されるマルチメディアデータとして音声データを含み、
    前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換するステップでは、前記端末の識別情報もしくはマルチメディアデータの識別情報により、自端末から送信された音声データを除外する処理を行うステップをさらに含む請求項１２記載のマルチメディアデータ通信方法。
14. 前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換するステップでは、送信制御信号を生成するステップをさらに有し、
    前記複数の端末のうちの少なくとも１つ以上の端末において、前記マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信するステップでは、供給された前記送信制御信号により送信処理の制御を行う請求項９または１０記載のマルチメディアデータ通信方法。
15. 前記複数の端末間で通信されるマルチメディアデータとして音声データを含み、
    前記送信制御情報として音声データの優先順位の情報を含み、
    前記複数の端末のうちの少なくとも１つ以上の端末において、前記マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信するステップでは、送信制御に前記優先順位を用いる請求項１４記載のマルチメディアデータ通信方法。
16. 複数の端末間で通信ネットワークを介してマルチメディアデータを通信するためのマルチメディアデータ通信方法をコンピュータに実行させるためのプログラムであって、
    前記複数の端末のうちの少なくとも１つ以上の端末において、マルチメディア信号もしくはマルチメディアデータを入力し、入力された該マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信する処理と、
    中継装置において、前記少なくと１つ以上の端末から送信された単一もしくは複数のマルチメディアデータを前記通信ネットワークを介してそれぞれ受信し、受信された該マルチメディアデータを前記通信ネットワークを介して前記複数の端末の全てに送信する処理と、
    前記複数の端末のそれぞれにおいて、単一もしくは複数のマルチメディアデータを前記通信ネットワークから受信する処理と、
    前記複数の端末のそれぞれにおいて、受信された前記マルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換する処理と、
    前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換されたマルチメディアデータを出力する処理と、
    をコンピュータに実行させることを特徴とするプログラム。
17. 複数の端末間で通信ネットワークを介してマルチメディアデータを通信するためのマルチメディアデータ通信方法をコンピュータに実行させるためのプログラムであって、
    前記複数の端末のうちの少なくとも１つ以上の端末において、マルチメディア信号もしくはマルチメディアデータを入力し、入力された該マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信する処理と、
    中継装置において、前記少なくと１つ以上の端末から送信された単一もしくは複数のマルチメディアデータを前記通信ネットワークを介してそれぞれ受信し、受信された該単一もしくは複数のマルチメディアデータを多重化して単一もしくは複数の多重化マルチメディアデータに変換する処理と、多重化された単一もしくは複数の多重化マルチメディアデータを前記通信ネットワークを介して前記複数の端末の全てに送信する処理と、
    前記複数の端末のそれぞれにおいて、単一もしくは複数の多重化マルチメディアデータを前記通信ネットワークから受信する処理と、
    前記複数の端末のそれぞれにおいて、受信された前記多重化マルチメディアデータを非多重化して単一もしくは複数のマルチメディアデータを抽出し、抽出された単一もしくは複数のマルチメディアデータを、予めあるいはリアルタイムに与えられる規則に従って選択あるいは合成、もしくは選択と合成の両方の処理を実施することにより、当該端末で出力可能なデータ形式のマルチメディアデータに変換する処理と、
    前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換されたマルチメディアデータを出力する処理と、
    をコンピュータに実行させることを特徴とするプログラム。
18. 前記複数の端末のうちの少なくとも１つ以上の端末において、前記マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信する処理では、変換処理の制御情報を生成する処理をさらに実行し、
    前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換する処理では、供給された前記変換処理の制御情報によって変換処理の制御を行う請求項１６または１７記載のプログラム。
19. 前記制御情報として、端末の識別情報もしくは送信されたマルチメディアデータの識別情報が含まれる請求項１８記載のプログラム。
20. 前記複数の端末間で通信されるマルチメディアデータとして音声データを含み、
    前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換する処理では、前記端末の識別情報もしくはマルチメディアデータの識別情報により、自端末から送信された音声データを除外する処理を行う処理をさらに実行する請求項１９記載のプログラム。
21. 前記複数の端末のそれぞれにおいて、当該端末で出力可能なデータ形式のマルチメディアデータに変換する処理では、送信制御信号を生成する処理をさらに実行し、
    前記複数の端末のうちの少なくとも１つ以上の端末において、前記マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信する処理では、供給された前記送信制御信号により送信処理の制御を行う請求項１６または１７記載のプログラム。
22. 前記複数の端末間で通信されるマルチメディアデータとして音声データを含み、
    前記送信制御情報として音声データの優先順位の情報を含み、
    前記複数の端末のうちの少なくとも１つ以上の端末において、前記マルチメディア信号もしくはマルチメディアデータを前記通信ネットワークに送信する処理では、送信制御に前記優先順位を用いる請求項２１記載のプログラム。

Images