JP2005340922A

JP2005340922A - リアルタイム遠隔コミュニケーションシステム及び通信品質制御装置

Info

Publication number: JP2005340922A
Application number: JP2004153357A
Authority: JP
Inventors: Yoko Mitsugi; 洋子三次
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-05-24
Filing date: 2004-05-24
Publication date: 2005-12-08

Abstract

【課題】リアルタイム双方向コミュニケーションにおいて、映像及び音声伝送が低遅延であり、かつ高品質な音声伝送を実現することを目的とする。
【解決手段】ネットワーク２０経路上のデータ転送の混雑をネットワーク監視手段１０４とで監視し、端末３０から送信されたパケットデータに記述される判別タグに基づいてパケットデータが音声のデータであるか映像のデータであるかを判別し、映像のデータであることが判別された場合には、パケットデータに記述される第２の優先度レベルと、混雑状況に基づいて送信元と送信先ごとに参照テーブル６０ａに記述される第１の優先度レベルとに基づいて、決定手段１０７で端末３０から送信されたパケットデータの処理の方法を決定してパケットデータの処理を行う。
【選択図】図１

Description

本発明は、テレビ会議システムやテレビ電話に代表されるような双方向の音声・映像通信であるリアルタイム遠隔コミュニケーションにおいて、既存のネットワークシステム構成を変更せずに、特にネットワーク上で特定の種類のデータの低廃棄、低遅延性を確保し、データの再生先での音声及び映像の品質の劣化を防ぐ技術に関する。

近年、テレビ会議システムやテレビ電話に代表されるような音声及び映像のデータのストリーミング伝送を利用したリアルタイム遠隔コミュニケーションシステムの利用増加に伴い、その音声・映像の高品質化が進んでいる。また、データ圧縮技術は進んでいる一方、リアルタイム遠隔コミュニケーションシステムで高品質な音声や映像を伝送する場合、ネットワーク上で多くの帯域を使用する。

ストリーミング伝送において、ＩＳＤＮ回線や専用線等のシステム専用の回線を使用した場合、予め回線網の伝送能力がわかっているので、それに合わせて端末側で音声や映像の伝送レートを調整したり、逆に利用するストリーミングの伝送レートに応じた帯域設計や最大遅延保証（例えば１０msec等）が可能である。

しかしながら、ＩＰネットワークのように、リアルタイム遠隔コミュニケーションシステムで利用されるデータだけではなく、他のデータも流れるベストエフォートなネットワーク網を使用する場合、予期しない網の混雑やデータバーストのために最大許容遅延時間以上の遅延が生じたり、パケットデータの廃棄やジッタ等による音声、映像の品質劣化が起こり、コミュニケーションに支障が出る可能性があった。

また、リアルタイム遠隔コミュニケーションシステムを使用している間は、ストリーミング伝送が行われている。そのため、ネットワーク網上で一定の帯域を占有し続けることになる。ストリーミング伝送にはＵＤＰプロトコルを使用することが多いが、リアルタイム遠隔コミュニケーションでネットワーク網の帯域を多く占有し続けた場合、他のデータの伝送を妨げる恐れもある。

さらに、多地点間や複数の別々のストリーミング伝送にネットワーク網が使用されると、ネットワーク網の最大伝送能力を超える場合もある。ネットワーク網の最大伝送能力を超えた場合、伝送される各データに優先度をつけるか、もしくは互いのリアルタイム性や品質を保つために各々のデータの利用帯域を狭くせざるを得なくなる。

また、近年、ノート型パソコンやモバイル機器等の端末を使ったリアルタイム遠隔コミュニケーションシステムも提案されている。しかし、これらの端末が、伝送能力や利用可能帯域の比較的小さなネットワーク網を利用することもある。そのため、このような環境でリアルタイム遠隔コミュニケーションシステムを利用した場合、ストリーミングの伝送レートがこの網の伝送能力を超える可能性がある。

このように網の伝送能力を超える状況に対応すべく、端末機器側で予め映像データ又は音声データのどちらかを優先させて送受信したり、伝送能力を超えないようにするために、それぞれの品質や映像のフレームレートを設定できるものもある。しかし、一旦ネットワーク網に送信されたデータの保証はできない。

上述した問題に対応して、近年、ＱｏＳ（ＱｕａｌｉｔｙｏｆＳｅｒｖｉｃｅ）というネットワーク網の通信品質を制御する機能を持つルータ機器等も現れ、ネットワーク上の中継ノードでデータフローの優先制御や帯域確保、データの廃棄処理等を行っいる。

しかしながら、これらの機器を導入するためには高額な費用を必要とすることもある。また、導入時にネットワーク構成等の他の部分に関しても変更を要することもある。

また、通信品質制御の方法に関しては様々な方式が提案され、ＩＥＴＦ（ＴｈｅＩｎｔｅｒｎｅｔＥｎｇｉｎｅｅｒｉｎｇＴａｓｋＦｏｒｃｅ）等で標準化が進んでいる。

例えば、ネットワーク上の通信品質制御として特許文献１に記載される方法がある。特許文献１に記載の技術では、フロー毎に最適な制御処理が実現できるように各パケットに優先度や重要度に応じた設定を行うサービスプログラムを格納し、中継ノードにおいて優先度とサービスプログラムに従って制御を行う。しかし、この特許文献１に記載される技術はパケットのデータ量が増加し冗長となる為、ネットワークの混雑時にはネットワークを圧迫するという問題がある。

また、特許文献２には、各手段を端末制御部で制御や管理しながら、受信したデータの受信情報を解析し、記億装置や通信路へ情報を送信し、処理状態を管理して画像を伸長し、伸長された情報をもとに画像を合成して出力する画像音声伝送装置が記載されている。特許文献２に記載では、伝送経路上でフォーマットの動的な変更を行うことが記載されているが、データの圧縮伸張処理により更に遅延が生じる可能性があるという問題がある。
特開２００３−１２４９８８号公報特開２００３−１７９６６４号公報

一般的に、音声及び映像のデータを含むストリーミング伝送では、映像データのデータ量に対して、音声データのデータ量は非常に少ない。しかし、現状で行われている優先制御では、映像データ及び音声データを含むデータ全体を対象として制御している。そのため、ネットワーク網の混雑時にストリーミング伝送に利用するための十分な利用帯域をとれない場合、全体の遅延やジッタが大きくなるという問題がある。また、映像データと音声データを共に制御するため、パケットデータが欠落すると画像の劣化と共に音声も劣化する。

人間の特性として、時間情報である音声は遅延が大きくなったり、途中で何度も途切れたり、音質が悪くなったりして聞き取り辛くなると、会話コミュニケーションがうまく行えなくなることで非常に不快になる。その為、音声の劣化は、双方向コミュニケーションの大きな妨げになる。

一方、空間情報である映像は、会話コミュニケーションを中心とするシステムでは、音声と比較して重要ではないと考えられる。すなわち、画質やフレームレートが多少落ちたりしても音声ほど支障がないことが多い。

具体的に極端な例を挙げると、画像は静止していても、音声が明瞭に流れていればよい場合もある。また、テレビ会議システムやテレビ電話等では、音声によるコミュニケーションは盛んに行われるが、人がダイナミックに動くことは少ないという特徴がある。

ここで、ＶｏＤ（ＶｉｄｅｏｏｎＤｅｍａｎｄ）のようなサーバ・クライアント型の片方向ストリーミングの伝送について考えると、バッファが有効に使えるので帯域に余裕がある場合に多くのデータを送り、ジッタ等を調節できる。しかし、双方向の場合はバッファにデータを蓄積すると、その分、遅延が大きくなるので有効ではない。

そこで、本発明は上記課題に鑑み、映像と比較して音声の方が重要なリアルタイム双方向コミュニケーションにおいて、ネットワーク網の混雑時にストリーミングデータの中で映像よりも音声を優先して伝送することで、映像及び音声伝送が低遅延であり、かつ高品質な音声伝送を実現することを目的とする。

上記の目的を達成するために請求項１の発明は、ネットワーク網において双方向にストリームを伝送する際に、映像パケットデータに優先して音声パケットデータに対して必要な帯域を割り当てることにより音声データの通信品質及びリアルタイム性を確保するようにして、複数の端末部（３０）間で双方向のコミュニケーションを円滑に行うためのリアルタイム遠隔コミュニケーションシステムであって、前記複数の端末部（３０）とネットワーク網（２０）との間に介挿される入力制御部（５０）及び出力制御部（４０）と、ネットワーク網（２０）上に設けた通信品質制御部（１０）とを備え、前記出力制御部（４０）は、前記端末部（３０）の送信側から供給される音声データ、映像データにそれぞれ音声・映像を判別するための判別タグを付加するタグ付加手段（４０２）と、判別タグを付した音声データ、映像データをパケット化するパケット化手段（４０１）とを有しており、前記通信品質制御部（１０）は、ネットワーク網（２０）における伝送経路の混雑状態を監視するネットワーク監視手段（１０４）と、音声、映像の種別や優先度により、その音声、映像パケットデータの処理方法を所定の判断テーブルに基づいて決定する決定手段（１０７）と、前記決定手段（１０７）で判断された処理方法に基づき、データの通信品質処理を行うデータ処理手段（１０８）とを有しており、前記入力制御部（５０）は、ネットワーク網（２０）から供給される音声、映像パケットデータをそれぞれ前記パケット化とは相対的に元の音声データ、映像データにそれぞれ復元する手段と、前記通信品質制御部の通信品質処理によってデータの廃棄やデータ到着順にばらつきが生じた場合も音声データと映像データとの同期を保つための同期制御を行う同期制御手段（５０４）と、前記同期制御のために音声データと映像データとを一時的に記憶する記憶手段（５０３）とを有することを特徴としている。

上記構成の本発明によれば、映像データと音声データの重要性を判断してパケットデータの処理方法を決定することが可能となる。このような場合には、例えば映像のデータよりも音声のデータの劣化がコミュニケーションを妨げる要因となる人間の特性を利用して、音声の品質を落とさずに映像のパケットデータを優先させることができる。このように特定のデータを優先させてネットワーク２０の通信状況に応じてスケジューリングや廃棄処理等の優先処理をすることで、ネットワーク２０において双方向通信でネットワーク２０上の混雑を防ぐことが可能となり、双方向通信を行っている利用者及び当該ネットワーク２０を用いて他の通信を行っている利用者の通信を妨げることを緩和する。

また、請求項２に記載の発明は、音声や画像の入力手段及び出力手段を有する複数の端末（３０）が双方向通信可能に接続されるネットワーク（２０）経路上に配置され、前記複数の端末（３０）間で行う通信の品質制御をする通信品質制御装置（１０）であって、前記ネットワーク（２０）経路上のデータ転送の混雑を監視するネットワーク監視手段（１０４）と、前記ネットワーク監視手段（１０４）で監視された混雑状況に基づいて送信元と送信先毎に設定されたデータの処理方法を決定するための第１の優先度レベルが記述され、データ処理方法が決定される際に利用される判定テーブル（６０ａ）を用いて、前記端末から音声データか映像データかを判別するための判別タグとデータの処理方法を決定するための第２の優先度レベルとを含むパケットデータを受信すると、前記パケットデータに記述される判別タグに基づいて前記パケットデータが音声のデータであるか映像のデータであるかのデータの種類を判別し、前記判定テーブル（６０ａ）に記述される第１の優先度レベルと前記第２の優先度レベルとに基づいて、前記端末（３０）から送信されたパケットデータの処理方法を決定する決定手段（１０７）と、前記決定手段（１０７）で決定された処理の方法に基づいて前記パケットデータの処理を行うデータ処理手段（１０８）とを備えることを特徴としている。

上記構成の本発明によれば、映像データと音声データの重要性を判断してパケットデータの処理方法を決定することが可能となる。

また、請求項３では、請求項２に記載の通信品質制御装置（１０）において、前記ネットワーク監視手段（１０４）の監視により把握したネットワーク（２０）経路の混雑具合により、前記判定テーブル（６０ａ）に設定されている優先度レベルを随時更新することを特徴としている。

上記構成の本発明によれば、刻々と変化するネットワーク２０における通信状態に基づいて、優先度レベルを随時更新するようにすることで、現在行われている双方向通信のデータ伝送を妨げることなく、なおかつ、現在当該ネットワーク２０において行われている他のデータ通信のデータ伝送も妨げることなく利用することが可能となる。

また、請求項４では、請求項２又は３に記載の通信品質制御装置（１０）において、前記第１の優先度レベルに対応させてパケットデータ処理方法を記憶する通信品質設定テーブル（例えば７０ａ〜７０ｅ）を有することを特徴としている。

上記構成の本発明によれば、状況に応じて優先度レベルを設定して処理を行うことができ、有効な通信品質の制御が可能になる。

本発明によれば、例えばテレビ会議システムやテレビ電話のような、映像データと比較して音声データがより重要なリアルタイム遠隔コミュニケーションシステムにおいては、その特性を利用して、ネットワーク網の混雑時にストリーミングの中で映像よりも音声を優先して伝送することで、低遅延かつ高品質な音声伝送を実現し、より円滑な遠隔コミュニケーションを可能にすることができる。

また、音声データ及び映像データを区別した上で、ネットワーク網の混雑状況に合わせてパケットデータの優先処理をするので、ルータ機器を利用する場合のようにネットワーク上の経路を変更せず、また、リアルタイム遠隔コミュニケーション以外のデータには影響を与えずにストリーミングの音声データを優先させることができる。

本発明は、請求項１の構成である。

以下に図面を用いて本願発明について説明する。図１は本発明に係る通信品質制御装置１０の構成の一例であり、図２は通信品質制御装置１０を用いたリアルタイム遠隔コミュニケーションシステム１００の構成の一例である。

図１を用いて本発明に係る通信品質制御装置１０の一例の構成について説明する。通信品質制御装置１０は、図２で示すように、リアルタイム遠隔コミュニケーションを行うためのパケットデータが伝送されるネットワーク２０の経路上に設置されている。通信品質制御装置１０は、入力手段１０１と制御手段１０２と出力手段１０３とネットワーク監視手段１０４と記憶手段１０５とメモリ１０６と決定手段１０７とデータ処理手段１０８とを備える。

入力手段１０１は、ネットワーク２０を介してパケットデータが入力される。制御手段１０２は、入力手段１０１に入力されたパケットデータを制御する。出力手段１０３は、制御手段１０２により制御されたパケットデータを出力する。

ネットワーク監視手段１０４は、ネットワーク２０の帯域の使用状況を監視する。ネットワーク監視手段１０４に監視されたネットワーク２０の帯域の混雑状況に応じて、パケットデータの送信制御に関する優先処理の方法が決定される。

記憶手段１０５は、判定データが記述されている判定テーブル６０を記憶する。判定データは、入力されたパケットデータの送信元及び送信先の各端末３０を識別するために使用されるＩＰアドレス等の識別データと、入力されたパケットデータが音声データであるか、あるいは映像データであるかを判別するために使用されるデータ等を有する。判定テーブル６０については後に詳述する。

メモリ１０６は、入力されたパケットデータに対応する判定データを記憶手段１０５に記憶されている判定テーブル６０から選択して、参照テーブル６０ａとして一時的に記憶する。双方向通信が行われている際に判定データが必要な場合は、メモリ１０６から参照テーブル６０ａを読み出す。さらに、実行されているリアルタイム遠隔コミュニケーションが終了されると、参照テーブル６０ａから該当する判定データが消去される。

このメモリ１０６を利用することにより、記憶手段１０５にアクセスする場合と比較して、メモリアクセスが早くなる。また、現在必要なデータのみが一時記憶されているメモリ１０６から検索することで検索処理も早くなる。参照テーブル６０ａについては後に説明する。

決定手段１０７は、パケットデータをどのような方法で優先処理するかを決定する。具体的には、入力手段１０１に入力されたパケットデータの判別タグに基づいて、音声のパケットデータであるか、あるいは映像のパケットデータであるかを判別し、メモリ１０６から読み出した判定データ及び判別した結果に基づいて、入力されたパケットデータに関する優先処理の方法を決定する。この優先処理の例として後述する品質制御処理方法がある。

データ処理手段１０８は決定手段１０７によって決定された処理方法に基づいてパケットデータの優先処理をする。

図２に、本願発明に係るリアルタイム遠隔コミュニケーションシステム１００の基本的な構成を示す。図２に示すように、本願発明に係るリアルタイム遠隔コミュニケーションシステム１００では、通信品質制御装置１０がネットワーク２０を介して複数の端末３０と接続されている。この各端末３０は出力制御部４０及び入力制御部５０を備えている。

リアルタイム遠隔コミュニケーションシステム１００は、ネットワーク２０上に備えられている通信品質制御装置１０において、ネットワーク２０網の混雑の監視を行い、その混雑状況に基づいてパケットデータの通過の際にパケットデータの優先処理を行うことで、ネットワーク網のフロー制御を行う。ここで、ネットワーク２０は、有線又は無線のいずれであってもよい。

また、端末３０は、各々、遠隔コミュニケーションを行うための音声データ及び映像データの送受信を行う。出力制御部４０は、ネットワーク２０を介して音声データ又は映像データを送信するために、音声データ又は映像データにＩＰアドレス等の必要なデータを付加し、データのパケット化を行う。入力制御部５０は、ネットワーク２０を介して他の端末３０から送信されたパケットデータをデパケットし、音声データ及び映像データを受信してその同期処理等を行う。

次に、図３に示す本発明に係るリアルタイム遠隔コミュニケーションシステム１００において、双方向通信を行う端末３０の構成の一例について説明する。端末３０は、各々音声データを入力するマイクや映像データを入力するカメラ等の１つ以上の外部入力手段３０１とＡ／Ｄ変換手段３０２とデータ圧縮手段３０３とデータ伸張手段３０４とＤ／Ａ変換手段３０５と出力表示手段３０６とを備えている。また、各端末３０は、出力制御部４０と入力制御部５０と接続されている。

図２及び図３では、出力制御部４０と入力制御部５０は端末３０の外部に配置される構成であるが、出力制御部４０と入力制御部５０が端末３０の内部に配置される構成であってもよい。

出力制御部４０は、パケット化手段４０１とタグ付加手段４０２と送信手段４０３とを備えている。また、入力制御部５０は、受信手段５０１とデパケット手段５０２と記憶手段５０３と同期手段５０４とを備えている。

外部入力手段３０１に音声データ及び映像データが入力されると、入力された音声データ及び映像データは混合せずに、Ａ／Ｄ変換手段３０２でＡ／Ｄ変換を行い、必要に応じてデータ圧縮手段３０３でデータ圧縮を行い、それぞれ別々のデータとする。これらの音声データ及び映像データは、出力制御部４０のパケット化手段４０１においてパケット化されて、音声データ又は映像データの各パケットデータとされる。このパケット化の際には、タグ付加手段４０２は、パケットデータに対してそのパケットデータが音声のパケットデータであるか、あるいは映像のパケットデータであるかを判別するためのタグを記述する。その後、この各パケットデータは、送信手段４０３によりネットワーク２０を介して送信元の端末３０から送信先の端末３０に送信される。

送信先の端末３０により送信され、ネットワーク２０を介して送信元の端末３０で受信された音声のパケットデータ又は映像のパケットデータは入力制御部５０に入力され、受信手段５０１により受信される。

受信されたパケットデータは、デパケット手段５０２でデパケットされ、「ＩＰヘッダ」、「ＵＤＰヘッダ」のヘッダ等が解かれる。デパケットされたデータは、同期手段５０４において音声データ及び映像データのタイムコードの読み取りがされ、音声と映像の同期がとれるようにして端末３０に出力され、端末３０で受信したデータが再生される。ネットワーク２０網の状態によっては、映像データ又は音声データが欠落しているので、許容遅延時間内で、音声データ又は映像データを記憶手段５０３でバッファリングして同期を確保する。また、必要な場合はタイムコードを付加した空データを作成する。

デパケットされて同期のとれたデータは、端末３０において圧縮されたデータであればデータ伸張手段３０４でデータ伸張され、Ｄ／Ａ変換手段３０５でＤ／Ａ変換され、スピーカやモニタ等の出力表示手段３０６により音声データ及び映像データとして出力される。

［実施例］
次に、図面を用いて、本願発明のリアルタイム遠隔コミュニケーションの一実施例を説明する。本実施例は、音声のパケットデータを優先的に送信し、映像のパケットデータを送信する際にはネットワーク２０回線網の混雑状況によって優先処理を行い、ここで行われる遠隔コミュニケーションによってネットワーク２０を混雑させて他の通信を妨げないようにしたものである。

＜パケットデータのデータ構造＞
まず、図４で示す出力制御部４０のパケット化手段４０１でパケット化されたパケットデータのデータ構造の一例について説明する。

図４（ａ）に示すのは、本願発明で双方向通信のデータの送受信に用いられるパケットデータの基本的な構造の一例である。送受信されるパケットデータは、データの送受信に必要な「ＩＰ（Internet Protocol）ヘッダ」と、「ＵＤＰ（User Datagram Protocol）ヘッダ」と、「ＲＴＰ（Real-time Transport Protocol）ヘッダ」と、「タイムコード」と、このパケットデータが音声のデータであるか、あるいは映像のデータであるかを識別するために利用する「判別タグ」と、送受信される対象のデータである音声又は映像のデータである「データ」とを有している。

「判別タグ」は例えば、音声のパケットデータの場合には“１”とし、映像のパケットデータの場合には“０”として設定する。この場合、送受信されたデータの「判別タグ」が“１”の場合、「判別タグ」は「音声データ判別タグ」であり、このパケットデータは音声のパケットデータであると判別される。一方、「判別タグ」が“０”の場合には「映像データ判別タグ」であり、このパケットデータは映像データであると判別される。

なお、本実施例においては、音声データ判別タグを“１”とし、映像データ判別タグを“０”として説明するが、これに限られず、音声データ判別タグを“０”とし、映像データ判別タグを“１”としてもよい。また「判別タグ」は、“０”、“１”に限られるものではなく、他の形式で記述してもよい。

次に、図４（ｂ）に示す音声のパケットデータを用いて、本実施例で送信される音声のパケットデータの一例について説明する。出力制御部４０に入力された音声データは、まずパケット化手段４０１において、送信するに適したデータ長に分割される。パケット化手段４０１でパケット化する際には、例えば、「ＩＰヘッダ」、「ＵＤＰヘッダ」、「ＲＴＰヘッダ」等の必要なヘッダとともに、再生時の同期のための「タイムコード」と「判別タグ」として、音声のデータであることを判別するための「音声判別タグ」である“１”とが付加される。

また次に、図４（ｃ）に示す映像のパケットデータを用いて、本実施例で送信される映像のパケットデータの一例について説明する。出力制御部４０に入力された映像データは、上述した音声のパケットデータと同様に、パケット化手段４０１で送信に適したデータ長に分割され、必要なヘッダが付加される。タグ付加手段４０２によって、再生時の同期のための「タイムコード」と「判別タグ」として映像のパケットデータであることを判別するための「映像判別タグ」である“０”とが付加される。ここで、図４（ｂ）に示す音声のパケットデータと異なる点は「タイムコード」と「判別タグ」に加え、「映像の優先度レベルＬ₁」が付加されている点である。パケットデータに「優先度レベルＬ₁」が記述されている場合、映像データの品質制御処理の方法はこの映像の優先度レベルＬ₁を利用して決定される。「優先度レベルＬ₁」について具体的には後に詳述する。

図４にパケットデータの構造としてその一例を示したが、データの種類が判別できれば、図４に示す形式に限られず、状況に応じてデータが構成される様々なフォーマットを選択して利用する。また、「音声・映像判別タグ」の記述場所も、図４で示す場所に記述されることに限られず、「ＩＰヘッダ」、「ＵＤＰヘッダ」、「ＲＴＰヘッダ」の中の特定のフィールドに記述させることも可能である。

＜判定テーブルと参照テーブル＞
図５を用いて判定テーブル６０について説明する。図５（ａ）に示すのは記憶手段１０５に記憶されている判定テーブル６０の一例である。図５（ａ）に示す例では具体的に、「ＩＰアドレス」、「ポートＮｏ.」、「プロトコル」、「音声判別タグ」、「映像判別タグ」、「映像の優先度レベル」等の判定データが判定テーブル６０に記憶されている。

まず、「送信元」及び「送信先」の「ＩＰアドレス」、「ポートＮｏ.」及び「プロトコル」に記憶されるのは、それぞれ、予め双方向通信が可能な端末の送信元及び送信先の「ＩＰアドレス」、「ポートＮｏ.」及び「プロトコル」に関するデータである。データの送信元及び送信先の判別は、これらのデータに基づいて行われている。

また、「音声判別タグ」及び「映像判別タグ」は、送受信されるパケットデータが音声のパケットデータであるか映像のパケットデータであるかを判別するためのタグである。これらは図４（ａ）で示したパケットデータの構成の中の「判別タグ」と対応するものである。例えば、上述した例で考えると、「音声判別タグ」としては“１”が、また「映像判別タグ」としては“０”が記憶されている。例えば、送受信されるデータの「判別タグ」が“１”のときには該データは音楽データであることを判別し、また、“０”のときには映像データであることを判別するものである。さらに、各送信元と送信先について送受信される映像データの優先度レベルに関する「優先度レベルＬ₂₀」も記憶されている。

双方向通信が行われている間は、双方向通信が行われている送信元と送信先に関する判定データが、記憶手段１０５の判定テーブル６０からメモリ１０６の参照テーブル６０ａに一時記憶される。図５（ｂ）に、この参照テーブル６０ａの一例を示す。

図５（ｂ）に示す例では、参照テーブル６０ａには、映像優先度レベルＬ₂は設定されていない判定データと、“１”が設定されている判定データが記述されている。参照テーブル６０ａで記述されている映像優先度レベルＬ₂は、ネットワーク２０網の混雑状況に基づいて、逐次設定される。パケットデータの送信が行われる際には、映像の優先度レベルＬ₂₀を利用して、送信の際の映像データの通常の優先度レベルを決定する。

なお、判定テーブル６０で記憶されている判定データは、図５（ａ）に示すものに限られるものではない。具体例は後述するが、例えば、送信元の「ＩＰアドレス」等のデータが定められていて、送信先の「ＩＰアドレス」等は定められていない形式でもよい。あるいは、逆に、送信先の「ＩＰアドレス」等のデータが定められていて、送信元の「ＩＰアドレス」等は定められていない形式でもよい。

＜優先度レベル＞
ここで、優先度レベルＬ₁、Ｌ₂₀及びＬ₂について説明する。

パケットデータに記述される映像の優先度レベルＬ₁は、送信される映像データがそのリアルタイム遠隔コミュニケーションにおいて重要である程度に基づいて設定されるものである。この映像の優先度レベルＬ₁は、送信されるパケットデータごとにその優先の度合いが設定されて、例えば“１”〜“５”のように複数段階のレベルに分けられて優先度レベルが定められる。

この場合、対象となるリアルタイム遠隔コミュニケーションにおいて重要なパケットデータには、映像の劣化をできるだけ最小にするために、優先度レベルＬ₁を“５”に設定する。また、コミュニケーションを行う際、映像の劣化によるコミュニケーションの影響が少ないパケットデータや、エラー耐性の高いパケットデータには、品質制御処理をするために優先度レベルＬ₁を“１”に設定する。他にも、重要度やエラー耐性に応じて優先度レベルＬ₁として“５”と“１”の中間の“２”、“３”、“４”を設定し、各優先度レベルＬ₁について処理を定める。

また、優先度レベルＬ₂₀はパケットデータの品質制御処理方法の決定のために初期値として、送信元及び送信先に基づいて予め設定され、記憶手段１０５内の判定テーブル６０に記憶されている。これを基準にして、リアルタイム遠隔コミュニケーションに関してパケットデータの送受信がされている間、ネットワーク２０網の混雑状況に基づいて逐次優先度レベルＬ₂が設定され、メモリ１０６内の参照テーブル６０ａの優先度レベルＬ₂が更新され続ける。

通信品質制御装置１０に送信されたパケットデータに優先度レベルＬ₁が記述されている場合、この優先度レベルＬ₁と参照テーブル６０ａに記憶されている対応する優先度レベルＬ₂とに基づいて、パケットデータの品質制御処理の方法が決定される。また、パケットデータに優先度レベルＬ₁が記述されていなかった場合、参照テーブル６０ａに記憶されている優先度レベルＬ₂のみに基づいてパケットデータの品質制御処理の方法が決定される。

そのパケットデータの品質制御処理としては、例えば、ネットワーク２０が混雑している場合には、映像を構成する重要なフレームのみを通過させる方法や、フレームが独立している映像の場合、フレーム数を間引く方法等がある。この品質制御処理方法については、ネットワーク２０の混雑の度合いとデータの重要度に応じて決定される。

「映像の優先度レベル」に応じたパケットデータの品質制御処理方法決定の基準として具体的な例を用いて以下に説明する。

例えば、優先度レベルが “３”の場合であって、対象となる映像がＭＰＥＧデータときには「映像の構成に重要なＩフレームのデータのみを送る」ようにすることや、映像フレームが独立している映像フォーマットのときには、「映像データのうち５０％を間引く等の中間的な廃棄処理を行う」等により、パケットデータの送信を制御することが考えられる。

また、映像の優先度レベルが“１”の場合については、例えば「１秒に１フレーム分だけを伝送し、映像のデータ量を大きく落とし音声の帯域を確保する」等のように設定することが考えられる。

さらに、映像の優先度レベルが“５”の場合には「全てのパケットデータを通過させる」と設定し、特に制限を設けることなく、入力されたパケットデータを出力させるようにすることが考えられる。

＜ネットワーク監視処理＞
次に、図６に示すフローチャートを用いてネットワークの監視処理について説明する。通信品質制御装置１０では、各端末３０から双方向コミュニケーションの開始を受けると、ネットワーク監視手段１０４によりパケットデータが通るネットワーク２０の経路状態の混雑状況について監視が開始される（Ｓ１０１）。

また、判定テーブル６０の中から、この双方向コミュニケーションに対応する判定データが送信元と送信先とのＩＰアドレス等のデータにより決定され、決定された判定データが記憶手段１０５に記憶される判定テーブル６０から読出されて、メモリ１０６の参照テーブル６０ａに記憶される（Ｓ１０２）。その後、双方向コミュニケーションが継続されている間、ネットワーク監視手段１０４により、定期的に経路状態であるネットワーク２０の回線の混雑具合が確認される（Ｓ１０３、１０４）。

ここで、ネットワーク２０網の状態として想定される例を図７に示す。図７（ａ）に示すのは空き帯域がある例、図７（ｂ）に示すのはバーストが起こる例、図７（ｃ）に示すのはネットワークが定常的に混雑している例である。

まず、ステップＳ１０４でネットワーク２０の回線状態が確認されたときに、図７（ａ）で示されるように、ネットワーク２０経路に十分な空きがあり、全てのパケットデータを通過させても問題がない場合で、なおかつ、メモリ１０６に記憶されている「優先度レベル」である映像の優先度レベルＬ₂をあげることができることが確認された場合には（Ｓ１０５）、メモリ１０６の参照テーブル６０ａに記憶されていた優先度レベルＬ₂を上げて更新する（Ｓ１０６）。

例えば、現在の参照テーブル６０ａに設定されている映像の優先度レベルＬ₂が“３”で一定の品質制御処理をして通過させる設定がされており、ネットワーク２０が十分空きのある状態の場合、メモリ１０６に記憶されている参照テーブル６０ａの映像の優先度レベルＬ₂をあげて更新する。例えば、決定手段１０７において、「全て通過」として定義されている“５”に更新する。

一方、ステップＳ１０４でネットワーク２０の回線状態が混雑したことが確認されたときに、定常的に混雑しており優先度レベルを下げることができる場合（Ｓ１０７）、混雑具合に応じて、すなわちストリーミングが使用可能な帯域幅に応じて、現在の「優先度レベル」に対して現在設定されているレベルよりも映像の優先度レベルＬ₂を下げて決定手段１０７での参照のためにメモリ１０６に記憶されていた優先度レベルＬ₂を更新する（Ｓ１０８）。

例えば、現在の優先度レベルがＬ₂“３”であり、ネットワーク２０が混雑した状態になったときには、メモリ１０６に記憶されている参照テーブル６０ａの優先度レベルＬ₂は、決定手段１０７での参照のために「最小限のパケットデータを通過させる」として定義されている“１”に新たに設定される。

ここで、優先度レベルＬ₂が下げられも、ネットワーク２０の混雑状態は定期的に監視され続けている為、混雑が解消された場合、参照テーブル６０ａの優先度レベルＬ₂は上げられる。逆に、優先度レベルＬ₂が上げられても、また混雑具合がひどくなった場合、参照テーブル６０ａの優先度レベルＬ₂は下げられる。

また、ネットワーク２０の回線状態をチェックした際に（Ｓ１０４）、変化がない場合や、優先度レベルＬ₂を変化させることが出来ない場合（Ｓ１０５、１０７）、優先度レベルＬ₂は変化させずに現在の状態を維持させる。

双方向通信が行われている間はこのステップＳ１０３〜Ｓ１０８の処理が繰り返される（Ｓ１０９）。

上述したように、現在のネットワーク２０の回線状態に合わせて変化させた優先度レベルに応じてデータの品質制御処理を行い、パケットデータ送信を円滑に行うことが可能となるとともに、ネットワーク２０の混雑を調整することができる。

ここで、図７（ｂ）で示されるバーストがおこった場合に対して対応するためには、ネットワーク監視手段１０４の監視間隔を短くし、参照テーブル６０ａの更新を頻繁に行わなければならない。しかし、参照テーブル６０ａの更新をあまり頻繁に行うと通信品質制御装置１０に大きな負担がかかることになる為、状況に応じて使い分ける必要がある。

＜優先処理＞
次に、図８に示すフローチャートを用いて、通信品質制御装置１０における優先処理の流れを説明する。ネットワーク２０を介してパケットデータが通信品質制御装置１０の入力手段１０１に入力されると（Ｓ２０１）、決定手段１０７では入力されたパケットデータに記述されている判別タグに基づいて入力されたパケットデータの種類が判別される（Ｓ２０２）。

決定手段１０７により、入力されたパケットデータの判別タグが音声判別タグを示す“１”であることが判別された場合、このパケットデータは音声データであり、優先して送信先の端末３０に送出される（Ｓ２０３）。

一方、ステップＳ２０２において、決定手段１０７により、判別タグが映像判別タグを示す“０”であった場合には、入力されたパケットデータに優先度レベルが記述されているか否かが確認される（Ｓ２０４）。ここで、優先度レベルが記述されていないことが確認された場合には、参照テーブル６０ａに記憶されている優先度レベルＬ₂に基づいて送信されたパケットデータの品質制御処理がされる（Ｓ２０５）。

また、ステップＳ２０４において、送信されたパケットデータに優先度レベルＬ₁が記述されていることが確認された場合には、送信されたパケットデータの優先度レベルＬ₁とメモリ１０６の参照テーブル６０ａに記憶されている該当する優先度レベルＬ₂とを比較する（Ｓ２０６）。

ここで、決定手段１０７によって、パケットデータの「優先度レベル」のタグである映像の優先度レベルＬ₁とメモリ１０６に一時記憶されている参照テーブル６０ａの優先度レベルＬ₂とを比較したときに、Ｌ₁≦Ｌ₂であることが確認された場合、パケットデータは参照テーブル６０ａの優先度レベルＬ₂に規定される方法に従って品質制御処理が行われる（Ｓ２０５）。

一方、ステップＳ２０６で比較した際に、決定手段１０７によってＬ₂＜Ｌ₁であることが確認された場合には、パケットデータは送信されたパケットデータに記述されている映像の優先度レベルＬ₁に規定される処理方法に従って、品質制御処理がされる（Ｓ２０７）。

すなわち、基本的には参照テーブル６０ａに記憶されている優先度レベルＬ₂に基づいて品質制御処理が行われるが、送信されたパケットデータに優先度レベルＬ₁が記述してあるときは優先度レベルＬ₁が優先されてこの優先度レベルＬ₁に基づいて品質制御処理が行われる。送信されるパケットデータには状況に応じて優先度レベルＬ₁を設定すればよいため、必ず設定されている必要はなく、メモリ１０６の参照テーブル６０ａに記憶されている優先度レベルＬ₂に基づいて送信制御が行われてもよい。

ステップＳ２０５又はステップＳ２０７においてパケットデータの品質制御処理がされると、処理されたパケットデータが送出される（Ｓ２０３）。また、これらのステップＳ２０１からＳ２０７の各処理はシステムが終了するまで繰り返される（Ｓ２０８）。

なお、ステップＳ２０２において送信されたパケットデータの種類が判別された際に音声データでも映像データでもない場合、このデータは品質制御処理はされずに送出される（Ｓ２０３）。

＜品質制御処理＞
本実施例では上述したように、音声データ及び映像データのパケットデータの優先度レベルを、“１”〜“５”の段階で説明した。以下に、通信品質制御装置１０におけるこれらの優先度レベルに基づくパケットデータの優先処理の一部である品質制御処理について、具体例をあげて詳細に説明する。

図９に示すのは、優先度レベルＬと品質制御処理の設定を示した通信品質設定テーブルの一例である。図９で示す通信品質設定テーブル７０ａ〜７０ｅは、記憶手段１０５に記憶されている。あるいは、記憶手段１０５から必要に応じてメモリ１０６に読み出されて記憶されている。参照テーブル６０ａで優先度レベルＬ₂が参照され、パケットデータに記述されるＬ₁と比較されて品質制御処理の対象となる優先度レベルＬが決定されたとき、この優先度レベルと通信品質設定テーブル７０ａ〜７０ｅとの対応に基づいて品質制御処理の方法が決定される。

図９（ａ）に示す例は、優先度レベルＬを持つパケットデータが利用可能な最低保証帯域を設定した通信品質設定テーブル７０ａである。また、図９（ｂ）に示す例は、各優先度レベルＬのパケットデータがネットワーク２０の帯域全体の中で利用できる帯域の割合を設定した通信品質設定テーブル７０ｂである。図９（ａ）及び図９（ｂ）の通信品質設定テーブル７０ａ，７０ｂで示す設定によれば、優先度レベルＬの高いパケットデータが、大きな帯域を優先して利用できる。

また、他のデータが帯域を利用していない場合、すなわち未使用帯域がある場合には、通信品質設定テーブル７０ａで予め設定される最低保証帯域以上の帯域を利用できる。さらに、優先度レベルＬの高いパケットデータが帯域を利用していない場合、優先度レベルＬの低いパケットデータが未使用の帯域を利用できる。これにより、送受信される対象となるパケットデータに設定された優先度レベルＬに基づいて、帯域を有効活用できる。

図９（ｃ）に示す例は、スケジューリングの際、パケットデータ出力に対する重み付けを設定した通信品質設定テーブル７０ｃである。例えば、優先度レベルＬが“５”と設定されるパケットデータを１０パケット出力する間に、優先度レベルＬが“３”と設定されるパケットデータを５パケット出力し、優先度レベルＬが“１”と設定されるパケットデータを1パケット出力する。このようなスケジューリングにおいても、優先度レベルＬの高いデータが無い場合、優先度レベルＬの低いパケットデータを出力することができる。すなわち、空いている帯域を他の優先度レベルＬに設定されたパケットデータが利用することができる。

なお、図９において優先度レベルＬが“０”の設定は、本発明の通信品質制御装置１０で品質制御処理の対象となり得る音声データ及び映像データ以外のパケットデータの送受信を設定するものである。

図９（ｄ）に示す例は、複数のアルゴリズムを利用した通信品質設定テーブル７０ｄである。通信品質設定テーブル７０ｄは、図９（ａ）で示す通信品質設定テーブル７０ａと同様の最低保証帯域に加え、最大遅延時間を設定している。この最大遅延時間で規定される時間以上遅延した場合、対象となるパケットデータが廃棄される。また、廃棄確率及び廃棄アルゴリズムも指定しており、本来の伝送レートが確保できない場合、予め定められる規定に従い一部のパケットデータが廃棄される。

図９（ｅ）に示す例は、複数のアルゴリズムを利用した通信品質設定テーブル７０ｅである。通信品質設定テーブル７０ｅは、図９（ｂ）で示す通信品質設定テーブル７０ｂと同様の帯域使用率に加え、最大遅延時間及びパケットデータの「処理順位」を指定している。ここで、値が高いものに対して低いものよりも送信処理にあてる時間を増やす設定をしていることにより、優先度レベルＬの高いデータの遅延を少なくしている。

図９（ｅ）で規定する「処理順位」は、通信品質制御装置１０に入力されて出力制御処理を待っている実際のデータ処理の順番である。この「処理順位」は、データの滞留時間もしくは待ち行列の長さ等をチェックして設定される。具体的に図９（ｅ）では、「処理順位」の値が高いデータほど長く待たせないで先に処理したり、図９（ｃ）のようにデータ処理順に重み付けしたり、処理にあてる時間を増やしたりして、優先的に処理する。

図９（ａ）乃至図９（ｃ）で示す様に、通信品質の設定が対応するパラメータが１つの単純なものは、「最低保証帯域」、「帯域使用率」又は「重み付け」と「優先度レベルＬ」が一意に対応し、優先度レベルＬが高い場合、通信品質も高く設定している。一方、パケットデータがネットワーク２０上をよりスムーズに流れるようにする場合、図９（ｄ）や図９（ｅ）のように複数のパラメータの組合せにする。

通信品質制御装置１０を介して音声データ及び映像データを含むパケットデータによる双方向通信が開始されると、記憶手段１０５に記憶される判定テーブル６０から、該当する判定データが参照テーブル６０ａとして読み込まれる。ここで、判定テーブル６０の一例を図１０（ａ）に示し、参照テーブル６０ａの一例を図１０（ｂ）に示す。この参照テーブル６０ａでの映像の優先度レベルＬ₂₀を優先度レベルＬ₂とする。

なお、本来、ＩＰアドレスやポートは図５に示すようなＩＰアドレスやポート番号に示す様に記述されるが、図１０では説明の便宜上、ＩＰアドレスとポート番号を簡素化した識別番号で記述している。また、テーブル番号３及び４の判定データ、テーブル番号７及び８の判定データ、テーブル番号９及び１０の判定データが各々１つの双方向通信に対する対となる判定データである。

図１０（ａ）に、テーブル番号１や２の判定データのようにポートＮｏ．が空白の場合、任意のポートに対する制御の一例を示す。また、ＩＰアドレスやプロトコルが空白の場合も任意のＩＰアドレスに対する制御又は任意のプロトコルに対する制御を示す。各制御に反映される順位は、テーブル番号の昇順等のように、予め順位を決めておく。

例えば、テーブル番号３の判定データは、アドレス１として指定されるＩＰアドレスの任意のポートからアドレス３として指定されるＩＰアドレスのポート１０への通信で、ＵＤＰプロトコルのデータに対して制御を行う。また、テーブル番号９の判定データは同様にアドレス５として指定されるＩＰアドレスのポート１２からアドレス６として指定されるＩＰアドレスのポート１３への通信で、ＴＣＰプロトコルのデータに対して制御を行う。

例えば、最大伝送能力が１００Ｍｂｐｓのネットワーク網において図１０（ｂ）の参照テーブル６０ａと図９（ｄ）に示す通信品質設定テーブル７０ｄに基づいて品質制御処理を行う場合を以下に説明する。

各パケットデータの流れ及び対応する判定データは図１１（ａ）に示すようになる。図１１（ａ）で示す例では、ある端末３０から、約２０Mｂｐｓで映像優先度レベルＬ₁の指定がない音声データ及び映像データを含むパケットデータであるテーブル番号３に対応するデータＤ_Aが通信品質制御装置１０に入力されている。また、対向する端末３０から２０Ｍｂｐｓのテーブル番号４に対応するデータＤ_A’が通信品質制御装置１０に入力されている。さらに、通信品質制御装置１０にテーブル番号７，８，９，１０に対応するデータＤ_B、Ｄ_B’、Ｄ_C、Ｄ_C’がそれぞれ入力している。この場合、それぞれ片方向の伝送レートは２０Ｍｂｐｓ×３＝６０Ｍｂｐｓとなる。

これ以外にも、他データＤ_F 及び他データＤ_G が片方向で最大１０Ｍｂｐｓ（伝送レートは一定ではない）で流れている場合、合計で最大７０Ｍｂｐｓとなる。ネットワーク２０網はデータの流量に対して十分な伝送能力を持つ。その為、他データは優先度レベル“０”の帯域を使用し、各データＤ_A、Ｄ_A’、Ｄ_B、Ｄ_B’、Ｄ_C、Ｄ_C’の優先度レベルＬ₁をそれぞれ“４”とし、２０Ｍｂｐｓを確保できる。

図１２に、通信品質制御装置１０内におけるパケットデータの帯域の使用状況の一例を示す。図１２では、通信品質制御装置１０の使用可能帯域を１００Ｍｂｐｓを例として説明する。図１２（ａ）は、パケットデータが流れていない場合を説明する図である。具体的に図１２（ｂ）及び図１２（ｃ）で示す図は、図１１（ａ）のデータＤ_A、Ｄ_B、Ｄ_C、他データＤ_F、及びデータＤ_A’、Ｄ_B’、Ｄ_C’他データＤ_Gが流れている場合の一例である。また、図１２（ｄ）及び図１２（ｅ）で示す図は、図１１（ａ）に、加えて図１１（ｂ）のデータＤ_D、Ｄ_D’、Ｄ_E、Ｄ_E’、他データＤ_H、Ｄ_I が流れている場合の一例である。

メモリ１０６に読み出された判定データで構成される参照テーブル６０ａの優先度レベルＬ₂は、図１３で示すように、ネットワーク２０網の混雑具合により図の右端の優先度レベルＬ₂’のように変更されている。また、音声のパケットデータが優先されるので、音声データ部分は優先して伝送する。

まず、図１２（ｄ）では、この双方向通信以外の他データＤ_F 、Ｄ_H 、各々優先度レベルＬ₂が“0”に設定されるの帯域で各々最大１０Ｍｂｐｓと固定レートで２Ｍｂｐｓを使用する。２５ＭｂｐｓのデータＤ_Dは優先度レベルＬ₂が“５”であるため、２５Ｍｂｐｓ分の帯域を利用して伝送する。２０ＭｂｐｓのデータＤ_A、Ｄ_C、及びＤ_Eは優先度レベルＬ₂が“４”であるので、２０Ｍｂｐｓ分の帯域を利用して伝送する。データＤ_Bは優先度レベルＬ₂が“２”であるため、最低保証帯域として５Ｍｂｐｓが設定される。また、レートの変動する他データＤ_F が使っていない帯域を使用する。本来、データＤ_Bは２０Ｍｂｐｓであるが、伝送されるデータが必要とする帯域が２０Ｍｂｐｓ以上の場合、帯域を確保できないため、最大遅延時間と、所定の廃棄確率に基づいて一部のパケットデータの品質制御処理として廃棄が行われる。

次に図１２（ｅ）の場合、対象とする双方向通信以外の他データＤ_G 、Ｄ_I の優先度レベルＬ₂が“０”の帯域で各々最大及び固定レートで１０Ｍｂｐｓずつ使用する。２５ＭｂｐｓのデータＤ_D’は優先度レベルＬ₂が“５”であるので２５Ｍｂｐｓ分の帯域を利用して伝送する。２０ＭｂｐｓのデータＤ_A、Ｄ_Cは優先度レベルＬ₂が“４”であるので２０Ｍｂｐｓ分の帯域を利用して伝送する。データＤ_E’は優先度レベルＬ₂が“３”であるので１０Ｍｂｐｓ、データＤ_B’は優先度レベルＬ₂が“１”であるので３Ｍｂｐｓが最低保証帯域として設定され、それぞれ図１２（ｄ）で説明した場合と同様に、所定の遅延時間と廃棄確率で一部のパケットデータの廃棄が行われる。パケットデータの廃棄が行われたとき、レートの変動する他データＤ_Gが使用していない帯域や、図１２（ｅ）において白色の空白部分にあたる帯域を、データＤ_B’やＤ_E’が分け合って利用をする。

このように、優先度レベルＬ₂の低いデータＤ_E、Ｄ_E’及びデータＤ_B、Ｄ_B’はネットワーク２０網が混雑した場合、帯域を常に確保できない状態になる。ただし、設定した帯域使用率分は帯域が保証されるので、多くのデータを通したい場合、エラー耐性が強く帯域が小さくなっても映像品質の乱れが少ないデータなどを優先度レベルの低い帯域に割り当てたり、確保できる帯域が少なくなった場合に映像データをフレームごとに廃棄するなど、別の制御などを加え調整してもよい。このような制御より、効率のよいネットワーク回線の利用が可能となる。

また、データＤ_C、Ｄ_C’及びＤ_E、Ｄ_E’はＴＣＰプロトコルのデータであり、輻輳制御機能を持つので、ベストエフォートのネットワーク網では回線が混雑すると輻輳制御機能をもたないＵＤＰプロトコルのデータが帯域を占領してしまい帯域を確保できないことがあった。しかし、ネットワーク回線を効率良く利用することにより、帯域の確保を妨げる問題を解消し、ＴＣＰのデータ再送によるオーバーヘッドも軽減することができる。

一方、同じ優先度レベルのパケットデータが多くあった場合、それぞれのデータによって利用する帯域を奪い合う問題が生じる点で注意が必要である。これを解決するためには、それぞれのデータの特性に合った、全体を考えた制御が必要である。

映像のパケットデータに付加する優先度レベルＬ₁については、優先度レベルＬ₂と同種のネットワーク網に対する優先度レベルもしくは一連の映像データの中でパケットによって頻繁に変動する優先度レベルや、映像フォーマットやデータの内容などネットワーク２０上でパケットデータを品質制御処理する際にデータから多くの情報を読み取らなくてはならず装置に負荷のかかるものなどの優先度レベルとして各パケットデータに記述する。

具体的には、既述のＭＰＥＧデータにおいてＩフレームを含むパケットデータは優先度レベルＬ₁を高く設定し、Ｐフレームは中間に設定し、Ｂフレームは低く設定する。また、イントラフレームのみで構成されたモーションＪＰＥＧやＤＶフォーマットの映像の場合、ネットワークが混雑した際は、フレーム数を落とすように、１つのフレームを構成するパケットデータごとに優先度レベルＬ₁を変化させることもできる。さらに、ＭＰＥＧデータなどに比べてエラー耐性に強いＤＶフォーマットのデータなどで、ネットワーク２０が混雑した場合、データを一定の間隔もしくはランダム廃棄等するように優先度レベルを設定してもよい。

このように、データに記述される優先度レベルＬ₁及び、ネットワーク２０上の通信品質制御装置１０で設定した優先度レベルＬ₂によって、品質制御処理を行う。

［変形例］
上述した実施例では、音声データは全て送信し、映像データに対して優先度レベルを設定して、この優先度レベルとネットワーク２０の混雑状況に基づいて送信制御を行っていたが、そのような本願発明の変形例として、映像のパケットデータに映像の優先度レベルが設定されず、音声のパケットデータに優先度レベルが設定された場合のパケットデータの例を図１４を用いて以下に説明する。

具体的に、映像のパケットデータに映像の優先度レベルＬ₁を付加しない例を図１４（ｂ）で示す。図１４に示すような各パケットデータが送信手段４０３からネットワーク２０を介して相手方の端末３０に送信される。

映像のパケットデータのみに優先度レベルＬ₁を設定して品質制御処理の対象とするとコミュニケーションに支障が生じる場合もある。このような場合、音声のパケットデータであっても優先度レベルＬ₁を設定することができる。例えば図１４（ａ）に示すように、映像だけでなく音声の優先度レベルＬ₁を設定してパケットデータを送信し、パケットデータに記述される優先度レベルＬ₁に基づいて品質制御処理してもよい。

このように音声のパケットデータに優先度レベルが設定されている場合、決定手段１０７においては、送信されたパケットデータが音声データであることが判別された際に入力された音声のパケットデータで設定される優先度レベルＬ₁に基づいて品質制御処理の方法が決定され、データ処理手段１０８で処理される。

この他にも、双方向通信で利用されるパケットデータは、上述した音声と映像のパケットデータのみではなく、他にも様々な組み合わせが考えられる。例えば図１４（ｃ）に示される例が音声のパケットデータと映像のパケットデータの両方に優先度レベルＬ₁が記述されたパケットデータや、図１４（ｄ）に示される例のように音声のパケットデータと映像のパケットデータの音声と映像のパケットデータの両方に優先度レベルＬ₁が記述されないものがあってもよい。

また、図１５に示す判定テーブルの例を用いて、音声についても映像についても優先度レベルＬ₂を予め記憶している判定テーブルについて説明する。図１５（ａ）に示す例は、音声及び映像のパケットデータについて優先度レベルが設定されている場合、記憶手段１０５に記憶されている判定テーブル６０である。この場合、音声優先度レベルが“５”の場合には音声データは制限なく全て通過させるが、映像データに制限が大きい場合には例えば無声部分の音声データは廃棄処理等をするように品質制御処理の対象とする為に、音声データにも優先度レベルをつけることも可能であるという特徴を利用する。

また、図１５（ｂ）に、リアルタイム遠隔コミュニケーションが開始されたときにメモリ１０６に記憶される参照テーブル６０ａの一例を示す。この参照テーブル６０ａに記載されている音声優先度レベル及び映像優先度レベルについても、上述した図６における処理のように、ネットワーク２０の混雑状況に基づいて逐次変更される。

このように、先に説明した実施例と送信されるパケットデータや判定テーブル６０に記憶される判断データが異なる場合であっても、図６で示すネットワーク監視処理の流れや図８に示す実施例のパケットデータの優先処理で説明した流れと同様である。

図１６に、変形例の一例である音声のパケットデータに優先度レベルを設定した場合のパケットデータの優先処理の流れを示す。図１６に示す動作は、基本的に図８に示した映像のパケットデータに優先度レベルを設定して優先処理を行う場合の動作と同一である。映像のパケットデータではなく、音声のパケットデータに優先度レベルを設定して品質制御処理を行うため、入力したパケットデータの種類を判別し（Ｓ３０１，Ｓ３０２）、映像のパケットデータもしくは映像、音声以外のその他のパケットデータの場合には、優先処理によりこのパケットデータが送信される（Ｓ３０３）。また、ステップＳ３０２で音声のパケットデータであると判別された場合にそのパケットデータに優先度レベルＬ₁が記述されているか否かが確認される（Ｓ３０４）。

ステップＳ３０４で送信された音声のパケットデータに優先度レベルＬ₁が記述されていなかった場合、参照テーブル６０ａに規定されている優先度レベルＬ₂に従ってパケットデータが品質制御処理される（Ｓ３０５）。また、ステップＳ３０４で送信されたパケットデータに優先度レベルＬ₁が規定されていることが確認された場合、送信されたパケットデータに記述されている優先度レベルＬ₁と参照テーブル６０ａに記述されている優先度レベルＬ₂とを比較して（Ｓ３０６）、送信された音声のパケットデータの品質制御処理の方法を決定し（Ｓ３０５又はＳ３０７）、決定された方法で音声のパケットデータを品質制御処理して送信する（Ｓ３０３）。

音声データ、映像データともに優先度レベルの設定がある場合は、どちらもそのレベルに沿って品質制御処理が行われる。

以上説明したように、本願記載の発明では、従来のリアルタイム遠隔コミュニケーションシステムで問題となっていた、ネットワークが混雑し、ネットワーク上でパケットデータの損失が起きた場合には、映像・音声が共に劣化するので、総送信データ量の中で、データ量としては少ない音声も品質劣化が起こり、これに会話コミュニケーションが妨げられることについて、ネットワーク上での音声データの優先制御を行うことにより、送信先端末への到達データ量が少なくても会話コミュニケーションの品質向上が望める。

また、ネットワーク上では時々刻々とデータの流量が変わるのでリアルタイムストリーミングに対し、音声データの優先制御を行うことで、双方向、及び多地点のテレビ会議システムやテレビ電話のような会話を中心とした遠隔コミュニケーションにおいて、ネットワークを伝送するデータにはより効率的で、より品質の高いコミュニケーションを実現することができる。

本発明の通信品質制御装置の構成図本発明のネットワークの全体構成図本発明の端末部の構成図本発明で送信されるパケットデータのデータ構成図本発明で記憶される判定テーブルの構成図本発明における監視処理の流れを説明する図本発明のネットワーク上で考えられる混雑具合の例を説明する図本発明におけるパケットデータの処理の流れを説明する図本発明で記憶される通信品質設定テーブルの構成図本発明で記憶される判定テーブルの構成図本発明の通信品質制御装置における各データの流れを説明する図本発明のパケットデータの帯域使用を説明する図本発明で記憶される通信品質設定テーブルの変形例の構成図本発明で送信されるパケットデータの他のデータ構成図本発明で記憶される判定テーブルの他の構成図本発明の変形例におけるパケットデータの処理の流れを説明する図

符号の説明

１０…通信品質制御装置
２０…ネットワーク
３０…端末
４０…出力制御部
５０…入力制御部
６０…判定テーブル
６０ａ…参照テーブル
７０ａ〜７０ｅ…通信品質設定テーブル
１００…リアルタイム遠隔コミュニケーションシステム
１０１…入力手段
１０２…制御手段
１０３…出力手段
１０４…ネットワーク監視手段
１０５…記憶手段
１０６…メモリ
１０７…決定手段
１０８…データ処理手段
３０１…外部入力手段
３０２…変換手段
３０３…データ圧縮手段
３０４…データ伸張手段
３０５…変換手段
３０６…出力表示手段
４０１…パケット化手段
４０２…タグ付加手段
４０３…送信手段
５０１…受信手段
５０２…デパケット手段
５０３…記憶手段
５０４…同期手段

Claims

ネットワーク網において双方向にストリームを伝送する際に、映像パケットデータに優先して音声パケットデータに対して必要な帯域を割り当てることにより音声データの通信品質及びリアルタイム性を確保するようにして、複数の端末部間で双方向のコミュニケーションを円滑に行うためのリアルタイム遠隔コミュニケーションシステムであって、
前記複数の端末部とネットワーク網との間に介挿される入力制御部及び出力制御部と、
ネットワーク網上に設けた通信品質制御部とを備え、
前記出力制御部は、
前記端末部の送信側から供給される音声データ、映像データにそれぞれ音声・映像を判別するための判別タグを付加するタグ付加手段と、
判別タグを付した音声データ、映像データをパケット化するパケット化手段とを有しており、
前記通信品質制御部は、
ネットワーク網における伝送経路の混雑状態を監視するネットワーク監視手段と、
音声、映像の種別や優先度により、その音声、映像パケットデータの処理方法を所定の判断テーブルに基づいて決定する決定手段と、
前記決定手段で判断された処理方法に基づき、データの通信品質処理を行うデータ処理手段とを有しており、
前記入力制御部は、
ネットワーク網から供給される音声、映像パケットデータをそれぞれ前記パケット化とは相対的に元の音声データ、映像データにそれぞれ復元する手段と、
前記通信品質制御部の通信品質処理によってデータの廃棄やデータ到着順にばらつきが生じた場合も音声データと映像データとの同期を保つための同期制御を行う同期制御手段と、
前記同期制御のために音声データと映像データとを一時的に記憶する記憶手段とを有することを特徴とするリアルタイム遠隔コミュニケーションシステム。
音声や画像の入力手段及び出力手段を有する複数の端末が双方向通信可能に接続されるネットワーク経路上に配置され、前記複数の端末間で行う通信の品質制御をする通信品質制御装置であって、
前記ネットワーク経路上のデータ転送の混雑を監視するネットワーク監視手段と、
前記ネットワーク監視手段で監視された混雑状況に基づいて送信元と送信先毎に設定されたデータの処理方法を決定するための第１の優先度レベルが記述され、データ処理方法が決定される際に利用される判定テーブルを用いて、前記端末から音声データか映像データかを判別するための判別タグとデータの処理方法を決定するための第２の優先度レベルとを含むパケットデータを受信すると、前記パケットデータに記述される判別タグに基づいて前記パケットデータが音声のデータであるか映像のデータであるかのデータの種類を判別し、前記判定テーブルに記述される第１の優先度レベルと前記第２の優先度レベルとに基づいて、前記端末から送信されたパケットデータの処理方法を決定する決定手段と、
前記決定手段で決定された処理の方法に基づいて前記パケットデータの処理を行うデータ処理手段と、
を備えることを特徴とする通信品質制御装置。
請求項２に記載の通信品質制御装置において、前記ネットワーク監視手段の監視により把握したネットワーク経路の混雑具合により、前記判定テーブルに設定されている優先度レベルを随時更新することを特徴とする通信品質制御装置。
請求項２又は３に記載の通信品質制御装置において、前記第１の優先度レベルに対応させてパケットデータ処理方法を記憶する通信品質設定テーブルを有することを特徴とする通信品質制御装置。