JP2005244384A - 受信品質通知方法、受信品質通知装置及び受信品質通知プログラム - Google Patents

Abstract

【課題】多地点中継装置を経由して発言ユーザ装置から受信ユーザ装置に送信される映像・音声の品質情報を発言ユーザ装置に通知できるようにする技術の提供を目的とする。
【解決手段】多地点中継装置で受信された映像・音声の品質情報を検出して、それを第１の記憶手段に記録し、また、各受信ユーザ装置が受信した映像・音声の品質情報を検出して、それを送信してくるので、それを受信して第２の記憶手段に記録する。そして、第１の記憶手段に記憶される品質情報が品質の劣化を示している場合には、各受信ユーザ装置で受信された映像・音声の品質情報としてその品質劣化の品質情報を特定して、それを発言ユーザ装置に通知する。一方、第１の記憶手段に記憶される品質情報が品質の劣化を示していない場合には、各受信ユーザ装置で受信された映像・音声の品質情報として第２の記憶手段に記憶される品質情報を特定して、それを発言ユーザ装置に通知する。
【選択図】図２

Description

本発明は、多地点中継装置を経由して発言ユーザ装置から複数の受信ユーザ装置に送信される映像及び音声の品質情報を、発言ユーザ装置に通知できるようにする受信品質通知方法及びその装置と、その受信品質通知方法の実現に用いられる受信品質通知プログラムとに関する。

多地点ビデオ会議やビデオチャットなどのシステムでは、多地点を接続制御するための多地点サーバ装置を設けて、その多地点サーバ装置を経由して、発言ユーザ装置から複数の受信ユーザ装置に向けて映像及び音声の情報を送信することで、会議やチャットなどを進めていくことになる。

このようなシステムでは、発言ユーザの発言や映像がネットワークの輻輳などにより受信側のユーザに正しく届かないことがある。

しかるに、従来の多地点ビデオ会議やビデオチャットなどのシステムでは、多地点サーバ装置を経由するということもあって、受信側のユーザが受信した音声や映像の品質情報を発言ユーザに通知するという機能を有していない。

これから、発言ユーザは、自分の発言や映像が受信側のユーザに正しく届いていないと感ずるときには、受信側のユーザに「聞こえましたか」と確認するようにしながら、会議やチャットなどを進めていくようにしていた。

しかしながら、従来技術のように、発言ユーザが自分の発言や映像が受信側のユーザに正しく届いていないと感ずるときには、受信側のユーザに「聞こえましたか」と確認しながら会議やチャットなどを進めていくようにしていると、会議やチャットなどの進行を大きく損ねるだけでなく、「言ったことを理解できたか」というニュアンスで受け取られる可能性もあり、お互いの信頼を損ねる可能性があった。

本発明はかかる事情に鑑みてなされたものであって、多地点ビデオ会議やビデオチャットなどのシステムにおいて、受信側のユーザが受信した映像及び音声の品質情報を発言ユーザに通知できるようにすることで、従来技術の持つ問題点の解決を図る新たな受信品質通知技術の提供を目的とする。

この目的を達成するために、本発明の受信品質通知装置は、多地点中継装置を経由して発言ユーザ装置から複数の受信ユーザ装置に送信される映像及び音声の品質情報を、発言ユーザ装置に通知できるようにするために、（１）多地点中継装置で受信される、発言ユーザ装置から受信ユーザ装置に送信される映像及び音声の品質情報を検出する検出手段と、（２）検出手段の検出した品質情報を記憶する第１の記憶手段と、（３）受信ユーザ装置から、受信ユーザ装置で受信された映像及び音声の品質情報の検出結果を受信する受信手段と、（４）受信手段の受信した品質情報を記憶する第２の記憶手段と、（５）第１及び第２の記憶手段の記憶する品質情報に基づいて、各受信ユーザ装置で受信された映像及び音声の品質情報を特定する特定手段と、（６）特定手段の特定した品質情報を発言ユーザ装置に通知する通知手段とを備えるように構成する。

この構成を採るときにあって、通知手段は、全ての受信ユーザ装置についての品質情報をひとつにまとめる形で通知情報を作成して、それを発言ユーザ装置に送信することがある。

また、品質情報として、品質が劣化した状態が規定時間以上継続した状態として定義される品質劣化状態と、品質が劣化しない状態が規定時間以上継続したものとして定義される品質正常状態とが用いられるように構成されることがある。

以上の各処理手段が動作することで実現される本発明の受信品質通知方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の受信品質通知装置では、多地点中継装置で発言ユーザ装置から受信ユーザ装置に送信される映像及び音声が受信されると、その受信された映像及び音声の品質情報を検出して、それを第１の記憶手段に記録する。また、各受信ユーザ装置が自装置の受信した映像及び音声の品質情報を検出して、それを送信してくるので、その検出結果の品質情報を受信して、それを第２の記憶手段に記録する。

このようにして、第１の記憶手段には、多地点中継装置で受信された映像及び音声の品質情報が記憶され、第２の記憶手段には、各受信ユーザ装置で受信された映像及び音声の品質情報が記憶されることになる。

これを受けて、例えば規定の通知周期に到達することで、発言ユーザ装置に受信品質を通知する場合、先ず最初に、第１の記憶手段に記憶される品質情報を参照して、その品質情報が品質の劣化を示している場合には、各受信ユーザ装置で受信された映像及び音声の品質情報として、その品質劣化の品質情報を特定して、それを発言ユーザ装置に通知する。

一方、第１の記憶手段に記憶される品質情報が品質の劣化を示していない場合には、続いて、第２の記憶手段に記憶される品質情報を読み出して、各受信ユーザ装置で受信された映像及び音声の品質情報として、その読み出した品質情報を特定して、それを発言ユーザ装置に通知する。

本発明によれば、多地点ビデオ会議やビデオチャットなどのシステムにおいて、受信側のユーザが受信した音声や映像の品質情報を発言ユーザに通知することができるようになる。

これにより、多地点ビデオ会議やビデオチャットなどにおいて、発言ユーザは、サービス品質劣化時に受信ユーザの介在なしに自分の判断で再発言することが可能となり、サービス品質劣化時にも会議やチャットなどをスムーズに進めていくことができるようになる。

本発明は、多地点ビデオ会議やビデオチャットなどのシステムにおいて、受信側のユーザが受信した映像及び音声の品質情報を発言ユーザに通知できるようにする技術を構築するものである。

多地点ビデオ会議やビデオチャットでは、多地点を接続制御するための装置（多地点サーバ装置）が存在し、複数のユーザ装置がＩＰを含む通信ネットワーク経由で多地点サーバ装置に接続され、ユーザ間のコミュニケーションは多地点サーバ装置経由で行われることになる。

これから、発言ユーザが受信ユーザ側のサービス品質を把握するためには、多地点サーバ装置において、受信ユーザ装置へ分配する前の発言ユーザの音声品質及び映像品質をモニタリングして、発言ユーザ装置に通知する機能が必要となる。

さらに、受信ユーザ装置において、分配後の発言ユーザの音声品質及び映像品質をモニタリングして多地点サーバ装置へ通知し、多地点サーバ装置において、各受信ユーザ装置からのサービス品質情報を基に、品質が劣化した受信ユーザ識別子及び劣化状態を発言ユーザ装置に通知する機能が必要となる。

本発明では、この機能を実現するために、多地点サーバ装置は、自装置上に中間ＩＰドライバを組み込み、発言ユーザ装置から多地点サーバ装置への映像及び音声のＴＣＰ及びＵＤＰフレームを観測して、廃棄フレーム数及び実スループットを監視することにより、その品質を把握する。

一方、各受信ユーザ装置は、自装置上に中間ＩＰドライバを組み込み、多地点サーバ装置から自装置への発言ユーザの映像及び音声のＴＣＰ及びＵＤＰフレームを観測して、廃棄フレーム数及び実スループットを監視することにより、その品質を把握する。

そして、各受信ユーザ装置は、多地点サーバ装置との間のサービス品質が劣化した場合または回復した場合には、サービス品質が劣化しあるいは回復したことを、多地点サーバ装置から受信ユーザ装置への映像及び音声のＴＣＰ及びＵＤＰフレームの応答メッセージとして、多地点サーバ装置にリアルタイムに通知する。

この受信ユーザ装置の通知処理を受けて、多地点サーバ装置は、自装置で検出したサービス品質劣化及び回復情報に加えて、各受信ユーザのサービス品質劣化及び回復情報を収集して、それらの情報に基づいて、各受信ユーザのサービス品質劣化及び回復情報を特定し、発言ユーザ装置に対して、劣化及び回復した受信ユーザの識別子と劣化及び回復の状態とを、発言ユーザ装置から多地点サーバ装置への映像及び音声のＴＣＰ及びＵＤＰフレームの応答メッセージとして、発言ユーザ装置に対してリアルタイムに通知する。

この多地点サーバ装置の処理を受けて、発言ユーザ装置は、自装置上に受信ユーザごとの最新サービス品質をリアルタイムに表示して、受信ユーザの品質の劣化状態または劣化回復状態を把握した場合には、各受信ユーザのサービス品質を「劣化」または「正常」に変更する。

発言ユーザは、これら情報に基づき再度発言を繰り返すなどの対応を行うことができるようになる。

以下、実施例に従って本発明を詳細に説明する。

図１に、本発明の適用されるシステムの一例を図示する。

この図に示すように、本発明の適用されるシステムでは、発言ユーザ装置１と複数の受信ユーザ装置２と多地点サーバ装置３とがインターネット４を介して接続されるという構成が採られている。ここで、図中に示す５はルータ、６はネットワーク回線である。

以下に説明するように、本実施例では、受信ユーザ装置２内に、サービス品質をモニタリングする機能と、モニタリングしたサービス品質を多地点サーバ装置３に通知する機能とを含む前提になっているが、これらの機能を別装置により実現することも可能である。また、多地点サーバ装置３内に、サービス品質をモニタリングする機能と、モニタリングしたサービス品質を発言ユーザ装置１に通知する機能とを含む前提になっているが、これらの機能を別装置により実現することも可能である。

なお、図１では、受信ユーザ装置２は３台となっているが、その数は何台であってもよい。また、ネットワーク回線６の種類はどのようなものであってもよく、電話回線、ＵＤＳＬ回線、光ファイバ回線などのいずれかに限定されるものではない。

このように構成されるシステムでは、発言ユーザ装置１から受信ユーザ装置２へ映像及び音声を送信する場合、発言ユーザ装置１は、多地点サーバ装置３に映像及び音声を送信し、これを受けて、多地点サーバ装置３は、受信した映像及び音声を受信ユーザ装置２の台数分のコピーを行って、各受信ユーザ装置２にそのコピーした映像及び音声を送信するように処理する。

そのため、発言ユーザ装置１では、受信ユーザ装置２が映像及び音声を受信するまでに発生する、輻輳やフレーム廃棄による映像及び音声の劣化を認識することができないことになる。この問題点を解決するのが本発明である。

図２に、本発明を具備する多地点テレビ会議システムの一実施例を図示する。

この図に示すように、本発明を具備する多地点テレビ会議システムを構成する発言ユーザ装置１は、市販ソフトウェアで構成される多地点テレビ会議システム１１と、通信部１２と、サービス品質状態表示部１３とを備える。

一方、本発明を具備する多地点テレビ会議システムを構成する受信ユーザ装置２は、市販ソフトウェアで構成される多地点テレビ会議システム２１と、メッセージトレース部２２と、時刻生成部２３と、品質観測・品質劣化判定部２４と、メッセージ生成部２５と、通信部２６と、品質状態管理テーブル２７とを備える。

この品質状態管理テーブル２７は、品質観測・品質劣化判定部２４が観測判定した受信品質（多地点サーバ装置３から受信した映像及び音声の品質）を記録するものであって、図３に示すように、受信した映像及び音声の品質が劣化しているのか正常であるのかということと、その継続時間と、それらの情報により判断される受信品質の状態（劣化状態／正常状態）とを記録する。

一方、本発明を具備する多地点テレビ会議システムを構成する多地点サーバ装置３は、市販ソフトウェアで構成される多地点テレビ会議システム３１と、メッセージトレース部３２と、時刻生成部３３と、品質観測・品質劣化判定部３４と、通信部３５と、品質多重部３６と、メッセージ生成部３７と、各受信ユーザ装置・品質状態管理テーブル３８と、全受信ユーザ装置・品質状態管理テーブル３９とを備える。

この各受信ユーザ装置・品質状態管理テーブル３８は、各受信ユーザ装置２から通知された受信品質（受信ユーザ装置２における受信品質）を記録するものであって、図４に示すように、受信ユーザ装置２のＩＰアドレスとその受信ユーザ装置２を操作する受信ユーザの識別子とに対応付けて、その受信ユーザ装置２から通知された受信品質の状態（劣化状態／正常状態）を記録する。

また、全受信ユーザ装置・品質状態管理テーブル３９は、品質観測・品質劣化判定部３４が観測判定した受信品質（発言ユーザ装置１から受信した映像及び音声の品質）を記録するものであって、図５に示すように、受信した映像及び音声の品質が劣化しているのか正常であるのかということと、その継続時間と、それらの情報により判断される受信品質の状態（劣化状態／正常状態）とを記録する。

このように構成される本発明では、多地点サーバ装置３が発言ユーザ装置１と自装置との間の廃棄フレーム数および実スループットを監視して、全受信ユーザ装置２における受信品質の劣化状態または劣化回復状態（正常状態）を判断する。そして、発生時刻を追加して、その判断結果を発言ユーザ装置１に通知するように処理する。

そして、各受信ユーザ装置２が多地点サーバ装置３と自装置との間の廃棄フレーム数および実スループットを監視して、自装置における受信品質の劣化状態または劣化回復状態を判断する。そして、発生時刻を追加して、その判断結果を多地点サーバ装置３を経由して発言ユーザ装置１に通知するように処理する。

次に、多地点サーバ装置３が備える各モジュールの実行する処理について説明する。

メッセージトレース部３２は、発言ユーザ装置１から多地点テレビ会議システム３１へ送られてくる映像及び音声についてのＵＤＰ及びＴＣＰフレームのみをトレースする。

時刻生成部３３は、メッセージトレース部３２がＵＤＰ及びＴＣＰフレームをトレースした時刻を生成する。

品質観測・品質劣化判定部３４は、トレースした時刻の生成されたＵＤＰ及びＴＣＰフレームを処理対象として、１秒間の廃棄フレーム数と実スループットとを観測する。

廃棄フレーム数の観測は、ＵＤＰのＲＴＰヘッダ内のSequence Number やＴＣＰのSequence Number を使い、フレームごとにシーケンシャルに付与された番号から廃棄されたフレーム数を観測する。

具体的には、１つ前にトレースしたＵＤＰフレームのSequence Number と現在トレースしたＵＤＰフレームのSequence Number とを比較し、連続したSequence Number であるならば廃棄フレームは無いと判断し、連続しないSequence Number をトレースしたときには、現ＵＤＰのSequence Number から前ＵＤＰのSequence Number を減算した値に１を加算した値に従って廃棄フレーム数を求める。

一方、実スループットの観測は、トレースしたＵＤＰ及びＴＣＰのレイヤ２のフレームサイズで観測する。正常に多地点サーバ装置３で受信が行われた場合には、多地点テレビ会議システム３１の使用帯域幅と１秒間に受信したレイヤ２のフレームサイズの合計値とがほぼ同数値となるので、この観測により実スループットの観測が可能になる。

このようにして、品質観測・品質劣化判定部３４は、多地点テレビ会議システム３１の使用帯域幅より１秒間に受信したレイヤ２のフレームサイズの合計値が下回った場合や、１秒間のＵＤＰ及びＴＣＰの廃棄フレーム数が静的に指定した廃棄フレーム数を上回った場合には、全ての受信ユーザ装置２で受信品質が劣化していると判断する。

そして、品質観測・品質劣化判定部３４は、この劣化が静的に設定した一定時間よりも連続した場合には、全ての受信ユーザ装置２が受信品質の劣化状態にあると判断し、また、劣化回復が静的に設定した一定時間よりも連続した場合には、全ての受信ユーザ装置２が受信品質の劣化回復状態（正常状態）にあると判断する。

これらの観測結果及び判定結果については、全受信ユーザ装置・品質状態管理テーブル３９（図５に示したもの）に記録されることになる。

通信部３５は、各受信ユーザ装置２から受信品質の通知メッセージを受信して、メッセージを送信してきた受信ユーザ装置２のＩＰアドレスに従って、各受信ユーザ装置・品質状態管理テーブル３８（図４に示したもの）のエントリーを検索し、そのエントリーに、送られてきた受信品質の状態（劣化状態／正常状態）を記録する。

品質多重部３６は、一定の周期で、各受信ユーザ装置・品質状態管理テーブル３８から全ての受信ユーザ識別子を抽出し、全受信ユーザ装置・品質状態管理テーブル３９に品質劣化状態が記録されている場合には、抽出した全ての受信ユーザ識別子の受信品質を劣化状態に設定して、メッセージ生成部３７に通知する。

一方、全受信ユーザ装置・品質状態管理テーブル３９に受信品質の正常状態が記録されている場合には、発言ユーザ装置１から多地点サーバ装置３までの映像及び音声については良好であると判断して、それぞれの受信ユーザ装置２における受信品質の状態を特定するために、各受信ユーザ装置・品質状態管理テーブル３８から各受信ユーザ識別子の指す受信品質の状態を読み出して、それに従って、抽出した各受信ユーザ識別子の受信品質を劣化状態か正常状態に設定して、メッセージ生成部３７に通知する。

このようにして、品質多重部３６は、全受信ユーザ装置・品質状態管理テーブル３９に受信品質の劣化状態が記録されている場合には、全ての受信ユーザ装置２の受信品質が劣化状態であるとして設定し、全受信ユーザ装置・品質状態管理テーブル３９に受信品質の正常状態が記録されている場合には、各受信ユーザ装置・品質状態管理テーブル３８に記録される受信品質の状態に従って、各受信ユーザ装置２の受信品質の状態を設定するのである。

メッセージ生成部３７は、品質多重部３６から通知された受信ユーザ識別子と受信品質の状態とについて記述するメッセージを生成して、通信部３５を経由して、発言ユーザ装置１から送られてきた発言ユーザの映像及び音声についてのＴＣＰおよびＵＤＰフレームの応答メッセージとして、発言ユーザ装置１にリアルタイムに通知する。

次に、受信ユーザ装置２が備える各モジュールの実行する処理について説明する。

メッセージトレース部２２は、多地点サーバ装置３から多地点テレビ会議システム２１へ送られてくる発言ユーザの映像及び音声についてのＵＤＰ及びＴＣＰフレームのみをトレースする。

時刻生成部２３は、メッセージトレース部２２がＵＤＰ及びＴＣＰフレームをトレースした時刻を生成する。

品質観測・品質劣化判定部２４は、トレースした時刻の生成されたＵＤＰ及びＴＣＰフレームを処理対象として、１秒間の廃棄フレーム数と実スループットとを観測する。

廃棄フレーム数の観測は、ＵＤＰのＲＴＰヘッダ内のSequence Number やＴＣＰのSequence Number を使い、フレームごとにシーケンシャルに付与された番号から廃棄されたフレーム数を観測する。

具体的には、１つ前にトレースしたＵＤＰフレームのSequence Number と現在トレースしたＵＤＰフレームのSequence Number とを比較し、連続したSequence Number であるならば廃棄フレームは無いと判断し、連続しないSequence Number をトレースしたときには、現ＵＤＰのSequence Number から前ＵＤＰのSequence Number を減算した値に１を加算した値に従って廃棄フレーム数を求める。

一方、実スループットの観測は、トレースしたＵＤＰ及びＴＣＰのレイヤ２のフレームサイズで観測する。正常に受信ユーザ装置２で受信が行われた場合には、多地点テレビ会議システム２１の使用帯域幅と１秒間に受信したレイヤ２のフレームサイズの合計値とがほぼ同数値となるので、この観測により実スループットの観測が可能になる。

このようにして、品質観測・品質劣化判定部２４は、多地点テレビ会議システム２１の使用帯域幅より１秒間に受信したレイヤ２のフレームサイズの合計値が下回った場合や、１秒間のＵＤＰ及びＴＣＰの廃棄フレーム数が静的に指定した廃棄フレーム数を上回った場合には、自装置における受信品質が劣化していると判断する。

そして、品質観測・品質劣化判定部２４は、この劣化が静的に設定した一定時間よりも連続した場合には、自装置が受信品質の劣化状態にあると判断し、また、劣化回復が静的に設定した一定時間よりも連続した場合には、自装置が受信品質の劣化回復状態（正常状態）にあると判断する。

これらの観測結果及び判定結果については、自装置の備える品質状態管理テーブル２７（図３に示したもの）に記録されることになる。

メッセージ生成部２５は、受信品質の状態が変化する時点に（一定の周期のこともある）、品質状態管理テーブル２７に記録される受信品質の状態を読み出して、自装置のＩＰアドレスとその読み出した受信品質の状態とについて記述するメッセージを生成して、通信部２６を経由して、多地点サーバ装置３から送られてきた発言ユーザの映像及び音声についてのＴＣＰおよびＵＤＰフレームの応答メッセージとして、多地点サーバ装置３に対してリアルタイムに通知する。

次に、発言ユーザ装置１が備える各モジュールの実行する処理について説明する。

通信部１２は、多地点サーバ装置３から送られてくる応答メッセージを受信して、そこに記述されている各受信ユーザ装置２の受信品質の情報に基づいて、各受信ユーザ装置２の受信品質の情報をサービス品質状態表示部１３に通知する。

サービス品質状態表示部１３は、図６に示すように、サービス品質状態表示画面を表示して、通信部１２から通知される各受信ユーザの受信品質の情報の一覧を表示する。

このようにして、サービス品質状態表示画面に各受信ユーザの受信品質の情報が表示されることになるので、発言ユーザは、受信ユーザごとのサービス品質を確認しながら会議を進めていくことができるようになる。

次に、図７ないし図１０に示す処理フローに従って、以上に説明した本発明の処理について説明する。

多地点サーバ装置３は、処理を開始すると、図７の処理フローに示すように、発言ユーザ装置１から送られてくる映像及び音声の受信品質の検出処理に入って、ステップ１０で、廃棄フレーム数や実スループットを観測することで受信品質の劣化の発生を検出し、受信品質の劣化の発生を検出すると、ステップ１１に進んで、その劣化が一定時間継続したのか否かを判断する。

このステップ１１の判断処理により、受信品質の劣化が一定時間継続していないことを判断するときには、ステップ１２に進んで、受信品質が正常に回復したのか否かを判断して、正常に回復しないことを判断するときには、そのままステップ１１に戻り、正常に回復したことを判断するときには、それまで測定した継続時間をリセットしてから、ステップ１０に戻る。

この処理を繰り返していくことで、ステップ１１の判断処理により、受信品質の劣化が一定時間継続したことを判断すると、ステップ１３に進んで、全受信ユーザ装置・品質状態管理テーブル３９に受信品質が劣化状態になったことを記録する。

続いて、ステップ１４で、受信品質が正常に回復するのを待って、受信品質が正常に回復することを検出すると、ステップ１５に進んで、その正常が一定時間継続したのか否かを判断する。

このステップ１５の判断処理により、受信品質の正常が一定時間継続していないことを判断するときには、ステップ１６に進んで、受信品質が劣化に転じたのか否かを判断して、劣化に転じないことを判断するときには、そのままステップ１５に戻り、劣化に転じたことを判断するときには、それまで測定した継続時間をリセットしてから、ステップ１４に戻る。

この処理を繰り返していくことで、ステップ１５の判断処理により、受信品質の正常が一定時間継続したことを判断すると、ステップ１７に進んで、全受信ユーザ装置・品質状態管理テーブル３９に受信品質が正常状態に回復したことを記録してから、ステップ１０に戻る。

このようにして、多地点サーバ装置３は、処理を開始すると、発言ユーザ装置１から送られてくる映像及び音声の受信品質の検出処理に入って、受信品質が劣化状態に転ずるときには、全受信ユーザ装置・品質状態管理テーブル３９に劣化状態を記録し、受信品質が正常状態に回復するときには、全受信ユーザ装置・品質状態管理テーブル３９に正常状態を記録していくように処理するのである。

一方、各受信ユーザ装置２は、処理を開始すると、図８の処理フローに示すように、多地点サーバ装置３から送られてくる映像及び音声の受信品質の検出処理に入って、ステップ２０で、廃棄フレーム数や実スループットを観測することで受信品質の劣化の発生を検出し、受信品質の劣化の発生を検出すると、ステップ２１に進んで、その劣化が一定時間継続したのか否かを判断する。

このステップ２１の判断処理により、受信品質の劣化が一定時間継続していないことを判断するときには、ステップ２２に進んで、受信品質が正常に回復したのか否かを判断して、正常に回復しないことを判断するときには、そのままステップ２１に戻り、正常に回復したことを判断するときには、それまで測定した継続時間をリセットしてから、ステップ２０に戻る。

この処理を繰り返していくことで、ステップ２１の判断処理により、受信品質の劣化が一定時間継続したことを判断すると、ステップ２３に進んで、品質状態管理テーブル２７に受信品質が劣化状態になったことを記録するとともに、多地点サーバ装置３に対して、受信品質が劣化状態にあることを通知する。

続いて、ステップ２４で、受信品質が正常に回復するのを待って、受信品質が正常に回復することを検出すると、ステップ２５に進んで、その正常が一定時間継続したのか否かを判断する。

このステップ２５の判断処理により、受信品質の正常が一定時間継続していないことを判断するときには、ステップ２６に進んで、受信品質が劣化に転じたのか否かを判断して、劣化に転じないことを判断するときには、そのままステップ２５に戻り、劣化に転じたことを判断するときには、それまで測定した継続時間をリセットしてから、ステップ２４に戻る。

この処理を繰り返していくことで、ステップ２５の判断処理により、受信品質の正常が一定時間継続したことを判断すると、ステップ２７に進んで、品質状態管理テーブル２７に受信品質が正常状態に回復したことを記録するとともに、多地点サーバ装置３に対して、受信品質が正常状態に回復したことを通知してから、ステップ２０に戻る。

このようにして、各受信ユーザ装置２は、処理を開始すると、多地点サーバ装置３から送られてくる映像及び音声の受信品質の検出処理に入って、多地点サーバ装置３に対して、受信品質が劣化状態に転ずるときには、その旨を通知し、受信品質が正常状態に回復するときには、その旨を通知していくように処理するのである。

この品質情報（劣化状態への遷移／正常状態への回復）の通知を受けて、多地点サーバ装置３は、受信ユーザ装置２から品質情報が送られてくると、図９の処理フローに示すように、先ず最初に、ステップ３０で、受信ユーザ装置２から送られてきた品質情報を受信する。

続いて、ステップ３１で、その受信した品質情報の送信元のＩＰアドレスを取得し、続くステップ３２で、受信した品質情報と取得したＩＰアドレスとに従って、各受信ユーザ装置・品質状態管理テーブル３８に記録される品質情報（劣化状態／正常状態）を更新して、処理を終了する。

このようにして、多地点サーバ装置３は、受信ユーザ装置２から品質情報が送られてくると、それに応答して、各受信ユーザ装置・品質状態管理テーブル３８に記録される品質情報（劣化状態／正常状態）を更新していくように処理するのである。

このようにして全受信ユーザ装置・品質状態管理テーブル３９に記録される品質情報と、各受信ユーザ装置・品質状態管理テーブル３８に記録される品質情報とを受けて、多地点サーバ装置３は、例えば規定の通知周期に到達すると、図１０の処理フローに示すように、先ず最初に、ステップ４０で、全受信ユーザ装置・品質状態管理テーブル３９に記録される品質情報を読み取り、続くステップ４１で、この読み取った品質情報が劣化状態を示しているのか否かを判断する。

この判断処理に従って、全受信ユーザ装置・品質状態管理テーブル３９に記録される品質情報が劣化状態を示していることを判断するときには、ステップ４２に進んで、発言ユーザ装置１に対して、全ての受信ユーザ装置２の受信品質が劣化状態にあることを通知する。

一方、この判断処理に従って、全受信ユーザ装置・品質状態管理テーブル３９に記録される品質情報が劣化状態を示していないことを判断するとき、すなわち、全受信ユーザ装置・品質状態管理テーブル３９に記録される品質情報が正常状態を示していることを判断するときには、ステップ４３に進んで、各受信ユーザ装置・品質状態管理テーブル３８を参照することで、各受信ユーザ装置２の受信品質の品質情報を特定する。

続いて、ステップ４４で、特定した品質情報をひとつにまとめた通知情報を作成し、続くステップ４５で、発言ユーザ装置１に対して、その作成した通知情報を送信して、処理を終了する。

このようにして、多地点サーバ装置３は、発言ユーザ装置１に対して、各受信ユーザ装置２の受信品質の品質情報を通知するように処理するのである。

これにより、図１１に示すように、例えば、多地点サーバ装置３と受信ユーザ＃２の操作する受信ユーザ装置２との間のサービス品質が劣化すると、その情報が多地点サーバ装置３から発言ユーザ装置１に通知され、これに基づいて、発言ユーザは、再度発言を繰り返すなどの対応を行うことができるようになる。

本発明の適用されるシステムの説明図である。 本発明を具備する多地点テレビ会議システムの一実施例である。 品質状態管理テーブルの説明図である。 各受信ユーザ装置・品質状態管理テーブルの説明図である。 全受信ユーザ装置・品質状態管理テーブルの説明図である。 サービス品質状態表示画面の説明図である。 多地点サーバ装置の実行する処理フローである。 受信ユーザ装置の実行する処理フローである。 多地点サーバ装置の実行する処理フローである。 多地点サーバ装置の実行する処理フローである。 本発明の説明図である。

符号の説明

１ 発言ユーザ装置
２ 受信ユーザ装置
３ 多地点サーバ装置
４ インターネット
５ ルータ
６ ネットワーク回線
３１ 多地点テレビ会議システム
３２ メッセージトレース部
３３ 時刻生成部
３４ 品質観測・品質劣化判定部
３５ 通信部
３６ 品質多重部
３７ メッセージ生成部
３８ 各受信ユーザ装置・品質状態管理テーブル
３９ 全受信ユーザ装置・品質状態管理テーブル

Claims (9)

1. 多地点中継装置を経由して発言ユーザ装置から複数の受信ユーザ装置に送信される映像及び音声の品質情報を、該発言ユーザ装置に通知する受信品質通知方法であって、
   多地点中継装置で受信される、発言ユーザ装置から受信ユーザ装置に送信される映像及び音声の品質情報を検出する過程と、
   上記検出した品質情報を、それを記憶する第１の記憶手段に記録する過程と、
   受信ユーザ装置から、該受信ユーザ装置で受信された映像及び音声の品質情報の検出結果を受信する過程と、
   上記受信した品質情報を、それを記憶する第２の記憶手段に記録する過程と、
   上記第１及び第２の記憶手段の記憶する品質情報に基づいて、各受信ユーザ装置で受信された映像及び音声の品質情報を特定する過程と、
   上記特定した品質情報を発言ユーザ装置に通知する過程とを備えることを、
   特徴とする受信品質通知方法。
2. 請求項１に記載の受信品質通知方法において、
   上記特定する過程では、上記第１の記憶手段に記憶される品質情報が品質の劣化を示している場合には、各受信ユーザ装置で受信された映像及び音声の品質情報として、上記第１の記憶手段に記憶される品質情報を特定し、上記第１の記憶手段に記憶される品質情報が品質の劣化を示していない場合には、各受信ユーザ装置で受信された映像及び音声の品質情報として、上記第２の記憶手段に記憶される品質情報を特定することを、
   特徴とする受信品質通知方法。
3. 請求項１又は２に記載の受信品質通知方法において、
   上記通知する過程では、全ての受信ユーザ装置についての品質情報をひとつにまとめる形で通知情報を作成して、それを発言ユーザ装置に送信することを、
   特徴とする受信品質通知方法。
4. 請求項１ないし３のいずれか１項に記載の受信品質通知方法において、
   上記品質情報として、品質が劣化した状態が規定時間以上継続した状態として定義される品質劣化状態と、品質が劣化しない状態が規定時間以上継続したものとして定義される品質正常状態とが用いられるように構成されることを、
   特徴とする受信品質通知方法。
5. 多地点中継装置を経由して発言ユーザ装置から複数の受信ユーザ装置に送信される映像及び音声の品質情報を、該発言ユーザ装置に通知する受信品質通知装置であって、
   多地点中継装置で受信される、発言ユーザ装置から受信ユーザ装置に送信される映像及び音声の品質情報を検出する検出手段と、
   上記検出手段の検出した品質情報を記憶する第１の記憶手段と、
   受信ユーザ装置から、該受信ユーザ装置で受信された映像及び音声の品質情報の検出結果を受信する受信手段と、
   上記受信手段の受信した品質情報を記憶する第２の記憶手段と、
   上記第１及び第２の記憶手段の記憶する品質情報に基づいて、各受信ユーザ装置で受信された映像及び音声の品質情報を特定する特定手段と、
   上記特定手段の特定した品質情報を発言ユーザ装置に通知する通知手段とを備えることを、
   特徴とする受信品質通知装置。
6. 請求項５に記載の受信品質通知装置において、
   上記特定手段は、上記第１の記憶手段に記憶される品質情報が品質の劣化を示している場合には、各受信ユーザ装置で受信された映像及び音声の品質情報として、上記第１の記憶手段に記憶される品質情報を特定し、一方、上記第１の記憶手段に記憶される品質情報が品質の劣化を示していない場合には、各受信ユーザ装置で受信された映像及び音声の品質情報として、上記第２の記憶手段に記憶される品質情報を特定することを、
   特徴とする受信品質通知装置。
7. 請求項５又は６に記載の受信品質通知装置において、
   上記通知手段は、全ての受信ユーザ装置についての品質情報をひとつにまとめる形で通知情報を作成して、それを発言ユーザ装置に送信することを、
   特徴とする受信品質通知装置。
8. 請求項５ないし７のいずれか１項に記載の受信品質通知装置において、
   上記品質情報として、品質が劣化した状態が規定時間以上継続した状態として定義される品質劣化状態と、品質が劣化しない状態が規定時間以上継続したものとして定義される品質正常状態とが用いられるように構成されることを、
   特徴とする受信品質通知装置。
9. 請求項１ないし４のいずれか１項に記載の受信品質通知方法の実現に用いられる処理をコンピュータに実行させるための受信品質通知プログラム。

Images