JP2011066480A - 通信システムおよび端末装置 - Google Patents

Abstract

【課題】各拠点間の遅延時間を制御することで、ネットワーク全体の遅延時間の最適化を図ること。
【解決手段】各拠点Ａ，Ｂ，Ｃのテレビ会議端末１１０によって取得される映像または音声を、ネットワークＮＷを介して通信するテレビ会議システム１００であって、テレビ会議端末１１０は、各拠点間の通信に関する遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを取得する。そして、拠点間のうち、対話をおこなっている拠点間を検出する。テレビ会議端末１１０は、取得された遅延時間に基づいて、対話が検出された拠点間以外の拠点間の遅延時間のうち、少なくとも、対話が検出された拠点間における二拠点と、当該二拠点に接続された拠点との拠点間の遅延時間が、対話が検出された拠点間の遅延時間以上になるように制御する。
【選択図】図１

Description

この発明は、端末装置間で情報の送受信をおこなう通信システムおよび端末装置に関し、特に、各拠点の端末装置によって取得される映像または音声を、ネットワークを介して各拠点間で通信により会議をおこなう通信システムおよび端末装置に関する。

テレビ会議システムは、複数の拠点間で会議をおこなう際、各拠点間で相互に映像または音声などのメディアを送受信する。各拠点間の遅延時間は、ネットワークの状況によって異なる。近年では、相手拠点への転送遅延量と、相手拠点の端末装置の受信用バッファ遅延量に基づいて、各端末装置で新たなバッファ遅延量を決定することで、多拠点間で常にメディアの遅延を同期させる提案がされている（特許文献１）。

具体的には、図７を用いて遅延時間の同期について説明する。図７は、従来技術における遅延時間制御の概要を示す説明図である。図７において、テレビ会議システム７００は、拠点Ａ，Ｂ，Ｃに設置された端末装置によってテレビ会議がおこなわれている。各拠点Ａ，Ｂ，Ｃの端末装置間で映像および音声のパケットなどを送受信する場合、介在するネットワークＮＷの帯域幅や混雑などの環境、各端末の性能などによって、それぞれネットワークＮＷに遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃが発生する。

図７では、遅延時間の制御をおこなっていない場合、遅延時間一覧７１０に示すように、拠点Ａと拠点Ｂの拠点間の遅延時間Ｔａｂは０．１（ｓ）、拠点Ａと拠点Ｃの拠点間の遅延時間Ｔａｃは０．２（ｓ）、拠点Ｂと拠点Ｃの拠点間の遅延時間Ｔｂｃは０．３（ｓ）である。従来技術では、遅延時間一覧７２０に示すように、遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃについて、最も大きな遅延時間Ｔｂｃに揃えて遅延の同期をおこなっていた。

特開２００５−３５４３５１号公報

しかしながら、上述した特許文献１に記載の従来技術では、接続されたすべての端末装置間の遅延時間を同期させる構成であるため、各拠点間の遅延時間のうち最大の遅延時間にあわせて、各拠点間の遅延時間を制御しなければならない。したがって、対話をおこなう拠点間の遅延時間が小さくても、他の拠点間の遅延時間が大きい場合、無駄に遅延時間を増大させることになるという問題が一例として挙げられる。具体的には、たとえば、図７に示した例では、拠点Ａと拠点Ｃとの間で対話があった場合であっても、拠点Ｂと拠点Ｃとの遅延時間Ｔｂｃに揃えて他の遅延時間Ｔａｂ，Ｔａｃを大きな値としなければならなかった。

この発明は、上述した問題を解決するため、対話をおこなっている拠点間の遅延時間に基づいて、各拠点間の遅延時間を制御することで、ネットワーク全体の遅延時間の最適化を図ることのできる通信システムおよび端末装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる通信システムは、各拠点の端末装置によって取得される映像または音声を、ネットワークを介して各拠点間で通信する通信システムであって、前記各拠点間の通信に関する遅延時間を取得する取得手段と、前記拠点間のうち、対話をおこなっている拠点間を検出する検出手段と、前記取得手段によって取得された遅延時間に基づいて、前記対話が検出された拠点間以外の拠点間の遅延時間のうち、少なくとも、前記対話が検出された拠点間における二拠点と、前記二拠点に接続された拠点との拠点間の遅延時間が、前記対話が検出された拠点間の遅延時間以上になるように制御する遅延制御手段と、を備えることを特徴とする。

請求項２の発明にかかる通信システムは、請求項１に記載の発明において、前記遅延制御手段は、前記各拠点間の通信に関する遅延時間のうち、前記対話が検出された拠点間の遅延時間より短い遅延時間を、前記対話が検出された拠点間の遅延時間以上に制御することを特徴とする。

請求項３の発明にかかる通信システムは、請求項１または２に記載の発明において、前記遅延制御手段は、前記対話が検出された拠点間の二拠点と、前記二拠点と接続された拠点との拠点間の遅延時間を、前記対話が検出された拠点間の遅延時間以上に制御することを特徴とする。

請求項４の発明にかかる通信システムは、請求項１〜３のいずれか一つに記載の発明において、前記遅延制御手段は、前記対話が検出された拠点間の遅延時間と、前記対話が検出された拠点間以外の拠点間の遅延時間との差分に基づいて、前記映像または音声の送信を制御することを特徴とする。

請求項５の発明にかかる通信システムは、請求項４に記載の発明において、前記遅延制御手段は、前記差分に基づいて、前記端末装置のバッファメモリを用いて、前記映像または音声の送信タイミングまたは再生タイミングを変更することを特徴とする。

請求項６の発明にかかる端末装置は、各拠点から取得される映像または音声を、ネットワークを介して各拠点間で通信する端末装置であって、前記各拠点間の通信に関する遅延時間を取得する取得手段と、一の端末装置と対話をおこなう他の端末装置を検出する検出手段と、前記取得手段によって取得された遅延時間に基づいて、少なくとも、前記他の端末装置と当該他の端末装置に接続される前記一の端末装置以外の端末装置との拠点間および前記一の端末装置と当該一の端末装置に接続される前記他の端末装置以外の端末装置との拠点間の遅延時間が、前記対話が検出された前記一の端末装置と前記他の端末装置との拠点間の遅延時間以上になるように、前記各拠点の端末装置に遅延時間制御信号を送信する送信手段と、を備えることを特徴とする。

請求項１にかかる発明によれば、対話が検出された拠点間以外の拠点間のうち、対話が検出された二拠点と当該二拠点に接続されている拠点間の遅延時間が、対話が検出された拠点間の遅延時間以上になるように制御することができる。したがって、対話に関連する拠点間の遅延時間を適切に制御することができる。換言すれば、対話をおこなっている拠点間と、対話をおこなっている拠点と当該拠点に接続された拠点間の遅延時間のみ制御し、それ以外の対話とは無関係の拠点間の遅延時間を無駄に制御することなく、最適な遅延時間の制御をおこなうことができる。

また、対話している拠点間では、一方からの話が他方に到達するのに、対話が検出された拠点間の遅延時間が経過する必要がある。したがって、一方の話が終了した後に他方が話し始めるタイミングは、対話が検出された拠点間の遅延時間分遅れることとなる。上記発明によれば、対話が検出された二拠点に接続されている拠点間の遅延時間は、対話が検出された拠点間の遅延時間以上となるため、一方の話が当該二拠点に接続されている拠点間に到達するのは、他方が話し始めるタイミングよりさらに遅くなる。したがって、対話をしている拠点間以外の拠点から不用意に対話に割り込むことを防止でき、円滑な対話を妨げてしまうことを防止できる
請求項２にかかる発明によれば、対話が検出された拠点間の遅延時間よりも短い遅延時間を制御することができる。したがって、対話のない拠点間における遅延時間のうち、遅延時間を制御する必要のある遅延時間を適切に選択することで、遅延時間の制御の効率化を図ることができる。

請求項３にかかる発明によれば、対話が検出された拠点間の遅延時間よりも短い遅延時間を制御することができる。したがって、対話のない拠点間の遅延時間のうち、対話がおこなわれている拠点との新たな対話が開始される可能性のある拠点間を適切に選択することで、遅延時間の制御の効率化を図ることができる。

請求項４にかかる発明によれば、遅延時間との差分に基づき、遅延時間を制御することができるため、適切な時間幅で遅延時間を制御することができる。

請求項５にかかる発明によれば、バッファメモリを用いて映像または音声の送信タイミングや再生タイミングを変更することができるため、簡易な構成で遅延時間を制御することができる。

請求項６にかかる発明によれば、対話が検出された拠点間以外の拠点間のうち、対話が検出された二拠点と当該二拠点に接続されている拠点間の遅延時間が、対話が検出された拠点間の遅延時間になるように制御することができる。したがって、対話に関連する拠点間の遅延時間を適切に制御することができる。

以上説明したように、本発明にかかる通信システムおよび端末装置よれば、対話をおこなっている拠点間の遅延時間に基づいて、各拠点間の遅延時間を制御することで、ネットワーク全体の遅延時間の最適化を図ることのできるという効果を奏する。

本発明の実施形態にかかるテレビ会議システムの一例を示す説明図である。 本発明の実施形態にかかるテレビ会議端末の機能的構成の一例を示す説明図である。 本発明の実施形態にかかる各拠点間の音声パケット量を示す説明図である。 本発明の実施形態にかかる遅延時間制御の概要を示す説明図である。 本発明の実施形態にかかるテレビ会議システムの処理の内容を示すフローチャートである。 本発明の実施形態にかかる変形例について、４拠点のテレビ会議の一例を示す説明図である。 従来技術における遅延時間制御の概要を示す説明図である。

以下に添付図面を参照して、この発明にかかる通信システムおよび端末装置の好適な実施の形態を詳細に説明する。

（実施形態）
（全体構成）
図１を用いて、本発明の実施形態にかかる通信システムを、複数拠点に設置されたテレビ会議端末によってテレビ会議をおこなうテレビ会議システムに適用した場合について説明する。図１は、本発明の実施形態にかかるテレビ会議システムの一例を示す説明図である。なお、本実施形態１では、各拠点（拠点Ａ，拠点Ｂ，拠点Ｃ）に設置されたテレビ会議端末１１０（１１０ａ，１１０ｂ，１１０ｃ）によって、本発明にかかる端末装置を実現し、テレビ会議端末１１０を利用して参加者同士がテレビ会議をおこなうテレビ会議システム１００によって、本発明にかかる通信システムを実現する場合について説明する。

図１において、テレビ会議システム１００は、各拠点Ａ，Ｂ，Ｃに設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃがネットワークＮＷを介して接続されて構成されている。具体的には、テレビ会議システム１００は、地理的に離れた各拠点Ａ，Ｂ，Ｃに設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃがインターネットなどのネットワークＮＷを介して接続されたり、建物内の離れた各拠点Ａ，Ｂ，Ｃに設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃがＬＡＮ（ローカルエリアネットワーク）などのネットワークＮＷを介して接続されたりしている。なお、図１では、テレビ会議端末１１０ａ，１１０ｂ，１１０ｃがネットワークを介して相互に接続されることとして説明するが、ネットワーク上の任意の位置に設置された管理サーバなどを介して相互に接続される構成でもよい。また、ネットワークＮＷは、公衆電話回線網などであってもよい。

テレビ会議システム１００は、各拠点Ａ，Ｂ，Ｃでテレビ会議に参加する参加者ａ，ｂ，ｃの映像および音声をテレビ会議端末１１０によって送受信させる。テレビ会議端末１１０ａは、カメラ２１２やマイク２１４によって自拠点Ａにおける参加者ａの映像および音声を取得する。テレビ会議端末１１０ａは、取得した参加者ａの映像および音声をパケット化して、ネットワークＮＷを介して他拠点Ｂ，Ｃのテレビ会議端末１１０ｂ，１１０ｃに送信する。

テレビ会議端末１１０ａは、他拠点Ｂ，Ｃのテレビ会議端末１１０ｂ，１１０ｃから送信される参加者ｂ，ｃの映像および音声のパケットをネットワークＮＷを介して受信する。テレビ会議端末１１０ａは、受信したパケットから参加者ｂ，ｃの映像および音声をディスプレイ２１１やスピーカ２１３によって再生する。

各テレビ会議端末１１０ａ，１１０ｂ，１１０ｃ間で、映像および音声のパケットなどを送受信する場合、介在するネットワークＮＷの帯域幅や混雑などの環境や、各テレビ会議端末１１０ａ，１１０ｂ，１１０ｃの性能などによって、それぞれネットワークＮＷに遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃが発生する。

テレビ会議端末１１０ａは、遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを取得する。テレビ会議端末１１０ａは、自拠点のテレビ会議端末１１０ａと接続されているテレビ会議端末１１０ｂ，１１０ｃとの拠点間については、ＰＩＮＧコマンドをテレビ会議端末１１０ｂ，１１０ｃに出力して、応答するまでの時間に基づいて拠点Ａ，Ｂ間および拠点Ａ，Ｃ間のネットワークＮＷにおける遅延時間Ｔａｂ，Ｔａｃを取得する。テレビ会議端末１１０ａは、テレビ会議端末１１０ｂ，１１０ｃの拠点間については、テレビ会議端末１１０ａがテレビ会議端末１１０ｂまたはテレビ会議端末１１０ｃに対して遅延時間Ｔｂｃの問合せをおこなうことで拠点Ｂ，Ｃ間のネットワークＮＷにおける遅延時間Ｔｂｃを取得する。

テレビ会議端末１１０ａは、対話をおこなっている拠点間を検出する。詳細は図３を用いて説明するが、テレビ会議端末１１０ａは、他拠点Ｂ，Ｃのテレビ会議端末１１０ｂ，１１０ｃからネットワークＮＷを介して自拠点Ａに送信される音声パケットや自拠点Ａから他拠点Ｂ，ＣへネットワークＮＷを介して送信する音声パケットを監視し、所定時間単位の中で音声パケット量が多い上位二拠点を、対話をおこなっている拠点間として検出する。

テレビ会議端末１１０ａは、対話が検出された拠点間以外の拠点間の遅延時間のうち、少なくとも、対話が検出された拠点間における二拠点と当該二拠点に接続された拠点との拠点間の遅延時間が、対話が検出された拠点間の遅延時間以上になるように制御する。これにより、遅延時間を制御する必要のある拠点間を適切に選択することができる。

各拠点Ａ，Ｂ，Ｃ間のネットワークＮＷにおける各遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃの大小関係をＴａｂ＜Ｔａｃ＜Ｔｂｃとして説明する。テレビ会議端末１１０ａは、拠点Ａと拠点Ｃとの対話を検出すると、拠点Ａ，Ｂ間、拠点Ｂ，Ｃ間の遅延時間Ｔａｂ，Ｔｂｃが、遅延時間Ｔａｃ以上になるよう制御する。遅延時間Ｔｂｃは遅延時間Ｔａｃよりも大きいため、テレビ会議端末１１０ａは、遅延時間Ｔａｂのみ遅延時間Ｔａｃ以上となるよう映像および音声のパケットの送信タイミングを制御すればよい。

同様にして、テレビ会議端末１１０ａは、拠点Ａと拠点Ｂとの対話を検出した場合、遅延時間Ｔａｃ，Ｔｂｃが、遅延時間Ｔａｂ以上になるように制御する。この場合、テレビ会議端末１１０ａは、遅延時間Ｔａｂが最も小さい時間であるため遅延時間Ｔａｃ，Ｔｂｃを変更しなくてもよい。

テレビ会議端末１１０ａは、拠点Ｂと拠点Ｃとの対話を検出した場合、遅延時間Ｔａｂ，Ｔａｃが、遅延時間Ｔｂｃ以上になるように制御する。この場合、テレビ会議端末１１０ａは、遅延時間Ｔａｂ，Ｔａｃが、最も大きな時間である遅延時間Ｔｂｃ以上になるように制御する。

遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃの制御は、各テレビ会議端末１１０ａ，１１０ｂ，１１０ｃの有するバッファメモリ（たとえば、図２における記憶媒体２０８）によっておこなう。テレビ会議端末１１０ａは、遅延時間Ｔａｂが遅延時間Ｔａｃ以上となるように制御する場合、拠点Ｂに送信する映像および音声のパケットを、バッファメモリによって遅延時間Ｔａｃと遅延時間Ｔａｂの差分だけ遅らせて、ネットワークＮＷを介して送信する。そして、拠点Ｂに対して、拠点Ｂが拠点Ａに送信する映像および音声のパケットを、遅延時間Ｔａｃと遅延時間Ｔａｂの差分だけ遅らせるように指示する遅延時間制御信号を、ネットワークＮＷを介して拠点Ｂに送信する。

テレビ会議端末１１０ａは、遅延時間Ｔｂｃの制御をおこなう場合、遅延時間の差分を指示する遅延時間制御信号をテレビ会議端末１１０ｂ，１１０ｃに、ネットワークＮＷを介して送信する。テレビ会議端末１１０ｂ，１１０ｃは、ネットワークＮＷを介して受信した遅延時間制御信号に応じて、バッファメモリによって遅延時間Ｔｂｃを制御することとなる。

なお、本発明の実施形態では、テレビ会議端末１１０ａを例に挙げてネットワークＮＷの遅延時間を取得して、各遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを制御する構成として説明するが、これに限ることはない。すなわち、他のテレビ会議端末１１０ｂ，１１０ｃによってネットワークＮＷの遅延時間の取得、各遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃの制御をおこなう構成でもよい。また、複数のテレビ会議端末１１０のうち、ネットワークＮＷの遅延時間の取得、各遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃの制御をおこなう機器を選択する構成でもよい。たとえば、テレビ会議に最初に参加した機器や、参加者の優先順位などによって、ネットワークＮＷの遅延時間の取得、各遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃの制御をおこなう機器を選択できることとしてもよい。

（機能的構成）
図２を用いて、テレビ会議端末１１０の機能的構成について説明する。図２は、本発明の実施形態にかかるテレビ会議端末の機能的構成の一例を示す説明図である。

図２において、テレビ会議端末１１０は、ＣＰＵ（セントラルプロセッシングユニット）２０１と、ＲＡＭ（ランダムアクセスメモリ）２０２と、ＲＯＭ（リードオンリーメモリ）２０３と、ディスプレイ２１１やカメラ２１２に対して映像の入出力を制御する映像Ｉ／Ｆ２０４と、スピーカ２１３やマイク２１４に対して音声の入出力を制御する音声Ｉ／Ｆ２０５と、各種情報の入力を受け付ける操作部２０６と、外部機器との通信を制御する通信Ｉ／Ｆ２０７と、各種情報を記憶する記憶媒体２０８とを備えている。また、テレビ会議端末１１０の各構成部は、バス２００によってそれぞれ接続されている。

ＣＰＵ２０１は、テレビ会議端末１１０全体の制御をおこなう。ＣＰＵ２０１は、ＲＡＭ２０２をワークエリアとして、ＲＯＭ２０３から読み込まれる各種プログラムを実行する。

ＣＰＵ２０１は、自拠点とネットワークＮＷを介して接続されている他拠点のテレビ会議端末１１０との遅延時間を取得する。ＣＰＵ２０１は、ネットワークＮＷを介してＰＩＮＧコマンドを他拠点のテレビ会議端末１１０に送信して、図示しないタイマによって応答時間を測定する。テレビ会議端末１１０は、測定された応答時間に基づいて、自拠点と接続された他拠点のテレビ会議端末１１０との拠点間ネットワークＮＷにおける遅延時間を取得して、記憶媒体２０８に記憶する。

ＣＰＵ２０１は、自拠点のテレビ会議端末１１０以外の拠点同士間の遅延時間について、他拠点のテレビ会議端末１１０に対して遅延時間の取得要求をおこなう。取得要求は、自拠点のテレビ会議端末１１０以外の拠点のテレビ会議端末１１０同士でＰＩＮＧコマンドによって遅延時間を取得するように要求し、取得された遅延時間を自拠点のテレビ会議端末１１０へ送信させる。ＣＰＵ２０１は、取得要求に応じて他拠点のテレビ会議端末１１０から送信される遅延時間を取得して、記憶媒体２０８に記憶する。

遅延時間の取得は、任意のタイミングでおこなう構成でもよく、たとえば、テレビ会議が開始されたタイミングや、新たにテレビ会議端末１１０が接続されたり、切断されたりして参加者に変動があったタイミングや、所定周期でおこなう。

ＣＰＵ２０１は、テレビ会議をおこなっている複数のテレビ会議端末１１０の拠点間のうち、対話をおこなっている拠点間を検出する。ＣＰＵ２０１は、所定時間に各拠点で送受信される音声パケットの容量（音声パケット量）に基づいて、音声パケット量の多い上位二拠点を、対話をおこなっている対話拠点として検出する。

すなわち、ＣＰＵ２０１は、後述するマイク２１４から集音された音声に基づく音声パケットについて、所定時間Ｔ（図５参照）にネットワークＮＷを介して他拠点に送信する音声パケット量を監視する。ＣＰＵ２０１は、所定時間Ｔに他拠点からネットワークＮＷを介して受信される音声パケット量を監視する。ＣＰＵ２０１は、直接接続されていないテレビ会議端末１１０がある場合、直接接続されたテレビ会議端末１１０を介して、直接接続されていないテレビ会議端末１１０が所定時間ＴにネットワークＮＷを介して送信している音声パケット量を監視する。

なお、本実施形態では、ＣＰＵ２０１によって音声パケット量を監視する構成としたが、これに限ることはない。具体的には、通信Ｉ／Ｆ２０７によって、自装置で送受信される音声パケット量を監視する構成としてもよい。

ここで、図３を用いて、対話をおこなっている拠点間の検出について説明する。図３は、本発明の実施形態にかかる各拠点間の音声パケット量を示す説明図である。図３では、拠点Ａのテレビ会議端末１１０ａにおいて各拠点の音声パケット量を監視する場合について説明する。

音声パケット量３０１は、所定時間Ｔに拠点Ａから拠点Ｂ（または拠点Ｃ）に対してネットワークＮＷを介して送信した音声パケットの容量を示す。音声パケット量３０２は、所定時間Ｔに拠点Ａが拠点ＢからネットワークＮＷを介して受信した音声パケットの容量を示す。音声パケット量３０３は、所定時間Ｔに拠点Ａが他拠点ＣからネットワークＮＷを介して受信した音声パケットの容量を示す。なお、音声パケット量３０２については、拠点Ｂが拠点Ａ（または拠点Ｃ）に送信した音声パケットの容量をテレビ会議端末１１０ｂから取得する構成でもよい。同様に、拠点Ｃが拠点Ａ（または拠点Ｂ）に送信した音声パケットの容量をテレビ会議端末１１０ｃから取得する構成でもよい。

ＣＰＵ２０１は、所定時間Ｔ継続して監視した各拠点Ａ，Ｂ，Ｃの音声パケット量３０１，３０２，３０３のうち、容量の多い上位の二拠点Ａ，Ｃについて、対話をおこなっている拠点間として検出する。

図２に戻って、映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、ディスプレイ２１１に各種情報を表示させる。映像Ｉ／Ｆ２０４は、たとえば、カメラ２１２によって撮像された自拠点の映像や、他拠点のテレビ会議端末１１０から受信された映像パケットをデコードした映像や、他拠点とのテレビ会議に関する処理画面などをディスプレイ２１１に表示させる。

映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、カメラ２１２によって自拠点の参加者の映像を撮像する。映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、カメラ２１２によって撮像された映像を記憶媒体２０８に出力する。

音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、スピーカ２１３に各種音声を出力させる。音声Ｉ／Ｆ２０５は、他拠点のテレビ会議端末１１０から受信された音声パケットをデコードした音声や、他拠点とのテレビ会議に関する案内音声などをスピーカ２１３に出力させる。

音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク２１４によって自拠点の参加者の音声を集音する。音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク２１４によって集音された音声を記憶媒体２０８に出力する。

操作部２０６は、参加者などから各種情報の入力を受け付ける。操作部２０６は、タッチパネルや操作ボタンなどによって構成され、テレビ会議に関する情報の入力を受け付けて、入力された信号をＣＰＵ２０１へ出力する。

通信Ｉ／Ｆ２０７は、通信回線を通じてインターネットなどのネットワークＮＷに接続され、このネットワークＮＷを介して他のテレビ会議端末１１０やその他外部機器に接続される。通信Ｉ／Ｆ２０７は、ネットワークとテレビ会議端末１１０内部のインターフェースをつかさどり、外部機器に対するデータの入出力を制御する。通信Ｉ／Ｆ２０７には、たとえば、モデムやＬＡＮアダプタなどを採用することができる。

通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、記憶媒体２０８に記憶された自拠点の映像および音声を、他拠点のテレビ会議端末１１０へネットワークＮＷを介して送信する。通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、映像および音声を映像パケットおよび音声パケットとして所定のタイミングでネットワークＮＷを介して送信する。

ＣＰＵ２０１は、対話をおこなっている拠点間が検出された場合、記憶媒体２０８に記憶されている各拠点間の遅延時間に基づいて、少なくとも対話が検出された拠点間における二拠点と、当該二拠点に接続された拠点との拠点間の遅延時間が、対話が検出された拠点間の遅延時間以上になるように映像パケットおよび音声パケットの送信タイミングを制御する。

ここで、図４を用いて、本発明の実施形態にかかる遅延時間の制御について説明する。図４は、本発明の実施形態にかかる遅延時間制御の概要を示す説明図である。図４では、拠点Ａのテレビ会議端末１１０ａによって、拠点Ａと拠点Ｃで対話がおこなわれていること検出された場合について説明する。

テレビ会議端末１１０ａのＣＰＵ２０１は、各拠点間の遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを取得する。図４では、対話がない場合の遅延時間は、遅延時間一覧４１０に示すように、拠点Ａと拠点Ｂの拠点間の遅延時間Ｔａｂは０．１（ｓ）、拠点Ａと拠点Ｃの拠点間の遅延時間Ｔａｃは０．２（ｓ）、拠点Ｂと拠点Ｃの拠点間の遅延時間Ｔｂｃは０．３（ｓ）である。

テレビ会議端末１１０ａのＣＰＵ２０１は、拠点Ａ，Ｃの拠点間で対話が検出された場合について遅延時間一覧４２０が示すように、拠点Ａと拠点Ｂの拠点間の遅延時間Ｔａｂは０．２（ｓ）、拠点Ａと拠点Ｃの拠点間の遅延時間Ｔａｃは０．２（ｓ）、拠点Ｂと拠点Ｃの拠点間の遅延時間Ｔｂｃは０．３（ｓ）となるよう映像パケットおよび音声パケットの送信タイミングを制御する。

具体的には、テレビ会議端末１１０ａのＣＰＵ２０１は、記憶媒体２０８に記憶された映像および音声について、拠点Ｂに対して、対話がおこなわれていない状態に比べて、遅延が０．１（ｓ）加算されるように一時的に記憶してから各パケットを送信するように制御する。テレビ会議端末１１０ａのＣＰＵ２０１は、記憶媒体２０８に記憶された映像および音声について、拠点Ｃに対して、対話がおこなわれていない状態に比べて、遅延を増減させずにネットワークＮＷを介して各パケットを送信するように制御する。

すなわち、テレビ会議端末１１０ａのＣＰＵ２０１は、対話がおこなわれている拠点間の遅延時間Ｔａｃ以外の拠点間の遅延時間Ｔａｂ，Ｔｂｃのうち、対話がおこなわれている拠点Ａ，Ｃに接続された拠点Ｂ間の遅延時間Ｔａｂ，Ｔｂｃが遅延時間Ｔａｃ以上となるように制御する。このように、対話に関連する遅延時間Ｔａｂ，Ｔｂｃを適切に選択し、対話している拠点間の遅延時間Ｔａｃが最小の時間となるように制御することができる。したがって、効率的に遅延時間を制御しつつ、現在おこなわれている対話に対して時間的に逆行する割り込みの発生を防ぎ円滑なテレビ会議を実現することができる。

図２に戻って、記憶媒体２０８は、ＨＤ（ハードディスク）や着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）などである。記憶媒体２０８は、それぞれのドライブデバイスを有し、ＣＰＵ２０１の制御にしたがって各種データが記録される。また、記憶媒体２０８からは、それぞれのドライブデバイスの制御にしたがってデータが読み取られる。

なお、各構成要素と、各機能を対応付けて説明すると、図２に示したＣＰＵ２０１、通信Ｉ／Ｆ２０７および記憶媒体２０８によって、本発明にかかる取得手段、検出手段および遅延制御手段の機能を実現する。また、ＣＰＵ２０１および通信Ｉ／Ｆ２０７によって、本発明にかかる送信手段の機能を実現する。

（テレビ会議システム１００の処理の内容）
図５を用いて、本発明の実施形態にかかるテレビ会議システム１００の処理の内容について説明する。図５は、本発明の実施形態にかかるテレビ会議システムの処理の内容を示すフローチャートである。図５のフローチャートでは、テレビ会議端末１１０ａの処理の内容について説明する。図５のフローチャートでは、テレビ会議端末１１０ａによって、遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを取得して、対話拠点を検出し、遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃの制御をおこなう場合について説明する。

図５のフローチャートにおいて、まず、ＣＰＵ２０１は、テレビ会議が開始されたか否かを判断する（ステップＳ５０１）。テレビ会議の開始は、たとえば、参加者ａによる操作部２０６の操作に基づいて、通信Ｉ／Ｆ２０７を介して他のテレビ会議端末１１０ｂ，１１０ｃに対して接続要求をおこなう。通信Ｉ／Ｆ２０７を介して他のテレビ会議端末１１０ｂ，１１０ｃから応答を受信することによって判断される。

ステップＳ５０１において、テレビ会議が開始されるのを待って、開始された場合（ステップＳ５０１：Ｙｅｓ）は、ＣＰＵ２０１は、ステップＳ５０１において開始されたテレビ会議の参加者ａ，ｂ，ｃのいる拠点間の遅延時間を取得し、記憶媒体２０８に記憶する（ステップＳ５０２）。

遅延時間は、たとえば、ＰＩＮＧコマンドを他拠点Ｂ，Ｃのテレビ会議端末１１０ｂ，ｃに送信して、応答時間を測定する。ＣＰＵ２０１は、測定された応答時間に基づいて、自拠点Ａと接続された他拠点Ｂ，Ｃのテレビ会議端末１１０ｂ，１１０ｃとの拠点間の遅延時間Ｔａｂ，Ｔａｃを取得して、記憶媒体２０８に記憶する。

ＣＰＵ２０１は、自拠点Ａのテレビ会議端末１１０ａ以外の拠点端末間の遅延時間について、他拠点Ｂ，Ｃのテレビ会議端末１１０ｂ，１１０ｃに対して取得要求をおこなう。ＣＰＵ２０１は、取得要求に応じて他拠点Ｂ，Ｃのテレビ会議端末１１０ｂ，１１０ｃから送信される遅延時間Ｔｂｃを取得して、記憶媒体２０８に記憶する。

ＣＰＵ２０１は、図示しないタイマをリセットして、経過時間ｔを０に設定し（ステップＳ５０３）、ステップＳ５０１において開始されたテレビ会議に参加している各拠点Ｂ，Ｃに対して、通信Ｉ／Ｆ２０７を介して、映像および音声の各パケットをネットワークＮＷを介して送受信し、再生する（ステップＳ５０４）。拠点Ａの参加者ａは、ステップＳ５０４において再生された映像および音声によって、他拠点Ｂ，Ｃの参加者ｂ，ｃと遠隔でテレビ会議をおこなうこととなる。

ＣＰＵ２０１は、ステップＳ５０３においてリセットされたタイマをカウントして、ステップＳ５０４において各拠点Ａ，Ｂ，Ｃで送受信される音声パケット量を監視する（ステップＳ５０５）。

ＣＰＵ２０１は、ステップＳ５０５において音声パケット量が監視されている間に、所定時間Ｔが経過したか否かを判断する（ステップＳ５０６）。すなわち、ステップＳ５０３，５０４，５０５，５０６において、ＣＰＵ２０１は、マイク２１４から集音された音声に基づく音声パケットについて、所定時間Ｔに他拠点Ｂ，ＣにネットワークＮＷを介して送信する音声パケット量と、他拠点Ｂ，ＣからネットワークＮＷを介して受信される音声パケット量を監視する。

ステップＳ５０６において、所定時間Ｔが経過時間ｔ以上の場合（ステップＳ５０６：Ｎｏ）は、ＣＰＵ２０１は、ステップＳ５０４へ戻って処理を繰り返す。

ステップＳ５０６において、所定時間Ｔが経過時間ｔよりも小さくなった場合（ステップＳ５０６：Ｙｅｓ）は、ＣＰＵ２０１は、ステップＳ５０５において監視されていた各拠点Ａ，Ｂ，ＣでネットワークＮＷを介して送受信される音声パケット量から対話をおこなっている対話拠点を検出する（ステップＳ５０７）。

対話拠点の検出は、たとえば、所定時間Ｔ継続して監視した各拠点Ａ，Ｂ，Ｃの音声パケット量のうち、音声パケット量の多い上位の二拠点Ａ，Ｃについて、対話をおこなっている拠点として検出する。

ＣＰＵ２０１は、ステップＳ５０７において検出された対話拠点に接続している拠点の遅延時間を制御する（ステップＳ５０８）。ＣＰＵ２０１は、対話が検出された拠点間における二拠点と、当該二拠点に接続された拠点との拠点間の遅延時間が、対話が検出された拠点間の遅延時間以上になるように映像パケットおよび音声パケットの送信タイミングを制御する。

ＣＰＵ２０１は、ステップＳ５０１で開始されたテレビ会議が終了するか否かを判断する（ステップＳ５０９）。テレビ会議の終了は、たとえば、参加者ａによる操作部２０６の操作に基づいて、通信Ｉ／Ｆ２０７を介して他のテレビ会議端末１１０ｂ，１１０ｃに対して切断要求をおこなう。通信Ｉ／Ｆ２０７を介して他のテレビ会議端末１１０ｂ，１１０ｃから応答を受信することによって判断される。

ステップＳ５０９において、テレビ会議が継続される場合（ステップＳ５０９：Ｎｏ）は、ステップＳ５０３へ戻って処理を繰り返す。ステップＳ５０９において、テレビ会議が終了される場合（ステップＳ５０９：Ｙｅｓ）は、そのまま一連の処理を終了する。

なお、本発明の各構成要素における処理と、本発明の実施形態の各処理または各機能とを関連付けて説明すると、ステップＳ５０２におけるＣＰＵ２０１および通信Ｉ／Ｆ２０７の処理によって、本発明にかかる取得手段の処理が実行される。ステップＳ５０７におけるＣＰＵ２０１の処理によって、本発明にかかる検出手段の処理が実行される。ステップＳ５０８におけるＣＰＵ２０１および通信Ｉ／Ｆ２０７の処理によって、本発明にかかる遅延制御手段の処理が実行される。

以上説明したように、本発明の実施形態にかかるテレビ会議システムおよびテレビ会議端末によれば、テレビ会議をおこなっている拠点のうち、対話をおこなっている拠点と当該拠点に接続された拠点との間の遅延時間を、対話をおこなっている拠点間の遅延時間以上に制御することができる。したがって、遅延時間を制御すべき拠点間を適切に選択することで、効率的な遅延時間の制御を図ることができる。

換言すれば、本発明の実施形態にかかるテレビ会議システムおよびテレビ会議端末によれば、遅延時間を制御する対象を必要最小限にとどめつつ、円滑なテレビ会議を実現することができる。

（その他の一部の変形例）
本発明の実施形態では特に、遅延時間Ｔａｂ，Ｔａｃ，ＴｂｃをＰＩＮＧコマンドによって取得することとして説明したが、これに限ることはない。具体的には、各テレビ会議端末１１０ａ，１１０ｂ，１１０ｃは、ネットワークＮＷを介して送受信する映像や音声にタイムスタンプを付与する。各テレビ会議端末１１０ａ，１１０ｂ，１１０ｃは、相手側から受信した映像や音声のタイムスタンプと、再生した映像や音声の時刻とを比較することで遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを取得する。このようにすれば、ＰＩＮＧコマンドを送受信する機能を有していなくても容易に遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを取得することができる。

本発明の実施形態では特に、対話をおこなっている拠点間について、ネットワークＮＷを介して送受信される音声を監視することで検出することとして説明したが、これに限ることはない。具体的には、各テレビ会議端末１１０ａ，１１０ｂ，１１０ｃのカメラ２１２によって撮像される各参加者ａ，ｂ，ｃの口の動きから、口の動きが多い参加者ａ，ｂ，ｃの上位二拠点を対話がおこなわれている拠点間として検出する構成でもよい。

本発明の実施形態では特に、各テレビ会議端末１１０ａ，１１０ｂ，１１０ｃのバッファメモリ（記憶媒体２０８）によって、映像および音声の各パケットの送信タイミングを変更することで遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを制御することとして説明したが、これに限ることはない。具体的には、テレビ会議端末１１０ａ，１１０ｂ，１１０ｃのバッファメモリ（記憶媒体２０８）によって、再生タイミングを変更する構成でもよい。

すなわち、テレビ会議端末１１０ａは、拠点Ｂ，ＣからネットワークＮＷを介して受信した映像および音声を、バッファメモリによって遅延時間の差分だけ遅らせて再生する。また、テレビ会議端末１１０ａは、拠点Ｂ，Ｃに対して、拠点ＡからネットワークＮＷを介して送信された映像および音声の各パケットを、遅延時間の差分だけ遅らせて再生するように指示する遅延時間制御信号を送信する。なお、再生タイミングによって遅延時間を制御する場合、ＣＰＵ２０１によって制御される映像Ｉ／Ｆ２０４および音声Ｉ／Ｆ２０５によって、本発明にかかる遅延時間制御手段の機能を実現する。

また、映像および音声の送信タイミング、再生タイミングのいずれか一方によって遅延時間を制御する構成であればよく、このようにすることで、各端末の機能に応じて確実に遅延時間を制御することができる。

本発明の実施形態では特に、テレビ会議端末１１０ａによって、遅延時間Ｔａｂ，Ｔａｃ，Ｔｂｃを制御することとして説明したが、これに限ることはない。具体的には、各テレビ会議端末１１０ａ，１１０ｂ，１１０ｃのそれぞれが接続された拠点間の遅延時間を制御することとしてもよい。すなわち、自端末が、他端末と対話をした場合に、対話をした当該他端末以外の拠点間の遅延時間を制御することとなる。このようにすれば、１つの端末によってテレビ会議システム１００全体を制御する必要がなくなるため、システム全体の処理負荷の分散を図ることができる。

また、図示しない管理サーバを設けて、管理サーバによって遅延時間を制御する構成としてもよい。このようにすれば、テレビ会議に使用するテレビ会議端末１１０に対する負荷を低減させることができる。

また、本発明の実施形態では特に、３つの拠点Ａ，Ｂ，Ｃにおけるテレビ会議について説明したがこれに限ることはない。具体的には、４つ以上の拠点のテレビ会議についても適用可能である。

ここで、４つ以上の拠点のテレビ会議の一例を、図６を用いて説明する。図６は、本発明の実施形態にかかる変形例について、４拠点のテレビ会議の一例を示す説明図である。図６では、拠点Ａのテレビ会議端末１１０ａによって、拠点Ａと拠点Ｃで対話がおこなわれていることが検出された場合について説明する。

テレビ会議端末１１０ａのＣＰＵ２０１は、各拠点間のネットワークＮＷにおける遅延時間Ｔａｂ，Ｔａｃ，Ｔａｄ，Ｔｂｃ，Ｔｂｄ，Ｔｃｄを取得する。図６では、対話がない場合について遅延時間一覧６１０に示すように、拠点Ａと拠点Ｂの拠点間の遅延時間Ｔａｂは０．１（ｓ）、拠点Ｂと拠点Ｃの拠点間の遅延時間Ｔｂｃは０．２（ｓ）、拠点Ｃと拠点Ｄの拠点間の遅延時間Ｔｃｄは０．３（ｓ）、拠点Ａと拠点Ｄの拠点間の遅延時間Ｔａｄは０．４（ｓ）、拠点Ａと拠点Ｃの拠点間の遅延時間Ｔａｃは０．５（ｓ）、拠点Ｂと拠点Ｄの拠点間の遅延時間Ｔｂｄは０．６（ｓ）である。

テレビ会議端末１１０ａのＣＰＵ２０１は、拠点Ａ，Ｃの拠点間で対話が検出された場合について遅延時間一覧６２０が示すように、拠点Ａと拠点Ｂの拠点間の遅延時間Ｔａｂは０．５（ｓ）、拠点Ｂと拠点Ｃの拠点間の遅延時間Ｔｂｃは０．５（ｓ）、拠点Ｃと拠点Ｄの拠点間の遅延時間Ｔｃｄは０．５（ｓ）、拠点Ａと拠点Ｄの拠点間の遅延時間Ｔａｄは０．５（ｓ）、拠点Ａと拠点Ｃの拠点間の遅延時間Ｔａｃは０．５（ｓ）、拠点Ｂと拠点Ｄの拠点間の遅延時間Ｔｂｄは０．６（ｓ）となるよう映像パケットおよび音声パケットの送信タイミングを制御する。

すなわち、拠点Ａ，Ｃと接続される拠点Ｂ，Ｄの拠点間の遅延時間Ｔａｂ，Ｔａｄ，Ｔｂｃ，Ｔｃｄを、拠点Ａ，Ｃの拠点間の遅延時間Ｔａｃ以上になるように、各拠点での映像および音声の各パケットの送信タイミングを制御する。換言すれば、拠点Ａ，Ｃ以外の拠点同士間である拠点Ｂと拠点Ｄの拠点間の遅延時間Ｔｂｄの制御はおこなわない。このようにすれば、対話に関連しない拠点間の遅延時間を制御することなく、対話に関連する拠点間の遅延時間のみを選択的に揃えることができるため、円滑な会議を実現することができる。

また、もともと対話が検出された拠点Ａ，Ｃの拠点間の遅延時間Ｔａｃよりも大きな遅延時間について制御をおこなわない構成としてもよい。このようにすれば、対話をおこなっている拠点間の対話を優先することとなるため、対話に対して時間的に逆行する割り込みの発生を防ぐことができる。

また、上述した説明では、実施形態および一部の変形例について別々の例として説明したが、これに限ることはない。すなわち、それぞれを組み合わせた構成として、実施形態および一部の変形例による手法を適宜組み合わせて利用してもよい。

１００ テレビ会議システム
１１０（１１０ａ，１１０ｂ，１１０ｃ） テレビ会議端末
Ａ，Ｂ，Ｃ 拠点
ａ，ｂ，ｃ 参加者
Ｔａｂ，Ｔａｃ，Ｔｂｃ 遅延時間
２００ バス
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ 映像Ｉ／Ｆ
２０５ 音声Ｉ／Ｆ
２０６ 操作部
２０７ 通信Ｉ／Ｆ
２０８ 記憶媒体
２１１ ディスプレイ
２１２ カメラ
２１３ スピーカ
２１４ マイク
３０１，３０２，３０３ 音声パケット量

Claims (6)

1. 各拠点の端末装置によって取得される映像または音声を、ネットワークを介して各拠点間で通信する通信システムであって、
   前記各拠点間の通信に関する遅延時間を取得する取得手段と、
   前記拠点間のうち、対話をおこなっている拠点間を検出する検出手段と、
   前記取得手段によって取得された遅延時間に基づいて、前記対話が検出された拠点間以外の拠点間の遅延時間のうち、少なくとも、前記対話が検出された拠点間における二拠点と、前記二拠点に接続された拠点との拠点間の遅延時間が、前記対話が検出された拠点間の遅延時間以上になるように制御する遅延制御手段と、
   を備えることを特徴とする通信システム。
2. 前記遅延制御手段は、前記各拠点間の通信に関する遅延時間のうち、前記対話が検出された拠点間の遅延時間より短い遅延時間を、前記対話が検出された拠点間の遅延時間以上に制御することを特徴とする請求項１に記載の通信システム。
3. 前記遅延制御手段は、前記対話が検出された拠点間の二拠点と、前記二拠点と接続された拠点との拠点間の遅延時間を、前記対話が検出された拠点間の遅延時間以上に制御することを特徴とする請求項１または２に記載の通信システム。
4. 前記遅延制御手段は、前記対話が検出された拠点間の遅延時間と、前記対話が検出された拠点間以外の拠点間の遅延時間との差分に基づいて、前記映像または音声の送信を制御することを特徴とする請求項１〜３のいずれか一つに記載の通信システム。
5. 前記遅延制御手段は、前記差分に基づいて、前記端末装置のバッファメモリを用いて、前記映像または音声の送信タイミングまたは再生タイミングを変更することを特徴とする請求項４に記載の通信システム。
6. 各拠点から取得される映像または音声を、ネットワークを介して各拠点間で通信する端末装置であって、
   前記各拠点間の通信に関する遅延時間を取得する取得手段と、
   一の端末装置と対話をおこなう他の端末装置を検出する検出手段と、
   前記取得手段によって取得された遅延時間に基づいて、少なくとも、前記他の端末装置と当該他の端末装置に接続される前記一の端末装置以外の端末装置との拠点間および前記一の端末装置と当該一の端末装置に接続される前記他の端末装置以外の端末装置との拠点間の遅延時間が、前記対話が検出された前記一の端末装置と前記他の端末装置との拠点間の遅延時間以上になるように、前記各拠点の端末装置に遅延時間制御信号を送信する送信手段と、
   を備えることを特徴とする端末装置。