JP2005094509A

JP2005094509A - Ｔｖ会議システム及びｔｖ会議の実行方法

Info

Publication number: JP2005094509A
Application number: JP2003326787A
Authority: JP
Inventors: Masaru Hasuda; 大蓮田; Yoshinari Aoshima; 芳成青嶋; Eriko Terada; 絵里子寺田; Junji Tanaka; 淳史田中
Original assignee: Hitachi Maxell Ltd
Current assignee: Maxell Holdings Ltd
Priority date: 2003-09-18
Filing date: 2003-09-18
Publication date: 2005-04-07

Abstract

【課題】
安価にＴＶ会議システムを導入することができるＴＶ会議システム及びＴＶ会議の実行方法を提供することを目的とする。
【解決手段】
本発明にかかるＴＶ会議システムは、Ａ基地２内のサーバーＡ、クライアントＡ１２１〜１２４と、Ｂ基地３内のサーバーＢ２１、クライアントＢ２２１〜２２４とを有するＴＶ会議システム１であり、サーバーＡ１１は、クライアントＡ１２１〜１２４から取得した音声・画像データから有効なデータを選択して編集し、サーバーＢ２１は、クライアントＢ２２１〜２２４から取得した音声・画像データから有効なデータを選択して編集する。そして、サーバーＡ１１は、Ａ基地２内の有効なデータと、サーバーＢ２１から広域通信網４を介して取得したＢ基地３内の有効なデータとに基づいて、さらに、クライアントＡ１２１〜１２４に対して出力可能となるように有効なデータを選択して編集する。
【選択図】図１

Description

本発明は、マルチ通信形態におけるＴＶ会議システム及びＴＶ会議の実行方法に関し、特に、複数の基地間において音声や画像等の情報を相互に通信してＴＶ会議を実行するＴＶ会議システム及びＴＶ会議の実行方法に関する。

通常、複数の基地間を相互通信してＴＶ会議を実行するためのＴＶ会議システムは、専用の高機能な端末、カメラ、マイク等を用いて行われ、基地局内全体を撮影した画像、または発言者の声がする方向を、音声レベル等を認推してカメラレンズを向けるといった方法によって撮影した発言者の画像を、他基地局に対して送信する方法などで行われている。この専用の高機能な端末等を用いるＴＶ会議システムの一例が、特許文献１に開示されている。このようなＴＶ会議システムを導入する場合、専用の高機能なシステムを導入する必要があるため、膨大なコストが必要である。さらに、ＴＶ会議システムが専用のシステムであるため、会議・会話を行う場所も限定的にならざるを得なかった。
特開２００１−０７８１６３号公報

このように、従来のＴＶ会議システムでは、高価で高機能なシステムを必要とするため、安価にＴＶ会議システムを導入することができないという問題点があった。
本発明は、このような問題点を解決するためになされたもので、安価にＴＶ会議システムを導入することができるＴＶ会議システム及びＴＶ会議の実行方法を提供することを目的とする。

本発明にかかるＴＶ会議システムは、第１の基地内に設けられた第１のサーバーと、当該第１のサーバーに対して、前記第１の基地内の通信網を介して第１の音声データ及び画像データを送信する第１のクライアントと、第２の基地内に設けられ、前記第１のサーバーと広域通信網を介して通信する第２のサーバーと、当該第２のサーバーに対して、前記第２の基地内の通信網を介して第２の音声データ及び画像データを送信する第２のクライアントとを有するＴＶ会議システムであって、当該第１のサーバーは、前記第１のクライアントから取得した第１の音声データから有効な第１の音声データを選択するとともに、当該選択された有効な第１の音声データに基づいて、有効な第１の画像データを選択する第１のデータ選択手段と、当該第１のデータ選択手段によって選択された有効な第１の音声データ及び画像データを編集する第１のデータ編集手段とを備え、当該第２のサーバーは、前記第２のクライアントから取得した第２の音声データから有効な第２の音声データを選択するとともに、当該選択された有効な第２の音声データに基づいて、有効な第２の画像データを選択する第２のデータ選択手段と、当該第２のデータ選択手段によって選択された有効な第２の音声データ及び画像データを編集する第２の編集手段と、当該第２のデータ編集手段によって編集された第２の音声データ及び画像データを、前記広域通信網を介して前記第１のサーバーに送信する送信手段とを備え、当該第１のデータ選択手段は、前記有効な第１の音声データ及び画像データと、前記第２のサーバーから前記広域通信網を介して取得した前記有効な第２の音声データ及び画像データとに基づいて、さらに有効な第３の音声データ及び画像データを選択し、前記第１のデータ編集手段は、当該第１のデータ選択手段によって選択された有効な第３の音声データ及び画像データを、前記第１のクライアントで出力可能となるように編集するものである。
このような構成において、第１のサーバーは、第１のデータ選択手段によって第１のクライアントが出力するのに有効な音声データ及び画像データを選択し、第１のデータ編集手段によって第１のクライアントで出力できるように編集する。この選択・編集された有効な音声データ及び画像データは、第１の基地内のクライアントから音声データ及び画像データのみならず、第２の基地内のクライアントを組み込んだデータである。したがって、第１のサーバーにおいて、ＴＶ会議において必要な音声データ及び画像データを生成することができるので、安価にＴＶ会議システムを導入することができる。

さらに、前記第１のサーバーは、前記第１のデータ編集手段によって編集された第１の音声データ及び画像データを、前記広域通信網を介して前記第２のサーバーに送信する送信手段を備え、当該第２のデータ選択手段は、前記有効な第２の音声データ及び画像データと、前記第１のサーバーから前記広域通信網を介して取得した前記有効な第１の音声データ及び画像データとに基づいて、前記有効な第３の音声データ及び画像データを選択し、前記第２のデータ編集手段は、当該第２のデータ選択手段によって選択された有効な第３の音声データ及び画像データを、前記第２のクライアントで出力可能となるように編集する。
このような構成により、第２のサーバーは第１のサーバーと同様に処理を行うことができるので、第１のサーバーとともに安価なＴＶ会議システムを実現することができる。

好適には、前記第１のサーバーは、携帯可能なコンピュータによって構成され、前記第１のクライアントは、前記第１のサーバーと前記第１の基地内の通信網を介して通信可能な小型端末によって構成される。これにより、ＴＶ会議のために必要な専用機材を導入することなく、ノート型ＰＣ、携帯電話やＰＤＡ等の小型端末を用いて、安価なＴＶ会議システムを実現することができる。

さらに、前記第１のデータ選択手段は、音量が所定の値よりも大きな前記第１の音声データを前記有効な第１の音声データとして選択し、当該選択された有効な第１の音声データに対応した前記第１の画像データを前記有効な第１の画像データとして選択する。
このような場合、第１のクライアントは、第１の基地内で所定の値よりも大きな声で話をしている人を発言者として選択することができ、この発言者を中心として画像データを編集することができる。

さらにまた、前記第１のサーバーは、前記第１のクライアントから取得した第１の音声データを認識可能な音声認識手段を備え、当該音声認識手段は、前記第１の音声データをファイルとしてドキュメント化するとともに、前記第１音声データに基づいて、前記第１の画像データをファイルとしてドキュメント化する。
このような構成においては、第１のクライアントから取得する音声データに基づいて、この音声データやこれに対応した画像データを直接ドキュメント化することができる。したがって、第１のサーバーは、取得した音声データ及び画像データの送信元となるクライアントを把握することができるので、ドキュメント化された音声ファイル、画像ファイルがどの参加者のものであるかを容易に把握することができる。

また、前記第１及び第２の基地内の通信網は、近距離型の無線通信網とすることができる。これにより、基地内でサーバーとクライアントとの間を繋ぐ通信ケーブルを設ける必要がなく、より安価にＴＶ会議システムを導入することができる。また、会議の場所を限定することのない使い勝手のよいＴＶ会議システムを構築することが可能となる。

本発明にかかるＴＶ会議の実行方法は、第１の基地内に設けられた第１のサーバーと、当該第１のサーバーに対して、前記第１の基地内の通信網を介して第１の音声データ及び画像データを送信する第１のクライアントと、第２の基地内に設けられ、前記第１のサーバーと広域通信網を介して通信する第２のサーバーと、当該第２のサーバーに対して、前記第２の基地内の通信網を介して第２の音声データ及び画像データを送信する第２のクライアントとの間で、音声データ及び画像データを通信してＴＶ会議を実行する方法であって、前記第１のサーバーが、前記第１のクライアントから取得した第１の音声データから有効な第１の音声データを選択する第１の音声データ選択ステップと、前記第１のサーバーが、当該第１の音声データ選択ステップにおいて選択された有効な第１の音声データに基づいて、有効な第１の画像データを選択する第１の画像データ選択ステップと、前記第１のサーバーが、当該第１の音声及び画像データ選択ステップにおいて選択された有効な第１の音声データ及び画像データを編集する第１のデータ編集ステップと、前記第２のサーバーが、前記第２のクライアントから取得した第２の音声データから有効な第２の音声データを選択する第２の音声データ選択ステップと、前記第２のサーバーが、当該第２の音声データ選択ステップにおいて選択された有効な第２の音声データに基づいて、有効な第２の画像データを選択する第２の画像データ選択ステップと、前記第２のサーバーが、当該第２の音声及び画像データ選択ステップにおいて選択された有効な第２の音声データ及び画像データを編集する第２のデータ編集ステップと、前記第２のサーバーが、当該第２のデータ編集ステップにおいて編集された第２の音声データ及び画像データを、前記広域通信網を介して前記第１のサーバーに送信する第２の送信ステップと、前記第１のサーバーが、前記有効な第１の音声データ及び画像データと、前記第２のサーバーから前記広域通信網を介して取得した前記有効な第２の音声データ及び画像データとに基づいて、さらに有効な第３のデータを選択する第３のデータ選択ステップと、前記第１のサーバーが、当該第３のデータ選択ステップにおいて選択された有効な第３のデータを、前記第１のクライアントで出力可能となるように編集するステップとを備えたものである。
このような構成において、第１のサーバーは、第１のデータ選択手段によって第１のクライアントが出力するのに有効な音声データ及び画像データを選択し、第１のデータ編集手段によって第１のクライアントで出力できるように編集する。この選択・編集された有効な音声データ及び画像データは、第１の基地内のクライアントから音声データ及び画像データのみならず、第２の基地内のクライアントを組み込んだデータである。したがって、第１のサーバーにおいて、ＴＶ会議において必要な音声データ及び画像データを生成することができるので、安価にＴＶ会議システムを導入することができる。

さらに、本発明にかかるＴＶ会議の実行方法は、前記第１のサーバーが、当該第１のデータ編集ステップにおいて編集された第１の音声データ及び画像データを、前記広域通信網を介して前記第２のサーバーに送信する第１の送信ステップと、前記第２のサーバーが、前記有効な第２の音声データ及び画像データと、前記第１のサーバーから前記広域通信網を介して取得した前記有効な第１の音声データ及び画像データとに基づいて、前記有効な第３のデータを選択する第４のデータ選択ステップと、前記第２のサーバーが、当該第４のデータ選択ステップにおいて選択された有効な第３のデータを、前記第２のクライアントで出力可能となるように編集するステップとを備えたものである。
このような構成により、第２のサーバーは第１のサーバーと同様に処理を行うことができるので、第１のサーバーとともに安価なＴＶ会議を実行する方法を実現することができる。

また、前記第１の音声データ選択ステップにおいては、音量が所定の値よりも大きな前記第１の音声データを前記有効な第１の音声データとして選択し、前記第１の画像データ選択ステップにおいては、当該選択された有効な第１の音声データに対応した前記第１の画像データを前記有効な第１の画像データとして選択する。
このような場合、第１のクライアントは、第１の基地内で所定の値よりも大きな声で話をしている人を発言者として選択することができ、この発言者を中心として画像データを編集することができる。

さらに、前記第１のクライアントから取得した第１の音声データを音声認識する音声認識ステップと、当該音声認識ステップにおいて音声認識された第１の音声データをファイルとしてドキュメント化する第１のドキュメント化ステップと、前記音声認識ステップにおいて音声認識された第１の音声データに基づいて、前記第１の画像データをファイルとしてドキュメント化する第２のドキュメント化ステップとを備えている。
このような構成においては、第１のクライアントから取得する音声データに基づいて、この音声データやこれに対応した画像データを直接ドキュメント化することができる。したがって、第１のサーバーは、取得した音声データ及び画像データの送信元となるクライアントを把握することができるので、ドキュメント化された音声ファイル、画像ファイルがどの参加者のものであるかを容易に把握することができる。

本発明によれば、安価にＴＶ会議システムを導入することができるＴＶ会議システム及びＴＶ会議の実行方法を提供することができる。

まず、図１を用いて、本発明にかかるＴＶ（テレビジョン）会議システムの全体的な構成について概略的に説明する。図１は、このＴＶ会議システムの一構成を示す模式図である。図１において、符号１によって、このＴＶ会議システムが示されている。また、２はＡ基地、３はＢ基地、４は広域通信網である。ここで、ＴＶ会議システム１は、Ａ基地２、Ｂ基地３の２基地間においてＴＶ会議を実行するシステムであるが、特に２基地に限らず、２基地以上の基地間でＴＶ会議を実行するシステムであってもよい。

図１に示すように、ＴＶ会議システム１は、Ａ基地２内にサーバーＡ１１、クライアントＡ１２１〜１２４、Ｂ基地３内にサーバーＢ２１、クライアントＢ２２１〜２２４を備えている。
サーバー１１，２１は、ワークステーション、携帯可能なノート型ＰＣ、ＰＤＡ、携帯電話等の広域通信可能な装置である。クライアント１２１〜１２４，２２１〜２２４は、カメラ付き携帯電話やＰＤＡ、デジタルビデオカメラ等のような小型端末である。なお、図１においては、複数のクライアント１２１〜１２４，２２１〜２２４が存在する構成で説明しているが、各基地２，３に１つの場合であっても、特に問題なく動作を行うことができる。

サーバー１１，２１は、インターネット等の広域通信網４に接続され、広域通信網４においては端末として機能している。これにより、Ａ基地２とＢ基地３とは広域通信可能となっている。加えて、サーバー１１，２１は、無線通信機能を有し、基地２，３内の無線通信網１３１〜１３４，２３１〜２３４においてサーバーとして機能している。これにより、サーバーＡ１１とクライアントＡ１２１〜１２４、サーバーＢ２１とクライアントＢ２１１〜２１４とは、各基地２，３内で無線通信可能となっている。

Ａ基地２、Ｂ基地３の各基地において、サーバー１１，２１は、後述するように、複数の各クライアント１２１〜１２４，２２１〜２２４から取得したデータから、必要であれば有効なデータを選択したり、さらには編集したりする。基地２，３は相互に、サーバー１１，２１によって、広域通信網４を利用して選択・編集したデータの送受信を行う。各基地２，３において、サーバー１１，２１は、無線通信網１３１〜１３４，２３１〜２３４を利用して、編集等を行った後のデータを複数の各クライアント１２１〜１２４，２２１〜２２４に対して送信することにより、会議参加者は相互に別基地のデータを主として各クライアント１２１〜１２４，２２１〜２２４を通して取得することができる。

続いて、図２を用いて、サーバー１１，１２の構成について詳細に説明する。図２は、このサーバー１１，１２の一構成例を示す模式図である。ここで、Ａ基地２内のサーバーＡ１１を用いて説明するが、Ｂ基地３内のサーバーＢ２１も同様な構成を有し、ここではその説明を省略する。
図２に示すように、サーバーＡ１１は、広域通信手段３１、無線通信手段３２、データ選択手段３３、データ編集手段３４、データ記憶手段３５、音声認識手段３６、操作手段３７、制御手段３８を備えている。

広域通信手段３１は、通信モジュールであり、広域通信網４において、電話回線を利用したＡＤＳＬ、光ファイバ、高速通信可能な携帯電話等によって通信を行う。無線通信手段３２は、無線モジュールであり、アンテナ３２１を介して、ＢＩｕｅｔｏｏｔｈや無線ＬＡＮ、ＵＷＢ（Ｕｌｔｒａ−Ｗｉｄｅｂａｎｄ）等によって各クライアントＡ１２１〜１２４と無線通信を行う。

データ選択手段３３は、各クライアントＡ１２１〜１２４から取得する画像データ、音声データ、参加者ＩＤのようなユーザ情報等のデータから、音声の有無、音圧レベル等に応じてＢ基地３に送信するための有効データを選択する。データ編集手段３４は、各クライアントＡ１２１〜１２４から取得した音声のミキシング、マルチ表示するために行うクライアントＡ１２１〜１２４から取得した画像データとＢ基地３から取得した画像データとの合成等、データ編集を行う。
また、ここではデータ選択手段３３によって選択されたデータを有効データとするのに対し、データ編集手段３４が編集した画像や音声を有効データとすることもできる。

データ記憶手段３５は、メモリ、ハードディスク等のストレージ・デバイスから構成され、各クライアントＡ１２１〜１２４から取得した音声・画像データ、選択された有効データ、編集された編集後データ等を記憶する。音声認識手段３６は、各クライアントＡ１２１〜１２４から取得したデジタル化された音声データ、データ記憶手段３５に記憶された音声データをダイレクトに音声認識し、文書化等のイベント処理を行う。操作手段３７は、サーバーＡ１１を操作するためのキーボード、マウス、タッチパネル等から構成されている。制御手段３８は、ＣＰＵ、ＭＰＵ等から構成され、上記各手段を制御してサーバーＡ１１を動作させる。

さらに続いて、図３を用いて、クライアント１２１〜１２４，２２１〜２２４の構成について詳細に説明する。図３は、このクライアント１２１〜１２４，２２１〜２２４の一構成例を示す模式図である。ここで、Ａ基地２内のクライアントＡ１２１を用いて説明するが、Ｂ基地３内のクライアントＢ２２１〜２２４も同様な構成を有し、ここではその説明を省略する。
図３に示すように、クライアントＡ１２１は、無線通信手段４１、音声入力手段４２、音声出力手段４３、データ記憶手段４４、画像入力手段４５、画像出力手段４６、操作手段４７、制御手段４８を備えている。

無線通信手段４１は、サーバーＡ１１の無線通信手段３２と同仕様の無線通信手段であり、アンテナ４１１を介して無線通信を行う。音声入力手段４２は、端末付属のマイク、もしくはヘッドセットの様に端末に接続して使用するマイク等からである。音声出力手段４３は、端末付属のスピーカー、もしくはヘッドセットのようにクライアントＡ１２１に接続して使用するスピーカー等から構成される。

データ記憶手段４４は、メモリ、ハードディスク等のストレージ・デバイスから構成され、音声データ、動画や静止画の画像データ、参加者ＩＤやプロフィール等を記憶する。また、このデータ記憶手段３５は、クライアントＡ１２１に対応する参加者の参加者ＩＤを常に記憶し、必要に応じて読み出すようにすることもできる。この場合には、データ記憶手段３５には、クライアントＡ１２１に対応付けられて記憶された参加者ＩＤを読み出すアプリケーション・プログラムが記憶される。

画像入力手段４５は、静止画、動画を撮影可能なＣＣＤカメラやＣＭＯＳカメラ等から構成される。画像出力手段４６は、液晶ディスプレイや有機ＥＬディスプレイ等から構成される。また、音声出力手段４３や画像出力手段４６については、サーバーＡ１１に接続する形態であってもよい。操作手段４７は、キーやボタン、スイッチ、タッチパネル、リモコンなど端末を操作する手段である。制御手段４８は、ＣＰＵ、ＭＰＵ等から構成され、上記各手段を制御してクライアントＡ１２１を動作させる。

クライアント１２１〜１２４，２２１〜２２４においては、音声入力手段４２において入力された音声、画像入力手段４５において入力された画像、データ記憶手段４４に保存されている参加者ＩＤのようなユーザ情報等は、これらクライアント１２１〜１２４，２２１〜２２４を使用しているユーザ情報を意味する。そのため、さらには画像の視認性を高めたり、音声の認識性を高めたりする意味でも、通常各個人とペアで使用することが想定される形態であるが、複数の会議参加者で共有して使用する形態であっても何ら問題はない。
また、発言者を断定するため生体（バイオメトリクス）情報を測定するための手段などがあってもよく、この構成は適宜変更して構わない。

次に、本発明にかかるＴＶ会議システム１の動作処理について説明する。
まず、図４を用いて、このＴＶ会議システム１の全体動作について説明する。図４は、ＴＶ会議システムの処理フローの一例を示すシーケンス図である。この説明に際して、ＴＶ会議システム１における通信データの一例を示す図５を適宜参照しながら説明する。

図４に示すように、まず、Ａ基地２内において、サーバーＡ１１は、無線通信網Ａ１３１〜１３４を介して、各クライアントＡ１２１〜１２４に対して、音声データ、画像データ等の送信を要求する（Ｓ１０１）。このサーバーＡ１１からの送信要求を示すデータ構成が、図５（ａ）に示されている。具体的には、サーバーＡ１１から各クライアントＡ１２１〜１２４に対して、各クライアントＡ１２１〜１２４のクライアントアドレス６１を宛先、サーバーＡ１１のサーバーアドレス６２を送信元として、音声データ、画像データ等の送信要求コマンド６３が送信される。

各クライアントＡ１２１〜１２４は、この送信要求コマンドを受信すると、宛先をサーバーＡ１１のサーバーアドレス６２、送信元を各クライアントＡ１２１〜１２４のクライアントアドレス６１として、無線通信網Ａ１３１〜１３４を介してクライアントデータ６４を送信する（Ｓ１０２）。このクライアントデータ６４は、図５（ｂ）に示すように、音声入力手段４２によって取得された音声データ６４１、画像入力手段４５によって取得された画像データ６４２、各クライアントＡ１２１〜１２４を操作する会議参加者を示す参加者ＩＤ６４３から構成されている。

このようなサーバーＡ１１、クライアントＡ１２１〜１２４の間で行われるデータの送信要求、データ送信は、各クライアントＡ１２１〜１２４について順次行われる。また、サーバーＡ１１は、各クライアントＡ１２１〜１２４から周期的にデータを取得し、例えば、このデータ取得の周期は、１．２５ｍｓｅｃ〜３．７５ｍｓｅｃとすることができる。

サーバーＡ１１は、Ａ基地２の全てのクライアントＡ１２１〜１２４からクライアントデータ６４を取得すると、これらのクライアントデータ６４から有効なデータを選択する。この選択されたクライアントデータ６４は、広域通信網４を介して、サーバーＡ１１からＢ基地３のサーバーＢ２１に対して送信される（Ｓ１０３）。このデータ構成が、図５（ｃ）に示され、Ａ基地２のクライアントデータ６４は、宛先をＢ基地３のサーバーＢ２１のサーバーアドレス６５、送信元をＡ基地２のサーバーＡ１１のサーバーアドレス６２として送信される。ここで、サーバーＡ１１からサーバーＢ２１に対して、有効なデータを送信しているが、サーバーＡ１１によって編集された編集後のデータを送信するようにしてもよい。また、有効なデータは、サーバーＡ１１からサーバーＢ２１に送信されるときにサーバーＡ１１によって通信するためのデータに編集される。この通信するために編集された有効なデータを編集後データとすることができる。
また、サーバーＡ１１は、データ記憶手段４２にクライアントアドレス６１、参加者ＩＤ６４３を対応させて記憶し、この対応を示すテーブルを参照してサーバーＢ２１にクライアントデータ６４を送信するようにしてもよい。

また、Ａ基地２において、サーバーＡ１１、各クライアントＡ１２１〜１２４の間において、音声データ・画像データの送受信が行われたのと同様に、Ｂ基地３においても、サーバーＢ２１は、無線通信網Ｂ２３１〜２３４を介して、各クライアントＢ２２１〜２２４に対してデータの送信要求を行い（Ｓ１０４）、音声データ、画像データ、参加者ＩＤを取得する（Ｓ１０５）。ここにおけるサーバーＡ１１からのデータ送信要求、クライアントＡ１２１〜１２４からの送信データの構成は、図５（ａ）及び（ｂ）と同様である。

サーバーＢ２１は、この取得したＢ基地３におけるクライアントデータ６６から有効なデータを選択した後、広域通信網４を介して、この有効データをＡ基地２のサーバーＡ１１に送信する（Ｓ１０６）。この送信されるクライアントデータ６６は、図５（ｄ）に示すように、Ａ基地２のサーバーＡ１１のサーバーアドレス６２を宛先、Ｂ基地３のサーバーＢ２１のサーバーアドレス６５として送信される。また、クライアントデータ６６は、各クライアントＢ２２１〜２２４の音声データ６６１、画像データ６６２、Ｂ基地３の参加者ＩＤ６６３から構成されている。

Ａ基地２のサーバーＡ１１は、Ｂ基地３のサーバーＢ２１からＢ基地３のクライアントＢ２２１〜２２４のクライアントデータ６６を受信すると、後述するように、Ａ基地２のクライアントＡ１２１〜１２４のクライアントデータ６４と合わせて選択・編集する。サーバーＡ１１は、無線通信網Ａ１３１〜１３４を介して、この編集されたデータを各クライアントＡ１２１〜１２４に対して送信する（Ｓ１０７）。この送信データの構成は、図５（ｅ）に示すように、宛先である各クライアントＡ１２１〜１２４のクライアントアドレス６１、送信元であるサーバーＡ１１のサーバーアドレス６２、編集後データ６７から構成される。

Ｂ基地３のサーバーＢ２１もまた、Ａ基地２のサーバーＡ１１と同様に、Ａ基地２のサーバーＡ１１から送信されたクライアントデータ６４とＢ基地３におけるクライアントデータ６６とを選択・編集し、無線通信網Ｂ２３１〜２３４を介して、この編集後データを各クライアントＢ２２１〜２２４に送信する（Ｓ１０８）。

続いて、図６を用いて、ＴＶ会議システム１におけるサーバーの動作について説明する。図６はサーバーにおけるフロー制御の一例を示すフローチャートである。ここで、Ａ基地２内のサーバーＡ１１を用いて説明するが、Ｂ基地３内のサーバーＢ２１も同様に動作を行い、ここではその説明を省略する。
サーバーＡ１１は、まず、無線通信により接続された全てのクライアントＡ１２１〜１２４から、音声データ、画像データ、参加者ＩＤ等のユーザ情報をクライアントデータ６４としての取得を行う（Ｓｌ２１）。サーバーＡ１１は、全てのクライアントＡ１２１〜１２４からクライアントデータ６４を取得完了するまで、各クライアントＡ１２１〜１２４に対してデータ送信要求を繰り返し送信する（Ｓ１２２）。ここで、例えば、モニターするだけの会議参加者のような予め取得する必要が無いクライアントデータ６４が分かっている場合には、全てのクライアントＡ１２１〜１２４からデータを取得しなくてもよく、全てのクライアントＡ１２１〜１２４というように必ずしも取得先となるクライアントＡ１２１〜１２４を限定するものではない。

サーバーＡ１１は、クライアントデータ６４を取得完了すると（Ｓ１２３）、各クライアントＡ１２１〜１２４から取得したクライアントデータ６４から有効データを選択するデータ選択処理、この選択した有効データに基づいて音声データ、画像データを編集するデータ編集処理を実行する（Ｓ１２４）。具体的には、データ選択処理は、音声の有無や音圧、優先情報等から有効となるクライアントデータ６４を選択して決定する処理である。データ編集処理は、Ａ基地２の全クライアントＡ１２１〜１２４から取得した画像データ６４２、データ記憶手段３５に記憶されている画像データと、Ｂ基地３から得られた画像データとの合成などを行って編集後データを生成する処理である。

このデータ編集処理は、各クライアントＡ１２１〜１２４から取得した全ての音声データをミキシングしたり、音量が所定の閾値を超えた音声データのみをミキシングしたりする。画像データは、音声データとリンクし、所定の閾値を超えた音声データに対応する画像データが有効なデータとなる。また、音声データに他の会議参加者の音声が混ざる場合、発声する会議参加者の近くにマイクを寄せるマイクセットを用いたり、音量が最大となる一つの音声データに限定したりしてもよい。あるいはまた、他の会議参加者の音声が混合した状態でサーバーＡ１１に送信し、サーバーＡ１１側で同じ音声データについてキャンセルするようにしてもよい。

サーバーＡ１１は、データ選択処理によって有効データを決定すると（Ｓ１２５）、この有効データをＢ基地３に対して、広域通信網４を介して送信する（Ｓ１２６）。サーバーＡ１１は、広域通信網４を介してＢ基地３から送信された有効データの有無をチェックする（Ｓ１２７）。Ｂ基地３から受信した有効データがあった場合には（Ｓ１２８）、Ｂ基地３からの有効データとともに（Ｓ１２８）、Ａ基地２で取得したクライアントデータ６４から選択した有効データも考慮して有効なデータを選択したり、合成するための編集を行ったりする（Ｓ１２９）。具体的には、サーバーＡ１１は、Ａ基地２の全クライアント１２１〜１２４の有効な音声データと、Ｂ基地３のサーバーＢ２１から取得したクライアント２２１〜２２４の有効な音声データとをミキシングする。それとともに、サーバーＡ１１は、Ａ基地２の全クライアントＡ１２１〜１２４から取得した画像データ６４２と、Ｂ基地３から得られた画像データとを合成して編集後データを生成する。

サーバーＡ１１は、基地２，３における全クライアント１２１〜１２４，２２１〜２２４から編集された編集後データ６７を生成すると（Ｓ１３０）、この編集後データは、無線通信網Ａ１３１〜１３４を介して、サーバーＡ１１から各クライアントＡ１２１〜１２４に対して送信される（Ｓ１３１）。また、サーバー１１，２１において選択された有効なデータは、クライアント１２１〜１２４，２２１〜２２４に無線通信網１３１〜１３４、２３１〜２３４を介して送信するときに最終的に編集後データとなっていればよい。図６のＳ１２５においては、Ｂ基地２１から有効データを受信していない場合（Ｓ１２７）にＳ１３１でサーバーＡ１１がクライアントＡ１２１〜１２４に編集後データを送信するという意味で、Ｓ１３０においては、Ｂ基地２１からの有効データを受信した場合（Ｓ１２７）にＳ１３１でクライアントＡ１２１〜１２４に編集後データを送信するという意味で編集後データと記載している。
また、Ｂ基地３から有効データを受信していない場合には（Ｓ１２８）、Ｓ１２４において選択・編集された編集後データが、サーバーＡ１１から各クライアントＡ１２１〜１２４に対して送信される（Ｓ１３１）。このようなＳ１２１〜Ｓ１３１のデータ処理は、会議終了まで行われる（Ｓ１３２）。

各クライアントＡ１２１〜１２４は、編集後データを受信すると、この編集後データに基づいて画像出力手段４６に画像を表示する。この表示画面の一例が、図７に示され、図７（ａ）に示す表示画面は、クライアントＡ１２２上で表示された表示画面の一例である。図７（ａ）に示す表示画面においては、Ａ基地２のクライアントＡ１２１を操作する会議参加者Ａ７１と、Ｂ基地３のクライアントＢ２２２を操作する会議参加者Ｂ７２とが発言している。この場合、発言者である会議参加者７１，７２は、それぞれ表示画面７３左半分の左側画面７３１、右半分の右側画面７３２に並列に表示されている。このとき、Ａ基地２の会議参加者７１の音声、Ｂ基地３の会議参加者７２の音声は、サーバーＡ１１によってミキシングされ、クライアントＡ１２２において同時に出力される。また、Ｓ１２４においてサーバーＡ１１がＡ基地２の各クライアント１２１〜１２４から取得した音声データから有効なデータを選択し、この有効データに基づいて画像データを編集する。

図７（ｂ）に、表示画面の他の一例が示されている。図７（ｂ）において、符号７４によって表示画面の全体が示されている。この表示画面７４は、基地２，３全体で発言者が一人のときの表示画面である。この場合には、その発言者のみが表示画面７４に表示されている。例えば、Ａ基地２のクライアントＡ１２２を操作する会議参加者Ａ７５のみが発言する場合には、図７（ｂ）に示すように、この会議参加者Ａ７５のみが全面に表示された表示画面７４が、全クライアント１２１〜１２４，２２１〜２２４上に表示される。

以上のように、本発明にかかるＴＶ会議システム１は、サーバー１１，２１として広域通信機能とＢｌｕｏｔｏｏｔｈや無線ＬＡＮのような無線機能とが付いた携帯ノートＰＣ程度の端末を用いるとともに、クライアント１２１〜１２４，２２１〜２２４としてサーバー１１，２１と同様の無線機能の付いたカメラ付き携帯端末やＰＤＡ程度の端末を用いることによって実現可能となる。そのため、専用の高機能な機材を必要とせず、導入コストも抑えることができ、安価で且つ、モビリティ性の高いＴＶ会議システムを実現することができる。さらに、本発明にかかるＴＶ会議システム１によれば、電話回線を利用したＡＤＳＬ、光ファイバ、高速通信対応の携帯電話などの広域通信が可能な場所であれば、何処でもＴＶ会議を実行することができる。

さらにまた、会議参加者とクライアント１２１〜１２４，２２１〜２２４は１対１で対応するので、画像データや音声データの有効性も高くなり、音声データ、画像データを送信したクライアント１２１〜１２４，２２１〜２２４から発言する会議参加者を特定することができる。さらには、サーバー１１，２１とクライアント１２１〜１２４，２２１〜２２４とがデジタル無線通信するので、デジタルデータをダイレクトに汎用的な音声ファイルや画像ファイルとして、スムーズにドキュメント化することができ、このドキュメントがどの会議参加者のものかを容易に特定することができる。

なお、本実施の形態においてはＴＶ画像を見ながら会議するＴＶ会議システムについて説明したが、これに限らず、ＴＶ画像を見ながら会話するＴＶ会話システムであってもよい。またなお、本発明は、ＴＶ画像を見ながら会議・会話するシステムであるが、これに限らず、音声のみで会議・会話するシステムとして用いることも可能である。

本発明にかかるＴＶ会議システムの一構成例を示す模式図である。本発明にかかるＴＶ会議システムにおけるサーバーの一構成例を示すブロック図である。本発明におけるＴＶ会議システムにおけるクライアントの一構成例を示すブロック図である。本発明におけるＴＶ会議システムの処理フローの一例を示すシーケンス図である。本発明におけるＴＶ会議システムにおける通信データの一例を示す図である。本発明におけるＴＶ会議システムにおけるサーバーの処理フローの一例を示すフローチャートである。本発明におけるＴＶ会議システムにおけるクライアントの表示画面の一例を示す図である。

符号の説明

１ＴＶ会議システム、２Ａ基地、３Ｂ基地、４広域通信網、１１サーバーＡ、２１サーバーＢ、１２１〜１２４クライアントＡ、２２１〜２２４クライアントＢ、１３１〜１３４無線通信網Ａ、２３１〜２３４無線通信網Ｂ
３１広域通信手段、３２無線通信手段、３２１アンテナ、３３データ選択手段、３４データ編集手段、３５データ記憶手段、３６音声認識手段、３７操作手段、３８制御手段、
４１無線通信手段、４１１アンテナ、４２音声入力手段、４３音声出力手段、４４データ記憶手段、４５画像入力手段、４６画像出力手段、４７操作手段、４８制御手段

Claims

第１の基地内に設けられた第１のサーバーと、当該第１のサーバーに対して、前記第１の基地内の通信網を介して第１の音声データ及び画像データを送信する第１のクライアントと、
第２の基地内に設けられ、前記第１のサーバーと広域通信網を介して通信する第２のサーバーと、当該第２のサーバーに対して、前記第２の基地内の通信網を介して第２の音声データ及び画像データを送信する第２のクライアントとを有するＴＶ会議システムであって、
当該第１のサーバーは、前記第１のクライアントから取得した第１の音声データから有効な第１の音声データを選択するとともに、当該選択された有効な第１の音声データに基づいて、有効な第１の画像データを選択する第１のデータ選択手段と、
当該第１のデータ選択手段によって選択された有効な第１の音声データ及び画像データを編集する第１のデータ編集手段とを備え、
当該第２のサーバーは、前記第２のクライアントから取得した第２の音声データから有効な第２の音声データを選択するとともに、当該選択された有効な第２の音声データに基づいて、有効な第２の画像データを選択する第２のデータ選択手段と、
当該第２のデータ選択手段によって選択された有効な第２の音声データ及び画像データを編集する第２の編集手段と、
当該第２のデータ編集手段によって編集された第２の音声データ及び画像データを、前記広域通信網を介して前記第１のサーバーに送信する送信手段とを備え、
当該第１のデータ選択手段は、前記有効な第１の音声データ及び画像データと、前記第２のサーバーから前記広域通信網を介して取得した前記有効な第２の音声データ及び画像データとに基づいて、さらに有効な第３の音声データ及び画像データを選択し、
前記第１のデータ編集手段は、当該第１のデータ選択手段によって選択された有効な第３の音声データ及び画像データを、前記第１のクライアントで出力可能となるように編集するＴＶ会議システム。
前記第１のサーバーは、前記第１のデータ編集手段によって編集された第１の音声データ及び画像データを、前記広域通信網を介して前記第２のサーバーに送信する送信手段を、さらに備え、
当該第２のデータ選択手段は、前記有効な第２の音声データ及び画像データと、前記第１のサーバーから前記広域通信網を介して取得した前記有効な第１の音声データ及び画像データとに基づいて、前記有効な第３の音声データ及び画像データを選択し、
前記第２のデータ編集手段は、当該第２のデータ選択手段によって選択された有効な第３の音声データ及び画像データを、前記第２のクライアントで出力可能となるように編集することを特徴とする請求項１記載のＴＶ会議システム。
前記第１のサーバーは、携帯可能なコンピュータによって構成され、
前記第１のクライアントは、前記第１のサーバーと前記第１の基地内の通信網を介して通信可能な小型端末によって構成されることを特徴とする請求項１又は２記載のＴＶ会議システム。
前記第１のデータ選択手段は、音量が所定の値よりも大きな前記第１の音声データを前記有効な第１の音声データとして選択し、当該選択された有効な第１の音声データに対応した前記第１の画像データを前記有効な第１の画像データとして選択することを特徴とする請求項１乃至３のいずれかに記載のＴＶ会議システム。
前記第１のサーバーは、さらに、前記第１のクライアントから取得した第１の音声データを認識可能な音声認識手段を備え、
当該音声認識手段は、前記第１の音声データをファイルとしてドキュメント化するとともに、前記第１音声データに基づいて、前記第１の画像データをファイルとしてドキュメント化することを特徴とする請求項１乃至４のいずれかに記載のＴＶ会議システム。
前記第１及び第２の基地内の通信網は、近距離型の無線通信網であることを特徴とする請求項１乃至５のいずれかに記載のＴＶ会議システム。
第１の基地内に設けられた第１のサーバーと、当該第１のサーバーに対して、前記第１の基地内の通信網を介して第１の音声データ及び画像データを送信する第１のクライアントと、
第２の基地内に設けられ、前記第１のサーバーと広域通信網を介して通信する第２のサーバーと、当該第２のサーバーに対して、前記第２の基地内の通信網を介して第２の音声データ及び画像データを送信する第２のクライアントとの間で、音声データ及び画像データを通信してＴＶ会議を実行する方法であって、
前記第１のサーバーが、前記第１のクライアントから取得した第１の音声データから有効な第１の音声データを選択する第１の音声データ選択ステップと、
前記第１のサーバーが、当該第１の音声データ選択ステップにおいて選択された有効な第１の音声データに基づいて、有効な第１の画像データを選択する第１の画像データ選択ステップと、
前記第１のサーバーが、当該第１の音声及び画像データ選択ステップにおいて選択された有効な第１の音声データ及び画像データを編集する第１のデータ編集ステップと、
前記第２のサーバーが、前記第２のクライアントから取得した第２の音声データから有効な第２の音声データを選択する第２の音声データ選択ステップと、
前記第２のサーバーが、当該第２の音声データ選択ステップにおいて選択された有効な第２の音声データに基づいて、有効な第２の画像データを選択する第２の画像データ選択ステップと、
前記第２のサーバーが、当該第２の音声及び画像データ選択ステップにおいて選択された有効な第２の音声データ及び画像データを編集する第２のデータ編集ステップと、
前記第２のサーバーが、当該第２のデータ編集ステップにおいて編集された第２の音声データ及び画像データを、前記広域通信網を介して前記第１のサーバーに送信する第２の送信ステップと、
前記第１のサーバーが、前記有効な第１の音声データ及び画像データと、前記第２のサーバーから前記広域通信網を介して取得した前記有効な第２の音声データ及び画像データとに基づいて、さらに有効な第３のデータを選択する第３のデータ選択ステップと、
前記第１のサーバーが、当該第３のデータ選択ステップにおいて選択された有効な第３のデータを、前記第１のクライアントで出力可能となるように編集するステップとを備えたＴＶ会議の実行方法。
前記第１のサーバーが、当該第１のデータ編集ステップにおいて編集された第１の音声データ及び画像データを、前記広域通信網を介して前記第２のサーバーに送信する第１の送信ステップと、
前記第２のサーバーが、前記有効な第２の音声データ及び画像データと、前記第１のサーバーから前記広域通信網を介して取得した前記有効な第１の音声データ及び画像データとに基づいて、前記有効な第３のデータを選択する第４のデータ選択ステップと、
前記第２のサーバーが、当該第４のデータ選択ステップにおいて選択された有効な第３のデータを、前記第２のクライアントで出力可能となるように編集するステップとを、さらに備えたことを特徴とする請求項７記載のＴＶ会議の実行方法。
前記第１の音声データ選択ステップにおいては、音量が所定の値よりも大きな前記第１の音声データを前記有効な第１の音声データとして選択し、
前記第１の画像データ選択ステップにおいては、当該選択された有効な第１の音声データに対応した前記第１の画像データを前記有効な第１の画像データとして選択することを特徴とする請求項７又は８記載のＴＶ会議の実行方法。
前記第１のクライアントから取得した第１の音声データを音声認識する音声認識ステップと、
当該音声認識ステップにおいて音声認識された第１の音声データをファイルとしてドキュメント化する第１のドキュメント化ステップと、
前記音声認識ステップにおいて音声認識された第１の音声データに基づいて、前記第１の画像データをファイルとしてドキュメント化する第２のドキュメント化ステップとを、さらに備えたことを特徴とする請求項７乃至９のいずれかに記載のＴＶ会議の実行方法。