JP2016189532A - テレビ会議システム、テレビ会議制御装置、及びテレビ会議制御方法 - Google Patents

Abstract

【課題】画質劣化を抑制しつつ、会議内容の把握をより容易にすること。【解決手段】本発明に係るテレビ会議システム９は、複数のテレビ会議端末９１と、テレビ会議制御装置９２を備える。複数のテレビ会議端末９１は、参加者の音声信号及び映像信号をテレビ会議制御装置９２に送信し、テレビ会議制御装置９２からの映像信号の映像を表示する。テレビ会議制御装置９２は、受信した音声信号に基づいて参加者の発言率を算出する発言率算出部９２１と、発言率に基づいて映像信号が示す映像の品質を変換する映像品質変換部９２２と、複数の映像信号をミキシングしてテレビ会議端末９１に送信する映像ミキシング部９２３を有する。映像品質変換部９２２は、発言率が閾値以上のテレビ会議端末９１が複数存在する場合でも、それらのテレビ会議端末９１の映像を第１の品質に変換し、それらの以外のテレビ会議端末９１の映像を第１の品質よりも低い第２の品質に変換する。【選択図】図８

Description

本発明は、テレビ会議システム、テレビ会議制御装置、及びテレビ会議制御方法に関し、特に、テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末におけるテレビ会議を制御する技術に関する。

インターネット及び携帯電話網などのネットワークに接続された複数の端末を介して、複数地点を接続する多地点ＴＶ（テレビ）会議システムが広く普及している。この端末には、例えば、ＰＣ（パーソナルコンピュータ）、携帯電話、スマートフォン、及びタブレットなどが利用される。また、典型的には、各端末は、カメラとマイクを備える。カメラ及びマイクから入力された映像・音声信号は、ＴＶ会議サーバを介して他の端末に配信される。

多地点ＴＶ会議システムでは、各地点の端末は、他の全端末についての映像信号を受信する。また、多地点ＴＶ会議システムでは、参加する拠点数に比例して入力される映像信号の数が増えるため、拠点数に比例して必要な通信帯域が増大する。よって、特に通信帯域の限られた無線網では、画質の劣化（例えばブロックノイズ）及びコマ落ちなどの品質低下が発生してしまうという問題がある。

ここで、特許文献１には、複数のテレビ会議端末装置から、最強の音声強度信号を出力するテレビ会議端末装置を確定し、このテレビ会議端末装置の出力する画像を大とし、他のテレビ会議端末装置の出力する画像を小として編集し送出する技術が開示されている。

しかしながら、特許文献１に開示の技術では、最強の音声強度信号を出力するテレビ会議端末装置の画像のみを大としているため、議論に参加している人数が動的に変化するテレビ会議において、発言者の意図及び議論の流れを把握することが困難となってしまうという問題がある。

特開平９−２６１６０８号公報

以上に説明したように、上述した技術では、テレビ会議システムにおいて、画質劣化が発生してしまうという問題がある。また、会議内容を把握することが困難であるという問題もある。

本発明の目的は、上述したような課題を解決するために、画質劣化を抑制しつつ、会議内容の把握をより容易にすることができるテレビ会議システム、テレビ会議制御装置、及びテレビ会議制御方法を提供することである。

本発明の第１の態様に係るテレビ会議システムは、テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末と、前記複数のテレビ会議端末と接続されるテレビ会議制御装置と、を備え、前記複数のテレビ会議端末のそれぞれは、前記参加者の音声を示す音声信号を生成し、前記テレビ会議制御装置に送信する音声入力部と、前記参加者の映像を示す映像信号を生成し、前記テレビ会議制御装置に送信する映像入力部と、前記テレビ会議制御装置から送信された映像信号が示す映像を表示する映像出力部と、を有し、前記テレビ会議制御装置は、前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出部と、前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換部と、前記映像品質変換部が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシング部と、を有し、前記映像品質変換部は、前記発言率が所定の閾値以上の参加者に対応するテレビ会議端末が複数存在する場合であっても、それらのテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換するものである。

本発明の第２の態様に係るテレビ会議システムは、テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末と、前記複数のテレビ会議端末と接続されるテレビ会議制御装置と、を備え、前記複数のテレビ会議端末のそれぞれは、前記参加者の音声を示す音声信号を生成し、前記テレビ会議制御装置に送信する音声入力部と、前記参加者の映像を示す映像信号を生成し、前記テレビ会議制御装置に送信する映像入力部と、前記テレビ会議制御装置から送信された映像信号が示す映像を表示する映像出力部と、を有し、前記テレビ会議制御装置は、前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出部と、前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換部と、前記映像品質変換部が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシング部と、を有し、前記映像品質変換部は、前記発言率が高い順にＮ人の参加者に対応するＮ個のテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する（ここで、Ｎは、所定の２以上の正整数）ものである。

本発明の第３の態様に係るテレビ会議制御装置は、テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末と接続されるテレビ会議制御装置であって、前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出部と、前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換部と、前記映像品質変換部が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシング部と、を備え、前記映像品質変換部は、前記発言率が所定の閾値以上の参加者に対応するテレビ会議端末が複数存在する場合であっても、それらのテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換するものである。

本発明の第４の態様に係るテレビ会議制御装置は、テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末と接続されるテレビ会議制御装置であって、前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出部と、前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換部と、前記映像品質変換部が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシング部と、を備え、前記映像品質変換部は、前記発言率が高い順にＮ人の参加者に対応するＮ個のテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する（ここで、Ｎは、所定の２以上の正整数）ものである。

本発明の第５の態様に係るテレビ会議制御方法は、複数のテレビ会議端末のそれぞれを使用する複数の参加者が参加するテレビ会議を制御するテレビ会議制御方法であって、前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出ステップと、前記発言率算出ステップで算出された前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換ステップと、前記映像品質変換ステップで処理された複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシングステップと、を備え、前記映像品質変換ステップでは、前記発言率が所定の閾値以上の参加者に対応するテレビ会議端末が複数存在する場合であっても、それらのテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換するものである。

本発明の第６の態様に係るテレビ会議制御方法は、複数のテレビ会議端末のそれぞれを使用する複数の参加者が参加するテレビ会議を制御するテレビ会議制御方法であって、前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出ステップと、前記発言率算出ステップで算出された前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換ステップと、前記映像品質変換ステップで処理された複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシングステップと、を備え、前記映像品質変換ステップでは、前記発言率が高い順にＮ人の参加者に対応するＮ個のテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する（ここで、Ｎは、所定の２以上の正整数）ものである。

上述した本発明の各態様によれば、画質劣化を抑制しつつ、会議内容の把握をより容易にすることができるテレビ会議システム、テレビ会議制御装置、及びテレビ会議制御方法を提供することができる。

実施の形態に係るＴＶ会議システムの構成を示す図である。 実施の形態に係るＴＶ会議システムの各処理の概要を示す図である。 実施の形態に係る優先度判定処理の処理手順を示すフローチャートである。 実施の形態に係るＴＶ会議端末を利用する参加者の音声の音圧レベルの変化の一例を示す図である。 実施の形態に係る音声配信処理の処理手順を示すフローチャートである。 実施の形態に係る映像配信処理の処理手順を示すフローチャートである。 実施の形態に係るミキシング結果の映像の一例を示す図である。 実施の形態に係るテレビ会議システムの概略構成を示す図である。

以下に図面を参照しながら、本発明の好適な実施形態について説明する。以下の実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、それに限定されるものではない。また、以下の記載及び図面では、説明の明確化のため、当業者にとって自明な事項等については、適宜、省略及び簡略化がなされている。

＜＜＜発明の実施の形態＞＞＞
＜実施の形態の構成＞
まず、図１を参照して、本発明の実施の形態に係るＴＶ会議システム１の構成について説明する。図１に示すように、ＴＶ会議システム１は、ＴＶ会議サーバ２と、複数のＴＶ会議端末３とを有する。ＴＶ会議サーバ２と複数のＴＶ会議端末３のそれぞれは、ネットワーク４を介して接続される。

ＴＶ会議サーバ２は、複数のテレビ会議端末３のそれぞれを使用する複数の参加者が参加するテレビ会議を制御する情報処理装置である。ＴＶ会議サーバ２は、複数のＴＶ会議端末３のそれぞれから受信した音声信号及び映像信号を処理することで、複数のＴＶ会議端末３のそれぞれに対する音声信号及び映像信号を生成して配信する。

すなわち、ＴＶ会議サーバ２は、複数の映像信号をミキシングして、その複数の映像信号が示す複数の映像の全てを、１つの映像で示す映像信号を生成して配信する。また、ＴＶ会議サーバ２は、複数の音声信号をミキシングして、その複数の音声信号が示す複数の音声の全てを、１つの音声で示す音声信号を生成して配信する。この際に、ＴＶ会議サーバ２は、映像のリアルタイム品質変換も実現する。

複数のＴＶ会議端末３のそれぞれは、ＴＶ会議の各地点における映像及び音声を取得し、それらを示す映像信号及び音声信号を生成してＴＶ会議サーバ２に送信する。すなわち、ＴＶ会議端末３は、そのＴＶ会議端末３の使用者（ＴＶ会議への参加者）の映像及び音声のそれぞれを示す映像信号及び音声信号を生成して送信する。また、複数のＴＶ会議端末３のそれぞれは、ＴＶ会議サーバ２から送信された映像信号及び音声信号を受信し、受信した映像信号及び音声信号が示す映像及び音声を出力する。すなわち、ＴＶ会議端末３は、全ての参加者の映像及び音声を、そのＴＶ会議端末３の使用者に対して出力する。これにより、ＴＶ会議端末３の使用者（ＴＶ会議への参加者）は、他の地点における参加者の言動を把握することができる。ＴＶ会議端末３は、例えば、ＰＣ、携帯電話（スマートフォン及びフィーチャーフォンなど）、及びタブレットなどの情報処理装置である。

ネットワーク４は、ＴＶ会議サーバ２と複数のＴＶ会議端末３を相互に接続するネットワークである。このネットワークは、有線ネットワーク及び無線ネットワークの少なくとも１つを含む。すなわち、このネットワークは、例えば、インターネット、及び移動体通信事業者が提供する携帯電話網などのネットワークの少なくとも１つを含む。

続いて、ＴＶ会議サーバ２が有する各手段の機能について説明する。図１に示すように、ＴＶ会議サーバ２は、セッション情報制御手段１１と、セッション情報保持手段１２と、音声受信手段１３と、優先度判定手段１４と、優先度情報保持手段１５と、音声ミキシング手段１６と、音声配信手段１７と、映像受信手段１８と、映像品質変更手段１９と、映像ミキシング手段２０と、映像配信手段２１とを有する。

セッション情報制御手段１１は、各ＴＶ会議端末３のＴＶ会議への接続状況を常に監視する。セッション情報制御手段１１は、監視結果に応じて、各ＴＶ会議端末３のＴＶ会議への接続状況を示す接続情報を生成し、セッション情報保持手段１２に格納する。すなわち、接続情報は、各ＴＶ会議端末３がＴＶ会議（ＴＶ会議サーバ２）に接続しているか否かを示す情報である。後述の音声ミキシング手段１６及び映像ミキシング手段２０は、この接続情報を用いて、ＴＶ会議に接続しているＴＶ会議端末３の映像及び音声のみをミキシングする。

セッション情報保持手段１２は、接続情報が格納される。すなわち、セッション情報保持手段１２は、接続情報を格納可能な記憶装置を含む。この記憶装置は、例えば、ＴＶ会議サーバ２が有するメモリ及びハードディスクなどの記憶装置である。

音声受信手段１３は、各ＴＶ会議端末３から送信された音声信号を、ネットワーク４を介して受信する。

優先度判定手段１４は、音声受信手段１３が受信した各ＴＶ会議端末３からの音声信号を分析して、各ＴＶ会議端末３の優先度を判定する。この優先度は、後述するように、ＴＶ会議端末３における映像を高品質とすべき度合いとなる。優先度判定手段１４は、その判定結果を示す優先度情報を生成し、優先度情報保持手段１５に格納する。

優先度情報保持手段１５は、優先度情報が格納される。すなわち、優先度情報保持手段１５は、優先度情報を格納可能な記憶装置を含む。この記憶装置は、例えば、上述したように、ＴＶ会議サーバ２が有するメモリ及びハードディスクなどの記憶装置である。

音声ミキシング手段１６は、音声受信手段１３が受信した各ＴＶ会議端末３の音声信号が示す音声を１つの音声にミキシングし、ミキシング後の音声を示す音声情報を生成する。

音声配信手段１７は、音声ミキシング手段１６が生成したミキシング後の音声信号を、ネットワーク４を介して各ＴＶ会議端末３に送信する。

映像受信手段１８は、各ＴＶ会議端末３から送信された映像信号を、ネットワーク４を介して受信する。

映像品質変更手段１９は、映像受信手段１８が受信した各ＴＶ会議端末３からの映像信号を、優先度情報保持手段１５に格納された優先度情報が示す優先度に従った品質に変更（変換）する。

映像ミキシング手段２０は、映像品質変更手段１９が品質変更した各ＴＶ会議端末３の映像信号が示す映像を１つの映像にミキシングし、ミキシング後の映像を示す映像信号を生成する。

映像配信手段２１は、映像ミキシング手段２０が生成したミキシング後の映像信号を、ネットワーク４を介して各ＴＶ会議端末３に送信する。

ＴＶ会議サーバ２は、例えば、ＣＰＵ（Central Processing Unit）を有し、そのＣＰＵによって上述の各手段１１、１３、１４、１６〜２１としての処理を実現するプログラムを実行することで、各手段１１、１３、１４、１６〜２１としての機能を実現する。

続いて、ＴＶ会議端末３が有する各装置の機能について説明する。図１に示すように、複数のＴＶ会議端末３のそれぞれは、カメラ３１と、マイクロフォン（以下、「マイク」と呼ぶ）３２と、表示装置３３と、スピーカー３４とを有する。

カメラ３１は、その撮像範囲内の被写体を撮像することで、その被写体を示す映像シングを生成する映像入力装置（撮像装置）である。すなわち、カメラ３１は、ＴＶ会議端末３のユーザ（ＴＶ会議への参加者）の映像を示す映像信号を生成する。

マイク３２は、その集音範囲内の音声を電気信号に変換することで、その音声を示す音声信号を生成する音声入力装置である。すなわち、マイク３２は、ＴＶ会議端末３のユーザ（ＴＶ会議への参加者）の音声を示す音声信号を生成する。

表示装置３３は、ＴＶ会議サーバ２から配信されたミキシング後の映像信号が示す映像を表示する映像出力装置である。表示装置３３は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、又はプラズマディスプレイなどである。

スピーカー３４は、ＴＶ会議サーバ２から配信されたミキシング後の音声情報が示す音声を出力する音声出力装置である。

なお、ＴＶ会議端末３は、制御手段（図示せず）を有し、制御手段がＴＶ会議端末３の全体を統括的に制御する。例えば、制御手段は、マイク３２及びカメラ３１のそれぞれが生成した音声信号及び映像信号をＴＶ会議サーバ２に送信する。また、例えば、制御手段は、ＴＶ会議サーバ２から受信した映像信号及び音声信号のそれぞれを、表示装置３３及びスピーカー３４に出力することで、ＴＶ会議における映像及び音声をＴＶ会議端末３のユーザに対して出力する。

ＴＶ会議端末３は、例えば、ＣＰＵを有し、そのＣＰＵによって上述の制御手段としての処理を実現するプログラムを実行することで、制御手段としての機能を実現する。

＜実施の形態の動作＞
続いて、本発明の実施の形態に係るＴＶ会議システム１の動作について説明する。まずは、図２を参照して、本発明の実施の形態に係るＴＶ会議システム１の各処理の概要について説明する。図２に示すように、ＴＶ会議システム１の動作は、以下の４種類の処理を含む。

（１）セッション制御処理１０１
（２）優先度判定処理１０２
（３）音声配信処理１０３
（４）映像配信処理１０４

（１）セッション制御処理１０１は、各ＴＶ会議端末３の接続状態を監視して、接続状態にある （ＴＶ会議に参加中の）ＴＶ会議端末３を示す接続情報をセッション情報保持手段１２に格納する処理である。セッション情報制御手段１１がこの処理を行う。

次の優先度判定処理１０２、音声配信処理１０３、及び映像配信処理１０４は、ＴＶ会議に参加中のＴＶ会議端末３のそれぞれについて並列的に実行される。

（２）優先度判定処理１０２は、各ＴＶ会議端末３から送信された音声信号に基づいて、各ＴＶ会議端末３の優先度を決定する処理である。優先度判定処理１０２は、決定した優先度を示す優先度情報を優先度情報保持手段１５に格納する。優先度判定手段１４がこの処理を行う。

（３）音声配信処理１０３は、各ＴＶ会議端末３から送信された音声信号をＴＶ会議サーバ２がミキシングし、その結果をＴＶ会議に参加中の各ＴＶ会議端末３に送信する処理である。音声ミキシング手段１６がこの処理を行う。

（４）映像配信処理１０４は、各ＴＶ会議端末３から送信された映像信号をＴＶ会議サーバ２がミキシングし、その結果をＴＶ会議に参加中の各ＴＶ会議端末３に送信する処理である。この過程で、優先度情報保持手段１５に格納された優先度情報に基づいて、映像品質の変更が行われる。映像品質変更手段１９及び映像ミキシング手段２０がこの処理を行う。

以下、優先度判定処理１０２、音声配信処理１０３、及び映像配信処理１０４の詳細な処理手順について説明する。

＜（２）優先度判定処理＞
図３を参照して、優先度判定処理１０２の処理手順について説明する。この処理手順は、会議に参加するＴＶ会議端末３のそれぞれに対して実行される。

音声受信手段１３は、ＴＶ会議に参加中のＴＶ会議端末３から送信された音声信号を、ネットワーク４を介して受信し、優先度判定手段１４に出力する（Ｓ２１）。ここで送信される音声信号は、ＴＶ会議端末３が備えるマイク３２により録音された音声を示す。本ステップＳ２１において音声受信手段１３が受信する音声信号は、音声配信処理１０３におけるステップＳ３１で受信される音声信号と共通である。すなわち、音声受信手段１３は、ＴＶ会議端末３から受信した音声信号を、優先度判定手段１４と音声ミキシング手段１６の両方に渡す。

優先度判定手段１４は、同一のＴＶ会議端末３から受信した過去一定時間内の音声信号を優先度情報保持手段１５に蓄積する。言い換えると、各ＴＶ会議端末３について、過去一定時間分の音声信号を蓄積する。そして、優先度判定手段１４は、各ＴＶ会議端末３について、その優先度情報保持手段１５に蓄積した過去一定時間内の音声信号が示す音声において、ユーザが発言している時間の割合 (発言率) を算出する（Ｓ２２）。すなわち、優先度判定手段１４は、過去一定時間に対して、ユーザが発言している時間の割合（発言率）を算出する。

[発言率の算出方法の具体例]
ここで、図４を参照して、発言率の算出方法の具体例について説明する。図４は、あるＴＶ会議端末３における、過去一定時間内の音声信号が示す音声における音圧レベルの変化を示している。図４では、過去一定時間が６０秒である例について示しているが、この一定時間として任意の時間を予め定めることができる。

図４に示すように、音圧レベルが所定の閾値以上である場合、ＴＶ会議端末３を利用する参加者が発言していると判定する。よって、過去一定時間（この例では過去６０秒間）に対して、音圧レベルが閾値以上である時間の割合を、発言率として算出する。なお、この一定時間は、上記の例（６０秒）に限られず、任意の時間を予め定めることができる。

優先度判定手段１４は、ステップＳ２２で算出された発言率に基づいて、ＴＶ会議に参加中のＴＶ会議端末３のそれぞれの優先度を算出し、算出した優先度を示す優先度情報を優先度情報保持手段１５に格納する（Ｓ２３）。

[優先度の算出方法の具体例]
例えば、発言率の値が１０％以上である場合には高優先度と判定し、１０％未満である場合には低優先度と判定する。より具体的には、優先度判定手段１４は、発言率が１０％以上と判定された音声信号を送信したＴＶ会議端末３の優先度として「高優先度」を示し、発言率が１０％未満と判定された音声信号を送信したＴＶ会議端末３の優先度として「低優先度」を示す優先度情報を生成して優先度情報保持手段１５に格納する。

なお、上述の例では、優先度を分類する閾値が１０％である例について説明したが、この閾値として任意の値を予め定めることができる。また、優先度の値が「高優先度」と「低優先度」の２値に多値化される例について説明したが、これに限られない。優先度は、３値以上に多値化されてもよく、連続値であってもよい。例えば、優先度をＫ個の多値に分類する場合、Ｋ−１個の閾値を設ければよい。この場合、あるＴＶ会議端末３における発言率が、ｋ−１番目に高い値の閾値以上である場合（かつｋ番目に高い閾値未満である場合）、そのＴＶ会議端末３の優先度は、ｋ番目に高い優先度として決定される。また、例えば、優先度を連続値に分類する場合、発言率の値の高さに比例して高くなるように優先度を決定する。

＜（３）音声配信処理＞
続いて、図５を参照して、音声配信処理１０３の処理手順について説明する。この処理手順のうち、ステップＳ３１については、会議に参加するＴＶ会議端末３のそれぞれに対して実行され、ステップＳ３２以降は、１つのＴＶ会議（会議に参加するＴＶ会議端末３全体）に対して実行される。

音声受信手段１３は、会議に参加中のＴＶ会議端末３から送信された音声信号を、ネットワーク４を介して受信し、音声ミキシング手段１６に出力する（Ｓ３１）。前述した通り、ここで受信する音声信号は、優先度判定処理１０２におけるステップＳ２１で受信される音声信号と共通である。

音声ミキシング手段１６は、ステップＳ３１で音声受信手段１３から出力された音声信号をミキシングして単一の音声信号を生成し、音声配信手段１７に出力する（Ｓ３２）。

音声配信手段１７は、ステップＳ３２で音声ミキシング手段１６から出力された音声信号を、会議に参加中の各ＴＶ会議端末３に送信する（Ｓ３３）。

上記処理手順は、会議に参加するすべてのＴＶ会議端末３の音声を単純にミキシングして配信する場合を示しているが、後述の映像配信処理１０４と同様に、ステップＳ３１とＳ３２の間で、優先度情報に応じて音量・音質の少なくも１つを変換してもよい。すなわち、ＴＶ会議サーバ２は、音声受信手段１３が受信した各ＴＶ会議端末３からの音声信号を、優先度情報保持手段１５に格納された優先度情報が示す優先度に従った音量・音質に変更（変換）する音声音質変換手段を有していてもよい。

例えば、Ａ・Ｂ・Ｃの３台のＴＶ会議端末３がＴＶ会議に参加しており、Ａが高優先度、Ｂ・Ｃが低優先度の場合、Ａの音声を高音質（第１の音質）、Ｂ・Ｃの音声を低音質（第１の音質よりも低い第２の音質）に変換してから、それらを示す音声信号をミキシングしてもよい。また、例えば、Ａ・Ｂ・Ｃの３台のＴＶ会議端末３が会議に参加しており、Ａが高優先度、Ｂ・Ｃが低優先度の場合、Ａの音声を大音量（第１の音量）、Ｂ・Ｃの音声を小音量（第１の音量よりも低い第２の音量）に変換してから、それらを示す音声信号をミキシングしてもよい。

また、優先度を３値以上の多値または連続値として算出する場合、優先度の上位Ｎ件（Ｎは、予め定められた正整数であり、例えば２以上の正整数である）のＴＶ会議端末３について高音質・大音量に変換し、他のＴＶ会議端末３については低音質・小音量に変換するようにしてもよい。

＜（４）映像配信処理＞
続いて、図６を参照して、映像配信処理１０４の処理手順について説明する。この処理手順のうち、ステップＳ４１、Ｓ４２については、会議に参加する各ＴＶ会議端末３のそれぞれに対して実行され、ステップＳ４３以降は、１つのＴＶ会議（会議に参加するＴＶ会議端末３全体）に対して実行される。

映像受信手段１８は、会議に参加中のＴＶ会議端末３から送信された映像信号を、ネットワーク４を介して受信し、映像品質変更手段１９に出力する（Ｓ４１）。この映像信号は、ＴＶ会議端末３が備えるカメラ３１により撮影されたものである。

映像品質変更手段１９は、ステップＳ４１で映像受信手段１８から出力された映像信号について、優先度情報保持手段１５に格納された優先度情報に従って映像品質を変更する（Ｓ４２）。ここで用いる優先度情報は、前述の優先度判定処理において判定されたものである。

例えば、ＴＶ会議端末３が高優先度である場合には、そのＴＶ会議端末３から受信した映像信号を高品質映像（第１の品質、例えば１Ｍｂｐｓ）に変換し、ＴＶ会議端末３が低優先度である場合には、そのＴＶ会議端末３から受信した映像信号を低品質映像（第１の品質よりも低い第２の品質、例えば１００ｋｂｐｓ）に変換する。すなわち、高優先度のＴＶ会議端末３が複数存在する場合であっても、それらのＴＶ会議端末３における映像を高品質に変換する。

優先度を３値以上の多値または連続値として算出する場合、優先度の上位Ｎ件（Ｎは、予め定められた正整数であり、例えば２以上の正整数である）のＴＶ会議端末３について高品質映像に変換し、他のＴＶ会議端末３については低品質映像に変換するようにしてもよい。例えば、Ａ、Ｂ、Ｃ、Ｄの４つのＴＶ会議端末３が会議に参加中で、優先度がそれぞれ４、３、２、１かつＮ＝２とすると、ＡとＢを高品質映像、ＣとＤを低品質映像に変換する。

映像ミキシング手段２０は、会議に参加する各ＴＶ会議端末３について、ステップＳ４２の結果である映像信号をミキシングして単一の映像信号を生成し、映像配信手段２１に出力する（Ｓ４３）。

図７に、ミキシング結果の映像の一例を示す。この例では、Ａ、Ｂ、Ｃ、Ｄの４台のＴＶ会議端末３が会議に参加しており、Ａ、Ｂが高優先度、Ｃ、Ｄが低優先度である場合を示している。ここで、図７に示すように、高優先度のＴＶ会議端末３について、高品質映像に変換するのに加えて、より大きく表示されるように表示サイズを調整するようにしてもよい。

すなわち、ステップＳ４２において、ＴＶ会議端末３が高優先度である場合には、そのＴＶ会議端末３から受信した映像信号を大きい表示サイズ（第１の表示サイズ）に変換し、ＴＶ会議端末３が低優先度である場合には、そのＴＶ会議端末３から受信した映像信号を小さい表示サイズ（第１の表示サイズよりも小さい第２の表示サイズ）に変換する。

また、優先度を３値以上の多値または連続値として算出する場合、優先度の上位Ｎ件（Ｎの値は、上述と同様）のＴＶ会議端末３について大きい表示サイズに変換し、他のＴＶ会議端末３については小さい表示サイズに変換するようにしてもよい。

映像配信手段２１は、ステップＳ４３の出力である映像信号を、ＴＶ会議に参加中の各ＴＶ会議端末３に送信する（Ｓ４４）。ここで、音声配信処理におけるステップＳ３３で配信する音声信号と同期した形で送信する。

以上に説明したように、本実施の形態では、各ＴＶ会議端末３による音声入力を過去一定時間 (例えば６０秒間) にわたって蓄積し、各ＴＶ会議端末３の利用者が発言している時間の割合 (発言率) を算出する。発言率が一定値を超えているＴＶ会議端末３からの入力映像については高品質で、それ以外のＴＶ会議端末３からの入力映像については低品質で配信する。すなわち、複数地点を繋ぐテレビ会議システム１において、ＴＶ会議中の各ＴＶ会議端末３の音声の状況からリアルタイムで各ＴＶ会議端末３の優先度を判断し、音声による優先度を映像に結びつけることにより、各地点の映像に対しリアルタイムに最適な優先度付けを行い、優先度順に映像の品質に差をつけている。

このように、過去一定時間内の発言率を用いた優先度の切り替えをリアルタイムで行うことにより、映像が使用する帯域を抑え、限られた通信帯域を有効利用することを可能とする。また、ネットワーク帯域が限られた多地点ＴＶ会議システムにおいて、主に発言している人物の映像を高品質で配信することで、ＴＶ会議の参加者にとって、発言者の意図や議論の流れを容易に把握することができる。すなわち、本実施の形態によれば、画質劣化を抑制しつつ、会議内容の把握をより容易にすることができる。

映像品質劣化を防止するための技術として、以下のものが考えられるが、本実施の形態は、それらの技術よりも有効である。

例えば、予め各ＴＶ会議端末に優先度を設定し、優先度の高い地点の映像を高画質にする方法が考えられる。しかしながら、この方法では、ＴＶ会議端末３ごとの優先度が固定されているために、本実施の形態のように発言者の映像を高画質で表示するといった制御ができない。

また、例えば、音声入力レベルの高いＴＶ会議端末について高音質で出力し、入力された映像の動きの大きいＴＶ会議端末について高画質で表示する方法が考えられる。しかしながら、この方法では、本実施の形態のようにＴＶ会議端末の中心人物と映像の品質の順位が必ずしも一致するものではない。

各ＴＶ会議端末からの一定時間ごとにその瞬間における音声入力レベルを比較し、入力レベルの高いＴＶ会議端末を高優先に切り替え、出力する映像品質を制御する方法である。しかしながら、この方法では、判定基準として直近の音声入力レベルのみを使用するため、主に議論に参加している人数が動的に変化する状況で、本実施の形態のように主な発言者の全てを高優先で表示することはできない。

＜＜＜発明の実施の形態の概要＞＞＞
以上に説明した本実施の形態に係るＴＶ会議システム１は、概略構成として、次に説明するテレビ会議システム９として捉えることもできる。図８を参照して、そのテレビ会議システム９について説明する。

図８に示すように、テレビ会議システム９は、複数のテレビ会議端末９１と、テレビ会議制御装置９２とを有する。

複数のテレビ会議端末９１のそれぞれは、テレビ会議に参加する複数の参加者のそれぞれが使用する。複数のテレビ会議端末９１のそれぞれは、映像入力部９１１と、音声入力部９１２と、映像出力部９１３とを有する。複数のテレビ会議端末９１のそれぞれは、複数のＴＶ会議端末３に対応する。

映像入力部９１１は、参加者の映像を示す映像信号を生成し、テレビ会議制御装置９２に送信する。映像入力部９１１は、カメラ３１及び制御部に対応する。音声入力部９１２は、参加者の音声を示す音声信号を生成し、テレビ会議制御装置９２に送信する。音声入力部９１２は、マイク３２及び制御部に対応する。映像出力部９１３は、テレビ会議制御装置９２から送信された映像信号が示す映像を表示する。映像出力部９１３は、表示装置３３及び制御部に対応する。

テレビ会議制御装置９２は、複数のテレビ会議端末９１と接続される。テレビ会議制御装置９２は、発言率算出部９２１と、映像品質変換部９２２と、映像ミキシング部９２３とを有する。

発言率算出部９２１は、複数のテレビ会議端末９１から送信された複数の音声信号に基づいて、複数の参加者のそれぞれの発言率を算出する。発言率算出部９２１は、優先度判定手段１４に対応する。映像品質変換部９２２は、発言率算出部９２１が算出した複数の参加者のそれぞれの発言率に基づいて、複数のテレビ会議端末９１から送信された複数の映像信号が示す映像の品質を変換する。映像品質変換部９２２は、映像品質変更手段１９に対応する。映像ミキシング部９２３は、映像品質変換部９２２が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を複数のテレビ会議端末９１に送信する。映像ミキシング部９２３は、映像ミキシング手段２０に対応する。

ここで、映像品質変換部９２２は、以下の２つの態様のいずれかとして動作することができる。

第１の態様では、映像品質変換部９２２は、発言率が所定の閾値以上の参加者に対応するテレビ会議端末９１が複数存在する場合であっても、それらのテレビ会議端末９１における映像を第１の品質に変換し、それらの以外のテレビ会議端末９１における映像を第１の品質よりも低い第２の品質に変換する。

第２の態様では、映像品質変換部９２２は、発言率が高い順にＮ人の参加者に対応するＮ個のテレビ会議端末９１における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する（ここで、Ｎは、所定の２以上の正整数）。

これらの各態様によれば、発言率の低い参加者に対応するテレビ会議端末９１における映像を低品質にしているため、各テレビ会議端末９１に配信する映像信号のデータ量を低減し、通信帯域の圧迫を抑制することができる。また、テレビ会議で発言している参加者の映像を複数人であっても全て高品質にしているため、発言者の意図及び議論の流れを把握すること容易となる。すなわち、画質劣化を抑制しつつ、会議内容の把握をより容易にすることができる。

また、上述のＴＶ会議端末３及びＴＶ会議サーバ２上で実行される各種プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータ（ホスト１００、４００）に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、上述の例では、本発明を多地点ＴＶ会議システムに適用した例について説明したが、本発明の適用対象となるシステムは、これに限られない。例えば、本発明を、グループ型ＴＶ電話システム、又は、複数台のカメラから入力された映像を、遠隔地で再生するライブカメラシステムに適用してもよい。例えば、本発明をグループ型ＴＶ電話システムに適用する場合には、ＴＶ会議端末３は、携帯電話であり、ＴＶ会議サーバ２が実施していた処理を、ホストとなる携帯電話が実施する。すなわち、ホストとなる携帯電話が、テレビ会議制御装置９２として機能する。また、例えば、本発明をライブカメラシステムに適用する場合には、ライブカメラシステムは、複数のＴＶ会議端末３に代えて、ＴＶ会議端末３における映像信号及び音声信号の生成・送信機能を有する複数のライブカメラと、ＴＶ会議端末３における映像及び音声の出力機能を有するライブ映像音声出力装置とを有する。すなわち、ライブカメラは、上述のカメラ３１、マイク３２、及び制御部を有し、ライブ映像音声出力装置は、上述の表示装置３３、スピーカー３４、及び制御部を有する。

１ ＴＶ会議システム
２ ＴＶ会議サーバ
３ ＴＶ会議端末
４ ネットワーク
９ テレビ会議システム
１１ セッション情報制御手段
１２ セッション情報保持手段
１３ 音声受信手段
１４ 優先度判定手段
１５ 優先度情報保持手段
１６ 音声ミキシング手段
１７ 音声配信手段
１８ 映像受信手段
１９ 映像品質変更手段
２０ 映像ミキシング手段
２１ 映像配信手段
３１ カメラ
３２ マイク
３３ 表示装置
３４ スピーカー
９１ テレビ会議端末
９２ テレビ会議制御装置
１０１ セッション制御処理
１０２ 優先度判定処理
１０３ 音声配信処理
１０４ 映像配信処理
９１１ 映像入力部
９１２ 音声入力部
９１３ 映像出力部
９２１ 発言率算出部
９２２ 映像品質変換部
９２３ 映像ミキシング部

Claims (10)

1. テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末と、
   前記複数のテレビ会議端末と接続されるテレビ会議制御装置と、を備え、
   前記複数のテレビ会議端末のそれぞれは、
   前記参加者の音声を示す音声信号を生成し、前記テレビ会議制御装置に送信する音声入力部と、
   前記参加者の映像を示す映像信号を生成し、前記テレビ会議制御装置に送信する映像入力部と、
   前記テレビ会議制御装置から送信された映像信号が示す映像を表示する映像出力部と、を有し、
   前記テレビ会議制御装置は、
   前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出部と、
   前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換部と、
   前記映像品質変換部が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシング部と、を有し、
   前記映像品質変換部は、
   前記発言率が所定の閾値以上の参加者に対応するテレビ会議端末が複数存在する場合であっても、それらのテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する、
   テレビ会議システム。
2. テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末と、
   前記複数のテレビ会議端末と接続されるテレビ会議制御装置と、を備え、
   前記複数のテレビ会議端末のそれぞれは、
   前記参加者の音声を示す音声信号を生成し、前記テレビ会議制御装置に送信する音声入力部と、
   前記参加者の映像を示す映像信号を生成し、前記テレビ会議制御装置に送信する映像入力部と、
   前記テレビ会議制御装置から送信された映像信号が示す映像を表示する映像出力部と、を有し、
   前記テレビ会議制御装置は、
   前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出部と、
   前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換部と、
   前記映像品質変換部が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシング部と、を有し、
   前記映像品質変換部は、
   前記発言率が高い順にＮ人の参加者に対応するＮ個のテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する（ここで、Ｎは、所定の２以上の正整数）、
   テレビ会議システム。
3. 前記発言率算出部は、前記音声信号が示す音声の音圧レベルが所定の閾値以上である場合に、前記参加者が発言していると判定する、
   請求項１又は２に記載のテレビ会議システム。
4. 前記テレビ会議制御装置は、さらに、過去一定時間について、前記複数のテレビ会議端末から送信された複数の音声信号を格納する映像信号記憶部を有し、
   前記発言率算出部は、前記映像信号記憶部に格納された過去一定時間における音声信号に基づいて、前記過去一定時間に対して、前記参加者が発言している割合を、前記発言率として算出する、
   請求項３に記載のテレビ会議システム。
5. 前記映像品質変換部は、前記第１の品質に変換する映像を第１の表示サイズに変換し、前記第２の品質に変換する映像を前記第１の表示サイズよりも小さい第２の表示サイズに変換する、
   請求項１乃至４のいずれか１項に記載のテレビ会議システム。
6. 前記テレビ会議制御装置は、さらに、
   前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の音声信号が示す音声の音質を変換する音声音質変換部と、
   前記音声音質変換部が処理した複数の音声信号をミキシングし、ミキシングで生成した音声信号を前記複数のテレビ会議端末に送信する音声ミキシング部と、を有し、
   前記複数のテレビ会議端末のそれぞれは、さらに、
   前記テレビ会議制御装置から送信された音声信号が示す音声を出力する音声出力部と、を有し、
   前記音声音質変換部は、前記映像を第１の品質に変換するテレビ会議端末における音声を第１の音質に変換し、前記映像を第２の品質に変換するテレビ会議端末における音声を前記第１の音質よりも低い第２の音質に変換する、
   請求項１乃至５のいずれか１項に記載のテレビ会議システム。
7. テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末と接続されるテレビ会議制御装置であって、
   前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出部と、
   前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換部と、
   前記映像品質変換部が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシング部と、を備え、
   前記映像品質変換部は、
   前記発言率が所定の閾値以上の参加者に対応するテレビ会議端末が複数存在する場合であっても、それらのテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する、
   テレビ会議制御装置。
8. テレビ会議に参加する複数の参加者のそれぞれが使用する複数のテレビ会議端末と接続されるテレビ会議制御装置であって、
   前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出部と、
   前記発言率算出部が算出した前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換部と、
   前記映像品質変換部が処理した複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシング部と、を備え、
   前記映像品質変換部は、
   前記発言率が高い順にＮ人の参加者に対応するＮ個のテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する（ここで、Ｎは、所定の２以上の正整数）、
   テレビ会議制御装置。
9. 複数のテレビ会議端末のそれぞれを使用する複数の参加者が参加するテレビ会議を制御するテレビ会議制御方法であって、
   前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出ステップと、
   前記発言率算出ステップで算出された前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換ステップと、
   前記映像品質変換ステップで処理された複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシングステップと、を備え、
   前記映像品質変換ステップでは、
   前記発言率が所定の閾値以上の参加者に対応するテレビ会議端末が複数存在する場合であっても、それらのテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する、
   テレビ会議制御方法。
10. 複数のテレビ会議端末のそれぞれを使用する複数の参加者が参加するテレビ会議を制御するテレビ会議制御方法であって、
    前記複数のテレビ会議端末から送信された複数の音声信号に基づいて、前記複数の参加者のそれぞれの発言率を算出する発言率算出ステップと、
    前記発言率算出ステップで算出された前記複数の参加者のそれぞれの発言率に基づいて、前記複数のテレビ会議端末から送信された複数の映像信号が示す映像の品質を変換する映像品質変換ステップと、
    前記映像品質変換ステップで処理された複数の映像信号をミキシングし、ミキシングで生成した映像信号を前記複数のテレビ会議端末に送信する映像ミキシングステップと、を備え、
    前記映像品質変換ステップでは、
    前記発言率が高い順にＮ人の参加者に対応するＮ個のテレビ会議端末における映像を第１の品質に変換し、それらの以外のテレビ会議端末における映像を前記第１の品質よりも低い第２の品質に変換する（ここで、Ｎは、所定の２以上の正整数）、
    テレビ会議制御方法。