JP2009171486A - テレビ会議システム - Google Patents

Abstract

【課題】ユーザの着席位置に応じて、筐体を移動させるだけで、カメラの撮影方向を明示的に合わせることができるテレビ会議システムを提供する。
【解決手段】テレビ会議システム１００は、テレビ会議装置１とＰＣ２とから構成される。テレビ会議装置１は、主筐体１０と該主筐体１０に対して回動可能な副筐体１１，１２とを備え、筐体のそれぞれにカメラ１１８０〜１１８２を配置する。テレビ会議を行う際に、テレビ会議システム１００は、ユーザ９００による使用態様（主筐体１０と副筐体１１，１２との位置関係）の入力を受け付ける。テレビ会議システム１００は、入力された使用態様に応じた収音モードを、複数の収音モードの中から決定する。テレビ会議システム１００は、収音モード毎に定めた複数の撮影モードの中から、ユーザ９００による撮影モードの選択を受け付けて、収音モードに応じた収音、及び撮影モードに応じた撮影を開始する。
【選択図】図５

Description

この発明は、ネットワークを介して複数の拠点間で行うテレビ会議に用いるテレビ会議システムに関するものである。

従来、カメラが撮影した映像信号と、マイクが収音した収音信号と、をネットワークを介して複数の拠点間で送受信するテレビ会議システムが各種提案されている。

特許文献１のテレビ会議装置は、会議室の壁面に配置されており、正面に４台のカメラを備える。テレビ会議装置は、１台の広角カメラで全体を撮影し、３台のカメラでカメラの略正面に着席するユーザを個々に撮影する。
特開２００７−２７４４６２号公報

しかしながら、特許文献１のテレビ会議装置では、ユーザの着席位置がカメラの略正面から外れた場合に、ユーザは、カメラの撮影範囲から外れてしまうので、常にカメラの略正面の位置に着席する必要があった。

そこで、この発明は、ユーザの着席位置に応じて、カメラの撮影方向を明示的に合わせることができるテレビ会議システムを提供することを目的とする。

この発明のテレビ会議システムは、撮影して映像信号を生成する撮影手段と、収音して収音信号を生成する収音手段と、をそれぞれ備え、互いに移動可能に接続された複数の筐体と、前記複数の筐体間の相対的な変位量を測定する変位量測定手段と、前記変位量測定手段の測定結果に基づいて、各収音手段の収音信号に基づく収音指向性を制御して出力用収音信号を生成する収音制御手段と、前記変位量測定手段の測定結果に基づいて、各撮影手段の映像信号から出力用映像信号を生成する映像生成手段と、前記出力用収音信号と前記出力用映像信号とを関連付けて送信する通信手段と、を備えたことを特徴とする。

この構成では、テレビ会議システムは、複数の筐体を備え、筐体のそれぞれに、カメラで撮影して映像信号を生成する撮影手段とマイクアレイで収音して収音信号を生成する収音手段とを備える。テレビ会議システムは、複数の筐体間の相対的な変位量を測定し、測定結果に基づいて、各収音手段の収音信号に対して収音指向性を制御して出力用収音信号を生成するとともに、各撮影手段の映像信号から出力用映像信号を生成する。テレビ会議システムは、該出力用収音信号と該出力用映像信号とを関連付けて送信する。これにより、ユーザは、筐体を移動させるだけで、所望する収音指向性を備えた出力用収音信号、所望する筐体（撮影方向）からの出力用映像信号を得ることができる。すなわち、ユーザの着席位置に応じて、筐体を移動させることで、適切な収音指向性を得るとともに、カメラの撮影方向を合わせることができる。

また、この発明のテレビ会議システムの前記収音制御手段は、前記変位量測定手段の測定結果に基づいて、複数の収音モードの中から収音モードを選択する収音モード選択手段を備え、該収音モード選択手段が選択した収音モードに基づいて、各収音手段の収音信号に基づく収音指向性を制御し、前記映像生成手段は、前記収音モード選択手段が選択した収音モードに基づいて、複数の撮影モードの中から撮影モードを選択する撮影モード選択手段と、を備え、該撮影モード選択手段が選択した撮影モードに基づいて、出力用映像信号を生成することを特徴とする。

この構成では、テレビ会議システムは、複数の筐体間の相対的な変位量の測定結果に基づいて、複数の収音モードの中から適切な収音モードを選択する。テレビ会議システムは、収音モードに応じた撮影モードの中から、撮影モードをユーザに選択させる。テレビ会議システムは、適切な収音モードに応じて収音指向性を制御して出力用収音信号を生成し、ユーザが選択した撮影モードに応じて出力用映像信号を選択する。これにより、ユーザは、筐体を移動させるだけで、テレビ会議システムが適切な収音モードを選択する。更に、ユーザは、選択された収音モードに対応する撮影モードの中から所望する撮影モードを選択することができる。

更に、この発明のテレビ会議システムの前記収音制御手段は、最も信号レベルが高い収音信号を生成した収音手段を特定し、前記撮影モード選択手段は、前記収音制御手段が特定した収音手段を備えた筐体の撮影手段の映像信号を出力用映像信号として生成する撮影モードを選択することを特徴とする。

この構成では、テレビ会議システムは、上述の収音モード下で、最も信号レベルが高い収音信号を生成した収音手段を特定し、特定された収音手段と同じ筐体に設置された撮影手段の映像信号を出力用映像信号として出力する。これにより、テレビ会議システムは、発言したユーザを撮影した映像信号を出力用映像信号として出力することができる。この結果、他拠点のユーザは、話者の発言による出力用収音信号とともに、話者を的確にとらえた出力用映像信号を受信することができ、発言したユーザを容易に特定することができる。

加えて、この発明のテレビ会議システムの前記撮影モード選択手段は、特定の収音モードが選択された場合に、各撮影手段からの映像信号を用いて、パノラマ映像信号を形成し、該パノラマ映像信号を出力用映像信号として生成する撮影モードを選択することを特徴とする。

この構成では、テレビ会議システムは、特定の収音モードが選択されると、各撮影手段からの映像信号を用いて、パノラマ映像信号を形成し、該パノラマ映像信号を出力用映像信号として出力する。これにより、テレビ会議システムは、テレビ会議に参加している全ユーザを撮影した映像信号を出力用映像信号として送信することができる。この結果、他拠点のユーザは、テレビ会議を行う相手の参加者全員を容易に把握することができる。

また、この発明のテレビ会議システムの前記複数の筐体は、互いに回動可能に接続されてなることを特徴とする。

この構成では、複数の筐体は、互いに回動可能に接続されている。これにより、ユーザの着席位置に応じて、筐体を回動させることで、適切な収音指向性を得るとともに、カメラの撮影方向を合わせることができる。

この発明のテレビ会議システムは、ユーザの着席位置に応じて、筐体を移動させることで、適切な収音指向性を得るとともに、カメラの撮影方向を明示的に合わせることができる。

本発明の実施形態に係るテレビ会議システム１００の概要について図１を参照して説明する。図１は、本実施形態のテレビ会議システムの概略図である。テレビ会議システム１００は、テレビ会議装置１とＰＣ２とから構成され、テレビ会議装置１とＰＣ２とはＵＳＢケーブル３００で接続される。テレビ会議装置１は、主筐体１０と該主筐体１０に対して回動可能な副筐体１１，１２とを備える。

テレビ会議システム１００を用いて会議を行う場合、テレビ会議システム１００は、ユーザ９００による使用態様の入力を受け付ける。この使用態様は、ユーザ９００により設定されるテレビ会議システム１００の主筐体１０と副筐体１１，１２との位置関係のことであり、会議に参加するユーザ９００〜９０２の人数や着席位置に応じて、適宜選択される。テレビ会議システム１００は、使用態様が入力されると、該使用態様に応じた収音モードを、複数の収音モードの中から決定する。テレビ会議システム１００は、収音モード毎に定めた複数の撮影モードの中から、ユーザ９００による撮影モードの選択を受け付けて、収音モードに応じた収音、及び撮影モードに応じた撮影を行う。

次に、テレビ会議システム１００の具体的機能・構成について図２，３を参照して説明する。テレビ会議システム１００は、主として放音、収音、回動量検出、及び撮像を行うテレビ会議装置１と、主として他のテレビ会議システムと通信するＰＣ２とからなる。図２は、本実施形態のテレビ会議装置の基本姿勢での平面図である。図３は、本実施形態のテレビ会議装置とＰＣとからなるテレビ会議システムの機能ブロック図である。

図２に示すように、テレビ会議装置１は、機構的に、主筐体１０と当該主筐体１０に対して回動可能に設置された二個の副筐体１１，１２とにより構成される。なお、以下の説明では、主筐体１０及び副筐体１１，１２にそれぞれ設置されるマイクＭＩＣ数は四台ずつであり、主筐体１０に設置されるスピーカＳＰ数は二台であるが、マイクＭＩＣ数及びスピーカＳＰ数は仕様に応じて適宜設定すればよい。

主筐体１０は、平面視した形状が略三角形状であり、側壁に沿ってマイクＭＩＣが設置できる程度の厚みからなる。以下、図２における下方向を正面方向と称す。主筐体１０には、三つの側壁があり、正面方向側壁（図２における下方向に壁面を有する側壁）の内側には、四台のマイクＭＩＣが正面方向側壁から外方を収音方向として設置されている。四台のマイクＭＩＣは正面方向側壁に平行に所定間隔で配列され、これら四台のマイクＭＩＣにより正面方向側壁から外方を収音領域とするマイクアレイ１１６０が構成される。

主筐体１０の正面方向側壁で、マイクＭＩＣ列の上面（図２で平面視される面）側には、広角カメラ（以下、カメラと称す。）１１８０が設置されている。カメラ１１８０は、正面方向側壁から外方を撮影方向として、正面方向側壁の長辺方向における略中央に配置される。

主筐体１０の上面（図２で平面視される面）には、複数の操作子からなる操作部１１５が設置されている。複数の操作子は、例えば図２に示すように正面方向側壁に平行に配列される。ここで、複数の操作子は、例えば、後述する実行アプリケーション（以下、実行アプリと称す。）の起動及び終了を受け付ける操作子（以下、実行アプリ用操作子と称す。）や、放音音声のボリューム調整を受け付ける操作子や、マイクミュートを受け付ける操作子等である。

主筐体１０を平面視した三角形の略中心付近の内部には、二台のスピーカＳＰが正面方向側壁に平行で且つダイポールスピーカ制御が可能な間隔で設置されている。また、主筐体１０の上面壁の操作部１１５以外の領域及び正面方向側壁はメッシュ加工されている。

主筐体１０の正面方向側壁の対角に相当する部分には、図示しないが、入出力Ｉ／Ｆ１１１（図３参照）として、ＵＳＢ接続端子、アナログオーディオＩＮ端子、アナログオーディオＯＵＴ端子、及び電源入力端子等が設置されている。

主筐体１０の正面方向側壁の両端の角に相当する部分のそれぞれは、副筐体１１，１２との回動接続部１３Ａ，１３Ｂであり、当該回動接続部１３Ａ，１３Ｂを回動中心として、副筐体１１，１２が主筐体１０に対して回動する。この回動接続部１３Ａ，１３Ｂには、ロータリエンコーダ１１７１，１１７２（図３参照）が設置されており、ロータリエンコーダ１１７１で副筐体１１の回動量に応じた検出信号を取得し、ロータリエンコーダ１１７２で副筐体１２の回動量に応じた検出信号を取得する。

副筐体１１，１２は、長辺方向の長さが主筐体１０の三角形の一辺と略同じであり、短辺方向の長さが所定長からなり、厚みが主筐体１０と同じ略直方体形状からなる。副筐体１１，１２は、長辺方向の一端が回動接続部１３Ａ，１３Ｂで主筐体１０に接続されている。そして、副筐体１１，１２は、主筐体１０に長辺方向の全辺が当接する状態を回動範囲の一方端とし、長辺方向と主筐体１０の正面方向側壁とが平行になる位置を経て、主筐体１０の正面方向側壁よりさらに正面方向へ突出する所定角度となる位置を回動範囲の他方端とする範囲で回動する。

副筐体１１には、主筐体１０の一側壁（図２の場合、向かって右上側になる側壁）に当接した状態で、主筐体１０側と反対の外方（図２の場合の向かって右上側方向）を収音方向として、四台のマイクＭＩＣが設置されている。これらのマイクＭＩＣは、副筐体１１の長辺方向に沿って所定間隔で配列され、これら四台のマイクＭＩＣにより副筐体１１のマイクＭＩＣ設置側面から外方を収音領域とするマイクアレイ１１６１が構成される。また、副筐体１１の主筐体１０と反対側で、マイクＭＩＣ列の上面（図２で平面視される面）側には、広角カメラ（以下、カメラと称す。）１１８１が設置されている。カメラ１１８１は、主筐体１０と反対側の外方（図２の場合の向かって右上側方向）を撮影方向として、主筐体１０と反対側の壁面の長辺方向における略中央に配置される。

副筐体１２には、主筐体１０の一側壁（図２の場合、向かって左上側になる側壁）に当接した状態で、主筐体１０側と反対の外方（図２の場合の向かって左上側方向）を収音方向として、四台のマイクＭＩＣが設置されている。これらのマイクＭＩＣは、副筐体１２の長辺方向に沿って所定間隔で配列され、これら四台のマイクＭＩＣにより副筐体１２のマイクＭＩＣ設置側面から外方を収音領域とするマイクアレイ１１６２が構成される。これらマイクアレイ１１６１，１１６２の各マイクＭＩＣでの収音信号は、回動接続部１３Ａ，１３Ｂを介して主筐体１０の収音制御部１１３（図３参照。）へ与えられる。また、副筐体１２の主筐体１０と反対側で、マイクＭＩＣ列の上面（図２で平面視される面）側には、広角カメラ（以下、カメラと称す。）１１８２が設置されている。カメラ１１８２は、主筐体１０と反対側の外方（図２の場合の向かって左上側方向）を撮影方向として、主筐体１０と反対側の壁面の長辺方向における略中央に配置される。

更に図３に示すように、テレビ会議装置１は、上述の入出力Ｉ／Ｆ１１１、操作部１１５、マイクアレイ１１６０〜１１６２、ロータリエンコーダ１１７１，１１７２とともに、主筐体１０内に機能部として、制御部１１０、ミュート部１０１、ボリューム調整部１０２、放音制御部１１２、収音制御部１１３、エコーキャンセラ１１４、スピーカＳＰ、カメラ１１８０〜１１８２、及び映像制御部１１９を備える。

制御部１１０は、テレビ会議装置１の全体制御を行う。制御部１１０は、操作部１１５の各操作子により入力されたコマンドに基づいて制御を行う。例えば、制御部１１０は、実行アプリの起動の操作入力を受け付けると、入出力Ｉ／Ｆ１１１を介してＵＳＢケーブル３００で接続されるＰＣ２へ、実行アプリ起動制御を行う。制御部１１０は、実行アプリの終了の操作入力を受け付けると、入出力Ｉ／Ｆ１１１を介してＵＳＢケーブル３００で接続されるＰＣ２へ、実行アプリ終了制御を行う。制御部１１０は、放音音声のボリューム調整の操作入力を受け付けると、ボリューム調整を指示するボリューム調整信号をボリューム調整部１０２に出力する。制御部１１０は、マイクミュートの操作入力を受け付けると、出力収音信号の出力停止を指示する出力停止信号をミュート部１０１に出力する。

また、制御部１１０は、後述するＰＣ２のＣＰＵ２１０にて収音モードが決定すると、当該収音モードに応じた収音指向性を形成させる収音指向性指示を収音制御部１１３へ与える。制御部１１０は、入出力Ｉ／Ｆ１１１で入力された放音指向性情報付きの放音音声信号から放音指向性情報を取得し、放音制御部１１２へ放音指向性指示を与える。制御部１１０は、後述するＰＣ２のＣＰＵ２１０にて撮影モードが決定すると、当該撮影モードに応じて出力用映像信号を選択させる映像信号出力指示を映像制御部１１９へ与える。

更に、制御部１１０は、ロータリエンコーダ１１７１，１１７２からの検出信号に基づいて回動量を検出して、ＰＣ２へ出力する。また、制御部１１０は回動量の変位（主筐体１０に対する副筐体１１，１２の回動）を検出すると、ミュート部１０１に収音停止信号を出力する。なお、制御部１１０は、回動量の変位を検出しても、映像制御部１１９に対して、映像信号の生成を停止するよう指示しない。これにより、ＰＣ２の表示部２１６で映像信号を表示し続けると、ユーザ９００は、副筐体１１，１２を回動させながら、所望する撮影範囲を容易に設定することができる。

入出力Ｉ／Ｆ１１１は、上述のような構成からなり、本実施形態では、ＵＳＢケーブル３００を介してＰＣ２の機器Ｉ／Ｆ２１１に接続する。入出力Ｉ／Ｆ１１１は、放音音声信号の入力、出力用収音信号の出力、映像信号の出力を行う。入出力Ｉ／Ｆ１１１は、放音音声信号とともに放音指向性情報が入力されると、放音指向性情報を制御部１１０へ与え、放音音声信号をボリューム調整部１０２へ与える。入出力Ｉ／Ｆ１１１は、出力用収音信号を出力する際には、制御部１１０から収音指向性情報を取得して、出力用収音信号に関連付けして出力する。また、入出力Ｉ／Ｆ１１１は、制御部１１０とＰＣ２との間の各種制御信号の入出力を行う。

ボリューム調整部１０２は、制御部１１０からのボリューム調整信号に基づいて、ＰＣ２及び入出力Ｉ／Ｆ１１１を介して取得した放音音声信号の信号レベルを調整し、エコーキャンセラ１１４を介して放音制御部１１２へ出力する。

放音制御部１１２は、ボリューム調整部１０２からエコーキャンセラ１１４を介して入力された放音音声信号と、制御部１１０からの放音指向性指示とに基づいて、二つのスピーカＳＰのそれぞれに与える個別放音駆動信号を生成する。具体的には、放音制御部１１２は、指示された放音指向性指示に基づいて、二台のスピーカＳＰに与える個別放音駆動信号間の遅延関係を決定する。放音制御部１１２は、当該遅延関係に応じた遅延処理を、分割した二つの放音音声信号に対して行い、それぞれ個別放音駆動信号として二台のスピーカＳＰへ出力する。

二台のスピーカＳＰは、上述のような予め設定された間隔で配置され、個別放音駆動信号により放音する。二台のスピーカＳＰの間隔と、それぞれに与えられる個別放音駆動信号とは、予めダイポールスピーカとして機能するように設定されており、これらの条件により、複数の放音指向性を実現する。

主筐体１０に設置されたマイクアレイ１１６０の四台のマイクＭＩＣは、主筐体１０の正面方向側壁の外方の所定領域を収音領域として、当該収音領域での音声を収音して収音信号を生成する。

副筐体１１に設置されたマイクアレイ１１６１の四台のマイクＭＩＣは、副筐体１１におけるマイクアレイ１１６１が設置された側の外方の所定領域を収音領域として、当該収音領域での音声を収音して収音信号を生成する。

同様に、副筐体１２に設置されたマイクアレイ１１６２の四台のマイクＭＩＣは、副筐体１２におけるマイクアレイ１１６２が設置された側の外方の所定領域を収音領域として、当該収音領域での音声を収音して収音信号を生成する。

収音制御部１１３は、各マイクアレイ１１６０〜１１６２のマイクＭＩＣでの収音信号に対して、制御部１１０から与えられた収音指向性指示に基づく遅延処理や加算処理を行うことで、指示された収音指向性で収音されてなる出力用収音信号を生成して、エコーキャンセラ１１４へ出力する。収音制御部１１３は、収音方向を取得できる場合には収音指向性情報を制御部１１０へ与える。なお、複数の話者が同時に話していれば、それぞれ個別に出力用収音信号や収音指向性情報を生成することもできる。

エコーキャンセラ１１４は、適応型フィルタと加算器を含むポストプロセッサとを備える。適応型フィルタは放音音声信号に基づく疑似回帰音信号を生成して、ポストプロセッサの加算器へ疑似回帰音信号を与える。ポストプロセッサの加算器は、出力用収音信号から疑似回帰音信号を減算することでエコーキャンセルして、ミュート部１０１を介して入出力Ｉ／Ｆ１１１へ出力する。この際、ポストプロセッサは、出力結果を適応型フィルタにフィードバックする。

ミュート部１０１は、制御部１１０から収音停止信号が入力されている間、入出力Ｉ／Ｆ１１１へ出力用収音信号の出力を停止する。

主筐体１０に設置されたカメラ１１８０は、主筐体１０の正面方向側壁の外方の所定領域を撮影領域として、当該撮影領域での映像信号を生成する。

副筐体１１に設置されたカメラ１１８１は、副筐体１１におけるカメラ１１８１が設置された側の外方の所定領域を撮影領域として、当該撮影領域での映像信号を生成する。

同様に、副筐体１２に設置されたカメラ１１８２は、副筐体１２におけるカメラ１１８２が設置された側の外方の所定領域を撮影領域として、当該撮影領域での映像信号を生成する。

映像制御部１１９は、各カメラ１１８０〜１１８２が生成した映像信号に対して、制御部１１０から与えられた映像信号出力指示に基づいて、映像信号を選択して入出力Ｉ／Ｆ１１１へ出力する。

ＰＣ２は、例えば汎用のパーソナルコンピュータであり、ＣＰＵ２１０、機器Ｉ／Ｆ２１１、通信Ｉ／Ｆ２１２、記憶部２１３、ＲＡＭ２１４、操作部２１５、表示部２１６を備える。

ＣＰＵ２１０は、ＲＡＭ２１４を一時記憶領域及び作業領域として利用し、操作部２１５の入力等に基づいてネットワーク通信等を含む各種の汎用処理を実行する。ＣＰＵ２１０は、テレビ会議装置１から実行アプリ起動制御を受け付けると、記憶部２１３に記憶されている実行アプリ（位置関係検出アプリケーション（以下、位置関係検出アプリと称す。）とモード決定アプリケーション（以下、モード決定アプリと称す。）とを含む。）を読み出して実行する。ＣＰＵ２１０は、テレビ会議装置１から取得した回動量と記憶部２１３に記憶されている位置関係データとに基づいて、主筐体１０と副筐体１１，１２との実測位置関係を算出する。ＣＰＵ２１０は、記憶部２１３に記憶されている収音モードデータの中から、実測位置関係に該当する収音モードを決定する。ＣＰＵ２１０は、記憶部２１３に記憶されている撮影モードデータの中から、決定した収音モードに関連付けられた撮影モードを取得して、該撮影モードを表示部２１６へ表示する。ＣＰＵ２１０は、操作部２１５から入力された撮影モードに応じて、テレビ会議装置１から入力された映像信号を加工して、出力用映像信号を生成する。なお、実行アプリによる詳細な実行内容は後述する。

機器Ｉ／Ｆ２１１は、本実施形態ではＵＳＢ端子であり、ＵＳＢケーブル３００を介してテレビ会議装置１の入出力Ｉ／Ｆ１１１に接続し、ＣＰＵ２１０とテレビ会議装置１との間の通信を制御する。

通信Ｉ／Ｆ２１２は、所謂ＬＡＮ端子であり、ネットワークケーブルを介してネットワーク４００へ接続する。

記憶部２１３は、所謂ハードディスクドライブＨＤＤ等からなり、ＰＣとしての汎用の処理プログラムを格納するとともに、実行アプリ、位置関係データ、収音モードデータ、撮影モードデータ等を記憶する。位置関係データは、回動量と位置関係とを関連付けるデータである。収音モードデータは、位置関係と該位置関係に該当する収音モードとを関連付けるデータである。撮影モードデータとは、収音モードと撮影モードとを関連付けるデータである。

操作部２１５は、所謂キーボードやマウスであり、ユーザ９００からの操作入力を受け付けてＣＰＵ２１０へ与える。例えば、操作部２１５は、ユーザ９００から撮影モードの指定を受け付けてＣＰＵ２１０へ与える。

表示部２１６は、所謂液晶表示パネル等からなり、ＣＰＵ２１０の制御に基づいて、各種画面を表示する。

次に、テレビ会議装置１の使用態様と収音モードと撮影モードとの関係について図４を参照して説明する。図４は、テレビ会議装置の使用態様に応じた収音モード及び撮影モードの対応図である。図４に示すように、テレビ会議装置１は、使用態様（主筐体１０と副筐体１１，１２との位置関係）に応じて、収音モード（全周モード、スーパーワイドモード、狭範囲モード、ワイドモード、及びストレートモード。）を決定し、該収音モードに応じて、各マイクアレイ１１６０〜１１６２の収音指向性を決定する。また、テレビ会議装置１は、収音モード毎に対応する１以上の撮影モードを有しており、ユーザ９００からの操作入力により撮影モードを決定する。なお、テレビ会議装置１は、ユーザ９００からの操作入力により撮影モードが決定されない場合は、デフォルトの撮影モード（カメラ切替モード）を決定する。また、以下に記載する収音モードと各撮影モードとの組み合わせは一例であり、テレビ会議装置１の仕様に応じて、適宜設定すればよい。

（１）全周モード
テレビ会議装置１は、全周モードでは、各マイクアレイ１１６０〜１１６２のそれぞれの収音指向性を広範囲指向性に設定して、テレビ会議装置１の全周囲から収音する。この全周モードでは、撮影モードとして、収音信号に応じて発言者方向を撮影するカメラ切替モードと、テレビ会議装置１の全周囲を撮影するパノラマモードと、を有する。

カメラ切替モードでは、テレビ会議装置１は、各マイクアレイ１１６０〜１１６２からの収音信号のうち、最も信号レベルが大きい収音信号を収音したマイクアレイを備える筐体のカメラの映像信号（最も信号レベルが大きい収音信号の収音方向を撮影した映像信号）をＰＣ２へ出力する。ＰＣ２は、入力された映像信号を出力用映像信号として送信する。

また、パノラマモードでは、テレビ会議装置１は、各カメラ１１８０〜１１８２からの映像信号をＰＣ２に出力する。ＰＣ２は、各映像信号を合成してパノラマ映像信号を生成し、該パノラマ映像信号を出力用映像信号として送信する。

（２）スーパーワイドモード
テレビ会議装置１は、スーパーワイドモードでは、各マイクアレイ１１６０〜１１６２のそれぞれの収音指向性を広範囲指向性に設定して、主筐体１０、及び副筐体１１，１２が配置されない特定方向（四辺のうちの一辺方向。）を除く、主筐体１０の周囲から収音する。このスーパーワイドモードでは、撮影モードとして、収音信号に応じて発言者方向を撮影するカメラ切替モードを有する。

（３）狭範囲モード
テレビ会議装置１は、狭範囲モードでは、各マイクアレイ１１６０〜１１６２のそれぞれの収音指向性を狭範囲指向性に設定して、主筐体１０及び副筐体１１，１２に囲まれる狭範囲エリアから収音する。この狭範囲モードでは、撮影モードとして、収音信号に応じて発言者方向を撮影するカメラ切替モードと、狭範囲エリアに着席したユーザを特定方向から撮影するカメラ固定モードと、を有する。

カメラ固定モードでは、テレビ会議装置１は、カメラ１１８０からの映像信号をＰＣ２へ出力する。ＰＣ２は、入力された映像信号を出力用映像信号として送信する。

（４）ワイドモード
テレビ会議装置１は、ワイドモードでは、各マイクアレイ１１６０〜１１６２のそれぞれの収音指向性を広範囲指向性に設定して、主筐体１０の正面方向側壁に沿う方向に対して広範囲に収音する。このワイドモードでは、撮影モードとして、収音信号に応じて発言者方向を撮影するカメラ切替モードを有する。

（５）ストレートモード
テレビ会議装置１は、ストレートモードでは、各マイク１１６０〜１１６２の収音指向性を中範囲指向性に設定することで、主筐体１０の正面方向側から収音する。このストレートモードでは、撮影モードとして、収音信号に応じて発言者方向を撮影するカメラ切替モードと、主筐体１０の正面方向側を撮影するパノラマモードと、を有する。

次に、本実施形態の特徴である実行アプリの実行フローについて、図５を参照して説明する。図５は、実行アプリの処理の流れを示すフローチャートである。テレビ会議装置１とＰＣ２とが既に起動されており、テレビ会議装置１とＰＣ２とがＵＳＢケーブル３００で接続された状態で、ユーザの操作によりＰＣ２によるネットワーク通信が確立される。この状態で、図５に示すように、ユーザがテレビ会議装置１の実行アプリ用操作子を操作すると、テレビ会議装置１は、この操作を受け付けて（Ｓ１０１：Ｙｅｓ）、実行アプリ起動指示をＰＣ２へ出力する。テレビ会議装置１は、実行アプリ用操作子による起動入力を受けるまでは、ＰＣ２へ実行アプリ起動指示を出力しない（Ｓ１０１：Ｎｏ）。すなわち、実行アプリ起動指示を受けなければ、テレビ会議装置１は、ＰＣ２からネットワーク４００を介して接続される多地点のテレビ会議システムとの間で、単にテレビ会議を行って放収音及び撮影のみを行う装置として機能する。

ＰＣ２のＣＰＵ２１０は、実行アプリ起動指示を受け付けると、記憶部２１３に記憶されている実行アプリを読み出して実行する（Ｓ１０２）。実行アプリには、モード決定アプリと位置関係検出アプリとが含まれており、ＣＰＵ２１０は、位置関係検出アプリを実行することで、テレビ会議装置１へ回動量検出指示を出力する。テレビ会議装置１は、回動量検出指示に応じて回動量の検出を開始し、検出した回動量をＰＣ２へ出力する（Ｓ１０３）。テレビ会議装置１は、回動量の検出開始以降、ロータリエンコーダ１１７１，１１７２から検出信号を受け付ける毎に、回動量をＰＣ２へ出力する。

ＣＰＵ２１０は、テレビ会議装置１から入力された回動量に変化があったことを検出すると、すなわち、主筐体１０に対する副筐体１１，１２の回動を検出すると（Ｓ１０４：Ｙｅｓ）、位置関係データを読み出して主筐体１０と副筐体１１，１２との位置関係を算出する（Ｓ１０５）。この算出された位置関係は、記憶部２１３に更新記憶される。一方、副筐体１１，１２の回動を検出しなければ、新たに回動を検出するまでＳ１０５以降の処理を行わない（Ｓ１０４：Ｎｏ→Ｓ１０３）。

ＣＰＵ２１０は、記憶部２１３に記憶された収音モードデータを読み出し、算出した位置関係と同等の位置関係を含む収音モードが有るかどうか検出する。同等であるかどうかは、例えば、算出した位置関係すなわち主筐体１０と各副筐体１１，１２との成す角が、収音モードデータとして記憶された各収音モードに対応する主筐体１０と各副筐体１１，１２との成す角に対して±１０度以内であるかどうか等により判定する。なお、判定の基準は、ロータリエンコーダ１１７１，１１７２の角度分解能や収音モードに応じて適宜設定すればよい。

ＣＰＵ２１０は、同等の位置関係を含む収音モードを検出すると（Ｓ１０６：Ｙｅｓ）、該収音モードを表示部２１６に表示させる（Ｓ１０８）。ＣＰＵ２１０は、記憶部２１３に記憶された撮影モードデータを読み出し、収音モードに応じた全ての撮影モードを表示部２１６に表示させ、撮影モードの入力を受け付ける（Ｓ１０９）。ＣＰＵ２１０は、ユーザ９００の操作部２１５の操作により撮影モードが入力されると（Ｓ１０９：Ｙｅｓ）、入力された撮影モードに決定して（Ｓ１１０）、該入力された撮影モードを表示部２１６に表示させる（Ｓ１１２）。また、撮影モードが入力されない場合は（Ｓ１０９：Ｎｏ）、ＣＰＵ２１０は、デフォルトの撮影モードに決定して（Ｓ１１１）、該デフォルトの撮影モードを表示部２１６に表示させる（Ｓ１１２）。

ＣＰＵ２１０は、同等の位置関係を含む収音モードが検出できなければ（Ｓ１０６：Ｎｏ）、使用態様を再入力するように表示部２１６に表示させる（Ｓ１０７）。

上述の各処理は、テレビ会議装置１で実行アプリ用操作子により実行アプリ終了操作を受け付けるまで、継続的に実行される（Ｓ１１３：Ｎｏ）。従って、実行アプリが実行されている間は、ユーザが副筐体１１，１２を回動操作すれば、この回動により収音モードが再評価されて、再評価の内容に準じた収音モード及び撮影モードの入力受付が行われる。

一方、テレビ会議装置１で実行アプリ用操作子により実行アプリ終了操作を受け付けると（Ｓ１１３：Ｙｅｓ）、ＣＰＵ２１０は、実行アプリの終了処理を行う（Ｓ１１４）。以上で、テレビ会議装置１の使用態様（主筐体１０と副筐体１１，１２との位置関係）に応じた収音モード、及び該収音モードに応じた撮影モードが決定する。

以上のように、本実施形態では、テレビ会議へ参加するユーザの人数変更、ユーザの着席位置の変更に応じて、テレビ会議装置１の使用態様を変更するだけで、すなわち、副筐体１１，１２を回動させるだけで、適切な収音モード及び撮影モードを用いてテレビ会議を行うことができる。

次に、撮影モードに応じた映像信号の出力処理について、図６を参照して説明する。図６は、撮影モードに応じた映像信号の出力処理を示すフローチャートである。図６に示すように、テレビ会議装置１の制御部１１０は、映像制御部１１９にカメラ１１８０〜１１８２毎に生成された映像信号を取得させ（Ｓ１２１）、ＰＣ２のＣＰＵ２１０から入力された撮影モードに応じて次の処理を行う（Ｓ１２２）。撮影モードがカメラ固定モードの場合は（Ｓ１２２：カメラ固定モード）、制御部１１０は、映像制御部１１９に、主筐体１０のカメラ１１８０が生成した映像信号を選択させて（Ｓ１２３）、該選択した映像信号をＰＣ２へ出力する（Ｓ１２９）。

また、撮影モードがパノラマモードの場合は（Ｓ１２２：パノラマモード）、制御部１１０は、映像制御部１１９に、全カメラ１１８０〜１１８２が生成した映像信号を全て選択させて（Ｓ１２４）、ステップＳ１２９以降の処理を行う。

更に、撮影モードがカメラ切替モードの場合は（Ｓ１２５：カメラ切替モード）、制御部１１０は、各マイクアレイ１１６０〜１１６２の収音信号の信号レベルを検出し（Ｓ１２５）、最も信号レベルが大きい収音信号を生成したマイクアレイを選択する（Ｓ１２６）。制御部１１０は、該マイクアレイと同じ筐体に設置されたカメラを選択する（Ｓ１２７）。制御部１１０は、映像制御部１１９に該カメラが生成した映像信号を選択させて（Ｓ１２９）、ステップＳ１２９以降の処理を行う。

ＰＣ２のＣＰＵ２１０は、映像信号が入力されると（Ｓ１４１）、撮影モードに応じて、次の処理を行う（Ｓ１４２）。撮影モードがパノラマモードの場合は（Ｓ１４２：Ｙｅｓ）、ＣＰＵ２１０は、入力された映像信号をパノラマ合成する（Ｓ１４４）。ＣＰＵ２１０は、パノラマ合成した映像信号を出力用映像信号として（Ｓ１４５）、他のテレビ会議システムへ送信する（Ｓ１４６）。

また、撮影モードがパノラマモード以外（カメラ切替モード、カメラ固定モード）の場合は（Ｓ１４２：Ｎｏ）、ＣＰＵ２１０は、入力された映像信号を出力用映像信号として（Ｓ１４３）、ステップＳ１４６以降の処理を行う。以上で、撮影モードに応じた出力用映像信号が決定する。

以上のように、本実施形態では、カメラ固定モード、カメラ切替モードでは、発言したユーザのみを撮影することができる。また、パノラマモードでは、テレビ会議に参加している全ユーザを撮影することができる。

なお、本実施形態では、筐体毎に１台のカメラ１１８０〜１１８２を備えたが、筐体毎に視野角の狭い複数のカメラを備え、該複数のカメラからの映像信号を合成して、筐体毎に映像信号を生成してもよい。

また、本実施形態では、筐体の側壁に対して垂直な方向を撮影の中心方向として固定したカメラ１１８０〜１１８２を各筐体に設置した。しかし、筐体に対して水平方向に所定範囲内（筐体に対して垂直方向を０°として、−９０°〜９０°以内の範囲内）で回動可能に設置され、撮影方向を変更可能なカメラを設けてもよい。この場合、最も信号レベルが高い収音信号の収音方向に、カメラの撮影方向を向けるようにする。これにより、１つの筐体に複数人のユーザが着席した場合は、発言したユーザにカメラを向けるので、発言したユーザのみを撮影することができる。また、同じカメラの撮影範囲内で、ユーザの着席位置が僅かに移動した場合は、常にユーザが撮影範囲内の中心になるように撮影することができる。

更に、本実施形態では、主筐体１０に対して副筐体１１，１２が回動している間は、出力用収音信号の出力を中断し、出力用映像信号のみを出力する。しかし、出力用収音信号と出力用映像信号との出力を停止してもよい。これにより、副筐体１１，１２を回動させている間に撮影されていた動く映像の配信を防ぐことができる。

加えて、本実施形態では、各筐体にマイクアレイ１１６０〜１１６２を設置したが、各筐体に単なるマイクを設置してもよい。

また、本実施形態では、収音モードの決定をＰＣ２で行ったが、テレビ会議装置１で行ってもよい。この場合、テレビ会議装置１の制御部１１０にて位置関係データ及び収音モードデータを記憶しておき、副筐体１１，１２の回動量に応じた検出信号に基づいて、収音モードを決定する。

更に、本実施形態では、主筐体１０の形状を略三角形状とした。しかし、主筐体１０の形状は、矩形であってもよい。この場合、矩形の対向する２辺が凸になる弧状でもよく、その弧状に応じて、副筐体１１，１２を設けてもよい。

加えて、本実施形態では、ロータリエンコーダ１１７１，１１７２を用いて主筐体１０に対する副筐体１１，１２の回動量を検出することで、筐体間の相対的な変位量を測定したが、回動に限るものではなく、筐体間の相対的な変位量を測定できるものであれば、どのような手段を用いてもよい。例えば、主筺体１０の設置面に平行で、且つ主筐体１０の正面方向に垂直な方向へ、副筐体１１，１２を平行移動可能とし、主筐体１０に対する副筐体１１，１２の移動距離を筐体間の相対的な変位量として測定する。この場合、主筐体１０に対する副筐体１１，１２の移動距離に応じて、収音モードや撮影モードを変更する。これにより、会議机が略正方形状であっても、一方向に長くなる略長方形状であっても、全てのユーザの音声を収音し、その映像を撮影することができる。

本実施形態のテレビ会議システムの概略図である。 本実施形態のテレビ会議装置の基本姿勢での平面図である。 本実施形態のテレビ会議装置とＰＣとからなるテレビ会議システムの機能ブロック図である。 テレビ会議装置の使用態様に応じた収音モード及び撮影モードの対応図である。 実行アプリの処理の流れを示すフローチャートである。 撮影モードに応じた映像信号の出力処理を示すフローチャートである。

符号の説明

１−テレビ会議装置，２−ＰＣ，１０−主筐体，１１，１２−副筐体，１３Ａ，１３Ｂ−回動接続部，１００−テレビ会議システム，１１０−制御部，１１１−入出力Ｉ／Ｆ，１１２−放音制御部，１１３−収音制御部，１１４−エコーキャンセラ，１１５−操作部，１１９−映像制御部，２１０−ＣＰＵ，２１１−機器Ｉ／Ｆ，２１２−通信Ｉ／Ｆ，２１３−記憶部，２１４−ＲＡＭ，２１５−操作部，２１６−表示部，３００−ＵＳＢケーブル，４００−ネットワーク，９００−ユーザ，１１６０〜１１６２−マイクアレイ，１１７１，１１７２−ロータリエンコーダ，１１８０〜１１８２−カメラ，ＭＩＣ−マイク，ＳＰ−スピーカ

Claims (5)

1. 撮影して映像信号を生成する撮影手段と、収音して収音信号を生成する収音手段と、をそれぞれ備え、互いに移動可能に接続された複数の筐体と、
   前記複数の筐体間の相対的な変位量を測定する変位量測定手段と、
   前記変位量測定手段の測定結果に基づいて、各収音手段の収音信号に基づく収音指向性を制御して出力用収音信号を生成する収音制御手段と、
   前記変位量測定手段の測定結果に基づいて、各撮影手段の映像信号から出力用映像信号を生成する映像生成手段と、
   前記出力用収音信号と前記出力用映像信号とを関連付けて送信する通信手段と、を備えたテレビ会議システム。
2. 前記収音制御手段は、前記変位量測定手段の測定結果に基づいて、複数の収音モードの中から収音モードを選択する収音モード選択手段を備え、該収音モード選択手段が選択した収音モードに基づいて、各収音手段の収音信号に基づく収音指向性を制御し、
   前記映像生成手段は、前記収音モード選択手段が選択した収音モードに基づいて、複数の撮影モードの中から撮影モードを選択する撮影モード選択手段と、を備え、該撮影モード選択手段が選択した撮影モードに基づいて、出力用映像信号を生成する請求項１に記載のテレビ会議システム。
3. 前記収音制御手段は、最も信号レベルが高い収音信号を生成した収音手段を特定し、
   前記撮影モード選択手段は、前記収音制御手段が特定した収音手段を備えた筐体の撮影手段の映像信号を出力用映像信号として生成する撮影モードを選択する請求項２に記載のテレビ会議システム。
4. 前記撮影モード選択手段は、特定の収音モードが選択された場合に、各撮影手段からの映像信号を用いて、パノラマ映像信号を形成し、該パノラマ映像信号を出力用映像信号として生成する撮影モードを選択する請求項２又は請求項３に記載のテレビ会議システム。
5. 前記複数の筐体は、互いに回動可能に接続されてなる請求項１〜請求項４に記載のテレビ会議システム。

Images