JP2009017330A - テレビ会議システム、テレビ会議方法およびテレビ会議プログラム - Google Patents

Abstract

【課題】カメラを発話者の方向にすばやく正確に向けることが可能なテレビ会議システムを提供すること。
【解決手段】本発明は、映像を取り込むカメラ（例えば、メインカメラ２０）と、音声を取り込むため所定の位置に配置された複数のマイクロフォン３０と、複数のマイクロフォン３０に対応して設けられ、音声の取り込み開始を受け付けるスイッチと、スイッチによって音声の取り込み開始を受け付けたマイクロフォンと対応付けされた方向にカメラを向けるコントロールユニット３とを備えるテレビ会議システム１である。
【選択図】図１

Description

本発明は、映像を取り込むカメラ、音声を取り込むマイクロフォンを備えるテレビ会議装置、テレビ会議方法およびテレビ会議プログラムに関する。

会議の発言者を撮像してその音声と共に通信回線を介して相手側端末間で送受信するテレビ会議システムにおいて、従来から、テレビ会議端末に接続された複数のマイクロフォンを用意し、会議に参加している複数の参加者から発言者を検出して、その発言者にカメラを向けるカメラ制御装置が開発されている。

例えば、特許文献１では、発言者の位置をマイクロフォンアレイ、もしくは、複数のマイクロフォン入力のうち最大音圧レベルから推定し、その推定方向にカメラを向けて、撮像画像から動き画像を抽出して発言者位置を特定する技術が開示されている。

また、特許文献２では、マイクロフォン入力から音源方向検出を行い、カメラ制御で向けた音源方向の映像から顔の色、輪郭、目鼻口を抽出して人物を特定する技術が開示されている。

また、特許文献３では、カメラ付近のマイクロフォン、もしくはマイクロフォンアレイから会議参加者付近にあるマイクロフォンの位置を特定し、その一方で、会議参加者付近のマイクロフォンから音源位置を特定し、これらの位置関係からカメラと音源のマイクロフォンに対する相対位置を推定することにより、カメラと音源との位置関係を正確に特定する技術が開示されている。

特開２００１−３３９７０３号公報 特開２００３−１８９２７３号公報 特表２００６−５２５７４３号公報

このようなテレビ会議システムにおいて、発話者音声を正確に検出し、その方向を特定する音響分析と、カメラ方向を制御して撮られた映像から話者の顔の特徴や動作から発話者の方向を決定するという２段階の処理過程を経ているが、テレビ会議の行われている会議室の音響環境によっては、部屋の反響音やマイク近くにある騒音源、もしくは不必要な物音等に反応して音声方向を誤検出することがある。また、会議の会話は発言者の音声のみを切り出して相手端末に送信したいが、マイクロフォン入力の音声レベルを使って音声区間を切り出すと、発話中の声の弱い区間を切り落としたり、意図しない音声を誤って相手側に送ってしまうことで、会議の妨害になるという問題が生じる。

また、カメラ映像から人物の顔に関する特徴量や映像の変動等を抽出して発言者を特定する操作は、計算量が膨大であるばかりでなく、カメラを取り巻く照明環境によっては特徴量を抽出できず、発言者の位置特定が困難な場合もある。

そこで、本発明では、このような従来の課題を解決するものであって、会議の参加者個々に用意された端末装置を操作してマイクオンにすることにより、カメラを発話者の方向にすばやく正確に向けるようにすることを目的とする。

本発明はこのような課題を解決するために成されたものである。すなわち、本発明は、映像を取り込むカメラと、音声を取り込むため所定の位置に配置された複数のマイクロフォンと、複数のマイクロフォンに対応して設けられ、音声の取り込み開始を受け付けるスイッチと、スイッチによって音声の取り込み開始を受け付けたマイクロフォンと対応付けされた方向にカメラを向けるカメラ制御手段とを備えるテレビ会議システムである。

このような本発明では、マイクロフォンと対応して設けられるスイッチによって音声の取り込み開始を受け付けた場合、そのマイクロフォンと対応付けされた方向にカメラを向けることから、スイッチによる確実なマイクロフォン選択と、マイクロフォンと対応付けされたカメラの方向選択とを的確に行うことができるようになる。

また、カメラ制御手段は、カメラの方向制御のほか、マイクロフォンと対応付けされたカメラ倍率を選択する制御や、複数のマイクロフォンに対応したスイッチが選択された場合、その順番に応じた優先順位によってカメラを制御したり、マイクロフォンとカメラの少なくとも方向との対応付けを登録できるようになっている。

また、本発明は、映像を取り込むカメラと、音声を取り込むため所定の位置に配置された複数のマイクロフォンと、複数のマイクロフォンに対応して設けられ、音声の取り込み開始を受け付けるスイッチとを備えるテレビ会議システムを用いたテレビ会議方法であり、スイッチによってマイクロフォンでの音声の取り込み開始を受け付けた場合、そのマイクロフォンと対応付けされた方向にカメラを向けるものである。

このような本発明では、マイクロフォンと対応して設けられるスイッチによって音声の取り込み開始を受け付けた場合、そのマイクロフォンと対応付けされた方向にカメラを向けることから、スイッチによる確実なマイクロフォン選択と、マイクロフォンと対応付けされたカメラの方向選択とを的確に行い、テレビ会議を進行できるようになる。

また、本発明は、映像を取り込むカメラと、音声を取り込むため所定の位置に配置された複数のマイクロフォンと、複数のマイクロフォンに対応して設けられ、音声の取り込み開始を受け付けるスイッチとを備えるテレビ会議システムを制御するテレビ会議プログラムであり、スイッチによってマイクロフォンでの音声の取り込み開始を受け付けた場合、そのマイクロフォンと対応付けされた方向にカメラを向ける制御を行うものである。

このような本発明では、マイクロフォンと対応して設けられるスイッチによって音声の取り込み開始を受け付けた場合、そのマイクロフォンと対応付けされた方向にカメラを向けることから、スイッチによる確実なマイクロフォン選択と、マイクロフォンと対応付けされたカメラの方向選択とを的確に行うよう、テレビ会議システムを制御できるようになる。

したがって、本発明によれば、カメラを発話者の方向にすばやく正確に向けることが可能となり、テレビ会議システムの円滑な運用を実現することが可能となる。

以下、本発明の実施の形態を図に基づき説明する。

（テレビ会議システムの構成）
図１は、本実施形態に係るテレビ会議システムの構成を説明する模式図である。テレビ会議システム１は、カメラ（メインカメラ２０、サブカメラ２１）、複数のマイクロフォン３０、コントロールユニット（カメラ制御手段）３、音響システム５、モニタスクリーン１６を備えている。

カメラは、会議参加者の映像を取り込むもので、必要に応じて複数台設けられている。図１に示す例では、２台のカメラとしてメインカメラ２０とサブカメラ２１とが設けられている。カメラで取り込んだ映像は、モニタスクリーン１６に映し出されたり、ネットワークを介して会議相手９に送られる。

マイクロフォン３０は、会議参加者の音声を取り込むもので、会議参加者の人数に応じて複数台設けられている。なお、必ずしも会議参加者の人数と一致していなくてもよく、複数人で１台のマイクロフォン３０を共有してもよい。

コントロールユニット３は、カメラ（メインカメラ２０、サブカメラ２１）やマイクロフォン３０、後述する音響システム５やモニタスクリーン１６、会議相手９とのネットワーク通信を制御する制御手段である。

具体的には、コントロールユニット３は、一つ以上の会議相手９と音声・画像を電話回線およびインターネット回線を通じて通信する手段、会議相手９の映像またはグラフィカルユーザーインターフェース（ＧＵＩ）を通じてテレビ会議システム１の設定および状態を表示するモニタスクリーン１６へ出力する手段、会議相手９の音声を拡声する音響システム５へ出力する手段、会議の映像を撮るメインカメラ２０およびサブカメラ２１から映像信号を受信、および、カメラ制御信号を送信する手段、リモートコントローラ（以下、単に「リモコン」と言う。）７から手動でのカメラ制御や各種操作設定を行うためのコマンドを受信する手段、マイクロフォン３０の入力音声を受信する手段、を有する。

音響システム５は、コントロールユニット３によって制御され、マイクロフォン３０で取り込んだ会議参加者の音声を出力したり、会議相手９から送られてきた相手方会議参加者の音声を出力したりする手段である。

モニタスクリーン１６は、主として会議相手９からネットワークを介して送られてきた映像を映し出す手段である。必要に応じてメインカメラ２０やサブカメラ２１で取り込んだ映像を出力したり、各種の設定画面を出力することもできる。

本実施形態のテレビ会議システム１では、メインカメラ２０やサブカメラ２１の撮影範囲をコントロールユニット３で制御でき、会議参加者のうち発言している人に向けてカメラ撮影範囲を移動するとともに、所定の倍率で映像を取り込むことができるようになっている。

このようなカメラ制御において、コントロールユニット３は、マイクロフォン３０に対応して設けられたスイッチ（後述）によって音声の取り込み開始を受け付けた場合、そのマイクロフォン３０と予め対応付けされた方向にカメラ（メインカメラ２０やサブカメラ２１）を向ける制御を行う。

すなわち、予めマイクロフォン３０とカメラの方向との対応付けが登録されており、スイッチによって音声の取り込み開始を受け付けたマイクロフォン３０と対応するカメラの方向を登録内容から読み取り、その方向へカメラを迅速に向けることができる。

また、この登録内容には、カメラの倍率も登録されており、音声の取り込みを開始したマイクロフォン３０と対応する方向へカメラを向けるとともに、その登録された倍率で映像を取り込むことができる。

（テレビ会議システム各部の配置例）
図２は、テレビ会議システム各部の会議室内での配置例を示す模式図である。会議室１２は例えばＵ字型に置かれた会議テーブル１４を取り巻くように会議参加者１８が座っている。

また、会議室１２の壁面前に大型のモニタスクリーン１６が設置されており、プロジェクタ等でテレビ会議システム１に接続された通信相手の会議室の様子を映し出すことができる。

その手前には会議の映像を映すカメラ（ここではメインカメラ２０のみを示す）が設置されている。図３に示すように、メインカメラ２０は、映像を取り込む方向として水平方向（パン）および垂直方向（チルト）を変更可能にする雲台２２と、その位置を制御するカメラ制御装置２４とを備えた構成となっている。

カメラ制御装置２４は、コントロールユニット３から送られる制御信号によりパン、チルトとともに取り込み倍率調整（ズーム）を行い、所定の映像取り込み位置へメインカメラ２０を動かし、被写体を適切な構成で映し出す。

会議テーブル１４上には各会議参加者１８に対応してそれぞれ例えば図４に示すようなマイクロフォン３０が並べられている。マイクロフォン３０は基台３２にスイッチ３４が設けられており、このスイッチ３４を押している間だけマイク入力をオンにし、スイッチ３４を離すとマイク入力をオフにすることができる。これにより、発言者が発言したい時にスイッチ３４を押し続けることにより、必要な音声だけを途切れることなく相手側会議システムに送ることができる。

なお、スイッチ３４はマイクロフォン３０と一体に設けられているもの以外、例えば会議テーブル１４の各座席の近傍に設けられていてもよく、スイッチ３４とマイクロフォン３０との対応がとれていればよい。

また、発言者がスイッチ３４を押して発言しているにも関わらず、同じ会議室内の別の参加者が別のマイクロフォン３０のスイッチ３４を押して話し始めた場合は、両者の音声を送信できる音声レベルの許容する範囲内でミックスされて相手側に送られる。

これにより、発言途中の割り込み操作で他のマイクロフォンのスイッチ３４を押されることによって、それまでの発言者の音声が途切れたり、発言者がマイクロフォンのスイッチ３４をオフにし忘れたために他のマイク入力への切り替えができなくなるといった支障が発生しなくなる。

マイクロフォン３０は、コントロールユニット３と個別に通信する手段を持っており、音声入力データをコントロールユニット３経由で相手側へ送るだけでなく、コントロールユニット３からの問い合わせに対し、マイクオン／オフの状態と、各マイクロフォン３０それぞれに固有の識別子を返す。

一般的に、会議室にテレビ会議システムを設置した時に、会議テーブル１４や座席のレイアウトから各マイクロフォン３０の設置場所が一意に決定される。このため、会議テーブル１４や座席のレイアウトが変更にならない限り、会議参加者１８の増減等に依らずマイクロフォン３０の設置場所はほとんど変わらず、発言者の位置が大幅にずれることは少ない。したがって、どのマイクロフォン３０から入力されているかを接続されている全てのマイクロフォン３０に問い合わせて識別子で判定すれば、結果としてカメラ（例えば、メインカメラ２０）と発話者との位置関係がわかり、カメラ制御装置２４で発話者にカメラ（例えば、メインカメラ２０）を向けることができる。

ここで、カメラ（例えば、メインカメラ２０）とマイクロフォン３０の位置関係とを調べるには様々な方法があるが、最も簡単にかつ正確に決定する方法として、図５に示す方法がある。例えば、コントロールユニット内に設けられたカメラ制御部４０に、マイクロフォンとカメラ制御のパラメータ（角度、倍率等）との対応付けを記憶する記憶手段（プリセット）が設けられており、このプリセットに登録する方法である。

具体的な登録方法としては、コントロールユニットをプリセット登録モード（カメラ位置登録モード）にした状態で、リモコン７（図１参照）等の操作によってメインカメラ２０の向きおよび倍率を調整し、マイクロフォン３０ｋを使用する発話者がモニタスクリーン１６に映し出されるよう調整する。

そして、この状態で、登録を行うマイクロフォン（例えば、マイクロフォン３０ｋ）に対応したスイッチ３４を押下すると、そのスイッチ３４に対応したマイクロフォン３０ｋの識別子がコントロールユニット３に送られ、現在のメインカメラ２０の位置、倍率等のカメラ制御のパラメータとマイクロフォン３０ｋとの対応付けがプリセット（例えば、プリセットｊ）に登録される。

図５下図には、プリセットｊのパラメータ登録例を示している。プリセットｊは、マイク識別子、カメラ制御パラメータとしてパン角度、チルト角度、ズーム倍率、その他の項目を登録できるようになっている。例えば、マイクロフォン３０ｋの場合、マイク識別子ｋ、パン角度２０°、チルト角度１０°、ズーム倍率２倍がセットされている。また、必要に応じて、その他の項目（例えば、露出やホワイトバランスなどの撮影条件）を登録できるようになっている。

なお、ここでは、メインカメラ２０について制御のパラメータを登録したが、同じプリセット（例えば、プリセットｊ）に同様な操作によってサブカメラ２１の制御のパラメータを登録してもよい。また、カメラ制御のパラメータのプリセット４２〜４４は必ずしもマイクロフォン３０ａ〜３０ｍに一対一対応している必要はなく、マイクロフォンのスイッチ操作で呼び出すカメラ制御パラメータが唯一決まればよいことから、例えば一つのプリセット（同じカメラ制御のパラメータ）に複数のマイクロフォンを対応付けしてもよい。

次に、コントロールユニットがテレビ会議モードになっている場合には、この予め登録したプリセットの内容に基づきメインカメラ２０等の向きや倍率を制御する。例えば、マイクロフォン３０ｋに対応するスイッチ３４が押されたとき、コントロールユニットのカメラ制御部４０は、このマイクロフォン３０ｋに関連付けられたカメラ制御パラメータのプリセットｊ４３を呼び出し、カメラ制御装置２４に送る。これにより、カメラ（メインカメラ２０やサブカメラ２１）が予め登録されたパラメータによる向きや倍率等に制御され、マイクロフォン３０ｋで音声を入力する発言者にカメラを迅速に向けて、適切に映し出すことが可能となる。

（テレビ会議方法およびプログラム）
図６、図５に示す方法で、マイクロフォンのスイッチとカメラのポジションとを関連付けて登録する方法（プログラム）を説明するフローチャートである。この方法では、個々のマイクロフォン３０の前の座席位置に人物（被写体）がいる時、その被写体に例えばメインカメラ２０を向かせたときのカメラ制御装置２４のパラメータ(パン・チルト・ズーム等)をマイクロフォン３０の識別子と関連付けしてプリセットに記録するもので、コントロールユニット３にて実行される。

まず、カメラ位置の登録モードに入り（ステップＳ１１）、マニュアル制御によって（ステップＳ１２）、テレビ会議システムに接続されているモニタスクリーン等に映し出されるカメラ（例えば、メインカメラ２０）で撮像した映像を参照し、対応するマイクロフォンスイッチ３４を操作したときに話者が映像内の適正な位置に映るよう、リモコン７等を使って手動でカメラのポジションを設定し、カメラの制御パラメータ(パン・チルト・ズーム等)を決める。

次に、カメラの位置が決まった状態で、そのカメラ位置と関連付けしたいマイクロフォン３０と対応するスイッチ３４を押下する（ステップＳ１３）。これにより、マイク識別子送信およびプリセット登録を行い（ステップＳ１４）、マイクロフォンとカメラの制御パラメータとの対応付けがプリセットされる。

例えば、図５に示すマイクロフォン３０ｋのスイッチを押すと、その時のメインカメラ２０のポジションのパラメータ(パン・チルト・ズーム等)を例えばプリセットｊ４３に関連付けて登録する。これで一つのマイクの登録が完了となり、電源ＯＦＦでなければステップＳ１１へ戻り、電源ＯＦＦであれば処理を終了する（ステップＳ１５）。

このような処理によって、順次、テレビ会議システムに接続された全てのマイクロフォン３０ａ〜３０ｍに対応付けされたカメラの制御パラメータをプリセット登録することで、発言者近くにあるマイクロフォンのスイッチ３４を押すことにより、自動的にカメラ制御を行う条件設定が可能となる。

図７は、図６で関連付けられたプリセットを用い、マイクロフォンのスイッチが押された場合のカメラの制御方法（プログラム）を説明するフローチャートである。まず、マイクロフォンのスイッチを誰も押していないとき、カメラ（例えば、メインカメラ２０）がホームポジションになるよう制御する（ステップＳ２１）。

次に、コントロールユニットに接続された全てのマイクロフォンにスイッチのオン／オフ状態を問い合わせて、複数のマイクロフォンのスイッチが押されている場合には、スイッチが押された順番リストを作成する（ステップＳ２２）。

なお、現在カメラが向いている第一のマイクロフォンのスイッチがオフにされる前に、他のマイクロフォンのスイッチがオフにされることもあるので、マイクオンの順番リストは逐次更新される（ステップＳ２２）。つまり、他のマイクロフォンのスイッチがオフになれば、順番リストからそのマイクロフォンの登録を削除する。

ここで、マイクロフォンのスイッチが押された順番リストに対し優先順序が設定される。例えば、スイッチが後に押された順番に優先度がつけられ、複数の候補の中から第一優先のマイクロフォンを決定する。

次に、第一優先に設定されているマイクロフォンに関連付けされたカメラプリセットと現在呼び出されているカメラプリセットが一致しない場合は（ステップＳ２３）、図６に示す処理で予めプリセットされたカメラの制御パラメータを読み出し、そのパラメータを使ってカメラの方向および倍率等をコントロールする（ステップＳ２５）。

例えば、図５に示すマイクロフォン３０ｋのスイッチが押された場合、マイクロフォン３０ｋと対応付けされたプリセットｊ４３に登録されたカメラのパン、チルト、ズーム等のパラメータを読み出し、これをカメラ制御装置２４へ送ることでカメラ（例えば、メインカメラ２０）を制御する。これにより、マイクロフォン３０ｋを利用する発言者をカメラで映し出すための最適なアングルを即座に設定でき、カメラ（例えば、メインカメラ２０）によって的確に発言者の映像を捉えることができるようになる。

ここで、複数のマイクロフォンのスイッチが押されている場合には、スイッチが押された順番リストに対し設定された優先度にしたがって、第一優先のマイクロフォンに関連付けされた制御パラメータを用い、メインカメラ２０の方向および倍率を設定する。

マイクオンの順番リストに該当するマイクロフォン識別子が空になった場合、つまり、全マイクロフォンのスイッチがオフになったとき（ステップＳ２４）、ある一定の待ち時間経過後にメインカメラ２０の位置をホームポジションに移動する（ステップＳ２１）。

（実施効果）
このようなテレビ会議システムによれば、発言者のそばにあるマイクロフォンと対応したスイッチを使って発言者の音声入力のオンオフを操作することにより、どのマイクロフォンによって発言が成されているかの位置を確実に特定でき、複数のマイクロフォンを使った発言者の音声区間検出や音源方向検出による検出誤りを確実に防ぐことが可能となる。また、発言者の位置にカメラを向けるカメラ制御パラメータのプリセットに、発言者位置毎に用意されているマイクロフォンの識別子を関連付けることにより、顔検出や動体検出等の画像処理に頼ることなく、カメラを発話者の方向にすばやく正確に向けることができるようになる。

本実施形態に係るテレビ会議システムの構成を説明する模式図である。 テレビ会議システム各部の会議室内での配置例を示す模式図である。 カメラの構成を説明する模式図である。 マイクロフォンの構成を説明する模式図である。 カメラとマイクロフォンとの位置関係の登録について説明する模式図である。 マイクロフォンのスイッチとカメラのポジションとを関連付けて登録する方法（プログラム）を説明するフローチャートである。 マイクロフォンのスイッチが押された場合のカメラの制御方法（プログラム）を説明するフローチャートである。

符号の説明

１…テレビ会議システム、３…コントロールユニット、５…音響システム、１６…モニタスクリーン、２０…メインカメラ、２１…サブカメラ、３０…マイクロフォン

Claims (7)

1. 映像を取り込むカメラと、
   音声を取り込むため所定の位置に配置された複数のマイクロフォンと、
   前記複数のマイクロフォンに対応して設けられ、音声の取り込み開始を受け付けるスイッチと、
   前記スイッチによって音声の取り込み開始を受け付けた前記マイクロフォンと対応付けされた方向に前記カメラを向けるカメラ制御手段と
   を備えることを特徴とするテレビ会議システム。
2. 前記カメラ制御手段は、前記スイッチによって音声の取り込み開始を受け付けた前記マイクロフォンと対応付けされた倍率に前記カメラを設定する
   ことを特徴とする請求項１記載のテレビ会議システム。
3. 前記カメラ制御手段は、前記複数のマイクロフォンに対応して設けられるスイッチによる受け付け順を記憶し、当該記憶した順に優先して前記カメラを向ける制御を行う
   ことを特徴とする請求項１記載のテレビ会議システム。
4. 前記カメラ制御手段は、前記マイクロフォンと前記カメラの少なくとも方向との対応付けを記憶手段に登録する登録手段を備えており、
   前記スイッチによって音声の取り込み開始を受け付けた前記マイクロフォンとの対応付けを前記登録手段によって登録された前記記憶手段から読み出して前記カメラの制御を行う
   ことを特徴とする請求項１記載のテレビ会議システム。
5. 前記スイッチは前記マイクロフォンと一体で設けられている
   ことを特徴とする請求項１記載のテレビ会議システム。
6. 映像を取り込むカメラと、
   音声を取り込むため所定の位置に配置された複数のマイクロフォンと、
   前記複数のマイクロフォンに対応して設けられ、音声の取り込み開始を受け付けるスイッチとを備えるテレビ会議システムを用いたテレビ会議方法において、
   前記スイッチによって前記マイクロフォンでの音声の取り込み開始を受け付けた場合、前記マイクロフォンと対応付けされた方向に前記カメラを向ける
   ことを特徴とするテレビ会議方法。
7. 映像を取り込むカメラと、
   音声を取り込むため所定の位置に配置された複数のマイクロフォンと、
   前記複数のマイクロフォンに対応して設けられ、音声の取り込み開始を受け付けるスイッチとを備えるテレビ会議システムを制御するテレビ会議プログラムにおいて、
   前記スイッチによって前記マイクロフォンでの音声の取り込み開始を受け付けた場合、前記マイクロフォンと対応付けされた方向に前記カメラを向ける制御を行う
   ことを特徴とするテレビ会議プログラム。

Images