JP2008154055A - ビデオ会議装置 - Google Patents

Abstract

【課題】会議者音声、会議者映像、および資料を、正確且つ明瞭に送信することができるビデオ会議装置を提供する。
【解決手段】カメラ２は、円盤状の放収音装置１に対してステー３により位置が固定されている。この位置で、カメラ２は、水平方向と垂直下方向との２態様で半固定されるように回動可能に設置される。この際、カメラ２の態様はスイッチを用いて検出される。カメラ２が水平方向に向けられると、カメラ２は会議者を撮像し、発言中の会議者の映像を抽出して取得する。一方、カメラ２が垂直下方向に向けられると、予め設置されている資料を撮像する。カメラ２には、魚眼レンズが装着されているので、取得した映像をそれぞれの態様に応じた形式で補整して、送信する画像データが生成される。
【選択図】 図１

Description

この発明は、互いに離れた会議室間でビデオ会議を行う際に用いる映像や画像と音声とを通信するビデオ会議装置に関するものである。

従来、互いに離れた複数地点間でビデオ会議を行う場合、それぞれの地点に特許文献１に示すようなビデオ会議装置（テレビ会議装置）を配置し、当該ビデオ会議装置を取り囲むように会議者が在席して会議を行う。

特許文献１のビデオ会議装置では、各会議者に電波発生器付きマイクを装着させ、最も高レベルの音声を収音したマイクから電波を放射する。人物撮影用カメラは、この電波を受信することで話者方向を検出して、当該話者方向へカメラを向け、話者を中心とする映像を撮像する。この映像データと音声データとは符号化され、相手先のビデオ会議装置に送信される。
特開平６−２７６５１４号公報

ビデオ会議を行う場合、上述のように話者等の会議者の映像だけでなく、離れた地点間で資料等を共通に参照したい場合がある。特許文献１の装置では、話者の映像を切り替えて取得することができるが、このままでは資料を映すことはできない。このため、特許文献１の構成を利用して資料を映すには、会議者が手差しでカメラの前に資料を翳せばよいが、資料を完全に固定することができないので、画像がブレてしまう。また、レンズによる湾曲の影響を受けて、資料をありのまま（元画像のまま）取り込むことができない。また、資料を共通で参照する別方法として、資料をデータ化して送信することも可能ではあるが、会議中に書き込みをして説明する等の直感的で、フレキシビリティに富んだ資料を提供することができない。

したがって、本発明の目的は、音声、映像とともに、フレキシビリティに富むような資料であっても、正確且つ明瞭に送信することができるビデオ会議装置を提供することにある。

この発明は、所定領域を撮像するカメラと、該カメラの撮像した映像に基づいて映像データを生成する映像データ生成手段と、自装置周囲の音声を収音して収音音声データを生成し、放音音声データを放音する放収音手段を備える筐体と、収音音声データと映像データとで通信データを形成して当該通信データを外部に送信するとともに、外部からの通信データから放音音声データを取得して放収音手段に与える通信手段と、カメラを所定の態様で支持する支持手段と、を備えたビデオ会議装置に関するものである。このビデオ会議装置では、支持手段で、筐体の周囲の会議者撮像領域にカメラを向ける第１態様と、筐体の近傍の前記カメラに近接する領域に前記カメラを向ける第２態様と、のいずれかを選択的に実現する。そして、（Ａ）このビデオ会議装置の映像データ生成手段は、第１態様の選択が検出されると、収音音声データに対応する方位領域のみを映像データから切り出して、切り出した映像データを第１態様に応じた第１補整処理により補整する。また、（Ｂ）この映像データ生成手段は、第２態様の選択が検出されると、カメラの正面方向を中心とする所定領域を映像データから切り出して、第１補整処理と異なる第２態様に応じた第２補整処理により切り出した映像データを補整する。

この構成では、本発明のビデオ会議装置は、カメラが会議者撮像領域を向く第1態様に設定されている時には、収音方位の映像データのみを切り出して、第１補整処理により適宜見やすいように補整する。そして、ビデオ会議装置は、この映像データと収音音声データとから通信データを生成して、相手先装置に送信する。一方、ビデオ会議装置は、カメラが筐体近傍の近接領域に設置された資料等を撮影する第２態様に設定されている場合には、カメラが正面から撮影した映像を、第２補整処理により適宜見やすいように補整する。そして、ビデオ会議装置は、この映像データを含む通信データを生成して、相手先装置に送信する。この際、第１態様と第２態様とは撮影する領域が異なる場合もあるので、それぞれの態様に応じた異なる補整処理からなる第１補整処理と第２補整処理とにより映像が補整される。

これにより、会議者映像と資料等の静止画とが、それぞれの撮影仕様に応じて補整されるので、相手先装置に対して、それぞれ適正に補整された会議者映像と資料画像とを送信することができる。

また、この発明のビデオ会議装置の支持手段は、第１態様と第２態様とを選択的に実現する関節機構を備えるとともに、該関節機構によるスイッチを形成することを特徴としている。さらに、このビデオ会議装置の映像データ生成手段は、関節機構によるスイッチの選択状況に基づいて第１態様と第２態様との選択を検出することを特徴としている。

この構成のビデオ会議装置は、支持手段の関節機構を動作させてスイッチを切り替えることで、第１態様と第２態様とが選択されるので、機構的に簡単に第１態様と第２態様とが設定される。

また、この発明は、所定領域を撮像するカメラと、該カメラの撮像した映像に基づいて映像データを生成する映像データ生成手段と、自装置周囲の音声を収音して収音音声データを生成し、放音音声データを放音する放収音手段と、収音音声データと映像データとで通信データを形成し、当該通信データを外部に送信するとともに、外部からの通信データから放音音声データを取得して前記放収音手段に与える通信手段と、カメラを筐体に対して一定に支持する支持手段と、を備えたビデオ会議装置に関するものである。このビデオ会議装置では、カメラは、会議者撮像領域と、筐体の近傍の前記カメラに近接する領域とを同時に撮像する。映像データ生成手段は、会議者撮像領域に対応する第１部分映像データから、収音音声データに対応する方位領域のみを切り出して、切り出した第１部分映像データを第３補整処理により補整し、カメラに近接する領域に対応する第２部分映像データを、第３補整処理と異なる第４補整処理により補整する。

この構成のビデオ会議装置は、会議者撮像領域に対応する第１部分映像データと、カメラに近接する資料が配置された領域に対応する第２部分映像データとが、一台のカメラで同時に取得される。そして、第１部分映像データは、収音音声データに対応する方位領域のみが切り出され、第３補整処理により適宜補整される。第２部分映像データは、対応する第４補整処理により適宜見やすいように補整される。

これにより、会議者映像と資料等の静止画とが、同時に取得され、且つ、それぞれの撮影仕様に応じて補整される。この結果、相手先装置に対して、それぞれ適正に補整された会議者映像と資料画像とを同時に送信することもできる。

この発明のビデオ会議装置は、通信データに用いる部分映像データを選択する選択手段を備える。ビデオ会議装置の映像データ生成手段は、選択手段により選択された部分映像データを通信手段に与える。

この構成では、会議者映像と静止画とのうちの選択されたいずれか一方が送信される。これにより、経時変化の殆どない静止画を必要なときにのみ送信することができるので、通信系に余分な負荷を掛けることがない。

また、この発明のビデオ会議装置では、カメラに魚眼レンズを有し、該魚眼レンズにより撮像される領域の中心領域をカメラに近接する領域とし、少なくとも中心領域から外の周辺領域を会議者撮像領域とすることを特徴としている。

この構成のビデオ会議装置では、具体的なカメラの仕様として魚眼レンズを利用する。そして、魚眼レンズの中心に対応する領域をカメラが近接する領域とし、この領域に応じた補整処理により適宜補整を行う。会議者撮像領域は、態様の切り替えを行う場合は中心領域も使用することがあるが、周辺領域を使用することが主となる。したがって、会議者領域の映像に関しては、それぞれの場合に応じて、選択した領域に応じた補整処理により適宜補整を行う。これにより、カメラ近傍の近接領域の映像（画像）と会議者撮像領域の映像とを、魚眼レンズを介して撮像しても、それぞれの映像が適宜補整される。

また、この発明のビデオ会議装置の映像データ生成手段は、カメラと一体形成されている。また、この発明のビデオ会議装置の通信手段は、放収音手段とともに筐体に一体形成されている。また、この発明のビデオ会議装置の映像データ生成手段は、放収音手段とともに筐体に一体形成されている。これらにより、ビデオ会議装置がコンパクトに構成される。

また、この発明のビデオ会議装置は映像データを再生するディスプレイモニタを備える。このビデオ会議装置の通信手段は、通信データに含まれる映像データを取得して、ディスプレイモニタに与える。

これにより、通信会議を行う各地点に本発明のビデオ会議装置を配置して接続するだけで、双方で会議者映像と資料とを簡単に共有することができる。

この発明によれば、簡単なカメラ方向の操作で、話者の映像は話者の映像に応じた補整処理で補整され、資料の画像は資料の画像に応じた補整処理で補整されるので、話者映像および資料画像を、ともに正確且つ明瞭に相手側装置に送信することができる。これにより、本装置を用いたビデオ会議では、より臨場感の有る、互いに分かりやすい会議を簡単に実現することができる。

本発明の第１の実施形態に係るビデオ会議装置について、図を参照して説明する。
図１、図２は本実施形態のビデオ会議装置の外観図であり、（Ａ）が平面図、（Ｂ）が側面図である。図１、図２では、機構的に特徴のある放収音装置、カメラ、ステーの構成のみを示し、通信端末、放収音装置、およびカメラを電気的に接続するケーブルについては図示を省略する。また、図１は会議者撮影モード時の機構状態を示し、図（２）は資料撮影モード時の機構状態を示す。
図３は本実施形態のビデオ会議装置の主要構成を示すブロック図である。

なお、図１、図２、図３およびこれ以降の本明細書で参照される図においては、マイクを代表または総称して「ＭＣ」で表し、スピーカを代表または総称して「ＳＰ」で表す。
本実施形態のビデオ会議装置は、平面視した形状が円盤状の放収音装置１と、撮像機能および映像データ生成機能を備えるカメラ２と、カメラ２を放収音装置１に対して所定位置に設置するステー３とを備える。また、図１、図２には図示していないが、放収音装置１とカメラ２とは電気的に接続され、さらにビデオ会議装置は、放収音装置１とカメラ２とに電気的に接続する通信端末を備える。

通信端末５は、ネットワーク５００を介して接続された相手先のビデオ会議装置の通信端末から受信した通信データを復調して、放音用音声信号、相手先装置ＩＤ、話者方位データを取得して、ケーブル接続された自装置側の放収音装置１に与える。また、通信端末５は、自装置側の放収音装置１から受信した収音音声信号および話者位置データと、カメラ２から受信した映像データとに基づいて通信データを生成する。通信端末５は、生成した通信データを、相手先ビデオ会議装置の通信端末へ送信する。また、通信端末５は、場合に応じて、放収音装置１とカメラ２との間での話者位置データの送受信を仲介する。

放収音装置１は円板状の筐体１１を備える。具体的に、筐体１１は、平面視した形状が円形であり、天面と底面との面積が垂直方向の途中部分の面積よりも狭く、側面視した形状が、高さ方向の一点から天面に向けて狭くなるとともに、前記一点から底面に向けて狭くなる形状からなる。すなわち、前記一点より上部側および下部側にそれぞれ傾斜面を有する形状からなる。筐体１１の天面には、該天面の面積よりも狭く、所定深さからなる凹部１１０が形成されており、凹部１１０の平面視した中心と天面の中心とが、一致するように設定されている。

１６個のマイクＭＣ１〜ＭＣ１６は、凹部１１０の側面に沿った筐体１１の天面側内部に設置されており、各マイクＭＣ１〜ＭＣ１６は放収音装置１を平面視した中心を回転中心として等角度ピッチ（この場合は約２２．５°間隔）で配置されている。この際、マイクＭＣ１がθ＝０°方向となり、順にθが２２．５°ずつ増加する方向に沿って各マイクＭＣ１〜ＭＣ１６が配置される。例えば、マイクＭＣ５はθ＝９０°方向に配置され、マイクＭＣ９はθ＝１８０°方向に配置され、マイクＭＣ１３は、θ＝２７０°方向に配置される。また、各マイクＭＣ１〜ＭＣ１６は、単一指向性を有し、それぞれが前記平面視した中心方向に強い指向性を有するように配置されている。例えば、マイクＭＣ１はθ＝１８０°方向を指向性の中心とし、マイクＭＣ５はθ＝２７０°方向を指向性の中心とし、マイクＭＣ９はθ＝０（３６０）°方向を指向性の中心とし、マイクＭＣ１３はθ＝９０°方向を指向性の中心とする。なお、マイクの個数はこれに限らず、仕様に応じて適宜設定すればよい。

４個のスピーカＳＰ１〜ＳＰ４は、筐体１１の下部側の傾斜面と放音面が一致するようにそれぞれ設置されており、各スピーカＳＰ１〜ＳＰ４は放収音装置１を平面視した中心を回転中心として等角度ピッチ（この場合は約９０°間隔）で配置されている。この際、スピーカＳＰ１がマイクＭＣ１と同じθ＝０°方向に配置され、スピーカＳＰ２がマイクＭＣ５と同じθ＝９０°方向に配置され、スピーカＳＰ３がマイクＭＣ９と同じθ＝１８０°方向に配置され、スピーカＳＰ４がマイクＭＣ１３と同じθ＝２７０°方向に配置される。また、各スピーカＳＰ１〜ＳＰ４は、放音面の正面方向に強い指向性を有するものであり、スピーカＳＰ１はθ＝０°方向を中心に放音し、スピーカＳＰ２はθ＝９０°方向を中心に放音し、スピーカＳＰ３はθ＝１８０°方向を中心に放音し、スピーカＳＰ４はθ＝２７０°方向を中心に放音する。

このように、スピーカＳＰ１〜ＳＰ４を筐体１１の下部側に配置し、マイクＭＣ１〜ＭＣ１６を筐体１１の上部側に配置し、マイクＭＣ１〜ＭＣ１６の収音方向を筐体１１の中心方向とすることで、各マイクＭＣ１〜ＭＣ１６は、スピーカＳＰ１〜ＳＰ４からの回り込み音声を収音し難くなる。このため、後述する話者位置検出で、回り込み音声の影響を受け難くなり、より高精度に話者位置検出が行える。

操作部１１１は、筐体１１の上部側の傾斜面に設置されており、図示しないが、各種の操作釦および液晶表示パネルを備える。
入出力Ｉ／Ｆ１０２（図１，２では図示せず）は、筐体１１の下部側の傾斜面で、スピーカＳＰ１〜ＳＰ４が設置されていない位置に設置されており、音声データおよび各種制御データを通信可能な端子を備える。そして、入出力Ｉ／Ｆ１０２の端子と通信端末とをケーブル等で接続することで、放収音装置１と通信端末とで通信を行う。

放収音装置１は、このような構造上の構成とともに、図３に示すような機能的な構成を備える。
制御部１０１は、放収音装置１の設定、収音、放音等の全般制御を行うとともに、操作部１１１により入力された操作指示内容に基づく制御を放収音装置１の各部に与える。

（１）放音
入出力Ｉ／Ｆ１０２は、通信端末５から受信した放音用音声信号Ｓ１〜Ｓ３をそれぞれチャンネルＣＨ１〜ＣＨ３に出力する。なお、チャンネルの割り当ては、受信した放音用音声信号の数に応じて適宜設定すればよい。また、入出力Ｉ／Ｆ１０２は、通信端末５から相手先装置ＩＤを受信して相手先装置ＩＤ毎にチャンネルＣＨを割り当てる。例えば、接続中の相手先装置が一台である場合、当該相手先装置からの音声データを放音用音声信号Ｓ１として、チャンネルＣＨ１に割り当てる。また、接続中の相手先装置が二台である場合、二台の相手先装置からの音声データをそれぞれ放音用音声信号Ｓ１，Ｓ２として、チャンネルＣＨ１，ＣＨ２に個別に割り当てる。同様に、接続中の相手先装置が三台である場合、三台の相手先装置からの音声データをそれぞれ放音用音声信号Ｓ１，Ｓ２，Ｓ３として、チャンネルＣＨ１，ＣＨ２，ＣＨ３に個別に割り当てる。チャンネルＣＨ１〜ＣＨ３は、エコーキャンセル部１０７を介して放音制御部１０３に接続される。
また、入出力Ｉ／Ｆ１０２は、通信端末５から相手先放収音装置での話者方位データＰｙを抽出し、チャンネル情報とともに放音制御部１０３に与える。

放音制御部１０３は、放音用音声信号Ｓ１〜Ｓ３と、話者方位情報Ｐｙとに基づいて、各スピーカＳＰ１〜ＳＰ４に与えるスピーカ出力信号ＳＰＤ１〜ＳＰＤ４を生成する。

Ｄ／Ａ−ＡＭＰ１０４は各スピーカ出力信号ＳＰＤ１〜ＳＰＤ４をディジタル−アナログ変換し、一定の増幅率で増幅して、それぞれスピーカＳＰ１〜ＳＰ４に与える。スピーカＳＰ１〜ＳＰ４は、与えられたスピーカ出力信号ＳＰＤ１〜ＳＰＤ４を音声変換して放音する。

このような放音処理を行うことで、各スピーカＳＰ１〜ＳＰ４から放音される音声が所定の遅延関係および振幅関係になるため、あたかも設定した仮想音源から放音されたような感覚を会議者に与えることができる。

（２）収音
マイクＭＣ１〜ＭＣ１６は、会議者の発生音等の外部からの音声を収音して収音信号ＭＳ１〜ＭＳ１６を生成する。各Ａ／Ｄ−ＡＭＰ１０５は、対応する収音信号ＭＳ１〜ＭＳ１６を所定増幅率で増幅し、アナログ−ディジタル変換して収音制御部１０６に出力する。

収音制御部１０６は取得した収音信号ＭＳ１〜ＭＳ１６を、それぞれ異なる遅延制御パターンおよび振幅パターンで合成して、それぞれに異なる方向を指向性の中心方向とする収音ビーム信号を生成する。例えば、放収音装置１を中心として、全周囲３６０°を８分割した角度、すなわち、４５°毎に指向性の中心方向がシフトする８本の収音ビーム信号を生成する。収音制御部１０６は、これら収音ビーム信号の振幅レベルを比較して、もっとも高い振幅レベルの収音ビーム信号ＭＢＳを選択して、エコーキャンセル部１０７に出力する。収音制御部１０６は、選択した収音ビーム信号に対応する話者方位を取得し、話者方位情報Ｐｍを生成し、入出力Ｉ／Ｆ１０２に与える。

エコーキャンセル部１０７は、入力される収音ビーム信号ＭＢＳに対して、各放音用音声信号Ｓ１〜Ｓ３に基づく擬似回帰音信号を生成する適応型フィルタと、収音ビーム信号ＭＢＳから擬似回帰音信号を減算するポストプロセッサとからなる。エコーキャンセル回路は、適応型フィルタのフィルタ係数を逐次最適化しながら出力用収音ビーム信号ＭＢＳから擬似回帰音信号を減算することで、出力用収音ビーム信号ＭＢＳに含まれるスピーカＳＰ１〜ＳＰ４からマイクＭＣ１〜ＭＣ１６への回り込み成分を除去する。この回り込み成分が除去された収音ビーム信号ＭＢＳは、入出力Ｉ／Ｆ１０２に出力される。

入出力Ｉ／Ｆ１０２は、エコーキャンセル部１０７で回帰音除去された収音ビーム信号ＭＢＳと、収音制御部１０６からの話者方位情報Ｐｍとを関連付けして、通信端末５に出力する。

カメラ２は、ステー３により、図１、図２に示すように、放収音装置１に対して固定された位置に設置される。この際、カメラ２は、ステー３により、水平方向（図１に示すカメラ２の向く方向）と垂直下方向（図２に示すカメラ２の向く方向）との間で回動可能に設置されている。

ステー３は、主体部３１、カメラ支持部３２、主体支持部３３、放収音装置取付部３４を備える。主体部３１は、所定幅を有する直線状部材からなり主体支持部３３により垂直方向に対して所定角の方向に延びる形状で設置される。主体部３１の延びる方向の一方端には、ヒンジ２０３を介してカメラ支持部３２が設置され、他方端には、放収音装置取付部３４が設置されている。放収音装置取付部３４は、筐体１１の脚部１２が装嵌する形状の開口部を有する平板からなり、例えば、主体部３１と一体形成されている。

主体部３１のカメラ支持部３２側端部は、幅方向の両端壁のみが残り、幅方向の中央部が開口する形状からなる。この開口部は、カメラ支持部３２に設置されたカメラ２が水平方向と垂直下方向との間で回動する際に、主体部３１に接触しない形状からなる。

ヒンジ２０３は、カメラ支持部３２を主体部３１に対して回動可能に設置させる構造をなす。また、ヒンジ２０３およびカメラ保持部３２は、カメラ２およびカメラ支持部３２が水平方向に向いた場合と垂直下方向に向いた場合とに、半固定される構造を有する。例えば、ヒンジ２０３を主体部３１に固定し、ヒンジ２０３の水平方向の位置と垂直下方向の位置にそれぞれ凹部を形成する。カメラ支持部３２のヒンジ側端部には、前記凹部に嵌る形状の凸部を設け、当該凸部をバネ等でカメラ支持部３２内から付勢する形状を備えさせる。これにより、カメラ２は水平方向と垂直下方向との間で回動し、且つ水平方向と垂直下方向とで機構的状態を維持することが可能となる。

このヒンジ２０３およびカメラ支持部３２からなる機構部は、スイッチ４として機能する。例えば、これら凹部および凸部にそれぞれ電極を設置し、電気的にこれらの導通、開放を検出する。この際、水平方向の凹部と、垂直下方向の凹部とで異なる信号が得られるように結線または検出信号を設定する。このような構造によりスイッチ４が形成され、当該スイッチ４の検出結果は、カメラ２に与えられる。これにより、カメラ２は、自身が水平方向を向いているのか、垂直下方向を向いているのかを識別して、映像を取得することができる。

カメラ２は、撮像部２１と映像処理部２２とを備える。撮像部２１は、魚眼レンズを備え、カメラ２の正面方向を中心として、全方位に対して、無限距離から魚眼レンズの設置面までの領域を撮像する。撮像データは、映像処理部２２に与えられる。

映像処理部２２は、ステー３のスイッチ４（ヒンジ２０３およびカメラ支持部３２）から検出したカメラ２の向く方向（以下、撮影方向と称する）を取得する。映像処理部２２は、取得した撮影方向および通信端末５を介して放収音装置１からの話者方位データＰｍに基づいて、撮像データから必要部のみを抽出して画像補整し、映像データを生成する。生成された映像データは、通信端末５に与えられる。

次に、当該ビデオ会議装置の使用方法および映像処理部２２での映像データ生成方法について、より具体的に説明する。なお、以下の説明では、自装置側の会議者が５名である場合について示すが、会議者数が特にこれに限るものではない。

図４は本実施形態のビデオ会議装置を配置して、ネットワーク接続された他地点とビデオ会議を行う状況を示す図であり、カメラ２が会議者６０１〜６０５を撮像している場合を示した図である。
図５は映像データ生成の説明に用いる説明図であり、（Ａ）は魚眼レンズを介して撮像された映像（画像）を示し、（Ｂ）、（Ｃ）は会議者方位毎の画像補整概念を示す。

図６は本実施形態のビデオ会議装置を配置して、ネットワーク接続された他地点とビデオ会議を行う状況を示す図であり、カメラ２が資料６５０を撮像している場合を示した図である。
図７は映像データ生成の説明に用いる説明図であり、（Ａ）は魚眼レンズを介して撮像された映像（画像）を示し、（Ｂ）は資料撮像時の画像補整概念を示す。

ビデオ会議を行う場合には、会議者６０１〜６０５は、長円形のテーブル７００に対して長手方向の片端を除く位置に着席する。テーブル７００上には、円形の放収音装置１とこれにステー３により固定されたカメラ２との一体部材が設置される。この際、カメラ２は、水平方向に向いた状態で、テーブル７００の長手方向に平行な軸が魚眼レンズの中心軸と一致するように設置されている。テーブル７００の下には、通信端末５が設置されている。通信端末５は、放収音装置１、カメラ２と電気的に接続し、且つネットワーク５００に接続している。また、通信端末５は、ディスプレイ６に電気的に接続している。ディスプレイ６は、例えば液晶ディスプレイ等からなり、テーブル７００の会議者６０１〜６０５が着席していない側の端部付近に設置される。この際、ディスプレイ６は、テーブル７００方向に表示面が向くように設置されている。

このような状態でビデオ会議が行われると、放収音装置１、カメラ２、通信端末５を含むビデオ会議装置は、二つのモードで会議の映像を相手先のビデオ会議装置に送信する。

（１）会議者撮影モード
会議者６０１〜６０５のいずれかが、カメラ２を水平方向にセットすると、スイッチ４からの検出信号により、カメラ２の映像処理部２２は、会議者撮影モードが選択されたことを検出する。映像処理部２２は、会議者撮影モードを検出すると、当該モードの選択信号を通信端末５に与える。

カメラ２の撮像部２１は、魚眼レンズを通して、自装置側に在席する全会議者６０１〜６０５を撮像した撮像データを取得し、映像処理部２２に出力する。ここで、撮像データは、魚眼レンズを通しているので、撮像領域が図５（Ａ）のように円形になる。会議者撮影モードが選択されている場合、映像処理部２２は、円形の撮像データに対して、円弧状に曲がる水平方向を方位角φで表し、垂直方向を仰角ψで表す座標系で取得する。すなわち、魚群レンズの正面方向で、レンズ軸と同じ高さがφ＝０°、ψ＝０°に設定される。さらに、当該座標から左方向に広がる方向でφが負方向に増加し、右方向に広がる方向でφが正方向に増加するように設定されている。したがって、カメラ２の魚眼レンズの最先端から、撮影方向に対して左方向で魚眼レンズの軸に垂直な方向がφ＝−９０°となり、カメラ２の魚眼レンズの最先端から、撮影方向に対して右方向で魚眼レンズの軸に垂直な方向がφ＝＋９０°となる。また、当該座標から上方向に広がる方向でψが正方向に増加し、下方向に広がる方向でψが負方向に増加するように設定されている。したがって、カメラ２の魚眼レンズの最先端から、撮影方向に対して上方向で魚眼レンズの軸に垂直な方向がψ＝＋９０°となり、カメラ２の魚眼レンズの最先端から、撮影方向に対して下方向で魚眼レンズの軸に垂直な方向がψ＝−９０°となる。

放収音装置１は、前述の処理により、発言中の会議者の音声を取得するとともに、会議者方位を検出して、収音音声データと話者方位情報θとを通信端末５に与える。例えば、図４に示す会議者６０１が発言すれば、放収音装置１は、会議者６０１の方位θ１を検出して、会議者６０１方向からの音声に基づく収音音声データと話者方位情報θ１とを通信端末５に与える。また、会議者６０５が発言すれば、放収音装置１は、会議者６０５の方位θ２を検出して、会議者６０５方向からの音声に基づく収音音声データと話者方位情報θ２を通信端末５に与える。通信端末５は、話者方位情報θをカメラ２の映像処理部２２に与える。

映像処理部２２は、通信端末５からの話者方位情報θに基づいて、撮像データを補整する。映像処理部２２は、話者方位情報θと、撮像データに設定された方位角φとの関係を予め記憶している。そして、映像処理部２２は、話者方位情報θを受け付けると、対応する方位角φを読み出す。例えば、映像処理部２２は、会議者６０１に対する話者方位情報θ１を受け付けると、対応する方位角φ＝０°を読み出す。また、例えば、映像処理部２２は会議者６０５に対する話者方位情報θ２を受け付けると、対応する方位角φ＝−９０°を読み出す。

映像処理部２２は、読み出した方位角φを含む所定方位角幅からなる画像抽出方位角範囲を設定する。また、映像処理部２２は、仰角ψ＝０°を含む所定仰角幅からなる画像抽出仰角範囲を設定する。そして、映像処理部２２は、設定した方位角範囲と仰角範囲とにより画像抽出領域を決定し、当該領域に対応する撮像データを画像データとして取得する。

例えば、映像処理部２２は、方位角φ＝０°を読み出すと、φ＝０°を含み方位角φ１〜方位角φ２（φ１＜０°＜φ２）の範囲を方位角範囲に設定する。また、映像処理部２２は、ψ＝０°を含み仰角ψ１〜仰角ψ２（ψ１＜ψ２）の範囲を仰角範囲に設定する。そして、映像処理部２２は、方位角範囲φ１〜φ２、仰角範囲ψ１〜ψ２により画像抽出領域を設定して、画像データ６２１を取得する。また、例えば、映像処理部２２は、方位角φ＝−９０°を読み出すと、φ＝−９０°を含み方位角φ３〜方位角φ４（φ３＜−９０°＜φ４）の範囲を方位角範囲に設定する。また、映像処理部２２は、ψ＝０°を含み仰角ψ３〜仰角ψ４（ψ３＜ψ４）の範囲を仰角範囲に設定する。そして、映像処理部２２は、方位角範囲φ３〜φ４、仰角範囲ψ３〜ψ４により画像抽出領域を設定して、画像データ６２２を取得する。

映像処理部２２は、取得した画像抽出領域毎に画像の補整変換を行う。具体的には、二つの角度方向であるφ方向とψ方向で定義される各画素を、直交二次元の平面座標（Ｘ−Ｙ座標系）の画素に当てはめるように補整変換する。この際、映像処理部２２は、φ−ψ座標系とＸ−Ｙ座標系との変換処理テーブルを予め記憶しており、取得した各画素のφ−ψ座標に基づいて、Ｘ−Ｙ座標を算出し、補整変換する。なお、映像処理部２２は、予め座標変換演算式を記憶しており、当該座標変換演算式を用いて補整変換を行っても良い。

例えば、図５（Ｂ）に示すように、映像処理部２２は、方位角範囲φ１〜φ２、仰角範囲ψ１〜ψ２で設定される画像データ６２１を、平面座標系であり水平方向をＸ軸として垂直方向をＹ軸とするｘ１〜ｘ２，ｙ１〜ｙ２で設定される補整画像データ６２１’に変換する。この変換により、φ−ψ座標系で取得した会議者６０１の人物像６１１が、Ｘ−Ｙ座標系（平面座標系）の補整人物像６３１に変換される。このようにＸ−Ｙ座標系に変換することで、補整人物像６３１は、会議者６０１の自然体像に近いものとなる。

また、例えば、図５（Ｃ）に示すように、映像処理部２２は、方位角範囲φ３〜φ４、仰角範囲ψ３〜ψ４で設定される画像データ６２２を、平面座標系であり水平方向をＸ軸として垂直方向をＹ軸とするｘ３〜ｘ４，ｙ３〜ｙ４で設定される補整画像データ６２２’に変換する。この変換により、φ−ψ座標系で取得した会議者６０５の人物像６１５が、Ｘ−Ｙ座標系（平面座標系）の補整人物像６３５に変換される。このようにＸ−Ｙ座標系に変換することで、補整人物像６３５は、会議者６０１の自然体像に近いものとなる。

映像処理部２２は、このように自然体に近づいた補整人物像を含む補整画像データに時間情報を添付して映像データとして通信端末５に出力する。このような補整画像データの生成および出力は、逐次行われており、受け付けた話者方位情報θが変化すれば、この変化に応じて、補整画像データの中心方向も切り替わる。

通信端末５は、映像処理部２２からの映像データと収音音声データと話者方位情報θとを関連付けして通信データを生成し、ネットワーク５００を介して相手先のビデオ会議装置に送信する。これにより、相手先のビデオ会議装置の周囲に在席する会議者には、発言中の会議者の自然体に近い映像と当該会議者の発言とを提供することができる。

（２）資料撮影モード
会議者６０１〜６０５のいずれかが、図６に示すように、カメラ２を垂直下方向にセットすると、スイッチ４からの検出信号により、カメラ２の映像処理部２２は、資料撮影モードが選択されたことを検出する。映像処理部２２は、資料撮影モードを検出すると、当該モードの選択信号を通信端末５に与える。

また、会議者６０１〜６０５のいずれかは、テーブル７００におけるヒンジ２０３の垂直下方向位置を中心にして、資料６５０を載置する。この際、テーブル７００上に資料載置用マーキングを予め行っておけば、資料６５０を容易に且つ適切に載置することができる。

カメラ２の撮像部２１は、魚眼レンズを通して、テーブル７００上に載置された資料６５０を撮像した撮像データを取得し、映像処理部２２に出力する。ここで、撮像データは、魚眼レンズを通しているので、撮像領域が図７（Ａ）のように円形になる。

資料撮影モードが選択されている場合、映像処理部２２は、円形の撮像データに対して、撮像データの中心を原点とし、原点から放射方向に延びる距離ｒと、所定方向（図７では原点から撮像データに向かって右方向を０°方向）に対する角度ηとで表されるｒ−η座標系で取得する。映像処理部２２は、取得した撮像データから、予め設定された範囲の画像データ６８０を切り出す。

映像処理部２２は、ｒ−η座標系の画像データ６８０をＸ−Ｙ平面座標系の補整画像データ６８０’に変換することで補整する。この際、映像処理部２２は、ｒ−η座標系とＸ−Ｙ座標系との中心座標を一致させた座標変換処理テーブルを予め記憶しており、取得した各画素のｒ−η座標に基づいてＸ−Ｙ座標を算出し、補整変換する。なお、映像処理部２２は、予め座標変換演算式を記憶しており、当該座標変換演算式を用いて補整変換を行っても良い。

この変換により、ｒ−η座標系で取得した資料６５０の資料像６６０が、Ｘ−Ｙ座標系（平面座標系）の補整資料像６７０に変換される。このようにＸ−Ｙ座標系に変換することで、補整資料像６７０は、資料６５０の自然体像に近いものとなる。すなわち、文字が歪んでいない資料６５０の画像データを取得することができる。

通信端末５は、映像処理部２２から取得した資料６５０の画像データを含む通信データを生成し、ネットワーク５００を介して相手先のビデオ会議装置に送信する。これにより、相手先のビデオ会議装置の周囲に在席する会議者には、鮮明で見やすい資料の画像を提供することができる。なお、この際、通信端末５は、収音音声データを放収音装置１から取得していれば、資料６５０の画像データとともに収音音声データを含む通信データを生成し、送信するようにしてもよい。

以上のように、本実施形態の構成および処理を用いることで、会議者の映像と資料の画像とを、それぞれの仕様に適した状態で取得し、送信することができる。この際、カメラを水平方向と垂直下方向との二方向に可変させるだけで、会議者映像と資料画像とのそれぞれの仕様に応じた映像を容易に取得することができる。

次に、第２の実施形態に係るビデオ会議装置について図を参照して説明する。
図８は、本実施形態のビデオ会議装置の内の放収音装置１とカメラ２と支持体７とからなる組み立て部材の外観図であり、（Ａ）は平面図、（Ｂ）は側面図である。
図９は、本実施形態のビデオ会議装置を用いたビデオ会議装置の状況を示した図であり、（Ａ）は平面図、（Ｂ）は側面図である。なお、図８、図９では、放収音装置１、カメラ２に接続されるケーブル類については、図示を省略している。

図１０は、本実施形態のビデオ会議装置による映像データの生成を説明する図であり、（Ａ）は撮像データを示す図、（Ｂ）は撮像データの中心部の画像補整の概念図、（Ｃ）は撮像データの周囲部の画像補整の概念図である。
本実施形態のビデオ会議装置は、放収音装置１および通信端末５の構成および処理は、第１の実施形態のビデオ会議装置と同じである。一方、本実施形態のビデオ会議装置は、カメラ２の設置構造すなわち支持体７の構造、およびカメラ２の映像処理部２２での映像処理方法が、第１の実施形態と異なり、スイッチ４が省略されたものである。

図８に示すように、円板状の放収音装置１の周囲には、支持体７が配置されている。支持体７は、垂直方向に延びる四本の垂直支軸と、放収音装置１の上面から距離ｈ１の位置に配置された二本の水平支軸と、放収音装置１の上面から距離ｈ２（＞ｈ１）の位置に配置された四本の水平支軸とからなる。距離ｈ１に配置される二本の水平支軸は、放収音装置１を平面視した時の略中心の位置で交わる構造からなり、四本の垂直支軸により距離ｈ１に保持されている。距離ｈ２に配置される水平支軸は、平面視して略正方形となるように組まれ、四本の垂直支軸により距離ｈ２に保持されている。

カメラ２は、距離ｈ１にある二本の水平支軸の交点に設置されている。カメラ２は、撮像方向が垂直上向きになるように設置されている。

載置テーブル８は、距離ｈ２にある四本の水平支軸により支持されており、載置テーブル８は、透過性の高いガラスやアクリル板等により形成されている。この際、平面視した状態で、載置テーブル８の中心とカメラ２の魚眼レンズの軸とが略一致するように、載置テーブル８とカメラ２が設置される。

載置テーブル８の上には、資料６５０が、印刷面を垂直下方向すなわち載置テーブル８に接する向きで置かれる。

ここで、カメラ２の高さおよび載置テーブル８の高さ、すなわち、距離ｈ１，ｈ２は、図９に示すように、会議者６０１〜６０４の少なくとも顔が、カメラ２で撮影可能で、且つ、載置テーブル８を支持する水平支軸で隠れないように設定するとよい。

このような構成のビデオ会議装置を用いた場合、カメラ２の撮像部２１で取得される撮像データは、図１０（Ａ）のようになる。すなわち、撮像データは、魚眼レンズを通して撮像されたものであるので、全撮像領域が円形の全領域画像データ６１０となり、その中心に資料６５０の資料像６６０が映され、その周辺部に各会議者６０１〜６０４の人物像６４１〜６４４が映される。

映像処理部２２は、円形の撮像データに対して、撮像データの中心を原点とし、原点から放射方向に延びる距離ｒと、所定方向（図１０では原点から撮像データに向かって右方向を０°方向）に対する角度ηとで表されるｒ−η座標系で取得する。映像処理部２２は、取得した撮像データから、予め設定された範囲の画像データ６８１を切り出す。

映像処理部２２は、ｒ−η座標系の画像データ６８１をＸ−Ｙ平面座標系の補整画像データ６８１’に変換することで補整する。この際、映像処理部２２は、ｒ−η座標系とＸ−Ｙ座標系との中心座標を一致させた座標変換処理テーブルを予め記憶しており、取得した各画素のｒ−η座標に基づいてＸ−Ｙ座標を算出し、補整変換する。なお、映像処理部２２は、予め座標変換演算式を記憶しており、当該座標変換演算式を用いて補整変換を行っても良い。

この変換により、図１０（Ｂ）に示すように、ｒ−η座標系で取得した資料６５０の資料像６６０が、Ｘ−Ｙ座標系（平面座標系）の補整資料像６７０に変換される。このようにＸ−Ｙ座標系に変換することで、補整資料像６７０は、資料６５０の自然体像に近いものとなる。すなわち、文字が歪んでいない資料６５０の画像データを取得することができる。

また、映像処理部２２は、全領域画像データ６１０から中心付近の画像データ６８１を取り除いた周辺部画像データ６８２を取得する。映像処理部２２は、通信端末５を介して放収音装置１から取得した話者位置情報に基づいて、第１の実施形態と同様に、抽出する領域を設定する。すなわち、映像処理部２２は、発言中の会議者の像を含む領域を抽出し、部分画像データ６８３を取得する。この際、映像処理部２２は、部分画像データをｒ−η座標系で取得する。具体的には、図１０（Ｃ）に示すように、映像処理部２２は、話者方位情報に基づいて、該当する会議者の像を含む扇形状の四箇所の角部の座標を、（ｒ１０，η１０），（ｒ１０，η２０），（ｒ２０，η２０），（ｒ２０，η１０）に設定して取得する。

映像処理部２２は、取得した部分画像データ６８３の補整変換を行う。具体的には、ｒ−η座標系で定義される各画素を、直交二次元の平面座標（Ｘ−Ｙ座標系）の画素に当てはめるように補整変換する。この際、映像処理部２２は、ｒ−η座標系とＸ−Ｙ座標系との変換処理テーブルを予め記憶しており、取得した各画素のｒ−η座標に基づいて、Ｘ−Ｙ座標を算出し、補整変換する。なお、映像処理部２２は、予め座標変換演算式を記憶しており、当該座標変換演算式を用いて補整変換を行っても良い。

例えば、図１０（Ｃ）に示すように、映像処理部２２は、距離範囲ｒ１０〜ｒ２０、方位角範囲η１０〜η２０で設定される部分画像データ６８３を、平面座標系であり水平方向をＸ軸として垂直方向をＹ軸とするｘ１０〜ｘ２０，ｙ１０〜ｙ２０で設定される補整画像データ６８３’に変換する。この変換により、ｒ−η座標系で取得した会議者６０４の人物像６４４が、Ｘ−Ｙ座標系（平面座標系）の補整人物像６５４に変換される。このようにＸ−Ｙ座標系に変換することで、補整人物像６５４は、会議者６０４の自然体像に近いものとなる。

映像処理部２２は、取得した補整資料像６７０を含む補整画像データと補整人物像６５４を含む補整画像データとに時間情報を添付して、映像データとして通信端末５に出力する。このような補整画像データの生成および出力は、逐次行われており、受け付けた話者方位情報θが変化すれば、この変化に応じて、補整人物像を含む補整画像データのみが切り替わった映像データが出力される。

通信端末５は、映像処理部２２からの映像データと収音音声データと話者方位情報θとを関連付けして通信データを生成し、ネットワーク５００を介して相手先のビデオ会議装置に送信する。これにより、相手先のビデオ会議装置の周囲に在席する会議者には、発言中の会議者の自然体に近い映像と当該会議者の発言とともに、資料画像を同時に提供することができる。

このように、本実施形態の構成および処理を用いることで、発言中の会議者映像と資料画像とを同時に取得して送信するビデオ会議装置を比較的簡素な構造で実現することができる。

なお、本実施形態では、会議者映像と資料画像とを同時に取得して送信する例を示したが、資料画像の取得は、定常的に行うのではなく、一時的に行って、このタイミングでのみ送信するようにしても良い。この場合、資料画像は、資料を取り替える時以外に変化することはないので、定常的に資料画像を送信する場合と比較しても、相手先に送信される情報内容が減ることはない。その一方で、資料画像を送信しない間は、資料画像のデータ量分だけ処理およびネットワーク負荷が軽くなるので、より高速に処理および送信を行うことができる。なお、資料画像取得のタイミングは、新たな資料を載置した際に操作部から、取得操作入力を行うようにしてもよく、画像解析部を設け、取得した画像が前の画像と異なる時を、新たな取得タイミングにしてもよい。

また、前述の各実施形態では、カメラ内に映像処理部を備えた例を示したが、当該映像処理部をカメラと独立な装置で実現したり、放収音装置や、通信端末に装備してもよい。これにより、カメラがより簡素な構造となるので、前述の必要な領域の撮影が可能なレンズさえあれば、汎用の動画用カメラを用いることもできる。

また、前述の説明では、通信端末を放収音装置と独立に設けた例を示したが、通信端末の有する機能を放収音装置に備えても良い。これにより、ビデオ会議装置の構成要素数が減少するので、より簡素で小型のビデオ会議装置を実現することができる。

第１の実施形態のビデオ会議装置の会議者撮影モード時の外観図である。 第１の実施形態のビデオ会議装置の資料撮影モード時の外観図である。 第１の実施形態のビデオ会議装置の主要構成を示すブロック図である。 第１の実施形態のビデオ会議装置を配置して、ネットワーク接続された他地点とビデオ会議を行う状況（会議者撮影モード）を示す図である。 会議者撮影モード時の映像データ生成の説明に用いる説明図である。 第１の実施形態のビデオ会議装置を配置して、ネットワーク接続された他地点とビデオ会議を行う状況（資料撮影モード）を示す図である。 資料撮影モード時の映像データ生成の説明に用いる説明図である。 第２の実施形態のビデオ会議装置の内の放収音装置１とカメラ２と支持体７とからなる組み立て部材の外観図である。 第２の実施形態のビデオ会議装置を用いたビデオ会議装置の状況を示した図である。 第２の実施形態のビデオ会議装置による映像データの生成を説明する図である。

符号の説明

１−放収音装置、２−カメラ、３−ステー、４−スイッチ、５−通信端末、６−ディスプレイ、７−支持体、８−載置テーブル、１１−筐体、１２−脚部、２１−撮像部、２２−映像処理部、３１−主体部、３２−カメラ支持部、３３−主体支持部、３４−放収音装置取付部、１０２−入出力Ｉ／Ｆ、１０３−放音制御部、１０５−Ａ／Ｄ−ＡＭＰ、１０６−収音制御部、１０７−エコーキャンセル部、１１０−凹部、１１１−操作部、２０３−ヒンジ、５００−ネットワーク、６０１〜６０５−会議者、６１０−全領域画像データ、６１１，６１５−人物像、６２１−補整画像データ、６２２−補整画像データ、６３１，６３５−補整人物像、６４１〜６４４−人物像、６５０−資料、６５４−補整人物像、６６０−資料像、６７０−補整資料像、６８０，６８１−補整画像データ、６８２−周辺部画像データ、６８３−部分画像データ、７００−テーブル

Claims (9)

1. 所定領域を撮像するカメラと、
   該カメラの撮像した映像に基づいて映像データを生成する映像データ生成手段と、
   自装置周囲の音声を収音して収音音声データを生成し、放音音声データを放音する放収音手段を備える筐体と、
   前記収音音声データと前記映像データとで通信データを形成し、当該通信データを外部に送信するとともに、外部からの通信データから放音音声データを取得して前記放収音手段に与える通信手段と、
   前記カメラを所定の態様で支持する支持手段と、
   を備えたビデオ会議装置であって、
   前記支持手段は、
   前記筐体の周囲の会議者撮像領域に前記カメラを向ける第１態様と、前記筐体の近傍の前記カメラに近接する領域に前記カメラを向ける第２態様と、のいずれかを選択的に実現し、
   前記映像データ生成手段は、
   前記第１態様の選択が検出されると、前記収音音声データに対応する方位領域のみを前記映像データから切り出して、切り出した映像データを前記第１態様に応じた第１補整処理により補整し、
   前記第２態様の選択が検出されると、前記カメラの正面方向を中心とする所定領域を前記映像データから切り出して、前記第１補整処理と異なる前記第２態様に応じた第２補整処理により切り出した映像データを補整する、ビデオ会議装置。
2. 前記支持手段は、前記第１態様と前記第２態様とを選択的に実現する関節機構を備えるとともに、該関節機構によるスイッチを形成し、
   前記映像データ生成手段は、前記関節機構によるスイッチの選択状況に基づいて前記第１態様と前記第２態様との選択を検出する請求項１に記載のビデオ会議装置。
3. 所定領域を撮像するカメラと、
   該カメラの撮像した映像に基づいて映像データを生成する映像データ生成手段と、
   自装置周囲の音声を収音して収音音声データを生成し、放音音声データを放音する放収音手段を備える筐体と、
   前記収音音声データと前記映像データとで通信データを形成し、当該通信データを外部に送信するとともに、外部からの通信データから放音音声データを取得して前記放収音手段に与える通信手段と、
   前記カメラを前記筐体に対して一定に支持する支持手段と、
   を備えたビデオ会議装置であって、
   前記カメラは、会議者撮像領域と、前記筐体の近傍の前記カメラに近接する領域とを同時に撮像し、
   前記映像データ生成手段は、
   前記会議者撮像領域に対応する第１部分映像データから、前記収音音声データに対応する方位領域のみを切り出して、切り出した第１部分映像データを第３補整処理により補整し、
   前記カメラに近接する領域に対応する第２部分映像データを、前記第３補整処理と異なる第４補整処理により補整する、ビデオ会議装置。
4. 通信データに用いる部分映像データを選択する選択手段を備え、
   前記映像データ生成手段は、選択手段により選択された部分映像データを前記通信手段に与える請求項３に記載のビデオ会議装置。
5. 前記カメラは魚眼レンズを有し、該魚眼レンズにより撮像される領域の中心領域を前記カメラに近接する領域とし、少なくとも前記中心領域から外の周辺領域を前記会議者撮像領域とする請求項１〜４のいずれかに記載のビデオ会議装置。
6. 前記映像データ生成手段は、前記カメラと一体形成されている請求項１〜５のいずれかに記載のビデオ会議装置。
7. 前記通信手段は、前記放収音手段とともに前記筐体に一体形成されている請求項１〜６のいずれかに記載のビデオ会議装置。
8. 前記映像データ生成手段は、前記放収音手段とともに前記筐体に一体形成されている請求項１〜５，７のいずれかに記載のビデオ会議装置。
9. 映像データを再生するディスプレイモニタを備え、
   前記通信手段は、通信データに含まれる映像データを取得して、前記ディスプレイモニタに与える請求項１〜８のいずれかに記載のビデオ会議装置。

Images