JP2004032782A - 全方位カメラ及びマイクロフォンアレイのためのシステム - Google Patents

Abstract

【課題】マイクロフォンアレイを有する全方位カメラを提供すること。
【解決手段】テレビ会議及びミーティングの記録用デバイスは、会議室テーブル上に配置される。マイクロフォンアレイ３０８は平面構成で、会議室テーブルからの音響反射をなくすために可能な限りデスクトップの付近に配置される。カメラ３０２がマイクロフォンベース３０６に、シリンダ３０４により接続される。人の声の周波数に対応する約５０〜４０００Ｈｚのオーディオ周波数が、参加者からマイクロフォンベース３０６内のすべてのマイクロフォン３０８までシリンダ３０４中を通過する。これにより、音源定位（話者の位置）及びビーム形成（特定の方向からの音のみをフィルタリングすることによって、話者の音質を改善すること）が容易になる。
【選択図】　　　　図３Ａ

Description

【０００１】
【発明の属する技術分野】
本発明は、全方位カメラ及びマイクロフォンアレイのためのシステムに関し、より詳細には、電子会議およびミーティングの記録のために使用することができる全方位カメラ及びマイクロフォンアレイのためのシステムに関する。
【０００２】
【従来の技術】
テレビ会議システムの商業的成功は限られてきた。これは多数の要因による。通常、多数の技術的欠陥がこれらのシステムに存在する。不十分なカメラの視点および不十分な画像解像度により、ミーティング参加者が話者を見ることが困難となる。これが（特にパンチルトズームカメラを有するシステムでは）不正確な話者検出によって一層悪化され、それによりカメラを話者に向けさせないようにする。加えて、不十分なビデオ圧縮技術はしばしば結果として、不十分なビデオ画質および「不規則に変化する」画像表示を生じる。
【０００３】
電子会議のために使用されるシステムのキャプチャ（ｃａｐｔｕｒｅ）デバイスは、テレビ会議およびミーティングを見るために貴重であるデータの少数の主なソースに焦点を合わせる傾向がある。これらには、ビデオデータ、オーディオデータ、およびコンピュータモニタ上に表示される電子ドキュメントまたはプレゼンテーションが含まれる。ドキュメントおよびプレゼンテーションを共有するための多数のソフトウェアソリューションが存在することを考えると、改善された方法におけるオーディオおよびビデオデータの取得は特に重要である。
【０００４】
【発明が解決しようとする課題】
ビデオデータを取得（ｃａｐｔｕｒｅ）するための３つの異なる方法が存在する。すなわち、パン（ｐａｎ）／チルト（ｔｉｌｔ）／ズーム（ＰＴＺ）カメラ、ミラーベースの全方位カメラ、およびカメラアレイである。ＰＴＺカメラは現在最も普及している選択であるが、これらには２つの主な制限がある。第１に、これらは限定された視野を捕まえることしかできない。これらが接近しすぎるようにズームインした場合、ミーティング室の状況が失われ、これらが遠すぎるようにズームアウトした場合、人々の表情が見えなくなる。第２に、制御モータがカメラを動かすために時間がかかるので、ミーティングに対するカメラの反応（たとえば、複数の話者の間で切り替えること）が遅い。実際に、ＰＴＺカメラは大変大量にあるいは大変高速に動くことができず、そうでないと、ミーティングを見ている人々の気が非常に散らされる可能性がある。
【０００５】
ミラー／プリズムベースの全方位ビジョンセンサにおけるこれらの欠点および最近の技術的進歩を考えて、研究者は、ビデオ信号が取得され、解析される方法を再考し始めている。たとえば、ＢｅＨｅｒｅ　Ｃｏｒｐｏｒａｔｉｏｎは３６０°インターネットビデオ技術をエンターテインメント、ニュースおよびスポーツのウェブキャストに提供している。そのインターフェイスにより、遠隔のユーザは、パーソナライズされた３６０°のカメラアングルを他の視聴者とは無関係に制御して、「その場にいる」体験を得ることができる。この手法は、限られた視野および遅いカメラの反応という、ＰＴＺカメラが直面する２つの難点を克服するが、これらのタイプのデバイスは、所与の今日の技術および市場の需要を築くには高価すぎる傾向がある。加えて、これらのミラープリズムベースの全方位カメラは、低解像度（１ＭＰセンサでさえも）および焦点ぼけの問題を欠点として有し、この結果としてビデオ品質が低下する。
【０００６】
もう１つの手法では、多数の安価なカメラまたはビデオセンサが組み立てられて、全方位カメラアレイが形成される。たとえば、１つの既知のシステムは、４台のＮａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ（ＮＴＳＣ）カメラを使用して、ミーティング室のパノラマビューを構成する。しかし、この設計には欠点がある。第１に、ＮＴＳＣカメラは比較的低品質のビデオ信号を提供する。加えて、４台のカメラは、信号の解析、送信または記録ができるようになる前に信号をデジタル化するために、４つのビデオキャプチャボードを必要とする。４つのビデオキャプチャボードを必要とすることにより、このようなシステムのコストおよび複雑性が増し、製造および維持がより困難となる。
【０００７】
上述したようなビデオキャプチャに関する問題のほかに、高品質のオーディオをミーティング室で取得することもまた困難である。オーディオキャプチャシステムは、様々な雑音および反響音を除去する必要がある。またこのシステムは、異なるレベルの入力信号についてのゲインも調節しなければならない。一般に、これらの要件に対処するための３つの手法がある。最も単純な手法は、至近距離のマイクロフォンを使用する（たとえば、ヘッドセットを介する）ことであるが、これはユーザ／話者にとって煩わしく、じゃまである。第２の手法は、マイクロフォンをミーティング室のテーブルに上に配置することである。これにより多数の音響経路が防止され、これは現在、ミーティングの音声を記録するための最も一般的な手法である。これらのシステムはいくつかの（通常は３つの）ハイパーカーディオイドマイクロフォンを使用して、全方位の特性を提供する。第３の手法は、デスクトップ電子会議システムにおいて提供される。この手法では、単方向マイクロフォンがＰＴＺカメラの最上部に取り付けられ、これが話者を指す。カメラ／マイクロフォンのグループがコンピュータによって制御され、これは別々のグループのマイクロフォンを使用して音源定位を実行する。しかし、この手法には２つの別々のマイクロフォンのセットが必要である。
【０００８】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、テレビ会議及びミーティング記録システムにおける上述したような問題を克服するようにした全方位カメラ及びマイクロフォンアレイのためのシステムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、人の発話の周波数範囲（５０〜４０００Ｈｚ）について音響的に無反射（ａｃｏｕｓｔｉｃａｌｌｙ　ｉｎｖｉｓｉｂｌｅ）であるように十分薄く、かつカメラアレイをマイクロフォンアレイに接続する円筒形ロッドからなり、その結果として、音の回折（ｓｏｕｎｄ　ｄｉｆｆｒａｃｔｉｏｎ）および投影（ｓｈａｄｏｗｉｎｇ）が解消されるものである。
【００１０】
統合カメラおよびマイクロフォンアレイは３６０度カメラを使用し、これはテレビ会議に伴う前述の各問題を解決するように設計される。３６０度カメラを会議用テーブルの中央に配置することができ、これにより、通常のテレビ会議システム（カメラが部屋の一端にある）と比較して、参加者の優れたカメラ視点が与えられる。カメラがテーブルから高められて、ミーティング参加者のほぼ正面の視点が提供される。加えて、統合カメラおよびマイクロフォンアレイは、遠隔の視聴者がミーティング参加者から表情を見るために十分な解像度を提供する（たとえば、１つの実行の実施形態では、３０００×４８０の解像度を有する）。カメラを、カメラアレイ、または、双曲面ミラーを有する単一のビデオセンサを使用する、いかなる全方位タイプにすることもできる。
【００１１】
マイクロフォンアレイは平面構成である。マイクロフォンは、好ましくはマイクロフォンアレイベース内に取り付けられ、テーブルからの音響反射をなくすために、可能な限りデスクトップの付近に位置することが好ましい。上述したように、カメラがマイクロフォンアレイベースに、薄い円筒形ロッドにより接続され、これは、人の声の周波数範囲（すなわち、約５０〜４０００Ｈｚ）についてマイクロフォンアレイに対して音響的に無反射である。これにより、話者からアレイ内のすべてのマイクロフォンへの直接パスが提供され、これが音源定位（話者の位置を決定すること）およびビーム形成（話者の方向から来るのではない音をフィルタリングして除くことによって、話者の音質を改善すること）のために優れるようになる。統合マイクロフォンアレイは、リアルタイムの音源定位を実行するために使用され、カメラアレイは、コンピュータビジョンベースの人物検出および追跡と共に使用されて、話者が画像内で位置する場所が正確に検出される。オーディオおよびビデオベースの話者検出を、自動カメラ管理、ならびに、大幅に改良されたビデオ圧縮（たとえば、背景よりも顔の領域により多くのビットを使用することによる）のために使用することができる。
【００１２】
統合カメラおよびマイクロフォンアレイの出力がＰＣに接続されることが好ましく、ここで、画像スティッチング（ｉｍａｇｅ　Ｓｔｉｔｃｈｉｎｇ）および圧縮、音源定位、ビーム形成およびカメラ管理などのアプリケーションを行うことができる。
【００１３】
統合カメラおよびマイクロフォンアレイの一実施形態は、１３９４バスを使用してビデオをＰＣに転送し、アナログケーブルを使用してオーディオをパーソナルコンピュータ（ＰＣ）に転送する。優れたビデオ品質を提供し、単一の１３９４カードのみを必要とする、５台のＩＥＥＥ　１３９４カメラが、この実施形態で使用される。他の実施形態は、単一のプリント回路基板を（ＰＣＢ）をすべてのカメラおよびマイクロフォンについて使用し、すべてのオーディオおよびビデオが単一の１３９４ケーブルを介して送信されるようにする。１３９４ケーブルはまた電力も提供し、そのため単一のケーブルのみがカメラとＰＣの間で必要とされる。
【００１４】
使用されるマイクロフォンを全方位にも単方向にもすることができるが、全方位が好ましく、これは、全方位がすべての関心のある音の角度について一様の反応を与えるからである。必要とされるマイクロフォンの最低数は３つであるが、本発明の好ましい実施形態は、音源定位の精度を高め、ビーム形成をよりよくし、オーディオシステム全体のロバスト性のために８つを使用する。マイクロフォンが丸い平面のマイクロフォンベースの円周の周囲の円に等辺に配置されることが好ましいが、他の構成も可能である。使用されるマイクロフォンが多いほど、全方向のオーディオ範囲および信号対雑音比がよりよくなる。しかし、マイクロフォンをより多数にするコストおよび複雑性は、トレードオフである。加えて、多数のマイクロフォンでは、オーディオ信号の処理がより複雑になる。テーブルの雑音を減らすため、マイクロフォンをラバーケース内に取り付けることができ、遮音性がマイクロフォンの下に配置される。
【００１５】
カメラはレンズシールドを使用することができ、これは通常の動作モードで上がり、プライバシーモードで下がる。他の方法として、カメラセンサ用のシャッタをオフにすることができ、あるいは、カメラを電気的に絶縁させて、プライバシーモードの間にカメラをオフにすることができる。マイクロフォンはまた、プライバシーモードが呼び出されるとき、オフにされることも好ましい。記録中に、カメラのライトはオンであり、ユーザにカメラがアクティブであることを知らせる。カメラがプライバシーモードであるとき、ライトがオフにされる。
【００１６】
統合全方位カメラおよびマイクロフォン設計の様々な他の実施形態が可能である。これは部分的には、システムのモジュラー性による。たとえば、一実施形態では、３６０度のカメラ範囲を達成するために多数のビデオセンサを使用する全方位カメラが使用される。他の方法として、本発明のもう１つの実施形態では、１つのビデオセンサ、および、パノラマ範囲を達成するために３６０度からの光をキャプチャする双曲面レンズを使用する、全方位カメラが使用される。さらに、これらのカメラのセットアップのいずれをもそれら自体で使用し、音響的に無反射（ａｃｃｏｕｓｔｉｃａｌｌｙ　ｔｒａｎｓｐａｒｅｎｔ）な円筒形ロッド上で高めて、ミーティング参加者の正面のビューを提供することができる。または、これらを前述のマイクロフォンアレイと統合させることができる。他の方法として、他のカメラ設計も、円筒形ロッドと共に使用することができる。カメラおよびマイクロフォンアレイを接続するロッドはまた、この（５０〜４０００）Ｈｚ範囲内で音を回折しないために十分薄い限り、円筒形である必要もない。
【００１７】
同様に、上述したように、一実施形態では、マイクロフォンアレイは、円の円周の周囲に等辺の距離で、かつ、テーブルからの音響反射を最小限にして室内のいずれかの話者へのクリアパスを達成するために可能な限りテーブル表面の付近に、配置された複数のマイクロフォンからなる。しかし、音響的に無反射なロッドを使用して全方位カメラのセットアップに統合することができる、他のマイクロフォン構成が可能である。加えて、上述した全方位マイクロフォンアレイを、いかなるカメラもなしに使用して、最適な３６０度の音声範囲を達成することができる。この範囲は特に音源定位およびビーム形成に有用であり、これはマルチパス問題が最小限にされるか、あるいは解消されるからである。
【００１８】
本発明のカメラおよびマイクロフォンアレイを使用する一実施形態は、コンピュータを使用して、画像データおよびオーディオ信号を最適化する。カメラのデジタル画像出力およびマイクロフォンアレイのオーディオ出力（アナログ−デジタルコンバータを介する）がコンピュータに経路指定される。コンピュータは様々な機能を実行して、画像およびオーディオ入力を拡張かつ利用する。たとえば、パノラマ画像フィルタは、全方位カメラにおける様々なセンサによって取られる画像を共に繋ぎ合わせる（ｓｔｉｔｃｈ）。加えて、画像データを圧縮して、ネットワーク（インターネットなど）を介した放送のためにより互換性を有するようにすることができ、あるいはコンピュータ読み取り可能な記憶媒体に保存することができ、これは好ましくは、送信かつ／または記録されるビデオおよびオーディオ出力を分割するスプリッタを介して行われる。オプショナルで、画像データをまた人物検出器／追跡器に入力して、カメラ管理を改善することもできる。たとえば、話者を含む画像／ビデオの部分を識別し、これをオーディオ信号に関連付けて、テレビ会議において見られるカメラのビューを、話者が話すときにその方向に向けることができるようにすることができる。加えて、話者の位置を使用してビデオ圧縮を改善することができ、これは、背景よりも顔の領域についてより大きい解像度を可能にすることによって行う。
【００１９】
オーディオ入力をまた様々な目的に使用することもできる。たとえば、オーディオを音源定位のために使用して、オーディオをいかなる所与のときにも話者の方向に合わせて最適化できるようにすることができる。加えて、ビーム形成モジュールをコンピュータにおいて使用して、オーディオのビーム形状を改良し、それにより所与の方向からのオーディオのフィルタリングを改善することができる。雑音低減および自動ゲイン制御モジュールを使用して信号対雑音比を改善することもでき、これは部屋の背景雑音に対して話者からのオーディオ信号をよりよくキャプチャするために、雑音を低減し、ゲインを調節することによって行う。これらの各画像およびオーディオ処理モジュールを単独で、あるいは組み合わせて使用することができ、あるいはまったく使用しないことができる。
【００２０】
ビデオおよびオーディオ信号は、拡張されてもされなくても、別のテレビ会議の現場またはインターネットに放送することができる。これらをまた、後に見るためにコンピュータ読み取り可能な記憶媒体に保存することもできる。
【００２１】
上述した統合カメラおよびマイクロフォンアレイについての主な応用例は、テレビ会議およびミーティングの記録である。マイクロフォンアレイを全方位カメラと統合することによって、必要とされるビデオおよびオーディオの間の較正が大幅に簡素化され（精密に製造されたカメラおよびマイクロフォンアレイでは較正の必要がない）、オーディオおよびビデオ情報を会議室から単一のデバイスにより収集することが達成される。
【００２２】
【発明の実施の形態】
［１．０　例示的オペレーティング環境］
以下に示す本発明の好ましい実施形態の説明では、本明細書の一部を形成する添付の図面を参照し、本発明を実施することができる特定の実施形態を示す。他の実施形態を利用することができ、本発明の技術的範囲から逸脱することなく構造上の変更を行うことができることはもちろんである。
【００２３】
図１は、本発明を実施することができる適切なコンピューティングシステム環境の一実施例を示す図である。このコンピューティングシステム環境１００は、適切なコンピューティング環境の一実施例でしかなく、本発明の用途または機能性の範囲についてのいかなる限定も示唆するものではない。コンピューティング環境１００は、例示的オペレーティング環境１００に例示したコンポーネントのいずれか１つまたはその組合せに関係するいかなる依存性も要件も有するように解釈されるべきではない。
【００２４】
本発明は、多数の他の汎用または専用コンピューティングシステム環境または構成により実施可能である。本発明と共に使用するために適切である可能性のある周知のコンピューティングシステム、環境および／または構成の例には、それだけに限定されないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブルなコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などが含まれる。
【００２５】
本発明は、プログラムモジュールなど、コンピュータによって実行されるコンピュータ実行可能命令に関連して説明することができる。一般に、プログラムモジュールには、特定のタスクを実行するか、あるいは特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。本発明をまた分散コンピューティング環境において実施することもでき、ここではタスクが、通信ネットワークを通じてリンクされる複数のリモート処理デバイスによって実行される。分散コンピュータ環境では、プログラムモジュールは、メモリデバイスを含む、ローカルおよびリモートのコンピュータ記憶媒体に位置することができる。
【００２６】
図１を参照すると、本発明を実施するための例示的システムは、コンピュータ１１０の形式における汎用コンピューティングデバイスを含む。コンピュータ１１０のコンポーネントは、それだけに限定されないが、処理装置１２０、システムメモリ１３０、および、システムメモリを含む様々なシステムコンポーネントを処理装置１２０に結合するシステムバス１２１を含むことができる。システムバス１２１は、いくつかのタイプのバス構造のいずれかにすることができ、これには、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バスおよびローカルバスが含まれる。例として、限定ではなく、このようなアーキテクチャには、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｓｔａｎｄａｒｄｓ　Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、およびメザニンバスとしても知られる周辺装置相互接続（ＰＣＩ）バスが含まれる。
【００２７】
コンピュータ１１０は通常、様々なコンピュータ可読媒体を含む。コンピュータ読み取り可能な記憶媒体は、コンピュータ１１０によってアクセスすることができるいかなる使用可能な媒体にすることもでき、これには、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体が含まれる。例として、限定ではなく、コンピュータ読み取り可能な記憶媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブルの媒体を含み、これらはコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなど、情報の格納のためのいずれかの方法または技術において実施される。コンピュータ記憶媒体には、それだけに限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイス、または、所望の情報を格納するために使用することができ、コンピュータ１１０によってアクセスすることができる他のいずれかの媒体が含まれる。通信媒体は通常、コンピュータ可読命令、データ構造、プログラムモジュール、または、搬送波または他の移送メカニズムなどの変調データ信号における他のデータを実施し、いずれかの情報配信媒体を含む。「変調データ信号」という用語は、信号における情報を符号化するような方法でその特性の１つまたは複数が設定あるいは変更されている信号を意味する。例として、限定ではなく、通信媒体には、ワイヤードネットワークまたはダイレクトワイヤード接続などのワイヤード媒体、および、音響、ＲＦ、赤外線および他のワイヤレス媒体などのワイヤレス媒体が含まれる。上記のいずれの組合せも、コンピュータ読み取り可能な記憶媒体の範囲内に含まれるべきである。
【００２８】
システムメモリ１３０は、揮発性および／または不揮発性メモリの形式におけるコンピュータ記憶媒体を含み、これは読み取り専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２などである。基本入出力システム１３３（ＢＩＯＳ）は、起動中など、コンピュータ１１０内の複数の要素の間で情報を転送する助けとなる基本ルーチンを含み、通常はＲＯＭ１３１に格納される。ＲＡＭ１３２は通常、処理装置１２０によって即時アクセス可能および／または現在動作中であるデータおよび／またはプログラムモジュールを含む。例として、限定ではなく、図１は、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６およびプログラムデータ１３７を例示する。
【００２９】
コンピュータ１１０はまた、他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体も含むことができる。例としてのみ、図１は、非リムーバブル、不揮発性の磁気媒体に対する読み書きを行うハードディスクドライブ１４１、リムーバブル、不揮発性磁気ディスク１５２に対する読み書きを行う磁気ディスクドライブ１５１、および、ＣＤ−ＲＯＭまたは他の光媒体など、リムーバブル、不揮発性の光ディスク１５６に対する読み書きを行う光ディスクドライブ１５５を例示する。例示的オペレーティング環境で使用することができる他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体には、それだけに限定されないが、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれる。ハードディスクドライブ１４１は通常システムバス１２１に、インターフェイス１４０などの非リムーバブルメモリインターフェイスを通じて接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は通常システムバス１２１に、インターフェイス１５０などのリムーバブルメモリインターフェイスによって接続される。
【００３０】
図１に例示したドライブおよびそれらの関連付けられたコンピュータ記憶媒体は、コンピュータ１１０用のコンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータの記憶装置を提供する。図１では、たとえば、ハードディスクドライブ１４１が、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６およびプログラムデータ１４７を格納するものとして例示される。これらのコンポーネントを、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６およびプログラムデータ１３７と同じものにも異なるものにもすることができることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６およびプログラムデータ１４７にはここで異なる番号が与えられて、最低でも、それらが異なるコピーであることが例示される。ユーザが、コマンドおよび情報をコンピュータ１１０へ、キーボード１６２およびポインティングデバイス１６１などの入力デバイスを通じて入力することができ、これは一般に、マウス、トラックボールまたはタッチパッドと呼ばれる。他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどが含まれる可能性がある。これらおよび他の入力デバイスがしばしば処理装置１２０へ、システムバス１２１に結合されるユーザ入力インターフェイス１６０を通じて接続されるが、これを、パラレルポート、ゲームポートまたはユニバーサルシリアルバス（ＵＳＢ）など、他のインターフェイスおよびバス構造によって接続することができる。モニタ１９１または他のタイプの表示デバイスもシステムバス１２１へ、ビデオインターフェイス１９０などのインターフェイスを介して接続される。モニタに加えて、コンピュータはまた、スピーカ１９７およびプリンタ１９６など、出力周辺インターフェイス１９５を通じて接続することができる他の周辺出力デバイスも含むこともできる。特に本発明に重要なものである、画像のシーケンス１９３をキャプチャすることができるカメラ１９２（デジタル／電子のスチールまたはビデオカメラ、またはフィルム／写真スキャナ）もパーソナルコンピュータ１１０への入力デバイスとして含めることができる。さらに、１台のみのカメラを示すが、多数のカメラをパーソナルコンピュータ１１０への入力デバイスとして含めることができる。１つまたは複数のカメラからの画像１９３がコンピュータ１１０に、適切なカメラインターフェイス１９４を介して入力される。このインターフェイス１９４がシステムバス１２１に接続され、これにより画像をＲＡＭ１３２、またはコンピュータ１１０に関連付けられた他のデータ記憶デバイスの１つに経路指定し、格納することができる。しかし、画像データをコンピュータ１１０へ、カメラ１９２を使用する必要なしに、前述のコンピュータ読み取り可能な記憶媒体のいずれからも入力することができることに留意されたい。
【００３１】
コンピュータ１１０はネットワーク環境において、リモートコンピュータ１８０など、１つまたは複数のリモートコンピュータへの論理接続を使用して動作することができる。リモートコンピュータ１８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の共通ネットワークノードにすることができ、通常は、コンピュータ１１０に関連して上述した要素の多数またはすべてを含むが、メモリデバイス１８１のみを図１に例示した。図１に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１および広域ネットワーク（ＷＡＮ）１７３を含むが、他のネットワークも含むことができる。このようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネットおよびインターネットにおいて一般的である。
【００３２】
ＬＡＮネットワーキング環境において使用するとき、コンピュータ１１０がＬＡＮ１７１へ、ネットワークインターフェイスまたはアダプタ１７０を通じて接続される。ＷＡＮネットワーキング環境において使用するとき、コンピュータ１１０は通常、モデム１７２、またはインターネットなどのＷＡＮ１７３を介して通信を確立するための他の手段を含む。モデム１７２を内部または外部にすることができ、システムバス１２１へ、ユーザ入力インターフェイス１６０または他の適切なメカニズムを介して接続することができる。ネットワーク環境では、コンピュータ１１０に関して示したプログラムモジュールまたはその一部を、リモートメモリデバイスに格納することができる。例として、限定ではなく、図１はリモートアプリケーションプログラム１８５を、メモリデバイス１８１上に存在するものとして例示する。図示のネットワーク接続は例示的であり、通信リンクを複数のコンピュータの間で確立する他の手段を使用できる。
【００３３】
以上、例示的オペレーティング環境について説明したが、この説明のセクションの残りの部分であるプログラムモジュールについて以下に説明する。
【００３４】
［３．０　統合全方位カメラおよびマイクロフォンアレイ］
このセクションでは、音響的に無反射なロッドを介して接続された、統合全方位カメラおよびマイクロフォンアレイについて説明する。
【００３５】
［３．１　概観］
本発明は、全方位カメラをマイクロフォンアレイと共に最適に統合する方法に関するもので、この設計の目的は、以下の通りであった。
【００３６】
１．マイクロフォンアレイ設計は、話者からアレイ内のすべてのマイクロフォンへのクリアパスを提供するべきである。クリアパスが可能でない場合、使用されるいかなる音源定位およびビーム形成アルゴリズムも非常に困難となり、低下した結果を与える。
【００３７】
２．マイクロフォンアレイ設計は、いかなる音源定位およびビーム形成結果も低下させるであろう表面からの音響反射を防止するために、可能な限りデスクトップまたは他の表面の付近にマイクロフォンを配置するべきである。
【００３８】
３．カメラアレイが高められて、ミーティング参加者のほぼ正面のビューが提供されるべきである。カメラアレイを、目立たなくするように十分小さくするべきである。
【００３９】
４．マイクロフォンアレイのジオメトリ（複数のマイクロフォンの間の位置および距離）により、オーディオ処理アルゴリズムが、作業周波数帯域内で、話者に向けられた、よいビーム形状を達成できるようにし、それにより高い音質を提供するべきである。
【００４０】
［３．２　統合設計］
統合カメラおよびマイクロフォンアレイは、マイクロフォンベースをカメラアレイに接続する円筒形のポールを使用する。このポールは、人の発話の周波数範囲（５０〜４０００Ｈｚ）について音響的に無反射（ｉｎｖｉｓｉｂｌｅ）である。
【００４１】
図２のように、統合カメラおよびマイクロフォンアレイ２０２は、会議室テーブル２０４の中心に配置される。
【００４２】
この設計は、いずれかの所与の話者または音源からすべてのマイクロフォンへのクリアパスを提供し、マイクロフォンアレイをテーブル面の付近に配置して、テーブルからの音響反射から引き起こされるマルチパス問題を回避する。加えて、この設計は、カメラをデスクトップから高め、したがって、すべてのミーティング参加者の正面またはほぼ正面のビューを提供する。
【００４３】
統合カメラおよびマイクロフォンアレイはよいビーム形状を保証し、これを、ただ１つの方向からの音をフィルタリングすることによって話者の音質を改善するために使用することができる。さらに、カメラおよびマイクロフォンの統合性は有利であり、これは、それにより較正を繰り返す必要性がないからである。カメラおよびマイクロフォンが単一のデバイスとして統合されるので、ただ１度の最初の較正のみが必要である。また、統合カメラおよびマイクロフォンを小型の固定設計にすることができるので、別々のケーブルおよび会議用テーブル上の追加のスペースを必要とするであろう２つの別々のカメラおよびマイクロフォンのコンポーネントよりも、はるかにじゃまではない。
【００４４】
［３．３　システムコンポーネント］
図３Ａ及び図３Ｂは、統合全方位カメラおよびマイクロフォンアレイの一実施形態を示す図である。この設計におけるコンポーネントには、全方位カメラ３０２、シリンダ３０４、マイクロフォンベース３０６、マイクロフォン３０８、マイクロフォンプリアンプ３１０およびアナログ−デジタル（Ａ／Ｄ）コンバータ（図示せず）が含まれる。
【００４５】
［３．３．１　全方位カメラ］
様々な全方位カメラ技術が存在する。これらには、多数のビデオセンサが共に密接に連続してパックされる、１台のカメラのタイプが含まれる。もう１つの全方位カメラのタイプは、３６０度からの光線をキャプチャする双曲面レンズを有する単一のビデオセンサを使用する。本発明の統合カメラおよびマイクロフォンアレイ設計は、このようないずれかの全方位カメラを使用することができる。カメラヘッド３０２を十分に小さくして、会議室テーブルまたは他の表面上に設定されるときにじゃまにならないようにするべきであることが好ましい。
【００４６】
マルチセンサカメラ構成が使用される場合、複数のカメラまたはビデオセンサを使用することができる。好ましい数は８つである。これらのセンサは連続するように配置され、各センサの突起の中心が等しい角距離で離れるようにするべきであることが好ましい。たとえば、８つのセンサが使用される場合、各センサは隣接するセンサから４５度となる。しかし、異なる距離の画像をキャプチャすることが必要である場合、異なるレンズおよび異なるカメラ配置を使用することが可能である。たとえば、これは、方形または長円形の会議用テーブルの場合である。より長く、より狭い視野を有するレンズをより長い距離に使用することができ、より幅広く、より短い視野を有するレンズをより短い距離にある画像をキャプチャするために使用することができる。この場合、カメラセンサはカメラヘッドの周囲に等辺に配置されない可能性がある。より幅広い視野を有するカメラセンサを、より狭い視野を有するカメラセンサからさらに放して配置することができる。他の方法として、可変の視野を有するカメラ（回転およびズームインおよびアウトして、所与の状況に合わせて調節するカメラ）も使用することができる。
【００４７】
図４は、本発明の一実施形態を示す図で、小型のマルチセンサ設計を使用し、多数の小型カメラセンサが連続するように、円形のカメラヘッドの円周の周囲に構成される図である。カメラ４０４の底部は、好ましくは吸音材料を有して、机からカメラまでマイクロフォンへの音響反射が生じることを防止する。この実施形態では、８つのカメラセンサが使用される。この小型設計では、カメラセンサが共に密接に連続してパックされ、画像スティッチを改善する。この実施形態では、カメラヘッド４０４は直径約５０ｍｍであり、カメラヘッドをベースに接続するシリンダ４０６は約１０インチ（２５．４ｃｍ）の高さである。この高さはカメラ４０４を、すべてのミーティング参加者の正面のビューを得るように配置する。別法として、カメラヘッド４０４をこれより低くすることができ、カメラセンサ４０２をわずかに上向きにすることができる。これによっても、カメラが幾分目立たなくなる。
【００４８】
［３．３．２　シリンダ］
図３Ａ及び図３Ｂの実施形態を参照すると、全方位カメラ３０２が好ましくは中空のシリンダ３０４に取り付けられ、これがマイクロフォンベース３０６に取り付けられる。シリンダの直径Ｄ１を十分に薄くして、シリンダ３０４が所期の使用に対応する周波数について音響的に無反射となるようにするべきである。カメラケーブルがシリンダ３０４中を通されて、いかなる音響的な障壁を高めないようにすることが好ましい。シリンダの高さＨ１を十分に高くして、会議用テーブルの周囲に着席するあらゆる人物の正面のビューが提供されるようにするべきであるが、カメラが目立つようになるほど高くするべきではない。シリンダの高さをオプショナルで調節可能にすることもできる。たとえば、テレビ会議の応用例では、シリンダの高さを調節して、可変デスクおよび参加者の高さを調節することができる。
【００４９】
さらに、図３Ａ及び図３Ｂの実施形態を参照すると、シリンダ３０４は２ｃｍ未満の直径Ｄ１を有し、これにより、人の声の周波数に対応する約５０〜４０００Ｈｚのオーディオ周波数が、いずれかの話す参加者からマイクロフォンベース内のすべてのマイクロフォンまで本質的に乱されずにシリンダ中を通過することができる。シリンダの高さＨ１は、この実施形態では１４ｃｍである。
【００５０】
［３．３．３　マイクロフォンベース］
一般に、マイクロフォンベースは、マイクロフォン、マイクロフォンプリアンプおよびＡ／Ｄコンバータを保持する。これはシリンダに接続し、カメラケーブルのための接続出口を提供する。マイクロフォンベースは低姿勢であり、デスクトップとマイクロフォンの間の距離を最小限にする。マイクロフォンベースにより、各マイクロフォンから参加者への直接パスが可能となる。
【００５１】
統合カメラおよびマイクロフォンアレイの実施形態を図３Ａ及び図３Ｂに例示する。マイクロフォンベース３０６の直径Ｄ３は、カメラヘッド３０２の直径Ｄ２よりも幅広い。これにより、統合カメラおよびマイクロフォンアレイに安定性をもたらし、容易にひっくり返されることを防止する。マイクロフォンベースの高さＨ３は比較的小さい。この寸法は、マルチパス問題を回避するために内蔵マイクロフォン３０８をテーブル表面の十分付近に保つために十分低いが、マイクロフォン３０８をマイクロフォンベースに内蔵できるようにするために十分高いことが好ましい。この実施形態では、Ｄ３は１６ｃｍ、Ｈ３は１．５ｃｍ、Ｈ２は６ｃｍ、Ｄ２は１０ｃｍである。
【００５２】
［３．３．４　マイクロフォン］
使用されるマイクロフォンを全方位にも単方向にもすることができるが、全方位マイクロフォンが好ましく、これは、全方位マイクロフォンがすべての関心のある音の角度について一様の反応を与えるからである。必要とされるマイクロフォンの最低数は３つであるが、本発明の実施形態は、音源定位の精度を高め、ビーム形成をよりよくし、オーディオシステム全体のロバスト性のために８つを使用する。
【００５３】
テーブルの雑音を減らすため、マイクロフォンをラバーケース内に取り付けることができ、遮音性を同じ目的のためにマイクロフォンの下に配置することができる。
【００５４】
さらに、図３Ａ及び図３Ｂの実施形態を参照すると、マイクロフォン３０８が平面のマイクロフォンベース３０６上の円の円周の周囲に等辺に配置される。この実施形態では、８つのマイクロフォン３０８が使用される。一般に、使用されるマイクロフォンが多いほど、全方向のオーディオ範囲および信号対雑音比がよりよくなる。しかし、マイクロフォンをより多数にするコストおよび複雑性は、トレードオフである。加えて、多数のマイクロフォンでは、オーディオ信号の処理がより複雑になる。図３Ａ及び図３Ｂの実施形態では、シリンダ３０４の中心から各マイクロフォン３０８の中心までの距離Ｄ５は７ｃｍである。
【００５５】
［３．３．５　マイクロフォンプリアンプ、Ａ／Ｄコンバータ］
マイクロフォンプリアンプ３１０およびアナログ−デジタル（Ａ／Ｄ）コンバータ（図示せず）が、図３Ｂに示すように、マイクロフォンベース３０６に統合されることが好ましい。この実施形態では、プリアンプ３１０の幅Ｄ４は５．９０１ｃｍである。マイクロフォンプリアンプはマイクロフォンからの信号を増幅して、後に続くＡ／Ｄコンバータのために信号振幅を正規化する。Ａ／Ｄコンバータは、カメラからのアナログ信号をデジタルに変換する。
【００５６】
この実施形態では、マイクロフォンからの信号の信号サンプリングが互いの１マイクロ秒以内に同期化されて、音源定位およびビーム形成が容易にされる。
【００５７】
［３．４　プライバシーモード］
カメラはレンズシールドを使用することができ、これは通常の動作モードで開き、プライバシーモードで閉じる。他の方法として、カメラセンサ用のシャッタをオフにすることができ、あるいは、カメラを電気的に絶縁させて、プライバシーモードの間にカメラをオフにすることができる。マイクロフォンはまた、プライバシーモードが呼び出されるとき、オフにされることも好ましい。記録中に、カメラ最上部のライトはオンであり、ユーザにカメラがアクティブであることを知らせる。プライバシーモードがオンであるとき、ライトがオフにされる。
【００５８】
［４．０　モジュラー性による他の実施形態］
統合全方位カメラおよびマイクロフォン設計の様々な他の実施形態が可能である。これは部分的にはシステムのモジュラー性による。
【００５９】
たとえば、様々なカメラの実施形態を使用することができる。一実施形態では、３６０度のカメラ範囲を達成するために多数のビデオセンサを使用する全方位カメラが使用される。他の方法として、本発明のもう１つの実施形態では、１つのビデオセンサ、および、パノラマ範囲を達成するために３６０度からの光をキャプチャする双曲面レンズを使用する、全方位カメラが使用される。さらに、これらのカメラのいずれをもそれら自体で使用し、音響的に無反射な円筒形ロッド上で高めて、ミーティング参加者の正面のビューを提供することができる。または、いずれのカメラもマイクロフォンアレイと統合させることができる。他の方法として、他の全方位カメラ設計も、円筒形ロッドおよび／またはマイクロフォンアレイと共に使用することができる。
【００６０】
同様に、様々なマイクロフォン構成を使用することができる。一実施形態では、マイクロフォンアレイは、円の円周の周囲に等辺の距離で、かつ、室内のいずれかの話者へのクリアパスを達成するために可能な限りテーブル表面の付近に、配置された複数のマイクロフォンからなる。しかし、音響的に無反射なロッドを使用してカメラと統合することができる、他のマイクロフォン構成が可能である。他の方法として、上述した全方位マイクロフォンアレイを、いかなるカメラもなしに使用して、最適な３６０度の音声範囲を達成することができる。この音声範囲は、特に、音源定位およびビーム形成に有用であり、これはマルチパス問題が最小限にされるか、あるいは解消されるからである。
【００６１】
統合カメラおよびマイクロフォンアレイの一実施形態では、画像スティッチおよび圧縮がＰＣ上で実行される。他の実施形態は、カメラにおける画像スティッチおよび圧縮を、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のゲートアレイにより実行する。この設計はＵＳＢインターフェイスを使用してカメラおよびＰＣのインターフェイスを取り、ＰＣに、画像圧縮およびミーティングの記録／放送などの他のタスクを行うためにより多くのＣＰＵサイクルを可能にする。
【００６２】
［５．０　例示的な実施形態］
図５は、本発明のカメラおよびマイクロフォンアレイを使用する一実施形態を示す図である。カメラ５０２の画像出力およびマイクロフォンアレイ５０４のオーディオ出力が、アナログ−デジタルコンバータ５０６を介してコンピュータ５０８に経路指定される。コンピュータ５０８は様々な機能を実行して、画像およびオーディオ入力を拡張かつ利用する。たとえば、パノラマフィルタモジュール５１０は、全方位カメラ５０２における様々なセンサによって取られる画像を共にスティッチする。加えて、画像データを圧縮モジュール５１２によって圧縮して、ネットワーク（インターネットなど）を介した放送５１４のためにより互換性を有するようにすることができ、あるいはコンピュータ読み取り可能な記憶媒体５１６に保存することができる（好ましくはスプリッタ５２０を介する）。オプショナルで、画像データをまた人物検出器／追跡器モジュール５２２に入力して、カメラ管理５２４を改善することもできる。たとえば、話者を含む画像／ビデオの部分を識別し、これをオーディオ信号に関連付けることができ、話者に向けられたカメラ／センサによってキャプチャされた画像が放送されるか、あるいはディスクに保存される。
【００６３】
オーディオ入力をまた様々な目的に使用することもできる。たとえば、オーディオを音源定位モジュール５２６に入力して、話者からのオーディオが分離されるようにすることができる。加えて、ビーム形成モジュール５２８をコンピュータ５０８において使用して、オーディオのビーム形状を改良することができる。雑音低減および自動ゲイン制御モジュール５３０を使用して信号対雑音比を改善することもでき、これは部屋の背景雑音に対して話者からのオーディオ信号をよりよくキャプチャするために、雑音を低減し、ゲインを調節することによって行う。
【００６４】
上述したように、ビデオおよびオーディオ信号を他のテレビ会議の現場またはインターネットに放送することができる。これらをまた、後に見るためにコンピュータ読み取り可能な記憶媒体に保存することもできる。
【００６５】
以上、本発明の実施形態について説明した。本発明は、この実施形態の開示のみに限定されるものではない。たとえば、上述の統合カメラおよびマイクロフォンアレイの実施形態を、監視システムに適用することができる。多数の修正および変形の実施形態は、上述の開示に照らして可能である。本発明の技術的範囲がこの詳細な説明によって限定されるのではなく、特許請求の範囲によって限定されるものである。
【図面の簡単な説明】
【図１】本発明を実施するための例示的システムを構成する汎用コンピューティングデバイスを示す図である。
【図２】会議用テーブル上の統合カメラおよびマイクロフォンアレイの好ましい位置決めを示す図である。
【図３Ａ】統合カメラおよびマイクロフォンアレイの一実施形態の側面図である。
【図３Ｂ】図３Ａの統合カメラおよびマイクロフォンアレイの実施形態の平面図である。
【図４】統合カメラおよびマイクロフォンアレイの他の実施形態の斜視図である。
【図５】キャプチャされたビデオおよびオーディオデータを拡張するためにコンピュータを使用する、本発明の一実施形態を示す図である。
【符号の説明】
２０２　統合カメラおよびマイクロフォンアレイ
２０４　会議室テーブル
３０２　全方位カメラ、カメラヘッド
３０４、４０６　シリンダ
３０６　マイクロフォンベース
３０８　マイクロフォン
３１０　マイクロフォンプリアンプ
４０２　カメラセンサ
４０４　カメラ、カメラヘッド

Claims (54)

1. オーディオ信号及びビデオ画像データを取得するためのシステムであって、
   前記ビデオ画像データを取得する１つまたは複数のカメラと、
   前記オーディオ信号を取得するマイクロフォンアレイと、
   前記カメラを前記マイクロフォンアレイに接続され、人の声の周波数範囲において音響的に無反射であるシリンダと
   を備えたことを特徴とするシステム。
2. 前記カメラは、３６０度を越える画像を取得することを特徴とする請求項１に記載のシステム。
3. マイクロフォンベースを有し、前記マイクロフォンが前記マイクロフォンベースに取り付けられることを特徴とする請求項１に記載のシステム。
4. 前記マイクロフォンベースの高さは、いずれかの表面から前記マイクロフォンアレイによってピックアップされた音響反射を最小限にするように、前記マイクロフォンアレイを位置決めするために、十分小さいことを特徴とする請求項３に記載のシステム。
5. 前記シリンダが音響的に無反射である前記周波数範囲は、５０〜４０００Ｈｚであることを特徴とする請求項１に記載のシステム。
6. 前記オーディオ信号がコンピュータに入力され、前記コンピュータは前記オーディオ信号を音源定位のために使用し、前記音源定位は、前記オーディオ信号を生じる音の方向を決定することを特徴とする請求項１に記載のシステム。
7. 前記オーディオ信号がコンピュータに入力され、前記コンピュータは前記オーディオ信号をビーム形成のために使用し、前記ビーム形成は、ある方向からの音の音質を、他のすべての方向からの前記音をフィルタリングして除くことによって、改善することを特徴とする請求項１に記載のシステム。
8. 前記オーディオ信号がコンピュータに入力され、前記コンピュータは人物検出および追跡アルゴリズムを使用して、前記ビデオ画像データにおいて取得された人物を正確に検出し、前記人物の前記ビデオ画像データを、前記人物が話すことによって生成された前記オーディオ信号に関連付けることを特徴とする請求項１に記載のシステム。
9. 前記ビデオ画像データがコンピュータに入力され、前記コンピュータは前記ビデオ画像データを使用して画像を共に繋ぎ合わせることを特徴とする請求項１に記載のシステム。
10. 前記マイクロフォンアレイ内のマイクロフォンは全方位であることを特徴とする請求項１に記載のシステム。
11. 前記マイクロフォンアレイ内の前記マイクロフォンは単方向であることを特徴とする請求項１に記載のシステム。
12. 前記マイクロフォンアレイは３つのマイクロフォンを有することを特徴とする請求項１に記載のシステム。
13. 前記マイクロフォンアレイは８つのマイクロフォンを有することを特徴とする請求項１に記載のシステム。
14. 前記マイクロフォンアレイは、複数のマイクロフォンを有し、該マイクロフォンが、平面のマイクロフォンベースの円周の周囲の円に等辺に配置されていることを特徴とする請求項１に記載のシステム。
15. 少なくとも１つのマイクロフォンが、ラバーケース内に取り付けられ、外側の音響反射から保護されることを特徴とする請求項１４に記載のシステム。
16. 遮音性が少なくとも１つのマイクロフォンの下に配置されて、外側の音響反射から保護されることを特徴とする請求項１４に記載のシステム。
17. 前記カメラはレンズカバーを有し、該レンズカバーは、通常の動作モードで上がり、プライバシーモードで下がることを特徴とする請求項１に記載のシステム。
18. 前記マイクロフォンが、前記カメラが前記プライバシーモードで呼び出されるとき、オフにされることを特徴とする請求項１７に記載のシステム。
19. カメラのライトは、前記カメラがアクティブであるとき、オンであることを特徴とする請求項１に記載のシステム。
20. 前記オーディオ信号が、ネットワークを介して送信されることを特徴とする請求項１に記載のシステム。
21. 前記オーディオ信号が、コンピュータ読み取り可能な記憶媒体に保存されることを特徴とする請求項１に記載のシステム。
22. 前記ビデオ画像データが、ネットワークを介して送信されることを特徴とする請求項１に記載のシステム。
23. 前記ビデオ画像データが、コンピュータ読み取り可能な記憶媒体に保存されることを特徴とする請求項１に記載のシステム。
24. 前記ビデオ画像信号が、コンピュータに１３９４バスを使用して転送されることを特徴とする請求項１に記載のシステム。
25. 前記オーディオ信号が、コンピュータにアナログケーブルを使用して転送されることを特徴とする請求項１に記載のシステム。
26. 前記カメラは、ＩＥＥＥ　１３９４カメラであることを特徴とする請求項１に記載のシステム。
27. 電子会議およびミーティングの記録のためにオーディオ信号及びビデオ画像データを取得するための方法であって、
    ミーティングにおける人物の画像を全方位カメラにより取得するステップと、前記ミーティングにおいて生じる音のオーディオ信号をマイクロフォンアレイにより取得し、前記マイクロフォンアレイは、音響的に無反射なロッドによって前記全方位カメラに接続されるマイクロフォンベースに収容されるステップと
    を有することを特徴とする方法。
28. 前記マイクロフォンアレイが、テーブル上に配置され、前記ミーティングにおける前記人物が前記テーブルの周囲に着席させられることを特徴とする請求項２７に記載の方法。
29. 前記マイクロフォンアレイは、該マイクロフォンアレイによってピックアップされる前記テーブルからの音響反射を最小限にするために、可能な限り前記テーブルの付近にあることを特徴とする請求項２８に記載の方法。
30. 前記マイクロフォンアレイは、３つ以上のマイクロフォンを有することを特徴とする請求項２７に記載の方法。
31. 前記マイクロフォンアレイは、前記マイクロフォンベースの円周に隣接した円において等間隔にされるマイクロフォンを有することを特徴とする請求項３０に記載の方法。
32. 前記全方位カメラは、多数のビデオセンサを有することを特徴とする請求項２７に記載の方法。
33. 前記ビデオセンサが、円の円周の周囲に等間隔にされることを特徴とする請求項３２に記載の方法。
34. 前記全方位カメラは、３６０度からの光線を取得する双曲面レンズを有する単一のビデオセンサを含むことを特徴とする請求項２７に記載の方法。
35. 前記ロッドは、中空であることを特徴とする請求項２７に記載の方法。
36. 前記ロッドが、マイクロフォンベースに取り付けられ、カメラケーブルは前記ロッドを通過して、前記ケーブルが音の妨げを引き起こさないようにすることを特徴とする請求項２７に記載の方法。
37. 前記ロッドの外径は、２ｃｍ以下であることを特徴とする請求項２７に記載の方法。
38. 前記ロッドは、５０から４０００Ｈｚまでのオーディオ周波数が、話者から前記マイクロフォンアレイ内のすべてのマイクロフォンまで本質的に乱されずに前記ロッドを通過することを可能にするような直径を有することを特徴とする請求項２７に記載の方法。
39. 前記ロッドの高さは、調節可能であることを特徴とする請求項２７に記載の方法。
40. 統合全方位カメラ及びマイクロフォンアレイであって、
    全方位カメラと、
    前記カメラを高めて最適なカメラ範囲を提供する音響的に無反射なロッドと、
    マイクロフォンアレイと
    を備えたことを特徴とする統合全方位カメラ及びマイクロフォンアレイ。
41. 前記全方位カメラは、３６０度のカメラ範囲を達成するために多数のビデオセンサを使用することを特徴とする請求項４０に記載の統合全方位カメラ及びマイクロフォンアレイ。
42. 前記全方位カメラは、１つのビデオセンサ及びパノラマ範囲を達成するために３６０度からの光を受光する双曲面レンズを使用することを特徴とする請求項４０に記載の統合全方位カメラ及びマイクロフォンアレイ。
43. 前記円筒形ロッドは、前記カメラを高めて、テーブルの周囲に着席する人物の正面のビューを提供することを特徴とする請求項４０に記載の統合全方位カメラ及びマイクロフォンアレイ。
44. 前記マイクロフォンアレイは、円の円周の周囲に等辺の距離で配置された複数のマイクロフォンを有することを特徴とする請求項４０に記載の統合全方位カメラ及びマイクロフォンアレイ。
45. 前記マイクロフォンアレイは、表面上で、前記表面からの音響反射を最小限するために可能な限り前記表面の付近に位置していることを特徴とする請求項４０に記載の統合全方位カメラ及びマイクロフォンアレイ。
46. より長く、より狭い視野を有するビデオセンサが使用されて、より長い距離にある画像が取得され、より幅広く、より短い視野を有するビデオセンサが使用されて、より短い距離にある画像が取得されることを特徴とする請求項４１に記載の統合カメラ及びマイクロフォンアレイ。
47. 全方位マイクロフォンアレイであって、
    平面のマイクロフォンベースの円周の周囲の円に等辺に配置される複数のマイクロフォンを有し、
    前記マイクロフォンベースは、該マイクロフォンベースが位置しているいずれかの表面から前記マイクロフォンアレイによってピックアップされた音響反射を最小限にするように、前記マイクロフォンアレイを位置決めするために、十分低いことを特徴とする全方位マイクロフォンアレイ。
48. 前記複数のマイクロフォンによって取得されたオーディオ信号がコンピュータに入力され、該コンピュータは前記オーディオ信号を音源定位のために使用し、前記音源定位は、前記オーディオ信号を生じる音の方向を決定することを特徴とする請求項４７に記載の全方位マイクロフォンアレイ。
49. 前記複数のマイクロフォンによって取得されたオーディオ信号がコンピュータに入力され、該コンピュータは前記オーディオ信号をビーム形成のために使用し、前記ビーム形成は、ある方向からの音の音質を、他のすべての方向からの前記音をフィルタリングして除くことによって、改善することを特徴とする請求項４７に記載の全方位マイクロフォンアレイ。
50. 前記マイクロフォンアレイ内のマイクロフォンは、全方位であることを特徴とする請求項４７に記載の全方位マイクロフォンアレイ。
51. 前記マイクロフォンアレイ内のマイクロフォンは、単方向であることを特徴とする請求項４７に記載の全方位マイクロフォンアレイ。
52. 前記マイクロフォンアレイは、８つのマイクロフォンを有することを特徴とする請求項４７に記載の全方位マイクロフォンアレイ。
53. 少なくとも１つのマイクロフォンがラバーケース内に取り付けられ、外側の音響反射から保護されることを特徴とする請求項４７に記載の全方位マイクロフォンアレイ。
54. 遮音性が少なくとも１つのマイクロフォンの下に配置されて、外側の音響反射から保護されることを特徴とする請求項４７に記載の全方位マイクロフォンアレイ。

Images