JP2004528766A - 音声／画像を用いて話者を感知し位置探しする方法及び装置 - Google Patents

Abstract

本発明は、可動なパン・チルト・ズーム（“ＰＴＺ”）カメラの効果を提供するために話者を自動的に位置探しし、ビデオ画像を電子的に処理する２つのマイクロホンよりなるアレイと固定のカメラとを有するビデオ会議システムのための方法及び装置に関わる。コンピュータビジョンアルゴリズムは、広角の固定のカメラの視野にいる人を感知し、位置探しし、追跡するために用いられる。２つの水平方向に離間されたマイクロホンよりなるマイクロホンアレイから得られる推定された音響遅延は、話している人を選択するために使用される。本システムは、全ての可能な不正確さを感知することができ、この場合、安全側に作動するよう応答し、例えば、同じ水平位置に位置する全ての話者を含むようズームアウトし得る。

Description

【技術分野】
【０００１】
本発明は、可動なパン・チルト・ズーム（“ＰＴＺ”）の効果を提供するために話者を自動的に位置探しし、ビデオ画像を電子的に処理する２つのマイクロホンのアレイと固定のカメラとを用いるビデオ会議システムのための方法及び装置に関わる。
【背景技術】
【０００２】
基準点に対して音声源の方向を決定するビデオ会議システムが公知である。ビデオ会議システムは、視覚的な表示システムの種類の一つであり、一般的にカメラと幾つかのマイクロホンと、ディスプレイとを有する。幾つかのビデオ会議システムは、話者の方向にカメラを向け適当なカメラショットにフレームをつける能力を含む。ビデオ会議システムのユーザが適当なショットにフレームをつけるためにカメラの動きを指示することが典型的である。既存の市販用ビデオ会議システムは話者を自動的に位置探ししパン・チルト・ズーム（“ＰＴＺ”）ビデオカメラを駆動するためにマイクロホンアレイを用いる。本願で参照として組み込む（１）“Ｌｏｃａｔｉｎｇ ａｎ Ａｕｄｉｏ”なる名称の特許協力条約出願ＷＯ９９／６０７８８と、（２）“Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ａｎ Ａｃｏｕｓｔｉｃ Ｓｏｕｒｃｅ”なる名称のＣｈｕ外に１９９８年７月７日に発行された米国特許第５，７８８，０８２号とを参照する。
【０００３】
しかしながら、固定のビデオカメラと共同で機能する２つのマイクロホンだけよりなるアレイを用いて話者を正確に感知し、位置探しし、追跡することが問題となる。従って、２つのマイクロホンよりなるアレイを用いて話者を自動的に位置探しし、固定のビデオカメラを用いて話者を追跡するビデオ会議システムのための方法と装置とが必要である。
【０００４】
［発明の要約］
コンピュータビジョンアルゴリズムは、広角の固定のビデオカメラの視野にいる人を感知し、位置探しし、追跡するために用いられる。２つの水平方向に離間されたマイクロホンよりなるマイクロホンアレイから得られる推定される音響遅延は、話している人を選択するために用いられる。同じ水平位置に１人以上の話者がいないと仮定すると、２つのマイクロホンの間の音響遅延は話者を明確に位置探しするに十分な情報を提供する。本発明のシステムは、全ての可能な不明確さを感知することができ、この場合、安全側に作動するよう応答する。例えば、同じ水平位置に位置する全ての話者を含むようズームアウトし得る。
【０００５】
音声及びビデオ処理段階は、早期に実施され、それにより話者を位置探しし追跡するために２つのマイクロホンと１つの固定のビデオカメラとだけが必要となる。本アプローチは、ハードウェア及び計算の面において要件を減らし、システム全体の性能を改善する。例えば、本アプローチによりビデオ会議システムは話しているか否かに関わらず動いている人を正確に追跡することができる。
【０００６】
第１の面において、本発明は、画像を表わす画像信号を生成する画像捕捉装置と、音声源からの音を表わす音声信号を生成する音声捕捉装置と、画像信号及び音声信号を処理し基準点に対する音声源の方向を決定するマルチモード統合アーキテクチャシステムと、を有するビデオ会議システムを提供する。
【０００７】
第２の面において、本発明は、画像捕捉装置において画像を表わす画像信号を生成する段階と、音声捕捉装置において音声源からの音を表わす音声信号を生成する段階と、画像信号及び音声信号を処理し基準点に対する音声源の方向を決定する段階と、画像信号を処理し改良された画像信号を生成する段階と、改良された画像信号を出力する段階とを有する方法を提供する。
【０００８】
第３の面において、本発明は、話者からの音を表す音声信号を生成する２つのマイクロホンと、ビデオ画像を表わすビデオ信号を生成するビデオカメラと、パン、チルト、ズームの視覚的効果を提供するようビデオ画像を処理する電子パン・チルト・ズームシステムと、ビデオ信号及び音声信号を処理し基準点に対する話者の方向を決定し、話者の決定された方向に基づいて生成される制御信号を、カメラの視野に話者を含む画像を生成する電子パン・チルト・ズームに供給するプロセッサと、ビデオ会議のために音声及びビデオ信号を送信する送信器と、を有するビデオ会議システムを提供する。
【０００９】
［発明の詳細な説明］
本発明は、２つのマイクロホンよりなるマイクロホンアレイのような音声捕捉装置と、ビデオカメラのような固定の画像捕捉装置とを使用するビデオ会議システムのための装置と関連する方法とを開示する。本発明のビデオ会議システムは、固定のビデオカメラと共同で機能する２つのマイクロホンだけを含むアレイを用いて話者を正確に感知し、位置探しし、追跡することができる。
【００１０】
ここで図を参照するに、図１は、例示的なビデオ会議システム１００を図示する。ビデオ会議システム１００は、固定のビデオカメラ２１０と、互いから所定の距離ｄだけ離間されて位置決めされ、所定の幾何学的形状で取り付けられている第１のマイクロホン２３１及び第２のマイクロホン２３２といった２つのマイクロホンよりなる水平方向のアレイ２３０とを有する。
【００１１】
簡単に、動作中、ビデオ会議システム１００は、人間である話者（図示せず）から音波を受信し、音波を音声信号に変換する。ビデオ会議システム１００は、固定のビデオカメラ２１０を用いて話者のビデオ画像を捕捉する。ビデオ会議システム１００は、音声信号及びビデオ画像を用いて基準点、例えば、ビデオカメラ２１０に対する話者の位置を決定する。その位置に基づき、ビデオ会議システム１００はビデオ画像を電子的に処理し、話者のよりよい画像を得るために固定のビデオカメラ２１０からのビデオ画像を効果的にパン、チルト、及び、ズームイン又はズームアウトすることができる。
【００１２】
一般的に、ビデオカメラ２１０に対する話者の位置は、２つの値、即ち、ベクトルで表される固定のビデオカメラ２１０に対する話者の方向と、話者から固定のビデオカメラ２１０までの距離とによって特徴付けられ得る。容易に明らかとなるように、固定のビデオカメラ２１０に対する話者の方向は、固定のビデオカメラ２１０のパン又はチルト動作を電子的にまねることで固定のビデオカメラ２１０を話者の方に効果的に向けることに使用され、話者から固定のビデオカメラ２１０までの距離は固定のビデオカメラ２１０のズーム動作を電子的にまねることに使用され得る。
【００１３】
図１におけるビデオ会議システム１００では、ビデオ会議システム１００を構成する様々な構成部品及び回路が一体化した筺体１１０の中に収容されていることに注意する。一体化した筺体１１０は、ビデオ会議システム１００の全ての構成部品及び回路を収容できるように設計されている。更に、一体化した筺体１１０は、人が簡単に持ち運べるよう大きさが決められ得る。このような実施例では、構成部品及び回路は、ビデオ会議システムが新しい環境で迅速に設置され使用されるよう人による持ち運びに耐えられ、「プラグ・アンド・プレイ」能力を有するよう設計される。
【００１４】
図２は、図１のビデオ会議システム１００の機能モジュールを概略的に示す図である。マイクロホン２３１、２３２と、固定のビデオカメラ２１０とは夫々音声信号２３５とビデオ信号２１５をマルチモード統合アーキテクチャモジュール２７０に供給する。マルチモード統合アーキテクチャモジュール２７０は、音声源局限モジュール２４０と、コンピュータビジョン人感知モジュール２５０と、マルチモード話者感知モジュール２６０とを含む。電子パン・チルト・ズーム（ＥＰＴＺ）制御信号は、マルチモード話者感知モジュール２６０から出力され、電子パン・チルト・ズームシステムモジュール２２０に供給される。
【００１５】
典型的なマルチモード統合アーキテクチャモジュールの動作方法及び関連する構造は、（１）“Ｃａｎｄｉｄａｔｅ−ｌｅｖｅｌ Ｍｕｌｔｉｍｏｄａｌ Ｉｎｔｅｇｒａｔｉｏｎ Ｓｙｓｔｅｍｓ”なる名称の２０００年１１月２２日に出願された米国特許出願第０９／７１８，２５５号と、（２）“Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｔｒａｃｋｉｎｇ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ Ｃｏｍｂｉｎｅｄ Ｖｉｄｅｏ Ａｎｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ ｉｎ Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｉｎｇ ａｎｄ Ｏｔｈｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ”なる名称の２０００年４月１３日に出願された米国特許出願第０９／５４８，７３４号に開示され、これら出願は本発明の譲受人（代理人参照番号ＰＨＵＳ０００２９３及びＰＨＵＳ０００１０３）に譲渡され、本願で参照として組み込む。
【００１６】
固定のビデオカメラ２１０は、典型的な固定でないビデオカメラまたは典型的なビデオカメラ取り付けベースにあるような既知のパン、チルト、又は、ズーム動作に関連する可動部分を有する必要がない。パン、チルト、及び、ズーム機能は、必要に応じて、電子パン・チルト・ズームシステムモジュール２２０を用いて電子的にまねられることで達成される。従って、本発明のビデオ会議システム１００は、公知のビデオ会議システムと比べて非常に簡略化されている。
【００１７】
本発明の実施例は、例示目的として本願で説明したが、当業者には多数の変更及び変化が明らかとなるであろう。従って、添付の特許請求の範囲は、本発明の精神及び範囲内の全ての変更及び変化を含むことを意図する。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施例による例示的なビデオ会議システムを示す図である。
【図２】本発明の実施例による図１のビデオ会議システムの様々な機能モジュールを示す図である。

Claims (12)

1. 画像を表わす画像信号を生成する画像捕捉装置と、
   音声源からの音を表わす音声信号を生成する音声捕捉装置と、
   上記画像信号及び上記音声信号を処理し、基準点に対する上記音声源の方向を決定するマルチモード統合アーキテクチャシステムと、を有するビデオ会議システム。
2. 上記マルチモード統合アーキテクチャシステムは、
   音声源局限システム、
   コンピュータビジョン人感知システム、及び、
   マルチモード話者感知システムを更に有する請求項１記載のビデオ会議システム。
3. 上記画像捕捉装置、上記音声捕捉装置、及び、上記マルチモード統合アーキテクチャシステムを組み込む、一体化したビデオ会議システムのための一体化した筺体を更に有する請求項２記載のビデオ会議システム。
4. 上記一体化した筺体は持ち運べるよう大きさが決められる請求項３記載のビデオ会議システム。
5. 様々なパン、チルト、及び、ズーム機能の少なくとも一つを効果的に提供するために上記画像信号を電子的に処理する電子パン・チルト・ズームシステムを更に有する請求項２記載のビデオ会議システム。
6. 上記画像捕捉装置は固定のカメラである請求項５記載のビデオ会議システム。
7. 上記マルチモード統合アーキテクチャシステムは、上記電子パン・チルト・ズームシステムに制御信号を供給する請求項５記載のビデオ会議システム。
8. 上記音声源は上記基準点に対して動き、上記音声源局限システムは上記音声源の動きを感知し上記動きに応答して上記画像捕捉装置の視野を変える請求項７記載のビデオ会議システム。
9. 上記音声捕捉装置は２つのマイクロホンのアレイよりなる請求項５記載のビデオ会議システム。
10. 画像捕捉装置において画像を表わす画像信号を生成する段階と、
    音声捕捉装置において音声源からの音を表わす音声信号を生成する段階と、
    上記画像信号及び上記音声信号を処理し基準点に対する上記音声源の方向を決定する段階と、
    上記画像信号を処理し改良された画像信号を生成する段階と、
    上記改良された画像信号を出力する段階と、を有する方法。
11. 上記音声信号を音声源局限システムに供給する段階と、
    上記画像信号をコンピュータビジョン人間感知システムに供給する段階と、
    上記音声信号及び上記画像信号をマルチモード統合アーキテクチャシステムを用いて処理する段階と、
    上記音声源の上記決定された方向に基づいて制御信号を生成する段階と、
    上記制御信号を電子パン・チルト・ズームシステムに供給し、可動なカメラをパン、チルト、及び、ズームすることを含むグループから選択される少なくとも一つの機能の効果をまねる段階と、
    上記電子パン・チルト・ズームシステムから出力する段階と、を更に有する請求項１０記載の方法。
12. 上記制御信号に応答して上記画像捕捉装置の視野を電子的に変える段階を更に有する請求項１０記載の方法。