JP2000512108A - 音源位置づけ方法と装置 - Google Patents

Abstract

(57)【要約】 共通の音源（２）からのスピーチまたは他の音響信号の方向（８０）または位置を得るために、一組の空間的に離れたマイクロホーン（１０，１１）を使用している、音響信号処理方法と装置が、開示されている。本発明は、個々の時間フレームの間に捕らえられた信号が、音源からの一連の音響信号の始まり（４５）または初期を表すか、どうかを決定し、一連の信号を表す受信された音響信号を識別し、受信された音響信号に基づいて音源の方向（８０）を決定することにより、音響信号を処理する方法と装置から成っている。本発明は、例えば、発言を始めた人の方向へビデオカメラを向けることにより、ビデオカメラを自動的に調節することが望ましいビデオ方式会議に適用される。

Description

【発明の詳細な説明】 音源位置づけ方法と装置 発明の背景 本発明は、一般に、音響信号処理に関し、詳細には、音源の方向およびま たは位置を識別する方法と装置に関する。 幾つかの知られている音響通信装置は、音響信号を捕らえる一つ以上のマ イクロホーン取り入れている。しかし、ある状況においては、音源の方向は変化 するか、または、予測することが出来ない。例えば、室内の多数の話者が一組の 話者マイクロホーンを使用する会議用装置では、異なる人が会議室内の異なる位 置から話すので、音の方向は変化する。さらに、話者は話している間動き回る。 それにもかかわらず、ビデオ方式会議などの環境では、話者の方向と位置を識別 することが望まれる。 発明の要約 本発明は、数組の間隔をおいて離れたマイクロホーンを使用して、共通の 音源からのスピーチの方向と他の音響信号を得る音響信号処理方法と装置を意図 している。本発明は、個々の時間フレームの間に捕らえた信号が、音源からの音 響信号の流れの始まりまたは初期を表しているか、いないかを決定し、データが その流れの初期を表すとき、信号の流れを表す受信された音響信号を識別し、受 信された音響信号に基づいた音源の方向を決定することにより、音響信号を処理 する方法と装置から構成している。 好適な実施態様において、音源からの音響信号の流れの始まりまたは初期 は、周波数毎をベースにして好適に検出される。好適に、次の二つの条件を満足 する捕らえた信号のこれらの周波数成分に関連したデータは、音源からの音響信 号の始まりにおいて発生する信号を表すと思われる。第一に、周波数成分の大き さは、その周波数の暗騒音のエネルギーより、少なくとも所定量だけ好適に大き くなければならない。第二に、周波数成分の大きさは、先行の時間フレームの所 定数の間に捕らえた対応する周波数成分の大きさより、少なくとも所定量だけ好 適に大きくなればならない。 二つの条件が個々の時間フレームの間において個々の周波数について満足 されるならば、始まりの条件がその周波数に関して満足されると考えられる。時 間フレーム中に一組のマイクロホーンにより捕らえられた音響信号の相互関係は 、この様な各周波数成分について生成され、各この周波数における騒音の相互関 係は差し引かれて、音源からの信号の流れを表す受信音響信号を識別する。好適 に、受信された音響信号は、所定の時間の間蓄積される。所定時間の終わりに、 少なくとも特定数の周波数の非ゼロ値が蓄積されたならば、蓄積された値は、一 組のマイクロホーンにおいて共通の音源から到達する信号の間の時間遅れを決定 するために使用される。次に、この情報は、マイクロホーンに対する音源の方向 または関係角度を決定するために使用することが出来る。マイクロホーンの配列 が、装置の能力を高めるために、ただ一組のマイクロホーンの代わりに有利に使 用することが出来る。 本発明は、ビデオ方式会議、ビデオ録画および放送などの用途に特に適し ており、その場合、動作カメラを水平回転し、傾斜し、スピーチを始めた個人ま たは数人のグループの方向に切り換えることなどにより、一組のカメラの中の一 台のビデオカメラを自動的に向けることは望まれる。 本発明の他の特徴と利点は、以降の詳細な説明と付属図面を読むと、さら にはっきりと理解されるであろう。 図面の簡単な説明 図１は、本発明による、音源の方向を位置付ける典型的装置を示す機能構 成図である。 図２Ａ〜２Ｂは、本発明の方法のステップを示す流れ図を示す。 図３は、暗騒音を算定する一つの方法の流れ図である。 図４は、音源からの音響信号を受信する一組のマイクロホーンに関する関 係角度の幾何学的構成を示す。 図５は、本発明によるビデオ方式会議の装置を示す。 図６は、本発明によるビデオ方式会議装置に使用されるマイクロホーンの 配置を示す。 図７は、ビデオ方式会議装置のビデオカメラを指向する方法のステップを 示す流れ図である。 好適な実施態様の説明 図１は、本発明による、音源の方向を位置付ける典型的装置１を示す機能 構成図である。例えば、装置１は、反響する環境で発言する人などの音源２の方 向を決定するために使用される。従って、本発明は、例えば、発言中の人の方向 にビデオカメラを向けることが望まれるビデオ方式会議の環境の用途に特に適し ている。しかし、本発明は、録音および放送中に指向する普通のカメラなどの他 の環境にも使用出来ることが理解されるされるであろう。 図１の多くの機能モジュールは、例えば、読み出し専用メモリー（ＲＯＭ ）、ランダムアクセスメモリー（ＲＡＭ）およびまたは他の形のメモリーなどの 適切にプログラムされたプロセッサにより、実行される。図１のモジュールの機 能を行う他の適切なプロセッサには、ミニコンピュータ、マイクロコントローラ 、プログラマブル論理アレイおよびアプリケーション特定集積回路がある。この 種のプロセッサのプログラミングと使用は、本技術においては周知であり、従っ て、ここではさらに詳細に説明しない。 図１は、本発明の方法によるステップの流れ図である図２Ａ〜２Ｂに関連 して最もよく理解することが出来る。ステップ１００により示されているように 、音響データの流れは、距離Ｄだけ間隔をおいて離れた一組のマイクロホーン１ ０，１１などの二つ以上のトランスデューサにより捕らえられる。音響データの 流れは、音源２から直接に受信された音響信号、および騒音と反響信号から成っ ている。一組のマイクロホーンから受信された信号は、アナログ／ディジタル（ Ａ／Ｄ）変換器１２，１３を経て、例えば、１６ＫＨｚで動作する各サンプリン グモジュール１４，１５へ送られる。サンプリングモジュール１４，１５は、マ イクロホーン１０，１１から受信された各データの流れを、ステップ１０１，１ ０２によりそれぞれ示されているように、Ｎ個のサンプルの数値で表されたサン プリ ングフレームへ変換する。Ｎ個のサンプルの数は、例えば、５１２である。Ｎ個 のサンプルのブロックは、一般には、Ｎ／２のサンプルだけ重なり合う。各乗算 器１８，１９は、ステップ１０３，１０４により示されているように、サンプリ ングモジュール１４，１５からの出力された信号に、モジュール１６，１７によ り生成されたウィンドウ関数を掛ける。ウィンドウ関数モジュール１６，１７は 、例えば、従来のハミングウィンドウを生成する。しかし、この好適な実施態様 では、ウィンドウ関数モジュール１６，１７は、次式のような指数のウィンドウ 関数を使用する。 他のウィンドウ関数も使用することが出来る。乗算器１８，１９の出力に現れる 信号は、次式の形を有する。 ここで、ｓ_1m（ｉ）とｓ_2m（ｉ）は、それぞれ、フレームｍの間のマイクロホー ン１０，１１から受信された信号を表す。 次に、図２Ａのステップ１０５，１０６により示されているように、乗算 器１８，１９の出力における信号は、ファーストフーリエ変換（ＦＦＴ）などの 全体的変換を行う各モジュール２０，２１により各フレームについて処理される 。フーリエ変換された信号ｆ_1m（ｋ）、ｆ_2m（ｋ）は、ｊが−１の平方根である 計算を表す。ｋの値は、例えば、１２５Ｈｚ〜７．５ｋＨｚの範囲であるが、他 のｋの範囲もまた可能である。次式のフーリエ変換された信号は、その後の処理 のために、各ＦＦＴモジュール２０，２１に関連した各メモリー２２，２３に格 納される。 現在のフレームのフーリエ変換された信号は、さらに処理するため他のモジュー ルへも送られる。例えば、フーリエ変換された信号は、米国出願Ｎｏ．０８／４ ３４，７９８に記載されたピッチ検出器などのピッチ検出器９０へ送られる。こ の出願は、参考に本明細書に取り入れられている。 本発明の原理により、一定の暗騒音エネルギーが、マイクロホーンの一つ 、例えば、マイクロホーン１０から受信された信号の各周波数成分について別々 に算定される。ステップ１１０により示されているように、暗騒音エネルギーは 、暗騒音算定器３５により算定される。騒音算定器３５は、先行のＳフレームの フーリエ変換された信号を使用して、先行Ｓフレームの信号が騒音だけであり、 ほぼ一定レベルの騒音があるならば、暗騒音を算定する。フレームＳの数が、適 切に、例えば、１００であってもよい。 図３は、暗騒音を算定する一つの方法のステップを示す流れ図である。図 ３のステップ２００により示されているように、適切な周波数スペクトルが、好 適に重なり合っていない周波数帯Ｌへ分割される。例えば、１ＫＨｚの帯域幅を それぞれ有する８個の周波数帯が、適切に使用される。次に、ステップ２０２に より示されているように、周波数帯毎のエネルギー算定器３０は、現在のフレー ムのフーリエ成分から、各周波数帯について広帯域のエネルギー信号を発生する 。従って、例えば、各１ＫＨｚ帯について３２個の係数を仮定すると、各帯の平 均エネルギーは次式により計算される。 ここで、ｂ_m（ｒ）は、周波数帯ｒとフレーム番号ｍの広帯域エネルギーである 。 次に、ステップ２０４により示されているように、各周波数帯の平均広 帯域エネルギー信号は、先行のＭフレームの広帯域エネルギーから生成される。 従って、個々の周波数帯ｒの平均エネルギーは、次式により好適に計算される。 ここで、Ｍは、例えば、４に設定され、ｍ’は現在のフレームの番号である。次 に、決定が、各周波数帯のエネルギーが先行のフレームに対し比較的一定のまま であったか、どうかに関して行われる。具体的には、決定は、２０６により示さ れているように、現在のフレームのすべての周波数帯が、その周波数帯の平均エ ネルギーより少なくとも所定量だけ大きいか、どうかに関して行われる。決定は また、すべての周波数帯が、その周波数帯の平均エネルギーより少なくとも所定 量だけ小さいか、どうかに関しても行われる。言い換えると、帯域毎エネルギー 算定器３０は、次式のいずれであるかを決定する。 ここで、Ｔ_bは５に設定されている。Ｔ_bの高低値は、個々のアプリケーションに 従って使用される。式［６］のいずれかの決定が、一つ以上の周波数帯について 肯定的であるならば、エネルギー算定器３０は、エネルギーがステップ２０８に より示された時間において変化していることを示す出力信号を発生する。暗騒音 算定器３５のカウンタ３６は、広域帯エネルギーレベルがほぼ一定になっている 連続フレームの番号を追跡して、ゼロへリセットされる。そうでなければ、ステ ップ２１０により示されているように、出力信号が送られて、現在のフレームの 広域帯エネルギーレベルが先行フレームに対しほぼ一定であることを示し、カウ ンタ３６は一つだけ増分される。 時間に亘ったエネルギーの一定性の他の測定が、ステップ２０４，２０６ の代わりに使用することが出来る。例えば、一つの他の測定は次式のいずれかを 決定することである。 ここで、Ｍは同様に、例えば、４である。 いずれにしても、暗騒音算定器３５は、広域帯エネルギーレベルが、２１ ２により示されているように、先行のＳ個のフレームに対し既にほぼ一定である か、どうかを決定する。これは、カウンタ３６が少なくともＳに等しいか、どう かを点検することにより、達成される。先行Ｓ個のフレームの広域帯エネルギー レベルが、ほぼ一定でなければ、ステップ２１３により示されているように、装 置１は次のフレームの処理を続ける。しかし、決定２１２が肯定的であるならば 、暗騒音算定器３５は、ステップ２１４により示されているように、次式に従っ て暗騒音を好適に計算する。 ここで、ｆ_1(m-i) ^*は、ｆ_1(m-i)の複合結合であり、Ｓは、例えば、１００に等 しい。このために、先行フレームのフーリエ変換された信号の周波数成分は、メ モリー２２から暗騒音算定器３５へ送られる。暗騒音算定器３５により発生され た、暗騒音を表す出力信号は、以降に詳細に説明されているように、現在フレー ムの周波数成分が、音源２の方向及びまたは位置の計算に有用なデータであると 見なされることを決定するために使用される。 エネルギー算定器３０により発生された信号は、暗騒音相互関係算定器 ４０へも送られる。先行Ｓ個のフレームの広域帯エネルギーレベルが既にほぼ一 定であることが決定されるならば、先行Ｓ個のフレームの信号の相互関係信号が 、ステップ１１５により示されているように、騒音算定器４０により発生される 。暗騒音相互関係は、次式により好適に計算される。 ここで、ｆ_2(m-i) ^*はｆ_2(m-i)の複合結合であり、Ｎ（Ｋ）は個々の周波数Ｋに おける騒音の相互関係を表す。このために、先行Ｓ個のフレームのフーリエ変換 された信号の周波数成分は、各メモリー２２，２３から暗騒音相互関係算定器４ ０へ送られる。暗騒音相互関係算定器４０により発生された、騒音の相互関係を 表す出力信号は、以降に詳細に説明されるように、装置１が音源２から発生した と決定する、受信された音響信号の相互関係の識別を支援するために使用される 。 本発明のこの好適な実施態様において、マイクロホーン１０，１１におい て捕らえられた音響データの周波数成分は、以降に詳細に説明されるように、二 つの条件が現在のフレームの個々の周波数成分について満足されるならば、音源 ２の方向を決定するのに有用であると考えられる。第一に、図２Ａの１２０によ り示されているように、比較器２５は、マイクロホーン１０から受信された信号 に関し、現在のフレームのどの周波数成分が、たとえ有するにしても、対応する 周波数成分の暗騒音ｂ（ｋ）の大きさより少なくとも所定量だけ大きい大きさを 有するかを決定する。第二に、１２１により示されているように、比較器２４は 、現在のフレームのどの周波数成分が、有するにしても、先行のＳ個のフレーム の対応する周波数成分の大きさより少なくとも所定量だけ大きい大きさを有する かを決定する。ここで、例えば、ｐは４に設定することが出来る。数学的に、第 一条件は次式のように表される。 ここで、例えば、ＴＮは４に設定される。第二条件は次式のように表される。 ここで、例えば、Ｔ_oは４に設定される。ＴＮとＴＯの高低値は、個々のアプリ ケーションに従って使用される。同様に、４以外の事前に指定されたｐの値も、 使用することが出来る。第一条件は、音源２からの信号が存在していることを示 すのに役に立ち、第二条件は、音源２から受信された一連の音響信号の始まりま たは初期を示すのに役に立つ。周波数成分が、式［１０］と［１１］により示さ れた両方の条件を満足しなければ、装置は、ステップ１２２により示されている ように、音響データの次のフレームの処理を続ける。 式［１０］と［１１］により示された前述の条件の両方が、特定の周波数 ｋについて満足されるならば、二つの入力のＡＮＤゲート２６は、両方の条件が 現在のフレームの周波数ｋについて満足されることを示す信号を発生する。次に 、ＡＮＤゲート２６により発生した信号は、始まりの信号の相互関係算定器４５ へ送られる。ＡＮＤゲート２６からの信号に応答して、相互関係算定器４５は、 ステップ１３０により示されているように、計算して、次式により特定周波数ｋ の相互関係信号を発生する。 このために、相互関係算定器４５は、各周波数成分信号をＦＦＴモジュー ル２０，２１から受信する。次に、ステップ１３５により示されているように、 減算器５０は、ステップ１１５において発生した暗騒音相互関係Ｎ（Ｋ）を、ス テップ１３０において発生した相互関係ｃ_m（Ｋ）から差し引く。この様にして 、フレームｍの周波数ｋの出力信号ａ_m（Ｋ）は、次式に従って減算器５０によ り発生される。 ステップ１３５から得られた出力信号は、音源２から受信された音響信号の流れ の初期または始まりに対応する受信された音響信号を表す。 減算器５０により発生した信号は、複数の蓄積器６０，・・・，６１の対 応する蓄積器へ転送される。蓄積器のそれぞれは、４〜２４０の周波数ｋの一つ に対応する。ステップ１４０により示されているように、各蓄積器６０，・・・ ，６１は、減算器５０から得られ、かつ、その特定の周波数に対応する結果を、 特定の時間期間について蓄積器６０，・・・，６１に格納された前の結果に加え る。従って、次式により表される。 ここで、ａ_m,old（ｋ）は、周波数ｋの相互関係蓄積器に格納された前の値を表 し、ａ_m,new（ｋ）は、周波数ｋの相互関係蓄積器に格納された新しい値を表す 。 例えば、２秒の特定の時間期間の終わりにおいて、１４５により示されて いるように、決定が、相互関係蓄積器６０，・・・，６１の所定数より多い蓄積 器は、非ゼロのエントリを有する。少なくとも指定された数の蓄積器６０，・・ ・，６１が、非ゼロのエントリを有していないならば、従って、更新されていな いならば、蓄積器６０，・・・，６１の値は、ステップ１４７により示されてい るように、ゼロへリセットされる。他方、ステップ１５０により示されているよ うに、決定１４５が肯定的であるならば、マイクロホーン１０，１１の音響信号 の到着時間の間の時間遅れｔ（ｎ）を表す信号が発生される。この時間遅れは、 蓄積された相互関係信号から時間遅れ計算モジュール７０により発生される。 この好適な実施態様において、モジュール７０もまた、帯域毎のエネルギ ー算定器３０から信号を受信して、現在のフレームが音源２からの信号の流れを 有することを確認する。本実施態様により、帯域毎のエネルギー算定器３０から 受信された信号がまた、現在のフレームが音源２からの信号の流れを示すことを 単に示すならば、モジュール７０は、時間遅れ信号ｔ（ｎ）を発生する。 時間遅れｔ（ｎ）を発生するために、モジュール７０は、蓄積器６０，・ ・・，６１に現在格納された相互関係値の大きさを好適に基準化する。従って、 エントリが非ゼロである、すなわち、言い換えると、更新されていない各周波数 蓄積器６０，・・・，６１について、大きさはゼロに設定される。数学的に表す と、 次に、蓄積された相互関係値の基準化された値に基づいて、モジュール７０は、 フレームｍの間に一組のマイクロホーン１０，１１に到着する音響信号の時間遅 れを表す信号を発生する。 一つの実施態様において、モジュール７０は計算して、次式により逆のフ ーリエ変換を表す信号を発生する。 これは、フレームｍの間に一組のマイクロホーン１０，１１に到着する音響信号 の時間遅れの値に相当する値を発生する。従って、例えば、ｔ（ｎ）の最大値は 遅れとして選択される。あるいは、補間法が、Ｉが相互関係の時間分解が増加さ れる整数であることにより、サンプルの端数の遅れを測定するために使用される 。従って、例えば、ｔ（ｎ’）の最大値は、遅れとして選択される。 さらに他の実施態様において、ゼロ値のサンプルが、逆変換の流れの実際のサン プル値の間に挿入される。次に、発生した流れは、時間遅れの値を得るために低 域フィルターにより濾過される。 他の実施態様において、一組のマイクロホーン１０，１１に到着する信号 の間の時間遅れは、米国特許Ｎｏ．５，０５８，４１９に述べられているヒスト グラム法などによりモジュール７０により算定される。この特許はここに参考に 取り入れられている。従って、例えば、二つのマイクロホーン１０，１１に到着 する信号の間の位相差は、蓄積器６０，・・・６１に格納された相互関係値によ る上述のように、多数の周波数について測定される。各測定された位相差は、潜 在的時間遅れを内在している。最大発生数を有する時間遅れの範囲内にある潜在 的時間遅れの平均は、実際の時間遅れとして選択される。 音源２から到着する音響信号の反射経路が、直接経路より強くなりそうな 状況では、上述のヒストグラム法が、優先権をゼロの時間遅れに近い値を有する 大きい活性のあるピークへ優先権を与えることにより、修正される。ゼロの時間 遅れにより近いピークは、直接経路に一致しそうである。従って、例えば、時間 遅れの各範囲は、多数の発生を有し、かつ比較的にゼロにも近い範囲から発生す る平均時間遅れを選んで、実際の時間遅れの選択を偏倚するようにウエートを割 り付けられる。一般に、相対ウエートは、望まれる時間遅れの選択を偏倚するよ うに既知の情報を考慮しているすべての方法で割り当てられるが、小さい大きさ を有する時間遅れの範囲は、より大きい大きさを有する時間遅れの範囲より、よ り高い相対ウエートを割り当てられる。 時間遅れ信号ｔが発生すると、マイクロホーン１０，１１に対する音源 ２の関係角度は、次式に従って方向または位置の位置づけ器８０により決定され る。ここで、ｖは音の速度、ｔは時間遅れ、Ｄはマイクロホーン１０，１１の間の距 離である。音源２の方向を算定するこの方法は、音響信号が平坦波または平面波 の形でマイクロホーン１０，１１へ到達する考えられる場合の離れた領域近似法 に基づいている。図４は、音源Ｃから音響信号を受信する二つのマイクロホーン ＡとＢに対する関係角度Θの幾何学的構成を示しており、この場合、マイクロホ ーンＡとＢは、距離Ｄだけ離れている。平面波の想定が個々のアプリケーション に適切でなければ、他の方法が、マイクロホーン１０，１１に対する音源２の方 向または位置を決定するために使用することが出来る。例えば、この様な方法に は、別のマイクロホーンを装置１に取り入れ、上述の方法に従って追加された組 のマイクロホーンにおける到着時間の差に相当する遅れを発生する方法がある。 次に、既知の方法に従って、多数の時間遅れが、音源２の方向または位置を決定 するために使用することが出来る。 本発明の一つの好適な実施態様は、図５に示された装置３００などのビデ オ方式会議の環境に置かれている。ビデオ方式会議装置３００は、相互に離れて 配置されている、ＡとＢで表示された二つのステーションを有する。ステーショ ンＡの参加者３２０と３２１は、ステーションＢの参加者３５０と３５１と、音 声とビデオで通信している。各処理器または制御器３０１，３０２が、各ステー ションＡとＢに配置されて、音声とビデオのデータの処理と送信を送信装置３１ ０により制御する。送信装置３１０は、例えば、音声とビデオの信号を送信する ＩＳＤＮまたはＴｌ回線から構成している。 この通信を行うため、音響装置が、各ステーションにおいて音を検出する ために配置され、これらの音を表す音響信号を送信装置３１０によりステーショ ンの間に送信し、各ステーションで検出された音をその他のステーションにおい て再生する。音響装置は、ステーションＡおいてマイクロホーン３２２とステレ オロードスピーカ３３１，３３２、ステーションＢにおいてマイクロホーン３５ ２とロードスピーカ３４１，３４２から成っている。 ビデオ方式会議装置３００には、ステーションＡとＢの参加者の間の双方 向ビデオ通信もある。しかし、表示を容易にするため、図５は、ステーションＡ からステーションＢへのビデオ通信だけを示している。ステーションＡからステ ーションＢへのビデオ通信を行うため、ステーションＡはさらに、以降に詳細に 説明するように、制御器３０１により制御されたビデオカメラ３６０を備えてい る。ビデオカメラ３６０は、カメラレンズ３６３を収容しているヘッド部分３６ ２を有し、ステーションＢへ送るステーションＡにおける画像を表す信号を発生 する。少なくとも二つのマイクロホーンを有するマイクロホーンの配列は、ビデ オカメラと関連づけられ、捕らえた音響データを制御器３０１へ送信する。制御 器３０１は、図１の点線内に示された装置１の、マイクロホーンの配列から受信 された音響データを処理する構成要素を好適に有する。ステーションＢは、ステ ーションＡから受信されたビデオ信号を表示するビデオディスプレイ３６１を有 する。 マイクロホーンの配列３６５の一つの配置が図６に示されており、これは 四つのマイクロホーン６０１，６０２，６０３，６０４から成っている。特に、 マイクロホーン配列３６５は、例えば、マイクロホーン６０１，６０２の間の距 離ｄ₁、マイクロホーン６０２，６０３の間の距離ｄ₂で、ｘ方向へ一列に配置さ れたマイクロホーン６０１，６０２，６０３から好適に構成している。第四のマ イクロホーンは、ｙ方向にマイクロホーン６０２からｄ₃の距離に好適に配置さ れている。従って、マイクロホーン６０２が（ｘ’，ｙ’，ｚ’）に位置付けら れているとすると、マイクロホーン６０１は（ｘ’−ｄ₁，ｙ’，ｚ’）に位置 付けられ、マイクロホーン６０３は（ｘ’＋ｄ₂，ｙ’，ｚ’）に位置付けられ 、マイクロホーン６０４は（ｘ’，ｙ’＋ｄ₃，ｚ’）に位置付けられている。 制御器３０１は、既知の値ｄ₁，ｄ₂，ｄ₃、および、例えば、マイクロホーン６ ０２などのマイクロホーンの一つの位置に対するビデオカメラ３６０の位置（ｘ ”,ｙ”，ｚ”）とにより事前にプログラムされている。 図５，６のビデオ方式会議装置の動作は、次の通りである。ステーショ ンＡの参加者の一人が話し始めると、その参加者のスピーチにより発生した音響 信号が、マイクロホーン３２２により捕らえられ、制御器３０１へ送られ、そこ で、既知の形で処理され、送信装置３１０によりステーションＢへ送られる。ス テーションＢにおいて、受信された音響信号は、スピーカーで３４１，３４２再 生される。 発言している参加者により発生した音響信号は、マイクロホーン配列３６ ５のマイクロホーン６０１〜６０４によっても捕らえられる。捕捉された信号は 、制御器３０１へ送られ、そこで、数組のマイクロホーン６０１〜６０４からの 信号は、図１〜４に関する上述の方法により、好適に処理される。数組のマイク ロホーン６０１〜６０４の音響信号の到着時間の遅れに対応する関係角度を決定 することにより、発言中の参加者の方向が決定される。次に、この情報は、カメ ラ３６０の方向を自動的に指向し、調節するために使用される。 例えば、マイクロホーン６０１，６０３において捕らえられた音響データ は、ｘ軸に対する関係角度を決定するために使用される。ｘ軸に沿った関係角度 が決定されると、制御器３０１は、その関係角度とマイクロホーン６０１〜６０ ４に対するカメラの既知の位置により、カメラヘッド３６２を発言中の参加者の 方向へ自動的に水平回転する。同様に、マイクロホーン６０２，６０４において 捕らえられた音響データは、ｙ軸に対する関係角度を決定するために使用される 。ｙ軸に沿った関係角度が決定されると、制御器３０１は、その関係角度とマイ クロホーン６０１〜６０４に対するカメラの既知の関係位置により、カメラヘッ ド３６２を発言中の参加者の方向へ自動的に傾ける。カメラ３６０を計算された 関係角度に応じて正確に水平回転し、傾斜することにより、発言中の参加者は、 カメラにより自動的に映像として捕らえられる。 図６のマイクロホーンの配列構成は、以降に説明するように、ｚ軸に沿っ た発言中の参加者の位置を決定するためにも使用される。次に、制御器３０１は 、例えば、発言中の参加者の頭または上休を画面にきっちりと捕らえるため、ｚ 軸に沿った発言中の参加者の位置を使用して、カメラレンズを自動的にズームア ップする。 ｚ軸に沿った発言中の参加者の位置の決定は、他の軸の一つ、例えば、ｘ 軸に対する関係角度を決定することにより、行われる。重ねて言うと、この関係 角度は、図１〜４について説明した方法により、好適に決定される。例えば、一 組のマイクロホーン６０１，６０２において捕らえられたデータに対応する第一 関係角度、一組のマイクロホーン６０２，６０３において捕らえられたデータに 対応する関係角度が決定される。これらの関係角度が決定されると、制御器３０ １はマイクロホーン６０１，６０２，６０３の既知の位置と共にこの情報を使用 して、第一関係角度によるマイクロホーン６０１，６０２の中点と、第二関係角 度によるマイクロホーン６０２，６０３の中点とから始まる線の交点を決定する 。この交点は、ｚ軸に沿った発言中の参加者の位置を表す。次に、制御器３０１ は、発言中の参加者を画面にきっちりと捕らえるため、この情報を使用して、カ メラレンズ３６３をズームアップする。 他の構成では、マイクロホーンの配列３６５は、マイクロホーン６０１， ６０２，６０４などの三つのマイクロホーンだけで成っている。この実施例では 、マイクロホーン６０１，６０２において捕らえられた音響データは、ｘ軸に対 する関係角度を決定するために使用される。同様に、マイクロホーン６０２，６ ０４において捕らえられた音響データは、ｙ軸に対する関係角度を決定するため に使用される。次に、関係角度は、発言者を適切に画面にきっちりと捕らえるた め、カメラを水平回転し、傾け、ズームアップするように使用される。この実施 例は三つのマイクロホーンだけを使用しており、四つのマイクロホーンを使用し ている上述の実施例は対称的構成のマイクロホーンを形成している。 動作の好適なモードにおいて、ディスプレイ３６１に表示された画像は、 ビデオカメラ３６３が水平回転されているか、または、傾斜されている間、固定 される。このように表示された画像を固定する一つの利点は、そのことが、カメ ラが水平回転され、または傾斜されるとき、一般にステーションＢのディスプレ イ３６１に現れるぼやけた画像を無くすことに役立つことである。 図７は、カメラが水平回転されるか、傾斜されるとき、表示された画像が 固定される動作モードのステップを示す。ビデオカメラ３６３が、ステップＢへ 送られるビデオデータを捕らえると、ステップ７０１により示されているように 、捕らえられたビデオデータに相当する画像が、ディスプレイ３６１にほぼリア ルタイムで表示される。また、カメラ３６３が引き続いてビデオデータを捕らえ ると、ステップ７０３により示されているように、多くの時間フレームの間に音 響データの流れを捕らえる。好適に、ステップ７０５により示されているように 、上述の方法により、制御器３０１は、個々の時間フレームの間に捕らえられた 音響データが、参加者３２０，３２１の一人からの音響信号の流れの開始を表し ているか、どうかを決定する。次に、制御器３０１は、ステップ７０７により示 されているように、データがその流れの開始を表しているならば、信号の流れを 表す受信された音響信号を識別する。次に、ステップ７０９により示されている ように、制御器３０１は、受信された音響信号に基づいて、ビデオカメラ３６３ に対する参加者の方向を決定する。 参加者の方向を決定するステップ７０９に応答して、ステップ７１１によ り示されているように、ビデオカメラ３６３は、カメラ３６３を適切に水平回転 し、及びまたは傾斜することにより、参加者の方向へ自動的に向けられる。しか し、この実施態様により、ビデオカメラ３６３が水平回転しているか、または、 傾斜しているとき、例えば、ディスプレイ３６１に現れる画像を、カメラを水平 回転するか、または、傾斜する直前に発生するフレームに固定するために、信号 が制御器３０１へ送られる。ステップ７１３により示されているように、画像は 、ビデオカメラが動きを停止するまで、示されたフレームを好適に固定する。あ るいは、余分なハードウェアのコストを低減するため、アプリケーションの特定 のハードウェアが使用され、または、ビデオ圧縮デコーダがフレームを固定する 。カメラ３６３がもはや水平回転していないか、または傾斜していないならば、 ステップ７１５により示されているように、新しいビデオデータに対応する画像 が、再びディスプレイ３６１に表示される。 他の動作モードにおいて、第二カメラ３６４が、図５の装置３００に配置 されている。制御器３０１は、マイクロホーン６０１〜６０４に対するカメラ３ ６４の関係位置も格納している。例えば、カメラ３６０は、適切な水平回転と傾 斜により個々の発言者を追跡するように使用されるが、カメラ３６４は、ステー ションＡの参加者のグループを画面にきっちりと収めるように使用される。装置 ３００が、動作中のカメラ３６０をスイッチに回転するか、または、傾斜してい るとき、装置３００はカメラ３６４へ切り換える。従って、ステーションＢの参 加者３５０，３５１は、カメラ３６０が動いている間、カメラ３６４からの画像 を見る。カメラ３００が動きを止めると、言い換えると、水平回転と傾斜の機能 が完了すると、装置３００は動作中のカメラ３６０へ切り換えて戻る。さらに他 の動作モードにおいて、カメラ３６４は、水平回転と傾斜を適切に行うことによ り、個々の発言者を追跡するためにも使用される。カメラ３６０，３６４の一つ だけが与えられた時は何時でも動いているように、カメラ３６０，３６４が制御 される。次に、静止しているカメラのビデオ出力がステーションＢのディスプレ イ３６１へ送られるように、装置３００は、カメラ３６０，３６１の間を連続的 に切り換わる。一つ以上のカメラを使用しているこの様なモードは、フレームを 固定することなく、はっきりと、ぼけない変移を行うことが出来る。 本発明は特定の実施例に関して説明されているが、本発明の精神と範囲の 範囲内の変形と修正が熟慮されていることは理解されるであろう。

Claims (1)

1. 【特許請求の範囲】 １．音源から到達する音響信号の流れを処理する方法において： 複数の時間フレームの間に音響データを捕らえ； 個々の時間フレームの間に捕らえられた音響データが、音響信号の流れの 始まりを表しているか、どうかを決定し； 前記データが流れの始まりを表しているとき、前記信号の流れを表す受信 された音響信号を識別し； 受信された音響信号に基づいて前記音源の方向を決定する；ステップを含 んでいることを特徴とする前記方法。 ２．請求の範囲第１項に記載の方法において：個々の時間フレームにおい て捕らえられた信号が音響信号の流れの始まりを表しているか、どうかを決定す るステップが、個々の時間フレームの間に捕らえられた信号の複数の周波数成分 の大きさを検査するステップを含んでいることを特徴とする前記方法。 ３．請求の範囲第２項に記載の方法において：検査するステップが、 個々の時間フレームの間に捕らえられた信号のその各周波数成分の大きさ が、その周波数の暗騒音エネルギーより少なくとも第一所定量だけ大きいか、ど うかを決定し； 複数の周波数に関し、その各周波数成分の大きさが、先行の時間フレーム の、事前に指定された数の間に捕らえられた信号の対応する周波数成分の大きさ より少なくとも第二所定量だけ大きいか、どうかを決定する；ステップを含んで いることを特徴とする前記方法。 ４．請求の範囲第３項に記載の方法において：捕らえるステップが、音響 データの各流れを複数のマイクロホーンの位置において捕らえるステップを含ん でおり、識別するステップが； 個々の時間フレームの間に複数のマイクロホーンの位置において捕らえら れた信号の間の相互関係を表す信号を識別し； 対応する暗騒音を相互関係を表す信号のそれぞれから差し引く；ステップ を含んでいることを特徴とする前記方法。 ５．請求の範囲第３項に記載の方法において：識別するステップが、複数 の周波数に関し、個々の時間フレームの間に捕らえられた信号の各周波数成分の 大きさが、その周波数に関して暗騒音エネルギーより、少なくとも第一所定数倍 大きいか、どうかを決定することを含んでいることを特徴とする前記方法。 ６．請求の範囲第３項に記載の方法において：識別するステップが、複数 の周波数に関して、個々の時間フレームの間に捕らえられた信号の各周波数成分 の大きさが、事前に指定された数の先行する時間フレームの間に捕らえられた信 号の対応する周波数成分より、少なくとも第二所定数倍大きいか、どうかを決定 することを含んでいることを特徴とする前記方法。 ７．請求の範囲第４項に記載の方法において：音源の方向を決定するステ ップが、捕らえられた音響信号から、複数のマイクロホーンの位置における一連 の音響信号の到着時間の差を示す時間遅れを差し引くステップを含んでいること を特徴とする前記方法。 ８．請求の範囲第７項に記載の方法において：さらに、受信された音響信 号から、複数の値の範囲の一つの内にある、複数の各時間遅れを差し引き、各範 囲内にある潜在的時間遅れの数と各範囲に割り当てられた相対ウエートとに基づ いて実際の時間遅れを選択するステップを含んでいることを特徴とする前記法。 ９．請求の範囲第８項に記載の方法において：比較的小さい値を有する潜 在的時間遅れの範囲が、大きい値を有する潜在的時間遅れより高い相対ウエート を割り当てられることを特徴とする前記方法。 １０．音源から到達する一連の音響信号を処理する、ビデオ方式会議に使 用する方法において： 複数の時間フレームの間に音響データを捕らえ； 個々の時間フレームの間に捕られた音響データが音響信号の流れの初期を 表すか、どうかを決定し； 前記データがその流れの初期を表す時、前記一連の信号を表す受信された 音響信号を識別し； 受信された音響信号に基づいて、前記音源の方向を決定し； 前記音源の方向を決定するステップに関連してビデオカメラを自動的に合 わせる；ステップを含んでいることを特徴とする前記方法。 １１．請求の範囲第１０項に記載の方法において：個々の時間フレームの 間に捕らえられた音響データが、一連の音響信号の初期を表すか、どうかを決定 するステップが： 複数の周波数に関し、個々の時間フレームの間に捕らえられた信号の各周 波数成分の大きさが、その周波数の暗騒音エネルギーより少なくとも第一所定量 だけ大きいか、どうかを決定し； 複数の周波数に関し、各周波数成分の大きさが、事前に指定された数の先 行時間フレームの間に捕らえられた対応する信号の周波数成分の大きさより、少 なくとも第二所定量だけ大きいか、どうかを決定する；ステップを含んでいるこ とを特徴とする前記方法。 １２．請求の範囲第１１項に記載の方法において：方向合わせのステップ が前記音源の方向へカメラを水平回転するステップを含んでいることを特徴とす る前記方法。 １３．請求の範囲第１１項に記載の方法において：方向合わせのステップ が前記音源の方向へカメラを傾斜するステップを含んでいることを特徴とする前 記方法。 １４．請求の範囲第１１項に記載の方法において：さらに、受信された音 響信号に基づいて音源の位置を決定するステップを含んでいることを特徴とする 前記方法。 １５．請求の範囲第１４項に記載の方法において：さらに、音源の位置を 決定するステップに応答して音源を画面に収めるように、カメラのレンズを自動 的にズームアップするステップを含んでいることを特徴とする前記方法。 １６．音源から到達する一連の音響信号を処理する装置において： 複数の時間フレームの間に音響データの流れを捕らえる複数のトランスデ ューサと； 個々の時間フレームの間に捕らえられた音響データが、一連の音響信号の 初期を表すか、どうかを決定する手段と； 前記データが流れの初期を表す時、前記一連の信号を表す受信された音響 信号を識別する手段と； 受信された音響信号に基づいて前記音源の方向を決定する手段と；を含ん でいることを特徴とする前記装置。 １７．請求の範囲第１６項に記載の装置において：捕らえられた音響デー タが一連の音響信号の初期を表すか、どうかを決定する手段が： 暗騒音算定器と； 複数の周波数に関し、個々の時間フレームの間に捕らえられた各信号の周 波数成分の大きさが、その周波数の暗騒音エネルギーより少なくとも第一所定量 だけ大きいか、どうかを決定する第一手段と； 複数の周波数に関し、各周波数成分の大きさが、事前に指定された数の先 行時間フレームの間に捕らえられた信号の対応する周波数成分の大きさより、少 なくとも第二所定量だけ大きいか、どうかを決定する第二手段と；を含んでいる ことを特徴とする前記装置。 １８．請求の範囲第１７項に記載の装置において：識別する手段が、複数 の周波数に関し、個々の時間フレームの間に捕らえられた信号の各周波数成分の 大きさが、その周波数の暗騒音エネルギーより少なくとも第一所定数の時間にお いて大きいことを特徴とする前記装置。 １９．請求の範囲第１７項に記載の装置において：識別する手段が、複数 の周波数に関し、個々の時間フレームの間に捕らえられた信号の各周波数成分の 大きさが、事前に指定された数の先行時間フレームの間に捕らえられた信号の対 応する周波数成分の大きさより、少なくとも第二所定数の時間において大きいこ とを特徴とする前記装置。 ２０．請求の範囲第１７項に記載の装置において：識別する手段が、 個々の時間フレームの間に複数のトランスデューサに捕らえられた信号の 間の相互関係を表す信号を識別する手段と； 相互関係を表す信号のそれぞれから対応する暗騒音を差し引く減算器と； を含んでいることを特徴とする前記装置。 ２１．請求の範囲第２０項に記載の装置において：音源の方向を決定する 手段が、捕らえられた音響信号から、複数のマイクロホーンの位置における一連 の音響信号の到着時間の差を表す時間遅れを差し引く手段を含んでいることを特 徴とする前記装置。 ２２．請求の範囲第２１項に記載の方法において：さらに、受信された音 響信号から、それぞれが値の複数の範囲の一つにある複数の潜在的時間遅れを差 し引く手段と、各範囲内にある潜在的時間遅れの数と各範囲に割り当てられた相 対ウエートとに基づいて、実際の時間遅れを選択する手段とを含んでいることを 特徴とする前記装置。 ２３．請求の範囲第２３項に記載の装置において：比較的に小さい値を有 する潜在的時間遅れの範囲が、大きい値を有する潜在的時間遅れの範囲より高い 相対ウエートを割り当てられていることを特徴とする前記装置。 ２４．音源から到達する一連の音響信号を処理する、ビデオ方式会議に使 用する装置において： ビデオカメラと； 複数の時間フレームの間に音響データの流れを捕らえる複数のトランスデ ューサと； 個々の時間フレームの間に捕らえられた音響データが、一連の音響信号の 初期を表すか、どうかを決定する手段と； 前記データがその流れの初期を表す時、前記一連の信号を表す受信された 音響信号を識別する手段と； 受信された音響信号に基づいて前記音源の方向を決定する手段と；を含ん でおり、 ビデオカメラが、前記音源の方向を決定する手段から受信された信号に応 答して音源の方向へ自動的に合わされることを特徴とする前記装置。 ２５．請求の範囲第２４項に記載の装置において：捕らえられた音響デー タが一連の音響信号の初期を表すか、どうかを決定する手段が、 暗騒音エネルギー算定器と； 複数の周波数に関し、個々の時間フレームの間に捕らえられた信号の各周 波数成分の大きさが、その周波数の暗騒音エネルギーより少なくとも第一所定量 だけ大きいか、どうかを決定する第一手段と； 複数の周波数に関し、各その周波数成分の大きさが、事前に指定された数 の先行時間フレームの間に捕らえられた信号の対応する周波数成分より、少なく とも第二所定量だけ大きいか、どうかを決定する第二手段と；を含んでいること を特徴とする前記装置。 ２６．請求の範囲第２５項に記載の装置において：カメラが、前記音源の 方向を決定する手段から受信された信号に応答して音源の方向へ自動的に水平回 転されることを特徴とする前記装置。 ２７．請求の範囲第２５項に記載の装置において：カメラが、前記音源の 方向を決定する手段から受信された信号に応答して音源の方向へ自動的に傾斜さ れることを特徴とする前記装置。 ２８．音源から到達する一連の音響信号を処理する、ビデオ方式会議に使 用される装置において； ビデオカメラと； 複数の時間フレームの間に音響データの流れを捕らえる少なくとも第一と 第二、および第三のトランスデューサと； 個々の時間フレームの間に捕らえられた一連の音響信号の初期を表すか、 どうかを決定する手段と； 前記データがその流れの初期を表す時、前記一連の信号を表す受信された 音響信号を識別する手段と； 受信された音響信号に基づいて二次元の前記音源の方向を決定する手段と ；を含み、 ビデオカメラが、前記音源の方向を決定する手段から受信された信号に応 答して前記音源の方向へ自動的に向けられることを特徴とする前記装置。 ２９．請求の範囲第２８項に記載の装置において：捕らえられた音響デー タが一連の音響信号の初期を表すか、どうかを決定する手段が、 暗騒音エネルギー算定器と； 複数の周波数に関して、個々の時間フレームの間に捕らえられた信号の各 周波数成分の大きさが、その周波数の暗騒音エネルギーより少なくとも第一所定 量だけ大きいか、どうかを決定する第一手段と； 複数の周波数に関して、各周波数成分の大きさが、事前に指定された数の 先行時間フレームの間に捕らえられた信号の対応する周波数成分より、少なくと も第二所定量だけ大きいか、どうかを決定する第二手段と；を含んでいることを 特徴とする前記装置。 ３０．請求の範囲第２８項に記載の装置において： 第一トランスデューサが第一軸に沿って第二トランスデューサから変移さ れ、第三トランスデューサが第一軸に直角な第二軸に沿って第二トランスデュー サから変移されており； 第一と第二トランスデューサにより捕らえられた音響データが、第一軸に 対する音源の方向を決定するために使用され、第二と第三のトランスデューサに より捕らえられた音響データが、第二軸に対する音源の方向を決定するために使 用され；および ビデオカメラが、前記音源の方向を決定する手段から受信された信号に応 答して音源の方向へ自動的に水平回転され、傾斜されることを特徴とする前記装 置。 ３１．請求の範囲第２８項に記載の装置において：さらに、複数の時間フ レームの間に音響データの流れを捕らえる第四トランスデューサを含み； 第二トランスデューサが第一と第三トランスデューサの間に配置されて、 第一、第二及び第三トランスデューサが、第一軸に沿って配置され、第四トラン スデューサが、第一軸に直角な第二軸に沿って第二トランスデューサから変移さ れており； 第一と第三トランスデューサにより捕らえられた音響データが、第一軸に 対する音源の方向を決定するために使用され、第二と第四トランスデューサによ り捕らえられた音響データが、第二軸に対する音源の方向を決定するために使用 され； ビデオカメラが、前記音源の方向を決定する手段から受信された信号に応 答して音源の方向へ自動的に水平回転され、傾斜される；ことを特徴とする前記 装置。 ３２．請求の範囲第３１項に記載の装置において：さらに、 音源の位置を決定する手段を含み、四つのトランスデューサの三つにより 捕らえられたデータが、音源の位置を決定するために使用され； カメラが、音源の位置を決定する手段から受信された信号に応答して音源 を画面に収めるように、自動的にズームアップされること；を特徴とする前記装 置。 ３３．音源から到達する一連の音響信号を処理する、ビデオ方式会議に使 用される方法において： 音響データの流れを第一、第二および第三トランスデューサにおいて複数 の時間フレームの間に捕らえ； 個々の時間フレームの間に捕らえられた音響データが、一連の下記の初期 を表すか、どうかを決定し； 前記データがその流れの初期を表す時、前記一連の信号を表す受信された 音響信号を識別し； 受信された音響信号に基づいて二次元において前記音源の方向を決定し； 前記音源の方向を決定するステップに応答して、ビデオカメラを音源の方 向へ自動的に向ける；ステップを含んでいることを特徴とする前記装置。 ３４．請求の範囲第３３項に記載の方法において：さらに、 音響データの流れを第四トランスデューサにおいて複数の時間フレームの 間に捕らえ； 音源の位置を第三次元において決定し、四つのトランスデューサの三つに より捕らえられた音響データが、音源の位置を決定するために使用され； 音源の位置を決定するステップに応答して、音源を画面に収めるように、 ビデオカメラを自動的にズームアップする；ステップを含んでいることを特徴と する前記方法。 ３５．ビデオ方式会議に使用されるビデオカメラを操作する方法において： ビデオカメラにより捕らえられたビデオデータに対応する画像を表示し； 複数の時間フレームの間、音源からの一連の音響信号から成る音響データ の流れを捕らえ； 捕らえられた音響データの流れに基づいて前記音源の方向を決定し； 決定するステップに応答して、ビデオカメラを傾斜または水平回転するこ とによりカメラを自動的に向け； ビデオカメラが傾斜または水平回転している間、ディスプレイに表示され た画像を固定する；ステップを含んでいることを特徴とする前記方法。 ３６．請求の範囲第３５項に記載の方法において：固定するステップが、 ディスプレイに現れる画像を、ビデオカメラを水平回転または傾斜する直前に発 生するビデオフレームに固定するステップを含んでいることを特徴とする前記方 法。 ３７．ビデオ方式会議に使用される、少なくとも第一および第二ビデオカ メラを含んでいる装置を操作する方法において： 第一ビデオカメラにより捕らえられたビデオデータに対応する画像をディ スプレイに表し； 複数の時間フレームの間、音源からの一連の音響信号から成る音響データ の流れを捕らえ； 個々の時間フレームの間に捕らえられた音響データが、一連の音響信号の 初期を表すか、どうかを決定し； 前記データがその一連の信号の初期を表す時、前記一連の信号を表す、受 信された音響信号を識別し； 方向決定に応答してビデオカメラを傾斜および水平回転することにより、 第一ビデオカメラを自動的に向け； 第一ビデオカメラが傾斜または水平回転している間、第二ビデオカメラに より捕らえられたビデオデータに対応する画像をディスプレイに表示する；こと を含んでいることを特徴とする前記方法。