JP4296197B2 - 音源追跡のための配置及び方法 - Google Patents

音源追跡のための配置及び方法 Download PDF

Info

Publication number
JP4296197B2
JP4296197B2 JP2006507889A JP2006507889A JP4296197B2 JP 4296197 B2 JP4296197 B2 JP 4296197B2 JP 2006507889 A JP2006507889 A JP 2006507889A JP 2006507889 A JP2006507889 A JP 2006507889A JP 4296197 B2 JP4296197 B2 JP 4296197B2
Authority
JP
Japan
Prior art keywords
camera
microphones
microphone
sound source
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006507889A
Other languages
English (en)
Other versions
JP2006525743A (ja
Inventor
ムレン,ペター
マルトン,トリグブ・フレデリク
ヨハンセン,トム−イバル
Original Assignee
タンドベルク・テレコム・エイ・エス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タンドベルク・テレコム・エイ・エス filed Critical タンドベルク・テレコム・エイ・エス
Publication of JP2006525743A publication Critical patent/JP2006525743A/ja
Application granted granted Critical
Publication of JP4296197B2 publication Critical patent/JP4296197B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Application Of Or Painting With Fluid Materials (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は信号源の位置決め、特にテレビ会議内の有効発言者を空間的に位置決めする配置及び方法に関する。
信号の位置決めはいくつかの用途で用いられている。最も有名な用途は多分テレビの番組製作である。例えば、討論番組で、視聴者が体験し、理解度を高めるために、現時点の発言者を有効なカメラが位置決めをし、好ましくはズーミング(zooming)をすることが重要である。しかしながら、これは伝統的にプロジューサー(producer)により手で操作されている。カメラ(camera)とマイクロフォン(microphone)が数人の画像と音声を捕捉している他の用途では、専任者が機能を制御することは不可能であり、又は、好ましくない。
そのような用途の一例はテレビ会議システムの中でのカメラの自動位置決めである。テレビ会議の発言で、末端位置での典型的状況はテーブル(table)の周りに数人の参加者が座っていて、その末端位置の表示装置を見ている会議室であり、その一方で、その表示装置の近くに位置しているカメラがその会議室の画像を捕捉している。その部屋に多くの参加者がいる場合、会議室の遠方端側の画像を見ている人が、発言者を決定すること、又は、発言者の議論を追跡することは困難であろう。それゆえ、部屋の中で有効発言者を位置決めし、かつ、その参加者にカメラを自動的に向けて、及び(又は)、ズーミングを行なうことが好ましい。カメラの撮影範囲内の特定位置に置かれたカメラの方向決定とズーミングを自動的に行なうことは当該分野で良く知られているので、詳細には示さない。問題は、容認できるテレビ会議の自動番組作成を行なうために、空間的及び時間的の両方で、有効発言者を十分正確に位置決めすることである。
公知の音源位置決め用配置は複数の空間的に離したマイクロフォンを使用し、多くの場合、受話器の出力で信号間の遅延の差を決定することに基づいている。マイクロフォンの位置及び音源と各マイクロフォンの間の伝達経路間の遅延の差が判明している場合、音源の位置を決定できる。2個のマイクロフォンを用いる場合、それらの間の基準線に対する方向を決定できる。3個のマイクロフォンを用いる場合、2次元の平面内で音源の位置を決定できる。単一平面に置かれていない3個を超えるマイクロフォンが用いられている場合、音源の三次元位置を決定できる。
音源の位置決めの一例は特許文献1に示されている。特許文献1は音源の方向と位置を得るために、空間的に離れた一対のマイクロフォンを用いた方法とシステムを教示している。同じ音源の音を代表している各マイクロフォンの信号の始まりを検出することにより、その音響信号の間の時間遅延を決定でき、音源に対する距離と方向を計算しうる。
音源の位置決めについてのこれら及び他の公知の解決策では、方向及び距離の計算をするために用いられるマイクロフォンはカメラの近くに置かれる。そのカメラの位置は通常会議用テーブルの端部を超えて、スクリーンの上部にある。少なくとも参加者の一部はマイクロフォンの設置位置から遠い距離(r)に座っている。この設置位置は以下で論じるようないくつかの短所を有する。
発言者とマイクロフォンの設置位置の間の距離が遠いことにより、方向角に期待される拡がりは小さく、かつ、それに応じて、音の到達時間の差の拡がりが小さい。これが位置決めのアルゴリズム(algorithm)の精度を低くする。しかしながら、距離が遠いことにより、そのアルゴリズムは正確になるはずである。
到達時間の差を大きくするひとつの方法は、Dと示したマイクロフォン間の距離を大きくすることである。しかしながら、従来技術は、各マイクロフォンへの信号が、Dの大きすぎる値とは相関性が無くなる傾向があるので、Dをあまり大きくできないことを示している。従来技術では20−25cmの距離のDが最も良い結果を与えることを示している。
特に、伝統的システムでは、距離の計算が誤差を生じやすい。なぜなら、この距離が比較的接近して配置された一対のマイクロフォンの間の小さな角度差を用いて計算されているからである。即ち、この方法はマイクロフォン・システムの近距離音場内に発言者がいることを想定しているが、多くの場合、この想定には疑問がある。
(方向を計算するために用いられる音としての)直接来た音のレベル(level)が距離rに逆比例する。発言者とマイクロフォンの間の距離が遠いことにより、発言者からの信号が弱くなる。それゆえ、周辺雑音とマイクロフォン及び電子機器の自己雑音に敏感になる。
遠距離になることにより、発言者からの音の反射がマイクロフォンの設置位置へ直接来た音とほぼ同じ高さのレベルで達する。それゆえ、不正確で低精度の決定が生じうる。
これらの欠点が常に障害になっているが、長い時間枠に亘って音を積分することにより補償しうる。しかしながら、これもまた、遅い応答システムという欠点を有している。これは既存の音響追跡システムの典型的弱点になっている。
米国特許第5,778,082号明細書 国際特許出願第WO 00/28740号明細書 "Acoustic Location of voice sources in a video conferencing environment", 1997, by Erik Leenderts
添付した独立請求項に定義された機能がこの配置と方法の特徴を示している。
特に、本発明は、1以上のマイクロフォン又はマイクロフォン要素のアレー(array)に対する音源の位置を決定すること、及び、1以上のマイクロフォン又はアレーのうちのひとつに対する音源の位置からカメラと音源の間の第一の距離及び(又は)方向を、そして、カメラとその1以上のマイクロフォン又はアレーのひとつの間の第二の距離及び(又は)方向を幾何学的に決定することによりカメラに対する音源の位置決めをする配置と方法を開示している。
本発明を理解しやすくするために、以後の議論では添付の図面を参照している。
以下では、好ましい実施例を示すことにより、又、添付図面を参照することにより本発明を論じている。しかしながら、当該分野の技術者であれば添付した独立請求項に定義されている本発明の範囲内で他の応用と変更を実現するであろう。
本発明に基づくと、マイクロフォン・システムをカメラのある位置に配置する代わりに
、会議室のテーブルに、通常参加者グループ(group)の中央に配置する。それで、参加者までの距離が通常短縮され、近距離音場にあるという想定がより正確になる。
本発明は音源の位置決めをするために2分割方式を開示している。位置決め装置は好ましくは可能なかぎり使用しているカメラに近づけて配置し、1以上のマイクロフォンの位置決めをする。そのマイクロフォンはできるだけ参加者に近づけて配置することが望ましい。その一方で、そのマイクロフォン(今後、テーブル・マイクロフォンという)がそれ自体の位置に対して音源の位置決めをする。そのテーブル・マイクロフォンには2以上のマイクロフォン要素が設けられている。又は、代わりに2以上の別個のテーブル・マイクロフォンを使用しうる。テーブル・マイクロフォンは音源近くに配置されるので、テーブル・マイクロフォンと音源の間の距離に対するマイクロフォン要素間の距離の比が小さくなる。それで、マイクロフォンがカメラ付近に配置されている場合と比較して、テーブル・マイクロフォンは高解像度かつ高速で音源の位置を決定できる。
カメラ及び音源に対するテーブル・マイクロフォンの各位置が判明しているとき、カメラに対する音源の位置を極めて直接的に求められる。この方法で、結果の精度が、カメラに対する音源の位置に依存する度合いが、テーブル・マイクロフォンを音源にどのように近づけるか、及び、カメラに対するテーブル・マイクロフォンの位置決めの精度と速度に依存する度合いと比較して、低くなる。カメラと音源を直接関連づけるよりも後者ははるかに制御可能になる。
既に示したように、本アイデア(idea)は有効発言者を位置決めするために2以上の協調するシステムを組合わせることである。1以上の協調するシステムをカメラ側に配置し、かつ、1以上の協調するシステムをマイクロフォン側に配置する。カメラに対するテーブル・マイクロフォンの位置と方向を(テーブル・マイクロフォンの位置が固定されている場合に)手操作の測定値により、テーブル・マイクロフォンでの音、赤外線、高周波電波等の信号源を用いた、ある種のパターン(pattern)認識により、又は、カメラ側に1以上の信号源を持たせ、それをテーブル・マイクロフォンにより受信できることにより計算できる。本発明は、カメラとテーブル・マイクロフォンの間の相対位置が、カメラに対する音源の位置を直接検出するのと比較して、高精度になりやすいという事実を利用している。さらに、本アイデアは追跡すべき参加者の近くに検出装置を置いて、正確な測定になるように遠距離音場の計算の代わりに近距離音場の計算を行なえるようにし、カメラと協調するシステムに対するこの装置の方向と距離を計算する。最後に、これらの計算を統合して、カメラから参加者への直接の方向と距離を見いだす。
音源の方向を計算するひとつの方法を図2に示す。マイクB及びマイクAに達する音響信号の間での時間遅延は最新の技術に基づいて決定される。例えば、特許文献1に示されている発生信号の検出により、又は、特許文献2に示されたように、マイクB及びマイクAへの各音波経路のインパルス(impulse)応答の相互相関性を求めることによる。
時間遅延の信号tが発生すると、マイクB及びマイクAに対する音源Cの方位角は以下に基づいて決定しうる。
ここで、vは音速であり、tは時間遅延である。Dはテーブル・マイクロフォン間の距離である。この音源の方向を推定する方法は、遠距離音場の近似に基づいていて、その場
合、音響信号は平坦な即ち平面波の形でマイクA及びマイクCに達すると仮定している。もし、平面波の仮定が特定の用途に適当でない場合、他の技術を用いて、マイクA及びマイクBに対する音源Cの方向又は位置を決定する。そのような技術には、例えば、システム内に追加のマイクロフォンを組込むこと、及び、上記の方法に基づいてマイクロフォンの追加のペア(pair)での信号の到着時点の差に対応した遅延を発生させることが含まれる。そして、音源Cの方向と位置を決定するために、公知の技術に基づいて、多数の時間遅延を使用しうる。
上記の方法は遠距離音場の条件でのみ一平面内の音源からの方向を推定する。この方式で三次元推定を行なうため、他の2個と並んでいない第三のマイクロフォン又はマイクロフォン要素、マイクCを追加しなければならない。このマイクロフォンはマイクA及びマイクCと共に2対の追加のマイクロフォン・ペアを配置する。
テーブル・マイクロフォンに対する音源の位置を知るために、近距離音場の条件を考慮して、より高度の方法を必要とする。この例には非特許文献1に示されている最大尤度(Maximum Likelihood, ML)位置決め法である。MLは全ての可能なマイクロフォン・ペア全部を組合わせる統計的利点を利用している。この方法の目的は、いくつかの位置で期待される時間遅延と組合わせて(例えば、特許文献1に基づくある種の時間遅延推定法により)テーブル・マイクロフォンが与えうる全ての遅延情報を用いることにより、最も可能性がある音源位置を見いだすことである。
室内の全ての位置 P = (XP,YP, ZP) に対して、関連する時間遅延の期待値を全てのマイクロフォン・ペアについて計算できる。マイクロフォンMi及びMk から成るペアについて、そのマイクロフォンの位置が判明しているとき、τik(P)と呼ばれているPから見た相対遅延を正確に計算できる。この計算は当該分野で良く知られているので、詳細には示さない。その方法は、Pが音源Sとは異なる場所である場合、τik(P)がτikとは異なることを想定している。以下の数までのNmics個のマイクロフォンを用いて、
種々のマイクロフォン・ペアを配置でき、それぞれがPごとに関連する時間遅延の推定値を有している。これらの推定値を組合わせて、室内の全ての位置Pについて、誤差配置関数(error-placement function)E(P)を発生する。
ここで、τ^ikはMiとMkに対して期待される時間遅延である。この関数はP=Sで最小値を生じると期待できる。
正確な音源位置が見いだされた場合、P=Sとなり、かつ、誤差関数が以下のようになる。
理想的環境では、E(S) = 0になる。
示されている方法は、幾何学的誤差を導入しないで、全てのマイクロフォン・ペアを組合わせられる。
雑音と反響音に基づき、一部の遅延の推定値は他と比較して信頼度が高い。一部の推定値は全く有用でないだろう。それぞれの時間遅延の推定値(Time Delay Estimation: TDE)の信頼度が判明している場合、重み関数を誤差関数に含めることができる。
ここで、βikは遅延推定値τ^ikに対する重み係数である。
ここで、一部の遅延推定値は完全に却下されるので、残りの遅延推定値が幾何学的に音源を位置付けできるかどうかチェックしなければならない。もしそうなら、その推定値は全ての遅延推定値を考慮している場合よりもその推定値はずっと正確になるだろう。これが事実でなければ、いずれにせよ、位置決めは不正確になるだろう。
βikの発見方法は完全な調査を必要とするが、ここでは、それ以上検討しない。
E(P)関数の最小点及びそれによる最も可能性のある音源位置を見いだすことは、一組のPに対して、E値を計算して、これらのうちの最小値を見いだすことにより、又は、勾配調査法を用いることにより、行なえる。
(テーブル・マイクロフォンの位置に対して)可能性があり、かつ、推定しうる音源の位置の事前定義された選択が用いられた場合、位置決めを行なう前に全てのτik(P)の値を計算できる。遅延が推定されたとき、E関数での最小点を見いだすために、事前計算された位置の遅延と比較できる。可能性のある位置は全ての方向で10cm単位に分割されている。そのシステムは以下の数値未満を単位とする実際の音源を見逃すことが予想される。
会議の状況内に予想される参加者領域は限定されている。参加者がテーブル・マイクロフォンの前方1−5メートル以内に、かつ、両側それぞれで最大3メートルに位置すると予想される場合。このことは、10cmの網目の寸法を用いるとき、(400/10 + 1) * (600/10 + 1) = 2501個所となることを意味している。テレビ会議用の別の妥当な近似は、音源が床の上方100cmから180cmの間に位置していると期待することである。
これらの条件で、計算する位置の総数は、現在依然として10cmの網目の寸法であれ
ば、2501 * (80/10 + 1) = 22509 になる。
「合法的な」音源の位置となる領域がさらに制限されるが、依然として、計算すべき数千のE値が残っている。この理由で、勾配調査の時間効率は高いと期待しうる。
テーブル・マイクロフォンに対する音源の位置を決定するのに多くの他の方法が可能である。その多くは、マイクロフォン要素間の距離(D)に対して、テーブル・マイクロフォンから音源までの距離(r)を短くした方が精度と解像度が高くなる。しかしながら、Dが大きくなりすぎた場合、同じ音源からそれぞれが受けた音が(反射等により)大きな違いとなるので、遅延の測定が不可能になることを留意すべきである。それで、Dは使用時の上限を有する。従来技術では、最適距離Dが20−25cmの範囲になることを示している。
本発明は、近距離音場で操作する利点を全体として遠距離音場でのにカメラに対する音源の位置の計算に移している。もちろん、既に述べた計算方法は遠距離音場の一部で、即ち、カメラに対するテーブル・マイクロフォンの位置を決定することで使用しうる。しかし、この場合、関係する位置がさらに制御可能であれば、遠距離音場の計算でさえ、計算が迅速かつ正確になる。さらに、マイクロフォン/音源の場合と異なり、この位置決めプロセスは一方向計算に限定されない。即ち、テーブル・マイクロフォンがカメラの位置を検出するだけでなく、カメラがテーブル・マイクロフォンの位置を検出する。さらに、多くの用途で、テーブル・マイクロフォンとカメラが固定されているので、複雑ではなくて、速度を求められる方法が必要になる。一部の用途では、テーブル・マイクロフォンとカメラの両方を固定したとき、距離と方向について事前定義された値も使用しうる。
本発明の好ましい実施例では、テレビ会議の機器に関連する他の機器の調節を限定するために、テーブル・マイクロフォンが全ての位置決め機能を提供する。本実施例では、テーブル・マイクロフォンでの調節を除く唯一の調節は、カメラに、又は、その近くに、(又は、カメラに対して既知になるように又は検出可能に)取付けられた補助音源とする。テーブル・マイクロフォンはこの補助音源からの既知の信号を認識するのに適当である。補助音源は人間の可聴周波数範囲以外の周波数の音及び(又は)進行中の会議の障害にならないように人間の耳で検出できない振幅の音を発する。さらに、補助音源はテレビ会議の設備として使用する拡声器としうる。その場合、カメラに対する拡声器の位置が判明していなければならない。又は、そのつど検出できなければならない。
以前に示したように、位置決めすべき音源を制御できれば、発言者のような制御できない音源と比較して、その位置決めはずっと正確になり、短時間で行なえる。拡声器からマイクロフォン・システムまでの伝搬遅延を対応する伝達関数から得られる。拡声器からマイクロフォンまでの伝達関数を測定するために一般的に用いられる技術は最長シーケンス(Maximum-Length Sequences: MLS)技術である。MLS信号は一定特性を有するタイプの信号群である。この立場で最も重要な特性は、システム入力に供給されたとき、システム出力との相互相関性がシステムのインパルス応答を正確に与えるという事実である。以下の式の群から得られる。ここでhがシステムのインパルス応答、yは入力としてMLS信号xを有するシステムの出力信号である。rは相互相関関数であり、δはデルタ関数である。
本発明のシステムの補助音源(例えば、拡声器)にMLS信号を入力し、かつ、マイクロフォンの各出力を測定するとき、補助音源−音響的環境−マイクロフォンから成るシステムのインパルス応答を決定できる。そのインパルス応答が信号の絶対遅延を示し、さらに、音源とマイクロフォンの間の絶対距離を暗示的に示す。それぞれのマイクロフォン又はマイクロフォン要素で信号を受ける時間の間の相対的遅延及びそれらの間の距離により、その音源に対するテーブル・マイクロフォンの方向及び向きを推定できる。
本発明の別の実施例では、カメラの画像機能を用いている。そして、テーブル・マイクロフォンには、カメラに事前に記憶され、かつ、アクセスできて、容易に認識できる形状又はパターンが供給される。この方法で、カメラ自体(又はその制御装置)が、そのカメラが捕捉した画像内で認識できるパターンの寸法と位置を求めることによりテーブル・マイクロフォンの位置を計算できる。代わりに、そのパターンには2以上の制御可能な光源を含めて、カメラがテーブル・マイクロフォンを認識して、位置決めすることを支援する。さらに、制御装置を調節して、テーブル・マイクロフォンからカメラへ光が移動する時間を測定し、それにより位置を得る。
本発明の別の実施例では、カメラとテーブル・マイクロフォンがRF(無線周波数)検出機能を用いて、局部的位置決めシステム内でお互いの位置決めをする。もちろん、テーブル・マイクロフォンとカメラの間の相対的位置も固定しうる。
テーブル・マイクロフォンと音源の間だけでなくカメラとテーブル・マイクロフォンの間の相対位置を見いだしたとき、カメラと音源の間の相対的位置を見いだすために単調な幾何学的計算のみが残る。図3を参照すると、角度α1とα及び距離a及びbを与えられた場合に角度αと距離cを計算する問題になる。幾何学的条件は垂直面内のカメラと音源の間の距離cと角度についての以下の表現になる:
水平面についての対応する値は全く同じ方法で計算できる。カメラの位置を考慮して、音源の三次元位置を例えばピタゴラスの定理により容易に計算しうる。
有効発言者への方向についての情報を用いて、電動カメラを正しい方向に位置することができる。距離についての情報を用いて、正しいズーム比と焦点を調節できる。
そして、図1のビデオ会議システムの動作は以下の通りである。ステーション(station)Aで参加者の一人が話し始めたときに、参加者の発言により発生した音響信号をテーブル・マイクロフォンが取得して、制御装置に送り、そこで、公知の方法で処理される。そして、伝送システムを経由してステーションBに伝送する。ステーションBで受信した音響信号を拡声器で再生する。
発言する参加者が発生する音響信号もマイクロフォン・アレー内のマイクロフォンにより取得される。取得した信号は制御装置に送られ、そこで、マイクロフォンの種々のペアからの信号を好ましく処理する。そして、発言する参加者の最も可能性の高い位置が上記の方法に基づいて決定される。テーブル・マイクロフォンとカメラ内の補助音源の間の相対的な方向及び距離を同様に決定することにより、カメラと音源の間の相対的な方向と距離が幾何学的計算により決定される。そして、この情報はカメラの方向及び(又は)ズームを自動的に向け又は調節するのに使用される。
例えば、決定された方向は、音源の位置に向けるために、カメラの向きを直接又は間接に調節するのに使用される。自動ズーミングは最初の画像に対するパーセンテージ(percentage)単位のズーミング量に距離を関連付けることにより行なわれる。距離(又は距離の刻み)とパーセンテージの間の関連性が制御装置内の表に記憶され、新しい音源を検出したとき又は有効発言者が移動したときの特別の問い合せに利用できる。
本発明の別の実施例では、カメラの向きとズーミングの微調節のために音響検出と画像による署名を組合わせうる。音響検出の後で、有効発表者がカメラにより捕捉された画像内に入る可能性が特に高い。そして、カメラ又は制御装置が事前に記憶されている発言者の画像による署名により画像内の有効発言者を識別する。そして、有効発言者に対するカメラのズーミング/向きが不正確であることが判明した場合、画像内で特定された有効発言者の位置に基づいてこれを調節する。別の改善は画像による署名を対応する音響による署名に関連づけることであろう。1を超える画像による署名が音響検出後に捕捉した画像内にある場合、微調整時に有効発言者の音響による署名を調査することにより、画像による署名のどれを選択するかをカメラ又は制御装置が知る。中断する不連続の動きを防ぐために音響検出により、画像及び(又は)音響による署名によりこの微調整をすることをカメラの動きに滑らかに組込むことが望ましい。
本発明に基づく方法及び(又は)配置を用いるのにはいくつかの利点がある。その一部を以下で論じている。
第一に、rが小さくなると共に、D/rの比が大きくなる。このことは角度の差があれば到着時点の差が大きくなることを意味する。さらに、角度の有効な広がりが水平面で360度まで大きくなる。このことは、到着時点の差が大きくなることを意味している。
第二に、発言者からの信号が強くなり、信号対反響音が大きくなって、計算を改善できる。
第三に、rが小さいので、時間差及びそれによる角度の計算誤差による実際の位置の誤差が、(rに)比例して小さくなる。
さらに、D/rが小さいことは真の近距離音場の仮定になりうることを意味する。そして、距離の計算の精度が高くなる。
これらの利点があれば、マイクロフォン・システムと発言者の間の相対位置を高精度かつ高速で発見できる。
しかしながら、カメラに対するマイクロフォン・システムの位置は依然として高精度で決定しなければならない。この位置付けに音響を用いて、かつ、カメラの場所に拡声器を置くと、以下により、これは問題を単純化する。
このシステムは静止型となる傾向がある(移動しない)。それゆえ、全ての計算を長時間に亘って積分でき、非常に正確な測定値を得る。
拡声器で発した音響は制御可能である。そして、適当な統計を用いて信号を選択することにより、到着時点の差及びそれゆえ方向/角度を正確に測定することが容易になる。
拡声器の制御が可能なことで、拡声器からマイクロフォン・システムへ音響が伝搬する絶対時間を発見できる。音速が知られているので、絶対距離を発見できる。それゆえ、拡声器とマイクロフォン・システムの間の近距離音場について疑いがない仮定が必要である。
適切なアルゴリズム、例えば、MLS(最長シーケンス)技術はノイズ(noise)に対して非常に頑丈である。それゆえ、拡声器とマイクロフォン・システムの間の距離が長いこと(即ち、信号対ノイズの比が低いこと)は大きな問題にはならない。MLS技術も直接来る音と反射音を識別できる。それゆえ、信号対反響音の比は大きな問題にならない。
本発明に基づくテレビ会議を示すブロック線図である。 遠方領域に想定された音源からの音響信号を受信している一対のマイクに関する角度決定例の幾何学を示す。 垂直面内のカメラと音源の間の角度と距離を決定している幾何学を示す。

Claims (12)

  1. 音源と1以上のマイクロフォン又はマイクロフォン要素のアレーの間の第一の距離及び方向を決定することによりカメラに対する音源の位置を位置決めする方法で、
    カメラと1以上のマイクロフォン又はアレーのひとつの間の第二の距離及び方向を決定する過程と、
    音源と1以上のマイクロフォン又はアレーの間の第一の距離及び方向、及び、カメラと1以上のマイクロフォン又はアレーのひとつの間の第二の距離及び方向からカメラに対する音源の位置を計算する過程と、を備え
    カメラと1以上のマイクロフォン又はアレーの間の前記第二の距離及び方向を、
    前記1以上のマイクロフォン又はアレーのひとつに認識可能なパターンを供給するステップと、
    カメラが捕捉した画像内で認識可能なパターンを特定するステップと、
    画像内のパターンの寸法及び位置により前記第二の距離及び方向を決定するステップと、
    よって決定することを特徴とする方法。
  2. 音源と1以上のマイクロフォン又はアレーの間の第一の距離及び方向を決定するステップが、1以上のペアのマイクロフォン又はマイクロフォン要素のためのマイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるそれぞれの時間差を検出することにより実行されることを特徴とする請求項1に基づく方法。
  3. カメラと1以上のマイクロフォン又はアレーのひとつとの間の前記第二の距離及び方向が固定されていることを特徴とする請求項1又は2に基づく方法。
  4. カメラと1以上のマイクロフォン又はアレーのひとつの間の前記第二の距離及び方向を、
    カメラに対する既知又は検出可能な位置から音響信号を伝送するステップと、
    2以上のマイクロフォン又はアレーの要素で音響信号をそれぞれ受けるステップと、
    カメラと1以上のマイクロフォン又はマイクロフォン・アレーのひとつの間の前記第二の距離及び/又は方向を計算するために、受けた音響信号を処理するステップと、
    よって決定することを特徴とする請求項1又は2に基づく方法。
  5. 音源と1以上のマイクロフォン又はアレーの間の第一の距離を決定するステップに、さらに以下のステップ:
    事前定義をされた位置群の各位置について、マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号に対する第一の時間差を計算すること、
    マイクロフォン又はマイクロフォン要素のそれぞれの可能なペアの各マイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるための第二の時間差を測定すること、
    全ての可能なマイクロフォン又はマイクロフォン要素のペアのための対応する第一及び第二の時間差の間の差の自乗の合算により事前定義された位置群の各位置に対する誤差関数の値を計算すること、
    音源の位置として誤差関数の最小値と関連する位置を選択すること、
    備えることを特徴とする請求項2−のひとつに基づく方法。
  6. 以下のステップ:
    カメラに対する種々の位置を対応するカメラのズーミングの量と向きにそれぞれ関連付ける表の中でカメラに対する音源の位置の一覧を行なうこと、
    前記一覧の結果に基づいてカメラのズーミング及び(又は)方向決定を行なうこと、
    を特徴とする請求項1−5のひとつに基づく方法。
  7. 音源と1以上のマイクロフォン又はマイクロフォン要素のアレーの間の第一の距離及び方向を決定するのに適したカメラに対する音源の位置を決定する配置で、
    カメラと1以上のマイクロフォン又はアレーのひとつの間の第二の距離及び方向を決定するのに適していて、かつ、音源と1以上のマイクロフォン又はアレーの間の第一の距離及び/又は方向、及び、カメラと1以上のマイクロフォン又はアレーのひとつの間の第二の距離及び方向からカメラに対する音源の位置を計算することに適した制御装置を備え、
    前記1以上のマイクロフォン又はアレーのひとつには認識可能なパターンが設けられ、カメラ及び/又は制御装置が、そのカメラが捕捉した画像内の認識可能なパターンを識別するのに適していて、その制御装置がその画像内のパターンの寸法及び/又は位置により前記第二の距離及び方向を決定するのに適していることを特徴とする配置。
  8. さらに、その制御装置がマイクロフォン又はマイクロフォン要素の1以上のペアのためのマイクロフォン又はマイクロフォン要素への音源からの音響信号を受けるそれぞれの時間差を検出するのに適していることを特徴とする請求項に基づく配置。
  9. カメラと1以上のマイクロフォン又はアレーのひとつの間の前記第二の距離及び方向を固定していることを特徴とする請求項8又は9に基づく配置。
  10. 前記カメラに対する既知の又は検出可能な位置内に位置する音響信号を伝送するのに適した第一の手段、
    2以上のマイクロフォン又は要素のアレー内で第二の信号をそれぞれ受けて、又、その受けた音響信号をその制御装置に伝送するのに適した第二の手段で、それはカメラと1以上のマイクロフォン又はマイクロフォン・アレーのひとつの間で前記第二の距離及び方向を計算するために受けた音響信号を処理するのに適していること、を特徴とする請求項又はに基づく配置。
  11. 事前定義された位置群の各位置について、
    マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号の間の第一の時間差を計算すること、
    マイクロフォン又はマイクロフォン要素のそれぞれ可能なペアの各マイクロフォン又はマイクロフォン要素への音源から受けた音響信号の間の第二の時間差を測定すること、
    全ての可能なマイクロフォン又はマイクロフォン要素のペアのための対応する第一及び第二の時間差の間の差の自乗の合算により事前定義された位置群の各位置に対する誤差関数の値を計算すること、
    音源の位置として誤差関数の最小値と関連する位置を選択すること、
    に制御装置が適していることを特徴とする請求項9−12に基づく配置。
  12. 制御装置には、カメラに対する種々の位置に対応するカメラのズーミングの量と向きをそれぞれ関連付ける一覧表が含まれていること、及び、制御装置がカメラに対する音源の位置と関連しているズーミングの量及び/又は向きに基づいてカメラのズーミング及び/又は方向決定を行なうことに適していることを特徴とする請求項7−10のひとつに基づいた配置。
JP2006507889A 2003-05-08 2004-03-19 音源追跡のための配置及び方法 Expired - Lifetime JP4296197B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
NO20032062A NO318096B1 (no) 2003-05-08 2003-05-08 Arrangement og fremgangsmate for lokalisering av lydkilde
PCT/NO2004/000076 WO2004100546A1 (en) 2003-05-08 2004-03-19 An arrangement and method for audio source tracking

Publications (2)

Publication Number Publication Date
JP2006525743A JP2006525743A (ja) 2006-11-09
JP4296197B2 true JP4296197B2 (ja) 2009-07-15

Family

ID=19914741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006507889A Expired - Lifetime JP4296197B2 (ja) 2003-05-08 2004-03-19 音源追跡のための配置及び方法

Country Status (6)

Country Link
US (1) US7586513B2 (ja)
EP (1) EP1621017B1 (ja)
JP (1) JP4296197B2 (ja)
CN (1) CN100551028C (ja)
NO (1) NO318096B1 (ja)
WO (1) WO2004100546A1 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522736B2 (en) * 2004-05-07 2009-04-21 Fuji Xerox Co., Ltd. Systems and methods for microphone localization
KR100586893B1 (ko) * 2004-06-28 2006-06-08 삼성전자주식회사 시변 잡음 환경에서의 화자 위치 추정 시스템 및 방법
US7667728B2 (en) * 2004-10-15 2010-02-23 Lifesize Communications, Inc. Video and audio conferencing system with spatial audio
US7995768B2 (en) * 2005-01-27 2011-08-09 Yamaha Corporation Sound reinforcement system
US7646876B2 (en) * 2005-03-30 2010-01-12 Polycom, Inc. System and method for stereo operation of microphones for video conferencing system
US7362654B2 (en) * 2005-05-24 2008-04-22 Charly Bitton System and a method for detecting the direction of arrival of a sound signal
JP2007019907A (ja) * 2005-07-08 2007-01-25 Yamaha Corp 音声伝達システム、および通信会議装置
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
EP1971183A1 (en) * 2005-11-15 2008-09-17 Yamaha Corporation Teleconference device and sound emission/collection device
DE102005057406A1 (de) * 2005-11-30 2007-06-06 Valenzuela, Carlos Alberto, Dr.-Ing. Verfahren zur Aufnahme einer Tonquelle mit zeitlich variabler Richtcharakteristik und zur Wiedergabe sowie System zur Durchführung des Verfahrens
US8130977B2 (en) * 2005-12-27 2012-03-06 Polycom, Inc. Cluster of first-order microphones and method of operation for stereo input of videoconferencing system
JP4816221B2 (ja) * 2006-04-21 2011-11-16 ヤマハ株式会社 収音装置および音声会議装置
CN100442837C (zh) * 2006-07-25 2008-12-10 华为技术有限公司 一种具有声音位置信息的视频通讯系统及其获取方法
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
US7957512B2 (en) * 2006-10-27 2011-06-07 Nortel Networks Limited Source selection for conference bridges
WO2008056649A1 (fr) * 2006-11-09 2008-05-15 Panasonic Corporation Détecteur de position de source sonore
NO328582B1 (no) * 2006-12-29 2010-03-22 Tandberg Telecom As Mikrofon for lydkildesporing
JP2008259000A (ja) * 2007-04-06 2008-10-23 Sony Corp テレビ会議装置、制御方法、およびプログラム
US8237769B2 (en) * 2007-09-21 2012-08-07 Motorola Mobility Llc System and method of videotelephony with detection of a visual token in the videotelephony image for electronic control of the field of view
US7840638B2 (en) * 2008-06-27 2010-11-23 Microsoft Corporation Participant positioning in multimedia conferencing
US8189807B2 (en) 2008-06-27 2012-05-29 Microsoft Corporation Satellite microphone array for video conferencing
US8314829B2 (en) * 2008-08-12 2012-11-20 Microsoft Corporation Satellite microphones for improved speaker detection and zoom
CN101656908A (zh) * 2008-08-19 2010-02-24 深圳华为通信技术有限公司 控制声音聚焦的方法、通讯设备及通讯系统
CN101685153B (zh) * 2008-09-28 2011-11-16 华为终端有限公司 麦克风间距测量方法和装置
CN101442654B (zh) * 2008-12-26 2012-05-23 华为终端有限公司 视频通信中视频对象切换的方法、装置及系统
TWI465122B (zh) 2009-01-30 2014-12-11 Dolby Lab Licensing Corp 自帶狀脈衝響應資料測定反向濾波器之方法
CN101820565B (zh) * 2009-02-27 2015-01-07 本田技研工业株式会社 音源位置的推断方法及其装置
US20110123054A1 (en) * 2009-11-19 2011-05-26 Adamson Systems Engineering Inc. Method and system for determining relative positions of multiple loudspeakers in a space
US9210503B2 (en) * 2009-12-02 2015-12-08 Audience, Inc. Audio zoom
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
KR101090893B1 (ko) * 2010-03-15 2011-12-08 한국과학기술연구원 음원 방향 검지 시스템 및 방법
US8712069B1 (en) * 2010-04-19 2014-04-29 Audience, Inc. Selection of system parameters based on non-acoustic sensor information
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
TW201208335A (en) * 2010-08-10 2012-02-16 Hon Hai Prec Ind Co Ltd Electronic device
US9772815B1 (en) 2013-11-14 2017-09-26 Knowles Electronics, Llc Personalized operation of a mobile device using acoustic and non-acoustic information
CN102572382B (zh) * 2010-12-29 2015-04-08 南陵县生产力促进中心有限公司 摄像系统及其同步播放影像及声音的方法
US20130282370A1 (en) * 2011-01-13 2013-10-24 Nec Corporation Speech processing apparatus, control method thereof, storage medium storing control program thereof, and vehicle, information processing apparatus, and information processing system including the speech processing apparatus
WO2012103649A1 (en) * 2011-01-31 2012-08-09 Cast Group Of Companies Inc. System and method for providing 3d sound
US20120206578A1 (en) * 2011-02-15 2012-08-16 Seung Jun Yang Apparatus and method for eye contact using composition of front view image
JP5516455B2 (ja) * 2011-02-23 2014-06-11 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法
CN102790931B (zh) * 2011-05-20 2015-03-18 中国科学院声学研究所 一种三维声场合成中的距离感合成方法
US8903108B2 (en) * 2011-12-06 2014-12-02 Apple Inc. Near-field null and beamforming
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
CN103458220A (zh) * 2012-06-04 2013-12-18 联想(北京)有限公司 一种图像处理方法以及电子设备
CN102707261A (zh) * 2012-06-20 2012-10-03 太仓博天网络科技有限公司 一种麦克风阵列声源定位系统
US9131295B2 (en) 2012-08-07 2015-09-08 Microsoft Technology Licensing, Llc Multi-microphone audio source separation based on combined statistical angle distributions
US9269146B2 (en) 2012-08-23 2016-02-23 Microsoft Technology Licensing, Llc Target object angle determination using multiple cameras
CN103856877B (zh) * 2012-11-28 2017-11-28 联想(北京)有限公司 一种声控信息检测方法及电子设备
US9726498B2 (en) 2012-11-29 2017-08-08 Sensor Platforms, Inc. Combining monitoring sensor measurements and system signals to determine device context
US9894531B2 (en) * 2012-12-03 2018-02-13 University Of Florida Research Foundation, Incorporated Apparatus, method, and software systems for smartphone-based fine-grained indoor localization
CN103076593B (zh) * 2012-12-28 2014-09-10 中国科学院声学研究所 一种声源定位方法及装置
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US9385779B2 (en) 2013-10-21 2016-07-05 Cisco Technology, Inc. Acoustic echo control for automated speaker tracking systems
US9781106B1 (en) 2013-11-20 2017-10-03 Knowles Electronics, Llc Method for modeling user possession of mobile device for user authentication framework
US9500739B2 (en) 2014-03-28 2016-11-22 Knowles Electronics, Llc Estimating and tracking multiple attributes of multiple objects from multi-sensor data
WO2016040885A1 (en) 2014-09-12 2016-03-17 Audience, Inc. Systems and methods for restoration of speech components
CN105898185A (zh) * 2014-11-19 2016-08-24 杜比实验室特许公司 调节视频会议系统中的空间一致性
CN105635635A (zh) 2014-11-19 2016-06-01 杜比实验室特许公司 调节视频会议系统中的空间一致性
JP6504539B2 (ja) * 2015-02-18 2019-04-24 パナソニックIpマネジメント株式会社 収音システム及び収音設定方法
US9668048B2 (en) 2015-01-30 2017-05-30 Knowles Electronics, Llc Contextual switching of microphones
US9838646B2 (en) 2015-09-24 2017-12-05 Cisco Technology, Inc. Attenuation of loudspeaker in microphone array
CN105227925B (zh) * 2015-10-12 2019-02-01 北京奇虎科技有限公司 一种实现网络摄像机的移动监控的方法、装置和系统
CN105611167B (zh) * 2015-12-30 2020-01-31 联想(北京)有限公司 一种对焦平面调整方法及电子设备
CN105657329B (zh) * 2016-02-26 2018-11-20 苏州科达科技股份有限公司 视频会议系统、处理装置及视频会议方法
US9992580B2 (en) 2016-03-04 2018-06-05 Avaya Inc. Signal to noise ratio using decentralized dynamic laser microphones
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
FI129137B (en) * 2016-09-22 2021-08-13 Noiseless Acoustics Oy ACOUSTIC CAMERA AND METHOD FOR DETECTING ACOUSTIC EMISSIONS FROM VARIOUS LOCATIONS AND EQUIPMENT
CN117221801A (zh) 2016-09-29 2023-12-12 杜比实验室特许公司 环绕声系统中扬声器位置的自动发现和定位
GB2556058A (en) * 2016-11-16 2018-05-23 Nokia Technologies Oy Distributed audio capture and mixing controlling
US10362270B2 (en) 2016-12-12 2019-07-23 Dolby Laboratories Licensing Corporation Multimodal spatial registration of devices for congruent multimedia communications
US10560661B2 (en) * 2017-03-16 2020-02-11 Dolby Laboratories Licensing Corporation Detecting and mitigating audio-visual incongruence
FR3074584A1 (fr) * 2017-12-05 2019-06-07 Orange Traitement de donnees d'une sequence video pour un zoom sur un locuteur detecte dans la sequence
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN108682161B (zh) * 2018-08-10 2023-09-15 东方智测(北京)科技有限公司 确认车辆鸣笛的方法和系统
US10832695B2 (en) 2019-02-14 2020-11-10 Microsoft Technology Licensing, Llc Mobile audio beamforming using sensor fusion
CN110009916A (zh) * 2019-05-05 2019-07-12 江苏聆世科技有限公司 汽车鸣笛检测设备及方法
JP2021150809A (ja) * 2020-03-19 2021-09-27 株式会社Jvcケンウッド 音声出力制御装置、会議システム装置及び音声出力制御プログラム
CN112104928A (zh) * 2020-05-13 2020-12-18 苏州触达信息技术有限公司 一种智能音箱、控制智能音箱的方法和系统
US11425502B2 (en) 2020-09-18 2022-08-23 Cisco Technology, Inc. Detection of microphone orientation and location for directional audio pickup
US11115625B1 (en) 2020-12-14 2021-09-07 Cisco Technology, Inc. Positional audio metadata generation
TWI753741B (zh) * 2021-01-11 2022-01-21 圓展科技股份有限公司 聲源追蹤系統及其方法
CN113794830A (zh) * 2021-08-04 2021-12-14 深圳市沃特沃德信息有限公司 基于视频和音频的目标轨迹标定方法、装置和计算机设备
CN116193053A (zh) * 2021-11-25 2023-05-30 华为技术有限公司 导播控制的方法、装置、存储介质和计算机程序产品
US20240007592A1 (en) * 2022-06-30 2024-01-04 Shure Acquisition Holdings, Inc. Conferencing systems and methods for talker tracking and camera positioning
US20240064406A1 (en) * 2022-08-19 2024-02-22 Shure Acquisition Holdings, Inc. System and method for camera motion stabilization using audio localization
TWI830383B (zh) * 2022-09-16 2024-01-21 圓展科技股份有限公司 拍攝聲源的系統及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517300A (en) * 1990-05-31 1996-05-14 Parkervision, Inc. Remote controlled tracking system for tracking a remote control unit and positioning and operating a camera
US5422956A (en) * 1992-04-07 1995-06-06 Yamaha Corporation Sound parameter controller for use with a microphone
JPH06131009A (ja) * 1992-10-20 1994-05-13 Fujitsu Ltd フィードバック制御装置
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
CA2148631C (en) * 1994-06-20 2000-06-13 John J. Hildin Voice-following video system
US5737431A (en) * 1995-03-07 1998-04-07 Brown University Research Foundation Methods and apparatus for source location estimation from microphone-array time-delay estimates
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
US5959667A (en) * 1996-05-09 1999-09-28 Vtel Corporation Voice activated camera preset selection system and method of operation
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
US6275258B1 (en) * 1996-12-17 2001-08-14 Nicholas Chim Voice responsive image tracking system
JP3572849B2 (ja) 1997-02-14 2004-10-06 富士ゼロックス株式会社 音源位置計測装置、及びカメラ撮影制御装置
US6072522A (en) * 1997-06-04 2000-06-06 Cgc Designs Video conferencing apparatus for group video conferencing
US6469732B1 (en) * 1998-11-06 2002-10-22 Vtel Corporation Acoustic source location using a microphone array
US6965397B1 (en) * 1999-11-22 2005-11-15 Sportvision, Inc. Measuring camera attitude
JP2001296343A (ja) * 2000-04-11 2001-10-26 Nec Corp 音源方位設定装置及びそれを備えた撮像装置、送信システム
WO2001097558A2 (en) * 2000-06-13 2001-12-20 Gn Resound Corporation Fixed polar-pattern-based adaptive directionality systems
US7130705B2 (en) * 2001-01-08 2006-10-31 International Business Machines Corporation System and method for microphone gain adjust based on speaker orientation
JP4439763B2 (ja) 2001-07-04 2010-03-24 株式会社リコー 画像録画再生システムおよび画像録画再生方法
JP2004343262A (ja) * 2003-05-13 2004-12-02 Sony Corp マイクロフォン・スピーカ一体構成型・双方向通話装置

Also Published As

Publication number Publication date
JP2006525743A (ja) 2006-11-09
NO318096B1 (no) 2005-01-31
CN1784900A (zh) 2006-06-07
EP1621017A1 (en) 2006-02-01
WO2004100546A1 (en) 2004-11-18
CN100551028C (zh) 2009-10-14
EP1621017B1 (en) 2012-10-31
NO20032062D0 (no) 2003-05-08
US20050008169A1 (en) 2005-01-13
US7586513B2 (en) 2009-09-08

Similar Documents

Publication Publication Date Title
JP4296197B2 (ja) 音源追跡のための配置及び方法
US10972835B2 (en) Conference system with a microphone array system and a method of speech acquisition in a conference system
EP2953348B1 (en) Determination, display, and adjustment of best sound source placement region relative to microphone
US5940118A (en) System and method for steering directional microphones
US8717402B2 (en) Satellite microphone array for video conferencing
JP5857674B2 (ja) 画像処理装置、及び画像処理システム
US6980485B2 (en) Automatic camera tracking using beamforming
US9030520B2 (en) Automatic camera selection for videoconferencing
US9693017B2 (en) Automatic switching between different cameras at a video conference endpoint based on audio
US11197116B2 (en) Method, apparatus, and computer-readable media for focussing sound signals in a shared 3D space
US6516066B2 (en) Apparatus for detecting direction of sound source and turning microphone toward sound source
JP2011244455A (ja) ビデオ会議のための自動カメラフレーミング
JP2011244456A (ja) 話者識別による音声追跡カメラ
JP2011244454A (ja) 複数の音声追跡カメラを有するビデオ会議端末
TWI775119B (zh) 用於雜音過濾之設備與方法及相關聯非暫時性電腦可讀儲存媒體
US20240064406A1 (en) System and method for camera motion stabilization using audio localization
WO2024006534A1 (en) Conferencing systems and methods for talker tracking and camera positioning
KR20170121794A (ko) 이동 단말기의 오디오 주밍 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20081104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4296197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250