JP2000356674A - 音源同定装置及びその同定方法 - Google Patents
音源同定装置及びその同定方法Info
- Publication number
- JP2000356674A JP2000356674A JP11165182A JP16518299A JP2000356674A JP 2000356674 A JP2000356674 A JP 2000356674A JP 11165182 A JP11165182 A JP 11165182A JP 16518299 A JP16518299 A JP 16518299A JP 2000356674 A JP2000356674 A JP 2000356674A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- sound
- information
- position information
- source identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
(57)【要約】
【課題】 簡単な構成により、より高精度で複数の音源
を同定し得るようにした音源同定装置及びその方法を提
供する。 【解決手段】 複数の音源Ａ，Ｂ，Ｃに対して所定間隔
Ｄに配置した二つの集音マイク１１ａ，１１ｂで音を取
り込んで処理する集音手段１１と、上記複数の音源を連
続撮像する撮像手段１２と、物体を検知する感知手段
と、撮像手段により撮像した画像及び感知手段により検
知した物体の方向情報のいずれか、或いは両方から、音
源となり得る物体に関する位置情報を選定する画像処理
手段１３と、集音手段により集音した音響情報と画像処
理手段により選定した位置情報に基づいて、音源の位置
を同定する音響処理手段１４と、集音手段，撮像手段，
感知手段，画像処理手段及び音響処理手段を制御する制
御手段１５とを含むように、音源同定装置１０を構成す
る。
を同定し得るようにした音源同定装置及びその方法を提
供する。 【解決手段】 複数の音源Ａ，Ｂ，Ｃに対して所定間隔
Ｄに配置した二つの集音マイク１１ａ，１１ｂで音を取
り込んで処理する集音手段１１と、上記複数の音源を連
続撮像する撮像手段１２と、物体を検知する感知手段
と、撮像手段により撮像した画像及び感知手段により検
知した物体の方向情報のいずれか、或いは両方から、音
源となり得る物体に関する位置情報を選定する画像処理
手段１３と、集音手段により集音した音響情報と画像処
理手段により選定した位置情報に基づいて、音源の位置
を同定する音響処理手段１４と、集音手段，撮像手段，
感知手段，画像処理手段及び音響処理手段を制御する制
御手段１５とを含むように、音源同定装置１０を構成す
る。
Description
【０００１】
【発明の属する技術分野】この発明は、複数の音源から
の画像情報と音響情報に基づいて、各音源を個別に同定
するための音源同定装置及び方法に関するものである。
の画像情報と音響情報に基づいて、各音源を個別に同定
するための音源同定装置及び方法に関するものである。
【０００２】
【従来の技術】従来、混合音における音声、楽音といっ
た特定の音について混合音から分離する方法の研究が行
われている。例えば入力音として音声を仮定する音声認
識システムが知られている。また画像処理自体に関し
て、対象物の抽出に色、形状、動きを特徴として仮定す
るシステムが知られている。
た特定の音について混合音から分離する方法の研究が行
われている。例えば入力音として音声を仮定する音声認
識システムが知られている。また画像処理自体に関し
て、対象物の抽出に色、形状、動きを特徴として仮定す
るシステムが知られている。
【０００３】
【発明が解決しようとする課題】しかしながら、音認識
と画像処理を組み合わせた音認識システムはなく、また
音声を仮定する音認識システムでは、マイクロフォンが
口元にある時や他の音源が全く存在しない時にしか成立
しない。さらに複数の音源から調波構造を基に特定の音
響信号を分離するとともに音源方向を求めるものもある
が、音源方向の精度は±１０°であり、隣接音源が近接
している場合は音源の分離ができない。
と画像処理を組み合わせた音認識システムはなく、また
音声を仮定する音認識システムでは、マイクロフォンが
口元にある時や他の音源が全く存在しない時にしか成立
しない。さらに複数の音源から調波構造を基に特定の音
響信号を分離するとともに音源方向を求めるものもある
が、音源方向の精度は±１０°であり、隣接音源が近接
している場合は音源の分離ができない。
【０００４】また音源の数と同じ数の集音マイクを使用
することにより、各集音マイクからの音響情報に基づい
て、音源の同定を行なう方法も提案されている。これは
音の強度と音源の位置を同定するものであるが、その周
波数情報は方位軸に沿って拡散してしまい、良質な音源
同定が困難である。さらにこのような方法では音源の認
識率を高めることは可能であるが、各音源がそれぞれ独
立していることと、音源の数だけ集音マイクが必要であ
ることから、コストが高くなる。
することにより、各集音マイクからの音響情報に基づい
て、音源の同定を行なう方法も提案されている。これは
音の強度と音源の位置を同定するものであるが、その周
波数情報は方位軸に沿って拡散してしまい、良質な音源
同定が困難である。さらにこのような方法では音源の認
識率を高めることは可能であるが、各音源がそれぞれ独
立していることと、音源の数だけ集音マイクが必要であ
ることから、コストが高くなる。
【０００５】この発明は、以上の点にかんがみて、音源
物体を特定し、その画像情報と音響情報とを用いて混合
音から各音を分離して、より高精度で複数の音源を同定
し得るようにした、音源同定装置及びその同定方法を提
供することを目的とする。
物体を特定し、その画像情報と音響情報とを用いて混合
音から各音を分離して、より高精度で複数の音源を同定
し得るようにした、音源同定装置及びその同定方法を提
供することを目的とする。
【０００６】
【課題を解決するための手段】上記の目的を達成するた
め、請求項１に記載の音源同定装置によれば、複数の音
源に対して所定間隔に配置した二つの集音マイクから成
る集音手段と、上記複数の音源を連続撮像する撮像手段
及び物体を検知する感知手段のいずれか或いは両方と、
上記撮像手段により撮像された画像及び感知手段により
検知した物体の方向情報のいずれか或いは両方から音源
となり得る物体に関する位置情報を選定する画像処理手
段と、集音手段により集音された音響情報と画像処理手
段により選定された位置情報に基づいて、音源の位置を
同定する音響処理手段と、上記集音手段，撮像手段，感
知手段，画像処理手段及び音響処理手段を制御する制御
手段とを具備することにより構成される。さらに上記構
成に加え、好ましくは、音響処理手段が特定時刻の音響
情報だけを取り出す方向フィルタを備えている。また音
響処理手段は音源の概略位置情報を選定する機能を有し
ていることを特徴とする。さらに感知手段が音源となり
得る物体の磁気又は赤外線に基づいて検知することを特
徴とする。また音源となり得る物体に磁気を帯びた器材
を設けたことを特徴とする。
め、請求項１に記載の音源同定装置によれば、複数の音
源に対して所定間隔に配置した二つの集音マイクから成
る集音手段と、上記複数の音源を連続撮像する撮像手段
及び物体を検知する感知手段のいずれか或いは両方と、
上記撮像手段により撮像された画像及び感知手段により
検知した物体の方向情報のいずれか或いは両方から音源
となり得る物体に関する位置情報を選定する画像処理手
段と、集音手段により集音された音響情報と画像処理手
段により選定された位置情報に基づいて、音源の位置を
同定する音響処理手段と、上記集音手段，撮像手段，感
知手段，画像処理手段及び音響処理手段を制御する制御
手段とを具備することにより構成される。さらに上記構
成に加え、好ましくは、音響処理手段が特定時刻の音響
情報だけを取り出す方向フィルタを備えている。また音
響処理手段は音源の概略位置情報を選定する機能を有し
ていることを特徴とする。さらに感知手段が音源となり
得る物体の磁気又は赤外線に基づいて検知することを特
徴とする。また音源となり得る物体に磁気を帯びた器材
を設けたことを特徴とする。
【０００７】このような構成により、本発明の音源同定
装置では集音マイクから得た音響情報により音源の位置
を同定する際に、撮像手段によって撮像した画像情報と
感知手段によって得た方向情報とに基づく位置情報を参
考にして音源の方向を絞り込んでいる。したがって本発
明では、動画像や物体の方向情報を用いて音源と成りう
る物体を特定するとともに、その位置情報と音響情報と
を用いて音源分離を確実に行うことができる。
装置では集音マイクから得た音響情報により音源の位置
を同定する際に、撮像手段によって撮像した画像情報と
感知手段によって得た方向情報とに基づく位置情報を参
考にして音源の方向を絞り込んでいる。したがって本発
明では、動画像や物体の方向情報を用いて音源と成りう
る物体を特定するとともに、その位置情報と音響情報と
を用いて音源分離を確実に行うことができる。
【０００８】また、上記の目的を達成するため、本発明
の音源同定方法によれば、複数の音源に対して所定間隔
に配置した二つの集音マイクから成る集音手段により集
音する第一の段階と、第一の段階と同時に、上記複数の
音源となり得る物体の連続撮像及び方向検知のいずれか
或いは両方を行なう第二の段階と、第二の段階で撮像さ
れた画像及び方向検知のいずれか或いは両方から音源と
なり得る物体に関する位置情報を選定する第三の段階
と、第一の段階により集音された音響情報及び第三の段
階で選定された位置情報に基づいて、音源の位置を同定
する第四の段階とを具備することにより構成される。こ
の発明による音源同定方法は、好ましくは、上記第一の
段階により集音された音響情報のみに基づいて、音源の
位置情報を概略的に選定する第五の段階を含んでおり、
上記第三の段階が、この第五の段階により選定された概
略位置情報に基づいて、前以て音源の方向を絞り込んで
音源となり得る物体に関する位置情報を選定する。
の音源同定方法によれば、複数の音源に対して所定間隔
に配置した二つの集音マイクから成る集音手段により集
音する第一の段階と、第一の段階と同時に、上記複数の
音源となり得る物体の連続撮像及び方向検知のいずれか
或いは両方を行なう第二の段階と、第二の段階で撮像さ
れた画像及び方向検知のいずれか或いは両方から音源と
なり得る物体に関する位置情報を選定する第三の段階
と、第一の段階により集音された音響情報及び第三の段
階で選定された位置情報に基づいて、音源の位置を同定
する第四の段階とを具備することにより構成される。こ
の発明による音源同定方法は、好ましくは、上記第一の
段階により集音された音響情報のみに基づいて、音源の
位置情報を概略的に選定する第五の段階を含んでおり、
上記第三の段階が、この第五の段階により選定された概
略位置情報に基づいて、前以て音源の方向を絞り込んで
音源となり得る物体に関する位置情報を選定する。
【０００９】この発明による音源同定方法は、好ましく
は、上記第五の段階が、二つの集音マイクにより取得さ
れた音響情報の位相差及び強度差により、音源の方向を
概略的に選定する。この発明による音源同定方法は、好
ましくは、上記第三の段階における音源となり得る物体
に関する位置情報が、色及び形状のいずれか或いは両方
を基準として選定される。
は、上記第五の段階が、二つの集音マイクにより取得さ
れた音響情報の位相差及び強度差により、音源の方向を
概略的に選定する。この発明による音源同定方法は、好
ましくは、上記第三の段階における音源となり得る物体
に関する位置情報が、色及び形状のいずれか或いは両方
を基準として選定される。
【００１０】この発明による音源同定方法は、好ましく
は、上記第四の段階が、第三の段階で選定された位置情
報に基づいて、前以て設定された方向フィルタを選択す
ることにより、各音源からの音響情報を取り出して、各
音源の位置を同定する。この発明による音源同定方法
は、好ましくは、上記第四の段階または第五の段階が、
第一の段階により得られた音響情報に基づいて、任意に
分割した各周波数帯域の信号を基準として、音源の位置
を選定する。さらに音源となり得る物体に関する位置情
報を物体の動きを基準として選定することを特徴とす
る。また方向検知を磁気又は赤外線に基づいて検知する
ことを特徴とする。
は、上記第四の段階が、第三の段階で選定された位置情
報に基づいて、前以て設定された方向フィルタを選択す
ることにより、各音源からの音響情報を取り出して、各
音源の位置を同定する。この発明による音源同定方法
は、好ましくは、上記第四の段階または第五の段階が、
第一の段階により得られた音響情報に基づいて、任意に
分割した各周波数帯域の信号を基準として、音源の位置
を選定する。さらに音源となり得る物体に関する位置情
報を物体の動きを基準として選定することを特徴とす
る。また方向検知を磁気又は赤外線に基づいて検知する
ことを特徴とする。
【００１１】上記構成によれば、複数の音源に対して二
つの集音マイクから成る集音手段によって音響情報を得
ると共に、これらの音源を撮像手段によって撮像して画
像情報を得る。さらに音源の方向を磁気、赤外線に基づ
いて検知し、方向検知情報を得る。そして、音響処理手
段が音響情報に基づいて、例えばその集音マイクにより
取得された各音響情報の位相差及び強度差によって音源
の位置を同定する際に、撮像手段によって得られた画像
情報及び方向検知情報のいずれか、或いは両方に基づい
て、例えばその色，形状，動き等により画像処理手段に
よって選定された音源となり得る物体に関する位置情報
を参考にして音源の方向を絞り込んで、各周波数帯域の
信号例えば調波構造を基準として音源の位置を同定する
ので、音源の位置の同定に関して全方向に関する音響情
報の処理が不要となる。したがって、より正確な音源の
位置の同定を行なうことができると共に、処理情報量が
少なくて済み、処理時間を短縮することができる。この
場合、集音手段の二つの集音マイクによって、三つ以上
の複数の音源の位置を同定することができるので、簡単
な構成によって正確な音源の位置の同定を行なうことが
可能になる。
つの集音マイクから成る集音手段によって音響情報を得
ると共に、これらの音源を撮像手段によって撮像して画
像情報を得る。さらに音源の方向を磁気、赤外線に基づ
いて検知し、方向検知情報を得る。そして、音響処理手
段が音響情報に基づいて、例えばその集音マイクにより
取得された各音響情報の位相差及び強度差によって音源
の位置を同定する際に、撮像手段によって得られた画像
情報及び方向検知情報のいずれか、或いは両方に基づい
て、例えばその色，形状，動き等により画像処理手段に
よって選定された音源となり得る物体に関する位置情報
を参考にして音源の方向を絞り込んで、各周波数帯域の
信号例えば調波構造を基準として音源の位置を同定する
ので、音源の位置の同定に関して全方向に関する音響情
報の処理が不要となる。したがって、より正確な音源の
位置の同定を行なうことができると共に、処理情報量が
少なくて済み、処理時間を短縮することができる。この
場合、集音手段の二つの集音マイクによって、三つ以上
の複数の音源の位置を同定することができるので、簡単
な構成によって正確な音源の位置の同定を行なうことが
可能になる。
【００１２】また、上記第一の段階により集音された音
響情報のみに基づいて、音源の位置情報を概略的に選定
する第五の段階を含んでおり、第三の段階がこの第五の
段階により選定された概略位置情報に基づいて、前以て
音源の方向を絞り込んで音源となり得る物体に関する位
置情報を選定するようになっている場合には、第三の段
階による画像情報に基づく音源となり得る物体に関する
位置情報の選定における処理情報量が軽減されるので、
処理を簡単に行なうことができる。
響情報のみに基づいて、音源の位置情報を概略的に選定
する第五の段階を含んでおり、第三の段階がこの第五の
段階により選定された概略位置情報に基づいて、前以て
音源の方向を絞り込んで音源となり得る物体に関する位
置情報を選定するようになっている場合には、第三の段
階による画像情報に基づく音源となり得る物体に関する
位置情報の選定における処理情報量が軽減されるので、
処理を簡単に行なうことができる。
【００１３】上記第四の段階が、第三の段階で選定され
た位置情報に基づいて前以て設定された方向フィルタを
選択することにより各音源からの音響情報を取り出し
て、各音源の位置を同定する場合には、ある方向に対す
る音源からの音響情報を取り出すための方向フィルタが
前以て設定されているので、音源の位置の同定のための
処理を円滑に行なうことができる。
た位置情報に基づいて前以て設定された方向フィルタを
選択することにより各音源からの音響情報を取り出し
て、各音源の位置を同定する場合には、ある方向に対す
る音源からの音響情報を取り出すための方向フィルタが
前以て設定されているので、音源の位置の同定のための
処理を円滑に行なうことができる。
【００１４】
【発明の実施の形態】以下、図面に示した実施形態に基
づいてこの発明を詳細に説明する。図１はこの発明によ
る音源同定装置の一実施形態を示している。図１におい
て、音源同定装置１０は、集音手段１１と、撮像手段１
２と、画像処理手段１３と、音響処理手段１４と、制御
手段１５と、を含んでいる。
づいてこの発明を詳細に説明する。図１はこの発明によ
る音源同定装置の一実施形態を示している。図１におい
て、音源同定装置１０は、集音手段１１と、撮像手段１
２と、画像処理手段１３と、音響処理手段１４と、制御
手段１５と、を含んでいる。
【００１５】上記集音手段１１は、複数の音源（例えば
三人の話者）に対して所定間隔Ｄ（図１参照）に配置し
た二つの集音マイク１１ａ，１１ｂで音を取り込んで処
理している。これらの集音マイクの配置は適宜決定し得
るが、図１に示した例では撮像手段１２の両側、すなわ
ち左右に設けられている。
三人の話者）に対して所定間隔Ｄ（図１参照）に配置し
た二つの集音マイク１１ａ，１１ｂで音を取り込んで処
理している。これらの集音マイクの配置は適宜決定し得
るが、図１に示した例では撮像手段１２の両側、すなわ
ち左右に設けられている。
【００１６】上記撮像手段１２は、例えばＣＣＤ（固体
撮像素子）カメラから構成されており、図２に示すよう
に、上記複数の音源（三人の話者Ａ，Ｂ，Ｃ）を含む画
像を連続撮像するものである。
撮像素子）カメラから構成されており、図２に示すよう
に、上記複数の音源（三人の話者Ａ，Ｂ，Ｃ）を含む画
像を連続撮像するものである。
【００１７】上記画像処理手段１３は、撮像手段１２に
より撮像された画像、例えば画像における色、形状又は
動きに基づいて、音源となり得る物体に関する位置情報
を選定するものである。なお、動きには振動なども含ま
れる。この場合、画像処理手段１３は、図３（Ｂ）に示
すように、撮像手段１２により撮像された画像につい
て、色（例えば人の肌の色）や高さ等に基づいて三人の
話者Ａ，Ｂ，Ｃについてそれぞれ枠Ａ１，Ｂ１，Ｃ１を
設定し、図３（Ｃ）に示すように、これらの枠Ａ１，Ｂ
１，Ｃ１の中心位置Ａ２，Ｂ２，Ｃ２（図３にてそれぞ
れ枠Ａ１，Ｂ１，Ｃ１内にて「＋」図示）の水平座標Ａ
３，Ｂ３，Ｃ３を音源となり得る物体に関する位置情報
として選定する。
より撮像された画像、例えば画像における色、形状又は
動きに基づいて、音源となり得る物体に関する位置情報
を選定するものである。なお、動きには振動なども含ま
れる。この場合、画像処理手段１３は、図３（Ｂ）に示
すように、撮像手段１２により撮像された画像につい
て、色（例えば人の肌の色）や高さ等に基づいて三人の
話者Ａ，Ｂ，Ｃについてそれぞれ枠Ａ１，Ｂ１，Ｃ１を
設定し、図３（Ｃ）に示すように、これらの枠Ａ１，Ｂ
１，Ｃ１の中心位置Ａ２，Ｂ２，Ｃ２（図３にてそれぞ
れ枠Ａ１，Ｂ１，Ｃ１内にて「＋」図示）の水平座標Ａ
３，Ｂ３，Ｃ３を音源となり得る物体に関する位置情報
として選定する。
【００１８】ここで、「音源となり得る物体」としたの
は、必ずしも画像認識のみでは音源か否か不明だからで
ある。なお、画像処理手段１３は、好ましくは画像処理
の簡略化のために、上述の画像処理の前に、後述するよ
うに音響処理手段１４で選定された各音源の概略方向Ａ
０，Ｂ０，Ｃ０（図３（Ａ）参照）が入力され、この概
略方向Ａ０，Ｂ０，Ｃ０に絞り込んだ状態にて、即ちこ
れらの概略方向Ａ０，Ｂ０，Ｃ０の範囲内で上記画像処
理を行なうことにより、音源となり得る物体に関する位
置情報Ａ３，Ｂ３，Ｃ３を選定する。
は、必ずしも画像認識のみでは音源か否か不明だからで
ある。なお、画像処理手段１３は、好ましくは画像処理
の簡略化のために、上述の画像処理の前に、後述するよ
うに音響処理手段１４で選定された各音源の概略方向Ａ
０，Ｂ０，Ｃ０（図３（Ａ）参照）が入力され、この概
略方向Ａ０，Ｂ０，Ｃ０に絞り込んだ状態にて、即ちこ
れらの概略方向Ａ０，Ｂ０，Ｃ０の範囲内で上記画像処
理を行なうことにより、音源となり得る物体に関する位
置情報Ａ３，Ｂ３，Ｃ３を選定する。
【００１９】上記音響処理手段１４は、集音手段１１の
マイクにより集音された、例えば音響情報と画像処理手
段１３により選定された位置情報Ａ３，Ｂ３，Ｃ３に基
づいて音源の位置を同定するものである。音源の位置の
同定は、音響情報に関しては左右の集音マイク１１ａ，
１１ｂの音響情報の間の位相差及び強度差に基づいて行
なわれる。これは、図４に示すように、一つの音源から
の音響情報は、その音源の方向θ（θは、正面を０度と
し、左にマイナス、右にプラスとする。）に対応して、
左右の集音マイク１１ａ，１１ｂから音源までの距離が
ｄ（ｄ＝Ｄ・ｓｉｎθ）だけ異なることに起因して、集
音マイク１１ａ，１１ｂに達する音の位相が異なると共
に、距離差ｄによる減衰により強度差が異なることを利
用している。
マイクにより集音された、例えば音響情報と画像処理手
段１３により選定された位置情報Ａ３，Ｂ３，Ｃ３に基
づいて音源の位置を同定するものである。音源の位置の
同定は、音響情報に関しては左右の集音マイク１１ａ，
１１ｂの音響情報の間の位相差及び強度差に基づいて行
なわれる。これは、図４に示すように、一つの音源から
の音響情報は、その音源の方向θ（θは、正面を０度と
し、左にマイナス、右にプラスとする。）に対応して、
左右の集音マイク１１ａ，１１ｂから音源までの距離が
ｄ（ｄ＝Ｄ・ｓｉｎθ）だけ異なることに起因して、集
音マイク１１ａ，１１ｂに達する音の位相が異なると共
に、距離差ｄによる減衰により強度差が異なることを利
用している。
【００２０】なお、ここでは、音源の位置が不明である
ことから、音響処理手段１４は、−９０度≦θ≦＋９０
度の全角度範囲に亘って上記処理を行なう。この場合、
処理作業の軽減のために、例えばθに関して一定間隔、
例えば５度間隔で処理を行なうようにしてもよい。
ことから、音響処理手段１４は、−９０度≦θ≦＋９０
度の全角度範囲に亘って上記処理を行なう。この場合、
処理作業の軽減のために、例えばθに関して一定間隔、
例えば５度間隔で処理を行なうようにしてもよい。
【００２１】音響処理手段１４は、先ず集音手段１１か
らの左右の音響情報に基づいて、音源の概略方向Ａ０，
Ｂ０，Ｃ０を選定する。これは、従来行なわれている音
源同定と同じであって、±１０度程度の精度である。そ
して、音響処理手段１４は、この概略方向Ａ０，Ｂ０，
Ｃ０を画像処理手段１３に出力する。
らの左右の音響情報に基づいて、音源の概略方向Ａ０，
Ｂ０，Ｃ０を選定する。これは、従来行なわれている音
源同定と同じであって、±１０度程度の精度である。そ
して、音響処理手段１４は、この概略方向Ａ０，Ｂ０，
Ｃ０を画像処理手段１３に出力する。
【００２２】さらに、音響処理手段１４は、画像処理手
段１３から入力される位置情報Ａ３，Ｂ３，Ｃ３を参照
して、これらの位置情報Ａ３，Ｂ３，Ｃ３の範囲内に絞
り込んだ状態で、即ちこれらの位置情報Ａ３，Ｂ３，Ｃ
３の近傍にて、再び音響情報に基づいて音源の位置を同
定する。
段１３から入力される位置情報Ａ３，Ｂ３，Ｃ３を参照
して、これらの位置情報Ａ３，Ｂ３，Ｃ３の範囲内に絞
り込んだ状態で、即ちこれらの位置情報Ａ３，Ｂ３，Ｃ
３の近傍にて、再び音響情報に基づいて音源の位置を同
定する。
【００２３】この場合、音響処理手段１４は、各音源
Ａ，Ｂ，Ｃに関してそれぞれ適宜の所謂方向フィルタを
選択することにより音源の位置を同定する。ここで、方
向フィルタは、図５に示すように、特定時刻ｔ０の音響
情報のみを取り出すために作成され、音源の方向に対す
る対照表として制御手段１５内の補助記憶手段（図示せ
ず）内に記憶されており、画像処理手段１３からの位置
情報Ａ３，Ｂ３，Ｃ３に基づいて、音響処理手段１４が
適宜の方向フィルタを選択して、上記補助記憶手段から
読み出す。
Ａ，Ｂ，Ｃに関してそれぞれ適宜の所謂方向フィルタを
選択することにより音源の位置を同定する。ここで、方
向フィルタは、図５に示すように、特定時刻ｔ０の音響
情報のみを取り出すために作成され、音源の方向に対す
る対照表として制御手段１５内の補助記憶手段（図示せ
ず）内に記憶されており、画像処理手段１３からの位置
情報Ａ３，Ｂ３，Ｃ３に基づいて、音響処理手段１４が
適宜の方向フィルタを選択して、上記補助記憶手段から
読み出す。
【００２４】これにより、図６に示すように一つの方向
θに関して、ある時刻ｔ１における右側の音響情報に対
して、位相差による遅延時間Δｔ後の時刻ｔ２（ｔ２＝
ｔ１＋Δｔ）における左側の音響情報を取り出すことに
より、音源から同時に発して各集音マイク１１ａ，１１
ｂにより集音された音響情報を取得する。なお、Δｔは
負の場合もあり得る。このようにして、ある程度正確な
方向情報を持った各音源Ａ，Ｂ，Ｃについて、音響処理
手段１４が方向フィルタを選択することにより、図７に
示すように、混合音からそれぞれの音響情報を得ること
ができる。なお、ここでは、音響処理手段１４は、位置
情報Ａ３，Ｂ３，Ｃ３により音源の方向がある程度絞り
込まれているので、θの全角度範囲（−９０度≦θ≦＋
９０度）について処理を行なう必要はなく、位置情報Ａ
３，Ｂ３，Ｃ３に関して所定の角度範囲で処理を行なえ
ばよい。
θに関して、ある時刻ｔ１における右側の音響情報に対
して、位相差による遅延時間Δｔ後の時刻ｔ２（ｔ２＝
ｔ１＋Δｔ）における左側の音響情報を取り出すことに
より、音源から同時に発して各集音マイク１１ａ，１１
ｂにより集音された音響情報を取得する。なお、Δｔは
負の場合もあり得る。このようにして、ある程度正確な
方向情報を持った各音源Ａ，Ｂ，Ｃについて、音響処理
手段１４が方向フィルタを選択することにより、図７に
示すように、混合音からそれぞれの音響情報を得ること
ができる。なお、ここでは、音響処理手段１４は、位置
情報Ａ３，Ｂ３，Ｃ３により音源の方向がある程度絞り
込まれているので、θの全角度範囲（−９０度≦θ≦＋
９０度）について処理を行なう必要はなく、位置情報Ａ
３，Ｂ３，Ｃ３に関して所定の角度範囲で処理を行なえ
ばよい。
【００２５】上記制御手段１５は、例えばコンピュータ
等から構成されており、上記集音手段１１，撮像手段１
２，画像処理手段１３及び音響処理手段１４を制御する
と共に、上述したように前以て設定された方向フィルタ
が補助記憶手段（図示せず）に記憶されている。
等から構成されており、上記集音手段１１，撮像手段１
２，画像処理手段１３及び音響処理手段１４を制御する
と共に、上述したように前以て設定された方向フィルタ
が補助記憶手段（図示せず）に記憶されている。
【００２６】本発明実施形態による音源同定装置１０は
以上のように構成されており、図８に示すフローチャー
トに従って、以下に説明するように動作する。即ち、図
８において、先ずステップＳＴ１にて、制御手段１５が
集音手段１１を制御することにより、集音手段１１の各
集音マイク１１ａ，１１ｂで、音源Ａ，Ｂ，Ｃからの音
を集音すると同時に、ステップＳＴ２にて、制御手段１
５が撮像手段１２を制御することにより、音源の画像を
連続的に撮像する。
以上のように構成されており、図８に示すフローチャー
トに従って、以下に説明するように動作する。即ち、図
８において、先ずステップＳＴ１にて、制御手段１５が
集音手段１１を制御することにより、集音手段１１の各
集音マイク１１ａ，１１ｂで、音源Ａ，Ｂ，Ｃからの音
を集音すると同時に、ステップＳＴ２にて、制御手段１
５が撮像手段１２を制御することにより、音源の画像を
連続的に撮像する。
【００２７】次に、ステップＳＴ３にて、制御手段１５
が音響処理手段１４を制御することにより、音響処理手
段１４が、集音手段１１じ得た二つの同じ音源の同じ音
の位相差及び強度差の音響情報に基づいて、音源の概略
方向Ａ０，Ｂ０，Ｃ０（図３（Ａ）参照）を選定する。
このとき位相差のある全ての調波構造を調べ、大体の音
源分離を行っている。なお、任意に分割した各周波数帯
域の信号の一例として調波構造を基準とした。
が音響処理手段１４を制御することにより、音響処理手
段１４が、集音手段１１じ得た二つの同じ音源の同じ音
の位相差及び強度差の音響情報に基づいて、音源の概略
方向Ａ０，Ｂ０，Ｃ０（図３（Ａ）参照）を選定する。
このとき位相差のある全ての調波構造を調べ、大体の音
源分離を行っている。なお、任意に分割した各周波数帯
域の信号の一例として調波構造を基準とした。
【００２８】続いて、ステップＳＴ４にて、制御手段１
５が画像処理手段１３を制御することにより、画像処理
手段１３が、撮像手段１２から撮像画面に基づいて音響
処理手段１４からの概略方向の範囲内で、画像の色，形
状等により音源となり得る物体に関する位置情報Ａ３，
Ｂ３，Ｃ３（図３（Ｃ）参照）を選定する。
５が画像処理手段１３を制御することにより、画像処理
手段１３が、撮像手段１２から撮像画面に基づいて音響
処理手段１４からの概略方向の範囲内で、画像の色，形
状等により音源となり得る物体に関する位置情報Ａ３，
Ｂ３，Ｃ３（図３（Ｃ）参照）を選定する。
【００２９】その後、ステップＳＴ５にて、制御手段１
５が音響処理手段１４を制御することにより、音響処理
手段１４が、集音手段からの音響情報に基づいて画像処
理手段１４からの位置情報Ａ３，Ｂ３，Ｃ３に関して所
定角度範囲内にて、音源Ａ，Ｂ，Ｃの位置を同定する。
５が音響処理手段１４を制御することにより、音響処理
手段１４が、集音手段からの音響情報に基づいて画像処
理手段１４からの位置情報Ａ３，Ｂ３，Ｃ３に関して所
定角度範囲内にて、音源Ａ，Ｂ，Ｃの位置を同定する。
【００３０】最後にステップＳＴ６にて、音響処理手段
１４が方向フィルタを選択し、同じ音源の同じ音の時間
遅れを含んだ音響情報だけを取り出す。このとき誤った
他の調波構造の音響情報は処理しないので誤差が減り、
音源分離率が上がる。
１４が方向フィルタを選択し、同じ音源の同じ音の時間
遅れを含んだ音響情報だけを取り出す。このとき誤った
他の調波構造の音響情報は処理しないので誤差が減り、
音源分離率が上がる。
【００３１】このようにして、本発明実施形態による音
源同定装置１０によれば、音響処理手段１４が、集音手
段１１からの音響情報だけでなく、撮像手段１２により
撮像された画像に基づいて、画像処理手段１３により音
源となり得る物体の位置情報Ａ３，Ｂ３，Ｃ３を参照し
ながら、音源の位置を同定するので、従来の集音手段１
１からの音響情報だけの場合には±１０度前後の精度で
あったのに対して、本発明実施形態による音源同定装置
１０によれば、より正確に音源の位置を同定することが
できる。また予め大体の音源分離をした音源情報を画像
情報から得られた方向情報を基に分離しているので、近
接する音源であっても音源同定が確実にできる。
源同定装置１０によれば、音響処理手段１４が、集音手
段１１からの音響情報だけでなく、撮像手段１２により
撮像された画像に基づいて、画像処理手段１３により音
源となり得る物体の位置情報Ａ３，Ｂ３，Ｃ３を参照し
ながら、音源の位置を同定するので、従来の集音手段１
１からの音響情報だけの場合には±１０度前後の精度で
あったのに対して、本発明実施形態による音源同定装置
１０によれば、より正確に音源の位置を同定することが
できる。また予め大体の音源分離をした音源情報を画像
情報から得られた方向情報を基に分離しているので、近
接する音源であっても音源同定が確実にできる。
【００３２】具体的には、撮像手段１２により、音源で
ある三人の話者の連続撮像を行なった場合、例えば図９
に示すような画像が得られる。なお、図９は連続撮像さ
れた画像のうち、７，５１，７８及び１５８番目のフレ
ームを示している。ここで、各話者の正確な顔の位置
は、図１０（Ａ）に示すようになっている。これにより
各話者は、θが−３０度，０度及び＋２０度付近に位置
していることが明らかである。
ある三人の話者の連続撮像を行なった場合、例えば図９
に示すような画像が得られる。なお、図９は連続撮像さ
れた画像のうち、７，５１，７８及び１５８番目のフレ
ームを示している。ここで、各話者の正確な顔の位置
は、図１０（Ａ）に示すようになっている。これにより
各話者は、θが−３０度，０度及び＋２０度付近に位置
していることが明らかである。
【００３３】これに対して、画像処理手段１３が色のみ
を基準として画像処理を行なって音源となり得る物体の
位置を選定した場合、図１０（Ｂ）のグラフに示すよう
に、撮像画面中の種々の物体をも音源となり得る物体と
して誤認しているが、色及び高さを基準として画像処理
を行なった場合には、図１０（Ｃ）のグラフに示すよう
に誤認が減少している。
を基準として画像処理を行なって音源となり得る物体の
位置を選定した場合、図１０（Ｂ）のグラフに示すよう
に、撮像画面中の種々の物体をも音源となり得る物体と
して誤認しているが、色及び高さを基準として画像処理
を行なった場合には、図１０（Ｃ）のグラフに示すよう
に誤認が減少している。
【００３４】また、画像処理手段１３が、音響処理手段
１４からの概略方向Ａ０，Ｂ０，Ｃ０を参照して、色を
基準として画像処理を行なった場合には、図１０（Ｄ）
のグラフに示すようにより一層誤認が減少している。
１４からの概略方向Ａ０，Ｂ０，Ｃ０を参照して、色を
基準として画像処理を行なった場合には、図１０（Ｄ）
のグラフに示すようにより一層誤認が減少している。
【００３５】さらに、画像処理手段１３が、音響処理手
段１４からの概略方向Ａ０，Ｂ０，Ｃ０を参照して、色
及び高さを基準として画像処理を行なった場合には、図
１０（Ｅ）のグラフに示すように、図１０（Ａ）に示し
た正確な顔の位置と比較して遜色のない、すなわち、か
なり正確な音源の位置情報が選択され得ることが明白で
ある。
段１４からの概略方向Ａ０，Ｂ０，Ｃ０を参照して、色
及び高さを基準として画像処理を行なった場合には、図
１０（Ｅ）のグラフに示すように、図１０（Ａ）に示し
た正確な顔の位置と比較して遜色のない、すなわち、か
なり正確な音源の位置情報が選択され得ることが明白で
ある。
【００３６】なお、上述した実施形態においては、画像
処理手段１３は、撮像した連続画像に基づいて、音源と
なり得る物体の枠Ａ１，Ｂ１，Ｃ１の中心位置Ａ２，Ｂ
２，Ｃ２の水平座標Ａ３，Ｂ３，Ｃ３を音源となり得る
物体に関する位置情報としているが、水平垂直座標を音
源となり得る物体に関する位置情報としてもよい。ま
た、上述した実施形態においては、画像処理手段１３
は、撮像した連続画像に基づいて、色や形状（例えば高
さ）等を基準として音源となり得る物体の位置情報を選
定するようになっている。さらに、上述した実施形態に
おいては、画像処理手段１３は音響処理手段１４からの
概略方向Ａ０，Ｂ０，Ｃ０を参考にして画像処理を行な
っているが、これに限らず、撮像手段１２からの画像情
報のみにより、音源となり得る物体の位置情報を選定す
るようにしてもよい。
処理手段１３は、撮像した連続画像に基づいて、音源と
なり得る物体の枠Ａ１，Ｂ１，Ｃ１の中心位置Ａ２，Ｂ
２，Ｃ２の水平座標Ａ３，Ｂ３，Ｃ３を音源となり得る
物体に関する位置情報としているが、水平垂直座標を音
源となり得る物体に関する位置情報としてもよい。ま
た、上述した実施形態においては、画像処理手段１３
は、撮像した連続画像に基づいて、色や形状（例えば高
さ）等を基準として音源となり得る物体の位置情報を選
定するようになっている。さらに、上述した実施形態に
おいては、画像処理手段１３は音響処理手段１４からの
概略方向Ａ０，Ｂ０，Ｃ０を参考にして画像処理を行な
っているが、これに限らず、撮像手段１２からの画像情
報のみにより、音源となり得る物体の位置情報を選定す
るようにしてもよい。
【００３７】音源の方向を検知する場合、音源のそれぞ
れに磁気を帯びた器材のアクティブバッジなどを装着
し、感知手段である磁気検知装置を用いて磁気を発する
方向を選定してもよい。これを音響処理手段にフィード
バックし、音響処理手段はこの磁気検知装置から得られ
た方向を用いて方向フィルターを作成し、音源を分離す
るようにしてもよい。さらに音源が例えば人の場合、熱
線を発しているので赤外線センサにより音源の方向を検
知するようにしてもよい。
れに磁気を帯びた器材のアクティブバッジなどを装着
し、感知手段である磁気検知装置を用いて磁気を発する
方向を選定してもよい。これを音響処理手段にフィード
バックし、音響処理手段はこの磁気検知装置から得られ
た方向を用いて方向フィルターを作成し、音源を分離す
るようにしてもよい。さらに音源が例えば人の場合、熱
線を発しているので赤外線センサにより音源の方向を検
知するようにしてもよい。
【００３８】
【発明の効果】以上述べたように、この発明によれば、
音響情報に基づいて音源を同定する際に、画像情報と方
向検知情報とに基づいて、音源となり得る物体に関する
位置情報を参考にして音源の方向を絞り込んでいるの
で、音源の同定に関して全方向に関する音響情報の処理
が不要となり、より正確な音源の同定を行なうことがで
きると共に、処理情報量が少なくて済み、処理時間を短
縮することができる。これにより、この発明によれば、
二本のマイクロフォンで高精度で複数の音源を同定し得
るようにした極めて優れた音源同定装置及び方法が提供
される。
音響情報に基づいて音源を同定する際に、画像情報と方
向検知情報とに基づいて、音源となり得る物体に関する
位置情報を参考にして音源の方向を絞り込んでいるの
で、音源の同定に関して全方向に関する音響情報の処理
が不要となり、より正確な音源の同定を行なうことがで
きると共に、処理情報量が少なくて済み、処理時間を短
縮することができる。これにより、この発明によれば、
二本のマイクロフォンで高精度で複数の音源を同定し得
るようにした極めて優れた音源同定装置及び方法が提供
される。
【図１】この発明による音源同定装置の一実施形態の構
成を示す概略図である。
成を示す概略図である。
【図２】図１の音源同定装置における撮像手段による撮
像画面の一例を示す概略図である。
像画面の一例を示す概略図である。
【図３】図１の音源同定装置における撮像画面に対する
説明図であり、（Ａ）は音響処理手段による概略方向Ａ
０，Ｂ０，Ｃ０を、また、（Ｂ）は画像処理手段による
枠Ａ１，Ｂ１，Ｃ１を、さらに、（Ｃ）は画像処理手段
による音源となり得る物体の位置情報Ａ３，Ｂ３，Ｃ３
を、それぞれ示している。
説明図であり、（Ａ）は音響処理手段による概略方向Ａ
０，Ｂ０，Ｃ０を、また、（Ｂ）は画像処理手段による
枠Ａ１，Ｂ１，Ｃ１を、さらに、（Ｃ）は画像処理手段
による音源となり得る物体の位置情報Ａ３，Ｂ３，Ｃ３
を、それぞれ示している。
【図４】図１の音源同定装置における集音手段の二つの
集音マイクと音源との距離差を示す説明図である。
集音マイクと音源との距離差を示す説明図である。
【図５】図１の音源同定装置における音響処理手段での
方向フィルタの作用を示すグラフである。
方向フィルタの作用を示すグラフである。
【図６】図１の音源同定装置における音響処理手段での
同一音源からの二つの音響情報の取出しを示すグラフで
ある。
同一音源からの二つの音響情報の取出しを示すグラフで
ある。
【図７】図１の音源同定装置における音響処理手段での
方向フィルタによる各音源からの音響情報の取出しを示
す説明図である。
方向フィルタによる各音源からの音響情報の取出しを示
す説明図である。
【図８】図１の音源同定装置における動作方法を示すフ
ローチャートである。
ローチャートである。
【図９】図１の音源同定装置における撮像手段による連
続撮像画面の一部を示す図である。
続撮像画面の一部を示す図である。
【図１０】図１の音源同定装置における画像処理手段に
よる種々の基準での音源となり得る物体の位置情報を示
すグラフである。
よる種々の基準での音源となり得る物体の位置情報を示
すグラフである。
１０ 音源同定装置 １１ 集音手段 １１ａ，１１ｂ 集音マイク １２ 撮像手段 １３ 画像処理手段 １４ 音響処理手段 １５ 制御手段
フロントページの続き Ｆターム(参考） 5D015 DD02 LL07 5J083 AA05 AB20 AC29 AD02 AD18 AE07 AF01 AG05 BE17 BE53 CA07 CA10
Claims (15)
- 【請求項１】 複数の音源に対して所定間隔に配置した
二つの集音マイクで音を取り込んで処理する集音手段
と、 上記複数の音源となり得る物体を連続撮像する撮像手段
及び物体を検知する感知手段のいずれか、或いは両方
と、 上記撮像手段により撮像された画像及び上記感知手段に
より検知した物体の方向情報のいずれか、或いは両方か
ら、音源となり得る物体に関する位置情報を選定する画
像処理手段と、 集音手段により集音された音響情報と画像処理手段によ
り選定された位置情報に基づいて、音源の位置を同定す
る音響処理手段と、 上記集音手段，撮像手段，感知手段，画像処理手段及び
音響処理手段を制御する制御手段とを備える、音源同定
装置。 - 【請求項２】 前記音響処理手段が特定時刻の音響情報
だけを取り出す方向フィルタを備えていることを特徴と
する、請求項１に記載の音源同定装置。 - 【請求項３】 前記音響処理手段が前記音源となり得る
物体の概略位置情報を選定する機能を有していることを
特徴とする、請求項１又は２に記載の音源同定装置。 - 【請求項４】 前記感知手段が前記音源となり得る物体
の磁気に基づいて検知することを特徴とする、請求項１
〜３のいずれかに記載の音源同定装置。 - 【請求項５】 前記感知手段が前記音源となり得る物体
の赤外線に基づいて検知することを特徴とする、請求項
１〜３のいずれかに記載の音源同定装置。 - 【請求項６】 前記音源となり得る物体に磁気を帯びた
器材を設けたことを特徴とする、請求項１〜３のいずれ
かに記載の音源同定装置。 - 【請求項７】 複数の音源に対して所定間隔に配置した
二つの集音マイクで音を取り込んで処理する集音手段に
より集音する第一の段階と、 第一の段階と同時に、上記複数の音源となり得る物体の
連続撮像及び方向検知のいずれか、或いは両方を行なう
第二の段階と、 第二の段階で撮像された画像及び方向検知のいずれか、
或いは両方から、音源となり得る物体に関する位置情報
を選定する第三の段階と、 第一の段階により集音された音響情報及び第三の段階で
選定された位置情報に基づいて、音源の位置を同定する
第四の段階と、 を含んでいることを特徴とする、音源同定方法。 - 【請求項８】 前記第一の段階により集音された音響情
報のみに基づいて、音源の位置情報を概略的に選定する
第五の段階を含んでおり、 前記第三の段階が、この第五の段階により選定された概
略位置情報に基づいて、前以て音源の方向を絞り込んで
音源となり得る物体に関する位置情報を選定することを
特徴とする、請求項７に記載の音源同定方法。 - 【請求項９】 前記第五の段階が、前記二つの集音マイ
クにより取得された音響情報の位相差及び強度差によ
り、音源の方向を概略的に選定することを特徴とする、
請求項８に記載の音源同定方法。 - 【請求項１０】 前記第三の段階における音源となり得
る物体に関する位置情報が、色及び形状のいずれか、或
いは両方を基準として選定されることを特徴とする、請
求項７〜９の何れかに記載の音源同定方法。 - 【請求項１１】 前記第四の段階が、前記第三の段階で
選定された位置情報に基づいて、前以て設定された方向
フィルタを選択することにより、各音源からの音響情報
を取り出して、各音源の位置を同定することを特徴とす
る、請求項７に記載の音源同定方法。 - 【請求項１２】 前記第四の段階または第五の段階が、
前記第一の段階により得られた音響情報に基づいて、任
意に分割した各周波数帯域の信号を基準として、音源の
位置を選定することを特徴とする、請求項７〜１１の何
れかに記載の音源同定方法。 - 【請求項１３】 前記音源となり得る物体に関する位置
情報を物体の動きを基準として選定していることを特徴
とする、請求項７〜９，１１，１２のいずれかに記載の
音源同定方法。 - 【請求項１４】 前記方向検知を磁気に基づいて検知す
ることを特徴とする、請求項７〜１３のいずれかに記載
の音源同定方法。 - 【請求項１５】 前記方向検知を赤外線に基づいて検知
することを特徴とする、請求項７〜１３のいずれかに記
載の音源同定方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16518299A JP3195920B2 (ja) | 1999-06-11 | 1999-06-11 | 音源同定・分離装置及びその方法 |
| EP00935570A EP1205762B1 (en) | 1999-06-11 | 2000-06-07 | Method and apparatus for determining sound source |
| US09/926,673 US7035418B1 (en) | 1999-06-11 | 2000-06-07 | Method and apparatus for determining sound source |
| ES00935570T ES2292441T3 (es) | 1999-06-11 | 2000-06-07 | Metodo y aparato para determinar una fuente de sonido. |
| PCT/JP2000/003695 WO2000077537A1 (fr) | 1999-06-11 | 2000-06-07 | Procede et appareil de determination d'une source sonore |
| DE60036216T DE60036216T2 (de) | 1999-06-11 | 2000-06-07 | Verfahren und gerät zur bestimmung einer tonquelle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16518299A JP3195920B2 (ja) | 1999-06-11 | 1999-06-11 | 音源同定・分離装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000356674A true JP2000356674A (ja) | 2000-12-26 |
| JP3195920B2 JP3195920B2 (ja) | 2001-08-06 |
Family
ID=15807412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16518299A Expired - Fee Related JP3195920B2 (ja) | 1999-06-11 | 1999-06-11 | 音源同定・分離装置及びその方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7035418B1 (ja) |
| EP (1) | EP1205762B1 (ja) |
| JP (1) | JP3195920B2 (ja) |
| DE (1) | DE60036216T2 (ja) |
| ES (1) | ES2292441T3 (ja) |
| WO (1) | WO2000077537A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006245725A (ja) * | 2005-03-01 | 2006-09-14 | Yamaha Corp | マイクロフォンシステム |
| JP2008145574A (ja) * | 2006-12-07 | 2008-06-26 | Nec Access Technica Ltd | 音源方向推定装置、音源方向推定方法、及びロボット装置 |
| CN103902963A (zh) * | 2012-12-28 | 2014-07-02 | 联想(北京)有限公司 | 一种识别方位及身份的方法和电子设备 |
| JP2015159458A (ja) * | 2014-02-25 | 2015-09-03 | 株式会社熊谷組 | 音源推定用画像の作成装置 |
| CN105388478A (zh) * | 2014-09-03 | 2016-03-09 | 计算机科学应用促进会 | 用于检测声学和光学信息的方法和装置、以及对应的计算机程序和对应的计算机可读存储介质 |
| WO2019142232A1 (ja) * | 2018-01-16 | 2019-07-25 | ハイラブル株式会社 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE517765C2 (sv) * | 2000-11-16 | 2002-07-16 | Ericsson Telefon Ab L M | Registrering av rörliga bilder medelst en portabel kommunikationsenhet samt en tillbehörsanordning vilken är samlokaliserad med objektet |
| JP2004266343A (ja) * | 2003-02-05 | 2004-09-24 | Matsushita Electric Ind Co Ltd | 画像サーバーと画像サーバーシステム、そのプログラム及び記録媒体 |
| JP3925734B2 (ja) * | 2003-03-17 | 2007-06-06 | 財団法人名古屋産業科学研究所 | 対象音検出方法、信号入力遅延時間検出方法及び音信号処理装置 |
| JP4269883B2 (ja) * | 2003-10-20 | 2009-05-27 | ソニー株式会社 | マイクロホン装置、再生装置及び撮像装置 |
| JP4516527B2 (ja) * | 2003-11-12 | 2010-08-04 | 本田技研工業株式会社 | 音声認識装置 |
| GB0330253D0 (en) | 2003-12-31 | 2004-02-04 | Mitel Networks Corp | Self-discovery method |
| JP4441879B2 (ja) * | 2005-06-28 | 2010-03-31 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
| IL188156A0 (en) * | 2007-12-16 | 2008-11-03 | Maly Edelman | A method and system for protecting an area |
| US20100098258A1 (en) * | 2008-10-22 | 2010-04-22 | Karl Ola Thorn | System and method for generating multichannel audio with a portable electronic device |
| US20100123785A1 (en) * | 2008-11-17 | 2010-05-20 | Apple Inc. | Graphic Control for Directional Audio Input |
| CN107071688B (zh) * | 2009-06-23 | 2019-08-23 | 诺基亚技术有限公司 | 用于处理音频信号的方法及装置 |
| TWI402531B (zh) * | 2009-06-29 | 2013-07-21 | Univ Nat Cheng Kung | 音源辨位方法與應用此音源辨位方法之音源辨位系統和電腦程式產品 |
| US9094645B2 (en) * | 2009-07-17 | 2015-07-28 | Lg Electronics Inc. | Method for processing sound source in terminal and terminal using the same |
| TWI417563B (zh) * | 2009-11-20 | 2013-12-01 | Univ Nat Cheng Kung | 遠距離音源定位晶片裝置及其方法 |
| US9955209B2 (en) | 2010-04-14 | 2018-04-24 | Alcatel-Lucent Usa Inc. | Immersive viewer, a method of providing scenes on a display and an immersive viewing system |
| US9294716B2 (en) | 2010-04-30 | 2016-03-22 | Alcatel Lucent | Method and system for controlling an imaging system |
| US8754925B2 (en) * | 2010-09-30 | 2014-06-17 | Alcatel Lucent | Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal |
| US8185387B1 (en) * | 2011-11-14 | 2012-05-22 | Google Inc. | Automatic gain control |
| US9008487B2 (en) | 2011-12-06 | 2015-04-14 | Alcatel Lucent | Spatial bookmarking |
| JP6216169B2 (ja) * | 2012-09-26 | 2017-10-18 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| JP2014143678A (ja) * | 2012-12-27 | 2014-08-07 | Panasonic Corp | 音声処理システム及び音声処理方法 |
| KR101997449B1 (ko) * | 2013-01-29 | 2019-07-09 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
| EP2879047A3 (en) * | 2013-11-28 | 2015-12-16 | LG Electronics Inc. | Mobile terminal and controlling method thereof |
| CN104683933A (zh) | 2013-11-29 | 2015-06-03 | 杜比实验室特许公司 | 音频对象提取 |
| CN104914409B (zh) * | 2014-03-10 | 2017-11-07 | 李文嵩 | 智能住宅定位装置 |
| CN105070304B (zh) * | 2015-08-11 | 2018-09-04 | 小米科技有限责任公司 | 实现对象音频录音的方法及装置、电子设备 |
| CN109696658B (zh) | 2017-10-23 | 2021-08-24 | 京东方科技集团股份有限公司 | 采集设备、声音采集方法、声源跟踪系统及其方法 |
| CN114339113A (zh) * | 2021-12-01 | 2022-04-12 | 科大讯飞股份有限公司 | 视频通话方法及相关装置、设备和存储介质 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3232608B2 (ja) * | 1991-11-25 | 2001-11-26 | ソニー株式会社 | 収音装置、再生装置、収音方法および再生方法、および、音信号処理装置 |
| JPH05244587A (ja) | 1992-02-26 | 1993-09-21 | Mitsubishi Electric Corp | テレビ会議用カメラ制御装置 |
| US5402499A (en) * | 1992-08-07 | 1995-03-28 | Lsi Logic Corporation | Multimedia controller |
| JPH06105306A (ja) * | 1992-09-16 | 1994-04-15 | Funai Denki Kenkyusho:Kk | テレビ会議システム |
| JPH0739000A (ja) * | 1992-12-05 | 1995-02-07 | Kazumoto Suzuki | 任意の方向からの音波の選択的抽出法 |
| JP2937009B2 (ja) * | 1994-03-30 | 1999-08-23 | ヤマハ株式会社 | 音像定位制御装置 |
| CA2148631C (en) | 1994-06-20 | 2000-06-13 | John J. Hildin | Voice-following video system |
| JP3714706B2 (ja) | 1995-02-17 | 2005-11-09 | 株式会社竹中工務店 | 音抽出装置 |
| JP2947113B2 (ja) | 1995-03-09 | 1999-09-13 | 日本電気株式会社 | 画像通信端末用ユーザインタフェース装置 |
| JPH0933330A (ja) | 1995-07-17 | 1997-02-07 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号分離方法およびこの方法を実施する装置 |
| GB2309105A (en) * | 1996-01-12 | 1997-07-16 | Ibm | Intuitive GUI in the form of a representation of a physical environment |
| AUPN988996A0 (en) * | 1996-05-16 | 1996-06-06 | Unisearch Limited | Compression and coding of audio-visual services |
| JP3537962B2 (ja) * | 1996-08-05 | 2004-06-14 | 株式会社東芝 | 音声収集装置及び音声収集方法 |
| WO1998010358A1 (en) * | 1996-09-04 | 1998-03-12 | Goldberg David A | Method and system for obtaining person-specific images in a public venue |
| JP3355598B2 (ja) | 1996-09-18 | 2002-12-09 | 日本電信電話株式会社 | 音源分離方法、装置及び記録媒体 |
| US6021206A (en) * | 1996-10-02 | 2000-02-01 | Lake Dsp Pty Ltd | Methods and apparatus for processing spatialised audio |
| TW379309B (en) * | 1997-05-16 | 2000-01-11 | Samsung Electronics Co Ltd | Signal management apparatus and method using on screen display |
| US6072522A (en) * | 1997-06-04 | 2000-06-06 | Cgc Designs | Video conferencing apparatus for group video conferencing |
| JP3541339B2 (ja) * | 1997-06-26 | 2004-07-07 | 富士通株式会社 | マイクロホンアレイ装置 |
| JPH1141577A (ja) | 1997-07-18 | 1999-02-12 | Fujitsu Ltd | 話者位置検出装置 |
| US6192134B1 (en) * | 1997-11-20 | 2001-02-20 | Conexant Systems, Inc. | System and method for a monolithic directional microphone array |
| US5940118A (en) * | 1997-12-22 | 1999-08-17 | Nortel Networks Corporation | System and method for steering directional microphones |
| US6005610A (en) * | 1998-01-23 | 1999-12-21 | Lucent Technologies Inc. | Audio-visual object localization and tracking system and method therefor |
| US6311155B1 (en) * | 2000-02-04 | 2001-10-30 | Hearing Enhancement Company Llc | Use of voice-to-remaining audio (VRA) in consumer applications |
-
1999
- 1999-06-11 JP JP16518299A patent/JP3195920B2/ja not_active Expired - Fee Related
-
2000
- 2000-06-07 DE DE60036216T patent/DE60036216T2/de not_active Expired - Lifetime
- 2000-06-07 WO PCT/JP2000/003695 patent/WO2000077537A1/ja active IP Right Grant
- 2000-06-07 EP EP00935570A patent/EP1205762B1/en not_active Expired - Lifetime
- 2000-06-07 US US09/926,673 patent/US7035418B1/en not_active Expired - Lifetime
- 2000-06-07 ES ES00935570T patent/ES2292441T3/es not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006245725A (ja) * | 2005-03-01 | 2006-09-14 | Yamaha Corp | マイクロフォンシステム |
| JP2008145574A (ja) * | 2006-12-07 | 2008-06-26 | Nec Access Technica Ltd | 音源方向推定装置、音源方向推定方法、及びロボット装置 |
| CN103902963A (zh) * | 2012-12-28 | 2014-07-02 | 联想(北京)有限公司 | 一种识别方位及身份的方法和电子设备 |
| CN103902963B (zh) * | 2012-12-28 | 2017-06-20 | 联想(北京)有限公司 | 一种识别方位及身份的方法和电子设备 |
| JP2015159458A (ja) * | 2014-02-25 | 2015-09-03 | 株式会社熊谷組 | 音源推定用画像の作成装置 |
| CN105388478A (zh) * | 2014-09-03 | 2016-03-09 | 计算机科学应用促进会 | 用于检测声学和光学信息的方法和装置、以及对应的计算机程序和对应的计算机可读存储介质 |
| CN105388478B (zh) * | 2014-09-03 | 2019-10-18 | 计算机科学应用促进会 | 用于检测声学和光学信息的方法和装置、以及对应的计算机可读存储介质 |
| WO2019142232A1 (ja) * | 2018-01-16 | 2019-07-25 | ハイラブル株式会社 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1205762B1 (en) | 2007-08-29 |
| JP3195920B2 (ja) | 2001-08-06 |
| DE60036216T2 (de) | 2008-05-15 |
| EP1205762A4 (en) | 2005-07-06 |
| EP1205762A1 (en) | 2002-05-15 |
| US7035418B1 (en) | 2006-04-25 |
| DE60036216D1 (de) | 2007-10-11 |
| WO2000077537A1 (fr) | 2000-12-21 |
| ES2292441T3 (es) | 2008-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3195920B2 (ja) | 音源同定・分離装置及びその方法 | |
| US9749738B1 (en) | Synthesizing audio corresponding to a virtual microphone location | |
| US9084038B2 (en) | Method of controlling audio recording and electronic device | |
| WO2016183791A1 (zh) | 一种语音信号处理方法及装置 | |
| US20170366896A1 (en) | Associating Audio with Three-Dimensional Objects in Videos | |
| KR100931418B1 (ko) | 발성 내용 인식 장치 및 발성 내용 인식 방법 | |
| US20150116501A1 (en) | System and method for tracking objects | |
| CN105474666B (zh) | 声音处理系统及声音处理方法 | |
| US20060104454A1 (en) | Method for selectively picking up a sound signal | |
| US11258940B2 (en) | Imaging apparatus | |
| US20140086551A1 (en) | Information processing apparatus and information processing method | |
| CN105554443A (zh) | 视频图像中异响来源的定位方法及装置 | |
| JPH06351015A (ja) | テレビジョン会議システム用の撮像システム | |
| CN105474665A (zh) | 声音处理装置、声音处理系统及声音处理方法 | |
| KR101542647B1 (ko) | 화자 검출을 이용한 오디오 신호 처리 방법 및 장치 | |
| JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
| JP2001067098A (ja) | 人物検出方法と人物検出機能搭載装置 | |
| CN116095254B (zh) | 音频处理方法和装置 | |
| Zotkin et al. | An audio-video front-end for multimedia applications | |
| JP2621285B2 (ja) | フォーカス制御回路 | |
| JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
| CN114586374A (zh) | 拾音装置以及拾音方法 | |
| JP2003078818A (ja) | テロップ装置 | |
| JPH11341592A (ja) | 撮像装置に同調する録音装置 | |
| US11445106B2 (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3195920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080601 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090601 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100601 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 11 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |