JP2011220701A - 音源定位装置及びコンピュータプログラム - Google Patents
音源定位装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2011220701A JP2011220701A JP2010086705A JP2010086705A JP2011220701A JP 2011220701 A JP2011220701 A JP 2011220701A JP 2010086705 A JP2010086705 A JP 2010086705A JP 2010086705 A JP2010086705 A JP 2010086705A JP 2011220701 A JP2011220701 A JP 2011220701A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- music
- power
- tracking
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004807 localization Effects 0.000 title claims abstract description 61
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims abstract description 59
- 230000008034 disappearance Effects 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 57
- 230000004044 response Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 50
- 238000009499 grossing Methods 0.000 claims description 17
- 230000008033 biological extinction Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 51
- 230000008569 process Effects 0.000 description 25
- 238000001228 spectrum Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 20
- 239000013598 vector Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000000354 decomposition reaction Methods 0.000 description 10
- 238000003780 insertion Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 8
- 238000009432 framing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 208000001992 Autosomal Dominant Optic Atrophy Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010011906 Death Diseases 0.000 description 1
- 108700025474 F 372 Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010376 orofacial cleft 2 Diseases 0.000 description 1
- 208000010486 orofacial cleft 3 Diseases 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
【解決手段】音源定位装置50は、マイクロホンアレイ52の出力から得られる複数チャンネルの音源信号の各々と、マイクロホンアレイ52に含まれる各マイクロホンの間の位置関係とに基づいて、3次元空間内で定義された複数の方位の各々について、MUSICアルゴリズムにより、所定時間ごとにMUSICパワーを算出するMUSIC処理部62と、複数の方位の各々について、MUSIC処理部62により時系列として得られたMUSICパワーの値の強度及びその変化量に基づいて、音源の発生から消滅までの音源の方位の変化を検出する音源推定部64とを含む。
【選択図】図3
Description
本実施の形態では、ロボットの頭部付近にマイクロホンアレイを配置し、これらマイクロホンアレイから得られた信号からリアルタイムで複数個の音源を定位し、それらのトラッキングを行なう。そのために、以下に説明する実施の形態の音源定位装置は、音源数を固定したMUSICアルゴリズムによりMUSIC空間スペクトルを算出し、得られたMUSIC空間スペクトルを直接に用いて音源数とその位置とを動的に推定する仕組みを採用する。
図1に、マイクロホンアレイをロボット30の胸部にフィットさせた状態を示す。具体的には、ロボット30の首の周囲にマイクロホンをフィットさせるためのマイクロホン台32を作成し、複数のマイクロホンMC1等をこのマイクロホン台32に固定した後にマイクロホン台32をロボット30の首の周りに固定してある。
上記した音源定位処理部50は、実際にはコンピュータハードウェアと、当該コンピュータハードウェアにより実行されるコンピュータプログラムとにより、ハードウェアとソフトウェアとの協働により実現される。以下、音源定位処理部50の中でも、本実施の形態の特徴となる音源推定部64の機能を実現するためのコンピュータプログラムの制御構造について説明する。
上記実施の形態に係る音源定位処理部50は以下のように動作する。マイクロホンアレイが図1及び図2に示すようにマイクロホン台32を用いてロボット30に装着されるものとする。
[コンピュータによる実現]
この実施の形態に係る音源定位処理部50は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現することができる。図11はこのコンピュータシステム330の内部構成を示す。
M個のマイク入力のフーリエ変換Xm(k、t)は、式(1)のようにモデル化される。
32 マイクロホン台
50 音源定位処理部
52 マイクロホンアレイ
60 固有ベクトル算出部
62 MUSIC処理部
64 音源推定部
86 相関行列算出部
88 固有値分解部
104 MUSIC空間スペクトル算出部
106 MUSIC応答算出部
110 平滑化フィルタ部
112 MUSICΔスペクトログラム算出部
114 オンセット・オフセット検出部
118 トラッキング部
Claims (9)
- マイクロホンアレイの出力から得られる複数チャンネルの音源信号の各々と、前記マイクロホンアレイに含まれる各マイクロホンの間の位置関係とに基づいて、前記マイクロホンアレイの位置に関連して定められる点を中心とする3次元空間内で定義された複数の方位の各々について、MUSICアルゴリズムにより、所定時間ごとにMUSICパワーを算出するためのMUSIC応答算出手段と、
前記複数の方位の各々について、前記MUSIC応答算出手段により時系列として得られたMUSICパワーの値の強度及びその変化量に基づいて、音源の発生から消滅までの音源の方位の変化を検出するための音源推定手段とを含む、音源定位装置。 - 前記音源推定手段は、
前記複数の方位の各々に対して、前記複数の方位の内で、処理対象となっている方位に隣接する方位の各々に関して直前に前記MUSIC応答算出手段により算出されたMUSICパワーの値と、当該処理対象となっている方位に関して得られた最新のMUSICパワーの値との差を算出し、その差のうちで所定の条件を充足する値を当該方位についてのMUSICΔパワーとして出力するためのMUSICΔパワー算出手段と、
前記複数の方位の各々に対して、当該方位について前記MUSIC応答算出手段により算出されたMUSICパワーの値と、当該方位について前記MUSICΔパワー算出手段により出力されたMUSICΔパワーとに基づいて、音源の発生があったか否かを検出し、音源の発生の検出に応答して、音源発生を示す情報とその方位を示す情報とを出力するためのオンセット検出手段と、
前記オンセット検出手段により音源の発生が検出されたことに応答して、前記オンセット検出手段により発生が検出された音源の方位を、前記MUSIC応答算出手段により当該音源の方位に隣接する方位の各々について算出されたMUSICパワーの値と、当該音源の方位に隣接する方位の各々について前記MUSICΔパワー算出手段により出力されたMUSICΔパワーとに基づいて、当該音源の消滅までトラッキングするためのトラッキング手段とを含む、請求項1に記載の音源定位装置。 - さらに、前記MUSIC応答算出手段により出力されたMUSICパワーの移動平均を前記複数の方位の各々に対して算出して平滑化するための平滑化手段を含み、
前記MUSICΔパワー算出手段と、前記トラッキング手段はいずれも前記平滑化手段により平滑化されたMUSICパワーを入力として受ける、請求項2に記載の音源定位装置。 - 前記オンセット検出手段は、
前記複数の方位の各々に対して、前記MUSICΔパワー算出手段により算出されたMUSICΔパワーの値が第1のオンセット用しきい値より大きく、かつ前記MUSIC応答算出手段により算出されたMUSICパワーの値が第2のオンセット用しきい値より大きいか否かを判定するための第1の判定手段と、
前記第1の判定手段による判定結果に基づいて、音源の発生を検出するための第2の判定手段とを含む、請求項2又は請求項3に記載の音源定位装置。 - 前記第2の判定手段は、
前記第1の判定手段による判定結果が肯定であった方位のうち、当該方位について算出されているMUSICパワーの上位から限定された一定個数のみを、検出された音源として特定するための音源限定手段を含む、請求項4に記載の音源定位装置。 - 前記トラッキング手段は、
前記オンセット検出手段により音源の発生が検出されたことに応答して、当該検出以後、前記所定時間ごとに前記MUSIC応答算出手段により出力されるMUSIC応答のうちで、音源の方位に隣接する方位について算出されるMUSICパワーの値の最大値を辿ることにより、発生が検出された音源の移動をトラッキングするための手段と、
前記トラッキングするための手段によりトラッキングされた音源の方位について算出されたMUSICパワー及びMUSICΔパワーが所定の条件を充足したときに、当該音源の消滅を検出し、前記トラッキングするための手段によるトラッキングを中止させるための音源消滅検出手段とを含む、請求項2〜請求項5のいずれかに記載の音源定位装置。 - 前記音源消滅検出手段は、
前記トラッキングするための手段によりトラッキングされた音源の方位について算出されたMUSICΔパワーが第1のオフセット用しきい値より小か否かを判定するための第1のオフセット判定手段と、
当該方位について算出されたMUSICパワーが当該音源の発生時のMUSICパワーよりある正の定数だけ大きな第2のオフセット用定数より大きいか否かを判定するための第2のオフセット判定手段と、
前記第1及び第2のオフセット判定手段の判定結果のいずれかが肯定であるという結果が、前記MUSIC応答算出手段により所定時間ごとに算出されたMUSIC応答について所定回数だけ連続して得られたときに、前記トラッキングするための手段によりトラッキングされている音源が消滅したと判定し、トラッキングを中止させるための手段とを含む、請求項6に記載の音源定位装置。 - 前記所定回数は複数回である、請求項7に記載の音源定位装置。
- コンピュータにより実行されると、当該コンピュータを、請求項1−請求項8のいずれかに記載の各手段として機能させる、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010086705A JP5660362B2 (ja) | 2010-04-05 | 2010-04-05 | 音源定位装置及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010086705A JP5660362B2 (ja) | 2010-04-05 | 2010-04-05 | 音源定位装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011220701A true JP2011220701A (ja) | 2011-11-04 |
JP5660362B2 JP5660362B2 (ja) | 2015-01-28 |
Family
ID=45037893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010086705A Active JP5660362B2 (ja) | 2010-04-05 | 2010-04-05 | 音源定位装置及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5660362B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012211768A (ja) * | 2011-03-30 | 2012-11-01 | Advanced Telecommunication Research Institute International | 音源定位装置 |
JP2014049854A (ja) * | 2012-08-30 | 2014-03-17 | Honda Motor Co Ltd | 人工可動耳装置および音源方向を特定する方法 |
JP2014098568A (ja) * | 2012-11-13 | 2014-05-29 | Advanced Telecommunication Research Institute International | 音源位置推定装置、音源位置推定方法および音源位置推定プログラム |
JP2017092732A (ja) * | 2015-11-11 | 2017-05-25 | 株式会社国際電気通信基礎技術研究所 | 聴覚支援システムおよび聴覚支援装置 |
CN107864105A (zh) * | 2017-12-01 | 2018-03-30 | 天津大学 | 改进的music算法散射簇模型信道参数估计方法 |
JP2018151306A (ja) * | 2017-03-14 | 2018-09-27 | 大成建設株式会社 | 音源探査装置およびマイクロホンアレイ |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236599A (ja) * | 2000-02-23 | 2001-08-31 | Toyota Motor Corp | 移動体接近状況判別装置、携帯電話端末、移動体動作制御装置、電波発信装置及び移動体接近状況判別方法 |
JP2002257926A (ja) * | 2001-03-05 | 2002-09-11 | Murata Mfg Co Ltd | レーダ |
JP2004205310A (ja) * | 2002-12-25 | 2004-07-22 | Mitsubishi Electric Corp | パッシブレーダ装置 |
JP2005043194A (ja) * | 2003-07-28 | 2005-02-17 | Toshiba Corp | 測角装置および測角方法 |
JP2006329771A (ja) * | 2005-05-25 | 2006-12-07 | Mitsubishi Electric Corp | センサ信号処理システム |
JP2008026035A (ja) * | 2006-07-18 | 2008-02-07 | Murata Mfg Co Ltd | レーダ |
JP2008117209A (ja) * | 2006-11-06 | 2008-05-22 | Toshiba Corp | 料金収受処理システム |
JP2008175733A (ja) * | 2007-01-19 | 2008-07-31 | Fujitsu Ltd | 音声到来方向推定・ビームフォーミングシステム、移動装置及び音声到来方向推定・ビームフォーミング方法 |
-
2010
- 2010-04-05 JP JP2010086705A patent/JP5660362B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236599A (ja) * | 2000-02-23 | 2001-08-31 | Toyota Motor Corp | 移動体接近状況判別装置、携帯電話端末、移動体動作制御装置、電波発信装置及び移動体接近状況判別方法 |
JP2002257926A (ja) * | 2001-03-05 | 2002-09-11 | Murata Mfg Co Ltd | レーダ |
JP2004205310A (ja) * | 2002-12-25 | 2004-07-22 | Mitsubishi Electric Corp | パッシブレーダ装置 |
JP2005043194A (ja) * | 2003-07-28 | 2005-02-17 | Toshiba Corp | 測角装置および測角方法 |
JP2006329771A (ja) * | 2005-05-25 | 2006-12-07 | Mitsubishi Electric Corp | センサ信号処理システム |
JP2008026035A (ja) * | 2006-07-18 | 2008-02-07 | Murata Mfg Co Ltd | レーダ |
JP2008117209A (ja) * | 2006-11-06 | 2008-05-22 | Toshiba Corp | 料金収受処理システム |
JP2008175733A (ja) * | 2007-01-19 | 2008-07-31 | Fujitsu Ltd | 音声到来方向推定・ビームフォーミングシステム、移動装置及び音声到来方向推定・ビームフォーミング方法 |
Non-Patent Citations (2)
Title |
---|
CARLOS T. ISHII, OLIVIER CHATOT, HIROSHI ISHIGURO, NORIHIRO HAGITA: "Evaluation of a MUSIC-based real-time sound localization of multiple sound sources in real noisy env", THE 2009 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, JPN6013054137, October 2009 (2009-10-01), US, pages 2027 - 2032, XP031580669, ISSN: 0002670978 * |
永田仁史,岩崎聡,針山孝彦,堀口弘子,藤岡豊太,安倍正人: "2チャネルMUSIC法における複数音源方向の逐次推定", 電子情報通信学会論文誌A, vol. 92, no. 11, JPN6013054136, 1 November 2009 (2009-11-01), JP, pages 864 - 873, ISSN: 0002670977 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012211768A (ja) * | 2011-03-30 | 2012-11-01 | Advanced Telecommunication Research Institute International | 音源定位装置 |
JP2014049854A (ja) * | 2012-08-30 | 2014-03-17 | Honda Motor Co Ltd | 人工可動耳装置および音源方向を特定する方法 |
JP2014098568A (ja) * | 2012-11-13 | 2014-05-29 | Advanced Telecommunication Research Institute International | 音源位置推定装置、音源位置推定方法および音源位置推定プログラム |
JP2017092732A (ja) * | 2015-11-11 | 2017-05-25 | 株式会社国際電気通信基礎技術研究所 | 聴覚支援システムおよび聴覚支援装置 |
JP2018151306A (ja) * | 2017-03-14 | 2018-09-27 | 大成建設株式会社 | 音源探査装置およびマイクロホンアレイ |
CN107864105A (zh) * | 2017-12-01 | 2018-03-30 | 天津大学 | 改进的music算法散射簇模型信道参数估计方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5660362B2 (ja) | 2015-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ishi et al. | Evaluation of a MUSIC-based real-time sound localization of multiple sound sources in real noisy environments | |
US9984702B2 (en) | Extraction of reverberant sound using microphone arrays | |
US9633651B2 (en) | Apparatus and method for providing an informed multichannel speech presence probability estimation | |
JP6636633B2 (ja) | 音響信号を向上させるための音響信号処理装置および方法 | |
JP5814476B2 (ja) | 空間パワー密度に基づくマイクロフォン位置決め装置および方法 | |
US8897455B2 (en) | Microphone array subset selection for robust noise reduction | |
JP5660362B2 (ja) | 音源定位装置及びコンピュータプログラム | |
Brutti et al. | Multiple source localization based on acoustic map de-emphasis | |
EP3566462B1 (en) | Audio capture using beamforming | |
US20170140771A1 (en) | Information processing apparatus, information processing method, and computer program product | |
EP3566461B1 (en) | Method and apparatus for audio capture using beamforming | |
JP4910568B2 (ja) | 紙擦れ音除去装置 | |
JP2013535915A (ja) | 多重マイク位置選択性処理用のシステム、方法、装置、およびコンピュータ可読媒体 | |
US9241223B2 (en) | Directional filtering of audible signals | |
JP2010121975A (ja) | 音源定位装置 | |
Ince et al. | Assessment of general applicability of ego noise estimation | |
TW202147862A (zh) | 強烈雜訊干擾存在下穩健的揚聲器定位系統與方法 | |
Rodemann et al. | Real-time sound localization with a binaural head-system using a biologically-inspired cue-triple mapping | |
JP2007006253A (ja) | 信号処理装置、マイクロフォンシステム、話者方向検出方法及び話者方向検出プログラム | |
Transfeld et al. | Acoustic event source localization for surveillance in reverberant environments supported by an event onset detection | |
Pasha et al. | Blind speaker counting in highly reverberant environments by clustering coherence features | |
Abutalebi et al. | Performance improvement of TDOA-based speaker localization in joint noisy and reverberant conditions | |
Nguyen et al. | Selection of the closest sound source for robot auditory attention in multi-source scenarios | |
Tachioka et al. | Direction of arrival estimation by cross-power spectrum phase analysis using prior distributions and voice activity detection information | |
Kim et al. | Auditory and visual integration based localization and tracking of humans in daily-life environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5660362 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |