JP2004226656A - マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 - Google Patents

マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 Download PDF

Info

Publication number
JP2004226656A
JP2004226656A JP2003014000A JP2003014000A JP2004226656A JP 2004226656 A JP2004226656 A JP 2004226656A JP 2003014000 A JP2003014000 A JP 2003014000A JP 2003014000 A JP2003014000 A JP 2003014000A JP 2004226656 A JP2004226656 A JP 2004226656A
Authority
JP
Japan
Prior art keywords
speaker
microphone
distance
signal level
microphones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003014000A
Other languages
English (en)
Other versions
JP4247002B2 (ja
Inventor
Naoji Matsuo
直司 松尾
Hitoshi Iwamida
均 岩見田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003014000A priority Critical patent/JP4247002B2/ja
Priority to US10/740,569 priority patent/US7221622B2/en
Publication of JP2004226656A publication Critical patent/JP2004226656A/ja
Application granted granted Critical
Publication of JP4247002B2 publication Critical patent/JP4247002B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

【課題】携帯電話等の小型端末であっても話者との距離を正確に検出することができるマイクロホンアレイを用いた話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置を提供する。
【解決手段】複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出し、検出された信号レベルの差に基づいて、話者までの距離を求める。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、マイクロホンアレイを用いて話者がどの程度離れて発声しているのか検出できる話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置に関する。
【0002】
【従来の技術】
昨今のコンピュータ技術の急速な進展に伴って、通信機器としての携帯電話や携帯端末等はますます高機能化あるいは小型化しており、特に計算機処理負荷の観点から実用化が困難であった音声を用いた各種アプリケーションについても、実用化段階から、より利便性を求められる段階へと移行している。
【0003】
最近では、複数のマイクロホンを用いることによって、音声を発する話者の発話方向を検出して、指向性を高めることによって周囲の雑音を拾いにくくすることができる音声入出力装置も実用段階に入りつつある。
【0004】
しかし、特に携帯電話等においては、音声入力に対する認識精度は周囲の雑音に左右されることが多く、認識精度を高めるためにはハンドセットを顔に近づけて音声を入力する以外、効果的な手段が見出せていないのが現状である。
【0005】
そこで、最近では、携帯電話に赤外線センサや他のセンサを設けることによって話者と携帯電話との距離を検出し、その距離に応じて認識精度の高低を推定することによって、認識エンジンを変更したり、認識結果の出力方法を変更したりする技術が開発されている。(特許文献1〜3参照)
【0006】
【特許文献1】
特開平6−124097号公報
【0007】
【特許文献2】
特開平9−162772号公報
【0008】
【特許文献3】
特開平2002−111801号公報
【0009】
【発明が解決しようとする課題】
しかし、上述したような方法では、以下のような問題点があった。まず、話者と携帯電話の距離を検出して、それに応じた認識エンジンを用いる場合であっても、実際に認識モードは手動で切り替えることが多く、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においては操作自体がわずらわしいという問題点があった。
【0010】
また、認識エンジンの切り替えを自動で行う場合においても、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においては、実際の状態と認識エンジンの切り替えとの間にどうしても時間的誤差が生じることから、認識モードと携帯電話の使用形態が合わず、不適切な音声入出力レベルになってしまうために所望の認識精度が確保できないという問題点があった。
【0011】
さらに、話者と携帯電話の距離を検出するために、赤外線センサ等の他のセンサ構造を設ける必要があることから、特に小型化の要請が強い携帯電話においては物理的な制約があり、実際に設けることが困難であるという問題点もあった。
【0012】
本発明は、上記問題点を解決するために、携帯電話等の小型端末であっても話者との距離を正確に検出することができるマイクロホンアレイを用いた話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置を提供することを目的とする。
【0013】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるマイクロホンアレイを用いた話者距離検出装置は、複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する信号レベル差検出部と、検出された信号レベルの差に基づいて、話者までの距離を求める話者距離算出部とを含むことを特徴とする。
【0014】
かかる構成により、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【0015】
また、本発明にかかるマイクロホンアレイを用いた話者距離検出装置は、信号レベル差検出部において、話者の発生した音声が複数のマイクロホンに到達する時間差を用いて、基準マイクロホンの信号レベルと他のマイクロホンの信号レベルとの差を検出することが好ましい。
【0016】
また、本発明は、上記のようなマイクロホンアレイを用いた話者距離検出装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する工程と、検出された信号レベルの差に基づいて、話者までの距離を求める工程とを含むマイクロホンアレイを用いた話者距離検出方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【0017】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することができるマイクロホンアレイを用いた話者距離検出装置を実現することが可能となる。
【0018】
また、上述したようなマイクロホンアレイを用いた話者距離検出装置あるいは方法を用いた音声入出力装置においても、同様の効果が期待できる。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態にかかるマイクロホンアレイを用いた話者距離検出装置について、図面を参照しながら説明する。図1は本発明の実施の形態にかかるマイクロホンアレイを用いた話者距離検出装置の構成図である。
【0020】
図1に示すように、本実施の形態にかかる話者距離検出装置は、二本のマイクロホン11と12で構成されるマイクロホンアレイが入力系として設けられている。もちろん、二本に限定されるものではなく、二本以上の複数のマイクロホンで構成されていれば良い。
【0021】
そして、複数のマイクロホンの中から、信号レベルの差を検出するための基準となるマイクロホンをあらかじめ決定しておく。本実施の形態においては、最も話者に近い位置にあるマイクロホン11を基準マイクロホンとしている。もちろん基準マイクロホンとしては、最も話者に近い位置にあるマイクロホン11に特定されるものではなく、例えば話者から最も離れているマイクロホン、本実施の形態の場合はマイクロホン12を基準マイクロホンとしても良い。
【0022】
また、基準マイクロホン検出部13を設けて、基準マイクロホンを条件に応じて自動的に検出するものであっても良い。
【0023】
さらに、信号レベル差検出部14では、基準マイクロホン検出部13で検出された基準マイクロホンの信号レベルと、それ以外のマイクロホンの信号レベルとの差を検出する。信号レベルの差とは音圧のレベル差を意味しており、デシベル値として検出されるものである。当該信号レベルの差を検出するために、まずマイクロホンアレイを構成するマイクロホン11とマイクロホン12の入力信号x1とx2の相関を求め、話者の発する音声信号が各マイクロホンに到達する時間差を(数1)に従って算出する。
【0024】
【数1】
Figure 2004226656
【0025】
ただし、(数1)の分母については、(数2)で示す値を示している。なお、(数1)及び(数2)において、iはサンプル番号を、jは相関計算のためのサンプル番号を、nは相関計算のための畳込み演算の次数を、kは到達時間の違いを、それぞれ示している。なお、図1におけるマイクロホン11及び12と、音声を入力する話者との位置関係においては、k>0となる。
【0026】
【数2】
Figure 2004226656
【0027】
そして、(数1)を用いて計算したr(k)が最大になる場合におけるkの値k_maxが、マイクロホン11とマイクロホン12に音声が到達した時間差を表している。
【0028】
次に、(数1)で計算した音声の到達時間差k_maxを考慮してマイクロホン11とマイクロホン12の入力信号x1とx2の信号レベル差を計算する。このレベル差がマイクロホンアレイから話者までの距離を示している。
【0029】
入力信号x1とx2の信号レベル差の計算は、(数3)を用いて行う。
【0030】
【数3】
Figure 2004226656
【0031】
(数3)では、分子は比較対象となるマイクロホンへの入力信号の相互相関を、分母は基準マイクロホンへの入力信号の自己相関を、それぞれ求めている。このようにすることで、マイクロホンへ入力される音声以外の周囲の雑音の影響を、最小限にすることが可能となる。
【0032】
(数3)を用いて算出された信号レベル差diff_gは、図1におけるマイクロホン11及び12と、音声を入力する話者との位置関係においては、マイクロホンアレイと話者間の距離が短ければ短いほど小さくなり、距離が長ければ長いほど大きくなる。これは、話者により発声された音声信号が球面波に近い形で伝播してくるためである。
【0033】
そして、話者距離算出部15において、信号レベル差検出部14で検出された信号レベルの差に基づいて、話者までの距離を求める。このようにすることで、外部センサ等を新たに付加することなく、話者までの距離を求めることができることから、距離に応じた各種の制御を容易に行うことが可能となる。
【0034】
例えば、図2においては、本実施の形態にかかる話者距離検出装置を用いた音声を用いた音声入出力装置の実施例を示している。図2において、21は制御判定部を示しており、話者距離算出部15において算出された距離に基づいて以下の処理を制御する。
【0035】
具体的には、話者距離算出部15で算出された構成マイクロホン間の信号レベル差diff_gと事前に設定した所定のしきい値との比較を行い、例えばdiff_gがしきい値よりも小さい場合には話者がマイクロホンアレイの近くで発声しているものと判断し、diff_gがしきい値よりも大きい場合には話者がマイクロホンアレイから離れて発声しているものと判断することになる。
【0036】
そして、制御判定部21における判断に基づいて、例えばマイクロホンアレイの指向性を高める指向性受音処理を行う。この場合、指向性受音処理部22では、話者とマイクロホンアレイとの距離に応じて、信号レベル差検出部14において算出された音声信号の到達時間差k_maxを用い、マイクロホン11とマイクロホン12の入力信号x1とx2の同期減算を(数4)を用いて行う。
【0037】
【数4】
Figure 2004226656
【0038】
(数4)においては、話者と反対方向に零点ができるように減算を行うことにより、話者の方向に強い指向性を生成することを意図している。なお、係数αは0≦α≦1の範囲の値であり、マイクロホンアレイと話者間の距離が短い場合には小さく、話者とマイクロホンアレイとの距離が離れている場合には大きくすることになる。
【0039】
指向性受音処理部22で算出されたb’については、話者とマイクロホンアレイの距離に応じてレベル制御を行うことがより好ましい。すなわち、アンプ23において、話者とマイクロホンアレイの距離が近い場合にはゲインbを小さく、離れている場合にはゲインbを大きくする。
【0040】
また、イコライザ(図示せず)が備わっている場合には、周波数特性の変更も行うことが好ましい。すなわち、話者とマイクロホンアレイの距離が離れている場合には、高域音声を拾いにくくなることから、高域周波数を強調する処理を行うことによって、音声信号の誤認識等を防止することができる。
【0041】
あるいは、スピーカスイッチ24によって、スピーカの切り替えを行うことも考えられる。すなわち、話者とマイクロホンアレイの距離が近い場合にはハンドセット用スピーカ25に、話者とマイクロホンアレイの距離が離れている場合には拡声用スピーカ26に、それぞれ切り替えることによって、出力音声が大きすぎたり、あるいは聞き取りにくかったりすることを防止することができる。
【0042】
また、イコライザ(図示せず)が備わっている場合には、周波数特性の変更も行うことが好ましい。すなわち、話者とマイクロホンアレイの距離が離れている場合には、高域音声を拾いにくくなることから、高域周波数を強調する処理を行うことによって、出力音声信号を正確に聞き取れるようにすることができる。
【0043】
さらに、例えば音声出力による情報提供を行うアプリケーションの場合、拡声用スピーカを用いる場合に生じるおそれが高いハウリング現象を防止するために、割込み処理として、話者が発声中は拡声用スピーカ26からの音声出力を止めることも可能となる。
【0044】
あるいは、エコーキャンセラ27を制御して、ハンドセット用スピーカ25あるいは拡声用スピーカ26からの音声出力がマイクロホンアレイに回り込む現象を抑制することも考えられる。エコーキャンセラ27を介した入力音声eは、(数5)を用いて算出される。
【0045】
【数5】
Figure 2004226656
【0046】
(数5)において、hはエコーキャンセラ27内で用いられるFIRフィルタの係数を、n’は当該FIRフィルタの次数を、それぞれ示している。また、フィルタ係数hは、(数6)に示すように学習同定法を用いて更新することになる。なお、(数6)においてβは一般的には定数であり、0<β<1である。
【0047】
【数6】
Figure 2004226656
【0048】
そして、(数5)及び(数6)におけるFIRフィルタの次数n’を、話者とマイクロホンアレイとの距離に応じて変更することになる。すなわち、話者とマイクロホンアレイとの距離が近い場合は、処理演算量を削減するためにFIRフィルタの次数n’を小さくし、離れている場合には十分な抑制量を得るためにFIRフィルタの次数n’を大きくすることになる。
【0049】
なお、本実施の形態においては、回り込み音声信号を抑制するエコーキャンセラについて説明しているが、特にエコーキャンセラに限定されるものではなく、例えば雑音を抑制するノイズキャンセラ等についても、話者とマイクロホンアレイとの距離に応じて同様に処理を制御することが可能となる。
【0050】
また、音声認識アプリケーションにおいても、高い音声認識率を得るために、話者とマイクロホンアレイとの距離に適した音響モデルを選択することが考えられる。すなわち、話者とマイクロホンアレイとの距離が近い場合は、近接話者用の音響モデルを、離れている場合には遠隔話者用の音響モデルを用いることで、より認識精度の高いアプリケーションを構成することが可能となる。
【0051】
さらに、話者とマイクロホンアレイとの距離に応じて、認識語彙数を変更することも考えられる。すなわち、話者とマイクロホンアレイとの距離が離れている場合には認識語彙数を減らし、距離が近い場合と比較して、音声認識率の劣化を抑制することが可能となる。
【0052】
上述した実施例の他、話者とマイクロホンアレイとの距離に応じて画像表示の制御を行うことも考えられる。例えば、話者とマイクロホンアレイとの距離が近い場合には、画像表示やバックライトをオフにする等の制御である。
【0053】
あるいは、話者とマイクロホンアレイとの距離に応じて情報送信の制御を行うことも考えられる。例えば、話者とマイクロホンアレイとの距離が近い場合には、情報のパケット送信を停止する等して、パケット送信の無駄を削減することも可能となる。
【0054】
次に、本発明の実施の形態にかかる話者距離検出装置を実現するプログラムの処理の流れについて説明する。図3に本発明の実施の形態にかかる話者距離検出装置を実現するプログラムの処理の流れ図を示す。
【0055】
まず、複数のマイクロホンの中から、信号レベルの差を検出するための基準となるマイクロホンを1つ検出する(ステップS301)。そして、各マイクロホンから話者が発した音声信号が入力される(ステップS302)。
【0056】
次に、話者が発した音声信号の基準マイクロホン、及びそれ以外のマイクロホンに到達する時間差を算出する(ステップS303)。そして、到達時間差に基づいて、基準マイクロホンとそれ以外のマイクロホンへの入力信号の信号レベル差を算出する(ステップS304)。最後に、信号レベル差に基づいて、話者までの距離を求める(ステップS305)。
【0057】
以上のように本実施の形態によれば、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【0058】
なお、本発明の実施の形態にかかる話者距離検出装置を実現するプログラムは、図4に示すように、CD−ROM42−1やフレキシブルディスク42−2等の可搬型記録媒体42だけでなく、通信回線の先に備えられた他の記憶装置41や、コンピュータ43のハードディスクやRAM等の記録媒体44のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【0059】
【発明の効果】
以上のように本発明にかかる話者距離検出装置によれば、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態にかかる話者距離検出装置の構成図
【図2】本発明の実施の形態にかかる話者距離検出装置を含む音声入出力装置の構成図
【図3】本発明の実施の形態にかかる話者距離検出装置における処理の流れ図
【図4】コンピュータ環境の例示図
【符号の説明】
11 基準マイクロホン
12 マイクロホン
13 基準マイクロホン検出部
14 信号レベル差検出部
15 話者距離算出部
21 制御判定部
22 指向性受音処理部
23 アンプ
24 スピーカスイッチ
25 ハンドセット用スピーカ
26 拡声用スピーカ
27 エコーキャンセラ
41 回線先の記憶装置
42 CD−ROMやフレキシブルディスク等の可搬型記録媒体
42−1 CD−ROM
42−2 フレキシブルディスク
43 コンピュータ
44 コンピュータ上のRAM/ハードディスク等の記録媒体

Claims (5)

  1. 複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、
    前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
    前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する信号レベル差検出部と、
    検出された信号レベルの差に基づいて、話者までの距離を求める話者距離算出部とを含むことを特徴とするマイクロホンアレイを用いた話者距離検出装置。
  2. 前記信号レベル差検出部において、話者の発生した音声が前記複数のマイクロホンに到達する時間差を用いて、前記基準マイクロホンの信号レベルと他のマイクロホンの信号レベルとの差を検出する請求項1に記載の話者距離検出装置。
  3. 複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法であって、
    前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
    前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する工程と、
    検出された信号レベルの差に基づいて、話者までの距離を求める工程とを含むことを特徴とするマイクロホンアレイを用いた話者距離検出方法。
  4. 複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法を具現化するコンピュータ実行可能なプログラムであって、
    前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
    前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出するステップと、
    検出された信号レベルの差に基づいて、話者までの距離を求めるステップとを含むことを特徴とするコンピュータ実行可能なプログラム。
  5. 請求項1又は2に記載のマイクロホンアレイを用いた話者距離検出装置を用いることを特徴とする音声入出力装置。
JP2003014000A 2003-01-22 2003-01-22 マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 Expired - Fee Related JP4247002B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003014000A JP4247002B2 (ja) 2003-01-22 2003-01-22 マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
US10/740,569 US7221622B2 (en) 2003-01-22 2003-12-22 Speaker distance detection apparatus using microphone array and speech input/output apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003014000A JP4247002B2 (ja) 2003-01-22 2003-01-22 マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置

Publications (2)

Publication Number Publication Date
JP2004226656A true JP2004226656A (ja) 2004-08-12
JP4247002B2 JP4247002B2 (ja) 2009-04-02

Family

ID=32709247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003014000A Expired - Fee Related JP4247002B2 (ja) 2003-01-22 2003-01-22 マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置

Country Status (2)

Country Link
US (1) US7221622B2 (ja)
JP (1) JP4247002B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266754A (ja) * 2006-03-27 2007-10-11 Denso Corp 車両用音声入出力装置および音声入出力装置用プログラム
JP2009192942A (ja) * 2008-02-15 2009-08-27 Toshiba Corp 音声対話装置及び支援方法
WO2011048813A1 (ja) * 2009-10-21 2011-04-28 パナソニック株式会社 音響処理装置、音響処理方法及び補聴器
JP2014206585A (ja) * 2013-04-11 2014-10-30 清水建設株式会社 騒音低減システム
US9082415B2 (en) 2007-01-30 2015-07-14 Fujitsu Limited Sound determination method and sound determination apparatus
US9160404B2 (en) 2012-01-24 2015-10-13 Fujitsu Limited Reverberation reduction device and reverberation reduction method
JP2016092643A (ja) * 2014-11-06 2016-05-23 パナソニックIpマネジメント株式会社 携帯無線装置
JP2018163313A (ja) * 2017-03-27 2018-10-18 カシオ計算機株式会社 音声認識装置、音声認識方法、プログラム及びロボット
WO2020148859A1 (ja) * 2019-01-17 2020-07-23 Toa株式会社 マイクロホン装置
JP2021532394A (ja) * 2018-08-21 2021-11-25 グーグル エルエルシーGoogle LLC 自動化アシスタントを呼び出すための動的および/またはコンテキスト固有のホットワード
US11423890B2 (en) 2018-08-21 2022-08-23 Google Llc Dynamic and/or context-specific hot words to invoke automated assistant

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1614322A2 (en) * 2003-04-08 2006-01-11 Philips Intellectual Property & Standards GmbH Method and apparatus for reducing an interference noise signal fraction in a microphone signal
US7522736B2 (en) * 2004-05-07 2009-04-21 Fuji Xerox Co., Ltd. Systems and methods for microphone localization
TR200700762A2 (tr) 2007-02-09 2008-09-22 Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. Bir ses kaynağının açısal pozisyonunu tespit etme yöntemi
JP4469880B2 (ja) * 2007-08-09 2010-06-02 株式会社東芝 音声処理装置及び方法
KR101238362B1 (ko) 2007-12-03 2013-02-28 삼성전자주식회사 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치
US8249269B2 (en) * 2007-12-10 2012-08-21 Panasonic Corporation Sound collecting device, sound collecting method, and collecting program, and integrated circuit
US8218397B2 (en) * 2008-10-24 2012-07-10 Qualcomm Incorporated Audio source proximity estimation using sensor array for noise reduction
EP2278356B1 (en) * 2009-07-02 2013-10-09 Knowles Electronics Asia PTE. Ltd. Apparatus and method for detecting usage profiles of mobile devices
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
EP2362238B1 (en) 2010-02-26 2014-06-04 Honda Research Institute Europe GmbH Estimating the distance from a sensor to a sound source
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US9654609B2 (en) 2011-12-16 2017-05-16 Qualcomm Incorporated Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in an accessory device
US9232071B2 (en) * 2011-12-16 2016-01-05 Qualcomm Incorporated Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in a mobile device
US20150063070A1 (en) * 2012-02-09 2015-03-05 Nokia Corporation Estimating distances between devices
US9170325B2 (en) * 2012-08-30 2015-10-27 Microsoft Technology Licensing, Llc Distance measurements between computing devices
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US20140112483A1 (en) * 2012-10-24 2014-04-24 Alcatel-Lucent Usa Inc. Distance-based automatic gain control and proximity-effect compensation
KR101967917B1 (ko) * 2012-10-30 2019-08-13 삼성전자주식회사 음성을 인식하는 전자 장치 및 방법
US9392088B2 (en) * 2013-01-09 2016-07-12 Lenovo (Singapore) Pte. Ltd. Intelligent muting of a mobile device
GB2521128A (en) * 2013-12-10 2015-06-17 Nokia Technologies Oy An audio scene capturing apparatus
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
CN107112025A (zh) 2014-09-12 2017-08-29 美商楼氏电子有限公司 用于恢复语音分量的系统和方法
DE112016000545B4 (de) 2015-01-30 2019-08-22 Knowles Electronics, Llc Kontextabhängiges schalten von mikrofonen
DK3285501T3 (da) * 2016-08-16 2020-02-17 Oticon As Høresystem, der omfatter et høreapparat og en mikrofonenhed til at opfange en brugers egen stemme
CN109716285A (zh) * 2016-09-23 2019-05-03 索尼公司 信息处理装置和信息处理方法
WO2019002831A1 (en) 2017-06-27 2019-01-03 Cirrus Logic International Semiconductor Limited REPRODUCTIVE ATTACK DETECTION
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801527D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
WO2019012587A1 (ja) * 2017-07-10 2019-01-17 ヤマハ株式会社 ゲイン調整装置、遠隔会話装置、ゲイン調整方法、およびゲイン調整プログラム
CN107180642B (zh) * 2017-07-20 2020-12-18 北京华捷艾米科技有限公司 音频信号校正方法、装置及设备
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801661D0 (en) 2017-10-13 2018-03-21 Cirrus Logic International Uk Ltd Detection of liveness
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201803570D0 (en) 2017-10-13 2018-04-18 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB201801663D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
KR20190052394A (ko) * 2017-11-08 2019-05-16 삼성전자주식회사 복수의 마이크를 이용하여 기능을 실행하기 위한 방법 및 그 전자 장치
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
US10698109B2 (en) 2018-01-19 2020-06-30 Sony Corporation Using direction of arrival with unique audio signature for object location detection
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
US10529356B2 (en) 2018-05-15 2020-01-07 Cirrus Logic, Inc. Detecting unwanted audio signal components by comparing signals processed with differing linearity
CN109151700B (zh) * 2018-07-26 2020-04-21 Oppo广东移动通信有限公司 麦克风堵孔检测方法及相关产品
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
US10708702B2 (en) * 2018-08-29 2020-07-07 Panasonic Intellectual Property Corporation Of America Signal processing method and signal processing device
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
US11037574B2 (en) 2018-09-05 2021-06-15 Cirrus Logic, Inc. Speaker recognition and speaker change detection
KR102651311B1 (ko) * 2019-06-03 2024-03-27 삼성전자주식회사 마이크로폰들을 이용하여 사용자의 음성을 분석하는 전자 장치 및 모바일 장치
CN110097875B (zh) * 2019-06-03 2022-09-02 清华大学 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110475181B (zh) * 2019-08-16 2021-04-30 北京百度网讯科技有限公司 设备配置方法、装置、设备和存储介质
US11082782B2 (en) 2019-10-30 2021-08-03 Advanced Bionics Ag Systems and methods for determining object proximity to a hearing system
CN111556410A (zh) * 2020-05-20 2020-08-18 南京中芯声学技术研究院 基于多工作模式麦克风的室内扩声系统工作模式切换方法
US11778361B1 (en) * 2020-06-24 2023-10-03 Meta Platforms Technologies, Llc Headset activation validation based on audio data
CN112995838B (zh) * 2021-03-01 2022-10-25 支付宝(杭州)信息技术有限公司 拾音设备、拾音系统和音频处理方法
CN113453138B (zh) * 2021-06-29 2022-06-21 四川长虹电器股份有限公司 麦克风阵列中麦克风顺序的检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0386765B1 (en) * 1989-03-10 1994-08-24 Nippon Telegraph And Telephone Corporation Method of detecting acoustic signal
JPH06124097A (ja) 1992-10-13 1994-05-06 Hitachi Ltd 携帯型端末装置
JPH09162772A (ja) 1995-12-07 1997-06-20 Matsushita Electric Ind Co Ltd 携帯無線機
JP3541339B2 (ja) * 1997-06-26 2004-07-07 富士通株式会社 マイクロホンアレイ装置
US6243322B1 (en) * 1999-11-05 2001-06-05 Wavemakers Research, Inc. Method for estimating the distance of an acoustic signal
JP2002111801A (ja) 2000-09-28 2002-04-12 Casio Comput Co Ltd 携帯電話装置
SE518418C2 (sv) * 2000-12-28 2002-10-08 Ericsson Telefon Ab L M Ljudbaserad närhetsdetektor
US20030044025A1 (en) * 2001-08-29 2003-03-06 Innomedia Pte Ltd. Circuit and method for acoustic source directional pattern determination utilizing two microphones

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266754A (ja) * 2006-03-27 2007-10-11 Denso Corp 車両用音声入出力装置および音声入出力装置用プログラム
US9082415B2 (en) 2007-01-30 2015-07-14 Fujitsu Limited Sound determination method and sound determination apparatus
JP2009192942A (ja) * 2008-02-15 2009-08-27 Toshiba Corp 音声対話装置及び支援方法
US8155968B2 (en) 2008-02-15 2012-04-10 Kabushiki Kaisha Toshiba Voice recognition apparatus and method for performing voice recognition comprising calculating a recommended distance range between a user and an audio input module based on the S/N ratio
WO2011048813A1 (ja) * 2009-10-21 2011-04-28 パナソニック株式会社 音響処理装置、音響処理方法及び補聴器
CN102549661A (zh) * 2009-10-21 2012-07-04 松下电器产业株式会社 音响处理装置、音响处理方法及助听器
CN102549661B (zh) * 2009-10-21 2013-10-09 松下电器产业株式会社 音响处理装置、音响处理方法及助听器
US8755546B2 (en) 2009-10-21 2014-06-17 Pansonic Corporation Sound processing apparatus, sound processing method and hearing aid
US9160404B2 (en) 2012-01-24 2015-10-13 Fujitsu Limited Reverberation reduction device and reverberation reduction method
JP2014206585A (ja) * 2013-04-11 2014-10-30 清水建設株式会社 騒音低減システム
JP2016092643A (ja) * 2014-11-06 2016-05-23 パナソニックIpマネジメント株式会社 携帯無線装置
JP2018163313A (ja) * 2017-03-27 2018-10-18 カシオ計算機株式会社 音声認識装置、音声認識方法、プログラム及びロボット
US10540972B2 (en) 2017-03-27 2020-01-21 Casio Computer Co., Ltd. Speech recognition device, speech recognition method, non-transitory recording medium, and robot
JP2021532394A (ja) * 2018-08-21 2021-11-25 グーグル エルエルシーGoogle LLC 自動化アシスタントを呼び出すための動的および/またはコンテキスト固有のホットワード
US11423890B2 (en) 2018-08-21 2022-08-23 Google Llc Dynamic and/or context-specific hot words to invoke automated assistant
JP2023015054A (ja) * 2018-08-21 2023-01-31 グーグル エルエルシー 自動化アシスタントを呼び出すための動的および/またはコンテキスト固有のホットワード
JP7341171B2 (ja) 2018-08-21 2023-09-08 グーグル エルエルシー 自動化アシスタントを呼び出すための動的および/またはコンテキスト固有のホットワード
US11810557B2 (en) 2018-08-21 2023-11-07 Google Llc Dynamic and/or context-specific hot words to invoke automated assistant
WO2020148859A1 (ja) * 2019-01-17 2020-07-23 Toa株式会社 マイクロホン装置
JPWO2020148859A1 (ja) * 2019-01-17 2021-11-25 Toa株式会社 マイクロホン装置

Also Published As

Publication number Publication date
US7221622B2 (en) 2007-05-22
JP4247002B2 (ja) 2009-04-02
US20040141418A1 (en) 2004-07-22

Similar Documents

Publication Publication Date Title
JP4247002B2 (ja) マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
US10535362B2 (en) Speech enhancement for an electronic device
US10269369B2 (en) System and method of noise reduction for a mobile device
KR101444100B1 (ko) 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
JP5940678B2 (ja) 超音波動き検出に基づく音響エコー消去
EP2539887B1 (en) Voice activity detection based on plural voice activity detectors
US7536006B2 (en) Method and system for near-end detection
EP3096318B1 (en) Noise reduction in multi-microphone systems
US20180301157A1 (en) Impulsive Noise Suppression
JP2005084253A (ja) 音響処理装置、方法、プログラム及び記憶媒体
EP3471099B1 (en) Speech processing method and terminal
KR20080059147A (ko) 노이즈 환경에서 스피치 신호의 강건한 분리
KR20140145108A (ko) 이동 통신 장치에서의 음성 통신 개선방법 및 시스템
US20140341386A1 (en) Noise reduction
US9641660B2 (en) Modifying sound output in personal communication device
US9769567B2 (en) Audio system and method
JP2002204187A (ja) エコー抑制システム
WO2017166495A1 (zh) 一种语音信号处理方法及装置
CN102970638B (zh) 处理信号
CN111292760B (zh) 发声状态检测方法及用户设备
JP5022459B2 (ja) 収音装置、収音方法及び収音プログラム
CN115529537A (zh) 一种差分波束形成方法、装置及存储介质
CN116320872A (zh) 耳机的模式切换方法、装置、电子设备及存储介质
WO2024050949A1 (zh) 漏音消除方法和装置
JP2001134275A (ja) 音声認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081128

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090109

R150 Certificate of patent or registration of utility model

Ref document number: 4247002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees