JP2004226656A - マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 - Google Patents
マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 Download PDFInfo
- Publication number
- JP2004226656A JP2004226656A JP2003014000A JP2003014000A JP2004226656A JP 2004226656 A JP2004226656 A JP 2004226656A JP 2003014000 A JP2003014000 A JP 2003014000A JP 2003014000 A JP2003014000 A JP 2003014000A JP 2004226656 A JP2004226656 A JP 2004226656A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- microphone
- distance
- signal level
- microphones
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Abstract
【課題】携帯電話等の小型端末であっても話者との距離を正確に検出することができるマイクロホンアレイを用いた話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置を提供する。
【解決手段】複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出し、検出された信号レベルの差に基づいて、話者までの距離を求める。
【選択図】 図１
【解決手段】複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出し、検出された信号レベルの差に基づいて、話者までの距離を求める。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、マイクロホンアレイを用いて話者がどの程度離れて発声しているのか検出できる話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置に関する。
【０００２】
【従来の技術】
昨今のコンピュータ技術の急速な進展に伴って、通信機器としての携帯電話や携帯端末等はますます高機能化あるいは小型化しており、特に計算機処理負荷の観点から実用化が困難であった音声を用いた各種アプリケーションについても、実用化段階から、より利便性を求められる段階へと移行している。
【０００３】
最近では、複数のマイクロホンを用いることによって、音声を発する話者の発話方向を検出して、指向性を高めることによって周囲の雑音を拾いにくくすることができる音声入出力装置も実用段階に入りつつある。
【０００４】
しかし、特に携帯電話等においては、音声入力に対する認識精度は周囲の雑音に左右されることが多く、認識精度を高めるためにはハンドセットを顔に近づけて音声を入力する以外、効果的な手段が見出せていないのが現状である。
【０００５】
そこで、最近では、携帯電話に赤外線センサや他のセンサを設けることによって話者と携帯電話との距離を検出し、その距離に応じて認識精度の高低を推定することによって、認識エンジンを変更したり、認識結果の出力方法を変更したりする技術が開発されている。（特許文献１〜３参照）
【０００６】
【特許文献１】
特開平６−１２４０９７号公報
【０００７】
【特許文献２】
特開平９−１６２７７２号公報
【０００８】
【特許文献３】
特開平２００２−１１１８０１号公報
【０００９】
【発明が解決しようとする課題】
しかし、上述したような方法では、以下のような問題点があった。まず、話者と携帯電話の距離を検出して、それに応じた認識エンジンを用いる場合であっても、実際に認識モードは手動で切り替えることが多く、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においては操作自体がわずらわしいという問題点があった。
【００１０】
また、認識エンジンの切り替えを自動で行う場合においても、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においては、実際の状態と認識エンジンの切り替えとの間にどうしても時間的誤差が生じることから、認識モードと携帯電話の使用形態が合わず、不適切な音声入出力レベルになってしまうために所望の認識精度が確保できないという問題点があった。
【００１１】
さらに、話者と携帯電話の距離を検出するために、赤外線センサ等の他のセンサ構造を設ける必要があることから、特に小型化の要請が強い携帯電話においては物理的な制約があり、実際に設けることが困難であるという問題点もあった。
【００１２】
本発明は、上記問題点を解決するために、携帯電話等の小型端末であっても話者との距離を正確に検出することができるマイクロホンアレイを用いた話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるマイクロホンアレイを用いた話者距離検出装置は、複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する信号レベル差検出部と、検出された信号レベルの差に基づいて、話者までの距離を求める話者距離算出部とを含むことを特徴とする。
【００１４】
かかる構成により、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【００１５】
また、本発明にかかるマイクロホンアレイを用いた話者距離検出装置は、信号レベル差検出部において、話者の発生した音声が複数のマイクロホンに到達する時間差を用いて、基準マイクロホンの信号レベルと他のマイクロホンの信号レベルとの差を検出することが好ましい。
【００１６】
また、本発明は、上記のようなマイクロホンアレイを用いた話者距離検出装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する工程と、検出された信号レベルの差に基づいて、話者までの距離を求める工程とを含むマイクロホンアレイを用いた話者距離検出方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【００１７】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することができるマイクロホンアレイを用いた話者距離検出装置を実現することが可能となる。
【００１８】
また、上述したようなマイクロホンアレイを用いた話者距離検出装置あるいは方法を用いた音声入出力装置においても、同様の効果が期待できる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態にかかるマイクロホンアレイを用いた話者距離検出装置について、図面を参照しながら説明する。図１は本発明の実施の形態にかかるマイクロホンアレイを用いた話者距離検出装置の構成図である。
【００２０】
図１に示すように、本実施の形態にかかる話者距離検出装置は、二本のマイクロホン１１と１２で構成されるマイクロホンアレイが入力系として設けられている。もちろん、二本に限定されるものではなく、二本以上の複数のマイクロホンで構成されていれば良い。
【００２１】
そして、複数のマイクロホンの中から、信号レベルの差を検出するための基準となるマイクロホンをあらかじめ決定しておく。本実施の形態においては、最も話者に近い位置にあるマイクロホン１１を基準マイクロホンとしている。もちろん基準マイクロホンとしては、最も話者に近い位置にあるマイクロホン１１に特定されるものではなく、例えば話者から最も離れているマイクロホン、本実施の形態の場合はマイクロホン１２を基準マイクロホンとしても良い。
【００２２】
また、基準マイクロホン検出部１３を設けて、基準マイクロホンを条件に応じて自動的に検出するものであっても良い。
【００２３】
さらに、信号レベル差検出部１４では、基準マイクロホン検出部１３で検出された基準マイクロホンの信号レベルと、それ以外のマイクロホンの信号レベルとの差を検出する。信号レベルの差とは音圧のレベル差を意味しており、デシベル値として検出されるものである。当該信号レベルの差を検出するために、まずマイクロホンアレイを構成するマイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の相関を求め、話者の発する音声信号が各マイクロホンに到達する時間差を（数１）に従って算出する。
【００２４】
【数１】
【００２５】
ただし、（数１）の分母については、（数２）で示す値を示している。なお、（数１）及び（数２）において、ｉはサンプル番号を、ｊは相関計算のためのサンプル番号を、ｎは相関計算のための畳込み演算の次数を、ｋは到達時間の違いを、それぞれ示している。なお、図１におけるマイクロホン１１及び１２と、音声を入力する話者との位置関係においては、ｋ＞０となる。
【００２６】
【数２】
【００２７】
そして、（数１）を用いて計算したｒ（ｋ）が最大になる場合におけるｋの値ｋ＿ｍａｘが、マイクロホン１１とマイクロホン１２に音声が到達した時間差を表している。
【００２８】
次に、（数１）で計算した音声の到達時間差ｋ＿ｍａｘを考慮してマイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の信号レベル差を計算する。このレベル差がマイクロホンアレイから話者までの距離を示している。
【００２９】
入力信号ｘ１とｘ２の信号レベル差の計算は、（数３）を用いて行う。
【００３０】
【数３】
【００３１】
（数３）では、分子は比較対象となるマイクロホンへの入力信号の相互相関を、分母は基準マイクロホンへの入力信号の自己相関を、それぞれ求めている。このようにすることで、マイクロホンへ入力される音声以外の周囲の雑音の影響を、最小限にすることが可能となる。
【００３２】
（数３）を用いて算出された信号レベル差ｄｉｆｆ＿ｇは、図１におけるマイクロホン１１及び１２と、音声を入力する話者との位置関係においては、マイクロホンアレイと話者間の距離が短ければ短いほど小さくなり、距離が長ければ長いほど大きくなる。これは、話者により発声された音声信号が球面波に近い形で伝播してくるためである。
【００３３】
そして、話者距離算出部１５において、信号レベル差検出部１４で検出された信号レベルの差に基づいて、話者までの距離を求める。このようにすることで、外部センサ等を新たに付加することなく、話者までの距離を求めることができることから、距離に応じた各種の制御を容易に行うことが可能となる。
【００３４】
例えば、図２においては、本実施の形態にかかる話者距離検出装置を用いた音声を用いた音声入出力装置の実施例を示している。図２において、２１は制御判定部を示しており、話者距離算出部１５において算出された距離に基づいて以下の処理を制御する。
【００３５】
具体的には、話者距離算出部１５で算出された構成マイクロホン間の信号レベル差ｄｉｆｆ＿ｇと事前に設定した所定のしきい値との比較を行い、例えばｄｉｆｆ＿ｇがしきい値よりも小さい場合には話者がマイクロホンアレイの近くで発声しているものと判断し、ｄｉｆｆ＿ｇがしきい値よりも大きい場合には話者がマイクロホンアレイから離れて発声しているものと判断することになる。
【００３６】
そして、制御判定部２１における判断に基づいて、例えばマイクロホンアレイの指向性を高める指向性受音処理を行う。この場合、指向性受音処理部２２では、話者とマイクロホンアレイとの距離に応じて、信号レベル差検出部１４において算出された音声信号の到達時間差ｋ＿ｍａｘを用い、マイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の同期減算を（数４）を用いて行う。
【００３７】
【数４】
【００３８】
（数４）においては、話者と反対方向に零点ができるように減算を行うことにより、話者の方向に強い指向性を生成することを意図している。なお、係数αは０≦α≦１の範囲の値であり、マイクロホンアレイと話者間の距離が短い場合には小さく、話者とマイクロホンアレイとの距離が離れている場合には大きくすることになる。
【００３９】
指向性受音処理部２２で算出されたｂ’については、話者とマイクロホンアレイの距離に応じてレベル制御を行うことがより好ましい。すなわち、アンプ２３において、話者とマイクロホンアレイの距離が近い場合にはゲインｂを小さく、離れている場合にはゲインｂを大きくする。
【００４０】
また、イコライザ（図示せず）が備わっている場合には、周波数特性の変更も行うことが好ましい。すなわち、話者とマイクロホンアレイの距離が離れている場合には、高域音声を拾いにくくなることから、高域周波数を強調する処理を行うことによって、音声信号の誤認識等を防止することができる。
【００４１】
あるいは、スピーカスイッチ２４によって、スピーカの切り替えを行うことも考えられる。すなわち、話者とマイクロホンアレイの距離が近い場合にはハンドセット用スピーカ２５に、話者とマイクロホンアレイの距離が離れている場合には拡声用スピーカ２６に、それぞれ切り替えることによって、出力音声が大きすぎたり、あるいは聞き取りにくかったりすることを防止することができる。
【００４２】
また、イコライザ（図示せず）が備わっている場合には、周波数特性の変更も行うことが好ましい。すなわち、話者とマイクロホンアレイの距離が離れている場合には、高域音声を拾いにくくなることから、高域周波数を強調する処理を行うことによって、出力音声信号を正確に聞き取れるようにすることができる。
【００４３】
さらに、例えば音声出力による情報提供を行うアプリケーションの場合、拡声用スピーカを用いる場合に生じるおそれが高いハウリング現象を防止するために、割込み処理として、話者が発声中は拡声用スピーカ２６からの音声出力を止めることも可能となる。
【００４４】
あるいは、エコーキャンセラ２７を制御して、ハンドセット用スピーカ２５あるいは拡声用スピーカ２６からの音声出力がマイクロホンアレイに回り込む現象を抑制することも考えられる。エコーキャンセラ２７を介した入力音声ｅは、（数５）を用いて算出される。
【００４５】
【数５】
【００４６】
（数５）において、ｈはエコーキャンセラ２７内で用いられるＦＩＲフィルタの係数を、ｎ’は当該ＦＩＲフィルタの次数を、それぞれ示している。また、フィルタ係数ｈは、（数６）に示すように学習同定法を用いて更新することになる。なお、（数６）においてβは一般的には定数であり、０＜β＜１である。
【００４７】
【数６】
【００４８】
そして、（数５）及び（数６）におけるＦＩＲフィルタの次数ｎ’を、話者とマイクロホンアレイとの距離に応じて変更することになる。すなわち、話者とマイクロホンアレイとの距離が近い場合は、処理演算量を削減するためにＦＩＲフィルタの次数ｎ’を小さくし、離れている場合には十分な抑制量を得るためにＦＩＲフィルタの次数ｎ’を大きくすることになる。
【００４９】
なお、本実施の形態においては、回り込み音声信号を抑制するエコーキャンセラについて説明しているが、特にエコーキャンセラに限定されるものではなく、例えば雑音を抑制するノイズキャンセラ等についても、話者とマイクロホンアレイとの距離に応じて同様に処理を制御することが可能となる。
【００５０】
また、音声認識アプリケーションにおいても、高い音声認識率を得るために、話者とマイクロホンアレイとの距離に適した音響モデルを選択することが考えられる。すなわち、話者とマイクロホンアレイとの距離が近い場合は、近接話者用の音響モデルを、離れている場合には遠隔話者用の音響モデルを用いることで、より認識精度の高いアプリケーションを構成することが可能となる。
【００５１】
さらに、話者とマイクロホンアレイとの距離に応じて、認識語彙数を変更することも考えられる。すなわち、話者とマイクロホンアレイとの距離が離れている場合には認識語彙数を減らし、距離が近い場合と比較して、音声認識率の劣化を抑制することが可能となる。
【００５２】
上述した実施例の他、話者とマイクロホンアレイとの距離に応じて画像表示の制御を行うことも考えられる。例えば、話者とマイクロホンアレイとの距離が近い場合には、画像表示やバックライトをオフにする等の制御である。
【００５３】
あるいは、話者とマイクロホンアレイとの距離に応じて情報送信の制御を行うことも考えられる。例えば、話者とマイクロホンアレイとの距離が近い場合には、情報のパケット送信を停止する等して、パケット送信の無駄を削減することも可能となる。
【００５４】
次に、本発明の実施の形態にかかる話者距離検出装置を実現するプログラムの処理の流れについて説明する。図３に本発明の実施の形態にかかる話者距離検出装置を実現するプログラムの処理の流れ図を示す。
【００５５】
まず、複数のマイクロホンの中から、信号レベルの差を検出するための基準となるマイクロホンを１つ検出する（ステップＳ３０１）。そして、各マイクロホンから話者が発した音声信号が入力される（ステップＳ３０２）。
【００５６】
次に、話者が発した音声信号の基準マイクロホン、及びそれ以外のマイクロホンに到達する時間差を算出する（ステップＳ３０３）。そして、到達時間差に基づいて、基準マイクロホンとそれ以外のマイクロホンへの入力信号の信号レベル差を算出する（ステップＳ３０４）。最後に、信号レベル差に基づいて、話者までの距離を求める（ステップＳ３０５）。
【００５７】
以上のように本実施の形態によれば、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【００５８】
なお、本発明の実施の形態にかかる話者距離検出装置を実現するプログラムは、図４に示すように、ＣＤ−ＲＯＭ４２−１やフレキシブルディスク４２−２等の可搬型記録媒体４２だけでなく、通信回線の先に備えられた他の記憶装置４１や、コンピュータ４３のハードディスクやＲＡＭ等の記録媒体４４のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００５９】
【発明の効果】
以上のように本発明にかかる話者距離検出装置によれば、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる話者距離検出装置の構成図
【図２】本発明の実施の形態にかかる話者距離検出装置を含む音声入出力装置の構成図
【図３】本発明の実施の形態にかかる話者距離検出装置における処理の流れ図
【図４】コンピュータ環境の例示図
【符号の説明】
１１ 基準マイクロホン
１２ マイクロホン
１３ 基準マイクロホン検出部
１４ 信号レベル差検出部
１５ 話者距離算出部
２１ 制御判定部
２２ 指向性受音処理部
２３ アンプ
２４ スピーカスイッチ
２５ ハンドセット用スピーカ
２６ 拡声用スピーカ
２７ エコーキャンセラ
４１ 回線先の記憶装置
４２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
４２−１ ＣＤ−ＲＯＭ
４２−２ フレキシブルディスク
４３ コンピュータ
４４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、マイクロホンアレイを用いて話者がどの程度離れて発声しているのか検出できる話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置に関する。
【０００２】
【従来の技術】
昨今のコンピュータ技術の急速な進展に伴って、通信機器としての携帯電話や携帯端末等はますます高機能化あるいは小型化しており、特に計算機処理負荷の観点から実用化が困難であった音声を用いた各種アプリケーションについても、実用化段階から、より利便性を求められる段階へと移行している。
【０００３】
最近では、複数のマイクロホンを用いることによって、音声を発する話者の発話方向を検出して、指向性を高めることによって周囲の雑音を拾いにくくすることができる音声入出力装置も実用段階に入りつつある。
【０００４】
しかし、特に携帯電話等においては、音声入力に対する認識精度は周囲の雑音に左右されることが多く、認識精度を高めるためにはハンドセットを顔に近づけて音声を入力する以外、効果的な手段が見出せていないのが現状である。
【０００５】
そこで、最近では、携帯電話に赤外線センサや他のセンサを設けることによって話者と携帯電話との距離を検出し、その距離に応じて認識精度の高低を推定することによって、認識エンジンを変更したり、認識結果の出力方法を変更したりする技術が開発されている。（特許文献１〜３参照）
【０００６】
【特許文献１】
特開平６−１２４０９７号公報
【０００７】
【特許文献２】
特開平９−１６２７７２号公報
【０００８】
【特許文献３】
特開平２００２−１１１８０１号公報
【０００９】
【発明が解決しようとする課題】
しかし、上述したような方法では、以下のような問題点があった。まず、話者と携帯電話の距離を検出して、それに応じた認識エンジンを用いる場合であっても、実際に認識モードは手動で切り替えることが多く、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においては操作自体がわずらわしいという問題点があった。
【００１０】
また、認識エンジンの切り替えを自動で行う場合においても、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においては、実際の状態と認識エンジンの切り替えとの間にどうしても時間的誤差が生じることから、認識モードと携帯電話の使用形態が合わず、不適切な音声入出力レベルになってしまうために所望の認識精度が確保できないという問題点があった。
【００１１】
さらに、話者と携帯電話の距離を検出するために、赤外線センサ等の他のセンサ構造を設ける必要があることから、特に小型化の要請が強い携帯電話においては物理的な制約があり、実際に設けることが困難であるという問題点もあった。
【００１２】
本発明は、上記問題点を解決するために、携帯電話等の小型端末であっても話者との距離を正確に検出することができるマイクロホンアレイを用いた話者距離検出装置及び方法並びに当該方法を用いた音声入出力装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるマイクロホンアレイを用いた話者距離検出装置は、複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する信号レベル差検出部と、検出された信号レベルの差に基づいて、話者までの距離を求める話者距離算出部とを含むことを特徴とする。
【００１４】
かかる構成により、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【００１５】
また、本発明にかかるマイクロホンアレイを用いた話者距離検出装置は、信号レベル差検出部において、話者の発生した音声が複数のマイクロホンに到達する時間差を用いて、基準マイクロホンの信号レベルと他のマイクロホンの信号レベルとの差を検出することが好ましい。
【００１６】
また、本発明は、上記のようなマイクロホンアレイを用いた話者距離検出装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法であって、複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する工程と、検出された信号レベルの差に基づいて、話者までの距離を求める工程とを含むマイクロホンアレイを用いた話者距離検出方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【００１７】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することができるマイクロホンアレイを用いた話者距離検出装置を実現することが可能となる。
【００１８】
また、上述したようなマイクロホンアレイを用いた話者距離検出装置あるいは方法を用いた音声入出力装置においても、同様の効果が期待できる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態にかかるマイクロホンアレイを用いた話者距離検出装置について、図面を参照しながら説明する。図１は本発明の実施の形態にかかるマイクロホンアレイを用いた話者距離検出装置の構成図である。
【００２０】
図１に示すように、本実施の形態にかかる話者距離検出装置は、二本のマイクロホン１１と１２で構成されるマイクロホンアレイが入力系として設けられている。もちろん、二本に限定されるものではなく、二本以上の複数のマイクロホンで構成されていれば良い。
【００２１】
そして、複数のマイクロホンの中から、信号レベルの差を検出するための基準となるマイクロホンをあらかじめ決定しておく。本実施の形態においては、最も話者に近い位置にあるマイクロホン１１を基準マイクロホンとしている。もちろん基準マイクロホンとしては、最も話者に近い位置にあるマイクロホン１１に特定されるものではなく、例えば話者から最も離れているマイクロホン、本実施の形態の場合はマイクロホン１２を基準マイクロホンとしても良い。
【００２２】
また、基準マイクロホン検出部１３を設けて、基準マイクロホンを条件に応じて自動的に検出するものであっても良い。
【００２３】
さらに、信号レベル差検出部１４では、基準マイクロホン検出部１３で検出された基準マイクロホンの信号レベルと、それ以外のマイクロホンの信号レベルとの差を検出する。信号レベルの差とは音圧のレベル差を意味しており、デシベル値として検出されるものである。当該信号レベルの差を検出するために、まずマイクロホンアレイを構成するマイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の相関を求め、話者の発する音声信号が各マイクロホンに到達する時間差を（数１）に従って算出する。
【００２４】
【数１】
ただし、（数１）の分母については、（数２）で示す値を示している。なお、（数１）及び（数２）において、ｉはサンプル番号を、ｊは相関計算のためのサンプル番号を、ｎは相関計算のための畳込み演算の次数を、ｋは到達時間の違いを、それぞれ示している。なお、図１におけるマイクロホン１１及び１２と、音声を入力する話者との位置関係においては、ｋ＞０となる。
【００２６】
【数２】
そして、（数１）を用いて計算したｒ（ｋ）が最大になる場合におけるｋの値ｋ＿ｍａｘが、マイクロホン１１とマイクロホン１２に音声が到達した時間差を表している。
【００２８】
次に、（数１）で計算した音声の到達時間差ｋ＿ｍａｘを考慮してマイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の信号レベル差を計算する。このレベル差がマイクロホンアレイから話者までの距離を示している。
【００２９】
入力信号ｘ１とｘ２の信号レベル差の計算は、（数３）を用いて行う。
【００３０】
【数３】
（数３）では、分子は比較対象となるマイクロホンへの入力信号の相互相関を、分母は基準マイクロホンへの入力信号の自己相関を、それぞれ求めている。このようにすることで、マイクロホンへ入力される音声以外の周囲の雑音の影響を、最小限にすることが可能となる。
【００３２】
（数３）を用いて算出された信号レベル差ｄｉｆｆ＿ｇは、図１におけるマイクロホン１１及び１２と、音声を入力する話者との位置関係においては、マイクロホンアレイと話者間の距離が短ければ短いほど小さくなり、距離が長ければ長いほど大きくなる。これは、話者により発声された音声信号が球面波に近い形で伝播してくるためである。
【００３３】
そして、話者距離算出部１５において、信号レベル差検出部１４で検出された信号レベルの差に基づいて、話者までの距離を求める。このようにすることで、外部センサ等を新たに付加することなく、話者までの距離を求めることができることから、距離に応じた各種の制御を容易に行うことが可能となる。
【００３４】
例えば、図２においては、本実施の形態にかかる話者距離検出装置を用いた音声を用いた音声入出力装置の実施例を示している。図２において、２１は制御判定部を示しており、話者距離算出部１５において算出された距離に基づいて以下の処理を制御する。
【００３５】
具体的には、話者距離算出部１５で算出された構成マイクロホン間の信号レベル差ｄｉｆｆ＿ｇと事前に設定した所定のしきい値との比較を行い、例えばｄｉｆｆ＿ｇがしきい値よりも小さい場合には話者がマイクロホンアレイの近くで発声しているものと判断し、ｄｉｆｆ＿ｇがしきい値よりも大きい場合には話者がマイクロホンアレイから離れて発声しているものと判断することになる。
【００３６】
そして、制御判定部２１における判断に基づいて、例えばマイクロホンアレイの指向性を高める指向性受音処理を行う。この場合、指向性受音処理部２２では、話者とマイクロホンアレイとの距離に応じて、信号レベル差検出部１４において算出された音声信号の到達時間差ｋ＿ｍａｘを用い、マイクロホン１１とマイクロホン１２の入力信号ｘ１とｘ２の同期減算を（数４）を用いて行う。
【００３７】
【数４】
（数４）においては、話者と反対方向に零点ができるように減算を行うことにより、話者の方向に強い指向性を生成することを意図している。なお、係数αは０≦α≦１の範囲の値であり、マイクロホンアレイと話者間の距離が短い場合には小さく、話者とマイクロホンアレイとの距離が離れている場合には大きくすることになる。
【００３９】
指向性受音処理部２２で算出されたｂ’については、話者とマイクロホンアレイの距離に応じてレベル制御を行うことがより好ましい。すなわち、アンプ２３において、話者とマイクロホンアレイの距離が近い場合にはゲインｂを小さく、離れている場合にはゲインｂを大きくする。
【００４０】
また、イコライザ（図示せず）が備わっている場合には、周波数特性の変更も行うことが好ましい。すなわち、話者とマイクロホンアレイの距離が離れている場合には、高域音声を拾いにくくなることから、高域周波数を強調する処理を行うことによって、音声信号の誤認識等を防止することができる。
【００４１】
あるいは、スピーカスイッチ２４によって、スピーカの切り替えを行うことも考えられる。すなわち、話者とマイクロホンアレイの距離が近い場合にはハンドセット用スピーカ２５に、話者とマイクロホンアレイの距離が離れている場合には拡声用スピーカ２６に、それぞれ切り替えることによって、出力音声が大きすぎたり、あるいは聞き取りにくかったりすることを防止することができる。
【００４２】
また、イコライザ（図示せず）が備わっている場合には、周波数特性の変更も行うことが好ましい。すなわち、話者とマイクロホンアレイの距離が離れている場合には、高域音声を拾いにくくなることから、高域周波数を強調する処理を行うことによって、出力音声信号を正確に聞き取れるようにすることができる。
【００４３】
さらに、例えば音声出力による情報提供を行うアプリケーションの場合、拡声用スピーカを用いる場合に生じるおそれが高いハウリング現象を防止するために、割込み処理として、話者が発声中は拡声用スピーカ２６からの音声出力を止めることも可能となる。
【００４４】
あるいは、エコーキャンセラ２７を制御して、ハンドセット用スピーカ２５あるいは拡声用スピーカ２６からの音声出力がマイクロホンアレイに回り込む現象を抑制することも考えられる。エコーキャンセラ２７を介した入力音声ｅは、（数５）を用いて算出される。
【００４５】
【数５】
（数５）において、ｈはエコーキャンセラ２７内で用いられるＦＩＲフィルタの係数を、ｎ’は当該ＦＩＲフィルタの次数を、それぞれ示している。また、フィルタ係数ｈは、（数６）に示すように学習同定法を用いて更新することになる。なお、（数６）においてβは一般的には定数であり、０＜β＜１である。
【００４７】
【数６】
そして、（数５）及び（数６）におけるＦＩＲフィルタの次数ｎ’を、話者とマイクロホンアレイとの距離に応じて変更することになる。すなわち、話者とマイクロホンアレイとの距離が近い場合は、処理演算量を削減するためにＦＩＲフィルタの次数ｎ’を小さくし、離れている場合には十分な抑制量を得るためにＦＩＲフィルタの次数ｎ’を大きくすることになる。
【００４９】
なお、本実施の形態においては、回り込み音声信号を抑制するエコーキャンセラについて説明しているが、特にエコーキャンセラに限定されるものではなく、例えば雑音を抑制するノイズキャンセラ等についても、話者とマイクロホンアレイとの距離に応じて同様に処理を制御することが可能となる。
【００５０】
また、音声認識アプリケーションにおいても、高い音声認識率を得るために、話者とマイクロホンアレイとの距離に適した音響モデルを選択することが考えられる。すなわち、話者とマイクロホンアレイとの距離が近い場合は、近接話者用の音響モデルを、離れている場合には遠隔話者用の音響モデルを用いることで、より認識精度の高いアプリケーションを構成することが可能となる。
【００５１】
さらに、話者とマイクロホンアレイとの距離に応じて、認識語彙数を変更することも考えられる。すなわち、話者とマイクロホンアレイとの距離が離れている場合には認識語彙数を減らし、距離が近い場合と比較して、音声認識率の劣化を抑制することが可能となる。
【００５２】
上述した実施例の他、話者とマイクロホンアレイとの距離に応じて画像表示の制御を行うことも考えられる。例えば、話者とマイクロホンアレイとの距離が近い場合には、画像表示やバックライトをオフにする等の制御である。
【００５３】
あるいは、話者とマイクロホンアレイとの距離に応じて情報送信の制御を行うことも考えられる。例えば、話者とマイクロホンアレイとの距離が近い場合には、情報のパケット送信を停止する等して、パケット送信の無駄を削減することも可能となる。
【００５４】
次に、本発明の実施の形態にかかる話者距離検出装置を実現するプログラムの処理の流れについて説明する。図３に本発明の実施の形態にかかる話者距離検出装置を実現するプログラムの処理の流れ図を示す。
【００５５】
まず、複数のマイクロホンの中から、信号レベルの差を検出するための基準となるマイクロホンを１つ検出する（ステップＳ３０１）。そして、各マイクロホンから話者が発した音声信号が入力される（ステップＳ３０２）。
【００５６】
次に、話者が発した音声信号の基準マイクロホン、及びそれ以外のマイクロホンに到達する時間差を算出する（ステップＳ３０３）。そして、到達時間差に基づいて、基準マイクロホンとそれ以外のマイクロホンへの入力信号の信号レベル差を算出する（ステップＳ３０４）。最後に、信号レベル差に基づいて、話者までの距離を求める（ステップＳ３０５）。
【００５７】
以上のように本実施の形態によれば、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【００５８】
なお、本発明の実施の形態にかかる話者距離検出装置を実現するプログラムは、図４に示すように、ＣＤ−ＲＯＭ４２−１やフレキシブルディスク４２−２等の可搬型記録媒体４２だけでなく、通信回線の先に備えられた他の記憶装置４１や、コンピュータ４３のハードディスクやＲＡＭ等の記録媒体４４のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００５９】
【発明の効果】
以上のように本発明にかかる話者距離検出装置によれば、話者までの距離をマイクロホンへの入力を用いて求めることができ、新たなセンサを設けることなく、頻繁にハンドセットを顔に付けて発声したり、顔から離して発声する場合においても正確に話者との距離を算出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる話者距離検出装置の構成図
【図２】本発明の実施の形態にかかる話者距離検出装置を含む音声入出力装置の構成図
【図３】本発明の実施の形態にかかる話者距離検出装置における処理の流れ図
【図４】コンピュータ環境の例示図
【符号の説明】
１１ 基準マイクロホン
１２ マイクロホン
１３ 基準マイクロホン検出部
１４ 信号レベル差検出部
１５ 話者距離算出部
２１ 制御判定部
２２ 指向性受音処理部
２３ アンプ
２４ スピーカスイッチ
２５ ハンドセット用スピーカ
２６ 拡声用スピーカ
２７ エコーキャンセラ
４１ 回線先の記憶装置
４２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
４２−１ ＣＤ−ＲＯＭ
４２−２ フレキシブルディスク
４３ コンピュータ
４４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (5)
- 複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出装置であって、
前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する信号レベル差検出部と、
検出された信号レベルの差に基づいて、話者までの距離を求める話者距離算出部とを含むことを特徴とするマイクロホンアレイを用いた話者距離検出装置。 - 前記信号レベル差検出部において、話者の発生した音声が前記複数のマイクロホンに到達する時間差を用いて、前記基準マイクロホンの信号レベルと他のマイクロホンの信号レベルとの差を検出する請求項１に記載の話者距離検出装置。
- 複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法であって、
前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出する工程と、
検出された信号レベルの差に基づいて、話者までの距離を求める工程とを含むことを特徴とするマイクロホンアレイを用いた話者距離検出方法。 - 複数のマイクロホンで構成されるマイクロホンアレイを用いた話者距離検出方法を具現化するコンピュータ実行可能なプログラムであって、
前記複数のマイクロホンの中から、あらかじめ基準となる基準マイクロホンを決定しておき、
前記基準マイクロホンの信号レベルと、他のマイクロホンの信号レベルとの差を、各マイクロホンにおける信号間の相関に基づいて検出するステップと、
検出された信号レベルの差に基づいて、話者までの距離を求めるステップとを含むことを特徴とするコンピュータ実行可能なプログラム。 - 請求項１又は２に記載のマイクロホンアレイを用いた話者距離検出装置を用いることを特徴とする音声入出力装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003014000A JP4247002B2 (ja) | 2003-01-22 | 2003-01-22 | マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 |
| US10/740,569 US7221622B2 (en) | 2003-01-22 | 2003-12-22 | Speaker distance detection apparatus using microphone array and speech input/output apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003014000A JP4247002B2 (ja) | 2003-01-22 | 2003-01-22 | マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004226656A true JP2004226656A (ja) | 2004-08-12 |
| JP4247002B2 JP4247002B2 (ja) | 2009-04-02 |
Family
ID=32709247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003014000A Expired - Fee Related JP4247002B2 (ja) | 2003-01-22 | 2003-01-22 | マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7221622B2 (ja) |
| JP (1) | JP4247002B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007266754A (ja) * | 2006-03-27 | 2007-10-11 | Denso Corp | 車両用音声入出力装置および音声入出力装置用プログラム |
| JP2009192942A (ja) * | 2008-02-15 | 2009-08-27 | Toshiba Corp | 音声対話装置及び支援方法 |
| WO2011048813A1 (ja) * | 2009-10-21 | 2011-04-28 | パナソニック株式会社 | 音響処理装置、音響処理方法及び補聴器 |
| JP2014206585A (ja) * | 2013-04-11 | 2014-10-30 | 清水建設株式会社 | 騒音低減システム |
| US9082415B2 (en) | 2007-01-30 | 2015-07-14 | Fujitsu Limited | Sound determination method and sound determination apparatus |
| US9160404B2 (en) | 2012-01-24 | 2015-10-13 | Fujitsu Limited | Reverberation reduction device and reverberation reduction method |
| JP2016092643A (ja) * | 2014-11-06 | 2016-05-23 | パナソニックＩｐマネジメント株式会社 | 携帯無線装置 |
| JP2018163313A (ja) * | 2017-03-27 | 2018-10-18 | カシオ計算機株式会社 | 音声認識装置、音声認識方法、プログラム及びロボット |
| WO2020148859A1 (ja) * | 2019-01-17 | 2020-07-23 | Toa株式会社 | マイクロホン装置 |
| JP2021532394A (ja) * | 2018-08-21 | 2021-11-25 | グーグル エルエルシーGoogle LLC | 自動化アシスタントを呼び出すための動的および／またはコンテキスト固有のホットワード |
| US11423890B2 (en) | 2018-08-21 | 2022-08-23 | Google Llc | Dynamic and/or context-specific hot words to invoke automated assistant |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1614322A2 (en) * | 2003-04-08 | 2006-01-11 | Philips Intellectual Property & Standards GmbH | Method and apparatus for reducing an interference noise signal fraction in a microphone signal |
| US7522736B2 (en) * | 2004-05-07 | 2009-04-21 | Fuji Xerox Co., Ltd. | Systems and methods for microphone localization |
| TR200700762A2 (tr) | 2007-02-09 | 2008-09-22 | Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. | Bir ses kaynağının açısal pozisyonunu tespit etme yöntemi |
| JP4469880B2 (ja) * | 2007-08-09 | 2010-06-02 | 株式会社東芝 | 音声処理装置及び方法 |
| KR101238362B1 (ko) | 2007-12-03 | 2013-02-28 | 삼성전자주식회사 | 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치 |
| US8249269B2 (en) * | 2007-12-10 | 2012-08-21 | Panasonic Corporation | Sound collecting device, sound collecting method, and collecting program, and integrated circuit |
| US8218397B2 (en) * | 2008-10-24 | 2012-07-10 | Qualcomm Incorporated | Audio source proximity estimation using sensor array for noise reduction |
| EP2278356B1 (en) * | 2009-07-02 | 2013-10-09 | Knowles Electronics Asia PTE. Ltd. | Apparatus and method for detecting usage profiles of mobile devices |
| US9838784B2 (en) | 2009-12-02 | 2017-12-05 | Knowles Electronics, Llc | Directional audio capture |
| EP2362238B1 (en) | 2010-02-26 | 2014-06-04 | Honda Research Institute Europe GmbH | Estimating the distance from a sensor to a sound source |
| US8798290B1 (en) | 2010-04-21 | 2014-08-05 | Audience, Inc. | Systems and methods for adaptive signal equalization |
| US9558755B1 (en) | 2010-05-20 | 2017-01-31 | Knowles Electronics, Llc | Noise suppression assisted automatic speech recognition |
| US9654609B2 (en) | 2011-12-16 | 2017-05-16 | Qualcomm Incorporated | Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in an accessory device |
| US9232071B2 (en) * | 2011-12-16 | 2016-01-05 | Qualcomm Incorporated | Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in a mobile device |
| US20150063070A1 (en) * | 2012-02-09 | 2015-03-05 | Nokia Corporation | Estimating distances between devices |
| US9170325B2 (en) * | 2012-08-30 | 2015-10-27 | Microsoft Technology Licensing, Llc | Distance measurements between computing devices |
| US9640194B1 (en) | 2012-10-04 | 2017-05-02 | Knowles Electronics, Llc | Noise suppression for speech processing based on machine-learning mask estimation |
| US20140112483A1 (en) * | 2012-10-24 | 2014-04-24 | Alcatel-Lucent Usa Inc. | Distance-based automatic gain control and proximity-effect compensation |
| KR101967917B1 (ko) * | 2012-10-30 | 2019-08-13 | 삼성전자주식회사 | 음성을 인식하는 전자 장치 및 방법 |
| US9392088B2 (en) * | 2013-01-09 | 2016-07-12 | Lenovo (Singapore) Pte. Ltd. | Intelligent muting of a mobile device |
| GB2521128A (en) * | 2013-12-10 | 2015-06-17 | Nokia Technologies Oy | An audio scene capturing apparatus |
| DE112015003945T5 (de) | 2014-08-28 | 2017-05-11 | Knowles Electronics, Llc | Mehrquellen-Rauschunterdrückung |
| CN107112025A (zh) | 2014-09-12 | 2017-08-29 | 美商楼氏电子有限公司 | 用于恢复语音分量的系统和方法 |
| DE112016000545B4 (de) | 2015-01-30 | 2019-08-22 | Knowles Electronics, Llc | Kontextabhängiges schalten von mikrofonen |
| DK3285501T3 (da) * | 2016-08-16 | 2020-02-17 | Oticon As | Høresystem, der omfatter et høreapparat og en mikrofonenhed til at opfange en brugers egen stemme |
| CN109716285A (zh) * | 2016-09-23 | 2019-05-03 | 索尼公司 | 信息处理装置和信息处理方法 |
| WO2019002831A1 (en) | 2017-06-27 | 2019-01-03 | Cirrus Logic International Semiconductor Limited | REPRODUCTIVE ATTACK DETECTION |
| GB201713697D0 (en) | 2017-06-28 | 2017-10-11 | Cirrus Logic Int Semiconductor Ltd | Magnetic detection of replay attack |
| GB2563953A (en) | 2017-06-28 | 2019-01-02 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
| GB201801527D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Method, apparatus and systems for biometric processes |
| GB201801532D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for audio playback |
| GB201801530D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for authentication |
| GB201801526D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for authentication |
| GB201801528D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Method, apparatus and systems for biometric processes |
| WO2019012587A1 (ja) * | 2017-07-10 | 2019-01-17 | ヤマハ株式会社 | ゲイン調整装置、遠隔会話装置、ゲイン調整方法、およびゲイン調整プログラム |
| CN107180642B (zh) * | 2017-07-20 | 2020-12-18 | 北京华捷艾米科技有限公司 | 音频信号校正方法、装置及设备 |
| GB2567503A (en) | 2017-10-13 | 2019-04-17 | Cirrus Logic Int Semiconductor Ltd | Analysing speech signals |
| GB201801664D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of liveness |
| GB201801661D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic International Uk Ltd | Detection of liveness |
| GB201804843D0 (en) | 2017-11-14 | 2018-05-09 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
| GB201803570D0 (en) | 2017-10-13 | 2018-04-18 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
| GB201801874D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Improving robustness of speech processing system against ultrasound and dolphin attacks |
| GB201801663D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of liveness |
| KR20190052394A (ko) * | 2017-11-08 | 2019-05-16 | 삼성전자주식회사 | 복수의 마이크를 이용하여 기능을 실행하기 위한 방법 및 그 전자 장치 |
| GB201801659D0 (en) | 2017-11-14 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of loudspeaker playback |
| US10698109B2 (en) | 2018-01-19 | 2020-06-30 | Sony Corporation | Using direction of arrival with unique audio signature for object location detection |
| US11475899B2 (en) | 2018-01-23 | 2022-10-18 | Cirrus Logic, Inc. | Speaker identification |
| US11264037B2 (en) | 2018-01-23 | 2022-03-01 | Cirrus Logic, Inc. | Speaker identification |
| US11735189B2 (en) | 2018-01-23 | 2023-08-22 | Cirrus Logic, Inc. | Speaker identification |
| US10529356B2 (en) | 2018-05-15 | 2020-01-07 | Cirrus Logic, Inc. | Detecting unwanted audio signal components by comparing signals processed with differing linearity |
| CN109151700B (zh) * | 2018-07-26 | 2020-04-21 | Oppo广东移动通信有限公司 | 麦克风堵孔检测方法及相关产品 |
| US10692490B2 (en) | 2018-07-31 | 2020-06-23 | Cirrus Logic, Inc. | Detection of replay attack |
| US10708702B2 (en) * | 2018-08-29 | 2020-07-07 | Panasonic Intellectual Property Corporation Of America | Signal processing method and signal processing device |
| US10915614B2 (en) | 2018-08-31 | 2021-02-09 | Cirrus Logic, Inc. | Biometric authentication |
| US11037574B2 (en) | 2018-09-05 | 2021-06-15 | Cirrus Logic, Inc. | Speaker recognition and speaker change detection |
| KR102651311B1 (ko) * | 2019-06-03 | 2024-03-27 | 삼성전자주식회사 | 마이크로폰들을 이용하여 사용자의 음성을 분석하는 전자 장치 및 모바일 장치 |
| CN110097875B (zh) * | 2019-06-03 | 2022-09-02 | 清华大学 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
| CN110475181B (zh) * | 2019-08-16 | 2021-04-30 | 北京百度网讯科技有限公司 | 设备配置方法、装置、设备和存储介质 |
| US11082782B2 (en) | 2019-10-30 | 2021-08-03 | Advanced Bionics Ag | Systems and methods for determining object proximity to a hearing system |
| CN111556410A (zh) * | 2020-05-20 | 2020-08-18 | 南京中芯声学技术研究院 | 基于多工作模式麦克风的室内扩声系统工作模式切换方法 |
| US11778361B1 (en) * | 2020-06-24 | 2023-10-03 | Meta Platforms Technologies, Llc | Headset activation validation based on audio data |
| CN112995838B (zh) * | 2021-03-01 | 2022-10-25 | 支付宝(杭州)信息技术有限公司 | 拾音设备、拾音系统和音频处理方法 |
| CN113453138B (zh) * | 2021-06-29 | 2022-06-21 | 四川长虹电器股份有限公司 | 麦克风阵列中麦克风顺序的检测方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0386765B1 (en) * | 1989-03-10 | 1994-08-24 | Nippon Telegraph And Telephone Corporation | Method of detecting acoustic signal |
| JPH06124097A (ja) | 1992-10-13 | 1994-05-06 | Hitachi Ltd | 携帯型端末装置 |
| JPH09162772A (ja) | 1995-12-07 | 1997-06-20 | Matsushita Electric Ind Co Ltd | 携帯無線機 |
| JP3541339B2 (ja) * | 1997-06-26 | 2004-07-07 | 富士通株式会社 | マイクロホンアレイ装置 |
| US6243322B1 (en) * | 1999-11-05 | 2001-06-05 | Wavemakers Research, Inc. | Method for estimating the distance of an acoustic signal |
| JP2002111801A (ja) | 2000-09-28 | 2002-04-12 | Casio Comput Co Ltd | 携帯電話装置 |
| SE518418C2 (sv) * | 2000-12-28 | 2002-10-08 | Ericsson Telefon Ab L M | Ljudbaserad närhetsdetektor |
| US20030044025A1 (en) * | 2001-08-29 | 2003-03-06 | Innomedia Pte Ltd. | Circuit and method for acoustic source directional pattern determination utilizing two microphones |
-
2003
- 2003-01-22 JP JP2003014000A patent/JP4247002B2/ja not_active Expired - Fee Related
- 2003-12-22 US US10/740,569 patent/US7221622B2/en not_active Expired - Lifetime
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007266754A (ja) * | 2006-03-27 | 2007-10-11 | Denso Corp | 車両用音声入出力装置および音声入出力装置用プログラム |
| US9082415B2 (en) | 2007-01-30 | 2015-07-14 | Fujitsu Limited | Sound determination method and sound determination apparatus |
| JP2009192942A (ja) * | 2008-02-15 | 2009-08-27 | Toshiba Corp | 音声対話装置及び支援方法 |
| US8155968B2 (en) | 2008-02-15 | 2012-04-10 | Kabushiki Kaisha Toshiba | Voice recognition apparatus and method for performing voice recognition comprising calculating a recommended distance range between a user and an audio input module based on the S/N ratio |
| WO2011048813A1 (ja) * | 2009-10-21 | 2011-04-28 | パナソニック株式会社 | 音響処理装置、音響処理方法及び補聴器 |
| CN102549661A (zh) * | 2009-10-21 | 2012-07-04 | 松下电器产业株式会社 | 音响处理装置、音响处理方法及助听器 |
| CN102549661B (zh) * | 2009-10-21 | 2013-10-09 | 松下电器产业株式会社 | 音响处理装置、音响处理方法及助听器 |
| US8755546B2 (en) | 2009-10-21 | 2014-06-17 | Pansonic Corporation | Sound processing apparatus, sound processing method and hearing aid |
| US9160404B2 (en) | 2012-01-24 | 2015-10-13 | Fujitsu Limited | Reverberation reduction device and reverberation reduction method |
| JP2014206585A (ja) * | 2013-04-11 | 2014-10-30 | 清水建設株式会社 | 騒音低減システム |
| JP2016092643A (ja) * | 2014-11-06 | 2016-05-23 | パナソニックＩｐマネジメント株式会社 | 携帯無線装置 |
| JP2018163313A (ja) * | 2017-03-27 | 2018-10-18 | カシオ計算機株式会社 | 音声認識装置、音声認識方法、プログラム及びロボット |
| US10540972B2 (en) | 2017-03-27 | 2020-01-21 | Casio Computer Co., Ltd. | Speech recognition device, speech recognition method, non-transitory recording medium, and robot |
| JP2021532394A (ja) * | 2018-08-21 | 2021-11-25 | グーグル エルエルシーGoogle LLC | 自動化アシスタントを呼び出すための動的および／またはコンテキスト固有のホットワード |
| US11423890B2 (en) | 2018-08-21 | 2022-08-23 | Google Llc | Dynamic and/or context-specific hot words to invoke automated assistant |
| JP2023015054A (ja) * | 2018-08-21 | 2023-01-31 | グーグル エルエルシー | 自動化アシスタントを呼び出すための動的および／またはコンテキスト固有のホットワード |
| JP7341171B2 (ja) | 2018-08-21 | 2023-09-08 | グーグル エルエルシー | 自動化アシスタントを呼び出すための動的および／またはコンテキスト固有のホットワード |
| US11810557B2 (en) | 2018-08-21 | 2023-11-07 | Google Llc | Dynamic and/or context-specific hot words to invoke automated assistant |
| WO2020148859A1 (ja) * | 2019-01-17 | 2020-07-23 | Toa株式会社 | マイクロホン装置 |
| JPWO2020148859A1 (ja) * | 2019-01-17 | 2021-11-25 | Toa株式会社 | マイクロホン装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7221622B2 (en) | 2007-05-22 |
| JP4247002B2 (ja) | 2009-04-02 |
| US20040141418A1 (en) | 2004-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4247002B2 (ja) | マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 | |
| US10535362B2 (en) | Speech enhancement for an electronic device | |
| US10269369B2 (en) | System and method of noise reduction for a mobile device | |
| KR101444100B1 (ko) | 혼합 사운드로부터 잡음을 제거하는 방법 및 장치 | |
| JP5940678B2 (ja) | 超音波動き検出に基づく音響エコー消去 | |
| EP2539887B1 (en) | Voice activity detection based on plural voice activity detectors | |
| US7536006B2 (en) | Method and system for near-end detection | |
| EP3096318B1 (en) | Noise reduction in multi-microphone systems | |
| US20180301157A1 (en) | Impulsive Noise Suppression | |
| JP2005084253A (ja) | 音響処理装置、方法、プログラム及び記憶媒体 | |
| EP3471099B1 (en) | Speech processing method and terminal | |
| KR20080059147A (ko) | 노이즈 환경에서 스피치 신호의 강건한 분리 | |
| KR20140145108A (ko) | 이동 통신 장치에서의 음성 통신 개선방법 및 시스템 | |
| US20140341386A1 (en) | Noise reduction | |
| US9641660B2 (en) | Modifying sound output in personal communication device | |
| US9769567B2 (en) | Audio system and method | |
| JP2002204187A (ja) | エコー抑制システム | |
| WO2017166495A1 (zh) | 一种语音信号处理方法及装置 | |
| CN102970638B (zh) | 处理信号 | |
| CN111292760B (zh) | 发声状态检测方法及用户设备 | |
| JP5022459B2 (ja) | 収音装置、収音方法及び収音プログラム | |
| CN115529537A (zh) | 一种差分波束形成方法、装置及存储介质 | |
| CN116320872A (zh) | 耳机的模式切换方法、装置、电子设备及存储介质 | |
| WO2024050949A1 (zh) | 漏音消除方法和装置 | |
| JP2001134275A (ja) | 音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4247002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |