JP2003304589A - 直交円形マイクアレイシステム及びこれを用いた音源の３次元方向検出方法 - Google Patents
直交円形マイクアレイシステム及びこれを用いた音源の３次元方向検出方法Info
- Publication number
- JP2003304589A JP2003304589A JP2003086679A JP2003086679A JP2003304589A JP 2003304589 A JP2003304589 A JP 2003304589A JP 2003086679 A JP2003086679 A JP 2003086679A JP 2003086679 A JP2003086679 A JP 2003086679A JP 2003304589 A JP2003304589 A JP 2003304589A
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- sound source
- microphone array
- signal
- microphones
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
Abstract
(57)【要約】
【課題】 直交円形マイクアレイシステム及びこれを用
いた音源の３次元方向検出方法を提供する。 【解決手段】 音源より音声信号を受信する指向性マイ
クと、前記音源より音声信号を受信する所定数のマイク
が前記指向性マイクの周りに配列された第１マイクアレ
イと、前記第１マイクアレイと直交するように、前記音
源より音声信号を受信する所定数のマイクが前記指向性
マイクの周りに配列された第２マイクアレイと、前記第
１及び第２マイクアレイより信号を受信し、前記信号が
音声信号であるか否かを識別して音源の位置を推定する
方向検出部と、前記方向検出部において推定された前記
音源の位置に応じて前記第１マイクアレイ、第２マイク
アレイ及び前記指向性マイクの方向を変える回転制御部
と、前記指向性マイクに受信された音声信号と前記第１
及び第２マイクアレイより受信された音声信号とに対し
て演算を行い、演算の行われた音声信号を出力する音声
信号処理部と、を備えることを特徴とする。
いた音源の３次元方向検出方法を提供する。 【解決手段】 音源より音声信号を受信する指向性マイ
クと、前記音源より音声信号を受信する所定数のマイク
が前記指向性マイクの周りに配列された第１マイクアレ
イと、前記第１マイクアレイと直交するように、前記音
源より音声信号を受信する所定数のマイクが前記指向性
マイクの周りに配列された第２マイクアレイと、前記第
１及び第２マイクアレイより信号を受信し、前記信号が
音声信号であるか否かを識別して音源の位置を推定する
方向検出部と、前記方向検出部において推定された前記
音源の位置に応じて前記第１マイクアレイ、第２マイク
アレイ及び前記指向性マイクの方向を変える回転制御部
と、前記指向性マイクに受信された音声信号と前記第１
及び第２マイクアレイより受信された音声信号とに対し
て演算を行い、演算の行われた音声信号を出力する音声
信号処理部と、を備えることを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は音源の３次元方向を
検出するシステム及び方法に関する。
検出するシステム及び方法に関する。
【０００２】
【従来の技術】本発明への理解のために、以下では、本
発明の方向推定の対象である音源を話者と指称して例示
的に説明する。
発明の方向推定の対象である音源を話者と指称して例示
的に説明する。
【０００３】一般にマイクは音響信号を全ての方向で受
信する特性を有する。このような特性を有するマイク
は、通常、無指向性（全方向性）マイクと呼ばれ、使用
されているが、受信しようとする音声信号以外に周りの
雑音及び反響まで受信してしまい、所望の音声信号が歪
められるという問題がある。かかる通常のマイクの問題
点を解決するために使われるのが指向性マイクである。
信する特性を有する。このような特性を有するマイク
は、通常、無指向性（全方向性）マイクと呼ばれ、使用
されているが、受信しようとする音声信号以外に周りの
雑音及び反響まで受信してしまい、所望の音声信号が歪
められるという問題がある。かかる通常のマイクの問題
点を解決するために使われるのが指向性マイクである。
【０００４】指向性マイクはマイクの軸方向から一定の
角度（指向角）内に受信される音響だけを受信する特性
を有するので、話者が指向性マイクの指向角内でマイク
に向かって話をすれば、話者の音声が周りの雑音に比べ
て大きくマイクを介して受信され、指向角内に存在しな
い雑音は受信されない。
角度（指向角）内に受信される音響だけを受信する特性
を有するので、話者が指向性マイクの指向角内でマイク
に向かって話をすれば、話者の音声が周りの雑音に比べ
て大きくマイクを介して受信され、指向角内に存在しな
い雑音は受信されない。
【０００５】最近、このような指向性マイクは、遠隔会
議においてよく使われる。しかし、指向性マイクを遠隔
会議に使う場合、指向性マイクの特性のゆえに、話者は
マイクの指向角内でマイクに向かって話さなければなら
ないという制約がある。すなわち、話者は自分の席に座
って話す場合にも設けられたマイクの指向角から外れる
方向に話せず、指向角から外れて会議室内を移動しつつ
話せないため、話者が自由に話せないという不具合が招
かれる。
議においてよく使われる。しかし、指向性マイクを遠隔
会議に使う場合、指向性マイクの特性のゆえに、話者は
マイクの指向角内でマイクに向かって話さなければなら
ないという制約がある。すなわち、話者は自分の席に座
って話す場合にも設けられたマイクの指向角から外れる
方向に話せず、指向角から外れて会議室内を移動しつつ
話せないため、話者が自由に話せないという不具合が招
かれる。
【０００６】上述した問題点を解決するために、マイク
を一定の間隔にて配列して一定の空間内で移動する話者
の音声信号を受信するマイクアレイシステムが考案され
ている。
を一定の間隔にて配列して一定の空間内で移動する話者
の音声信号を受信するマイクアレイシステムが考案され
ている。
【０００７】図１Ａに示すように、平面形マイクアレイ
システムは、受音しようとする空間の一側面に設けられ
て前方で移動する話者の音声を受信する。すなわち、平
面形マイクアレイシステムは前方１８０°ほどの範囲内
で移動する話者の音声を受信することができる。しか
し、話者がマイクアレイシステムの後方で移動する場合
には話者の音声が受信できなくなるという制限が依然と
して残る。
システムは、受音しようとする空間の一側面に設けられ
て前方で移動する話者の音声を受信する。すなわち、平
面形マイクアレイシステムは前方１８０°ほどの範囲内
で移動する話者の音声を受信することができる。しか
し、話者がマイクアレイシステムの後方で移動する場合
には話者の音声が受信できなくなるという制限が依然と
して残る。
【０００８】平面形マイクアレイシステムの上述した制
限を克服した円形マイクアレイを図１Ｂに示す。円形マ
イクアレイシステムは、マイクが設けられた平面内にお
いてその中心から３６０°の範囲内で移動する話者の音
声を受信することができる。しかし、円形マイクアレイ
は、マイクが設けられた平面をＸＹ平面とした時、ＸＹ
平面上の話者の位置は考慮するとはいえ、Ｚ軸上の話者
の位置は考慮しておらず、全ての方向から発せられる信
号を受信することになり、話者の位置とは関係ないＺ軸
上の方向からの雑音及び反響まで受信してしまうため、
音声の歪みを引き起こすという問題点が依然として存在
する。
限を克服した円形マイクアレイを図１Ｂに示す。円形マ
イクアレイシステムは、マイクが設けられた平面内にお
いてその中心から３６０°の範囲内で移動する話者の音
声を受信することができる。しかし、円形マイクアレイ
は、マイクが設けられた平面をＸＹ平面とした時、ＸＹ
平面上の話者の位置は考慮するとはいえ、Ｚ軸上の話者
の位置は考慮しておらず、全ての方向から発せられる信
号を受信することになり、話者の位置とは関係ないＺ軸
上の方向からの雑音及び反響まで受信してしまうため、
音声の歪みを引き起こすという問題点が依然として存在
する。
【０００９】
【発明が解決しようとする課題】本発明は、平面的に移
動する話者の位置だけではなく、話者の３次元空間上の
動きまで考慮して、話者がいかなる方向で発音しても話
者の音声を受信することのできるマイクアレイシステム
及び方法を提供することを課題とする。
動する話者の位置だけではなく、話者の３次元空間上の
動きまで考慮して、話者がいかなる方向で発音しても話
者の音声を受信することのできるマイクアレイシステム
及び方法を提供することを課題とする。
【００１０】本発明が解決しようとする他の課題は、受
信される話者の音声を最大化し、且つ、話者の音声を除
いた周りの雑音及び反響を最小化して話者の音声を明確
に認識させることにより、音声認識の性能を向上させる
ことのできるマイクアレイシステム及び方法を提供する
ことである。
信される話者の音声を最大化し、且つ、話者の音声を除
いた周りの雑音及び反響を最小化して話者の音声を明確
に認識させることにより、音声認識の性能を向上させる
ことのできるマイクアレイシステム及び方法を提供する
ことである。
【００１１】
【課題を解決するための手段】前記課題を達成するため
に、本発明は、音源の３次元方向を検出する直交円形マ
イクアレイシステムであって、前記音源より音声信号を
受信する指向性マイクと、前記音源より音声信号を受信
する所定数のマイクが前記指向性マイクの周りに配列さ
れた第１マイクアレイと、前記第１マイクアレイと直交
するように、前記音源より音声信号を受信する所定数の
マイクが前記指向性マイクの周りに配列された第２マイ
クアレイと、前記第１及び第２マイクアレイより信号を
受信し、前記信号が音声信号であるか否かを識別して音
源位置を推定する方向検出部と、前記方向検出部におい
て推定された前記音源位置に応じて前記第１マイクアレ
イ、第２マイクアレイ及び前記指向性マイクの方向を変
える回転制御部と、前記指向性マイクより受信された音
声信号と前記第１及び第２マイクアレイより受信された
音声信号とに対して演算を行い、演算の行われた音声信
号を出力する音声信号処理部と、を備えることを特徴と
する直交円形マイクアレイシステムを提供する。
に、本発明は、音源の３次元方向を検出する直交円形マ
イクアレイシステムであって、前記音源より音声信号を
受信する指向性マイクと、前記音源より音声信号を受信
する所定数のマイクが前記指向性マイクの周りに配列さ
れた第１マイクアレイと、前記第１マイクアレイと直交
するように、前記音源より音声信号を受信する所定数の
マイクが前記指向性マイクの周りに配列された第２マイ
クアレイと、前記第１及び第２マイクアレイより信号を
受信し、前記信号が音声信号であるか否かを識別して音
源位置を推定する方向検出部と、前記方向検出部におい
て推定された前記音源位置に応じて前記第１マイクアレ
イ、第２マイクアレイ及び前記指向性マイクの方向を変
える回転制御部と、前記指向性マイクより受信された音
声信号と前記第１及び第２マイクアレイより受信された
音声信号とに対して演算を行い、演算の行われた音声信
号を出力する音声信号処理部と、を備えることを特徴と
する直交円形マイクアレイシステムを提供する。
【００１２】前記直交円形マイクアレイシステムは、好
ましくは、前記方向検出部より入力される音声信号であ
って、前記第１マイクアレイより入力される受信信号ま
たは前記第２アレイマイクより入力される受信信号を前
記方向検出部の制御信号に応じて選択するスイッチをさ
らに備える。また、前記方向検出部は、好ましくは、前
記第１及び第２マイクアレイより受信された信号から音
声信号を識別する音声信号識別部と、前記音声信号識別
部より受信された音声信号から、前記第１及び第２マイ
クアレイに設けられたマイクに受信される音声信号の受
信角に応じて音源の方向を推定する音源方向推定部と、
前記音源方向推定部において推定された方向に前記第１
及び第２マイクアレイを回転させるように制御信号を出
力する制御信号生成部と、を備える。
ましくは、前記方向検出部より入力される音声信号であ
って、前記第１マイクアレイより入力される受信信号ま
たは前記第２アレイマイクより入力される受信信号を前
記方向検出部の制御信号に応じて選択するスイッチをさ
らに備える。また、前記方向検出部は、好ましくは、前
記第１及び第２マイクアレイより受信された信号から音
声信号を識別する音声信号識別部と、前記音声信号識別
部より受信された音声信号から、前記第１及び第２マイ
クアレイに設けられたマイクに受信される音声信号の受
信角に応じて音源の方向を推定する音源方向推定部と、
前記音源方向推定部において推定された方向に前記第１
及び第２マイクアレイを回転させるように制御信号を出
力する制御信号生成部と、を備える。
【００１３】さらに、前記目的を達成するために、本発
明は、（ａ）第１マイクアレイより入力される信号から
音声信号を識別する段階と、（ｂ）前記第１マイクアレ
イに設けられたマイクに音声信号が受信される角度に応
じて音源の方向を推定し、前記第１マイクアレイと直交
する前記第２マイクアレイに設けられたマイクが推定さ
れた方向に向かうように前記第２マイクアレイを回転さ
せる段階と、（ｃ）前記第２マイクアレイに設けられた
マイクに音声信号が入力される角度に応じて前記音源の
方向を推定する段階と、（ｄ）前記超指向性マイクを
（ｂ）及び（ｃ）段階において推定された音源の方向に
移動させて音声信号を受信し、受信された音声信号を出
力する段階と、（ｅ）音源の位置変化及び音源の音声発
話が終了したか否かを検出する段階と、を含む音源の３
次元方向検出方法を提供する。
明は、（ａ）第１マイクアレイより入力される信号から
音声信号を識別する段階と、（ｂ）前記第１マイクアレ
イに設けられたマイクに音声信号が受信される角度に応
じて音源の方向を推定し、前記第１マイクアレイと直交
する前記第２マイクアレイに設けられたマイクが推定さ
れた方向に向かうように前記第２マイクアレイを回転さ
せる段階と、（ｃ）前記第２マイクアレイに設けられた
マイクに音声信号が入力される角度に応じて前記音源の
方向を推定する段階と、（ｄ）前記超指向性マイクを
（ｂ）及び（ｃ）段階において推定された音源の方向に
移動させて音声信号を受信し、受信された音声信号を出
力する段階と、（ｅ）音源の位置変化及び音源の音声発
話が終了したか否かを検出する段階と、を含む音源の３
次元方向検出方法を提供する。
【００１４】前記直交円形マイクアレイシステム及び音
源の３次元方向検出方法において、前記第１及び第２マ
イクアレイのうち少なくとも何れか一方は円形であり、
前記第１及び第２マイクアレイに設けられたマイクは互
いに一定の間隔を保持し、前記第１及び第２マイクアレ
イに設けられたマイクは指向性マイクであることが望ま
しい。
源の３次元方向検出方法において、前記第１及び第２マ
イクアレイのうち少なくとも何れか一方は円形であり、
前記第１及び第２マイクアレイに設けられたマイクは互
いに一定の間隔を保持し、前記第１及び第２マイクアレ
イに設けられたマイクは指向性マイクであることが望ま
しい。
【００１５】前記直交円形マイクアレイシステムにおけ
る音源方向推定部において行われる前記音源の３次元方
向検出方法における前記（ｂ）及び（ｃ）段階は、好ま
しくは、前記第１または第２マイクアレイに設けられた
マイクに入力される所定レベル以上の音声信号の出力値
を合計して周波数領域に変換した後、周波数領域に変換
された前記音声信号の出力値の合計値を音声信号の前記
マイクにおける受信角を変数として変換し、最高の電力
値を示す角度を音源の方向として推定するものである。
る音源方向推定部において行われる前記音源の３次元方
向検出方法における前記（ｂ）及び（ｃ）段階は、好ま
しくは、前記第１または第２マイクアレイに設けられた
マイクに入力される所定レベル以上の音声信号の出力値
を合計して周波数領域に変換した後、周波数領域に変換
された前記音声信号の出力値の合計値を音声信号の前記
マイクにおける受信角を変数として変換し、最高の電力
値を示す角度を音源の方向として推定するものである。
【００１６】前記所定レベル以上の音声信号の出力値の
合計値ｙ（ｔ）は、好ましくは、アレイマイクの数がＭ
であり、ｃが媒質内における音速であり、アレイの中心
から前記マイクまでの距離がｒであるとき、 である。
合計値ｙ（ｔ）は、好ましくは、アレイマイクの数がＭ
であり、ｃが媒質内における音速であり、アレイの中心
から前記マイクまでの距離がｒであるとき、 である。
【００１７】前記直交円形マイクアレイシステムにおけ
る音声信号処理部において行われる前記音源の３次元方
向検出方法における（ｄ）段階は、好ましくは、前記第
１及び第２マイクアレイに設けられたマイクの各々より
受信された音声信号を前記各マイク間の位置差により生
じた最大遅延時間だけ遅延させて合計し、前記指向性マ
イクより受信された音声信号を前記最大遅延時間だけ遅
延させて前記合計値に加えて所望の音声信号の音質を改
善する段階を含む。
る音声信号処理部において行われる前記音源の３次元方
向検出方法における（ｄ）段階は、好ましくは、前記第
１及び第２マイクアレイに設けられたマイクの各々より
受信された音声信号を前記各マイク間の位置差により生
じた最大遅延時間だけ遅延させて合計し、前記指向性マ
イクより受信された音声信号を前記最大遅延時間だけ遅
延させて前記合計値に加えて所望の音声信号の音質を改
善する段階を含む。
【００１８】
【発明の実施の形態】以下、添付した図面に基づき、本
発明の好適な実施形態について説明する。
発明の好適な実施形態について説明する。
【００１９】図２Ａは、本発明による直交円形マイクア
レイの構造を示す図面であり、図２Ｂは、図２Ａの直交
円形マイクアレイの構造をロボットに対して適用し具現
した例である。
レイの構造を示す図面であり、図２Ｂは、図２Ａの直交
円形マイクアレイの構造をロボットに対して適用し具現
した例である。
【００２０】本発明において、緯度型マイクアレイ２０
１と経度型マイクアレイ２０２とは物理的に互いと直交
するように配され、図２Ａに示すように、３次元の形構
造を有する。また、マイクアレイシステムは、図２Ｂに
示すように、ロボットや人形などの様々な形態のものに
対して応用可能である。
１と経度型マイクアレイ２０２とは物理的に互いと直交
するように配され、図２Ａに示すように、３次元の形構
造を有する。また、マイクアレイシステムは、図２Ｂに
示すように、ロボットや人形などの様々な形態のものに
対して応用可能である。
【００２１】各円形マイクアレイ２０１、２０２は、本
発明に用いられる指向性マイクの指向角及びマイクアレ
イが具現される物体の大きさを考慮して所定数のマイク
が円形に配列されてなる。図２Ｃに示すように、ＸＹま
たはＹＺ平面の話者の位置を推定するマイクアレイ構造
に取り付けられる指向性マイクの指向角σ1が９０°で
あり、円形マイクアレイ構造の半径がＲであるとした
時、４個の指向性マイクが設けられた場合、表示された
話者はマイクの指向角から外れて位置するため、話者の
音声はマイクアレイに取り付けられたマイクにより受信
されなくなる。
発明に用いられる指向性マイクの指向角及びマイクアレ
イが具現される物体の大きさを考慮して所定数のマイク
が円形に配列されてなる。図２Ｃに示すように、ＸＹま
たはＹＺ平面の話者の位置を推定するマイクアレイ構造
に取り付けられる指向性マイクの指向角σ1が９０°で
あり、円形マイクアレイ構造の半径がＲであるとした
時、４個の指向性マイクが設けられた場合、表示された
話者はマイクの指向角から外れて位置するため、話者の
音声はマイクアレイに取り付けられたマイクにより受信
されなくなる。
【００２２】一方、マイクの指向角が９０°より大きい
（指向角がσ2である場合）か、あるいはマイクアレイ
の半径がより小さい時（半径がｒである場合）には、同
じ位置の話者により発音される音声がマイクアレイに取
り付けられたマイクにより受信される。図２Ｃに示すと
ころから明らかなように、アレイに取り付けられるマイ
クの指向角、話者との距離及びアレイが実装される物体
の大きさを考慮してマイクアレイを構成しなければなら
ない。マイクアレイは、指向性マイクの指向角σに応じ
て少なくとも（２π／σ＋１）個のマイクを備えれば全
体３６０°の範囲内に存在する話者の位置が検出可能に
なるが、マイクアレイが実装された物体と話者との間に
は一定の距離を保持する必要がある。
（指向角がσ2である場合）か、あるいはマイクアレイ
の半径がより小さい時（半径がｒである場合）には、同
じ位置の話者により発音される音声がマイクアレイに取
り付けられたマイクにより受信される。図２Ｃに示すと
ころから明らかなように、アレイに取り付けられるマイ
クの指向角、話者との距離及びアレイが実装される物体
の大きさを考慮してマイクアレイを構成しなければなら
ない。マイクアレイは、指向性マイクの指向角σに応じ
て少なくとも（２π／σ＋１）個のマイクを備えれば全
体３６０°の範囲内に存在する話者の位置が検出可能に
なるが、マイクアレイが実装された物体と話者との間に
は一定の距離を保持する必要がある。
【００２３】図２に示すマイクアレイシステムにおい
て、緯度型マイクアレイ２０１は、ＸＹ平面上において
話者より音声を受信するので、話者のＸＹ平面上の２次
元位置が推定可能である。ＸＹ平面上において話者の２
次元位置が推定されると、経度型マイクアレイ２０２
は、推定された２次元位置に向かって回転して話者より
音声を受信し、話者の３次元位置が推定可能となる。
て、緯度型マイクアレイ２０１は、ＸＹ平面上において
話者より音声を受信するので、話者のＸＹ平面上の２次
元位置が推定可能である。ＸＹ平面上において話者の２
次元位置が推定されると、経度型マイクアレイ２０２
は、推定された２次元位置に向かって回転して話者より
音声を受信し、話者の３次元位置が推定可能となる。
【００２４】図３を参照し、直交円形マイクアレイを用
いて話者の位置を推定し、話者の音声を受信する本発明
によるシステム構成について説明する。
いて話者の位置を推定し、話者の音声を受信する本発明
によるシステム構成について説明する。
【００２５】本発明によるシステムは、話者の音声をＸ
Ｙ平面上において２次元的に受信する緯度型マイクアレ
イ２０１と、推定された話者の２次元的位置に向かって
話者の音声をＹＺ平面上において３次元的に受信する経
度型マイクアレイ２０２と、マイクアレイ２０１、２０
２より受信された信号から話者の位置を推定し、それに
よる制御信号を出力する方向検出部３０４と、緯度型マ
イクアレイ２０１より入力される音声信号と経度型マイ
クアレイ２０２より入力される音声信号とを選択的に方
向検出部３０４に伝えるスイッチ３０３と、推定された
話者の位置から音声を受信する超指向性マイク３０８
と、超指向性マイク３０８及び経度型アレイマイク２０
２より受信された音質を改善する音声処理部３０５と、
経度型マイクアレイ２０２の回転方向及び角度を制御す
る第１回転制御部３０６及び超指向性マイク３０８の回
転方向及び角度を制御する第２回転制御部３０７を備え
る。
Ｙ平面上において２次元的に受信する緯度型マイクアレ
イ２０１と、推定された話者の２次元的位置に向かって
話者の音声をＹＺ平面上において３次元的に受信する経
度型マイクアレイ２０２と、マイクアレイ２０１、２０
２より受信された信号から話者の位置を推定し、それに
よる制御信号を出力する方向検出部３０４と、緯度型マ
イクアレイ２０１より入力される音声信号と経度型マイ
クアレイ２０２より入力される音声信号とを選択的に方
向検出部３０４に伝えるスイッチ３０３と、推定された
話者の位置から音声を受信する超指向性マイク３０８
と、超指向性マイク３０８及び経度型アレイマイク２０
２より受信された音質を改善する音声処理部３０５と、
経度型マイクアレイ２０２の回転方向及び角度を制御す
る第１回転制御部３０６及び超指向性マイク３０８の回
転方向及び角度を制御する第２回転制御部３０７を備え
る。
【００２６】また、方向検出部３０４は、緯度型マイク
アレイ２０１及び経度型マイクアレイ２０２に受信され
た信号から音声信号を識別する音声信号識別部３０４１
と、音声信号識別部３０４１より受信された音声信号か
ら、緯度型マイクアレイ２０１及び経度型マイクアレイ
２０２より入力される音声信号の受信角に応じて音源の
方向を推定する音源方向推定部３０４２と、音源方向推
定部３０４２において推定された方向に経度型マイクア
レイ２０２を回転させるように制御信号を出力し、スイ
ッチ３０３に入力されるマイクアレイ信号をいつ切り換
えるかを決定する制御信号を出力し、音声処理部３０５
に音質改善された音声信号をいつ出力するかを決定する
制御信号を出力する制御信号生成部３０４３を備える。
アレイ２０１及び経度型マイクアレイ２０２に受信され
た信号から音声信号を識別する音声信号識別部３０４１
と、音声信号識別部３０４１より受信された音声信号か
ら、緯度型マイクアレイ２０１及び経度型マイクアレイ
２０２より入力される音声信号の受信角に応じて音源の
方向を推定する音源方向推定部３０４２と、音源方向推
定部３０４２において推定された方向に経度型マイクア
レイ２０２を回転させるように制御信号を出力し、スイ
ッチ３０３に入力されるマイクアレイ信号をいつ切り換
えるかを決定する制御信号を出力し、音声処理部３０５
に音質改善された音声信号をいつ出力するかを決定する
制御信号を出力する制御信号生成部３０４３を備える。
【００２７】以下、図３及び図４を参照し、本発明によ
る話者の位置推定方法について説明する。
る話者の位置推定方法について説明する。
【００２８】本発明によるマイクアレイシステムが通電
されると、まず、緯度型マイクアレイ２０１が作動して
周りから信号を受信する（第４００段階）。緯度型マイ
クアレイ２０１に設けられた指向性マイクは指向角度内
で入力される信号を受信し、受信されたアナログ信号は
Ａ／Ｄ変換器３１０によりデジタル信号に変換されてス
イッチ３０３に出力される。最初の動作時に、スイッチ
３０３は、緯度型マイクアレイ２０１より入力される信
号を方向検出部３０４に伝える。
されると、まず、緯度型マイクアレイ２０１が作動して
周りから信号を受信する（第４００段階）。緯度型マイ
クアレイ２０１に設けられた指向性マイクは指向角度内
で入力される信号を受信し、受信されたアナログ信号は
Ａ／Ｄ変換器３１０によりデジタル信号に変換されてス
イッチ３０３に出力される。最初の動作時に、スイッチ
３０３は、緯度型マイクアレイ２０１より入力される信
号を方向検出部３０４に伝える。
【００２９】方向検出部３０４に組み込まれた音声信号
識別部３０４１は、スイッチ３０３を介して入力された
デジタル信号中に音声信号が存在するか否かを識別する
（第４１０段階）。マイクアレイを介して話者の音声を
できる限りきれいに受信して音声認識の性能を向上させ
ることが本発明の目的であるという点に鑑みるとき、音
声信号識別部３０４１が現在マイク３０１より入力され
た信号のうち音声区間だけを正確に検出して音声処理部
３０５を介して音声認識部３２０に入力することは、音
声認識の性能と関連して極めて重要である。
識別部３０４１は、スイッチ３０３を介して入力された
デジタル信号中に音声信号が存在するか否かを識別する
（第４１０段階）。マイクアレイを介して話者の音声を
できる限りきれいに受信して音声認識の性能を向上させ
ることが本発明の目的であるという点に鑑みるとき、音
声信号識別部３０４１が現在マイク３０１より入力され
た信号のうち音声区間だけを正確に検出して音声処理部
３０５を介して音声認識部３２０に入力することは、音
声認識の性能と関連して極めて重要である。
【００３０】音声認識は、音声のない区間が続いていて
音声が入り始めたときにその瞬間をいかに正確に把握し
て音声信号が開始する瞬間を知らせるかという機能と、
音声が続いていて音声のない区間が始まったときにこれ
をいかに正確に把握して音声信号が終了する瞬間を知ら
せるかという機能とに大きく分けられる。これら２つの
機能を実現するものとして下記のような技術が公知であ
る。
音声が入り始めたときにその瞬間をいかに正確に把握し
て音声信号が開始する瞬間を知らせるかという機能と、
音声が続いていて音声のない区間が始まったときにこれ
をいかに正確に把握して音声信号が終了する瞬間を知ら
せるかという機能とに大きく分けられる。これら２つの
機能を実現するものとして下記のような技術が公知であ
る。
【００３１】まず、音声信号終了の瞬間を知らせる機能
を実現するための方法として、マイクを介して入力され
る信号を一定のフレーム区間（例えば、３０ｍｓ）に合
わせて分割し、これら信号のエネルギーを計算した後に
このエネルギー値が以前のエネルギー値に比べて格段に
下がったときに、音声信号がそれ以降発せられないと判
断して音声信号終了の瞬間として処理する方法が知られ
ている。この時、エネルギーが格段に小さくなることを
判別する臨界値として一つの固定値を用いれば、大きく
発音された音声と小さく発音された音声との差を無視で
きるので、過去の音声区間を観察してその臨界値を適応
的に変え、この臨界値を用いて現在入力された信号が音
声であるか否かを検出する方法が提案されている（Ｒ．
ハリハラン（Hariharan, R.），Ｊ．ハッキネン（Hakki
nen, J.），Ｋ．ローリラ（Laurila, K.）共著，「ロウ
バスト・エンド−オブ−アタランス・デテクション・フ
ォー・リアルタイム・スピーチ・レコグニション・アプ
リケーションズ（Robust end-of-utterance detection
for real-time speech recognition application
s）」，２００１年度アイトリプリー・インターナショ
ナル・コンファレンス・オン・アコースティックス・ス
ピーチ・アンド・シグナルプロセッシング、論集（2001
IEEE International Conference on Acoustics, Speec
h, and Signal Processing, Proceedings），２００１
年，第１巻，２４９−２５２頁参照）。
を実現するための方法として、マイクを介して入力され
る信号を一定のフレーム区間（例えば、３０ｍｓ）に合
わせて分割し、これら信号のエネルギーを計算した後に
このエネルギー値が以前のエネルギー値に比べて格段に
下がったときに、音声信号がそれ以降発せられないと判
断して音声信号終了の瞬間として処理する方法が知られ
ている。この時、エネルギーが格段に小さくなることを
判別する臨界値として一つの固定値を用いれば、大きく
発音された音声と小さく発音された音声との差を無視で
きるので、過去の音声区間を観察してその臨界値を適応
的に変え、この臨界値を用いて現在入力された信号が音
声であるか否かを検出する方法が提案されている（Ｒ．
ハリハラン（Hariharan, R.），Ｊ．ハッキネン（Hakki
nen, J.），Ｋ．ローリラ（Laurila, K.）共著，「ロウ
バスト・エンド−オブ−アタランス・デテクション・フ
ォー・リアルタイム・スピーチ・レコグニション・アプ
リケーションズ（Robust end-of-utterance detection
for real-time speech recognition application
s）」，２００１年度アイトリプリー・インターナショ
ナル・コンファレンス・オン・アコースティックス・ス
ピーチ・アンド・シグナルプロセッシング、論集（2001
IEEE International Conference on Acoustics, Speec
h, and Signal Processing, Proceedings），２００１
年，第１巻，２４９−２５２頁参照）。
【００３２】音声認識に関する他の方法としては、ＯＯ
Ｖ（Out-Of-Vocabulary）に該当する語彙に対してガー
ベージ（非音声）モデルを予め構成しておいて、実際に
使う時にマイクを介して入った信号がこのモデルにいか
ほど適しているかを判断してガーベージであるか、それ
とも音声信号であるかを判別する方法が公知である。こ
の方法は、音声ではない音にを前もって学習することに
よってガーベージモデルを構成し、現在入力された信号
がこのガーベージモデルにいかほど適しているかを判断
して音声／ガーベージ区間を決定する方法である。ま
た、雑音入り音声と雑音の入っていない音声との関係を
神経網や線形回帰分析を用いて推定した後、変換により
雑音を除去する方法を用いることもある（Ｊ．カミネロ
（Caminero, J.）、Ｄ．デラトッレ（De La Torre,
D.），Ｌ．ヴィラルビア（Villarrubia, L.），Ｃ．マ
ーチン（Martin, C.），Ｌ．エルナンデス（Hernandez,
L.）共著，「オンライン・ガーベージ・モデリング・
ウィズ・ディスクリミナント・アナリシス・フォー・ア
タランス・ベリフィケーション（On-line Garbage Mode
ling with Discriminant Analysis for Utterance Veri
fication）」，第４回インターナショナル・コンファレ
ンス・オン・スポークン・ランゲージ、ＩＣＳＬＰ９６
論集（Fourth International Conference on Spoken La
nguage, ICSLP 96 Proceedings）」,１９９６年，第４
巻，２１１１〜２１１４頁参照）。
Ｖ（Out-Of-Vocabulary）に該当する語彙に対してガー
ベージ（非音声）モデルを予め構成しておいて、実際に
使う時にマイクを介して入った信号がこのモデルにいか
ほど適しているかを判断してガーベージであるか、それ
とも音声信号であるかを判別する方法が公知である。こ
の方法は、音声ではない音にを前もって学習することに
よってガーベージモデルを構成し、現在入力された信号
がこのガーベージモデルにいかほど適しているかを判断
して音声／ガーベージ区間を決定する方法である。ま
た、雑音入り音声と雑音の入っていない音声との関係を
神経網や線形回帰分析を用いて推定した後、変換により
雑音を除去する方法を用いることもある（Ｊ．カミネロ
（Caminero, J.）、Ｄ．デラトッレ（De La Torre,
D.），Ｌ．ヴィラルビア（Villarrubia, L.），Ｃ．マ
ーチン（Martin, C.），Ｌ．エルナンデス（Hernandez,
L.）共著，「オンライン・ガーベージ・モデリング・
ウィズ・ディスクリミナント・アナリシス・フォー・ア
タランス・ベリフィケーション（On-line Garbage Mode
ling with Discriminant Analysis for Utterance Veri
fication）」，第４回インターナショナル・コンファレ
ンス・オン・スポークン・ランゲージ、ＩＣＳＬＰ９６
論集（Fourth International Conference on Spoken La
nguage, ICSLP 96 Proceedings）」,１９９６年，第４
巻，２１１１〜２１１４頁参照）。
【００３３】前述した方法などを用い、音声信号識別部
３０４１は、緯度型マイクアレイ２０１を介して一定レ
ベル以上の音声信号値が入力されなければ現在音声が入
力されていないと見なす。緯度型マイクアレイ２０１に
設けられたマイク３０１のうち一部、例えば、ｎ個のマ
イクから一定レベル以上の音声信号値が検出され、他の
マイクからは信号値が入力されない場合には音声信号が
検出されると判断し、話者が（ｎ＋１）×σ（ここで、
σは指向角）内に存在すると判断して入力された信号を
音源方向推定部３０４２に出力する。
３０４１は、緯度型マイクアレイ２０１を介して一定レ
ベル以上の音声信号値が入力されなければ現在音声が入
力されていないと見なす。緯度型マイクアレイ２０１に
設けられたマイク３０１のうち一部、例えば、ｎ個のマ
イクから一定レベル以上の音声信号値が検出され、他の
マイクからは信号値が入力されない場合には音声信号が
検出されると判断し、話者が（ｎ＋１）×σ（ここで、
σは指向角）内に存在すると判断して入力された信号を
音源方向推定部３０４２に出力する。
【００３４】図５Ａ及び図５Ｂを参照し、話者の方向を
推定する方法について説明する。話者から本発明による
マイクアレイへと入力される音声信号は、マイクアレイ
２０１、２０２に設けられた各マイク３０１、３０２に
達する時、音声信号が最初に達したマイクに比べて一定
の遅延時間をもって受信される。この遅延時間はマイク
の指向角σ及び話者の位置、すなわち、音声信号が入力
される角度θに応じて決定される。
推定する方法について説明する。話者から本発明による
マイクアレイへと入力される音声信号は、マイクアレイ
２０１、２０２に設けられた各マイク３０１、３０２に
達する時、音声信号が最初に達したマイクに比べて一定
の遅延時間をもって受信される。この遅延時間はマイク
の指向角σ及び話者の位置、すなわち、音声信号が入力
される角度θに応じて決定される。
【００３５】本実施形態では指向性マイクの特性を考慮
し、音が一定の信号レベル未満に受信されるマイクの場
合には、話者が各該当マイクの指向角内にないと判断
し、これらマイクが担当する角度は話者の位置推定角度
から除外される。
し、音が一定の信号レベル未満に受信されるマイクの場
合には、話者が各該当マイクの指向角内にないと判断
し、これらマイクが担当する角度は話者の位置推定角度
から除外される。
【００３６】音源方向推定部３０４２は、話者の位置を
推定するために、図５Ａに示されたように、まず、ある
指向性マイクを基準マイクとして選択し、アレイの中心
から基準となる指向性マイクをつなぐ仮想の線（基準
線）から話者の音声が受信される角度θを測定する。基
準となるマイク以外のマイクに対しては基準線と平行な
仮想の線からマイクに受信される角度を測定する。も
し、アレイの実装された物体が音源よりかなり大きくな
ければ、音声を受信する各マイクにおける音声受信角θ
は実質的に同じでありうる。
推定するために、図５Ａに示されたように、まず、ある
指向性マイクを基準マイクとして選択し、アレイの中心
から基準となる指向性マイクをつなぐ仮想の線（基準
線）から話者の音声が受信される角度θを測定する。基
準となるマイク以外のマイクに対しては基準線と平行な
仮想の線からマイクに受信される角度を測定する。も
し、アレイの実装された物体が音源よりかなり大きくな
ければ、音声を受信する各マイクにおける音声受信角θ
は実質的に同じでありうる。
【００３７】一定レベル以上の音が受信されるマイクに
おいて受信された全ての音を合計し、これを高速フーリ
エ変換（ＦＦＴ）を通じて周波数領域に変換した後にこ
れを再びθの領域に変換した時、最大の電力値を有する
θが話者の位置する方向を表わす。
おいて受信された全ての音を合計し、これを高速フーリ
エ変換（ＦＦＴ）を通じて周波数領域に変換した後にこ
れを再びθの領域に変換した時、最大の電力値を有する
θが話者の位置する方向を表わす。
【００３８】ある時間領域において一定の遅延時間をも
ってｎ番目のマイクに入力される受信音声信号をｘ
n（ｔ）とし、各々のマイクの音声信号値を合計した出
力信号をｙ（ｔ）とした時、ｙ（ｔ）は下記式により得
られる。
ってｎ番目のマイクに入力される受信音声信号をｘ
n（ｔ）とし、各々のマイクの音声信号値を合計した出
力信号をｙ（ｔ）とした時、ｙ（ｔ）は下記式により得
られる。
【００３９】
【数１】
【００４０】ｙ（ｔ）を周波数領域に変換して得られた
Ｙ（ｆ）は、下記の通りである。
Ｙ（ｆ）は、下記の通りである。
【００４１】
【数２】
【００４２】この時、ｃは音源から音声が伝えられる媒
質における音速を表わし、δはマイクアレイに設けられ
たマイク間の間隔を表わし、Ｍはアレイに設けられたマ
イクの数を表わし、θはマイクに受信される音声信号の
入射角を各々表わし、δ＝２π／Ｍが成立つ。
質における音速を表わし、δはマイクアレイに設けられ
たマイク間の間隔を表わし、Ｍはアレイに設けられたマ
イクの数を表わし、θはマイクに受信される音声信号の
入射角を各々表わし、δ＝２π／Ｍが成立つ。
【００４３】周波数領域に変換されたＹ（ｆ）を変数θ
により表わし、すなわち、Ｙ（ｆ）を再びθの領域に変
換し、θの領域において受信された音声信号のエネルギ
ーを求めれば、下記の通りである。
により表わし、すなわち、Ｙ（ｆ）を再びθの領域に変
換し、θの領域において受信された音声信号のエネルギ
ーを求めれば、下記の通りである。
【００４４】
【数３】
【００４５】但し、θは０からπの値を有し、Ｙ（ｆ）
を再びθの領域に変換する時、周波数領域における負の
最大値がθの領域における０°に、周波数領域における
０°がθの領域における（ｎ＋１）×δ／２に、周波数
領域における正の最大値がθの領域における（ｎ＋１）
×δにマッピングされるように周波数領域をθの領域に
変換する。
を再びθの領域に変換する時、周波数領域における負の
最大値がθの領域における０°に、周波数領域における
０°がθの領域における（ｎ＋１）×δ／２に、周波数
領域における正の最大値がθの領域における（ｎ＋１）
×δにマッピングされるように周波数領域をθの領域に
変換する。
【００４６】マイクアレイの出力であるＰ（θ，ｋ；
ｍ）によりθによる出力エネルギーの大きさが分かり、
最大出力時のθを決定できるので、受信される音声から
音声信号の直声強度が分かる。この式を全ての周波数ｋ
に対してまとめれば、電力スペクトル値Ｐ（θ；ｍ）は
下記の通りである。
ｍ）によりθによる出力エネルギーの大きさが分かり、
最大出力時のθを決定できるので、受信される音声から
音声信号の直声強度が分かる。この式を全ての周波数ｋ
に対してまとめれば、電力スペクトル値Ｐ（θ；ｍ）は
下記の通りである。
【００４７】
【数４】
【００４８】結論的に、全ての周波数領域において最大
エネルギーを有する話者の方向をθ Sとした時、θS＝ａ
ｒｇｍａｘθＰ（θ；ｍ）のように話者の方向を決定す
ることができる（第４２０段階）。
エネルギーを有する話者の方向をθ Sとした時、θS＝ａ
ｒｇｍａｘθＰ（θ；ｍ）のように話者の方向を決定す
ることができる（第４２０段階）。
【００４９】上述したように、緯度型マイクアレイ２０
１より入力された音声信号から話者の緯度方向の２次元
位置が推定されれば、音源方向推定部３０４２は制御信
号生成部３０４３に検出された話者の方向θSを出力
し、制御信号生成部３０４３は第１回転制御部３０６に
話者の方向であるθSだけ経度型マイクアレイ２０２が
回転するように制御信号を出力する。第１回転制御部３
０６は経度型マイクアレイ２０２をθSだけ回転させて
経度型マイクアレイ２０２が２次元上の話者に正面から
向かうように配置される。経度型マイクアレイ２０２を
話者の方向に回転させる場合、経度型マイクアレイ２０
２だけが回転することも可能であるが、緯度型マイクア
レイ２０１と経度型マイクアレイ２０２とが共に回転す
ることが好ましい。この場合には、緯度型マイクアレイ
２０１と経度型マイクアレイ２０２とにより共用される
マイクが話者に向かえば適当に回転されたと判断できる
（第４３０段階）。
１より入力された音声信号から話者の緯度方向の２次元
位置が推定されれば、音源方向推定部３０４２は制御信
号生成部３０４３に検出された話者の方向θSを出力
し、制御信号生成部３０４３は第１回転制御部３０６に
話者の方向であるθSだけ経度型マイクアレイ２０２が
回転するように制御信号を出力する。第１回転制御部３
０６は経度型マイクアレイ２０２をθSだけ回転させて
経度型マイクアレイ２０２が２次元上の話者に正面から
向かうように配置される。経度型マイクアレイ２０２を
話者の方向に回転させる場合、経度型マイクアレイ２０
２だけが回転することも可能であるが、緯度型マイクア
レイ２０１と経度型マイクアレイ２０２とが共に回転す
ることが好ましい。この場合には、緯度型マイクアレイ
２０１と経度型マイクアレイ２０２とにより共用される
マイクが話者に向かえば適当に回転されたと判断できる
（第４３０段階）。
【００５０】一方、経度型マイクアレイ２０２の回転が
終了すれば、制御信号生成部３０４３はスイッチ３０３
に制御信号を出力し、経度型マイクアレイ２０２より入
力される話者の音声信号を音声信号識別部３０４１に伝
える。方向検出部３０４は経度型マイクアレイ２０２よ
り入力される音声信号を用い、第４２０段階における方
法と同様にして話者の３次元空間上の位置を推定し、結
果的に、話者の３次元空間における位置が、図５Ｂに示
すように決定される。
終了すれば、制御信号生成部３０４３はスイッチ３０３
に制御信号を出力し、経度型マイクアレイ２０２より入
力される話者の音声信号を音声信号識別部３０４１に伝
える。方向検出部３０４は経度型マイクアレイ２０２よ
り入力される音声信号を用い、第４２０段階における方
法と同様にして話者の３次元空間上の位置を推定し、結
果的に、話者の３次元空間における位置が、図５Ｂに示
すように決定される。
【００５１】話者の３次元方向が決定されれば、制御信
号生成部３０４３は第２回転制御部３０７に制御信号を
出力し、超指向性マイク３０８を話者の３次元方向に直
接的に向かうように回転させる（第４５０段階）。
号生成部３０４３は第２回転制御部３０７に制御信号を
出力し、超指向性マイク３０８を話者の３次元方向に直
接的に向かうように回転させる（第４５０段階）。
【００５２】超指向性マイク３０８を介して受信された
話者の音声信号はＡ／Ｄ変換器３０９によりデジタル信
号に変換された後、音声処理部３０５に入力される。入
力された超指向性マイク信号は音声処理部３０５におい
て経度型マイクアレイより受信された話者の音声信号と
共に音質改善の過程に適用できる（第４６０段階）。
話者の音声信号はＡ／Ｄ変換器３０９によりデジタル信
号に変換された後、音声処理部３０５に入力される。入
力された超指向性マイク信号は音声処理部３０５におい
て経度型マイクアレイより受信された話者の音声信号と
共に音質改善の過程に適用できる（第４６０段階）。
【００５３】本発明が適用される環境を示す図６及び音
質改善の過程を示す図７を参照し、第４６０段階の音質
改善過程について説明する。
質改善の過程を示す図７を参照し、第４６０段階の音質
改善過程について説明する。
【００５４】図６に示すように、本発明によるシステム
には、マイクアレイを介して話者の音声信号だけではな
く、壁体などの反射体からの反響信号及び機械などの雑
音源からの雑音が受信される。本発明においては、超指
向性マイク３０８により感知された信号とアレイマイク
により処理された音声信号とを共に処理して音質改善の
効果を最大限に高めることができる。
には、マイクアレイを介して話者の音声信号だけではな
く、壁体などの反射体からの反響信号及び機械などの雑
音源からの雑音が受信される。本発明においては、超指
向性マイク３０８により感知された信号とアレイマイク
により処理された音声信号とを共に処理して音質改善の
効果を最大限に高めることができる。
【００５５】併せて、本発明においては、いったん話者
の方向を決定し、話者の方向に超指向性マイク３０８を
向かわせて超指向性マイク３０８により話者の音声信号
を受信すれば、経度型マイクアレイ２０２または緯度型
マイクアレイ２０１に受信された雑音や反響が音声処理
部３０５に入力されることを防ぐために超指向性マイク
３０８より受信された信号のみを処理することも可能で
ある。但し、話者が位置を突然変えた場合、前述した段
階を再び行って話者の変わった位置を決定するのに時間
がかかり、その期間中には話者の音声が処理されない場
合がある。
の方向を決定し、話者の方向に超指向性マイク３０８を
向かわせて超指向性マイク３０８により話者の音声信号
を受信すれば、経度型マイクアレイ２０２または緯度型
マイクアレイ２０１に受信された雑音や反響が音声処理
部３０５に入力されることを防ぐために超指向性マイク
３０８より受信された信号のみを処理することも可能で
ある。但し、話者が位置を突然変えた場合、前述した段
階を再び行って話者の変わった位置を決定するのに時間
がかかり、その期間中には話者の音声が処理されない場
合がある。
【００５６】このような状況に対応し、本発明によるシ
ステムは、図７に示すブラインド分離回路に緯度型マイ
クアレイ２０１または経度型マイクアレイ２０２より受
信された話者の音声信号と超指向性マイク３０８より受
信された音声信号とを入力することにより、各マイクよ
り入力された話者の音声信号と周りの雑音信号とを分離
し、受信された音声信号の音質を向上させる。
ステムは、図７に示すブラインド分離回路に緯度型マイ
クアレイ２０１または経度型マイクアレイ２０２より受
信された話者の音声信号と超指向性マイク３０８より受
信された音声信号とを入力することにより、各マイクよ
り入力された話者の音声信号と周りの雑音信号とを分離
し、受信された音声信号の音質を向上させる。
【００５７】図７に示すように、マイクアレイに受信さ
れた信号だけではなく、超指向性マイク３０８に受信さ
れた音声信号が遅延時間をもって話者の音声信号を受信
するアレイマイクの遅延時間まで遅延されて合計され、
また処理される。
れた信号だけではなく、超指向性マイク３０８に受信さ
れた音声信号が遅延時間をもって話者の音声信号を受信
するアレイマイクの遅延時間まで遅延されて合計され、
また処理される。
【００５８】図７に示す回路の動作について説明すれ
ば、音声処理部３０５は、ブラインド分離回路にマイク
アレイより入力される信号ｘarray（ｔ）と超指向性マ
イクより入力される信号ｘdirection（ｔ）とを入力す
る。これら２つの入力信号には話者の音声成分と周りの
雑音成分との２種類が存在する。これが図７のブライン
ド分離回路に入力されると、雑音成分と話者の音声成分
とを分離してｙ1（ｔ）及びｙ2（ｔ）を出力する。出力
されるｙ1（ｔ）及びｙ2（ｔ）は、下記式の通りであ
る。
ば、音声処理部３０５は、ブラインド分離回路にマイク
アレイより入力される信号ｘarray（ｔ）と超指向性マ
イクより入力される信号ｘdirection（ｔ）とを入力す
る。これら２つの入力信号には話者の音声成分と周りの
雑音成分との２種類が存在する。これが図７のブライン
ド分離回路に入力されると、雑音成分と話者の音声成分
とを分離してｙ1（ｔ）及びｙ2（ｔ）を出力する。出力
されるｙ1（ｔ）及びｙ2（ｔ）は、下記式の通りであ
る。
【００５９】
【数５】
【００６０】前記式はΔｗarray,j（ｋ）＝−μｔａｎ
ｈ（ｙ1（ｔ））ｙj（ｔ−ｋ）、Δｗ
direction,j（ｋ）＝−μｔａｎｈ（ｙ2（ｔ））ｙ
1（ｔ−ｋ）により決定され、ウェートｗは最尤（Ｍ
Ｌ：Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ）推定法に
基づくものであり、相異なる信号成分が統計的に分離さ
れるように学習された値が使われる。この時、ｔａｎｈ
（）は非線形的なシグモイド（Ｓｉｇｍｏｉｄ）関数を
意味し、μは収束定数であって、ウェートが最適の値を
推定する度合いを決定する。
ｈ（ｙ1（ｔ））ｙj（ｔ−ｋ）、Δｗ
direction,j（ｋ）＝−μｔａｎｈ（ｙ2（ｔ））ｙ
1（ｔ−ｋ）により決定され、ウェートｗは最尤（Ｍ
Ｌ：Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ）推定法に
基づくものであり、相異なる信号成分が統計的に分離さ
れるように学習された値が使われる。この時、ｔａｎｈ
（）は非線形的なシグモイド（Ｓｉｇｍｏｉｄ）関数を
意味し、μは収束定数であって、ウェートが最適の値を
推定する度合いを決定する。
【００６１】話者の音声が出力される間に、音源方向推
定部３０４２は、緯度型マイクアレイ２０１及び経度型
マイクアレイ２０２に受信される話者の音声から話者の
位置が変わったか否かをチェックする。もし、話者の位
置が変わったならば、第４２０段階へ進んで再び話者の
ＸＹ平面上の位置とＹＺ平面上の位置とを推定する。但
し、本発明の実施形態により話者のＹＺ平面上の位置の
みが変わったならば、第４４０段階へ直ちに進んでも良
い（第４７０段階）。
定部３０４２は、緯度型マイクアレイ２０１及び経度型
マイクアレイ２０２に受信される話者の音声から話者の
位置が変わったか否かをチェックする。もし、話者の位
置が変わったならば、第４２０段階へ進んで再び話者の
ＸＹ平面上の位置とＹＺ平面上の位置とを推定する。但
し、本発明の実施形態により話者のＹＺ平面上の位置の
みが変わったならば、第４４０段階へ直ちに進んでも良
い（第４７０段階）。
【００６２】話者の位置が変わっていない場合には、音
声信号識別部３０４１は、第４１０段階における方法と
同様にして話者の音声発話が終了したか否かを検出す
る。ここで、話者の音声発話が終了していなければ、再
び話者の位置が変わったか否かを検出する（第４８０段
階）。
声信号識別部３０４１は、第４１０段階における方法と
同様にして話者の音声発話が終了したか否かを検出す
る。ここで、話者の音声発話が終了していなければ、再
び話者の位置が変わったか否かを検出する（第４８０段
階）。
【００６３】
【発明の効果】上述したように、本発明によれば、指向
性マイクが円形に一定の間隔をもって配置された緯度型
マイクアレイと経度型マイクアレイとを互いと直交する
ように配置することにより、平面的に移動する話者の位
置だけではなく話者の３次元空間上の動きまで考慮で
き、話者がいかなる方向で発音しても話者の音声を受信
できる効果がある。
性マイクが円形に一定の間隔をもって配置された緯度型
マイクアレイと経度型マイクアレイとを互いと直交する
ように配置することにより、平面的に移動する話者の位
置だけではなく話者の３次元空間上の動きまで考慮で
き、話者がいかなる方向で発音しても話者の音声を受信
できる効果がある。
【００６４】併せて、３次元的な話者の位置が決定され
れば、超指向性マイクを話者の方向に向かわせて話者の
音声信号を受信することにより、受信される話者の音声
を最大化し、話者が発音する時に生じる反響や周辺雑音
の影響を最小化して話者の音声を明確に認識させること
により、音声認識の性能を向上させられる。
れば、超指向性マイクを話者の方向に向かわせて話者の
音声信号を受信することにより、受信される話者の音声
を最大化し、話者が発音する時に生じる反響や周辺雑音
の影響を最小化して話者の音声を明確に認識させること
により、音声認識の性能を向上させられる。
【００６５】さらに、超指向性マイクより受信される話
者の音声信号だけではなく緯度型マイクアレイまたは経
度型マイクアレイより受信されてから各マイクごとに一
定の遅延間隔をもって遅延されて合計された信号を超指
向性マイクより受信された信号と共に出力することによ
り、出力効率を高められる効果がある。
者の音声信号だけではなく緯度型マイクアレイまたは経
度型マイクアレイより受信されてから各マイクごとに一
定の遅延間隔をもって遅延されて合計された信号を超指
向性マイクより受信された信号と共に出力することによ
り、出力効率を高められる効果がある。
【００６６】上述した本発明の好適な実施形態は例示的
なものであり、これに対するあらゆる変形及び変更は特
許請求の範囲に属すると理解さるべきである。
なものであり、これに対するあらゆる変形及び変更は特
許請求の範囲に属すると理解さるべきである。
【図１Ａ】従来の技術による平面形マイクアレイシステ
ムの構造を示す図面である。
ムの構造を示す図面である。
【図１Ｂ】従来の技術による円形マイクアレイシステム
の構造を示す図面である。
の構造を示す図面である。
【図２Ａ】本発明による直交円形マイクアレイの構造を
示す図面である。
示す図面である。
【図２Ｂ】本発明によるマイクアレイを具体的に適用し
た例を示す図面である。
た例を示す図面である。
【図２Ｃ】マイクアレイ上にマイクを配置する時の考慮
事項を説明するための図面である。
事項を説明するための図面である。
【図３】本発明による直交円形マイクアレイシステムの
構成を示すブロック図である。
構成を示すブロック図である。
【図４】本発明による音源の３次元方向検出方法を示す
フローチャートである。
フローチャートである。
【図５Ａ】本発明により音源の方向を推定するために音
源の角度を分析する例を示す図面である。
源の角度を分析する例を示す図面である。
【図５Ｂ】最終的に決定された話者の位置を示す図面で
ある。
ある。
【図６】本発明によるシステムが適用される環境を示す
図面である。
図面である。
【図７】音源より受信された音声信号を分離して音質の
向上を図るブラインド分離回路を示す図面である。
向上を図るブラインド分離回路を示す図面である。
２０１ 緯度型マイクアレイ
２０２ 経度型マイクアレイ
３０４ 方向検出部
フロントページの続き
(72)発明者 金 載 ▲祐▼
大韓民国 京畿道 竜仁市 器興邑 永徳
里 15番地 信一アパート 109棟 2006
号
(72)発明者 金 ▲尚▼ 龍
大韓民国 京畿道 竜仁市 水枝邑 上▲
硯▼里 30番地 盛源アパート 118棟
1204号
Ｆターム(参考） 5D015 DD02
5D020 BB04
Claims (16)
- 【請求項１】 音源の３次元方向を検出する直交円形マ
イクアレイシステムであって、 前記音源より音声信号を受信する指向性マイクと、 前記音源より音声信号を受信する所定数のマイクが前記
指向性マイクの周りに配列された第１マイクアレイと、 前記第１マイクアレイと直交するように、前記音源より
音声信号を受信する所定数のマイクが前記指向性マイク
の周りに配列された第２マイクアレイと、 前記第１及び第２マイクアレイより信号を受信し、前記
信号が音声信号であるか否かを識別して音源の位置を推
定する方向検出部と、 前記方向検出部において推定された前記音源の位置に応
じて前記第１マイクアレイ、第２マイクアレイ及び前記
指向性マイクの方向を変える回転制御部と、 前記指向性マイクより受信された音声信号と前記第１及
び第２マイクアレイより受信された音声信号とに対して
演算を行い、演算の行われた音声信号を出力する音声信
号処理部と、を備えることを特徴とする直交円形マイク
アレイシステム。 - 【請求項２】 前記第１及び第２マイクアレイのうち少
なくとも何れか一方は円形であることを特徴とする請求
項１に記載の直交円形マイクアレイシステム。 - 【請求項３】 前記第１及び第２マイクアレイに設けら
れたマイクは互いに一定の間隔を保持することを特徴と
する請求項１に記載の直交円形マイクアレイシステム。 - 【請求項４】 前記第１及び第２マイクアレイに設けら
れたマイクは指向性マイクであることを特徴とする請求
項１に記載の直交円形マイクアレイシステム。 - 【請求項５】 前記方向検出部より入力される音声信号
であって、前記第１マイクアレイより入力される受信信
号または前記第２アレイマイクより入力される受信信号
を前記方向検出部の制御信号に応じて選択するスイッチ
をさらに備えることを特徴とする請求項１に記載の直交
円形マイクアレイシステム。 - 【請求項６】 前記方向検出部は、 前記第１及び第２マイクアレイより受信された信号から
音声信号を識別する音声信号識別部と、 前記音声信号識別部より受信された音声信号から、前記
第１及び第２マイクアレイに設けられたマイクに受信さ
れる音声信号の受信角に応じて音源の方向を推定する音
源方向推定部と、 前記音源方向推定部において推定された方向に前記第１
及び第２マイクアレイを回転させるように制御信号を出
力する制御信号生成部と、を備えることを特徴とする請
求項１ないし請求項５のうち何れか１項に記載の直交円
形マイクアレイシステム。 - 【請求項７】 前記音源方向推定部は、 前記第１または第２マイクアレイに設けられたマイクに
入力される所定レベル以上の音声信号の出力値を合計し
て周波数領域に変換した後、周波数領域に変換された前
記音声信号の出力値の合計値を音声信号の前記マイクに
おける受信角を変数として変換し、最高の電力値を示す
角度を音源の方向として推定することを特徴とする請求
項６に記載の直交円形マイクアレイシステム。 - 【請求項８】 前記所定レベル以上の音声信号の出力値
の合計値ｙ（ｔ）は、アレイマイクの数がＭであり、ｃ
が媒質内における音速であり、アレイの中心から前記マ
イクまでの距離がｒであるとき、 であることを特徴とする請求項７に記載のマイクアレイ
システム。 - 【請求項９】 前記音声信号処理部は、 前記第１及び第２マイクアレイに設けられたマイクの各
々より受信された音声信号を前記各マイク間の位置差に
より生じた最大遅延時間まで遅延させて合計し、前記指
向性マイクより受信された音声信号を前記最大遅延時間
だけ遅延させて前記合計値に加えて所望の音声信号の音
質を改善することを特徴とする請求項１ないし請求項５
のうち何れか１項に記載の直交円形マイクアレイシステ
ム。 - 【請求項１０】 所定数のマイクが配列された第１及び
第２マイクアレイと指向性マイクとを用いて音源の３次
元方向を検出する方法であって、 （ａ）第１マイクアレイより入力される信号から音声信
号を識別する段階と、 （ｂ）前記第１マイクアレイに設けられたマイクに音声
信号が受信される角度に応じて音源の方向を推定し、前
記第１マイクアレイと直交する前記第２マイクアレイに
設けられたマイクが推定された方向に向かうように前記
第２マイクアレイを回転させる段階と、 （ｃ）前記第２マイクアレイに設けられたマイクに音声
信号が入力される角度に応じて前記音源の方向を推定す
る段階と、 （ｄ）前記指向性マイクを（ｂ）及び（ｃ）段階におい
て推定された音源の方向に移動させて音声信号を受信
し、受信された音声信号を出力する段階と、 （ｅ）音源の位置変化及び音源の音声発話が終了したか
否かを検出する段階と、を含むことを特徴とする音源の
３次元方向検出方法。 - 【請求項１１】 前記第１及び第２マイクアレイのうち
少なくとも何れか一方は円形であることを特徴とする請
求項１０に記載の音源の３次元方向検出方法。 - 【請求項１２】 前記第１及び第２マイクアレイに設け
られたマイクは互いに一定の間隔を保持することを特徴
とする請求項１０に記載の音源の３次元方向検出方法。 - 【請求項１３】 前記第１及び第２マイクアレイに設け
られたマイクは指向性マイクであることを特徴とする請
求項１０に記載の音源の３次元方向検出方法。 - 【請求項１４】 前記（ｂ）及び（ｃ）段階は、 前記第１または第２マイクアレイに設けられたマイクに
入力される所定レベル以上の音声信号の出力値を合計し
て周波数領域に変換した後、周波数領域に変換された前
記音声信号の出力値の合計値を音声信号の前記マイクに
おける受信角を変数として変換し、最高の電力値を示す
角度を音源の方向として推定することを特徴とする請求
項１０ないし請求項１３のうち何れか１項に記載の音源
の３次元方向検出方法。 - 【請求項１５】 前記所定レベル以上の音声信号の出力
値の合計値ｙ（ｔ）は、アレイマイクの数がＭであり、
ｃが媒質内における音速であり、アレイの中心から前記
マイクまでの距離がｒであるとき、 であることを特徴とする請求項１４に記載の音源の３次
元方向検出方法。 - 【請求項１６】 前記（ｄ）段階は、 前記第１及び第２マイクアレイに設けられたマイクの各
々より受信された音声信号を前記各マイク間の位置差に
より生じた最大遅延時間だけ遅延させて合計し、前記指
向性マイクより受信された音声信号を前記最大遅延時間
だけ遅延させて前記合計値に加えて所望の音声信号の音
質を改善する段階を含むことを特徴とする請求項１０な
いし請求項１３のうち何れか１項に記載の音源の３次元
方向検出方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR2002-016692 | 2002-03-27 | ||
| KR10-2002-0016692A KR100499124B1 (ko) | 2002-03-27 | 2002-03-27 | 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003304589A true JP2003304589A (ja) | 2003-10-24 |
| JP4191518B2 JP4191518B2 (ja) | 2008-12-03 |
Family
ID=36089199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003086679A Expired - Fee Related JP4191518B2 (ja) | 2002-03-27 | 2003-03-27 | 直交円形マイクアレイシステム及びこれを用いた音源の３次元方向検出方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7158645B2 (ja) |
| EP (1) | EP1349419B1 (ja) |
| JP (1) | JP4191518B2 (ja) |
| KR (1) | KR100499124B1 (ja) |
| DE (1) | DE60303338T2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006118047A1 (ja) * | 2005-04-27 | 2006-11-09 | Star Micronics Co., Ltd. | マイクロホンシステム |
| JP2010532137A (ja) * | 2007-06-28 | 2010-09-30 | マイクロソフト コーポレーション | カメラスピーカフォンのためのマイクロフォン配列 |
| JP2013078118A (ja) * | 2011-09-15 | 2013-04-25 | Jvc Kenwood Corp | ノイズ低減装置、音声入力装置、無線通信装置、およびノイズ低減方法 |
| JP2013078117A (ja) * | 2011-09-15 | 2013-04-25 | Jvc Kenwood Corp | ノイズ低減装置、音声入力装置、無線通信装置、およびノイズ低減方法 |
| KR20140030686A (ko) * | 2012-09-03 | 2014-03-12 | 현대모비스 주식회사 | 차량용 어레이 마이크의 음성 인식 향상 시스템 및 그 방법 |
| US8749650B2 (en) | 2007-06-29 | 2014-06-10 | Microsoft Corporation | Capture device movement compensation for speaker indexing |
| JP2017126895A (ja) * | 2016-01-14 | 2017-07-20 | トヨタ自動車株式会社 | ロボット |
| JP2019057901A (ja) * | 2017-09-22 | 2019-04-11 | 沖電気工業株式会社 | 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム |
| JP2020122861A (ja) * | 2019-01-30 | 2020-08-13 | 富士ソフト株式会社 | ロボットおよびロボットの音声処理方法 |
| US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
| JP2021533595A (ja) * | 2018-08-06 | 2021-12-02 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 音源場所検出のための方法および装置 |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7643641B2 (en) * | 2003-05-09 | 2010-01-05 | Nuance Communications, Inc. | System for communication enhancement in a noisy environment |
| US8724822B2 (en) | 2003-05-09 | 2014-05-13 | Nuance Communications, Inc. | Noisy environment communication enhancement system |
| JP4797330B2 (ja) * | 2004-03-08 | 2011-10-19 | 日本電気株式会社 | ロボット |
| WO2005125267A2 (en) * | 2004-05-05 | 2005-12-29 | Southwest Research Institute | Airborne collection of acoustic data using an unmanned aerial vehicle |
| KR100589446B1 (ko) * | 2004-06-29 | 2006-06-14 | 학교법인연세대학교 | 음원의 위치정보를 포함하는 오디오 부호화/복호화 방법및 장치 |
| JP4873913B2 (ja) * | 2004-12-17 | 2012-02-08 | 学校法人早稲田大学 | 音源分離システムおよび音源分離方法、並びに音響信号取得装置 |
| WO2006103441A1 (en) * | 2005-03-30 | 2006-10-05 | Audiogravity Holdings Limited | Wind noise rejection apparatus |
| KR100827080B1 (ko) * | 2007-01-09 | 2008-05-06 | 삼성전자주식회사 | 사용자 인식 기반의 빔 포밍 장치 및 방법 |
| DE102007016433A1 (de) * | 2007-01-11 | 2008-07-17 | Rheinmetall Defence Electronics Gmbh | Mikrofonanordnungen in kleinen akustischen Antennen |
| KR100877914B1 (ko) * | 2007-01-25 | 2009-01-12 | 한국과학기술연구원 | 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향검지 시스템 및 방법 |
| US7953233B2 (en) * | 2007-03-20 | 2011-05-31 | National Semiconductor Corporation | Synchronous detection and calibration system and method for differential acoustic sensors |
| KR100873000B1 (ko) * | 2007-03-28 | 2008-12-09 | 경상대학교산학협력단 | 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법 |
| US8098842B2 (en) * | 2007-03-29 | 2012-01-17 | Microsoft Corp. | Enhanced beamforming for arrays of directional microphones |
| JP4332753B2 (ja) * | 2007-06-13 | 2009-09-16 | ソニー株式会社 | 音声レコーダ |
| JP5228407B2 (ja) * | 2007-09-04 | 2013-07-03 | ヤマハ株式会社 | 放収音装置 |
| JP5034819B2 (ja) * | 2007-09-21 | 2012-09-26 | ヤマハ株式会社 | 放収音装置 |
| KR100921368B1 (ko) * | 2007-10-10 | 2009-10-14 | 충남대학교산학협력단 | 이동형 마이크로폰 어레이를 이용한 소음원 위치 판별정밀도 개선 시스템 및 방법 |
| KR100936587B1 (ko) | 2007-12-10 | 2010-01-13 | 한국항공우주연구원 | 3차원 마이크로폰 어레이 구조 |
| JP5293305B2 (ja) * | 2008-03-27 | 2013-09-18 | ヤマハ株式会社 | 音声処理装置 |
| US8189807B2 (en) | 2008-06-27 | 2012-05-29 | Microsoft Corporation | Satellite microphone array for video conferencing |
| KR101021800B1 (ko) | 2009-03-27 | 2011-03-17 | 서강대학교산학협력단 | 음향 채널 추정에 기반한 음원 위치 탐지 방법 |
| KR101090182B1 (ko) | 2009-11-17 | 2011-12-06 | 경희대학교 산학협력단 | 음원 방향의 동적 탐지 장치 및 방법 |
| KR101081752B1 (ko) | 2009-11-30 | 2011-11-09 | 한국과학기술연구원 | 인공귀 및 이를 이용한 음원 방향 검지 방법 |
| KR101633380B1 (ko) * | 2009-12-08 | 2016-06-24 | 삼성전자주식회사 | 휴대용 단말기에서 블로우 방향을 인식하기 위한 장치 및 방법 |
| JP5423370B2 (ja) * | 2009-12-10 | 2014-02-19 | 船井電機株式会社 | 音源探査装置 |
| EP2410769B1 (en) * | 2010-07-23 | 2014-10-22 | Sony Ericsson Mobile Communications AB | Method for determining an acoustic property of an environment |
| TW201208335A (en) * | 2010-08-10 | 2012-02-16 | Hon Hai Prec Ind Co Ltd | Electronic device |
| EP2509337B1 (en) * | 2011-04-06 | 2014-09-24 | Sony Ericsson Mobile Communications AB | Accelerometer vector controlled noise cancelling method |
| GB2494849A (en) * | 2011-04-14 | 2013-03-27 | Orbitsound Ltd | Microphone assembly |
| US9031259B2 (en) * | 2011-09-15 | 2015-05-12 | JVC Kenwood Corporation | Noise reduction apparatus, audio input apparatus, wireless communication apparatus, and noise reduction method |
| WO2013187932A1 (en) | 2012-06-10 | 2013-12-19 | Nuance Communications, Inc. | Noise dependent signal processing for in-car communication systems with multiple acoustic zones |
| CN103634721A (zh) | 2012-08-20 | 2014-03-12 | 联想(北京)有限公司 | 一种数据处理方法以及一种电子设备 |
| US9805738B2 (en) | 2012-09-04 | 2017-10-31 | Nuance Communications, Inc. | Formant dependent speech signal enhancement |
| WO2014070139A2 (en) | 2012-10-30 | 2014-05-08 | Nuance Communications, Inc. | Speech enhancement |
| KR101345774B1 (ko) * | 2012-12-12 | 2014-01-06 | 한국과학기술연구원 | 회전형 마이크로폰 어레이를 이용한 3차원 음원의 방향 검지 장치 및 방법 |
| CN103152672B (zh) * | 2013-04-03 | 2015-04-15 | 南京工程学院 | 一种微麦克风阵列接收信号压缩编码及信号恢复方法 |
| KR101502788B1 (ko) | 2013-08-21 | 2015-03-16 | 한국과학기술원 | 복수개의 3차원 인텐시티 프로브를 이용한 음원위치추정시스템 |
| CN104768099B (zh) * | 2014-01-02 | 2018-02-13 | 中国科学院声学研究所 | 用于圆环形阵的模态波束形成器及频域宽带实现方法 |
| KR101673579B1 (ko) * | 2014-04-30 | 2016-11-07 | 광주과학기술원 | 이동체의 위치감지장치, 이동체의 위치감지방법, 조명장치, 공조장치, 보안장치, 및 주차장관리장치 |
| US10009676B2 (en) | 2014-11-03 | 2018-06-26 | Storz Endoskop Produktions Gmbh | Voice control system with multiple microphone arrays |
| EP3079375A1 (en) * | 2015-04-10 | 2016-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Differential sound reproduction |
| US9788109B2 (en) | 2015-09-09 | 2017-10-10 | Microsoft Technology Licensing, Llc | Microphone placement for sound source direction estimation |
| CN105551495A (zh) * | 2015-12-15 | 2016-05-04 | 青岛海尔智能技术研发有限公司 | 一种声音滤噪装置及方法 |
| JP6529451B2 (ja) * | 2016-02-23 | 2019-06-12 | 日本電信電話株式会社 | 音源定位装置、方法、及びプログラム |
| US10492000B2 (en) | 2016-04-08 | 2019-11-26 | Google Llc | Cylindrical microphone array for efficient recording of 3D sound fields |
| US10531210B2 (en) * | 2016-09-29 | 2020-01-07 | Walmart Apollo, Llc | Systems, devices, and methods for detecting spills using audio sensors |
| KR20180037543A (ko) * | 2016-10-04 | 2018-04-12 | 삼성전자주식회사 | 음성 인식 전자 장치 |
| US10276161B2 (en) * | 2016-12-27 | 2019-04-30 | Google Llc | Contextual hotwords |
| US10535360B1 (en) * | 2017-05-25 | 2020-01-14 | Tp Lab, Inc. | Phone stand using a plurality of directional speakers |
| CN107422305B (zh) * | 2017-06-06 | 2020-03-13 | 歌尔股份有限公司 | 一种麦克风阵列声源定位方法和装置 |
| PL236718B1 (pl) * | 2017-07-20 | 2021-02-08 | Politechnika Gdanska | Sonda natężeniowa wraz z układem korekcji |
| CN108172236B (zh) * | 2018-01-12 | 2021-08-20 | 歌尔科技有限公司 | 一种拾音降噪方法以及智能电子设备 |
| CN110495185B (zh) * | 2018-03-09 | 2022-07-01 | 深圳市汇顶科技股份有限公司 | 语音信号处理方法及装置 |
| US10847162B2 (en) * | 2018-05-07 | 2020-11-24 | Microsoft Technology Licensing, Llc | Multi-modal speech localization |
| CN110491376B (zh) * | 2018-05-11 | 2022-05-10 | 北京国双科技有限公司 | 一种语音处理方法及装置 |
| CN112292870A (zh) | 2018-08-14 | 2021-01-29 | 阿里巴巴集团控股有限公司 | 音频信号处理装置及方法 |
| KR102097641B1 (ko) * | 2018-08-16 | 2020-04-06 | 국방과학연구소 | 구형 마이크로폰 어레이를 이용한 음원의 입사 방향 추정방법 |
| CN111050266B (zh) * | 2019-12-20 | 2021-07-30 | 朱凤邹 | 一种基于耳机检测动作进行功能控制的方法及系统 |
| US11514892B2 (en) * | 2020-03-19 | 2022-11-29 | International Business Machines Corporation | Audio-spectral-masking-deep-neural-network crowd search |
| US11425496B2 (en) * | 2020-05-01 | 2022-08-23 | International Business Machines Corporation | Two-dimensional sound localization with transformation layer |
| CN112630730B (zh) * | 2020-11-13 | 2024-04-02 | 清华大学苏州汽车研究院（相城） | 一种基于tdoa多声源定位的虚假声源消除方法 |
| CN113126028B (zh) * | 2021-04-13 | 2022-09-02 | 上海盈蓓德智能科技有限公司 | 一种基于多个麦克风阵列的噪声源定位方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4003016A (en) | 1975-10-06 | 1977-01-11 | The United States Of America As Represented By The Secretary Of The Navy | Digital beamforming system |
| JPS6090499A (ja) | 1983-10-24 | 1985-05-21 | Nippon Telegr & Teleph Corp <Ntt> | 集音装置 |
| US4696043A (en) * | 1984-08-24 | 1987-09-22 | Victor Company Of Japan, Ltd. | Microphone apparatus having a variable directivity pattern |
| WO1994026075A1 (en) | 1993-05-03 | 1994-11-10 | The University Of British Columbia | Tracking platform system |
| US5581620A (en) * | 1994-04-21 | 1996-12-03 | Brown University Research Foundation | Methods and apparatus for adaptive beamforming |
| US5490599A (en) * | 1994-12-23 | 1996-02-13 | Tohidi; Fred F. | Long multi-position microphone support stand |
| JP3797751B2 (ja) * | 1996-11-27 | 2006-07-19 | 富士通株式会社 | マイクロホンシステム |
| US6041127A (en) * | 1997-04-03 | 2000-03-21 | Lucent Technologies Inc. | Steerable and variable first-order differential microphone array |
| JP3344647B2 (ja) * | 1998-02-18 | 2002-11-11 | 富士通株式会社 | マイクロホンアレイ装置 |
| KR100387271B1 (ko) * | 1998-08-06 | 2003-08-21 | 주식회사 싸이시스 | 수동식음원원격측정시스템및그방법 |
| US6845163B1 (en) * | 1999-12-21 | 2005-01-18 | At&T Corp | Microphone array for preserving soundfield perceptual cues |
| CN1436436A (zh) * | 2000-03-31 | 2003-08-13 | 克拉里提有限公司 | 用于话音信号提取的方法和设备 |
| JP2002008189A (ja) * | 2000-06-22 | 2002-01-11 | Matsushita Electric Ind Co Ltd | 車両検出装置および車両検出方法 |
| AU2000267447A1 (en) | 2000-07-03 | 2002-01-14 | Nanyang Technological University | Microphone array system |
| KR20020066475A (ko) * | 2001-02-12 | 2002-08-19 | 이성태 | 음원의 입사각 결정 시스템 및 그 방법 |
-
2002
- 2002-03-27 KR KR10-2002-0016692A patent/KR100499124B1/ko not_active IP Right Cessation
-
2003
- 2003-03-25 US US10/395,104 patent/US7158645B2/en active Active
- 2003-03-27 EP EP03251959A patent/EP1349419B1/en not_active Expired - Fee Related
- 2003-03-27 DE DE60303338T patent/DE60303338T2/de not_active Expired - Lifetime
- 2003-03-27 JP JP2003086679A patent/JP4191518B2/ja not_active Expired - Fee Related
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006311104A (ja) * | 2005-04-27 | 2006-11-09 | Star Micronics Co Ltd | マイクロホンシステム |
| WO2006118047A1 (ja) * | 2005-04-27 | 2006-11-09 | Star Micronics Co., Ltd. | マイクロホンシステム |
| JP2010532137A (ja) * | 2007-06-28 | 2010-09-30 | マイクロソフト コーポレーション | カメラスピーカフォンのためのマイクロフォン配列 |
| US8526632B2 (en) | 2007-06-28 | 2013-09-03 | Microsoft Corporation | Microphone array for a camera speakerphone |
| US8749650B2 (en) | 2007-06-29 | 2014-06-10 | Microsoft Corporation | Capture device movement compensation for speaker indexing |
| JP2013078118A (ja) * | 2011-09-15 | 2013-04-25 | Jvc Kenwood Corp | ノイズ低減装置、音声入力装置、無線通信装置、およびノイズ低減方法 |
| JP2013078117A (ja) * | 2011-09-15 | 2013-04-25 | Jvc Kenwood Corp | ノイズ低減装置、音声入力装置、無線通信装置、およびノイズ低減方法 |
| KR20140030686A (ko) * | 2012-09-03 | 2014-03-12 | 현대모비스 주식회사 | 차량용 어레이 마이크의 음성 인식 향상 시스템 및 그 방법 |
| KR101987966B1 (ko) * | 2012-09-03 | 2019-06-11 | 현대모비스 주식회사 | 차량용 어레이 마이크의 음성 인식 향상 시스템 및 그 방법 |
| JP2017126895A (ja) * | 2016-01-14 | 2017-07-20 | トヨタ自動車株式会社 | ロボット |
| JP2019057901A (ja) * | 2017-09-22 | 2019-04-11 | 沖電気工業株式会社 | 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム |
| US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
| JP2021533595A (ja) * | 2018-08-06 | 2021-12-02 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 音源場所検出のための方法および装置 |
| JP7114752B2 (ja) | 2018-08-06 | 2022-08-08 | アリババ・グループ・ホールディング・リミテッド | 音源場所検出のための方法および装置 |
| JP2020122861A (ja) * | 2019-01-30 | 2020-08-13 | 富士ソフト株式会社 | ロボットおよびロボットの音声処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4191518B2 (ja) | 2008-12-03 |
| KR100499124B1 (ko) | 2005-07-04 |
| US7158645B2 (en) | 2007-01-02 |
| US20030185410A1 (en) | 2003-10-02 |
| DE60303338D1 (de) | 2006-04-13 |
| DE60303338T2 (de) | 2006-10-12 |
| EP1349419B1 (en) | 2006-01-25 |
| EP1349419A2 (en) | 2003-10-01 |
| EP1349419A3 (en) | 2003-11-05 |
| KR20030077797A (ko) | 2003-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4191518B2 (ja) | 直交円形マイクアレイシステム及びこれを用いた音源の３次元方向検出方法 | |
| US11601764B2 (en) | Audio analysis and processing system | |
| US9980042B1 (en) | Beamformer direction of arrival and orientation analysis system | |
| JP7407580B2 (ja) | システム、及び、方法 | |
| WO2020103703A1 (zh) | 一种音频数据处理方法、装置、设备及存储介质 | |
| EP1489596B1 (en) | Device and method for voice activity detection | |
| EP1983799A1 (en) | Acoustic localization of a speaker | |
| US9881634B1 (en) | Multi-microphone speech processing system | |
| CN106663445A (zh) | 声音处理装置、声音处理方法及程序 | |
| US20180146285A1 (en) | Audio Gateway System | |
| JP2015070321A (ja) | 音声処理装置、音声処理方法、及び音声処理プログラム | |
| US20220201421A1 (en) | Spatial audio array processing system and method | |
| Marti et al. | Real time speaker localization and detection system for camera steering in multiparticipant videoconferencing environments | |
| WO2023004223A1 (en) | Noise suppression using tandem networks | |
| Okuno et al. | Robot audition: Missing feature theory approach and active audition | |
| JP2005303574A (ja) | 音声認識ヘッドセット | |
| Zhao et al. | A robust real-time sound source localization system for olivia robot | |
| Novoa et al. | Robustness over time-varying channels in DNN-hmm ASR based human-robot interaction. | |
| JP2005309366A (ja) | 信号処理方法および信号処理装置 | |
| EP4004905A1 (en) | Method and apparatus for normalizing features extracted from audio data for signal recognition or modification | |
| Takahashi et al. | Improvement in listening capability for humanoid robot hrp-2 | |
| JP2005227511A (ja) | 対象音検出方法、音信号処理装置、音声認識装置及びプログラム | |
| JP3518579B2 (ja) | 発言者追随型場内拡声装置と音声入力方法 | |
| Sawada et al. | Improvement of speech recognition performance for spoken-oriented robot dialog system using end-fire array | |
| Ogawa et al. | Speech enhancement using a square microphone array in the presence of directional and diffuse noise |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060210 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080811 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080918 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |