JP2011244232A - マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム - Google Patents

マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム Download PDF

Info

Publication number
JP2011244232A
JP2011244232A JP2010114897A JP2010114897A JP2011244232A JP 2011244232 A JP2011244232 A JP 2011244232A JP 2010114897 A JP2010114897 A JP 2010114897A JP 2010114897 A JP2010114897 A JP 2010114897A JP 2011244232 A JP2011244232 A JP 2011244232A
Authority
JP
Japan
Prior art keywords
sound
suppression
range
noise
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010114897A
Other languages
English (en)
Other versions
JP5672770B2 (ja
Inventor
Naoji Matsuo
直司 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010114897A priority Critical patent/JP5672770B2/ja
Priority to DE102011108234.8A priority patent/DE102011108234B4/de
Priority to US13/107,497 priority patent/US8891780B2/en
Publication of JP2011244232A publication Critical patent/JP2011244232A/ja
Priority to US14/512,849 priority patent/US10140969B2/en
Application granted granted Critical
Publication of JP5672770B2 publication Critical patent/JP5672770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Abstract

【課題】雑音を抑制しつつ目的音の歪みを抑制する技術を提供することを目的とする。
【解決手段】複数のマイクロホンから入力される複数の音信号を取得する音取得部と、前記音取得部で取得し、非抑圧方向に配置したマイクロホンから得られる非抑圧音信号と、前記音取得部で取得し、抑圧方向に配置したマイクロホンから得られる抑圧音信号とを比較して、前記非抑圧音信号に含まれる目的音に対する、前記抑圧方向からの非目的音の影響を評価する評価パラメータを求める評価部と、前記評価パラメータに基づいて、前記非目的音の抑圧量を制御する抑圧部を有し、当該抑圧部を制御することで前記マイクロホンの指向性を制御する指向性制御部と、を備えるマイクロホンアレイ装置を提供する。
【選択図】図2

Description

本発明は、マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラムに関する。
マイクロホンアレイ装置は、所望の目的音源SSからの目的音を取得する。マイクロホンアレイ装置は、所望の目的音の取得のために、例えば図26に示す同期減算方式及び図27に示す方式などを利用している。図26、図27は、従来のマイクロホンアレイ装置を示す説明図である。
図26のマイクロホンアレイ装置は、マイクロホンMIC1及びマイクロホンMIC2を有する。図26において、マイクロホンMIC1の左側に受音方向が設定されており、マイクロホンMIC2の右側に抑圧方向が設定されている。ここで、受音方向とは目的音源SSが含まれる方向であり、抑圧方向とは受音方向とは逆側の方向である。マイクロホンMIC1は、指向性が制御されていない無指向性マイクロホンである。また、マイクロホンMIC2も指向性が制御されていない無指向性マイクロホンである。
遅延部1は、マイクロホンMIC2が取得した雑音を含む音信号を所定の遅延時間だけ遅延させる。次に、減算部2は、マイクロホンMIC1が取得した目的音を含む音信号から、遅延部1からの出力信号を減算する。このような同期減算方式により、マイクロホンアレイ装置は、図26の波線に示す指向性を有するように構成され、抑圧方向からの雑音を抑制しつつ、目的音源SSからの目的音を得ることができる。
また、図27のマイクロホンアレイ装置は、マイクロホンMIC1及びマイクロホンMIC2を有する。図27において、マイクロホンMIC1の左側に受音範囲が設定されており、マイクロホンMIC2の右側に切替範囲及び抑圧範囲が設定されている。受音範囲とは目的音源SSが含まれる範囲であり、抑圧範囲とは、その範囲を音源とする雑音を抑圧するための範囲である。切替範囲とは、受音範囲と抑圧範囲との間に設定され、受音範囲と抑圧範囲との間で雑音の抑圧の程度を徐々に移行させる範囲である。
FFT3aは、マイクロホンMIC1が取得した音信号をFFT変換により、周波数軸上の複素スペクトルIN1(f)に変換する。同様に、FFT3bは、マイクロホンMIC2が取得した音信号をFFT変換により周波数軸上の複素スペクトルIN2(f)に変換する。位相スペクトル差算出部4は、複素スペクトルIN1(f)及び複素スペクトルIN2(f)に基づいて、マイクロホンMIC1が取得した音信号とマイクロホンMIC2が取得した音信号との位相スペクトル差DIFF(f)を算出する。この位相スペクトル差DIFF(f)により、周波数毎に音源がどの範囲に含まれるかを特定可能である。雑音抑圧用ゲイン算出部5は、特定された音源の範囲に基づいて雑音抑圧用ゲインG(f)を算出する。雑音抑圧用ゲインG(f)とは、入出力比を決定する変数であり、この値が調整されることで雑音をどの程度抑圧するかが決定される。雑音抑圧部6は、複素スペクトルIN1(f)と雑音抑圧用ゲインG(f)とに基づいて、雑音が抑圧された出力OUT(f)を算出する。IFFT7は、出力OUT(f)に逆FFT変換を行い出力を得る。このような方式により、マイクロホンアレイ装置は、雑音を抑制しつつ、目的音源SSからの目的音を得ることができる。
特開2007-318528号公報
しかし、上記図26の同期減算方式によれば、減算部2は、雑音の抑圧のために、目的音を含む音信号から、遅延部1からの出力を減算する。そのため、目的音を含む音信号のスペクトルに歪みが生じ、最終的に出力される目的音の音質が変化するなどの影響がある。
さらに、目的音源SSが受音方向に存在するにも関わらず、目的音源SSである話者などの動き、壁の反射、空気の流れなどの周囲の環境などによる音の到来方向のゆらぎにより、マイクロホンアレイ装置は、目的音源SSが抑圧方向にあると誤認識してしまう。このような場合、マイクロホンアレイ装置は、目的音源SSが実際には受音方向にあるにも関わらず、抑圧方向から到来する目的音を雑音とみなして上述の通り同期減算する。これによっても、減算部2から出力される目的音を含む音信号のスペクトルに歪みが生じ、目的音の音質が変化するなどの影響がある。
同様の現象は図27の場合にも生じる。例えば、目的音源SSが受音範囲に存在するにも関わらず、目的音源SSである話者などの動き、周囲の環境などの音のゆらぎにより、マイクロホンアレイ装置は、目的音源SSが切替範囲及び抑圧範囲にあると誤認識してしまう。このような場合、切替範囲及び抑圧範囲から到来する目的音が雑音とみなされ、位相スペクトル差算出部4、雑音抑圧用ゲイン算出部5及び雑音抑圧部6などの処理を経て、目的音が抑圧されてしまう。そのため、IFFT7から出力される目的音を含む音信号のスペクトルに歪みが生じ、目的音の音質が変化するなどの影響がある。
さらに、携帯電話などで目的音源SSからの目的を受音する場合、携帯電話の持ち方によっては受音方向及び受音範囲が変化し得る。このような場合に、目的音を抑圧方向、抑圧範囲及び切換範囲から受音した場合には、マイクロホンアレイ装置は目的音を雑音とみなして抑圧してしまい、目的音に歪みが生じる。
上記図26の同期減算方式及び図27に示す方式などを用いて雑音を抑圧することは必要である。また、上述したように目的音源SSが周囲の環境などにより異なる位置にあると誤認識され、それ故に目的音が雑音とみなされて抑圧されてしまうことも回避できない。さらに、機器の移動により受音方向及び受音範囲が変化してしまうことも回避できない。しかしながら、目的音の歪みを抑制し音質を向上することも必要である。
そこで、雑音を抑制しつつ目的音の歪みを抑制する技術を提供することを目的とする。
上記課題を解決するために、複数のマイクロホンから入力される複数の音信号を取得する音取得部と、前記音取得部で取得し、非抑圧方向に配置したマイクロホンから得られる非抑圧音信号と、前記音取得部で取得し、抑圧方向に配置したマイクロホンから得られる抑圧音信号とを比較して、前記非抑圧音信号に含まれる目的音に対する、前記抑圧方向からの非目的音の影響を評価する評価パラメータを求める評価部と、前記評価パラメータに基づいて、前記非目的音の抑圧量を制御する抑圧部を有し、当該抑圧部を制御することで前記マイクロホンの指向性を制御する指向性制御部と、を備えるマイクロホンアレイ装置を提供する。
以上の手段により、雑音を抑制しつつ目的音の歪みを抑制する技術を提供することができる。
第1実施形態例に係るマイクロホンアレイ装置のハードウェア構成を示すブロック図。 第1実施形態例に係るマイクロホンアレイ装置の機能構成を示すブロック図。 雑音のレベルL(t)とゲインg(t)との関係の一例を示す関係図。 雑音のレベル変化S(t)とゲインg(t)との関係の一例を示す関係図。 本実施形態例に係るマイクロホンアレイ装置が実行する雑音抑圧処理の流れを示すフローチャート。 第2実施形態例に係るマイクロホンアレイ装置の機能構成を示すブロック図。 図6に示すマイクロホンMIC1及びMIC2の配置における、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係を示す関係図。 雑音のレベルL(f)と、レベル相対値(f)と、の関係図。 雑音のレベル変化S(f)と、Rate(f)と、の関係図。 受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図(1)。 受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図(2)。 受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図(3)。 受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図(4)。 雑音の状態を示す総合値LS(f)とゲインg(f)との関係の一例を示す関係図。 本実施形態例に係るマイクロホンアレイ装置が実行する雑音抑圧処理の流れを示すフローチャート。 第3実施形態例に係るマイクロホンアレイ装置の機能構成を示すブロック図 (a)は、(b)の初期設定から変更された受音範囲、切換範囲及び抑圧範囲を説明するための説明図あり、(b)は、受音範囲、切換範囲及び抑圧範囲が初期設定された状態での、ゲインG(f)と位相スペクトル差DIFF(f)との関係を説明するための説明図あり、(c)は、(b)の初期設定から変更された受音範囲、切換範囲及び抑圧範囲を説明するための説明図ある。受音範囲、切換範囲及び抑圧範囲とゲインG(f)との関係を説明するための説明図。 本実施形態例に係るマイクロホンアレイ装置が実行する雑音抑圧処理の流れを示すフローチャート。 第4実施形態例に係るマイクロホンアレイ装置の機能構成を示すブロック図の一例。 (a)は、レベル1≫レベル2の場合の各マイクロホンに対する受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図であり、(b)は、レベル1≒レベル2の場合の各マイクロホンに対する受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図であり、(c)は、レベル1≪レベル2の場合の各マイクロホンに対する受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図である。 (a)は、図20(a)の範囲制御を、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係により表した説明図であり、(b)は、図20(b)の範囲制御を、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係により表した説明図であり、(c)は、図20(c)の範囲制御を、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係により表した説明図である。 本実施形態例に係るマイクロホンアレイ装置が実行する、レベル比に基づく範囲設定処理の流れを示すフローチャートの一例。 第2実施形態例と第4実施形態例とを組み合わせた場合の機能構成を示すブロック図の一例。 (a)は、受音範囲、切換範囲及び抑圧範囲の設定方法の一例を示す説明図であり、(b)は受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図であり、(c)は、(b)の範囲制御を、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係により表した説明図である。 第3実施形態例と第4実施形態例とを組み合わせた場合の機能構成を示すブロック図の一例。 従来のマイクロホンアレイ装置を示す説明図(1)。 従来のマイクロホンアレイ装置を示す説明図(2)。
下記実施形態例では、複数のマイクロホンのうち、2つのマイクロホンで取得した各音信号を用いて処理が行われる。ここで、2つのマイクロホンのうち一方は、受音方向又は受音範囲からの所望とする目的音を含む音を主として取得するためのマイクロホンであり、他方は、抑圧方向、抑圧範囲又は切換範囲からの雑音を含む音を主として取得するためのマイクロホンである。言い換えると、受音方向又は受音範囲に配置されたマイクロホンは、抑圧方向、抑圧範囲又は切換範囲以外の非抑圧方向からの音信号として非抑圧音信号を取得する。一方、抑圧方向、抑圧範囲又は切換範囲に配置されたマイクロホンは抑圧音信号を取得する。ここで、非抑圧音信号には目的音が含まれ、抑圧音信号には非目的音が含まれる。非目的音は、目的音とは異なる音であり、例えば雑音である。
下記実施形態例のマイクロホンアレイ装置は、雑音を抑制しつつ目的音の歪みを抑制するために、まず、非抑圧方向からの非抑圧音信号と、抑圧方向からの抑圧音信号と、の比較結果に基づいて、目的音に対する非目的音の影響を評価するための評価パラメータを求める。マイクロホンアレイ装置は、この評価パラメータに基づいて非目的音の抑圧量を制御し、マイクロホンの指向性を制御する。
評価パラメータとしては、雑音のレベル及び雑音のレベル変化などの雑音の状態を示すパラメータが挙げられる。また、評価パラメータとしては、各音信号のレベルの評価結果により目的音源の方向を示すパラメータが挙げられる。以下では、それぞれ、雑音の状態を示す評価パラメータに基づいて雑音の抑圧処理を行う方法について、一例として第1〜第3実施形態例を挙げて以下に説明し、目的音源の方向を示す評価パラメータ基づいて受音方向を決定する方法について、一例として第4実施形態例を例に挙げて説明する。
第1実施形態例では、2つのマイクロホンで取得した各音信号を時間軸上で処理して雑音の状態を取得し、雑音の状態に基づいた同期減算処理により雑音を抑圧する方法を説明する。
第2実施形態例では、2つのマイクロホンで取得した各音信号を周波数解析して雑音の状態を取得し、雑音の状態に基づいた同期減算処理により雑音を抑圧する方法を説明する。
第3実施形態例では、2つのマイクロホンで取得した各音信号を周波数解析して雑音の状態を取得し、雑音の状態に基づいて雑音抑圧用ゲインを調整して雑音を抑圧する方法を説明する。
第4実施形態例では、2つのマイクロホンで取得した各音信号を周波数解析して、各音信号のレベルを比較し、比較結果に基づいて受音範囲を決定する方法を説明する。
<第1実施形態例>
(1)ハードウェア構成
図1は、第1実施形態例に係るマイクロホンアレイ装置のハードウェア構成を示すブロック図の一例である。マイクロホンアレイ装置100は、例えば、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、マイクロホンアレイ104及び通信I/F(Inter Face)105を有している。
マイクロホンアレイ104には、少なくとも2つのマイクロホンが含まれ、ここでは、マイクロホンMIC1、MIC2・・・MICn(nは2以上の整数)が含まれる。マイクロホンアレイ104において指向性が制御されることで、受音方向から所望の目的音を主として受音し、雑音を抑制することが可能となる。
ROM102は、マイクロホンアレイ装置100が行う後述の各種制御に関わる各種制御プログラムを記憶している。各種プログラムには、例えば後述の雑音状態を取得するためのプログラム、雑音を抑圧するためのプログラムなどが含まれる。また、ROM102は、後述の閾値としての所定値A1、所定値A2などの各種所定値、後述のα、β、τなどの定数又は係数などを記憶している。さらに、ROM102は、後述の雑音のレベルL(f)とレベル相対値(f)との関係、雑音のレベル変化S(f)とRate(f)との関係など、予め設定された関係を記憶している。
RAM103は、ROM102内の各種制御プログラム及びマイクロホンアレイ104が取得した音信号などを一時的に記憶する。また、RAM103は、各種制御プログラムの実行に応じて各種フラグなどの情報を一時的に記憶する。
CPU101は、ROM102に記憶された各種制御プログラムをRAM103に展開し、各種制御を行う。
通信I/F105は、CPU101の制御に基づいて、マイクロホンアレイ装置100を外部のネットワークなどに接続する。例えば、マイクロホンアレイ装置100は、通信I/F105を介して音声認識装置などに接続され、マイクロホンアレイ装置100で処理された音信号を音声認識装置に出力する。
(2)機能構成
図2は、第1実施形態例に係るマイクロホンアレイ装置の機能構成を示すブロック図の一例である。図2では、マイクロホンアレイ装置100が有するマイクロホンアレイ104のうち、マイクロホンMIC1及びマイクロホンMIC2を示している。ここでは、マイクロホンMIC1及びマイクロホンMIC2は、指向性マイクロホンであり、直線上に配置されている。
また、図2において、MIC1の左側に目的音源SSがあり、MIC1の左側に受音方向が設定されている。また、マイクロホンMIC2の右側に抑圧方向が設定されている。ここで、目的音源SSとは、所望の目的音が発生される音源であり、受音方向とは目的音源SSが含まれる方向である。一方、抑圧方向とは、例えば受音方向とは逆側の方向であり、典型的には、受音方向とは180度異なる方向に設定される。ここでは、抑圧方向から到来する音を雑音としている。なお、受音方向及び抑圧方向の設定は、マイクロホンアレイ装置100のユーザ入力受付部(図示せず)を介してユーザから受け付けても良い。あるいは、受音方向及び抑圧方向の設定は、マイクロホンアレイ装置100の方向特定部が(図示せず)、目的音源SSを特定し、その特定された目的音源SSに基づいて行っても良い。
また、マイクロホンMIC1とマイクロホンMIC2とのマイクロホン間隔dは、例えばサンプリング定理を満たすように、次式(1)のように設定される。
マイクロホン間隔d=音速c/サンプリング周波数fs ・・・(1)
このようなマイクロホンアレイ装置100の各機能部による処理は、CPU101、ROM102、RAM103、マイクロホンアレイ104などが互いに連携することにより実行される。
マイクロホンアレイ装置100の各機能部には、例えば、第1音受付部111、第2音受付部112、第1遅延部113、第1減算部114、第2遅延部115、第2減算部116、雑音状態評価部117及び減算調整部118などが含まれる。以下に各機能部について説明する。
(2−1)第1音受付部及び第2音受付部
マイクロホンMIC1は、目的音を含む音を取得し、アナログ信号に変換して第1音受付部111に入力する。第1音受付部111は、AMP(AMPlifier)111a、LPF(Low Pass Filter)111b及びA/D(Analog/Digital)変換器111cを含み、マイクロホンMIC1から入力された目的音を含む音を処理して音信号を生成する。
AMP111aは、マイクロホンMIC1から入力されたアナログ信号を増幅し、LFP111bに入力する。
低域通過フィルタであるLFP111bは、AMP111aの出力を例えば遮断周波数fcにより低域通過濾波する。ここでは、低域通過フィルタをのみ用いているが、帯域通過フィルタ又は高域通過フィルタと併用されても良い。
A/D変換器111cは、サンプリング周波数fs(fs>2fc)でLFP111bの出力を取り込み、デジタル信号に変換し、時間軸上の音信号in1(t)を出力する。
マイクロホンMIC2は、雑音を含む音を取得し、アナログ信号に変換して第2音受付部112に入力する。第2音受付部112は、AMP112a、LPF112b及びA/D変換器112cを含み、マイクロホンMIC2から入力された雑音を含む音を処理して音信号を生成する。AMP112a、LPF112b及びA/D変換器112cによる処理は上記と同様であるので説明を省略する。第2音受付部112は、時間軸上のデジタル信号として音信号in2(t)を出力する。
(2−2)第2遅延部及び第2減算部
第2遅延部115及び第2減算部116は、受音方向以外の方向、つまり抑圧方向からの音を取り込むように、マイクロホンMIC1及びマイクロホンMIC2からなるマイクロホンアレイの指向性を制御する。第2遅延部115及び第2減算部116から出力される音信号の指向性の一例が、図2に“逆の指向性”として実線で示されている。これにより、マイクロホンアレイ装置100は、抑圧方向から到来する雑音を含む音を取得する。
なお、第2遅延部115及び第2減算部116による処理は、第1遅延部113及び第1減算部114による処理とは、逆方向に対する処理である。第1遅延部113及び第1減算部114による処理は、後述の通り、受音方向からの音を取り込むように指向性を制御する処理であり、その指向性は図2において“正の指向性”として波線で示されている。ここでは、受音方向と抑圧方向とは180度の差があり、“正の指向性”と“逆の指向性”とは、互いに左右対称の指向性となっている。
第2遅延部115は、目的音を含む音信号in1(t)を第1音受付部111から受信し、音信号in1(t)を所定期間Taのあいだ遅延させた音信号、例えばin1(ti−1)を生成する。ここで、所定期間Taとは、例えば、マイクロホンMIC1とマイクロホンMIC2との間のマイクロホン間隔dに依存する時間である。上記式(1)のようにマイクロホン間隔dが設定されている場合には、所定期間Taは、信号のサンプリング間隔=1/サンプリング周波数fsで定義される。また、tとは、音信号がマイクロホンに取り込まれた時の時刻であり、tの添え字iは、サンプリング周波数fsで音を取り込んだ時の各音信号のサンプリング番号であり、1以上の整数である。
第2減算部116は、雑音を含む音信号in2(t)を第2音受付部112から受信し、音信号in2(t)から、遅延後の音信号in1(ti−1)を減算し、次式(2)に示すように雑音信号N(ti)を算出する。
雑音信号N(ti)=音信号in2(t)−音信号in1(ti−1)・・・(2)
このような処理により、第2減算部116から出力される雑音信号N(ti)の指向性は“逆の指向性”に設定される。つまり、目的音源SSを含む受音方向以外の方向からの音が主として取り込まれ、受音方向からの目的音を含む音信号が抑圧される。その結果、第2減算部116からは、抑圧方向からの雑音が強調された雑音信号N(ti)が出力される。この雑音信号N(ti)により雑音の状態を把握可能である。
(2−3)雑音状態評価部
雑音状態評価部117は、第2減算部116の出力である雑音信号N(ti)に基づいて、雑音の状態を評価する。雑音の状態としては、例えば雑音のレベル及び雑音のレベル変化などが挙げられる。雑音のレベルとは、雑音の大きさを示す指標である。雑音のレベル変化とは、雑音のレベルの時間的変化が大きいか小さいかを示す指標である。雑音のレベル変化が小さい場合、雑音の定常性が強い、つまり、雑音の非定常性が弱い。逆に、雑音のレベル変化が大きい場合、雑音の定常性が弱い、つまり、雑音の非定常性が強い。雑音のレベル及び雑音のレベル変化は、例えば下記式(3)、(4)で表される。
雑音のレベルL(t)=10log10(N(ti)) ・・・(3)
雑音のレベル変化S(t)=
雑音のレベルL(t)/時刻tより前の雑音のレベルの平均値・・・(4)
その他、雑音状態評価部117は、雑音のレベルL(t)及び雑音のレベル変化S(t)の両方を変数とする関数として、総合値LS(t)を求めても良い。
(2−4)減算調整部
減算調整部118は、雑音の状態に応じて、時間軸上において雑音の抑圧量を調整するためのゲインg(t)を設定する。ゲインg(t)の調整により、減算調整部118での入出力比が調整され、第1減算部114が音信号in1(t)から音信号in2(ti−1)を減算するときの減算量が調整される。結果として、マイクロホンMIC1が取得した音に含まれる雑音の抑圧量が調整される。なお、ゲインg(t)は0以上1.0以下である。また、ゲインg(t)は、音信号のサンプリング毎に更新され得る。または、複数サンプル毎に更新することも可能である。
例えば、減算調整部118は、雑音のレベルL(t)が大きいほどゲインg(t)を1.0に近づけ、雑音のレベルL(t)が小さいほどゲインg(t)を0に近づける。また、減算調整部118は、雑音のレベル変化S(t)が大きく定常性が弱いほどゲインg(t)を1.0に近づけ、雑音のレベル変化S(t)が小さく定常性が強いほどゲインg(t)を0に近づける。具体例を以下に説明する。
(a)雑音のレベルL(t)に応じたゲインg(t)の設定
図3は、雑音のレベルL(t)とゲインg(t)との関係の一例を示す関係図である。各所定値は閾値である。
(a1)雑音のレベルL(t)<所定値A1:ゲインg(t)=0
例えば、雑音のレベルL(t)が所定値A1より小さい場合は、減算調整部118は、雑音のレベルL(t)が小さいと判断し、ゲインg(t)を0に設定する。
(a2)雑音のレベルL(t)>所定値A2:ゲインg(t)=1.0
逆に、雑音のレベルL(t)が所定値A2より大きい場合は、減算調整部118は、雑音のレベルL(t)が大きいと判断し、ゲインg(t)を1.0に設定する。
(a3)所定値A1≦雑音のレベルL(t)≦所定値A2
雑音のレベルL(t)が所定値A1以上であり所定値A2以下の場合は、例えば、下記式(5)に示す一次の加重平均によりゲインg(t)を設定する。なお、一次の加重平均は、一例であり、相加平均、二次の加重平均、三次の加重平均なども使用可能である。
ゲインg(t)=(雑音のレベルL(t)−A1)/(A2−A1)・・・(5)
(b)雑音のレベル変化S(t)に応じたゲインg(t)の設定
図4は、雑音のレベル変化S(t)とゲインg(t)との関係の一例を示す関係図である。
(b1)雑音のレベル変化S(t)<所定値B1:ゲインg(t)=0
例えば、雑音のレベル変化S(t)が所定値B1より小さい場合は、減算調整部118は、雑音のレベル変化が小さく定常性が強いと判断し、ゲインg(t)を0に設定する。
(b2)雑音のレベル変化S(t)>所定値B2:ゲインg(t)=1.0
逆に、雑音のレベル変化S(t)が所定値B2より大きい場合は、減算調整部118は、雑音のレベル変化が大きく定常性が弱いと判断し、ゲインg(t)を1.0に設定する。
(b3)所定値B1≦雑音のレベル変化S(t)≦所定値B2
雑音のレベル変化S(t)が所定値B1以上であり所定値B2以下の場合は、減算調整部118は、例えば、下記式(6)の一次の加重平均によりゲインg(t)を設定する。なお、一次の加重平均は、一例であり、相加平均、二次の加重平均、三次の加重平均なども使用可能である。
ゲインg(t)=(雑音のレベル変化S(t)−B1)/(B2−B1) ・・・(6)
(c)雑音のレベルL(t)及び雑音のレベル変化S(t)に応じたゲインg(t)の設定
減算調整部118は、雑音のレベルL(t)又は雑音のレベル変化S(t)のいずれか一方に基づいてゲインg(t)を設定しても良いし、雑音のレベルL(t)及び雑音のレベル変化S(t)の両方に基づいてゲインg(t)を設定しても良い。
例えば、減算調整部118は、雑音のレベルL(t)<所定値A1の場合、及び/又は、雑音のレベル変化S(t)<所定値B1の場合は、ゲインg(t)を0に設定する。また、減算調整部118は、雑音のレベルL(t)>所定値A2の場合、及び/又は、雑音のレベル変化S(t)>所定値B2の場合は、ゲインg(t)を1.0に設定する。
また、所定値A1≦雑音のレベルL(t)≦所定値A2の場合、及び/又は、所定値B1≦雑音のレベル変化S(t)≦所定値B2のいずれかの条件を満たす場合には、次のようにゲインg(t)が設定され得る。減算調整部118は、条件を満たす雑音の状態が雑音のレベルL(t)である場合には上記式(5)に基づいてゲインg(t)を設定する。また、減算調整部118は、条件を満たす雑音の状態が雑音のレベル変化S(t)である場合には上記式(6)に基づいてゲインg(t)を設定する。また、減算調整部118は、いずれの条件も満たす場合には、上記式(5)又は上記式(6)のいずれかに基づいてゲインg(t)を設定する。
その他、減算調整部118は、総合値LS(t)に応じてゲインg(t)を設定することも可能である。これにより、雑音のレベルL(t)及び雑音のレベル変化S(t)を考慮した雑音の抑圧処理を行うことができる。
減算調整部118は、後述の第1遅延部113から音信号in2(ti−1)を受信する。減算調整部118は、ゲインg(t)と音信号in2(ti−1)とを乗算し、乗算結果を第1減算部114に出力する。
(2−5)第1遅延部、第1減算部
第1遅延部113及び第1減算部114は、受音方向からの音を主として取り込むように指向性を制御する。その指向性は図2において“正の指向性”として波線で示されている。これにより、マイクロホンアレイは受音方向から到来する目的音を含む音を主として取得する。
第1遅延部113は、第2音受付部112からの雑音を含む音信号in2(t)を取り込み、音信号in2(t)を所定期間Taのあいだ遅延させた音信号、例えばin2(ti−1)を生成し、減算調整部118に出力する。
第1減算部114は、目的音を含む音信号in1(t)を第1音受付部111から受信する。また、第1減算部114は、ゲインg(t)と音信号in2(ti−1)との乗算結果を減算調整部118から受信する。第1減算部114は、音信号in1(t)から、乗算結果を減算し、次式(7)に示すように目的音信号OUT(t)を出力する。
目的音信号OUT(t)=
音信号in1(t)−音信号in2(ti−1)×ゲインg(t)・・(7)
このような処理により、第1減算部114から出力される目的音信号OUT(t)の指向性は図2の波線に示すように、受音方向からの音を取り込む指向性を示し、抑圧方向からの雑音を含む音信号が抑圧されている。その結果、第1減算部114からは、受音方向からの目的音が強調された目的音信号OUT(t)が出力される。
ここで、ゲインg(t)は、第1減算部114において、音信号in1(t)から減算する音信号in2(ti−1)の減算量を決定する。つまり、ゲインg(t)は、目的音を含む音信号in1(t)における雑音の抑圧量を決定する。また、ゲインg(t)は、上述の通り雑音の状態によって決定されるため、雑音の抑圧量は雑音の状態によって決定される。
このように雑音の状態に応じて、雑音の抑圧処理が必要な場合は行うが、雑音の抑圧処理の必要度が小さい場合は抑圧処理を緩める又は止めることで、雑音を抑制しつつ、目的音源SSからの目的音の歪みを抑制することができる。
ここで、マイクロホンアレイ装置100は、目的音源SSである話者などの動き、壁の反射、空気の流れなどの周囲の環境による音の到来方向のゆらぎにより、受音方向の目的音源SSが抑圧方向にあると誤認識してしまう場合がある。しかし、このような場合でも、雑音の状態に応じて雑音の抑圧処理が行われるため、雑音の抑圧の程度が小さい場合には目的音の歪みを抑制することができる。
なお、定常性が強い雑音は、一般的にマイクロホンアレイにより雑音の音源方向を特定するのが困難である。例えば、定常性が強い雑音は、一般的に様々な方向から到来しており、またそのレベル変化も小さいため、音源方向が特定しにくい。そこで、雑音の定常性が強い場合は、雑音を抑圧するよりも、目的音源SSからの目的音の歪みを抑制するように制御し、雑音の抑圧量を小さくする。一方、定常性が弱い雑音は、一般的に音源方向を特定するのが容易である。そこで、マイクロホンアレイ装置は、特定された雑音を目的音に対して抑圧する。
(3)処理の流れ
以下に、本実施形態例の処理について図5を用いて説明する。図5は、本実施形態例に係るマイクロホンアレイ装置が実行する雑音抑圧処理の流れを示すフローチャートの一例である。
ステップS1:第1音受付部111は、受音方向からの目的音を含む音信号in1(t)を取得する。第2音受付部112は、抑圧方向からの雑音を含む音信号in2(t)を取得する。
ステップS2:第2遅延部115は、目的音を含む音信号in1(t)を第1音受付部111から受信し、音信号in1(t)を所定期間Taのあいだ遅延させた音信号in1(ti−1)を生成する。
ステップS3:第2減算部116は、音信号in2(t)から音信号in1(ti−1)を減算し、雑音信号N(ti)を算出する。これにより、受音方向以外の方向からの音信号を主として取り込み、受音方向からの目的音を含む音信号が抑圧されるように指向性が制御される。その結果、第2減算部116からは抑圧方向からの雑音が強調された雑音信号N(ti)が出力される。
ステップS4:雑音状態評価部117は、第2減算部116からの出力である雑音信号N(ti)に基づいて、雑音の状態を評価する。雑音の状態としては、例えば、雑音のレベル(t)及び雑音のレベル変化S(t)などが挙げられる。
ステップS5:減算調整部118は、雑音の状態に応じて、時間軸上において雑音の抑圧量を調整するためのゲインg(t)を設定する。
ステップS6:第1遅延部113は、第2音受付部112からの雑音を含む音信号in2(t)を受信し、音信号in2(t)を所定期間Taのあいだ遅延させた音信号in2(ti−1)を生成する。
ステップS7:減算調整部118は、ゲインg(t)と音信号in2(ti−1)とを乗算し、乗算結果を第1減算部114に出力する。
ステップS8:第1減算部114は、目的音を含む音信号in1(t)を第1音受付部111から受信し、音信号in1(t)から、前記乗算結果を減算する。
<第2実施形態例>
第1実施形態例に係るマイクロホンアレイ装置100では、2つのマイクロホンで取得した各音信号を時間軸上で処理した。第2実施形態例に係るマイクロホンアレイ装置200では、2つのマイクロホンで取得した各音信号を周波数軸上で処理して雑音の状態を取得し、雑音の状態に基づいた同期減算処理により雑音を抑圧する。第2実施形態例に係るマイクロホンアレイ装置200のハードウェア構成は第1実施形態例と同様である。また、以下において、第1実施形態例と同様の構成には、同様の符号番号を付している。
(1)機能構成
図6は、第2実施形態例に係るマイクロホンアレイ装置の機能構成を示すブロック図の一例である。図6では、マイクロホンアレイ装置200が有するマイクロホンアレイ104のうち、マイクロホンMIC1及びマイクロホンMIC2を示している。ここでは、マイクロホンMIC1及びマイクロホンMIC2は、無指向性マイクロホンである。
また、図6において、マイクロホンMIC1の左側に目的音源SSがあり、マイクロホンMIC1の左側に目的音が到来する受音方向が設定されている。また、受音方向と180°反対側である、マイクロホンMIC2の右側に抑圧方向が設定されている。ここでは、さらに、目的音源SSを含む所定の角度範囲を受音範囲と設定し、抑圧方向を含む所定の角度範囲を抑圧範囲と設定し、受音範囲と抑圧範囲との間を切換範囲と設定している。切換範囲は、抑圧範囲と受音範囲との間の切り換えを緩やかにし、抑圧範囲から受音範囲にかけて雑音の抑圧の程度を緩やかにするための範囲である。
初期設定として、図6の場合、受音範囲は0°〜−πの角度範囲に設定され、切換範囲は0°〜θ°及び(π−θ)°〜πの角度範囲に設定され、抑圧範囲はθ°〜(π−θ)°の角度範囲に設定されている。
マイクロホンMIC1とマイクロホンMIC2とのマイクロホン間隔dは、第1実施形態例と同様に設定されている。
このようなマイクロホンアレイ装置200の各機能部による処理は、CPU101、ROM102、RAM103、マイクロホンアレイ104などが互いに連携することにより実行される。
マイクロホンアレイ装置200の各機能部には、例えば、第1音受付部111、第2音受付部112、範囲設定部121、第1信号変換部122、第2信号変換部123、位相スペクトル差算出部124、雑音状態評価部125、同期化係数算出部126、同期化部127、減算部128及び信号復元部129などが含まれる。以下に各機能部について説明する。
(1−1)範囲設定部
範囲設定部121は、例えば、ユーザ入力に基づいて各マイクロホンの受音範囲、切換範囲及び抑圧範囲を初期設定する。マイクロホンアレイ装置200は、ユーザ入力受付部(図示せず)を介してユーザ入力を受け付け、ユーザ入力受付部は受け付けたユーザ入力を範囲設定部121に出力する。
また、範囲設定部121は、ROM102内に予め格納された初期値に基づいて各マイクロホンの受音範囲、切換範囲及び抑圧範囲を初期設定しても良い。
さらに、範囲設定部121は、雑音状態評価部125から雑音のレベルL(f)、雑音のレベル変化S(f)及び総合値LS(f)を含む雑音の状態を受信し、雑音の状態に基づいて受音範囲、切換範囲及び抑圧範囲を制御する。これらの範囲の制御については、雑音状態評価部125の項目で説明する。
(1−2)第1音受付部及び第2音受付部
第1音受付部111及び第2音受付部112は第1実施形態例と同様である。第1音受付部111は、マイクロホンMIC1から所定のサンプリング周波数fsで音信号をサンプリングし、時間軸上のデジタル信号として音信号in1(t)を出力する。同様に、第2音受付部112は、マイクロホンMIC2から所定のサンプリング周波数fsで音信号をサンプリングし、時間軸上のデジタル信号として音信号in2(t)を出力する。
(1−3)第1信号変換部、第2信号変換部
第1信号変換部122は、時間軸上の音信号in1(t)を周波数変換し、複素スペクトルIN1(f)を生成する。ここで、fは周波数である。周波数変換としては、例えば、高速フーリエ変換、離散コサイン変換、ウェーブレット変換などを用いることができる。また、サブバンド分割処理のような複数のバンドパスフィルタリング処理なども用いることができる。ここでは、第1信号変換部122は、高速フーリエ変換(FFT:Fast Fourier Transform)を用い、音信号in1(t)の各信号区間にオーバラップしながら窓関数を乗算する。さらに、第1信号変換部122は、乗算結果を高速フーリエ変換し、周波数軸上の複素スペクトルIN1(f)を生成する。
同様に、第2信号変換部123は、時間軸上の音信号in2(t)を周波数変換し、周波数軸上の複素スペクトルIN2(f)を生成する。
ここで、複素スペクトルIN1(f)及び複素スペクトルIN2(f)は下記式(8)、式(9)で表される。
IN1(f)=Wexp(j(2πft+φ1(f))) ・・・(8)
IN2(f)=Wexp(j(2πft+φ2(f))) ・・・(9)
fは周波数、W及びWは振幅、jは単位虚数、φ1(f)及びφ2(f)は周波数fの関数である遅延位相である。また、tとは、音信号がマイクロホンに取り込まれた時の時刻であり、tの添え字iは、サンプリング周波数fsで音を取り込んだ時の各音信号のサンプリング番号であり、1以上の整数である。
オーバラップ窓掛け関数として、例えば、ハミング窓関数、ハニング窓関数、ブラックマン窓関数、3シグマガウス窓関数、又は三角窓関数などを使用可能である。
(1−4)位相スペクトル差算出部
位相スペクトル差算出部124は、第1信号変換部122及び第2信号変換部123から、それぞれ複素スペクトルIN1(f)及び複素スペクトルIN2(f)を受信する。位相スペクトル差算出部124は、複素スペクトルIN1(f)及び複素スペクトルIN2(f)に基づいて、周波数ごとに位相スペクトル差DIFF(f)を算出する。位相スペクトル差DIFF(f)は、間隔dだけ離れたマイクロホンMIC1とマイクロホンMIC2との間での、周波数fごとの音源方向を示す。
ここで、位相スペクトル差DIFF(f)は下記式(10)で表される。
DIFF(f)=tan−1(IN2(f)/IN1(f)) ・・・(10)
=tan−1((W/W)exp(j(φ2(f)−φ1(f)))
図7は、図6のように各範囲が設定された場合における、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係を示す関係図である。図7の場合、横軸の下側が受音範囲であり、横軸の上側が切換範囲及び抑圧範囲であり、斜線部分が切換範囲である。
位相スペクトル差算出部124は、図7に示す関係と、位相スペクトル差DIFF(f)と、に基づいて、到来音の音源がどの範囲に含まれるのかを特定する。例えば、ある周波数fにおける位相スペクトル差DIFF(f)が図7の抑圧範囲内に存在する場合、位相スペクトル差算出部124は、到来音の音源が抑圧範囲にあると判断する。また、ある周波数fにおける位相スペクトル差DIFF(f)が図7の切換範囲内に存在する場合、位相スペクトル差算出部124は、到来音の音源が切換範囲にあると判断する。
なお、マイクロホン間隔dが第1実施形態例の式(1)に設定されているため、位相スペクトル差DIFF(f)は図7に示す受音範囲、切換範囲及び受音範囲のいずれかに含まれる。
このように周波数軸上で所定の周波数ごとに音信号を処理する方が、時間軸上で音信号を処理するよりも、より高い精度で各マイクロホン間の位相スペクトル差を検出することができる。例えば、マイクロホンMIC1からの音信号とマイクロホンMIC2からの音信号には、目的音源SSからの目的音と、他の複数の音源が様々な周波数で発する雑音と、が混在している。よって、周波数ごとに細分化して位相スペクトル差を検出することで、各音の音源方向及び雑音の状態をより精度良く検出することができる。
(1−5)雑音状態評価部
雑音状態評価部125は、位相スペクトル差DIFF(f)に基づいて判断された到来音の音源の範囲を、位相スペクトル差算出部124から受信する。雑音状態評価部125は、位相スペクトル差DIFF(f)が図7の抑圧範囲に含まれる場合、つまり周波数fにおいて、抑圧範囲に到来音の音源が含まれる場合、到来音が雑音であるとみなし、その雑音の状態を評価する。このように、雑音状態評価部125は、音源方向が抑圧範囲にある場合に雑音の状態を評価する。そのため、雑音状態評価部125は、例えば、受音範囲を目的音源とする目的音は雑音の状態の評価に用いないため、概ね雑音そのものに基づいて雑音の状態を正確に評価することができる。
雑音の状態としては、例えば雑音のレベル及び雑音のレベル変化などが挙げられ、以下にそれぞれの算出例を示す。
(a)雑音の状態の算出
(a1)雑音のレベルL(f)の算出
まず、雑音のレベルL(f)の算出方法について説明する。
雑音状態評価部125は、抑圧範囲に到来音の音源が含まれる場合、まず、次式(11)に基づいて|IN1(f)|の平均値を算出する。
|IN1(f)|の平均値=β×(|IN1(f)|の1分析フレーム前の平均値)
+(1−β)×|IN1(f)| ・・・(11)
ここで、βは、|IN1(f)|の平均値を求めるための時定数であり、前の分析フレームの加算割合又は合成割合を示す。1分析フレーム前とは、ここでは、高速フーリエ変換における分析窓のシフト、つまり、オーバラップさせる長さ分だけ遡った時を言う。βは0より大きく1.0未満である。
また、|IN1(f)|の平均値を算出することは、|IN1(f)|に平滑化フィルタを適用することと同義であり、その場合にはβは平滑化フィルタの時定数である。
次に、雑音状態評価部125は、|IN1(f)|の平均値が示す雑音のレベルについて、フルスケールに対するレベル相対値(f)を算出する。ここで、デジタル信号である|IN1(f)|はビットにより表される。このとき、ビットで表される|IN1(f)|のレベルについて、その最大値と最小値との比をデシベルで表したものを、ここではフルスケールと言う。例えば、|IN1(f)|が16bitで表される場合、|IN1(f)|のレベルの最大値と最小値との比をデシベル値で表すと、約98デジベルである。よって、この場合、フルスケールは98デシベルと設定できる。なお、フルスケールは、|IN1(f)|を表現するビット数により値が変わる。以下では、|IN1(f)|は16ビットで表されるものとする。
フルスケール(ここでは98デジベル)に対する、|IN1(f)|の平均値のレベル相対値(f)は、次式(12)により表される。
レベル相対値(f)=98−10log10(|IN1(f)|の平均値)
=98−20log10(|IN1(f)|の平均値)・・(12)
さらに、雑音状態評価部125は、雑音のレベルL(f)と、レベル相対値(f)と、の予め設定された関係に基づいて、雑音のレベルL(f)を算出する。
図8は、雑音のレベルL(f)と、レベル相対値(f)と、の関係図の一例である。雑音状態評価部125は、図8の関係図を参照し、レベル相対値(f)に対応する雑音のレベルL(f)を次のように求める。なお、雑音のレベルL(f)は、0≦雑音のレベルL(f)≦1.0の範囲で定義され、1.0に近づくほどレベルが大きく、0に近づくほどレベルが小さいとする。
例えば、レベル相対値(f)がγ2より大きい(レベル相対値(f)>γ2)場合、つまり、雑音のレベルが大きい場合、雑音状態評価部125は、雑音のレベルL(f)を1.0と算出する。また、レベル相対値(f)がγ1より小さい(レベル相対値(f)<γ1)場合、つまり、雑音のレベルが小さい場合、雑音状態評価部125は、雑音のレベルL(f)を0と算出する。例えば、γ1は58dbであり、γ2は68dbであり、実験から求め得る。
また、レベル相対値(f)がγ1以上、かつ、γ2以下である(γ1≦レベル相対値(f)≦γ2)場合は、例えば、下記式(13)に示す一次の加重平均により雑音のレベルL(f)を算出する。なお、一次の加重平均は、一例であり、相加平均、二次の加重平均、三次の加重平均なども使用可能である。
雑音のレベルL(f)=(レベル相対値(f)−γ1)/(γ2−γ1)・・(13)
(a2)雑音のレベル変化S(f)の算出
次に、雑音のレベル変化S(f)の算出方法について説明する。
雑音状態評価部125は、抑圧範囲に到来音の音源が含まれる場合、まず、前述の式(11)に基づいて|IN1(f)|の平均値を算出する。
次に、雑音状態評価部125は、|IN1(f)|と|IN1(f)|の平均値との比であるRate(f)を次式(14)により算出する。
Rate(f)=|IN1(f)|/|IN1(f)|の平均値 ・・・(14)
さらに、雑音状態評価部125は、雑音のレベル変化S(f)と、Rate(f)と、の予め設定された関係に基づいて、雑音のレベル変化S(f)を算出する。図9は、雑音のレベル変化S(f)と、Rate(f)と、の関係図の一例である。なお、雑音のレベル変化S(f)は、0≦雑音のレベル変化S(f)≦1.0の範囲で定義され、1.0に近づくほど雑音のレベル変化が大きく定常性が弱いとする。一方、雑音のレベル変化S(f)は、0に近づくほど雑音のレベル変化が小さく定常性が強いとする。雑音状態評価部125は、図9の関係図を参照し、Rate(f)に対応する雑音のレベル変化S(f)を次のように求める。
例えば、Rate(f)がδ2より大きい(Rate(f)>δ2)場合、雑音状態評価部125は、雑音のレベル変化S(f)を1.0と算出する。また、Rate(f)がδ1より小さい(Rate(f))<δ1)場合、雑音状態評価部125は、雑音のレベル変化S(f)を0と算出する。例えば、δ1は0.7であり、γ2は1.4であり、実験から求め得る。
また、Rate(f)がδ1以上、かつ、δ2以下である(δ1≦Rate(f)≦δ2)場合は、例えば、下記式(15)に示す一次の加重平均により雑音のレベル変化S(f)を算出する。なお、一次の加重平均は、一例であり、相加平均、二次の加重平均、三次の加重平均なども使用可能である。
雑音のレベル変化S(f)=
(Rate(f)−δ1)/(δ2−δ1) ・・・(15)
(a3)総合値LS(f)の算出
また、雑音状態評価部125は、雑音のレベルL(f)及び雑音のレベル変化S(f)の両方を変数とする関数として、総合値LS(f)を算出する。総合値LS(f)は、例えば、雑音のレベルL(f)及び雑音のレベル変化S(f)の一次の加重平均により次式(16)により算出可能である。
総合値LS(f)=τ×L(f)+(1−τ)×S(f) ・・・(16)
ここで、τは、雑音のレベルL(f)及び雑音のレベル変化S(f)が総合値LS(f)に占める割合を決定する値であり、実験から求め得る。また、τは、0≦τ≦1.0の範囲で定義される。
総合値LS(f)は、0≦総合値LS(f)≦1.0の範囲で定義される。雑音のレベルL(f)が大きく、かつ、雑音のレベル変化S(f)が大きいほど、総合値LS(f)は1.0に近づくとする。逆に、雑音のレベルL(f)が小さく、かつ、雑音のレベル変化S(f)が小さいほど、総合値LS(f)は0に近づくとする。
ここで、雑音状態評価部125は、雑音のレベルL(f)<雑音のレベル変化S(f)が所定期間のあいだ継続すると、τの値を増加する。これにより、雑音のレベルL(f)<雑音のレベル変化S(f)の状態において、雑音のレベル変化S(f)が総合値LS(f)に与える影響を小さくする。逆に、雑音状態評価部125は、雑音のレベルL(f)>雑音のレベル変化S(f)が所定期間のあいだ継続すると、τの値を減らす。これにより、雑音のレベルL(f)>雑音のレベル変化S(f)の状態において、雑音のレベルL(f)が総合値LS(f)に与える影響を小さくする。このような処理により、総合値LS(f)は、雑音のレベルL(f)及び雑音のレベル変化S(f)の両方が適度に考慮された関数となり得る。
(b)範囲設定部による雑音の状態に基づいた範囲の制御
次に、雑音の状態に基づいた、受音範囲、切換範囲及び抑圧範囲の制御方法について説明する。
まず、範囲設定部121は、雑音状態評価部125から雑音のレベルL(f)及び雑音のレベル変化S(f)を含む雑音の状態を受信する。次に、範囲設定部121は、雑音の状態に基づいて受音範囲、切換範囲及び抑圧範囲を制御し、マイクロホンMIC1及びマイクロホンMIC2を含むマイクロホンアレイの指向性を制御する。図10〜図13は、受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図である。特に、図11及び図13は、図10及び図12における範囲制御を、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係により表した関係図である。
まず図10について説明する。範囲設定部121は、雑音のレベルL(f)が大きく、例えば雑音のレベルL(f)=1.0の場合、切換範囲を狭めて抑圧範囲を広げる。図10を参照すると、切換範囲と抑圧範囲との境界が、変更前から変更後にかけて受音範囲側に移動している。抑圧範囲を広げることで、抑圧範囲を音源とする雑音を効率的に抑圧することができるようにマイクロホンアレイの指向性を制御できる。また、受音範囲を固定のままで、抑圧範囲及び切換範囲を調整するため、目的音源SSからの目的音を効率よく集音しつつ、雑音を抑圧することができる。なお、受音範囲を狭めても良い。
範囲設定部121は、雑音のレベル変化S(f)が大きく定常性が弱い場合、例えば雑音のレベル変化S(f)=1.0の場合も、図10と同様に各範囲を制御する。また、総合値LS(f)の値が大きく、例えば総合値LS(f)=1.0の場合も、範囲設定部121は、図10と同様に各範囲を制御する。
図11では、図10に示した各範囲の制御が、各周波数と位相スペクトル差DIFF(f)との関係図に示されている。図11において、横軸の下側が受音範囲であり、横軸の上側が切換範囲及び抑圧範囲であり、斜線部分が切換範囲である。点P1は、ある周波数fにおける位相スペクトル差DIFF(f)が、図11の範囲内に占める位置を示す。点P1は、切換範囲が狭められる前は切換範囲に位置しているが、切換範囲が狭められた後は抑圧範囲に位置している。よって、点P1の特性を示す雑音の抑圧量は、切換範囲の変更前よりも変更後の方が増加している。このような切換範囲を狭めて抑圧範囲を広げる制御により、雑音が効率よく抑圧されているのが分かる。
次に、図12について説明する。範囲設定部121は、雑音のレベルL(f)が小さく、例えば雑音のレベルL(f)=0の場合、切換範囲を広げて抑圧範囲を狭くする。図12を参照すると、切換範囲と抑圧範囲との境界が、変更前から変更後にかけて抑圧範囲側に移動している。抑圧範囲を狭めることで、受音範囲の目的音源SSからの目的音の歪みを抑制しつつ、抑圧範囲を音源とする雑音も抑圧することができるようにマイクロホンアレイの指向性を制御できる。また、切換範囲が広がることで、受音範囲から抑圧範囲への切り換えが緩やかになり、雑音の抑圧の程度を減らすことができる。
ここで、マイクロホンアレイ装置200は、目的音源SSである話者などの動き、周囲の環境などによる音の到来方向のゆらぎにより、受音範囲の目的音源SSが切替範囲にあると誤認識してしまう場合がある。しかし、このような場合でも、図12のように範囲が制御されることで、雑音の抑圧の程度を抑えることができ、目的音の歪みを抑制することができる。
範囲設定部121は、雑音のレベル変化S(f)が小さく定常性が強い場合、例えば雑音のレベル変化S(f)=0の場合も、図12と同様に各範囲を制御する。また、総合値LS(f)の値が小さく、例えば総合値LS(f)=0の場合も、図12と同様に各範囲を制御する。
図13では、図12に示した各範囲の制御が、各周波数と位相スペクトル差DIFF(f)との関係図に示されている。点P2は、ある周波数fにおける位相スペクトル差DIFF(f)が、図13の範囲内に占める位置を示す。点P2は、切換範囲が広げられる前は抑圧範囲に位置しているが、切換範囲が広げられた後は切換範囲に位置している。よって、点P2の特性を示す雑音の抑圧量は、切換範囲の変更前よりも変更後の方が小さくなっている。このような切換範囲を広げて抑圧範囲を狭める制御により、雑音の抑圧量を低下させて目的音の歪みを抑制することができる。
上記では、範囲設定部121は、切換範囲及び抑圧範囲のみを制御したが、受音範囲も制御しても良い。例えば、図10、図11において、雑音のレベルL(f)が大きい場合には、受音範囲を狭めて抑圧範囲を広げる、あるいは、受音範囲及び切換範囲の両方を狭めて抑圧範囲を広げる。また、図12、図13において、雑音のレベルL(f)が小さい場合には、受音範囲を広げて抑圧範囲を狭くする、あるいは、受音範囲及び切換範囲の両方を広げて抑圧範囲を狭くする。
(1−6)同期化係数算出部
同期化係数算出部126は、雑音の状態に基づいて設定された受音範囲、切換範囲及び抑圧範囲の情報を範囲設定部121から受信する。同期化係数算出部126は、位相スペクトル差DIFF(f)を位相差スペクトル差算出部124から受信する。同期化係数算出部126は、雑音の状態に基づいた受音範囲、切換範囲及び抑圧範囲と、位相スペクトル差DIFF(f)と、に基づいて、次の(a1)〜(a3)のように同期化係数C(f)を算出する。
(a)同期化係数C(f)
(a1)位相スペクトル差DIFF(f)が抑圧範囲にある場合
同期化係数算出部126は、位相スペクトル差DIFF(f)が抑圧範囲にある場合は、次式(17)に基づいて同期化係数C(f)を算出する。
ここで、同期化係数算出部126は、マイクロホンMIC1が取得する雑音について次のような推定を行っている。特定の周波数fについてマイクロホンMIC1が取得した音には、抑圧範囲からの雑音が含まれている。同期化係数算出部126は、マイクロホンMIC1のこの雑音は、マイクロホンMIC2が取得した音に含まれる同じ雑音が、位相スペクトル差DIFF(f)だけ遅れてマイクロホンMIC1に到達したものであると推定している。
同期化係数C(f)
=α×C(f)’+(1−α)×(INI(f)/IN2(f))・・・(17)
ここで、C(f)’は、更新前の同期化係数である。同期化係数C(f)の更新は、例えば1分析フレーム毎に行われる。αは、同期化のための前の分析フレームの遅延位相量の加算割合又は合成割合を示す。αは0より大きく1.0未満である。
(a2)位相スペクトル差DIFF(f)が受音範囲にある場合
同期化係数算出部126は、位相スペクトル差DIFF(f)が受音範囲にある場合は、次式(18)又は(19)に基づいて同期化係数C(f)を算出する。
同期化係数C(f)=exp(−2πf/fs) ・・・(18)
または,同期化係数C(f)=0 ・・・(19)
fsはサンプリング周波数である。
(a3)位相スペクトル差DIFF(f)が切換範囲にある場合
同期化係数算出部126は、位相スペクトル差DIFF(f)が切換範囲にある場合は、その位置に応じて、上記(a1)及び上記(a2)に基づく同期化係数C(f)の算出結果を例えば加重平均することにより同期化係数C(f)を算出する。
同期化係数C(f)の算出例を、再び図11及び図13を用いて説明する。図11の場合、点P1は、切換範囲が狭められる前は切換範囲に位置しているが、切換範囲が狭められた後は抑圧範囲に位置している。よって、同期化係数算出部126は、範囲の変更前は上記(a3)の加重平均に基づいて同期化係数C(f)を算出する。一方、同期化係数算出部126は、範囲の変更後は抑圧範囲での式(17)に基づいて同期化係数C(f)を算出する。
図13の場合、点P2は、切換範囲が広げられる前は抑圧範囲に位置しているが、切換範囲が広げられた後は切換範囲に位置している。よって、同期化係数算出部126は、範囲の変更前は抑圧範囲での式(17)に基づいて同期化係数C(f)を算出する。一方、同期化係数算出部126は、範囲の変更後は上記(a3)の加重平均に基づいて同期化係数C(f)を算出する。
(b)ゲインg(f)に依存する同期化係数Cg(f)
同期化係数算出部126は、上記(a1)〜(a3)に基づいて算出した同期化係数C(f)に、次式(20)に示すようにさらにゲインg(f)を乗算し、ゲインg(f)に依存する同期化係数Cg(f)を算出しても良い。
同期化係数Cg(f)=ゲインg(f)×同期化係数C(f) ・・・(20)
ここで、ゲインg(f)は、周波数軸上において雑音の抑圧量を調整するためのゲインである。同期化係数算出部126は、ゲインg(f)を雑音の状態に応じて設定する。図14は、雑音の状態を示す総合値LS(f)とゲインg(f)との関係の一例を示す関係図である。同期化係数算出部126は、前記式(16)で算出した総合値LS(f)と図14とに基づいてゲインg(f)を設定する。なお、ゲインg(f)は0以上1.0以下である。後述の減算部128が、ゲインg(f)に依存する同期化係数Cg(f)を用いて処理を行うことで、複素スペクトルIN1(f)からの複素スペクトルIN2(f)の減算量が調整される。結果として、マイクロホンMIC1が取得した音に含まれる雑音の抑圧量が調整される。
なお、ここでは総合値LS(f)に基づいてゲインg(f)を算出したが、その他、雑音のレベルL(f)又は雑音のレベル変化S(f)に基づいて算出しても良い。
(1−7)同期化部
同期化部127は、同期化係数算出部126から、同期化係数C(f)又はゲインg(f)に依存する同期化係数Cg(f)を受信する。同期化部127は、雑音の状態に基づいて、同期化係数C(f)又は同期化係数Cg(f)のいずれかを用いて同期化を行う。あるいは、同期化部127は、いずれの同期化係数を用いるかについての初期設定に基づいて、同期化を行っても良い。
例えば、同期化係数Cg(f)を用いる場合には、同期化部127は、次式(21)に示すように複素スペクトルIN2(f)に同期化係数Cg(f)を乗算する。これにより、複素スペクトルIN2(f)が複素スペクトルIN1(f)に同期化された複素スペクトルINs2(f)を算出する。
INs2(f)=Cg(f)×IN2(f) ・・・(21)
なお、ここでは、同期化係数としてCg(f)を用いたが、C(f)を用いても良い。
(1−8)減算部
減算部128は、次式(22)に示すように、複素スペクトルIN1(f)から同期化された複素スペクトルINs2(f)を減算し、出力OUT(f)を得る。
OUT(f)=IN1(f)−INs2(f) ・・・(22)
(1−9)信号復元部
信号復元部129は、減算部128からの出力OUT(f)を時間軸上の信号に変換する。信号復元部129での処理は、第1及び第2信号変換部122、123での変換に対して逆変換処理である。ここでは、信号復元部129は、出力OUT(f)を逆高速フーリエ変換(IFFT)する。さらに、信号復元部129は、逆高速フーリエ変換の結果をオーバラップ加算し、マイクロホンMIC1の時間軸上の出力信号を生成する。
(2)処理の流れ
以下に、本実施形態例の処理について図15を用いて説明する。図15は、本実施形態例に係るマイクロホンアレイ装置が実行する雑音抑圧処理の流れを示すフローチャートの一例である。
ステップS11:範囲設定部121は、例えば、ユーザ入力に基づいて各マイクロホンの受音範囲、切換範囲及び抑圧範囲を初期設定する。
ステップS12:第1音受付部111及び第2音受付部112は、時間軸上の音信号in1(t)及び音信号in2(t)を取得する。
ステップS13、S14:第1信号変換部122は、音信号in1(t)の各信号区間にオーバラップ窓関数を乗算し(S13)、さらに高速フーリエ変換して周波数軸上の複素スペクトルIN1(f)を生成する(S14)。同様に、第2信号変換部123は、音信号in2(t)を周波数変換し、周波数軸上の複素スペクトルIN2(f)を生成する。
ステップS15:位相スペクトル差算出部124は、周波数fごとに、複素スペクトルIN1(f)と複素スペクトルIN2(f)との間の位相スペクトル差DIFF(f)を算出する。
ステップS16:位相スペクトル差算出部124は、位相スペクトル差DIFF(f)が受音範囲、切換範囲及び抑圧範囲のどの範囲に含まれるかを判断する。位相スペクトル差DIFF(f)が抑圧範囲に含まれる場合はステップS17に進み、そうでない場合はステップS12に戻る。
ステップS17:雑音状態評価部125は、位相スペクトル差DIFF(f)が抑圧範囲に含まれる場合、つまり到来音の音源が抑圧範囲に含まれる場合、到来音が雑音であるとみなし、その雑音の状態を評価する。雑音の状態としては、雑音のレベルL(f)、雑音のレベル変化S(f)及びそれらの総合値LS(f)などが挙げられる。
ステップS18:範囲設定部121は、雑音状態評価部125から雑音の状態を取得し、雑音の状態に基づいて受音範囲、切換範囲及び抑圧範囲を制御してマイクロホンアレイの指向性を制御する。
ステップS19:同期化係数算出部126は、雑音の状態に基づいて設定された受音範囲、切換範囲及び抑圧範囲と、位相スペクトル差DIFF(f)と、に基づいて、同期化係数C(f)を算出する。
ステップS20:同期化係数C(f)をさらに調整し、ゲインg(f)に依存する同期化係数Cg(f)を算出する場合は、ステップS21に進み、そうでない場合はステップS24に進む。
ステップS21:同期化係数算出部126は、同期化係数C(f)にゲインg(f)を乗算し、ゲインg(f)に依存する同期化係数Cg(f)を算出する。ここで、ゲインg(f)は、周波数軸上において雑音の抑圧量を調整するためのゲインである。
ステップS22:同期化部127は、複素スペクトルIN2(f)に同期化係数Cg(f)を乗算し、複素スペクトルIN2(f)を複素スペクトルIN1(f)に同期化する。
ステップS23:減算部128は、複素スペクトルIN1(f)からステップS22の乗算結果を減算し、出力OUT(f)を得る。
ステップS24:同期化部127は、複素スペクトルIN2(f)に同期化係数C(f)を乗算し、複素スペクトルIN2(f)を複素スペクトルIN1(f)に同期化する。
ステップS25:減算部128は、複素スペクトルIN1(f)からステップS24の乗算結果を減算し、出力OUT(f)を得る。
ステップS26:信号復元部129は、減算部128からの出力OUT(f)を時間軸上の信号に変換し、さらにオーバラップ加算して、マイクロホンMIC1における時間領域の出力信号を出力する。処理が終了すると、ステップS12に戻り、例えば所定のサンプリング周波数に基づいた間隔で上記処理が繰り返される。
このように上記マイクロアレイ装置200によれば、雑音の状態に応じて受音範囲、切換範囲及び抑圧範囲を制御するため、雑音の状態に応じて雑音を抑圧することができる。例えば、雑音のレベルL(f)が大きい場合には、切換範囲を狭めて抑圧範囲を広げることで、抑圧範囲を音源とする雑音を効率的に抑圧することができる。
また、例えば、雑音のレベルL(f)が小さい場合には、切換範囲を広げて抑圧範囲を狭めることで、目的音源SSからの目的音の歪みを抑制しつつ、抑圧範囲を音源とする雑音も抑圧することができる。このとき、切換範囲が広がるため、受音範囲から抑圧範囲への切り換えが緩やかになり、雑音の抑圧の程度を緩やかにすることができる。
ここで、音の揺らぎなどにより受音範囲の目的音源SSが切換範囲にあると誤認識されたとしても、切換範囲からマイクロホンアレイ装置200に到来した音の状態によっては、抑圧の程度が緩められる。例えば前述のように切換範囲が広げられた場合には、雑音と誤認識された目的音の抑圧の程度が緩められ、目的音源SSからの目的音の歪みを抑えることができる。
以上のように、雑音の状態に応じて雑音の抑圧処理が行われるため、雑音の抑圧の必要度に応じて雑音が抑圧される。よって、目的音の歪みを抑制することができる。
<第3実施形態例>
第2実施形態例に係るマイクロホンアレイ装置200では、2つのマイクロホンで取得した各音信号を周波数軸上で処理して雑音の状態を取得し、雑音の状態に基づいた同期減算処理により雑音を抑圧する。
第3実施形態例に係るマイクロホンアレイ装置300では、2つのマイクロホンで取得した各音信号を周波数軸上で処理して雑音の状態を取得し、雑音の状態に基づいて、雑音の抑圧量を調整するためのゲインを調整して雑音を抑圧する。
第3実施形態例に係るマイクロホンアレイ装置300のハードウェア構成は第1実施形態例と同様である。また、以下において、第2実施形態例と同様の構成には、同様の符号番号を付している。
(1)機能構成
図16は、第3実施形態例に係るマイクロホンアレイ装置の機能構成を示すブロック図の一例である。第3実施形態例に係るマイクロホンアレイ装置300は、図6に示す第2実施形態例に係るマイクロホンアレイ装置200と同様に、第1音受付部111、第2音受付部112、範囲設定部121、第1信号変換部122、第2信号変換部123、位相スペクトル差算出部124、雑音状態評価部125及び信号復元部129を有している。これらの機能部での処理は第2実施形態例と同様である。
以下に、雑音抑圧用ゲイン算出部140及びゲイン乗算部141について説明する。
(1−1)雑音抑圧用ゲイン算出部
雑音抑圧用ゲイン算出部140は、雑音の状態に基づいて設定された受音範囲、切換範囲及び抑圧範囲の情報を範囲設定部121から受信する。また、雑音抑圧用ゲイン算出部140は、位相スペクトル差DIFF(f)を位相差スペクトル差算出部124から受信する。雑音抑圧用ゲイン算出部140は、雑音の状態に基づいた受音範囲、切換範囲及び抑圧範囲と、位相スペクトル差DIFF(f)と、に基づいて、周波数軸上において雑音の抑圧量を調整するためのゲインG(f)を算出する。なお、ゲインG(f)は0以上1.0以下である。
例えば、雑音抑圧用ゲイン算出部140は、位相スペクトル差DIFF(f)が受音範囲に含まれる場合は、ゲインG(f)を1.0に設定し、抑圧範囲に含まれる場合は、ゲインG(f)を0に設定する。また、雑音抑圧用ゲイン算出部140は、位相スペクトル差DIFF(f)が切換範囲に含まれる場合は、その位置に応じて、抑圧範囲でのゲインG(f)と受音範囲でのゲインG(f)とを例えば一次の加重平均する。なお、一次の加重平均は、一例であり、相加平均、二次の加重平均、三次の加重平均なども使用可能である。
このようなゲインG(f)の調整により、ゲイン乗算部141において、複素スペクトルIN1(f)のレベルの抑圧量が調整され、これによりマイクロホンMIC1が取得した音に含まれる雑音の抑圧量を調整する。また、ゲインG(f)は、音信号のサンプリング毎に更新され得る。
図17は、受音範囲、切換範囲及び抑圧範囲とゲインG(f)との関係を説明するための説明図である。
同図(b)は、受音範囲、切換範囲及び抑圧範囲が初期設定された状態での、ゲインG(f)と位相スペクトル差DIFF(f)との関係を示している。
雑音状態評価部125から取得した雑音のレベルL(f)が小さい場合、又は雑音のレベル変化S(f)が小さい場合など、範囲設定部121は、例えば同図(a)に示すように各範囲を設定する。ここでは、範囲設定部121は、同図(b)と比較して切換範囲を広げて抑圧範囲を狭めている。切換範囲が広がるため、ゲインG(f)は受音範囲から抑圧範囲にかけて緩やかに減少することとなる。そのため、受音範囲から抑圧範囲への切り換えが緩やかになり、雑音の抑圧の程度を小さくする。よって、到来音の音源が受音範囲から切換範囲にずれたとしても、その抑圧の程度が小さいため、目的音の歪みを抑えることができる。
一方、雑音状態評価部125から取得した雑音のレベルL(f)が大きい場合、又は雑音のレベル変化S(f)が大きい場合など、範囲設定部121は、例えば同図(c)に示すように各範囲を設定する。ここでは、範囲設定部121は、同図(b)と比較して切換範囲を狭めて抑圧範囲を広げている。切換範囲が狭まるため、ゲインG(f)は受音範囲から抑圧範囲にかけて急激に減少し、抑圧範囲を音源とする雑音を効率的に抑圧することができる。
(1−2)ゲイン乗算部
ゲイン乗算部141は、雑音抑圧用ゲイン算出部140からゲインG(f)を取得し、次式(23)に示すように複素スペクトルIN1(f)に乗算してOUT(f)を出力する。
OUT(f)=IN1(f)×G(f) ・・・(23)
このOUT(f)は、信号復元部129により処理され、マイクロホンMIC1における時間軸上の出力信号として出力される。
(2)処理の流れ
以下に、本実施形態例の処理について図18を用いて説明する。図18は、本実施形態例に係るマイクロホンアレイ装置が実行する雑音抑圧処理の流れを示すフローチャートの一例である。
ステップS31〜S38:第2実施形態例の図15のステップS11〜S18と同様である。マイクロホンアレイ装置300は、マイクロホンMIC1及びマイクロホンMIC2により受信した音信号に基づいて雑音の状態を評価し、雑音の状態に基づいて各範囲を制御する。
ステップS39:雑音抑圧用ゲイン算出部140は、雑音の状態に基づいて設定された受音範囲、切換範囲及び抑圧範囲と、位相スペクトル差DIFF(f)と、に基づいて、周波数軸上において雑音の抑圧量を調整するためのゲインG(f)を算出する。
ステップS40:ゲイン乗算部141は、ゲインG(f)と複素スペクトルIN1(f)とを乗算してOUT(f)を出力する。
ステップS41:信号復元部129は、出力OUT(f)を時間軸上の信号に変換し、さらにオーバラップ加算して、マイクロホンMIC1における時間領域の出力信号を出力する。処理が終了すると、ステップS32に戻り、例えば所定のサンプリング周波数に基づいた間隔で上記処理が繰り返される。
第3実施形態例もまた、第1及び第2実施形態例と同様に、雑音の状態に応じて雑音の抑圧処理が行われるため、雑音の抑圧の必要度に応じて雑音が抑圧される。よって、目的音の歪みを抑制することができる。
<第4実施形態例>
上記第1〜第3実施形態例では、目的音源SSが存在する方向、つまり目的音が到来する受音方向は予め初期設定されており、マイクロホンアレイ装置は、その受音方向を前提として、受音方向及び受音範囲からの目的音の抑圧量を調整する。一方、本実施形態例のマイクロホンアレイ装置400は、目的音源SSの方向を検出し、目的音源SSの方向に基づいて受音方向を設定する。なお、本実施形態例のマイクロホンアレイ装置400は、予め受音方向が初期設定されている場合にも適用可能であり、例えば検出した目的音源SSの方向に基づいて、初期設定された受音方向を変更する。以下に第4実施形態例に係るマイクロホンアレイ装置400について説明する。
第4実施形態例に係るマイクロホンアレイ装置400では、第2、第3実施形態例と同様に、2つのマイクロホンMIC1及びMIC2で取得した各音信号を周波数軸上で処理する。第4実施形態例に係るマイクロホンアレイ装置400のハードウェア構成は第1実施形態例と同様である。また、以下において、第1実施形態例と同様の構成には、同様の符号番号を付している。
(1)機能構成
図19は、第4実施形態例に係るマイクロホンアレイ装置の機能構成を示すブロック図の一例である。第4実施形態例に係るマイクロホンアレイ装置400は、図6に示す第2実施形態例に係るマイクロホンアレイ装置200と同様の機能構成を一部に含む。第4実施形態例に係るマイクロホンアレイ装置400は、第1音受付部111、第2音受付部112、範囲設定部121、第1信号変換部122、第2信号変換部123、位相スペクトル差算出部124、同期化係数算出部126、同期化部127、減算部128及び信号復元部129などを含む。また、図19のマイクロホンアレイ装置400は、第2実施形態例の雑音状態評価部125に代えて、レベル評価部150を含む。
以下に、第2実施形態例と異なる構成について説明する。
(1−1)範囲設定部
範囲設定部121は、各マイクロホンの受音範囲、切換範囲及び抑圧範囲を初期設定しない。よって、各マイクロホンは初期設定の段階では無指向性の状態に設定される。
あるいは、範囲設定部121は、例えば、ユーザ入力に基づいて各マイクロホンの受音範囲、切換範囲及び抑圧範囲を初期設定しても良い。また、範囲設定部121は、ROM102内に予め格納された初期値に基づいて各マイクロホンの受音範囲、切換範囲及び抑圧範囲を初期設定しても良い。
さらに、範囲設定部121は、2つのマイクロホンMIC1及びMIC2において受音した音のレベルの評価結果をレベル評価部150から受信し、評価結果に基づいて受音範囲、切換範囲及び抑圧範囲を制御する。これらの範囲の制御については、レベル評価部150の項目で説明する。
(1−2)レベル評価部
(a)レベル評価
レベル評価部150は、第1信号変換部122及び第2信号変換部123から、それぞれ複素スペクトルIN1(f)及び複素スペクトルIN2(f)を受信する。レベル評価部150は、複素スペクトルIN1(f)及び複素スペクトルIN2(f)に基づいて、マイクロホンMIC1が取得した音信号in1(t)のレベル1及びマイクロホンMIC2が取得した音信号in2(t)のレベル2を周波数毎に算出する。各音信号のレベルは、下記式(24)、(25)により算出可能である。
レベル1=Σ|IN1(f)| ・・・(24)
レベル2=Σ|IN2(f)| ・・・(25)
(b)目的音源SSの方向の検出
次に、レベル評価部150は、上記各音信号のレベルの大小を評価し、目的音源SSの方向を検出する。例えば、レベル評価部150は、次のような評価に基づいて目的音源SSの方向を検出することができる。
レベル1≫レベル2の場合、レベル評価部150は、マイクロホンMIC1側の近傍に目的音源SSが存在すると判断する。レベル1≫レベル2の場合とは、例えば、Σ|IN1(f)|≧2.0×Σ|IN2(f)|の場合などが挙げられる。
レベル1≒レベル2の場合、レベル評価部150は、マイクロホンMIC1及びマイクロホンMIC2からほぼ等距離に目的音源SSが存在すると判断する。
レベル1≪レベル2の場合、レベル評価部150は、マイクロホンMIC2側の近傍に目的音源SSが存在すると判断する。レベル1≪レベル2の場合とは、例えば、2.0×Σ|IN1(f)|≦Σ|IN2(f)|の場合などが挙げられる。
このようなレベル1及びレベル2と、目的音源SSの方向と、の関係は、例えば実験により決まり得る。
なお、目的音源SSが例えばマイクロホンMIC1又はマイクロホンMIC2から、マイクロホン間隔dの例えば約10倍の距離以内に存在する場合に、レベル評価部150は上記のような判定が可能である。よって、本実施形態例の場合、例えば,電話のハンドセットを使用中のユーザの口のように、マイクロホン近傍の近傍音源が目的音源SSとなる。なお、目的音源SSがマイクロホン間隔dの約10倍より遠いところにある場合には、各マイクロホンMIC1、MIC2が取得する音信号のレベルが同程度となり、比較が困難となる。
(c)範囲設定部による目的音源SSの方向に基づいた範囲の制御
次に、レベル評価部150が検出した目的音源SSの方向に基づいた、受音範囲、切換範囲及び抑圧範囲の制御方法について説明する。
図20は、各マイクロホンに対する受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図である。図21は、図20の範囲制御を、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係により表した説明図である。
レベル1≫レベル2の場合、範囲設定部121は、図20(a)及び図21(a)に示すように各範囲を設定する。つまり、範囲設定部121は、マイクロホンMIC1側に目的音源SSが存在するため、マイクロホンMIC1側に受音範囲を設定し、マイクロホンMIC2側に抑圧範囲を設定する。受音範囲及び抑圧範囲の間は切換範囲に設定される。図20(a)の場合、受音範囲及び切換範囲は、0°よりもマイナス(MIC1)側に設定され、抑圧範囲は0°よりもプラス(MIC2)側に設定される。
なお、マイクロホンMIC1が取得した音信号in1(t)のレベル1が、マイクロホンMIC2が取得した音信号in1(t)のレベル2よりも大きいため、受音範囲は抑圧範囲に比べて狭く設定されている。マイクロホンMIC1の近傍に目的音源SSが存在し、そのレベルが大きいため、受音範囲が狭くても目的音源SSからの目的音を十分に受音可能であるからである。
レベル1≒レベル2の場合、範囲設定部121は、図20(b)及び図21(b)に示すように各範囲を設定する。つまり、範囲設定部121は、マイクロホンMIC1及びマイクロホンMIC2からほぼ等距離に目的音源SSが存在するため、マイクロホンMIC1及びマイクロホンMIC2との中間部分に受音範囲を設定する。受音範囲は、0°付近の角度範囲である第1の受音範囲と、−π(MIC1側)又は+π(MIC2側)付近の角度範囲である第2の受音範囲と、を含む。一方、範囲設定部121は、マイクロホンMIC1及びマイクロホンMIC2の両側に抑圧範囲を設定する。抑圧範囲は、+π/2付近の角度範囲である第1の抑圧範囲と、−π/2付近の角度範囲である第2の抑圧範囲と、を含む。受音範囲及び抑圧範囲の間は切換範囲に設定される。第1の受音範囲と第2の受音範囲とが同等の体積となるように制御し、第1の抑圧範囲と第2の抑圧範囲とが同等の体積となるように制御することで、マイクロホンMIC及びマイクロホンMIC2からの各音信号の雑音抑圧量を同程度とすることができる。
レベル1≪レベル2の場合、範囲設定部121は、図20(c)及び図21(c)に示すように各範囲を設定する。つまり、範囲設定部121は、マイクロホンMIC2側に目的音源SSが存在するため、マイクロホンMIC2側に受音範囲を設定し、マイクロホンMIC1側に抑圧範囲を設定する。受音範囲及び抑圧範囲の間は切換範囲に設定される。図20(c)の場合、受音範囲及び切換範囲は、0°よりもプラス(MIC2)側に設定され、抑圧範囲は0°よりもマイナス(MIC1)側に設定される。
なお、レベル1とレベル2とのレベル比と、受音範囲、抑圧範囲及び切換範囲の各範囲の大きさと、の関係は、例えば実験により決まり得る。
(1−3)同期化係数算出部
同期化係数算出部126は、レベル評価に基づいて設定された受音範囲、切換範囲及び抑圧範囲の情報を範囲設定部121から受信する。同期化係数算出部126は、位相スペクトル差DIFF(f)を位相差スペクトル差算出部124から受信する。同期化係数算出部126は、レベル評価に基づいて設定された受音範囲、切換範囲及び抑圧範囲と、位相スペクトル差DIFF(f)と、に基づいて同期化係数C(f)を算出する。同期化係数C(f)の算出方法は、第2実施形態例と同様であるので説明を省略する。また、同期化係数算出部126は、上記第2実施形態例と同様に、同期化係数C(f)に式(20)に示すようにさらにゲインg(f)を乗算し、ゲインg(f)に依存する同期化係数Cg(f)を算出しても良い。
(2)処理の流れ
以下に、本実施形態例の処理について図22を用いて説明する。図22は、本実施形態例に係るマイクロホンアレイ装置が実行する、レベル比に基づく範囲設定処理の流れを示すフローチャートの一例である。
ステップS51〜S53:第2実施形態例のステップS12〜S14と同様である。第1音受付部111及び第2音受付部112は、時間軸上の音信号in1(t)及び音信号in2(t)を取得する。第1信号変換部122は、音信号in1(t)から周波数軸上の複素スペクトルIN1(f)を生成し、第2信号変換部123は、音信号in2(t)から複素スペクトルIN2(f)を生成する。
ステップS54:レベル評価部150は、複素スペクトルIN1(f)及び複素スペクトルIN2(f)に基づいて、各音信号のレベル1及びレベル2を算出する。また、レベル評価部150は、レベル1及びレベル2の比較結果に基づいて、目的音源SSの方向を特定する。
ステップS55:範囲設定部121は、目的音源SSの方向に基づいて受音範囲、切換範囲及び抑圧範囲を制御する。
ステップS56:位相スペクトル差算出部124は、周波数fごとに、複素スペクトルIN1(f)と複素スペクトルIN2(f)との間の位相スペクトル差DIFF(f)を算出する。
ステップS57〜S60:第2実施形態例のステップS19〜S26と同様である。同期化係数算出部126は、レベル評価に基づいた受音範囲、切換範囲及び抑圧範囲と、位相スペクトル差DIFF(f)と、に基づいて同期化係数C(f)を算出する(S57)。また、ゲインg(f)に依存する同期化係数Cg(f)を算出しても良い。
同期化部127は、複素スペクトルIN2(f)に同期化係数C(f)又は同期化係数Cg(f)を乗算し、複素スペクトルIN2(f)を複素スペクトルIN1(f)に同期化する(S58)。減算部128は、複素スペクトルIN1(f)からステップS58の乗算結果を減算し、出力OUT(f)を得る(S59)。信号復元部129は、減算部128からの出力OUT(f)を時間軸上の信号に変換し、さらにオーバラップ加算して、マイクロホンMIC1における時間領域の出力信号を出力する(S60)。処理が終了すると、ステップS51に戻り、例えば所定のサンプリング周波数に基づいた間隔で上記処理が繰り返される。
このように上記マイクロアレイ装置400によれば、目的音源SSの方向に応じて各範囲を設定する。例えば、携帯電話の持ち方によっては、予め設定された目的音源SSの方向と、実際の目的音源SSとの方向が変わる場合がある。本実施携帯例のマイクロホンアレイ装置400は、目的音源SSの方向が変化しても、変化に応じて受音範囲等を設定するため、目的音源SSからの目的音を受音範囲からの音として受音することができ、目的音の歪みを抑制しつつ、雑音を抑制することができる。
(3)第2及び第3実施形態例との組み合わせ
第4実施形態例は、第2及び第3実施形態例と組み合わせることも可能である。つまり、マイクロホンアレイ装置は、まず第4実施形態例に示すように2つのマイクロホンMIC1及びMIC2において受音した音のレベルの評価結果に基づいて受音範囲、切換範囲及び抑圧範囲を制御する。次に、マイクロホンアレイ装置は、第2実施形態例又は第3実施形態例に示すように、雑音の状態に応じて受音範囲、切換範囲及び抑圧範囲を制御する。
(3−1)第2実施形態例と第4実施形態例との組み合わせ
図23は、第2実施形態例と第4実施形態例とを組み合わせた場合の機能構成を示すブロック図の一例である。第2実施形態例の図6の機能構成にさらにレベル評価部150が設けられている。
レベル評価部150は、上記と同様にマイクロホンMIC1及びマイクロホンMIC2の各音信号のレベル1及びレベル2を算出して比較し、目的音源SSの方向を特定する。範囲設定部121は、目的音源SSの方向に基づいて、受音範囲、切換範囲及び抑圧範囲を制御する。この範囲設定に基づいて同期化係数C(f)等が算出され、信号復元部129から出力信号が出力される。このような検出された目的音源SSの方向に基づいて各範囲を制御する処理は、例えば所定のサンプリング周波数に基づいた間隔で繰り返される。
一方、雑音状態評価部125は、第2実施形態例と同様に、雑音状態を評価する際の受音範囲、切換範囲及び抑圧範囲において、位相スペクトル差DIFF(f)が抑圧範囲に含まれる場合には、到来音が雑音であるとみなして雑音の状態を評価する。また、範囲設定部121は、雑音状態評価部125から雑音の状態を取得し、雑音の状態に基づいて受音範囲、切換範囲及び抑圧範囲を制御する。さらに、同期化係数C(f)等が算出され、信号復元部129から出力信号が出力される。このような雑音の状態に基づいて各範囲を制御する処理は、例えば所定のサンプリング周波数に基づいた間隔で繰り返される。
このような範囲の制御の例を図24を用いて説明する。図24は、受音範囲、切換範囲及び抑圧範囲の制御方法の一例を示す説明図である。
例えば、レベル評価部150による評価の結果、マイクロホンMIC1及びマイクロホンMIC2の音信号のレベルが、レベル1≫レベル2であるとする。この場合、レベル評価部150は、マイクロホンMIC1側に目的音源SSが存在すると判断する。範囲設定部121は、同図(a)に示すようにマイクロホンMIC1側に受音範囲を設定し、マイクロホンMIC2側に抑圧範囲を設定する。受音範囲及び抑圧範囲の間は切換範囲に設定される。
次に、雑音状態評価部125は、位相スペクトル差DIFF(f)が同図(a)のように設定された抑圧範囲に含まれる場合、到来音が雑音であるとみなして雑音の状態を評価する。例えば、雑音のレベルL(f)が小さく雑音のレベルL(f)=0であり、雑音のレベル変化S(f)が小さく雑音のレベル変化S(f)=0であり、総合値LS(f)=0であるとする。この場合、範囲設定部121は同図(a)から同図(b)に示すように各範囲を変更する。同図(b)では、一例として切換範囲が広げられて抑圧範囲が狭められている。切換範囲と抑圧範囲との境界が、変更前から変更後にかけて抑圧範囲側に移動している。抑圧範囲を狭めることで、受音範囲の目的音源SSからの目的音の歪みを抑制しつつ、抑圧範囲を音源とする雑音を抑圧することができるようにマイクロホンアレイの指向性を制御できる。また、切換範囲が広がることで、受音範囲から抑圧範囲への切り換えが緩やかになり、雑音の抑圧の程度を緩やかにすることができる。
同図(c)は、同図(b)における範囲制御を、各周波数と位相スペクトル差DIFF(f)(−π≦DIFF(f)≦π)との関係により表している。点P2は、切換範囲が広げられる前は抑圧範囲に位置しているが、切換範囲が広げられた後は切換範囲に位置している。よって、点P2の特性を示す雑音の抑圧量は、切換範囲の変更前よりも変更後の方が小さくなっている。このような切換範囲を広げて抑圧範囲を狭める制御により、雑音の抑圧量を低下させて目的音の歪みを抑制することができる。
(3−2)第3実施形態例と第4実施形態例との組み合わせ
図25は、第3実施形態例と第4実施形態例とを組み合わせた場合の機能構成を示すブロック図の一例である。第3実施形態例の図16の機能構成にさらにレベル評価部150が設けられている。
範囲設定部121は、上記と同様に、レベル評価部150によるレベル1及びレベル2の比較結果に基づいて、受音範囲、切換範囲及び抑圧範囲を制御する。
一方、雑音状態評価部125は、第2実施形態例と同様に、雑音状態を評価する際の受音範囲、切換範囲及び抑圧範囲において、位相スペクトル差DIFF(f)が抑圧範囲に含まれる場合には、到来音が雑音であるとみなして雑音の状態を評価する。雑音抑圧用ゲイン算出部140は、雑音の状態に基づいた受音範囲、切換範囲及び抑圧範囲と、位相スペクトル差DIFF(f)と、に基づいて、周波数軸上において雑音の抑圧量を調整するためのゲインG(f)を算出する。ゲイン乗算部141は、ゲインG(f)と複素スペクトルIN1(f)とを乗算してOUT(f)を出力する。信号復元部129は、出力OUT(f)を時間軸上の信号に変換し、さらにオーバラップ加算して、マイクロホンMIC1における時間領域の出力信号を出力する。このような雑音の状態に基づいた処理は、例えば所定のサンプリング周波数に基づいた間隔で繰り返される。
以上のように目的音源SSの方向及び雑音の状態に応じて各範囲が設定されることで、目的音の歪みを抑制しつつ雑音を抑制することができる。
<変形例>
上記実施形態例は、以下のような変形例にも適用可能である。
(a)変形例1
上記第1〜第4実施形態例では、雑音の状態として、雑音のレベル、雑音のレベル変化及びそれらの総合値を用いた。しかし、雑音の状態を表すあらゆる要素を、本願の雑音の状態とすることができる。また、上記第1〜第3実施形態例では、雑音のレベル、雑音のレベル変化及びそれらの総合値を算出する方法の一例を示しただけであり、それらの算出方法は上記の方法に限定されない。
(b)変形例2
上記第2及び第3実施形態例では、雑音のレベルL(f)及び雑音のレベル変化S(f)の両方を適度に考慮して雑音の抑圧量を調整する。そのために、雑音のレベルL(f)<雑音のレベル変化S(f)、又は、雑音のレベルL(f)>雑音のレベル変化S(f)の継続期間を測定している。そして、その継続期間に応じて、雑音のレベルL(f)又は雑音のレベル変化S(f)が総合値LS(f)に与える影響を調整し、雑音の抑圧量に与える影響を調整している。
このような調整方法は、第1実施形態例にも適用可能である。この場合、第1実施形態例においても、第2実施形態例と同様に雑音のレベルL(t)と雑音のレベル変化S(t)とを比較可能なように設定する必要がある。例えば、雑音状態評価部125は、|in1(t)|の平均値が示す雑音のレベルについて、フルスケールに対する相対値を算出し、この相対値に基づいて雑音のレベルL(t)を算出する。また、雑音状態評価部125は、|in1(t)|と|in1(t)|の平均値との比を算出し、この比に基づいて雑音のレベル変化S(t)を算出する。これにより、雑音のレベルL(t)及び雑音のレベル変化S(t)はともに0以上1以下の値となり、比較可能となる。
(c)変形例3
また、上記第1〜第4実施形態例では、雑音の状態に基づいて雑音の抑圧量を調整し、目的音の歪みを抑制する方法を開示した。雑音の抑圧量を雑音の状態に基づいて調整する基本概念は、上記の同期減算方式などだけではなく、例えば同期加算方式などあらゆる方法に適用可能である。
(d)変形例4
上記第1〜第4実施形態例では、複数のマイクロホンを直線上に一次元で配置し、そのうちマイクロホンMIC1、マイクロホンMIC2を用いている。しかし、複数のマイクロホンを例えば、三角形の頂点の位置に配置するなど二次元の関係となるように配置しても良い。このように二次元に配置することで、より複雑により詳細に指向性を制御することができる。
(e)変形例5
また、上記マイクロホンアレイ装置は、例えば、音声認識装置を有する車載装置又はカーナビゲーション装置、ハンズフリー電話機又は携帯電話機などの機器に組み込み可能である。
(f)変形例6
また、上記処理は、ROM102に格納されたプログラムを、CPU101の各機能部が実行することによって実現される。しかし、ハードウェアとして実装された信号処理回路が、プログラムに従って上記処理を実行しても良い。
(g)変形例7
また、前述の方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM(Compact Disc−Read Only Memory)、MO(Magneto Optical disk)、DVD、DVD−ROM、DVD−RAM(DVD−Random Access Memory)、BD(Blue-ray Disc)、USBメモリ、半導体メモリなどを挙げることができる。前記コンピュータプログラムは、前記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
以上の実施形態例、実施例及びその他の実施形態例に関し、更に以下の付記を開示する。
<付記>
(付記1)
複数のマイクロホンから入力される複数の音信号を取得する音取得部と、
前記音取得部で取得し、非抑圧方向に配置したマイクロホンから得られる非抑圧音信号と、前記音取得部で取得し、抑圧方向に配置したマイクロホンから得られる抑圧音信号とを比較して、前記非抑圧音信号に含まれる目的音に対する、前記抑圧方向からの非目的音の影響を評価する評価パラメータを求める評価部と、
前記評価パラメータに基づいて前記非目的音の抑圧量を制御する抑圧部を有し、当該抑圧部を制御することで前記マイクロホンの指向性を制御する指向性制御部と、を備えるマイクロホンアレイ装置。
ここで、評価部は、非抑圧方向からの非抑圧音信号と、抑圧方向からの抑圧音信号と、の比較結果に基づいて、目的音に対する非目的音の影響を評価するための評価パラメータを求める。なお、非抑圧音信号には目的音源SSからの目的音が含まれる。また、抑圧音信号には、目的音とは異なる非目的音が含まれ、非目的音は例えば雑音である。評価パラメータとしては、雑音のレベル及び雑音のレベル変化などの雑音の状態を示すパラメータが挙げられる。また、評価パラメータとしては、各音信号のレベルの評価結果により目的音源の方向を示すパラメータが挙げられる。
指向性制御部は、例えば雑音の状態に基づいて次のように指向性を制御する。指向性制御部は、雑音のレベルが大きい場合、あるいは雑音のレベル変化が大きい場合などは、雑音の抑圧量が大きくなるようにマイクロホンの指向性を制御する。逆に、指向性制御部は、雑音のレベルが小さい場合、あるいは雑音のレベル変化が小さい場合などは、雑音の抑圧量が小さくなるように指向性を制御する。このように雑音の状態に応じて雑音の抑圧処理を行うため、必要度に応じて雑音が抑圧される。よって、雑音の抑圧の必要度が小さい場合には、雑音の抑圧の程度を小さくして目的音の歪みを抑制することができる。
また、指向性制御部は、非抑圧音信号のレベルと抑圧音信号のレベルとの比較結果に基づいて例えば次のように指向性を制御する。ここで、評価部は、音信号のレベルが大きいマイクロホンの側に、目的音の音源である目的音源SSが存在すると判断する。指向性制御部は、目的音源SSの方向に応じてマイクロホンの指向性を制御する。例えば、一の音信号のレベルが他の音信号のレベルよりも大きい場合、評価部は一の音信号を受音したマイクロホン側に目的音源SSが存在すると判断する。この場合、指向性制御部は、当該マイクロホンで受音した音を目的音源SSからの目的音とみなし、また他のマイクロホンで受音した音を雑音とみなして、雑音を抑圧するように指向性を制御する。これにより、目的音源SSの位置に応じて、目的音を精度良く受音可能なように指向性が制御されるため、雑音を抑制しつつ目的音の歪みを抑制することができる。
(付記2)
前記評価部は、前記非抑圧音信号及び前記抑圧音信号に基づいて、前記非目的音のレベル及び前記非目的音のレベル変化を含む前記評価パラメータを求める付記1に記載のマイクロホンアレイ装置。
評価部は、非抑圧音信号と抑圧音信号とに基づいて、非目的音のレベル及び非目的音のレベル変化など非目的音の状態を評価する。これに基づいて、例えば、抑圧部は、非目的音である雑音のレベルが大きい場合には、目的音を含む非抑圧音信号における雑音信号の抑圧量を大きくし、雑音のレベルが小さい場合には雑音信号の抑圧量を小さくするように制御する。また、抑圧部は、例えば雑音のレベル変化が大きい場合には、目的音を含む非抑圧音信号における雑音信号の抑圧量を大きくし、雑音のレベル変化が小さい場合には雑音信号の抑圧量を小さくするように制御する。
このように上記マイクロホンアレイ装置は、雑音の状態に応じて雑音の抑圧処理を行うため、必要度に応じて雑音が抑圧される。よって、雑音の抑圧の必要度が小さい場合には、雑音の抑圧の程度を小さくして目的音の歪みを抑制することができる。そのため、上記マイクロホンアレイ装置によれば、雑音を抑圧しつつ目的音の歪みを可能な限り抑制することができる。
なお、抑圧部は、例えば、図2の減算調整部118及び第1減算部114を含み、図6、図19、図23の範囲設定部121、同期化係数算出部126、同期化部127及び減算部128などを含む。また、抑圧部は、例えば、図16、図25の雑音抑圧用ゲイン算出部140及びゲイン乗算部141などを含む。また、ここでの評価部は、例えば、図2の雑音状態評価部117、図6の雑音状態評価部125、図16、図23、図25の雑音状態評価部125などを含む。
(付記3)
前記抑圧部は、前記評価パラメータに基づいて、
前記非目的音のレベルが閾値X1より大きい場合、又は、
前記非目的音のレベル変化が閾値Y1より大きい場合には、
前記非目的音の抑圧量を増加させ、
前記非目的音のレベルが閾値X2より小さい場合、又は、
前記非目的音のレベル変化が閾値Y2より小さい場合には、
前記非目的音の抑圧量を減少させる、付記2に記載のマイクロホンアレイ装置。
よって、非目的音である雑音のレベルが大きい場合及び雑音のレベル変化が大きい場合には、雑音の抑圧量を大きくすることで、目的音から効率的に雑音を除去することができる。また、非目的音である雑音のレベルが小さい場合及び雑音のレベル変化が小さい場合には、雑音の抑圧量を小さくすることで、目的音の歪みを抑制することができる。
(付記4)
前記評価部は、前記非抑圧音信号と前記抑圧音信号との差分に基づく信号により、前記評価パラメータを求める、付記1〜3のいずれかに記載のマイクロホンアレイ装置。
ここで、一のマイクロホンは主として目的音源SSからの非抑圧音信号を受音し、他のマイクロホンは目的音源SSの方向以外の方向からの抑圧音信号を主として受音する。また、一のマイクロホンは、目的音源SSの方向以外の方向からの抑圧音信号も受音する。このとき、一のマイクロホンが取得した抑圧音信号は、他のマイクロホンが取得した前記抑圧音信号と同じ抑圧音信号が、一のマイクロホンと他のマイクロホンとの間の距離分だけ遅れて、一のマイクロホンに到達したものであると推定できる。つまり、一のマイクロホンが取得した雑音は、他のマイクロホンが取得した前記雑音と同じ雑音が、一のマイクロホンと他のマイクロホンとの間の距離分だけ遅れて、一のマイクロホンに到達したものであると推定できる。よって、非抑圧音信号と抑圧音信号との差分に基づく信号により雑音の状態を示す評価パラメータを求めることができる。
(付記5)
前記抑圧部は、
前記非目的音のレベル及び前記非目的音のレベル変化の両方に基づいて前記非目的音の抑圧量を調整する場合、
前記非目的音のレベルが前記非目的音のレベル変化よりも前記抑圧量に与える影響が大きい期間が閾値期間以上継続すると、前記非目的音のレベルが前記抑圧量に与える影響を小さくし、
前記非目的音のレベル変化が前記非目的音のレベルよりも前記抑圧量に与える影響が大きい期間が閾値期間以上継続すると、前記非目的音のレベル変化が前記抑圧量に与える影響を小さくする、請求項2〜4のいずれかに記載のマイクロホンアレイ装置。
このような処理により、非目的音である雑音のレベル及び雑音のレベル変化の両方を適度に考慮して、雑音の抑圧制御を行うことができる。
(付記6)
前記評価部は、前記非抑圧音信号を遅延させた遅延非抑圧音信号と、前記抑圧音信号と、の差分に基づいて、前記評価パラメータを求める、付記1〜5のいずれかに記載のマイクロホンアレイ装置。
抑圧音信号から遅延非抑圧音信号を減算することで、目的音源が存在する受音方向以外の方向、つまり抑圧方向からの音をマイクロホンにより取り込むように指向性が制御される。よって、評価部は、非目的音である雑音が強調された雑音信号を抑圧方向から取得して評価パラメータを求め、これにより雑音の状態を把握可能である。
(付記7)
前記抑圧部は、
前記非抑圧音信号から、前記抑圧音信号を遅延させた遅延抑圧音信号を減算する減算量を定義するゲインを、前記評価パラメータに基づいて決定し、
前記遅延抑圧音信号と前記ゲインとの乗算結果を、前記非抑圧音信号から減算する、付記6に記載のマイクロホンアレイ装置。
前述の通り、評価部は評価パラメータに基づいて、非目的音である雑音の状態を把握可能である。よって、マイクロホンアレイ装置は、遅延抑圧音信号の非抑圧音信号からの減算量を評価パラメータに基づいて調整することで、雑音の状態に基づいて、非抑圧音信号における雑音の抑圧量を調整することができる。
(付記8)
前記非抑圧方向を含み、前記目的音を受音するための受音範囲と、前記非目的音を受音するための抑圧範囲と、前記受音範囲と前記抑圧範囲との間の切換範囲と、が設定されることで指向性が制御され、
前記抑圧部は、前記評価パラメータに基づいて、
前記非目的音のレベルが閾値X1より大きい場合、又は、
前記非目的音のレベル変化が閾値Y1より大きい場合には、
前記非目的音の抑圧量を増加させるように、前記受音範囲、前記切換範囲及び前記抑圧範囲の少なくとも1の範囲を制御し、
前記非目的音のレベルが閾値X2より小さい場合、又は、
前記非目的音のレベル変化が閾値Y2より小さい場合には、
前記非目的音の抑圧量を減少させるように、前記受音範囲、前記切換範囲及び前記抑圧範囲の少なくとも1の範囲を制御する、付記2〜5のいずれかに記載のマイクロホンアレイ装置。
非目的音である雑音の状態に応じて受音範囲、切換範囲及び抑圧範囲を制御することで、付記3と同様の効果を得ることができる。
(付記9)
前記抑圧部は、前記非目的音の抑圧量を増加させる場合には前記抑圧範囲を広げ、前記非目的音の抑圧量を減少させる場合には前記抑圧範囲を狭くする、付記8に記載のマイクロホンアレイ装置。
(付記10)
前記音取得部が受け付けた前記非抑圧音信号及び前記抑圧音信号を、周波数軸上の非抑圧スペクトル信号及び抑圧スペクトル信号に変換する信号変換部と、
前記非抑圧スペクトル信号に対する、前記抑圧スペクトル信号の位相スペクトル差を算出する位相スペクトル差算出部と、
をさらに含み、
前記評価部は、所定の位相スペクトル差と、前記受音範囲、前記抑圧範囲及び前記切換範囲と、が所定の関係にある場合において、前記位相スペクトル差算出部が算出した前記位相スペクトル差が前記抑圧範囲に含まれる場合、前記非抑圧スペクトル信号に基づいて前記評価パラメータを求める、付記8又は9に記載のマイクロホンアレイ装置。
時間軸上で音信号を処理するよりも周波数軸上で所定の周波数ごとに音信号を処理する方が、より高い精度で非抑圧音信号と抑圧音信号との位相スペクトル差を検出することができる。例えば、非抑圧音信号及び抑圧音信号には、目的音源からの目的音と、他の複数の音源が様々な周波数で発する非目的音と、が混在している。よって、周波数ごとに細分化して位相スペクトル差を検出することで、各音の音源方向と、非目的音である雑音の状態と、をより精度良く検出することができる。
また、評価部は、位相スペクトル差が抑圧範囲である場合に、そのときの音源からの音が目的音源以外の音源からの雑音(非目的音)であるとみなし、雑音の状態を評価する。そのため、例えば、受音範囲を目的音源とする目的音は雑音の状態の評価に用いないため、概ね雑音そのものに基づいて雑音の状態を正確に評価することができる。
(付記11)
前記抑圧部は、
前記位相スペクトル差算出部が算出した前記位相スペクトル差と、前記評価パラメータに応じて制御された前記受音範囲、前記切換範囲及び前記抑圧範囲と、に基づいて、前記第2スペクトル信号の位相量を示す同期化係数を算出する同期化係数算出部と、
前記同期化係数と前記抑圧スペクトル信号とを乗算する同期化部と、
前記非抑圧スペクトル信号から、前記同期化係数と前記抑圧スペクトル信号との乗算結果を減算する減算部と、
を含む、付記10に記載のマイクロホンアレイ装置。
同期化係数算出部は、評価パラメータが示す雑音の状態に応じて制御された受音範囲、切換範囲及び抑圧範囲に基づいて同期化係数を算出する。そのため、非目的音である雑音の状態に応じた同期化係数が算出される。ここで、同期化係数は雑音の抑圧量を決定する係数であり、それ故にマイクロホンの雑音の抑圧量を雑音の状態に応じて調整することができる。
(付記12)
前記同期化係数算出部は、前記減算部での前記乗算結果の減算量を調整するゲインを前記評価パラメータに基づいて算出し、前記同期化係数に前記ゲインを乗算し、
前記減算部は、前記非抑圧スペクトル信号から、前記ゲインが乗算された同期化係数と前記抑圧スペクトル信号との乗算結果を減算する、付記11に記載のマイクロホンアレイ装置。
同期化係数にゲインを乗算することで、非抑圧スペクトル信号からの、抑圧スペクトル信号の減算量をさらに調整することができる。結果として、非目的音である雑音の状態に基づくゲインを調整することで、雑音の抑圧量を調整することができる。
(付記13)
前記非目的音のレベルは、前記非目的音の取り得るレベルの最大値に対する、対象となる非目的音のレベルの相対値で表され、
前記非目的音のレベル変化は、所定期間の前記非目的音のレベルの平均値に対する、前記対象となる非目的音のレベルの相対値で表され、
前記評価部は、前記非目的音のレベル及び前記非目的音のレベル変化の両方を変数とする関数に基づいて、前記評価パラメータを求め、
前記非目的音のレベルが前記非目的音のレベル変化よりも大きい期間が所定期間以上継続すると、前記非目的音のレベルが前記関数に与える影響を小さくし、前記非目的音のレベル変化が前記非目的音のレベルよりも大きい期間が所定期間以上継続すると、前記非目的音のレベル変化が前記関数に与える影響を小さくする、付記10に記載のマイクロアレイ装置。
上記のような処理により、前記関数において、非目的音である雑音のレベルにのみ依存する、あるいは、非目的音である雑音のレベル変化にのみ依存するなどの偏重を抑制し、雑音のレベル及び雑音のレベル変化の両方に基づいた関数とすることができる。よって、雑音のレベル及び雑音のレベル変化の両方に基づいて、雑音の抑圧制御を行うことができる。
(付記14)
前記抑圧部は、
前記位相スペクトル差算出部が算出した前記位相スペクトル差と、前記評価パラメータに応じて制御された前記受音範囲、前記切換範囲及び前記抑圧範囲と、に基づいて、前記非抑圧スペクトル信号の抑圧量を調整するためのゲインを算出する雑音抑圧用ゲイン算出部と、
前記非抑圧スペクトル信号に前記ゲインを乗算するゲイン乗算部と、
を含む、付記10に記載のマイクロホンアレイ装置。
非目的音である雑音の状態に応じてゲインが調整され、結果として非抑圧スペクトル信号における雑音の抑圧量が雑音の状態に応じて調整される。
(付記15)
前記評価部は、前記非抑圧音信号のレベルと前記抑圧音信号のレベルとの大小を評価して前記評価パラメータを求め、
前記指向性制御部は、前記評価パラメータに基づいて、前記受音方向を含み、前記目的音を受音するための受音範囲を制御する、付記1に記載のマイクロホンアレイ装置。
これにより、目的音源SSの位置に応じて、目的音を精度良く受信可能なようにマイクロホンアレイの指向性が制御されるため、非目的音である雑音を抑制しつつ目的音の歪みを抑制することができる。前記評価部は、例えば、図19、図23、図25のレベル評価部150を含む。
(付記16)
前記指向性制御部は、レベルの大きい音信号を受音したマイクロホン側に前記受音範囲を設定する、付記15に記載のマイクロホンアレイ装置。
(付記17)
前記指向性制御部は、レベルの小さい音信号を受音したマイクロホン側に、前記非目的音を受音するための抑圧範囲を設定する、付記16に記載のマイクロホンアレイ装置。
(付記18)
複数のマイクロホンから入力される複数の音信号を取得し、
非抑圧方向に配置したマイクロホンから得られる非抑圧音信号と、抑圧方向に配置したマイクロホンから得られる抑圧音信号とを比較して、前記非抑圧音信号に含まれる目的音に対する、抑圧方向からの非目的音の影響を評価する評価パラメータを求め、
前記評価パラメータに基づいて、前記非目的音の抑圧量を制御する抑圧し、前記マイクロホンの指向性を制御する処理をコンピュータに実行させる指向性制御プログラム。
マイクロホン:MIC1、MIC2:
100、200、300、400:マイクロホンアレイ装置
101:CPU
102:ROM
103:RAM
104:マイクロホンアレイ
105:通信I/F
111、112:第1音受付部、第2音受付部
111a、112a:AMP
111b、112b:LFP
111c、112c:A/D変換器
113:第1遅延部
114:第1減算部
115:第2遅延部
116:第2減算部
117、125:雑音状態評価部
118:減算調整部
121:範囲設定部
122:第1信号変換部
123:第2信号変換部
124:位相スペクトル差算出部
126:同期化係数算出部
127:同期化部
128:減算部
129:信号復元部
140:雑音抑圧用ゲイン算出部
141:ゲイン乗算部
150:レベル評価部

Claims (8)

  1. 複数のマイクロホンから入力される複数の音信号を取得する音取得部と、
    前記音取得部で取得し、非抑圧方向に配置したマイクロホンから得られる非抑圧音信号と、前記音取得部で取得し、抑圧方向に配置したマイクロホンから得られる抑圧音信号とを比較して、前記非抑圧音信号に含まれる目的音に対する、前記抑圧方向からの非目的音の影響を評価する評価パラメータを求める評価部と、
    前記評価パラメータに基づいて、前記非目的音の抑圧量を制御する抑圧部を有し、当該抑圧部を制御することで前記マイクロホンの指向性を制御する指向性制御部と、を備えるマイクロホンアレイ装置。
  2. 前記評価部は、前記非抑圧音信号及び前記抑圧音信号に基づいて、前記非目的音のレベル及び前記非目的音のレベル変化を含む前記評価パラメータを求める請求項1に記載のマイクロホンアレイ装置。
  3. 前記抑圧部は、前記評価パラメータに基づいて、
    前記非目的音のレベルが閾値X1より大きい場合、又は、
    前記非目的音のレベル変化が閾値Y1より大きい場合には、
    前記非目的音の抑圧量を増加させ、
    前記非目的音のレベルが閾値X2より小さい場合、又は、
    前記非目的音のレベル変化が閾値Y2より小さい場合には、
    前記非目的音の抑圧量を減少させる、請求項2に記載のマイクロホンアレイ装置。
  4. 前記抑圧部は、
    前記非目的音のレベル及び前記非目的音のレベル変化の両方に基づいて前記抑圧音信号の抑圧量を調整する場合、
    前記非目的音のレベルが前記非目的音のレベル変化よりも前記抑圧量に与える影響が大きい期間が閾値期間以上継続すると、前記非目的音のレベルが前記抑圧量に与える影響を小さくし、
    前記非目的音のレベル変化が前記非目的音のレベルよりも前記抑圧量に与える影響が大きい期間が閾値期間以上継続すると、前記非目的音のレベル変化が前記抑圧量に与える影響を小さくする、請求項2又は3のいずれかに記載のマイクロホンアレイ装置。
  5. 前記評価部は、前記非抑圧音信号のレベルと前記抑圧音信号のレベルとの大小を評価して前記評価パラメータを求めし、
    前記指向性制御部は、前記評価パラメータに基づいて、目的音源が存在する受音方向を含み、前記目的音源からの目的音を受音するための受音範囲を制御する、請求項1に記載のマイクロホンアレイ装置。
  6. 前記指向性制御部は、前記複数のマイクロホンのうち、レベルの大きい音信号を受音したマイクロホン側に前記受音範囲を設定する、請求項5に記載のマイクロホンアレイ装置。
  7. 前記指向性制御部は、前記複数のマイクロホンのうち、レベルの小さい音信号を受音したマイクロホン側に、前記目的音源以外からの非目的音を受音するための抑圧範囲を設定する、請求項6に記載のマイクロホンアレイ装置。
  8. 複数のマイクロホンから入力される複数の音信号を取得し、
    非抑圧方向に配置したマイクロホンから得られる非抑圧音信号と、抑圧方向に配置したマイクロホンから得られる抑圧音信号とを比較して、前記非抑圧音信号に含まれる目的音に対する、抑圧方向からの非目的音の影響を評価する評価パラメータを求め、
    前記評価パラメータに基づいて、前記非目的音の抑圧量を制御する抑圧し、前記マイクロホンの指向性を制御する処理をコンピュータに実行させる指向性制御プログラム。
JP2010114897A 2010-05-19 2010-05-19 マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム Active JP5672770B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010114897A JP5672770B2 (ja) 2010-05-19 2010-05-19 マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム
DE102011108234.8A DE102011108234B4 (de) 2010-05-19 2011-05-13 Mikrofonarrayvorrichtung
US13/107,497 US8891780B2 (en) 2010-05-19 2011-05-13 Microphone array device
US14/512,849 US10140969B2 (en) 2010-05-19 2014-10-13 Microphone array device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010114897A JP5672770B2 (ja) 2010-05-19 2010-05-19 マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム

Publications (2)

Publication Number Publication Date
JP2011244232A true JP2011244232A (ja) 2011-12-01
JP5672770B2 JP5672770B2 (ja) 2015-02-18

Family

ID=44924939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010114897A Active JP5672770B2 (ja) 2010-05-19 2010-05-19 マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム

Country Status (3)

Country Link
US (2) US8891780B2 (ja)
JP (1) JP5672770B2 (ja)
DE (1) DE102011108234B4 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015121529A (ja) * 2013-10-18 2015-07-02 ザ・ボーイング・カンパニーTheBoeing Company ビークル群を含む可変アパーチャフェイズドアレイ
JP2016032139A (ja) * 2014-07-28 2016-03-07 株式会社オーディオテクニカ マイクロホン装置
WO2017002525A1 (ja) * 2015-06-30 2017-01-05 日本電気株式会社 信号処理装置、信号処理方法、および信号処理プログラム
WO2017119284A1 (ja) * 2016-01-08 2017-07-13 日本電気株式会社 信号処理装置、利得調整方法および利得調整プログラム
US10659890B2 (en) 2017-04-21 2020-05-19 Sivantos Pte. Ltd. Method for operating a hearing device and a hearing device
JP2021500634A (ja) * 2017-10-23 2021-01-07 アイフライテック カンパニー,リミテッド マイク・アレイに基づく対象音声取得方法及び装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5672770B2 (ja) * 2010-05-19 2015-02-18 富士通株式会社 マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム
JP5333559B2 (ja) * 2011-10-07 2013-11-06 株式会社デンソー 車両用装置
WO2014039028A1 (en) * 2012-09-04 2014-03-13 Nuance Communications, Inc. Formant dependent speech signal enhancement
JP6214651B2 (ja) * 2013-06-11 2017-10-18 Toa株式会社 マイクロホンアレイ制御装置
JP6594721B2 (ja) * 2015-09-28 2019-10-23 アルパイン株式会社 音声認識システム、ゲイン設定システム及びコンピュータプログラム
CN107437420A (zh) * 2016-05-27 2017-12-05 富泰华工业(深圳)有限公司 语音信息的接收方法、系统及装置
CN106128448A (zh) * 2016-08-30 2016-11-16 金嵩 一种新型球场用声音收集器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191496A (ja) * 1995-01-09 1996-07-23 Matsushita Electric Ind Co Ltd 接話マイクロホン
JPH09149490A (ja) * 1995-11-22 1997-06-06 Matsushita Electric Ind Co Ltd マイクロホン装置
JPH1118186A (ja) * 1997-06-25 1999-01-22 Purimo:Kk 一次圧力傾度マイク
JP2001100800A (ja) * 1999-09-27 2001-04-13 Toshiba Corp 雑音成分抑圧処理装置および雑音成分抑圧処理方法
JP2005165021A (ja) * 2003-12-03 2005-06-23 Fujitsu Ltd 雑音低減装置、および低減方法
JP2007174011A (ja) * 2005-12-20 2007-07-05 Yamaha Corp 収音装置
JP2010020165A (ja) * 2008-07-11 2010-01-28 Fujitsu Ltd 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
JP2011099967A (ja) * 2009-11-05 2011-05-19 Fujitsu Ltd 音信号処理方法および音信号処理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6668062B1 (en) 2000-05-09 2003-12-23 Gn Resound As FFT-based technique for adaptive directionality of dual microphones
JP4457221B2 (ja) 2003-08-29 2010-04-28 学校法人早稲田大学 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム
JP2005266797A (ja) 2004-02-20 2005-09-29 Sony Corp 音源信号分離装置及び方法、並びにピッチ検出装置及び方法
DE602005006412T2 (de) 2004-02-20 2009-06-10 Sony Corp. Verfahren und Vorrichtung zur Grundfrequenzbestimmung
US7436188B2 (en) 2005-08-26 2008-10-14 Step Communications Corporation System and method for improving time domain processed sensor signals
JP4823713B2 (ja) 2006-02-17 2011-11-24 株式会社ハウステック 貯湯式給湯機
JP4912036B2 (ja) 2006-05-26 2012-04-04 富士通株式会社 指向性集音装置、指向性集音方法、及びコンピュータプログラム
JP5070873B2 (ja) 2006-08-09 2012-11-14 富士通株式会社 音源方向推定装置、音源方向推定方法、及びコンピュータプログラム
JP5401759B2 (ja) * 2007-01-16 2014-01-29 ソニー株式会社 音声出力装置、音声出力方法、音声出力システムおよび音声出力処理用プログラム
JP4854533B2 (ja) * 2007-01-30 2012-01-18 富士通株式会社 音響判定方法、音響判定装置及びコンピュータプログラム
US8340316B2 (en) * 2007-08-22 2012-12-25 Panasonic Corporation Directional microphone device
JP5070993B2 (ja) * 2007-08-27 2012-11-14 富士通株式会社 音処理装置、位相差補正方法及びコンピュータプログラム
JP5206234B2 (ja) 2008-08-27 2013-06-12 富士通株式会社 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
JP5338259B2 (ja) 2008-10-31 2013-11-13 富士通株式会社 信号処理装置、信号処理方法、および信号処理プログラム
EP2182742B1 (en) 2008-11-04 2014-12-24 GN Resound A/S Asymmetric adjustment
JP2010124370A (ja) * 2008-11-21 2010-06-03 Fujitsu Ltd 信号処理装置、信号処理方法、および信号処理プログラム
WO2010063660A2 (en) * 2008-12-05 2010-06-10 Audioasics A/S Wind noise detection method and system
JP5493850B2 (ja) * 2009-12-28 2014-05-14 富士通株式会社 信号処理装置、マイクロホン・アレイ装置、信号処理方法、および信号処理プログラム
JP5672770B2 (ja) * 2010-05-19 2015-02-18 富士通株式会社 マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191496A (ja) * 1995-01-09 1996-07-23 Matsushita Electric Ind Co Ltd 接話マイクロホン
JPH09149490A (ja) * 1995-11-22 1997-06-06 Matsushita Electric Ind Co Ltd マイクロホン装置
JPH1118186A (ja) * 1997-06-25 1999-01-22 Purimo:Kk 一次圧力傾度マイク
JP2001100800A (ja) * 1999-09-27 2001-04-13 Toshiba Corp 雑音成分抑圧処理装置および雑音成分抑圧処理方法
JP2005165021A (ja) * 2003-12-03 2005-06-23 Fujitsu Ltd 雑音低減装置、および低減方法
JP2007174011A (ja) * 2005-12-20 2007-07-05 Yamaha Corp 収音装置
JP2010020165A (ja) * 2008-07-11 2010-01-28 Fujitsu Ltd 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
JP2011099967A (ja) * 2009-11-05 2011-05-19 Fujitsu Ltd 音信号処理方法および音信号処理装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015121529A (ja) * 2013-10-18 2015-07-02 ザ・ボーイング・カンパニーTheBoeing Company ビークル群を含む可変アパーチャフェイズドアレイ
JP2016032139A (ja) * 2014-07-28 2016-03-07 株式会社オーディオテクニカ マイクロホン装置
WO2017002525A1 (ja) * 2015-06-30 2017-01-05 日本電気株式会社 信号処理装置、信号処理方法、および信号処理プログラム
JPWO2017002525A1 (ja) * 2015-06-30 2018-04-26 日本電気株式会社 信号処理装置、信号処理方法、および信号処理プログラム
US10515650B2 (en) 2015-06-30 2019-12-24 Nec Corporation Signal processing apparatus, signal processing method, and signal processing program
WO2017119284A1 (ja) * 2016-01-08 2017-07-13 日本電気株式会社 信号処理装置、利得調整方法および利得調整プログラム
US10825465B2 (en) 2016-01-08 2020-11-03 Nec Corporation Signal processing apparatus, gain adjustment method, and gain adjustment program
US10659890B2 (en) 2017-04-21 2020-05-19 Sivantos Pte. Ltd. Method for operating a hearing device and a hearing device
JP2021500634A (ja) * 2017-10-23 2021-01-07 アイフライテック カンパニー,リミテッド マイク・アレイに基づく対象音声取得方法及び装置
US11081123B2 (en) 2017-10-23 2021-08-03 Iflytek Co., Ltd. Microphone array-based target voice acquisition method and device
JP7011075B2 (ja) 2017-10-23 2022-01-26 アイフライテック カンパニー,リミテッド マイク・アレイに基づく対象音声取得方法及び装置

Also Published As

Publication number Publication date
DE102011108234A1 (de) 2011-12-01
JP5672770B2 (ja) 2015-02-18
DE102011108234B4 (de) 2019-01-24
US20150030174A1 (en) 2015-01-29
US20110286604A1 (en) 2011-11-24
US10140969B2 (en) 2018-11-27
US8891780B2 (en) 2014-11-18

Similar Documents

Publication Publication Date Title
JP5672770B2 (ja) マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム
JP5817366B2 (ja) 音声信号処理装置、方法及びプログラム
JP5805365B2 (ja) ノイズ推定装置及び方法とそれを利用したノイズ減少装置
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
JP4286637B2 (ja) マイクロホン装置および再生装置
WO2014054314A1 (ja) 音声信号処理装置、方法及びプログラム
JP5272920B2 (ja) 信号処理装置、信号処理方法、および信号処理プログラム
US20090279715A1 (en) Method, medium, and apparatus for extracting target sound from mixed sound
JP5838861B2 (ja) 音声信号処理装置、方法及びプログラム
EP2752848B1 (en) Method and apparatus for generating a noise reduced audio signal using a microphone array
JP2014137414A (ja) 雑音抑圧装置、方法、及びプログラム
KR20090037845A (ko) 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치
US11205437B1 (en) Acoustic echo cancellation control
JP2016054421A (ja) 残響抑制装置
JP6221257B2 (ja) 信号処理装置、方法及びプログラム
JP6314475B2 (ja) 音声信号処理装置及びプログラム
JP6221258B2 (ja) 信号処理装置、方法及びプログラム
JP2017040752A (ja) 音声判定装置、方法及びプログラム、並びに、音声信号処理装置
JP6263890B2 (ja) 音声信号処理装置及びプログラム
JP6631127B2 (ja) 音声判定装置、方法及びプログラム、並びに、音声処理装置
JP6295650B2 (ja) 音声信号処理装置及びプログラム
JP6361360B2 (ja) 残響判定装置及びプログラム
JP6903947B2 (ja) 非目的音抑圧装置、方法及びプログラム
JP6252274B2 (ja) 背景雑音区間推定装置及びプログラム
JP6221463B2 (ja) 音声信号処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141215

R150 Certificate of patent or registration of utility model

Ref document number: 5672770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150