JP2019075622A - 騒音抑圧装置、騒音抑圧方法、プログラム - Google Patents

Abstract

【課題】音声強調の性能を高めた騒音抑圧装置を提供する。【解決手段】騒音抑圧装置１は、音声信号を受信する複数のマイクからなる入力部１０と、音声信号のスペクトルを算出し、時間周波数スペクトルを求めるスペクトル算出部１１と、音声信号の到来方向を推定する到来方向推定部１２と、音声信号のＳＮＲを推定するＳＮＲ推定部１３と、到来方向およびＳＮＲに基づいて、目的音声と目的外音声を区別するための閾値を決定する閾値決定部１４と、閾値に基づいてマスクを構成するマスク構成部１５と、マスクを時間周波数スペクトルに適用して目的外音声を抑圧し、目的音声を得る音声強調部１６とを備える。【選択図】図１

Description

本発明は、目的の音声とそれ以外の騒音が混ざっている音声から、目的の音声を抽出または強調する処理方法に関する。

従来から、推定したＳＮＲや到来方向に基づいてマスクを構成する手法が提案されている（例えば、特許文献１、非特許文献１参照。）。以下、特許文献１に記載された音声分離強調システムでは、受信部で観察された信号をフィルタ処理部で処理して雑音信号Ｎを求める。マスクフィルタ処理部は、受信部で観察された信号と雑音信号Ｎに基づいて目的外音声を低減するマスクフィルタ係数を推定する。マスクフィルタ係数は、目的外音声らしい部分は０、目的音声らしい部分は１の値を有する係数である。

非特許文献１は、到来方向に基づいて閾値を推定する方法であるが、その開示内容は、基本的には特許文献１と同じである。音声の到来方向に対してある閾値を設け、音声がその閾値の範囲に含まれていれば、音声と判断して１を設定し、それ以外であれば0を設定する。

特開２００９−２７２８７６

H. Sawada, S. Araki, R. Mukai, and S. Makino, "Grouping separated frequency components by estimating propagation model parameters in frequency-domain blind source separation" IEEE Transactions on Audio, Speech and Language Processing, 15, 1592-1604 (2007)

上記した方法はいずれも、目的音声らしさの判定に所定の閾値を使っているため、音声強調の性能は閾値に大きく依存してしまうという問題があった。本発明は、閾値を適切に設定し、音声強調の性能を高めた騒音抑圧装置を提供することを目的とする。

本発明の騒音抑圧装置は、音声信号を受信する複数のマイクからなる入力部と、前記音声信号のスペクトルを算出し、時間周波数スペクトルを求めるスペクトル算出部と、前記音声信号の到来方向を推定する到来方向推定部と、前記音声信号のＳＮＲを推定するＳＮＲ推定部と、前記到来方向および前記ＳＮＲに基づいて、目的音声と目的外音声を区別するための閾値を決定する閾値決定部と、前記閾値に基づいてマスクを構成するマスク構成部と、前記マスクを前記時間周波数スペクトルに適用して目的外音声を抑圧し、目的音声を得る音声強調部とを備える。

この構成により、ＳＮＲ（signal to noise ratio：ＳＮＲ）に基づいて目的音声と目的外音声とを区別する閾値を設定するので、目的外音声である騒音の大小にかかわらず、適切に目的外音声と目的音声とを区別することができる。

本発明の騒音抑圧装置において、前記閾値決定部は、前記到来方向推定部にて推定された到来方向からの許容誤差であって、目的音声として受信すべき音声信号の到来方向の範囲を規定する許容誤差を、前記閾値として決定してもよい。

この構成により、音声信号の到来方向の許容誤差に基づいて、適切に目的外音声を抑圧することができる。

本発明の騒音抑圧装置において、前記閾値決定部は、到来方向を確率変数とする目的音声の確率分布に基づいて、前記閾値を変数とする目的音声の受信確率を求めると共に、全方位に一様な目的外音声の確率分布に基づいて、前記閾値を変数とする目的外音声の受信確率を求め、前記目的音声の受信確率と前記目的外音声の受信確率とに基づいて前記閾値を決定してもよい。

この構成により、目的音声の受信確率と目的外音声の受信確率のトレードオフを考慮して適切な閾値を決定することができる。

本発明の騒音抑圧装置において、前記閾値決定部は、目的音声の受信確率から目的音声を目的外音声として受信してしまう確率である受信エラー確率を求め、前記目的音声の受信エラー確率と前記目的外音声の受信確率の合計を最小にする閾値を決定してもよい。

この構成により、目的音声の受信エラー確率を低減させると共に、目的外音声を受信してしまう確率を低減する閾値を決定することができる。

本発明の騒音抑圧装置において、前記閾値決定部は、前記受信エラー確率と前記目的外音声の受信確率を合計する際に、いずれかの確率に重みを乗じてもよい。

このように重みを乗じることにより、受信エラーを減らすか目的外音声の受信を減らすかのいずれかを優先した閾値を設定することができる。

本発明の騒音抑圧方法は、騒音抑圧装置によって、複数のマイクにて受信した音声信号に含まれる騒音を抑圧して音声を強調する方法であって、前記騒音抑圧装置が、複数のマイクから音声信号を受信するステップと、前記騒音抑圧装置が、前記音声信号のスペクトルを算出し、時間周波数スペクトルを求めるステップと、前記騒音抑圧装置が、前記音声信号の到来方向を推定するステップと、前記騒音抑圧装置が、前記音声信号のＳＮＲを推定するステップと、前記騒音抑圧装置が、前記到来方向および前記ＳＮＲに基づいて、目的音声と目的外音声を区別するための閾値を決定するステップと、前記騒音抑圧装置が、前記閾値に基づいてマスクを構成するステップと、前記騒音抑圧装置が、前記マスクを前記時間周波数スペクトルに適用して目的外音声を抑圧し、目的音声を得るステップとを備える。

本発明のプログラムは、複数のマイクにて受信した音声信号に含まれる騒音を抑圧して音声を強調するために、コンピュータに、前記音声信号のスペクトルを算出し、時間周波数スペクトルを求めるステップと、前記音声信号の到来方向を推定するステップと、前記音声信号のＳＮＲを推定するステップと、前記到来方向および前記ＳＮＲに基づいて、目的音声と目的外音声を区別するための閾値を決定するステップと、前記閾値に基づいてマスクを構成するステップと、前記マスクを前記時間周波数スペクトルに適用して目的外音声を抑圧し、目的音声を得るステップとを実行させる。

従来は、閾値を場当たり的に選択していたが、本発明によればＳＮＲに基づいて適切な閾値が求まるので、安定した騒音抑圧が行えるという効果を有する。

実施の形態の騒音抑圧装置の構成を示す図である。 （ａ）マイク１０ａで受信した音声の時間周波数スペクトルの例を示す図である。（ｂ）マイク１０ｂで受信した音声の時間周波数スペクトルの例を示す図である。 マスクの一例を示す図である。 音声の到来方向と位相差との関係を示す図である。 音声信号を位相シフトキーイングによって位相に変換する例を示す図である。 ２値である時間周波数マスクＭを、連続量であるマイクの位相差φ_Ｒに情報を変換した通信系を示す図である。 （ａ）ＳＮＲ≧０の場合に観測音声の位相差φ_Ｒが取り得る範囲を示す図である。（ｂ）ＳＮＲ＜０の場合に観測音声の位相差φ_Ｒが取り得る範囲を示す図である。 送信信号ｘが受信信号ｙに変化する確率ｐ_００，ｐ_０１，ｐ_１０，ｐ_１１を示す図である。 実施の形態の騒音抑圧装置の動作を示す図である。

以下、実施の形態の騒音抑圧装置について図面を参照して説明する。
図１は、本実施の形態の騒音抑圧装置１の構成を示す図である。騒音抑圧装置１の構成の説明に先立って、本実施の形態の騒音抑圧装置１が行う基本的な処理について説明する。

（イントロダクション）
本実施の形態の騒音抑圧装置１は、音声を入力する入力部１０として２つのマイク１０ａ，１０ｂを有している。騒音抑圧装置１は、入力された音声を時間周波数スペクトルに変換する。図２（ａ）及び図２（ｂ）は、それぞれ、マイク１０ａ、マイク１０ｂの時間周波数スペクトルの例を模式的に示す図である。なお、実際の時間周波数スペクトルは、各ビンに対応する音声信号の大きさを、その大きさに応じた色で表すことが多い。

図２（ａ）及び図２（ｂ）において、横軸は時間、縦軸は周波数を示す。時間及び周波数の交点を「ビン」と呼ぶ。図２（ａ）及び図２（ｂ）では、各ビンで信号が観察されたことを「〇」で示している。例えば、時刻ｔ２においては、マイク１０ａでは音声は観察されず、マイク１０ｂでは周波数ｆ３の音声が観察された。時刻ｔ３においては、マイク１０ａで周波数ｆ３，ｆ４の音声が観察され、マイク１０ｂでも周波数ｆ３，ｆ４の音声が観察された。

なお、この段階では、観察された音声信号が目的の音声であるか、目的外の音声であるかは未知である。本実施の形態の騒音抑圧装置１は、マイク１０ａ，１０ｂで観察された音声の位相差と音声の到来方向の整合性に基づいて、観察された信号が所定の音源から発せられた目的音声であるか、騒音等の目的外音声であるかを推定し、騒音を抑圧するマスクを生成する。

図３は、マスクの一例を示す図である。音声と判断されるビンには「１」、騒音と判断されるビンには「０」の値が設定されている。本実施の形態の騒音抑圧装置１は、適切なマスクを生成して、騒音抑圧を安定的に行う。

（騒音抑圧装置の構成）
次に、本実施の形態の騒音抑圧装置１の構成について説明する。
図１は、騒音抑圧装置１の構成を示す図である。騒音抑圧装置１は、音声を受信する２つのマイク１０ａ，１０ｂを備えた入力部１０と、入力された音声信号を時間周波数スペクトルに変換するスペクトル算出部１１と、音声の到来方向を推定する到来方向推定部１２と、音声のＳＮＲを推定するＳＮＲ推定部１３とを有している。以上の構成は、公知の技術を用いて実現することができる。

騒音抑圧装置１は、音声の到来方向とＳＮＲに基づいて、目的音声と目的外音声を区別するための閾値を決定する閾値決定部１４と、閾値に基づいてマスクを構成するマスク構成部１５と、マスクを時間周波数スペクトルに適用して目的外音声を抑圧する音声強調部１６とを備えている。

閾値決定部１４について説明する。閾値決定部１４は、確率分布算出部２０と、誤り確率算出部２１と、最適化部２２とを有している。以下、閾値決定部１４の処理について説明すると共に、閾値決定部１４の各構成の役割について説明する。

（ア）バイナリマスクによる騒音抑圧処理
閾値決定部１４は、２つのマイクに入力された音声の位相差を検出する。具体的には、図２（ａ）及び図２（ｂ）に示す時間周波数スペクトルの各ビンの音声信号の位相差を求める。

図４は、音声の到来方向と位相差との関係を示す図である。マイク１０ａとマイク１０ｂとの間の距離ｄ［ｍ］は既知である。音声の到来方向を図４のθｓ［ｒａｄ］（正面方向を０［ｒａｄ］）とすると、マイク１０ａとマイク１０ｂに到達する音声の位相差はｄｓｉｎ（θｓ）である。音声の到来方向と位相差とが整合していれば、同じ音源からの音声であると判断し、整合していなければ騒音と判断する。

音声の到来方向と位相差との整合性の判断において、騒音抑圧装置１は、誤差（閾値）θを許容する。目的音声の位相差θｐは、誤差θを用いて次式で表される。
θｓ−θ≦θｐ≦θｓ＋θ

目的音声はθｐの位相差を持った音声信号として通信され、これに雑音としてのノイズの位相差が加わることになる。目的音のみが存在すれば、目的音に由来する位相差φｓと一致する。

これにより、音源方向θｓと位相差φｓが関連付けられる。なお、波長をλ＝ｃ／ｆとした。

しかし、上述のとおり、２つのマイクで観測される位相差φ_Ｒは、必ずしも理論値とは一致しないので、到来方向の許容誤差θを含めて、到来方向θｓと観測される位相差φ_Ｒとの整合性を判定するものとすると、マスクＭの係数は次式で決定される。
このマスクとスペクトルの積ＭＸ_１を取り、これを逆短時間フーリエ変換することで騒音抑圧された信号が得られる。

（イ）バイナリマスクの位相シフトキーイングとしてのモデル化
本実施の形態では、上記（ア）で述べた時間周波数スペクトルにおけるバイナリマスクによる騒音抑圧処理を、バイナリマスクをマイク間の位相差に変換して通信する問題と考える。すなわち、「雑音のある離散的通信路モデル」でモデル化する。これは、図５に示すように、音声信号を位相に変えて通信する位相シフトキーイング（Phase-shift Keying：ＰＳＫ）と同じであるので、図６のように、２値である時間周波数マスクＭを、連続量であるマイクの位相差φ_Ｒに情報を変え、通信する系と考える。

（ウ）位相差φ_Ｒの分布の算出法
一般には、目的音声の観測された位相差φ_Ｒはノイズの影響で、式（１）とは一致しない。目的音の振幅をＳ、ノイズの振幅をＮとすると、ノイズの位相差をφ_Ｎとして、次式で表される。なお、ｊは虚数単位である。
ここで、ａｎｇ（Ｚ）は、複素数Ｚの偏角［０，２π）を表す記号である。

信号対雑音比ＳＮＲは、
であることから、上記式（３）は、次式のように変形できる。

ここで方向性のないノイズの位相差φ_Ｎは、［０,２π）において一様分布であるから、観測音声の位相差φ_Ｒの分布はＳＮＲの関数となる。方向性のあるノイズに関しては、φ_Sφ_Nにピークをもつため分離は簡単である。ここでは方向性のないノイズの取り扱い方について説明するが、方向性がある場合もφ_Nの分布が分かれば同様に扱える。図７（ａ）は、ＳＮＲ≧０の場合に観測音声の位相差φ_Ｒが取り得る範囲を示し、図７（ｂ）はＳＮＲ＜０の場合に観測音声の位相差φ_Ｒが取り得る範囲を示している。図７（ａ）及び図７（ｂ）に見られるように、ＳＮＲが与えられれば、φ_Ｎが［０，２π）の範囲を動いたときのφ_Ｒの変化を考えることで、確率分布算出部２０は、目的外音声φ_Ｎの確率密度ρφ_Ｎを求めることができる。また、確率分布算出部２０は、ＳＮＲ推定部１３によって算出したＳＮＲに基づいて、式（５）から目的音声の確率密度ρφ_Ｒを算出する。

（エ）誤り確率と誤差θとの関係
図８は、送信信号ｘが受信信号ｙに変化する確率ｐ_００，ｐ_０１，ｐ_１０，ｐ_１１を示す図である。確率ｐ_００は、送信信号ｘが０、受信信号ｙが０となる確率である。確率ｐ_０１は、送信信号ｘが０、受信信号１となる確率である。これは、実際には信号を送信していないにもかかわらず、受信側でノイズを拾ってしまう受信エラー確率である。確率ｐ_１０は、送信信号ｘが１、受信信号ｙが０となる確率であり、これは送信側が信号を送信したにもかかわらず、受信側が受信し損なってしまう確率である。確率ｐ_１１は、送信信号ｘが１、受信信号ｙが１となる確率であり、これは送信側が送信した信号を受信側が正しく受信したと考えられる確率である。

閾値決定部１４は、確率ｐ_０１，ｐ_１０を最小化するように閾値θを求めるため、誤り確率算出部２１によって誤り確率ｐ_０１，ｐ_１０を求める機能を有する。確率ｐ_０１，ｐ_１０を次のようにして求める。図６のシステムを通った時に、Ｍ=０がＭ=１となるのは、［０，２π）に一様に存在するφ_Ｎがバイナリマスクのパスバンドθｐに入るときなので、確率ｐ_０１は次式で表される。なお、ｐ_００＋ｐ_０１＝１であるから、ｐ_０１が求まれば、ｐ_００も容易に求まる。

Ｍ=１がＭ=１のまま伝わるためには、式（５）が式（２）のφ_Ｒの範囲に入っている必要がある。上述した確率密度布ρφ_Ｒから、式（２）のＭ=１の条件を満たす確率ｐ_１１を算出すれば、次式のようになる。そして、ｐ_１０＋ｐ_１１＝１であるから、ｐ_１１から、ｐ_１０を求めることができる。
ここで、

上記に説明した式より、許容誤差θを大きくすると、確率ｐ_１１を大きくできる一方で、確率ｐ_０１も大きくなってしまうというトレードオフがあることが解析的に分かる。最適化部２２は、（ｐ_０１＋ｐ_１０）を最小化する誤差θを求めることにより、最適な閾値が得られる。なお、（ｐ_０１＋α・ｐ_１０）のように、確率ｐ_１０に対して重みを乗じてもよい。重みαは、α＞１の場合には、目的信号を取り損なわないようにする方向に働き、α＜１の場合には、目的外の雑音を拾わないようにする方向に働く。

以上、本実施の形態の騒音抑圧装置１の構成について説明したが、上記した騒音抑圧装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した騒音抑圧装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

図９は、実施の形態の騒音抑圧装置１の動作を示す図である。騒音抑圧装置１は、入力部１０の２本のマイク１０ａ，１０ｂによって音声の入力を受け付け、それぞれのマイク１０ａ，１０ｂに入力された音声信号に基づいて時間周波数スペクトルを算出する（Ｓ１０）。

次に、騒音抑圧装置１は、音声の到来方向を推定し（Ｓ１１）、続いて音声のＳＮＲを推定する（Ｓ１２）。なお、図９では、音声の到来方向の推定をＳＮＲの推定より先に記載しているが、この順番は逆であってもよい。

続いて、騒音抑圧装置１の閾値決定部１４は、音声の到来方向およびＳＮＲに基づいて、音声の到来方向を変数とする目的音声の確率分布と目的外音声の確率分布を求める（Ｓ１３）。そして、閾値決定部１４は、目的音声の確率分布に基づいて、目的音声を受信する確率ｐ_１１と受信できない確率ｐ_１０を求める（Ｓ１４）。確率ｐ_１１と確率ｐ_１０は閾値を変数とする関数である。また、目的外音声の確率分布に基づいて、目的外変数を受信する確率ｐ_０１を求める。確率ｐ_０１も閾値を変数とする関数である（Ｓ１４）。

騒音抑圧装置１の閾値決定部１４は、確率ｐ_０１と確率ｐ_１０を合計した確率が最小となるような閾値を決定し（Ｓ１５）、決定した閾値に基づいてマスクを構成する（Ｓ１６）。具体的には、閾値θは、到来方向の許容誤差であるから、時間周波数スペクトルの各ビンにおける音声の到来方向が、到来方向プラス許容誤差の範囲に含まれている場合には、時間周波数スペクトルのマスク係数「１」とし、含まれていない場合にはマスク係数を「０」とする。

騒音抑圧装置１は、マイク１０ａまたはマイク１０ａで受信した音声の時間周波数スペクトルにマスクをかけ、騒音を抑圧し、目的音声を強調する（Ｓ１７）。

以上、本実施の形態の騒音抑圧装置１の構成および動作について説明した。本実施の形態の騒音抑圧装置１は、音声のＳＮＲに基づいて、マスクの閾値を適切に設定するので、適切なマスクを生成して、騒音抑圧を安定的に行うことができる。

（変形例）
上記した実施の形態では、送信信号の性質を考慮していなかったが、本発明の騒音抑圧装置１は、以下のようにして送信信号の性質を考慮することも可能である。
送信信号xのエントロピーＨ（ｘ）は次式で表される。

送信信号xのエントロピーＨ（ｘ）は、送信信号xの性質のみに依存するため、事前に調べておくことができる。受信信号yのエントロピーＨ（ｙ）を予測するためには、図８に示すように、送信信号ｘが受信信号ｙに変化する確率ｐ_００、ｐ_０１、ｐ_１０、ｐ_１１を求める必要がある。

上記の各確率が求まれば、受信信号の確率ｐ_００〜ｐ_１１から受信信号のエントロピーＨ（ｙ）は、次式で求めることができる。

同様に、送信信号がｘであるときの受信信号yの条件付きエントロピーＨｘ（ｙ）は、次式で求まる。

上記した実施の形態では、入力部１０が２本のマイクを有する例について説明したが、マイクは３本以上であってもよい。マイクが３本以上ある場合は、２本ずつのマイクのペアに対してマスクを構成し、それらを統合することで最終的なマスクを得ることができる。

本発明は、目的の音声を抽出または強調する処理方法として有用である。また他の音声強調処理の前処理として、目的外の音声を抽出する処理方法としても利用できる。

１ 騒音抑圧装置
１０ 入力部
１０ａ，１０ｂ マイク
１１ スペクトル算出部
１２ 到来方向推定部
１３ ＳＮＲ推定部
１４ 閾値決定部
１５ マスク構成部
１６ 音声強調部
２０ 確率分布算出部
２１ 誤り確率算出部
２２ 最適化部

Claims (7)

1. 音声信号を受信する複数のマイクからなる入力部と、
   前記音声信号のスペクトルを算出し、時間周波数スペクトルを求めるスペクトル算出部と、
   前記音声信号の到来方向を推定する到来方向推定部と、
   前記音声信号のＳＮＲを推定するＳＮＲ推定部と、
   前記到来方向および前記ＳＮＲに基づいて、目的音声と目的外音声を区別するための閾値を決定する閾値決定部と、
   前記閾値に基づいてマスクを構成するマスク構成部と、
   前記マスクを前記時間周波数スペクトルに適用して目的外音声を抑圧し、目的音声を得る音声強調部と、
   を備える騒音抑圧装置。
2. 前記閾値決定部は、前記到来方向推定部にて推定された到来方向からの許容誤差であって、目的音声を受信すべき音声信号の到来方向の範囲を規定する許容誤差を、前記閾値として決定する請求項１に記載の騒音抑圧装置。
3. 前記閾値決定部は、到来方向を確率変数とする目的音声の確率分布に基づいて、前記閾値を変数とする目的音声の受信確率を求めると共に、全方位に一様な目的外音声の確率分布に基づいて、前記閾値を変数とする目的外音声の受信確率を求め、前記目的音声の受信確率と前記目的外音声の受信確率とに基づいて前記閾値を決定する請求項２に記載の騒音抑圧装置。
4. 前記閾値決定部は、目的音声の受信確率から目的音声を目的外音声として受信してしまう確率である受信エラー確率を求め、前記目的音声の受信エラー確率と前記目的外音声の受信確率の合計を最小にする閾値を決定する請求項３に記載の騒音抑圧装置。
5. 前記閾値決定部は、前記受信エラー確率と前記目的外音声の受信確率を合計する際に、いずれかの確率に重みを乗じる請求項４に記載の騒音抑圧装置。
6. 騒音抑圧装置によって、複数のマイクにて受信した音声信号に含まれる騒音を抑圧して音声を強調する方法であって、
   前記騒音抑圧装置が、複数のマイクから音声信号を受信するステップと、
   前記騒音抑圧装置が、前記音声信号のスペクトルを算出し、時間周波数スペクトルを求めるステップと、
   前記騒音抑圧装置が、前記音声信号の到来方向を推定するステップと、
   前記騒音抑圧装置が、前記音声信号のＳＮＲを推定するステップと、
   前記騒音抑圧装置が、前記到来方向および前記ＳＮＲに基づいて、目的音声と目的外音声を区別するための閾値を決定するステップと、
   前記騒音抑圧装置が、前記閾値に基づいてマスクを構成するステップと、
   前記騒音抑圧装置が、前記マスクを前記時間周波数スペクトルに適用して目的外音声を抑圧し、目的音声を得るステップと、
   を備える騒音抑圧方法。
7. 複数のマイクにて受信した音声信号に含まれる騒音を抑圧して音声を強調するためのプログラムであって、コンピュータに、
   前記音声信号のスペクトルを算出し、時間周波数スペクトルを求めるステップと、
   前記音声信号の到来方向を推定するステップと、
   前記音声信号のＳＮＲを推定するステップと、
   前記到来方向および前記ＳＮＲに基づいて、目的音声と目的外音声を区別するための閾値を決定するステップと、
   前記閾値に基づいてマスクを構成するステップと、
   前記マスクを前記時間周波数スペクトルに適用して目的外音声を抑圧し、目的音声を得るステップと、
   を実行させるプログラム。