JP2018142819A - 非目的音判定装置、プログラム及び方法 - Google Patents

Abstract

【課題】 精度よく非目的音（例えば、背景雑音）の有無を判定することができる非目的音判定装置を提供する。【解決手段】 本発明の非目的音判定装置は、複数のマイクから得られた入力信号を時間領域から周波数領域に変換された周波数領域入力信号を取得し、取得した前記マイクごとの周波数領域入力信号の差に基づいて、正面に死角を有する第１の正面抑圧信号を生成する正面抑圧信号生成部と、前記複数のマイクから得られた入力信号からコヒーレンスを算出するコヒーレンス算出部と、前記第１の正面抑圧信号及び前記コヒーレンスの相関係数と、前記相関係数の振幅の傾きの正負の変動の激しさを表す第１の特徴量とを算出する第１の特徴量算出部と、前記第１の特徴量算出部が算出した前記第１の特徴量の値に基づいて背景雑音の有無を判定する背景雑音存在判定部とを有することを特徴とする。【選択図】 図１

Description

本発明は、非目的音判定装置、プログラム及び方法に関し、例えば、電話やテレビ会議などにおける音声処理や、音声認識処理に際して、目的音以外の非目的音（例えば、背景雑音）の有無の判定に適用し得る。

近年、スマートフォンやカーナビゲーションなどの音声通話機能や音声認識機能などの様々な音声処理機能に対応する装置（以下、これらの装置を総称して「音声処理装置」と呼ぶものとする）が普及している。しかし、これらの音声処理装置が普及したことで、混雑した街中や走行中の車内など、以前よりも過酷な雑音環境下で音声処理装置が用いられるようになってきている。そのため、雑音環境下でも通話音質や音声認識性能を維持できるような、音声処理装置の需要が高まっている。

従来の音声処理装置において、目的音を抽出して取得する際には、目的音以外の非目的音を抑制する処理が行われる。従来の非目的音を抑制する音声処理装置としては、例えば、特許文献１に記載された技術がある。

特許文献１に記載された装置では、入力音声信号に遅延減算処理を施して、第１、第２の所定方位に死角を有する第１、第２の指向性信号を形成し、これら２つの指向性信号のコヒーレンスを取得する。そして、特許文献１に記載された装置では、取得したコヒーレンスと判定閾値とを比較して、入力音声信号が、目的方位から到来している目的音声の区間か、それ以外の非目的音声区間かを判定し、この判定結果に応じてゲインを設定し、ゲインを入力音声信号に乗算して非目的音声を減衰する。

特開２０１３−１８２０４４号公報 特開２０１４−１０６３３７号公報

ところで、通常非目的音に含まれる成分としては、例えば、背景雑音（例えば、街中での雑踏や、自動車の走行雑音など）と、妨害音声（例えば、当該音声処理装置の使用者以外の人の話し声）に大別できる。

背景雑音と妨害音声とは特性や挙動が全く異なっているため、従来の音声処理装置は、背景雑音が存在するか否かにより、妨害音の抑圧パラメータを変更するなど、処理を切り替えなければ十分な効果が得られなかった。また、処理音を音声認識に供する場合も、やはり背景雑音の有無で認識処理やノイズリダクションの特性を変えなければ十分な認識性能が得られない。よって、背景雑音の存在を正確に判定（検出）できることは重要である。

しかし、音声信号処理の利用環境が急激に拡大したことで、様々な未知の音源が存在する状態で背景雑音の存在を正確に判定することは難しくなっている。したがって、上述のような高度な信号処理実施の前提として、背景雑音の存在を正確に判定できる方法の必要性が増している。

以上のような問題に鑑みて、精度よく非目的音（例えば、背景雑音）の有無を判定することができる非目的音判定装置、プログラム及び方法が望まれている。

第１の本発明は、（１）複数のマイクから得られた入力信号を時間領域から周波数領域に変換された周波数領域入力信号を取得し、取得した前記マイクごとの周波数領域入力信号の差に基づいて、正面に死角を有する第１の正面抑圧信号を生成する正面抑圧信号生成部と、（２）前記複数のマイクから得られた入力信号からコヒーレンスを算出するコヒーレンス算出部と、（３）前記第１の正面抑圧信号及び前記コヒーレンスの相関係数と、前記相関係数の振幅の傾きの正負の変動の激しさを表す第１の特徴量とを算出する第１の特徴量算出部と、（４）前記第１の特徴量算出部が算出した前記第１の特徴量の値に基づいて背景雑音の有無を判定する背景雑音存在判定部とを有することを特徴とする。

第２の本発明の非目的音判定プログラムは、コンピュータを、（１）複数のマイクから得られた入力信号を時間領域から周波数領域に変換された周波数領域入力信号を取得し、取得した前記マイクごとの周波数領域入力信号の差に基づいて、正面に死角を有する第１の正面抑圧信号を生成する正面抑圧信号生成部と、（２）前記複数のマイクから得られた入力信号からコヒーレンスを算出するコヒーレンス算出部と、（３）前記第１の正面抑圧信号及び前記コヒーレンスの相関係数と、前記相関係数の振幅の傾きの正負の変動の激しさを表す第１の特徴量とを算出する第１の特徴量算出部と、（４）前記第１の特徴量算出部が算出した前記第１の特徴量の値に基づいて背景雑音の有無を判定する背景雑音存在判定部として機能させることを特徴とする。

第３の本発明は、非目的音判定装置に使用する非目的音判定方法であって、正面抑圧信号生成部、コヒーレンス算出部、第１の特徴量算出部、及び背景雑音存在判定部を有し、（１）前記正面抑圧信号生成部は、複数のマイクから得られた入力信号を時間領域から周波数領域に変換された周波数領域入力信号を取得し、取得した前記マイクごとの周波数領域入力信号の差に基づいて、正面に死角を有する第１の正面抑圧信号を生成し、（２）前記コヒーレンス算出部は、前記複数のマイクから得られた入力信号からコヒーレンスを算出し、（３）前記第１の特徴量算出部は、前記第１の正面抑圧信号及び前記コヒーレンスの相関係数と、前記相関係数の振幅の傾きの正負の変動の激しさを表す第１の特徴量とを算出し、（４）前記背景雑音存在判定部は、前記第１の特徴量算出部が算出した前記第１の特徴量の値に基づいて背景雑音の有無を判定することを特徴とする。

本発明によれば、精度よく非目的音（例えば、背景雑音）の有無を判定することができる。

第１の実施形態に係る非目的音判定装置の機能的構成について示したブロック図である。 第１の実施形態に係るマイクの配置例について示した説明図である。 第１の実施形態に係る非目的音判定装置で適用される指向性信号の特性について示した図である。 第１の実施形態に係る背景雑音存在判定部が背景雑音の有無を判定する処理について示したフローチャート（その１）である。 第１の実施形態に係る背景雑音存在判定部が背景雑音の有無を判定する処理について示したフローチャート（その２）である。 第２の実施形態に係る非目的判定装置の全体構成を示すブロック図である。 第２の実施形態に係る相関計算及び妨害音存在判定部が妨害音声の有無を判定する処理について示したフローチャート（その１）である。 第２の実施形態に係る相関計算及び妨害音存在判定部が妨害音声の有無を判定する処理について示したフローチャート（その２）である。

（Ａ）第１の実施形態
以下、本発明による非目的音判定装置、プログラム及び方法の第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る非目的音判定装置１の全体構成を示すブロック図である。

非目的音判定装置１は、一対のマイクｍ＿１、ｍ＿２のそれぞれから、図示しないＡＤ変換器を介して入力信号ｓ１（ｎ）、ｓ２（ｎ）を取得する。なお、ｎはサンプルの入力順を表すインデックスであり、正の整数で表現される。本文中では、ｎが小さいほど古い入力サンプルであり、大きいほど新しい入力サンプルであるとする。

非目的音判定装置１は、マイクｍ＿１、ｍ＿２で補足される入力信号に非目的音（背景雑音）が含まれるか否かを判定し、その判定結果を図示しない音声処理装置に供給する。音声処理装置は、非目的音判定装置１から供給される判定結果を利用して、入力信号の処理を行う。音声処理装置が入力信号に対して行う処理内容については限定されないものである。音声処理装置は、例えば、テレビ会議システムや携帯電話端末などの通信装置や音声認識機能の前処理に、非目的音判定装置１から供給される判定結果を利用する。音声処理装置は、例えば、非目的音判定装置１から供給される判定結果を非目的音（例えば、背景雑音）の抑制処理等に利用する。

図２は、マイクｍ＿１、ｍ＿２の配置の例について示した説明図である。

図２に示すように、この実施形態では、マイクｍ＿１、ｍ＿２は、２つのマイクｍ＿１、ｍ＿２を目的音の到来する方向（目的音の音源の方向）に対して水平となるように配置されているものとする。また、以下では、図２に示すように、２つのマイクｍ＿１、ｍ＿２の間の位置から見て、目的音の到来方向を前方向又は正面方向と呼ぶものとする。また、以下では、図２に示すように、右方向、左方向、後方向と呼ぶ場合は、２つのマイクｍ＿１、ｍ＿２の間の位置から目的音の到来方向を見た場合の各方向を示すものとして説明する。なお、この実施形態では、目的音がマイクｍ＿１、ｍ＿２の正面方向から到来し、妨害音声を含む非目的音が左右方向（横方向）から到来するものとして説明する。

非目的音判定装置１は、ＦＦＴ部１０、正面抑圧信号生成部２０、コヒーレンス計算部３０、相関及びｍｏｄＧＩ計算部４０、及び背景雑音存在判定部５０を有している。

非目的音判定装置１は、プロセッサやメモリ等を有するコンピュータにプログラム（実施形態に係る非目的音判定プログラムを含むプログラム）をインストールして実現するようにしてもよいが、この場合でも、非目的音判定装置１は機能的には図１を用いて示すことができる。なお、非目的音判定装置１については一部又は全部をハードウェア的に実現するようにしてもよい。

ＦＦＴ部１０は、マイクｍ１及びマイクｍ２から入力信号系列ｓ１及びｓ２を受け取り、その入力信号ｓ１及びｓ２に高速フーリエ変換（あるいは離散フーリエ変換）を行うものである。これにより、入力信号ｓ１及びｓ２が周波数領域で表現されることになる。なお、ＦＦＴ部１０は、高速フーリエ変換を実施するにあたり、入力信号ｓ１（ｎ）及びｓ２（ｎ）から所定のＮ個（Ｎは任意の整数）のサンプルから成る、分析フレームＦＲＡＭＥ１（Ｋ）及びＦＲＡＭＥ２（Ｋ）を構成するものとする。入力信号ｓ１からＦＲＡＭＥ１を構成する例を以下の（１）式に示す。なお、以下の（１）式において、Ｋはフレームの順番を表すインデックスであり、正の整数で表現される。以下では、Ｋの値が小さいほど古い分析フレームであり、Ｋの値大きいほど新しい分析フレームであるものとする。また、以降の動作説明において、特に但し書きが無い限りは、分析対象となる最新の分析フレームを表すインデックスはＫであるとする。
ＦＲＡＭＥ１（１）＝｛ｓ１（１）、ｓ１（２）・・、ｓ１（ｉ）、・・ｓ１（ｎ）｝
ＦＲＡＭＥ１（Ｋ）＝｛ｓ１（Ｎ×Ｋ＋１）、ｓ１（Ｎ×Ｋ＋２）・・、ｓ１（Ｎ×Ｋ＋ｉ）、・・ｓ１（Ｎ×Ｋ＋Ｎ）｝ …（１）

ＦＦＴ部１０は、分析フレームごとに高速フーリエ変換処理を施すことで、入力信号ｓ１から構成した分析フレームＦＲＡＭＥ１（Ｋ）にフーリエ変換して得た周波数領域信号Ｘ１（ｆ，Ｋ）と、入力信号ｓ２から構成した分析フレームＦＲＡＭＥ２（Ｋ）をフーリエ変換して得た周波数領域信号Ｘ２（ｆ，Ｋ）とを取得する。なおｆは周波数を表すインデックスである。また（ｆ，Ｋ）は単一の値ではなく、以下の（２）式のように、複数の周波数ｆ１〜ｆｍのｍ個（ｍは任意の整数）のスペクトル成分から構成されるものであるものとする。

ＦＦＴ部１０は、周波数領域信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）を、正面抑圧信号生成部２０及びコヒーレンス計算部３０に供給する。

なお、Ｘ１（ｆ，Ｋ）は複素数であり、実部と虚部で構成される。これは、Ｘ２（ｆ，Ｋ）及び、後述する正面抑圧信号生成部２０で説明する「Ｎ（ｆ，Ｋ）」についても同様である。
Ｘ１（ｆ，Ｋ）＝｛Ｘ１（ｆ１，Ｋ）、Ｘ１（ｆ２，Ｋ）、・・Ｘ１（ｆｉ，Ｋ）・・、Ｘ１（ｆｍ，Ｋ）｝ …（２）

次に、正面抑圧信号生成部２０について説明する。

正面抑圧信号生成部２０は、ＦＦＴ部１０から供給された信号について、周波数ごとに正面方向の信号成分を抑圧する処理を行う。言い換えると、正面抑圧信号生成部２０は、正面方向の成分を抑圧する指向性フィルタとして機能する。

例えば、正面抑圧信号生成部２０は、図３に示すように、正面方向に死角を有する８の字型の双指向性のフィルタを用いて、ＦＦＴ部１０から供給された信号から正面方向の成分を抑圧する指向性フィルタを形成する。

具体的には、正面抑圧信号生成部２０は、ＦＦＴ部１０から供給された信号「Ｘ１（ｆ，Ｋ）」、「Ｘ２（ｆ，Ｋ）」に基づいて以下の（３）式のような計算を行って、周波数ごとの正面抑圧信号Ｎ（ｆ，Ｋ）を生成する。以下の（３）式の計算は、上述の図３のような、正面方向に死角を有する８の字型の双指向性のフィルタを形成する処理に相当する。
Ｎ（ｆ，Ｋ）＝Ｘ１（ｆ，Ｋ）−Ｘ２（ｆ，Ｋ） …（３）

そして、正面抑圧信号生成部２０は、以下の（４）式を用いて、全周波数にわたってＮ（ｆ，Ｋ）を平均した、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）を算出する。

次に、コヒーレンス計算部３０の処理について説明する。

コヒーレンス計算部３０は、周波数領域信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）について、左方向（第１の方向）に強い指向性のフィルタで処理された信号（以下、「指向性信号Ｂ１（ｆ）」と呼ぶ）と、右方向（第２の方向）に強い指向性のフィルタで処理された信号（以下、「指向性信号Ｂ２（ｆ）」と呼ぶ）とに基づくコヒーレンスＣＯＨ（Ｋ）を算出する。なお、指向性信号Ｂ１（ｆ）及び指向性信号Ｂ２（ｆ）に係る指向性の方向は正面方向以外の任意の方向（ただし、Ｂ１（ｆ）とＢ２（ｆ）とで異なる方向とする必要がある）とするようにしてもよい。

コヒーレンスＣＯＨ（Ｋ）を算出する具体的な算出処理（例えば、計算式）については限定されないものであるが、例えば、特許文献１と同様の処理（例えば、特許文献１に記載された（３）式〜（７）式の計算処理）を適用することができるため、詳細については省略する。

次に、相関及びｍｏｄＧＩ計算部４０の処理について説明する。

まず、相関及びｍｏｄＧＩ計算部４０は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）と、コヒーレンスＣＯＨ（Ｋ）から、両者の相関係数ｃｏｒ（Ｋ）を算出する。相関係数ｃｏｒ（Ｋ）を算出する理由（原理）は後述するが、簡単に言えば、相関係数ｃｏｒ（Ｋ）の正負を観測することにより、目的音が重畳されてとしても、妨害音声を容易に検出できるからである。

ここでは、目的音がマイクｍ＿１、ｍ＿２の正面方向から到来し、妨害音声を含む非目的音が左右方向（横方向）から到来するものとして説明する。例えば、マイクｍ＿１、ｍ＿２を電話端末（例えば、携帯電話端末等）の受話器のマイク部分に適用した場合には、目的音としての話者（ユーザ）の音声はマイクｍ＿１、ｍ＿２の正面方向から到来し、当該電話端末の話者以外の音声は、左右方向（横方向）から到来することになる。

したがって、例えば、「妨害音声が存在せず」かつ「目的音が存在する」場合は、正面抑圧信号Ｎ（ｆ，Ｋ）の平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）は、目的音成分の大きさに比例した値となる。図２に示すように、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）（正面抑圧信号Ｎ（ｆ，Ｋ））生成時の指向性特性には、「妨害音声が存在せず」かつ「目的音が存在する」場合でも、正面方向から到来する信号成分も含まれることになるためである。ただし、図２に示すように、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）（正面抑圧信号Ｎ（ｆ，Ｋ））生成時の指向性特性には、正面方向から到来する信号成分も含まれるが、横方向のゲインと比較すると非常に小さい。そのため、「妨害音声が存在せず」かつ「目的音が存在する」場合の正面抑圧信号Ｎ（ｆ，Ｋ）のゲインは、妨害音声が存在する場合よりも小さくなる。

また、コヒーレンスＣＯＨ（Ｋ）は、簡単に述べれば、第１の方向（右方向）から到来する信号と第２の方向（左方向）から到来する信号の相関（特徴量）と言える。従って、コヒーレンスＣＯＨ（Ｋ）が小さい場合とは、２つの指向性信号Ｂ１（ｆ）、Ｂ２（ｆ）の相関が小さい場合であり、反対にコヒーレンスＣＯＨ（Ｋ）が大きい場合とは相関が大きい場合と言い換えることができる。そして、相関が小さい場合は、目的音の到来方向が右又は左のどちらかに大きく偏った場合か、偏りがなくても雑音のような明確な規則性の少ない信号の場合である。また、例えば、マイクｍ＿１、ｍ＿２を電話端末（例えば、携帯電話端末等）の受話器のマイク部分に適用した場合には、話者の音声（目的音声）は正面から到来し、妨害音声は正面以外から到来する傾向が強い。以上のようにコヒーレンスＣＯＨ（Ｋ）は、入力信号の到来方向と深い関係を持つ特徴量となる。したがって、「妨害音声が存在せず」かつ「目的音が存在する」場合には、コヒーレンスＣＯＨ（Ｋ）の値は大きくなる傾向となり、「妨害音声が存在する」場合には、コヒーレンスＣＯＨ（Ｋ）の値は小さくなる傾向となる。

以上の各値の挙動を妨害音声の有無に着目して整理すると以下のような条件で、妨害音声の有無を判断することができる。以下では、「妨害音声が存在せず」かつ「目的音が存在する」という条件（以下、「第１の条件」と呼ぶ）と、「妨害音声が存在する」という条件（以下、「第２の条件」と呼ぶ）に場合分けして、妨害音声の有無の判定方法について説明する。

第１の条件の場合（「妨害音声が存在せず」かつ「目的音が存在する」場合）には、コヒーレンスＣＯＨ（Ｋ）が比較的大きな値となり、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）は、目的音成分の大きさに比例した値となる。

一方、第２の条件の場合（「妨害音声が存在する」場合）には、コヒーレンスＣＯＨ（Ｋ）の値は小さい値となり、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）は大きな値となる傾向にある。

したがって、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）の相関係数ｃｏｒ（Ｋ）を導入すると、相関係数ｃｏｒ（Ｋ）と妨害音声の有無との関係は以下のような関係となる。

妨害音声が存在しない場合は、相関係数ｃｏｒ（Ｋ）は正の値（相関性が高いことを示す所定値以上の値）となる傾向となる。一方、妨害音声が存在する場合には、相関係数ｃｏｒ（Ｋ）は負の値（相関性が低いことを示す所定値未満の値）となる傾向となる。

すなわち、相関係数ｃｏｒ（Ｋ）を導入することにより、例えば、相関係数ｃｏｒ（Ｋ）の正負判断というシンプルな処理で、妨害音声の有無を判定（妨害音声が存在する区間を検出）することができる。

そこで、この実施形態の相関及びｍｏｄＧＩ計算部４０は、まず、相関係数ｃｏｒ（Ｋ）を求め、妨害音声が存在する区間を検出する。

なお、相関及びｍｏｄＧＩ計算部４０が、相関係数ｃｏｒ（Ｋ）を求める際の具体的な計算方法については限定されないものであるが、例えば、相関及びｍｏｄＧＩ計算部４０は、以下の（５）式を用いて相関係数ｃｏｒ（Ｋ）を求めるようにしてもよい。なお、以下の（５）式において、Ｃｏｖ［ＡＶＥ＿Ｎ（Ｋ），ＣＯＨ（Ｋ）］は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）の共分散を示している。また、以下の（５）式において、σＮ（ｆ，Ｋ）は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）の標準偏差を示している。さらに、以下の（５）式において、σＣＯＨ（Ｋ）は、コヒーレンスＣＯＨ（Ｋ）の標準偏差を示している。以下の（５）式にて相関係数ｃｏｒ（Ｋ）を求める場合には、ＡＶＥ＿Ｎ（Ｋ）及びＣＯＨ（Ｋ）についてそれぞれ直近に処理した所定数i個のフレームの結果を用いて、標準偏差や共分散を求めるようにしてもよい。具体的には、以下の（５）式にて相関係数ｃｏｒ（Ｋ）を求める過程において、例えば、直近に処理したｉ個のフレーム（Ｋ−ｉ番目のフレーム、Ｋ−（ｉ−１）番目のフレーム、…、Ｋ−１番目のフレーム、Ｋ番目のフレームの）のそれぞれに係るＣＯＨ及びＡＶＥ＿Ｎを用いて、標準偏差（σＮ（ｆ，Ｋ）、及びσＣＯＨ（Ｋ））や共分散（Ｃｏｖ［ＡＶＥ＿Ｎ（Ｋ），ＣＯＨ（Ｋ）］）を求めるようにしてもよい。言い換えると、相関及びｍｏｄＧＩ計算部４０は、相関係数ｃｏｒ（Ｋ）を求める過程において、直近に求めたｉ個のＡＶＥ＿Ｎ及びＣＯＨをサンプルとして用いて、以下の（５）式における標準偏差や共分散を求めるようにしてもよい。

そして、相関及びｍｏｄＧＩ計算部４０は、（５）式により、算出したｃｏｒ（Ｋ）を特許文献２の（１３）式に代入することにより、相関のｍｏｄＧＩを求める（以下、求めた相関のｍｏｄＧＩを、「ｃｏｒ＿ｍｏｄＧＩ（Ｋ）」とする）。相関のｍｏｄＧＩを算出した理由、及び利用方法等については、後述する。

次に、背景雑音存在判定部５０の処理について説明する。

背景雑音存在判定部５０は、相関及びｍｏｄＧＩ計算部４０で求めたｃｏｒ＿ｍｏｄＧＩ（Ｋ）を用いて、背景雑音が存在する区間を判定（検出）する。

ところで、背景雑音が存在する場合、先に述べた平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）の相関（相関係数ｃｏｒ（Ｋ））の挙動は、次のように変化する。

妨害音が存在すると相関係数ｃｏｒ（Ｋ）が負の値、妨害音が存在しなければ相関係数ｃｏｒ（Ｋ）が正値、というマクロな挙動はある程度維持される。ただし、背景雑音の影響を受けて、正面抑圧信号（平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ））の振幅の大小の変動の不規則さが増すのに対し、コヒーレンスＣＯＨ（Ｋ）、はダイナミックレンジが小さくなる程度で、振幅の大小の不規則さは極端に変化しない。このため、正面抑圧信号の増加・減少と、コヒーレンスＣＯＨ（Ｋ）の増加・減少の同期性が損なわれ、相関係数ｃｏｒ（Ｋ）の増減の変動が激しくなる。また、相関係数ｃｏｒ（Ｋ）の正負の変動の頻度が増す。

以上より、背景雑音の影響が増すほど、相関係数ｃｏｒ（Ｋ）の増減の変動や、正負の変動頻度は増加する。このように、背景雑音が存在する場合には、相関係数ｃｏｒ（Ｋ）の増減の変動や正負の変動の頻度が増し、背景雑音の影響が増すほどこれらの変動は大きくなる。この挙動は、背景雑音にのみ由来するものである。よって、背景雑音存在判定部５０は、相関係数ｃｏｒ（Ｋ）の傾きの正負の変動の激しさを観測することで、目的音声や妨害音声の影響を受けずに背景雑音が存在するか否かを判定することができる。

ところで、ｍｏｄＧＩ（特許文献２の（１３）式で定義されている）は、波形の傾きの正負が変動する頻度を表している。ｍｏｄＧＩは、信号の傾きの正負の変動が小さくなる程小さくなるのに対し、傾きの正負の変動が大きくなる程大きくなる、という特徴を有する。

従って、背景雑音存在判定部５０は、先述の相関及びｍｏｄＧＩ計算部４０で求めた相関のｍｏｄＧＩ（ｃｏｒ＿ｍｏｄＧＩ（Ｋ））を参照し、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）が大きければ背景雑音は存在し、反対にｃｏｒ＿ｍｏｄＧＩ（Ｋ）が小さければ背景雑音が存在しない、と判定することができる。

この実施形態の背景雑音存在判定部５０は、例えば、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）が所定の閾値より大きかった場合、背景雑音有りを示す値（例えば、「１」）を出力し、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）が閾値以下だった場合には背景雑音無しを示す値（例えば、「０」）を出力するようにしてもよい。閾値の値は、種々様々な値を適用でき、限定されないものであるが、例えば、種々様々なシュミレーション及び統計的な分析により最適な値が定まる。

また、背景雑音存在判定部５０は、判定結果を示す信号Ｙ（Ｋ）を出力する。信号Ｙ（Ｋ）の形式は限定されないものであるが、例えば、「背景雑音有り」を示す値（例えば、「１」）又は、「背景雑音無し」を示す値（例えば、「０」）を出力するようにしてもよい。なお、背景雑音存在判定部５０が信号Ｙ（Ｋ）を出力する方式や供給先については限定されないものである。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有するこの実施形態の非目的音判定装置１の動作（実施形態の判定方法）を説明する。

まず、非目的音判定装置１の全体の動作について図１を用いて説明する。

マイクｍ＿１、ｍ＿２のそれぞれから図示しないＡＤ変換器を介して、１フレーム分（１つの処理単位分）の入力信号ｓ１（ｎ）及びｓ２（ｎ）がＦＦＴ部１０に供給されたものとする。そして、ＦＦＴ部１０は、１フレーム分の入力信号ｓ１（ｎ）及びｓ２（ｎ）に基づく分析フレームＦＲＡＭＥ１（Ｋ）、ＦＲＡＭＥ２（Ｋ）についてフーリエ変換し、周波数領域で示される信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）を取得する。そして、ＦＦＴ部１０で生成された信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）が、正面抑圧信号生成部２０及びコヒーレンス計算部３０に供給される。

正面抑圧信号生成部２０は、供給されたＸ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）に基づいて、正面抑圧信号Ｎ（ｆ，Ｋ）を算出する。そして、正面抑圧信号生成部２０は、正面抑圧信号Ｎ（ｆ，Ｋ）に基づいて平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）を算出し、相関及びｍｏｄＧＩ計算部４０に供給する。

一方、コヒーレンス計算部３０は、供給されたＸ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）に基づいて、コヒーレンスＣＯＨ（Ｋ）を生成し、相関及びｍｏｄＧＩ計算部４０に供給する。

相関及びｍｏｄＧＩ計算部４０は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）及びコヒーレンスＣＯＨ（Ｋ）に基づいて、相関係数ｃｏｒ（Ｋ）を算出し、算出した相関係数ｃｏｒ（Ｋ）に基づいて、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）を算出する。

そして、背景雑音存在判定部５０は、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）に基づいて、背景雑音の有無を判定し、その判定結果を信号Ｙ（Ｋ）として出力する。

次に、背景雑音存在判定部５０の動作詳細について図４、図５のフローチャートを用いて説明する。

図４は、背景雑音存在判定部５０が背景雑音の有無を判定する処理について示したフローチャートである。図５は、図４のフローチャートの一部の処理について示したフローチャートである。背景雑音存在判定部５０は、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）（１フレーム分のデータ）が供給されるごとに、図４、図５のフローチャートの処理により背景雑音の有無を判定し、信号Ｙ（Ｋ）を出力するものとする。

背景雑音存在判定部５０は、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）が供給されると（Ｓ１０１）、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）と閾値Θとに基づいて背景雑音の有無を判定し（Ｓ１０２）、その判定結果を示す信号Ｙ（Ｋ）を生成して出力する（Ｓ１０３）。

次に、背景雑音存在判定部５０が上述のステップＳ１０２で行う判定処理の具体例について図５のフローチャートを用いて説明する。

背景雑音存在判定部５０は、判定処理を開始すると、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）の値を確認し（Ｓ２０１）、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）の値に応じて妨害音の有無を判定する。

具体的には、背景雑音存在判定部５０は、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）が閾値Θより大きい場合には「背景雑音有り」と判定し（Ｓ２０２）、ｃｏｒ＿ｍｏｄＧＩ（Ｋ）が閾値Θ未満の場合には「背景雑音無し」と判定する（Ｓ２０３）。

（Ａ−３）第１の実施形態の効果
以上のように第１の実施形態によれば、非目的音判定装置１は、正面抑圧信号とコヒーレンスの相関のｍｏｄＧＩは背景雑音が存在する時には小さくなり、背景雑音が存在しないときには大きくなるという、特徴的な挙動に基づいて、非目的音（背景雑音）の有無を精度よく判定することができる。そして、判定結果の供給先で、背景雑音の有無に応じて最適な音声処理を実現することができる。すなわち、音声処理装置の音声処理（例えば、テレビ会議システムや携帯電話などの通信装置や音声認識機能の前処理）に、この実施形態の非目的音判定装置１の判定結果を適用することで、音声処理装置の性能向上（例えば、背景雑音等の非目的音の抑制性能の向上）が期待できる。

（Ｂ）第２の実施形態
以下、本発明による非目的音判定装置、プログラム及び方法の第２の実施形態を、図面を参照しながら詳述する。

（Ｂ−１）第２の実施形態の構成
図６は、第２の実施形態に係る非目的音判定装置２の全体構成を示すブロック図であり、上述した図１との同一、対応部分には同一、対応符号を付して示している。第２の実施形態の非目的判定装置は、その各部をハードウェアによって構成しても良く、また、一部の構成についてはソフトウェア的に構成しても良い。

図６において、非目的音判定装置２は、図１に示した非目的音判定装置１と同様な、ＦＦＴ部１０、正面抑圧信号生成部２０、コヒーレンス計算部３０、相関及びｍｏｄＧＩ計算部４０、背景雑音存在判定部５０と、この実施形態に特有な相関計算及び妨害音存在判定部６０とを有する。

この実施形態の非目的音判定装置２は、図１の非目的音判定装置１と比較すると、相関計算及び妨害音存在判定部６０が追加されたものである。以下では、追加された妨害音存在判定部６０についてのみ説明する。

妨害音存在判定部６０は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）に長期平均化処理を施したＬｏｎｇ＿Ｎ（Ｋ）と、コヒーレンスＣＯＨ（Ｋ）とから、両者の相関（相関係数ｃｏｒ_ｌ（Ｋ））を算出して、妨害音声の有無を判定するものである。相関及びｍｏｄＧＩ計算部４０においても、相関係数ｃｏｒ（Ｋ）を算出していたが、妨害音存在判定部６０は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）では無く、長期平均化処理を施したＬｏｎｇ＿Ｎ（Ｋ）を用いている点が異なる。以下、長期平均化処理を施したＬｏｎｇ＿Ｎ（Ｋ）を用いている理由を説明する。

先に述べたように、相関係数ｃｏｒ（Ｋ）を導入することにより、例えば、相関係数ｃｏｒ（Ｋ）の正負判断というシンプルな処理で、妨害音声の有無を判定することができる。しかしながら、背景雑音の影響が増すほど、相関係数ｃｏｒ（Ｋ）の増減の変動や、正負の変動頻度は増加する。そのため、妨害音の有無とは無関係に相関係数ｃｏｒ（Ｋ）が負になる場合があり、誤判定が生じることにもなる。そのため、妨害音存在判定部６０は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）に変動を抑制する長期平均処理を施したＬｏｎｇ＿Ｎ（Ｋ）を用いた相関（ｃｏｒ_ｌ（Ｋ））を算出することにより、この課題に対処する。前述のように、背景雑音の影響により、正面抑圧信号の変動が不規則になることが相関の挙動の変化の原因でもあるからである。

具体的には、妨害音存在判定部６０は、正面抑圧信号生成部２０から供給された平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）に基づいて以下の（６）式のような計算を行って、長期平均処理を施したＬｏｎｇ＿Ｎ（Ｋ）を生成する。
Ｌｏｎｇ＿Ｎ（Ｋ） ＝λ×ＡＶＥ＿Ｎ（Ｋ）＋（１−λ）×ＡＶＥ＿Ｎ（Ｋ−１） （０．０＜λ＜１．０） …（６）

（６）式において、時定数λは、長期平均値に対して瞬時入力値をどの程度反映するかをコントロールする役割を持つ値である。時定数λが大きいほど瞬時入力の影響が強くなり、小さければ瞬時入力の影響は薄れる。よって、時定数λを小さくするほど、正面抑圧信号の変動を抑制でき、この結果、相関の変動を抑制することができる。時定数λに設定される値は、限定されないものであるが、この実施形態では、背景雑音存在判定部５０の判定結果により変動する変動値とする。例えば、妨害音存在判定部６０は、背景雑音存在判定部５０により送付された背景雑音の存在の判定結果を示す信号Ｙ（Ｋ）が、「背景雑音有り」を示す値の場合には、背景雑音の影響が大きく正面抑圧信号の変動が大きいと判断し、時定数λには背景雑音無しに比べて大きな値を設定する。一方、妨害音存在判定部６０は、信号Ｙ（Ｋ）が、「背景雑音無し」を示す値の場合には、背景雑音の影響が小さく正面抑圧信号の変動が小さいと判断し、時定数λには背景雑音有りに比べて小さな値を設定する。

妨害音存在判定部６０は、長期平均化処理済みの平均正面抑圧信号Ｌｏｎｇ＿Ｎ（Ｋ）と、コヒーレンス計算部３０から取得したコヒーレンスＣＯＨ（Ｋ）により、相関係数ｃｏｒ_ｌ（Ｋ）を算出する。なお、相関係数ｃｏｒ_ｌ（Ｋ）の算出方法は、先に述べた、相関係数ｃｏｒ（Ｋ）の算出方法と同様の手法により算出できるため、ここでは説明を省略する。

妨害音存在判定部６０は、相関係数ｃｏｒ_ｌ（Ｋ）が０より大きい場合（相関係数ｃｏｒ_ｌ（Ｋ）が、０又は正の場合；ｃｏｒ_ｌ（Ｋ）≧０の場合）には妨害音声無しと判定し、相関係数ｃｏｒ_ｌ（Ｋ）が０未満の場合（相関係数ｃｏｒ_ｌ（Ｋ）が負の場合；ｃｏｒ_ｌ（Ｋ）＜０の場合）には妨害音声有りと判定するものとする。

また、妨害音存在判定部６０は、判定結果を示す信号Ｒ（Ｋ）を出力する。信号Ｒ（Ｋ）の形式は限定されないものであるが、例えば、「妨害音声有り」を示す値（例えば、「１」）又は、「妨害音声無し」を示す値（例えば、「０」）を出力するようにしてもよい。なお、妨害音存在判定部６０が信号Ｒ（Ｋ）を出力する方式や供給先については限定されないものである。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の非目的音判定装置２の動作（実施形態の判定方法）を説明する。なお、相関計算及び妨害音存在判定部６０以外の各部の動作は、第１の実施形態と同様であるので説明を省略し、以下では、相関計算及び妨害音存在判定部６０の詳細動作を図７、図８のフローチャートを用いて説明する。

図７は、相関計算及び妨害音存在判定部６０が妨害音声の有無を判定する処理について示したフローチャートである。図８は、図７のフローチャートの一部の処理について示したフローチャートである。相関計算及び妨害音存在判定部６０は、Ｙ（Ｋ）（１フレーム分のデータ）が供給されるごとに、図８、図７のフローチャートの処理により妨害音声の有無を判定し、信号Ｒ（Ｋ）を出力するものとする。

相関計算及び妨害音存在判定部６０は、背景雑音の存在の判定結果を示す信号Ｙ（Ｋ）が供給されると（Ｓ３０１）、信号Ｙ（Ｋ）の値を確認し、時定数λに設定する値を制御する（Ｓ３０２）。

相関計算及び妨害音存在判定部６０は、供給された平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）と、先述のステップＳ３０２の処理により値が設定された時定数λとに基づいて長期平均処理を施した平均正面抑圧信号Ｌｏｎｇ＿Ｎ（Ｋ）を算出する（Ｓ３０３）。

相関計算及び妨害音存在判定部６０は、供給されたコヒーレンスＣＯＨ（Ｋ）と、長期平均処理を施した平均正面抑圧信号Ｌｏｎｇ＿Ｎ（Ｋ）とに基づいて相関係数ｃｏｒ_ｌ（Ｋ）を算出する（Ｓ３０４）。

相関計算及び妨害音存在判定部６０は、相関係数ｃｏｒ_ｌ（Ｋ）が０より大きい場合（相関係数ｃｏｒ_ｌ（Ｋ）が０又は正の値の場合；ｃｏｒ_ｌ（Ｋ）≧０の場合）には「妨害音声無し」と判定し、相関係数ｃｏｒ_ｌ（Ｋ）が０未満の場合（相関係数ｃｏｒ_ｌ（Ｋ）が負の値の場合；ｃｏｒ_ｌ（Ｋ）＜０の場合）には「妨害音声有り」と判定する（Ｓ３０５）。

相関計算及び妨害音存在判定部６０は、先述のステップＳ３０５の処理による判定結果を示す信号Ｒ（Ｋ）を生成して出力する（Ｓ３０６）。

次に、相関計算及び妨害音存在判定部６０が上述のステップＳ３０２で行う判定処理の具体例について図８のフローチャートを用いて説明する。

背景雑音存在判定部５０は、信号Ｙ（Ｋ）の値（「背景雑音有り」を示す「１」か「背景雑音無し」を示す「０」）を確認し（Ｓ４０１）、信号Ｙ（Ｋ）が「背景雑音有り」を示す値の場合には、時定数λには大きな値を設定し（Ｓ４０２）、信号Ｙ（Ｋ）が、「背景雑音無し」を示す値の場合には、時定数λには小さな値を設定する（Ｓ４０３）。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて以下のような効果を奏する。

第２の実施形態の非目的音判定装置２では、相関係数ｃｏｒ_ｌ（Ｋ）の値に基づいて、妨害音声の有無を判定している。これにより、第２の実施形態の非目的音判定装置２では、精度よく妨害音声の有無を判定することができるので、判定結果の供給先で、妨害音声の有無に応じて最適な音声処理を実現することができる。すなわち、音声処理装置の音声処理（例えば、テレビ会議システムや携帯電話などの通信装置や音声認識機能の前処理）に、この実施形態の非目的音判定装置２の判定結果を適用することで、音声処理装置の性能向上（例えば、妨害音声等の非目的音の抑制性能の向上）が期待できる。

相関係数ｃｏｒ_ｌ（Ｋ）の算出に用いられる平均正面抑圧信号Ｌｏｎｇ＿Ｎ（Ｋ）は、背景雑音の有無に応じて最適な時定数λが設定された上で、長期平均処理を施されているので、背景雑音の変動に頑健な妨害音声の存在判定処理を実現することができる。

（Ｃ）他の実施形態
上記実施形態に加えて、さらに、以下に例示するような変形実施形態も挙げることができる。

（Ｃ−１）第１の実施形態ではｍｏｄＧＩを適用する場合を示したが、修正される前のＧＩ（特許文献２の（４）式）も、信号波形の傾き方向が変化する回数とその大きさを測る指標であるので、第１の実施形態におけるｍｏｄＧＩに代えてＧＩを適用するようにしても良い。

（Ｃ−２）第２の実施形態において、平均正面抑圧信号Ｌｏｎｇ＿Ｎ（Ｋ）を算出する際に用いた時定数λは、予め設定された固定値でも良い。

１、２…非目的音判定装置、１０…ＦＦＴ部、２０…正面抑圧信号生成部、３０…コヒーレンス計算部、４０…ｍｏｄＧＩ計算部、５０…背景雑音存在判定部、６０…妨害音存在判定部、ＡＶＥ＿Ｎ、Ｌｏｎｇ＿Ｎ…平均正面抑圧信号、ＣＯＨ…コヒーレンス、ｃｏｒ、ｃｏｒ_ｌ…相関係数、Θ…閾値、λ…時定数。

Claims (7)

1. 複数のマイクから得られた入力信号を時間領域から周波数領域に変換された周波数領域入力信号を取得し、取得した前記マイクごとの周波数領域入力信号の差に基づいて、正面に死角を有する第１の正面抑圧信号を生成する正面抑圧信号生成部と、
   前記複数のマイクから得られた入力信号からコヒーレンスを算出するコヒーレンス算出部と、
   前記第１の正面抑圧信号及び前記コヒーレンスの相関係数と、前記相関係数の振幅の傾きの正負の変動の激しさを表す第１の特徴量とを算出する第１の特徴量算出部と、
   前記第１の特徴量算出部が算出した前記第１の特徴量の値に基づいて背景雑音の有無を判定する背景雑音存在判定部と
   を有することを特徴とする非目的音判定装置。
2. 前記第１の特徴量算出部は、前記相関係数のｍｏｄＧＩ値を前記第１の特徴量として算出し、
   前記背景雑音存在判定部は、前記第１の特徴量が所定の閾値より大きければ背景雑音が存在し、前記第１の特徴量が所定の閾値より小さければ背景雑音が存在しないと判定する
   ことを特徴とする請求項１に記載の非目的音判定装置。
3. 前記第１の正面抑圧信号に長期平均化処理を施した第２の正面抑圧信号と前記コヒーレンスとの関係性を表す第２の特徴量を算出する第２の特徴量算出部と、
   前記第２の特徴量算出部が算出した前記第２の特徴量の値に基づいて妨害音声の有無を判定する妨害音声存在判定部と
   をさらに有することを特徴とする請求項１又は２に記載の非目的音判定装置。
4. 前記第２の特徴量算出部は、前記第２の正面抑圧信号及び前記コヒーレンスの相関係数を前記第２の特徴量として算出し、
   前記妨害音声存在判定部は、前記第２の特徴量の値の正負に基づいて妨害音声の有無を判定する
   ことを特徴とする請求項３に記載の非目的音判定装置。
5. 前記第２の特徴量算出部は、前記背景雑音存在判定部による背景雑音の有無の判定結果に応じて、前記第２の正面抑圧信号に対して施す前記長期平均化処理に供する時定数を制御することを特徴とする請求項４に記載のの非目的音判定装置。
6. コンピュータを、
   複数のマイクから得られた入力信号を時間領域から周波数領域に変換された周波数領域入力信号を取得し、取得した前記マイクごとの周波数領域入力信号の差に基づいて、正面に死角を有する第１の正面抑圧信号を生成する正面抑圧信号生成部と、
   前記複数のマイクから得られた入力信号からコヒーレンスを算出するコヒーレンス算出部と、
   前記第１の正面抑圧信号及び前記コヒーレンスの相関係数と、前記相関係数の振幅の傾きの正負の変動の激しさを表す第１の特徴量とを算出する第１の特徴量算出部と、
   前記第１の特徴量算出部が算出した前記第１の特徴量の値に基づいて背景雑音の有無を判定する背景雑音存在判定部と
   して機能させることを特徴とする非目的音判定プログラム。
7. 非目的音判定装置に使用する非目的音判定方法であって、
   正面抑圧信号生成部、コヒーレンス算出部、第１の特徴量算出部、及び背景雑音存在判定部を有し、
   前記正面抑圧信号生成部は、複数のマイクから得られた入力信号を時間領域から周波数領域に変換された周波数領域入力信号を取得し、取得した前記マイクごとの周波数領域入力信号の差に基づいて、正面に死角を有する第１の正面抑圧信号を生成し、
   前記コヒーレンス算出部は、前記複数のマイクから得られた入力信号からコヒーレンスを算出し、
   前記第１の特徴量算出部は、前記第１の正面抑圧信号及び前記コヒーレンスの相関係数と、前記相関係数の振幅の傾きの正負の変動の激しさを表す第１の特徴量とを算出し、
   前記背景雑音存在判定部は、前記第１の特徴量算出部が算出した前記第１の特徴量の値に基づいて背景雑音の有無を判定する
   ことを特徴とする非目的音判定方法。

Images