JP2009036810A - 近傍場音源分離プログラム、及びこのプログラムを記録したコンピュータ読取可能な記録媒体、並びに近傍場音源分離方法 - Google Patents

Abstract

【課題】 室伝達関数の推定とその逆フィルタを用いることもなく、遠方音を抑圧して近傍音のみを強調し得る、近傍場音源分離を提供すること。
【解決手段】 ２次元平面上において一の音源に対して所定の間隔を隔てて配置されたマイクロホン間の振幅比に基づいて近傍場音源を分離するために、各マイクロホンの振幅を抽出しマイクロホン間の振幅比を求めて当該振幅比からＳＮ比を推定し、これに、各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき計算してデータベース化された複数の重み関数の中から入力された強調したい音源からの距離に応じて選択された重み関数を用いて重み付けを行ない、それによって近傍場音の強調を行なう。
【選択図】 図４

Description

本発明は、マイクロホン間の振幅比に基づいて近傍場音源を分離するための、プログラム、及び同プログラムを記録したコンピュータ読取可能な記録媒体、並びに方法に関する。

情報化社会においては、より多くの情報を収集し、それを分析・解析することが新しい価値及び情報を生み出すと言われている。例えば、相手の現在の状況及び表情、仕草等から相手の心情を理解することができれば、より円滑なコミュニケーションの実現が可能となる。しかし、現在の遠隔通信では、通信帯域の制約により、音響情報だけを取ってみても、「ことば」を伝達することに主眼が置かれ、声色又は話者の置かれている環境の音等、他の要素の伝達を犠牲にしている面が少なくない。

これに対し、「超臨場感通信」では、上記の補助情報も伝達することで、より高次なコミュニケーションの実現を目指している。その一例を挙げると、動作には音響的イベントを伴うことが多いため、相手の仕草及び状況は視覚ばかりではなく、音響的にも伝達することが可能である。これらの音は一般的にエネルギーが小さい。そのため、音源の近傍でしか聴取できないが、逆にそれらが聞こえることで、臨場感を高められると期待できる。

ところが、実際の環境下では、エネルギーの大きな数々の外来音が重畳するため、上記の音のみを収音することは非常に困難なタスクとなる。

また、頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づく立体音合成技術（非特許文献１及び非特許文献２参照）では、音源が頭部近傍に存在するときと遠方に存在するときとで、用いるべきＨＲＴＦを違える必要があると予想される。これは、音源が近傍に存在する場合には、音源が遠方にある場合に比べて、頭部又は肩における反射及び回折による影響が大きくなることに依存している。したがって、臨場感通信における受信側において、上記の頭部伝達関数に基づく立体音響技術を用いて臨場感音場再生を行なうには、送信側においても近傍音と遠方音とを分離して収音する必要がある。

この目的を実現するには、マイクロホンアレイを用いたアレイ信号処理による音源分離手法が有力である。最も基本的な構造の１つは、ｄｅｌａｙ−ａｎｄ−ｓｕｍに基づく手法である。ただし、この手法は、マイクロホンアレイへの入射角度に応じてゲイン特性が変化するフィルタを形成するものであって、音源の距離に応じて変化するものでは必ずしもない。

一方で、非常に多くのマイクロホンを用いて、ある程度広い空間の音場全体を収音する試みも行われている（非特許文献３及び非特許文献４参照）。しかし、大掛かりなシステムでは汎用性に欠け、利用できる場面が限られる、という実際的な応用面での問題が考えられる。

また、何れの場合でも、位相差に着目した手法は、空間エイリアシングの問題が不可避であり、適用範囲を高い周波数まで広げるためには、マイクロホンを密に配置しなければならない。これにより、システムの規模及び隣接するマイクロホンの影響が新たな問題を生む可能性もある。

近傍場音に対するビームフォーミングに関する研究としては、遠方場に対する指向性合成を基にして近傍場用のフィルタを設計する手法が提案されている（非特許文献５参照）。しかし、この手法も、指向性の制御であり、距離に関する分離は基本的に困難である。

また、部分空間法に基づいて近傍場の音源分離を行なう手法も提案されている（非特許文献６参照）。この手法では、近傍場に存在する音源の位置を部分空間法により推定し、その推定した位置に基づいて空間逆フィルタを設計することで分離を行なうものである。

ここで、近傍場であるという条件は、部分空間法により音源方向に基づいて処理する（非特許文献７参照）ばかりでなく、距離に関する情報も得るために利用されている。

一方、音源位置に関する先験的知識を一切使用せずに音源信号の性質のみに着目した分離手法として、独立成分分析（ＩＣＡ）に基づく手法が高い性能を示している（非特許文献８〜非特許文献１０）。この分析手法は、音源信号の独立性が規範となるため、複数話者の混合音の分離等では有力であるが、同一話者を音源とする反射音のある空間での分離、及び衣擦れ音又はキーボードのタイプ音のように音源自体の性質が白色性の信号の分離では、必ずしも高い性能が期待できない。

Ｅ．Ｍ． ウェンゼル、Ｊ．Ｄ．ミラー及びＪ．Ｓアベル、「対話型空間音声合成のためのソフトウェアベースシステム」ＩＣＡＤ２０００予稿集（２０００年）。（E. M.Wenzel, J. D. Miller and J. S. Abel: "A software-based system for interactive spatial sound synthesis", In proc. of ICAD 2000 (2000).） Ｌ．サビオラ、Ｊ．フオパニエミ、Ｔ．ロッキ及びＲ．ヴェナーネン、「対話型仮想音響環境の生成」音声工学学会誌、４７、９、６７５−７０５ページ（１９９９年）。（L. Savioja, J. Huopaniemi, T. Lokki and R. V▲a▼▲a▼n▲a▼nen: "Creating interactive virtual acoustic environments", J. Audio Eng. Soc., 47, 9, pp. 675-705 (1999).） Ｍ．Ｓ．ブランドシュタイン及びＤ．Ｂ．ワード、「マイクロホンアレイでの音声獲得のためのセルベースのビーム形成（ｃｅ−ｂａｓｅ）」ＩＥＥＥ音声及び音響処理トランザクション、８、６、７３８−７４３ページ（２０００年）。（M. S. Brandstein and D. B. Ward: "Cell-based beam forming (ce-base) for speech acquisition with microphone arrays", IEEE Trans. on Speech and Audio Processing, 8, 6, pp.738-743 (2000).） Ｔ．オカモト、Ｒ．ニシムラ及びＹ．イワヤ、「周囲のマイクロホンアレイを用いた音源位置の推定」、音響科学及び技術、２８、３、１８１−１８９ページ（２００７年）。（T. Okamoto, R. Nishimura and Y. Iwaya: "Estimation of sound source positions using a surrounding microphone array", Acoust. Sci. & Tech., 28, 3, pp. 181-189 (2007).） Ｒ．Ａ．ケネディ、Ｄ．Ｂ．ワード及びＴ．Ｄ．アブハヤパラ、「ラジアル相互関係を用いた近傍場ビーム形成」ＩＥＥＥ信号処理トランザクション、４７、１、３３−４０ページ（１９９９年）。（R. A. Kennedy, D. B. Ward and T. D. Abhayapala: "Near field beam forming using radial reciprocity", IEEE Trans. on Signal Processing, 47, 1, pp. 33-40 (1999).） Ｆ．アサノ、Ｈ．アソー及びＴ．マツイ、「近傍場における音源の局所化及び分離」ＩＥＩＣＥ基礎工学トランザクション、８３、１１、２２８６−２２９４ページ（２０００年）。（F. Asano, H. Asoh and T. Matsui: "Sound source localization and separation in near field", IEICE Trans. on Fundamentals, 83, 11, pp. 2286-2294 (2000).） Ｆ．アサノ、Ｓ．ハヤミズ、Ｔ．ヤマダ及びＳ．ナカムラ、「サブ空間法に基づく音声の向上」ＩＥＥＥ音声及び音響処理トランザクション、８、５、４９７−５０７ページ（２０００年）。（F. Asano, S. Hayamizu, T. Yamada and S. Nakamura: "Speech enhancement based on the subspace method", IEEE Trans. on Speech and Audio Processing, 8, 5, pp.497-507 (2000).） Ｊ．Ｆ．カルドーソ及びＡ．ソウルオウミアク、「非ガウス信号のためのブラインドビーム形成」ＩＥＥ予稿集、１４０、６、３６２−３７０ページ（１９９３年）。（J. F. Cardoso and A. Souloumiac: "Blind beam forming for non-gaussian signals", IEE Proceedings, 140, 6, pp. 362−370 (1993).） Ｆ．エーラース及びＨ．Ｇ．シュスター、「畳込み混合のブラインド分離と雑音環境での自動音声認識における応用」ＩＥＥＥ信号処理トランザクション、４５、１０、２６０８−２６１２ページ（１９９７年）。（F. Ehlers and H. G. Schuster: "Blind separation of convolutive mixtures and an application in automatic speech recognition in a noisy environment", IEEE Trans. on Signal Processing, 45, 10, pp. 2608-2612 (1997).） Ｈ．サワダ、Ｒ．ムカイ、Ｓ．アラキ及びＳ．マキノ、「周波数ドメインのブラインド音源分離における置換問題の頑健かつ精密な解決方法」、ＩＥＥＥ音声及び音響処理トランザクション、１２、５、５３０−５３８ページ（２００４年）。（H. Sawada, R. Mukai, S. Araki and S. Makino: "A robust and precise method for solving the permutation problem of frequency-domain blind source separation", IEEE Trans. on Speech and Audio Processing, 12, 5, pp. 530-538 (2004).）

本発明は、上記技術的課題に鑑みなされたもので、室伝達関数の推定とその逆フィルタを用いることもなく、遠方音を抑圧して近傍音のみを強調し得る、近傍場音源プログラム、及びこのプログラムを記録したコンピュータ読取可能な記録媒体、並びに近傍場音源分離方法の提供を目的とする。

上記目的を達成するため、本発明者等は、物理的な性質として、音源からの距離が遠くなるに従って単位距離当りの振幅(エネルギー)の減衰率が低下することを音源分離に利用すればよいのではないかと着想した。

かかる着想に基づく具体的な発明は、以下の通りである。

本発明を第１の局面から観れば、２次元平面上において一の音源に対して所定の間隔を隔てて配置されたマイクロホン間の振幅比に基づいて近傍場音源を分離するために、コンピュータを、強調したい音源からの距離が入力されると、これに応じた重み関数を各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき計算してデータベース化された複数の重み関数の中から選択するための重み関数選択手段、各マイクロホンの振幅を抽出しマイクロホン間の振幅比を求めて当該振幅比からＳＮ比を推定し、これに重み関数選択手段により選択された重み関数を用いて重み付けを行ない、それによって近傍場音の強調を行なうための近傍場音強調手段、として機能させる近傍場音源分離プログラムである。

上記近傍場音源分離プログラムにおいて、近傍場音強調手段は、入力された各マイクロホンの音源観測信号に対して第１の線形変換を行なうための第１の手段、第１の手段による第１の線形変換で得られた結果を基にして各マイクロホンの振幅を抽出するための第２の手段、第２の手段により抽出された各マイクロホンの振幅を除算し、それによってＳＮ比を推定するためにマイクロホン間の振幅比を求めるための第３の手段、重み関数選択手段により選択された重み関数に基づいて、第３の手段により求められたマイクロホン間の振幅比に応じた重みを求めるための第４の手段、第１の手段による第１の線形変換で得られた、対をなすマイクロホン間の一方のマイクロホン側の結果と第４の手段で求められた重みとを掛け合わせるための第５の手段、及び第５の手段による演算結果に対して第１の線形変換の逆変換に対応する第２の線形変換を行なうための第６の手段を含む。

本発明を第２の局面から観れば、２次元平面上において一の音源に対して所定の間隔を隔てて配置されたマイクロホン間の振幅比に基づいて近傍場音源を分離するために、コンピュータを、強調したい音源からの距離が入力されると、これに応じた重み関数を各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき計算してデータベース化された複数の重み関数の中から選択するための重み関数選択手段、各マイクロホンの振幅を抽出しマイクロホン間の振幅比を求めて当該振幅比からＳＮ比を推定し、これに重み関数選択手段により選択された重み関数を用いて重み付けを行ない、それによって近傍場音の強調を行なうための近傍場音強調手段、として機能させる近傍場音源分離プログラムを記録したコンピュータ読取可能な記録媒体である。

本発明を第３の局面から観れば、２次元平面上において一の音源に対して所定の間隔を隔てて配置されたマイクロホン間の振幅比に基づいて近傍場音源を分離するための方法であって、強調したい音源からの距離が入力されると、これに応じた重み関数を各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき計算してデータベース化された複数の重み関数の中から選択するための第１のステップと、各マイクロホンの振幅を抽出しマイクロホン間の振幅比を求めて当該振幅比からＳＮ比を推定し、これに第１のステップにおいて選択された重み関数を用いて重み付けを行ない、それによって近傍場音の強調を行なうための第２のステップと、を含む近傍場音源分離方法である。

本発明によると、近傍場音源分離は、マイクロホン間の振幅比に基づいて行なわれるので、室伝達関数の推定とその逆フィルタを用いることなく、遠方音を抑圧して近傍音のみを強調することが可能となる。

以下、本発明の実施の形態について、添付図面に基づき詳細に説明する。

＜概要＞
頭部伝達関数に基づく仮想立体音響再生技術は、実測又は合成した聴取者の頭部伝達関数を利用している。この関数の形状は、音源が聴取者の近傍にある場合には、頭部又は上半身の反射及び回折により、音源が遠方にある場合のそれとは異なる。したがって、臨場感遠隔通信を行なう際の送信側では、仮想的な聴取者の位置に対して、近傍に存在する音源と遠方に存在する音源を分離する必要がある。

そこで、本実施の形態では、少数のマイクロホンを用いて、聴取位置から近傍の音のみを強調する手法の一例を説明する。

本実施の形態では、音源から放射された音の振幅が、距離に反比例して減少するため、音源が近傍に存在する場合は２点間の振幅比が大きいが、遠方の音源に対しては、同じ距離離れていても振幅比が小さくなることを利用している。

ここで、本実施の形態の具体的な構成を説明する前に、まず、本近傍場音源分離に関するアルゴリズム（定式化）について説明する。

＜アルゴリズム＞
球面進行波の音圧の振幅は、音源からの距離に反比例して減少する。そのため、単位距離当りの振幅の減衰量は、音源の近傍では大きいが、音源から離れるにつれて急激に減少する。この旨は、「城戸（編）：“基礎音響工学”,コロナ社(1990).」にて開示されている。

また、音声信号は、時間周波数平面上で一様に分布しているわけではなく遍在しており、その遍在の様相も話者又は発話内容によって異なる。したがって、音源からの距離が異なる複数のマイクロホンで信号を観測して、それぞれの信号を時間周波数表現に変換した後にそれらを比較すると、振幅差が大きくなる領域は近傍場の音が優勢な領域であると考えられる。そのため、その領域の信号を増幅することで近傍場音の音声強調が実現できる。逆に、振幅差の小さな領域に対しては、信号を小さくすることで、遠方場から到来する音を抑制することが実現できる。

これまでにも、各領域ごとに、どの方向から到来した音が優勢なのかを推定して音源分離を行なう手法（Ｍ．アオキ、Ｍ．オカモト、Ｓ．アオキ、Ｈ．マツイ、Ｔ．サクライ及びＹ．カネダ、「多数のマイクロホンを用いて獲得した入力信号の各周波数成分の入射角推定に基づく音源分離」、音響科学及び工学、２２，２、１４９−１５７ページ、２００１年（M. Aoki, M. Okamoto, S. Aoki, H. Matsui, T. Sakurai and Y. Kaneda: “Sound source segregation based on estimating incident angle of each frequency component of input signals acquired by multiple microphones”, Acoust. Sci. & Tech., 22, 2, pp. 149-157 (2001).）が提案されている。しかし、本実施の形態は、音の到来方向ではなく、音源までの距離を規範としている点で、この手法とは大きく異なる。

ここで、２つのマイクロホンを用いる場合を考える。一方のマイクロホンＡと他方のマイクロホンＢとで受信する、近傍場から到来する目的信号の複素振幅をＳ_Ａ，Ｓ_Ｂとし、遠方場から到来する妨害音の複素振幅をＮ_Ａ，Ｎ_Ｂとする。このとき、上記２つのマイクロホンＡ及びＢで受信する信号の振幅の比Ｒは、下記式（１）となる。

目的音は、マイクロホンＡ，Ｂに近いため、以下の関係を有することが期待できる。

上記の関係を式（１）に適用し、さらにテイラー展開を行なうと、下記のように「０」に近似する。

そのため、次の式（２）で書き表せる。

妨害音は、遠方場から到来する信号であることから、２つのマイクロホンＡ，Ｂでの受信信号の振幅差はあまり生じず、下記の関係を有することが期待できる。

そこで、これらを改めて下記の形式で表記すると、

外１

式（２）は下記の式（３）で書き表すことができる。

次に、この振幅比Ｒの取り得る値の最小値Ｒ_ｍｉｎと最大値Ｒ_ｍａｘとが、ＳＮ比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）によってどのように変化するのかに着目すると、これらの値は、下記の振幅の両方の値に依存する。

外２

そのため、ここでは上記の両振幅の比Ｃをパラメータとして検討することにする。

他方のマイクロホンＢでの振幅と雑音の比を下記のように表記すると、

式（３）は、式（４）と書き表せる。

同様に、ＳＮ比が低い場合の振幅比Ｒの近似式は、式（５）で表される。

したがって、振幅比Ｒの最大値Ｒ_ｍａｘと最小値Ｒ_ｍｉｎは、Ｄ≧１のときには式（４）を用い、Ｄ＜１のときには式（５）を用いて条件分けされ、以下のようにまとめられる。

パラメータＣは、目的音源までの距離(と角度)を与えると一意に定まるので、上記の関係式は、振幅比Ｒの値からその成分のＳＮ比（Ｄ）の範囲が求まることを意味している。

そこで、上記のＤの範囲の代表値をＳＮ比の推定値とし、それに応じて重み付けを行なうことで近傍場音の強調を行なうのが、本実施の形態の基本的な考え方である。

以下に、この近傍場音源分離の基本的な考え方を、具体例を挙げて説明する。

２つのマイクロホンＡ，Ｂ間における振幅の比Ｃが、２つのマイクロホンＡ，Ｂ間距離と各マイクロホンＡ及びＢと音源との距離とに対して、どのような振る舞いを示すのかを調査し、その計算シミュレーションの結果を図５に示す。

同図は、音源が２つのマイクロホンＡ，Ｂを結ぶ直線上に位置すると仮定し、マイクロホンＡ，Ｂ間距離をｄとし、音源に近い方のマイクロホンまでの距離をｒとしたときの振幅比、つまり、（ｒ＋ｄ）／ｒを図示したものである。

もし、基準とするマイクロホンを逆にとると、図５では対数表現にしているため、符号が逆転するだけで同じ形状のグラフが描かれる。また、ｒの最大値Ｒ_ｍａｘと最小値Ｒ_ｍｉｎとＳＮ比（Ｄ）の関係を、幾つかのＣの値(妨害音が無いときの２つのマイクロホンＡ，Ｂの目的音の振幅比) に対して、上記の式（６）及び（７）を基にして図示したものが図６である。

同図では、最小値Ｒ_ｍｉｎが不連続になっているが、これは、Ｄ＝１を境にして使用する式を違えていることに起因する。また、式（６）及び（７）は、近似式として得られたものであるので、ＳＮ比の絶対値が大きなところ以外では、必ずしも厳密には成立しない。

図６を基にして、振幅比Ｒからその成分のＳＮ比を推定するために、ここでは、ＳＮ比に関する事前情報は一切得られていないと仮定し、与えられた振幅比Ｒに対して、そのときに起こり得るＳＮ比が図６で示された上限と下限との間で等確率に出現するものとする。このときの期待値

外３

は、振幅比Ｒの最大値Ｒ_ｍａｘと最小値Ｒ_ｍｉｎの中間値となる。したがって、観測された振幅比Ｒに対するＳＮ比の推定値

外４

は、上記のＣの値によって異なり、表１に示す式で与えられる。また、この式を幾つかのＣの値に対して図示すると図７を得る。

この推定されたＳＮ比

外５

に基づいて、対象としている成分に重み付けを行なう。

ここで定める重み関数

外６

は、処理後の音声の明瞭度にも影響を与える。そのため、十分に注意して決定する必要があるが、今回はＳＮ比の期待値として∞が得られる可能性があることから、この問題を回避するためにシグモイド関数を基にして、重み関数を式（８）とする。

ここで、αは傾斜を調整するパラメータであり、このαの値を「１」とした。幾つかのパラメータＣに対する重み関数を、図８に図示する。マイクロホンから特定の近距離に存在する音源からの信号の推定値

外７

は、マイクロホンで実際に受信した信号ｙ（ｎ）に対してフーリエ変換を行ない、全ての周波数成分を対象として各周波数成分ごとに重みを計算して掛け合わせ、逆フーリエ変換することで、式（９）のようにして得られる。

＜システムの構成＞
図１は本発明の実施の形態に係るシステムの構成を示すブロックダイアグラムである。図１を参照して、本実施の形態のシステムは、２つのマイクロホンＡ，Ｂ、近傍場音源分離装置１０、ハードディスク装置（以下、「ＨＤＤ」という）１２及びスピーカ１４を含む。

マイクロホンＡ，Ｂは、例えば、図１に示すように、１つの音源１６を挟んで同一直線上で対向しており、所定の距離ｄを以ってして互いに離間して配置されている。具体的には、両マイクロホンＡ，Ｂの配置態様は、一方のマイクロホンＡの方が他方のマイクロホンＢよりも音源１６に近くなるように構成されている。

近傍場音源分離装置１０は、実質的にはコンピュータであって、そのソフトウェア資源を利用して（換言すると、プログラムに従って）、マイクロホンＡ，Ｂ間の振幅比に基づいて近傍場の音源分離を行なう。この近傍場音源分離装置１０には、音源分離部２０、強調距離入力部３０及び重み関数選択・記憶部４０が含まれる。

音源分離部２０は、上述したフーリエ変換、マイクロホンＡ，Ｂ間の振幅比、重み付け計算に用いられる係数、及び逆フーリエ変換等の計算処理を行なう。この音源分離部２０には、音源１６の音響振動から各マイクロホンＡ及びＢで各々得られた電気信号が入力される。なお、この音源分離部２０の詳細な構成については後述する。

強調距離入力部３０は、強調したい音源１６からの距離を入力するためのものであって、例えば、テンキー等の入力デバイスが備えられている。この強調距離入力部３０では、強調した音源１６の距離が入力されると、その入力された強調距離が重み関数選択・記憶部４０に与えられる。

重み関数選択・記憶部４０は、強調距離入力部３０から入力された強調したい音源１６の距離に基づいてＨＤＤ１２を参照し、それによって入力された強調距離に応じた重み関数を選択して記憶すると共に、記憶した選択重み関数を所定のタイミングで音源分離部２０に出力する。この重み関数選択・記憶部４０には、強調したい音源１６からの距離に基づき選択された重み関数を格納しておくための重み関数格納領域４０２が形成されている。

ＨＤＤ１２には、複数の重み関数が蓄積されている。この蓄積された複数の重み関数は、各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき事前に計算してデータベース化されている。

スピーカ１４は、音源分離部２０で音源分離された音響パワーを周囲の媒体に出力する。

（音源分離部２０の構成）
図２は音源分離部２０の構成を示すブロックダイアグラムである。図２を参照して、音源分離部２０は、音源１６から近い方のマイクロホンＡ専用の入力端子２００Ａ、アナログ−デジタル変換器（Ａ／Ｄ変換器）２０２Ａ、フーリエ変換器２０４Ａ及び振幅抽出器２０６Ａと、音源１６に遠い方のマイクロホンＢ専用の入力端子２００Ｂ、アナログ−デジタル変換器（Ａ／Ｄ変換器）２０２Ｂ、フーリエ変換器２０４Ｂ及び振幅抽出器２０６Ｂと、除算器２０８と、係数計算器２１０と、乗算器２１２と、逆フーリエ変換器２１４と、デジタル−アナログ変換器（Ｄ／Ａ変換器）２１６と、スピーカ出力端子２１８とを含む。

Ａ／Ｄ変換器２０２Ａは、入力端子２００Ａを介して入力された、音源１６に近い方のマイクロホンＡで得た電気信号にＡ／Ｄ変換処理を行ない、この変換処理によりデジタル化された当該マイクロホンＡの電気信号をフーリエ変換器２０４Ａに与える。

フーリエ変換器２０４Ａは、Ａ／Ｄ変換器２０２Ａより与えられた上記のマイクロホンＡのデジタル信号に対してフーリエ変換処理を行ない、その結果を振幅抽出器２０６Ａ及び乗算器２１２の両者に振り分けて与える。

他方、Ａ／Ｄ変換器２０２Ｂは、入力端子２００Ｂを介して入力された、音源１６に遠い方のマイクロホンＢで得た電気信号にＡ／Ｄ変換処理を行ない、この変換処理によりデジタル化された当該マイクロホンＢの電気信号をフーリエ変換器２０４Ｂに与える。

フーリエ変換器２０４Ｂは、Ａ／Ｄ変換器２０２Ｂより与えられた上記のマイクロホンＢのデジタル信号に対してフーリエ変換処理を行ない、その結果を振幅抽出器２０６Ｂに与える。

振幅抽出器２０６Ａは、フーリエ変換器２０４Ａから与えられた結果を基に音源１６から近い方のマイクロホンＡの振幅を抽出して演算し、当該マイクロホンＡの振幅を除算器２０８に与える。一方、振幅抽出器２０６Ｂは、フーリエ変換器２０４Ｂから与えられた結果を基に音源１６に遠い方のマイクロホンＢの振幅を抽出して演算し、当該マイクロホンＢの振幅を除算器２０８に与える。

除算器２０８は、振幅抽出器２０６Ａから与えられた上記音源１６に近い方のマイクロホンＡの振幅と振幅抽出器２０６Ｂから与えられた上記音源１６に遠い方のマイクロホンＢの振幅との割算を行ない、それによってマイクロホンＡ，Ｂ間の振幅比を得る。この振幅比は、ＳＮ比の推定に用いられる。

係数計算器２１０は、図１に示す重み関数選択・記憶部４０で強調したい音源１６からの距離に応じて選択された重み関数に基づいて、除算器２０８で求められたマイクロホンＡ，Ｂの振幅比に応じた重み付け係数を計算する。この係数計算器２１０による重み計算は、全ての周波数成分を対象としてマイクロホンＡ及びＢの各周波数成分ごとに行なわれる。この各周波数成分ごとに計算された重み付け係数は、係数計算器２１０から乗算器２１２に与えられる。

乗算器２１２は、音源１６に近い方のマイクロホンＡ用のフーリエ変換器２０４Ａから与えられた変換結果と係数計算器２１０から与えられた重み付け係数とを掛け合わせる。この乗算器２１２による掛算は、マイクロホンＡ，Ｂの全ての周波数成分を対象として実行され、その結果が逆フーリエ変換器２１４に与えられる。

逆フーリエ変換器２１４は、乗算器２１２からの掛算の結果に対して逆フーリエ変換処理を行なう。

Ｄ／Ａ変換器２１６は、逆フーリエ変換器２１４から与えられた変換結果に対してＤ／Ａ変換処理を行ない、この変換処理によりアナログ化された電気信号（データ）を、スピーカ出力端子２１８を介して、図１に示すスピーカ１４に出力する。

＜ソフトウェアの構成＞
本実施の形態においては、マイクロホンＡ，Ｂ間の振幅比に基づいて近傍場の音源分離を行なうようにプログラミングされている。このプログラムは、上述したように近傍場音源分離装置のソフトウェア資源として構成されており、次に説明する近傍場音源分離機能を実現する。この機能は、上記の実質的にコンピュータからなる近傍場音源分離装置１０が、このプログラムを実行することによって実現される。

図３及び図４は本実施の形態の近傍場音源分離機能を実現するプログラムの構造をフローチャート形式で示す図である。

なお、以下の説明においては、マイクロホンＡ及びＢの周波数成分ｉは、それぞれ、「１」〜「ｎ」に分割されているものとして説明を行なう。

図３を参照して、まず、近傍場音源分離装置１０は、ステップＳ１００において、同装置１０の強調距離入力部３０により強調したい音源１６からの距離が入力されるのを待つ。ここで、強調したい音源１６からの距離が入力された場合には、制御はステップＳ２００に進む。

制御がステップＳ２００に進むと、近傍場音源分離装置１０の重み関数選択・記憶部４０は、ＨＤＤ１２内のデータベースから当該入力された強調音源距離に応じた重み関数を選択すると共に、この選択した重み関数を同選択・記憶部４０内の重み関数格納領域４０２に記憶する。その後、制御はステップＳ３００に進む。

制御がステップＳ３００に進むと、近傍場音源分離装置１０の音源分離部２０は、マイクロホン入力端子２００Ａ，２００Ｂを介してマイクロホンＡ及びＢの各音源観測信号（音源１６の音響振動からマイクロホンＡ及びＢで各々得られた電気信号）が入力されるのを待つ。ここで、音源１６に近い方のマイクロホンＡからの音源観測信号の入力があった場合には、音源分離部２０は、制御を図４に示すステップＳ４０２に進める。これに対し、音源１６に遠い方のマイクロホンＢからの音源観測信号の入力があった場合には、音源分離部２０は、制御を図４に示すステップＳ５０２に進める。

図４を参照して、音源１６に近い方のマイクロホンＡからの音源観測信号の入力があって制御がステップＳ４０２に進むと、音源分離部２０のＡ／Ｄ変換器２０２Ａは、当該入力されたマイクロホンＡからの音源観測信号に対してＡ／Ｄ変換処理を行なう。この変換処理によりデジタル化されたマイクロホンＡの音源観測信号は、音源分離部２０のフーリエ変換器２０４Ａに与えられる。その後、制御はステップＳ４０４に進む。

制御がステップＳ４０４に進むと、フーリエ変換器２０４Ａは、上記ステップＳ４０２においてＡ／Ｄ変換処理された上記のマイクロホンＡのデジタル信号に対してフーリエ変換処理を行なう。この結果は、音源分離部２０の振幅抽出器２０６Ａ及び乗算器２１２の両者に振り分けて与えられる。その後、制御はステップＳ４０６及びステップＳ４０８に進む。

制御がステップＳ４０６及びＳ４０８に進むと、振幅抽出器２０６Ａは、音源１６に近い方のマイクロホンＡの周波数成分ｉを「１」にセットすると共に、この周波数成分「１」のマイクロホンＡの振幅の抽出処理を行なう。すなわち、上記ステップＳ４０４においてフーリエ変換処理された結果を基に上記マイクロホンＡの周波数成分「１」の振幅が抽出・演算される。このようにして得られたマイクロホンＡの振幅は、音源分離部２０の除算器２０８に与えられる。その後、制御はステップＳ６００に進む。

他方、音源１６に遠い方のマイクロホンＢからの音源観測信号の入力があって制御がステップＳ５０２に進むと、音源分離部２０のＡ／Ｄ変換器２０２Ｂは、当該入力されたマイクロホンＢからの音源観測信号に対してＡ／Ｄ変換処理を行なう。この変換処理によりデジタル化されたマイクロホンＢの音源観測信号は、音源分離部２０のフーリエ変換器２０４Ｂに与えられる。その後、制御はステップＳ５０４に進む。

制御がステップＳ５０４に進むと、フーリエ変換器２０４Ｂは、上記ステップＳ５０２においてＡ／Ｄ変換処理された上記のマイクロホンＢのデジタル信号に対してフーリエ変換処理を行なう。この結果は、音源分離部２０の振幅抽出器２０６Ｂに与えられる。その後、制御はステップＳ５０６及びステップＳ５０８に進む。

制御がステップＳ５０６及びＳ５０８に進むと、振幅抽出器２０６Ｂは、音源１６に遠い方のマイクロホンＢの周波数成分ｉを「１」にセットすると共に、この周波数成分「１」のマイクロホンＢの振幅の抽出処理を行なう。すなわち、上記ステップＳ５０４においてフーリエ変換処理された結果を基に上記マイクロホンＢの周波数成分「１」の振幅が抽出・演算される。このようにして得られたマイクロホンＢの振幅は、音源分離部２０の除算器２０８に与えられる。その後、制御はステップＳ６００に進む。

制御がステップＳ６００に進むと、除算器２０８は、振幅抽出器２０６Ａから与えられた上記音源１６に近い方のマイクロホンＡの振幅と振幅抽出器２０６Ｂから与えられた上記音源１６に遠い方のマイクロホンＢの振幅との割算を行なうことによって、マイクロホンＡ，Ｂ間の振幅比を得る。この振幅比からＳＮ比を推定して、音源分離部２０の係数計算器２１０に与えられる。その後、制御はステップＳ７００に進む。

制御がステップＳ７００に進むと、係数計算器２１０は、重み関数選択・記憶部４０内の重み関数格納領域４０２に格納されている重み関数（上記ステップＳ２００（図３参照）で強調したい音源１６からの距離に応じて選択された重み関数）に基づいて、上記ステップＳ６００において除算処理により得られたマイクロホンＡ，Ｂの振幅比に応じた重み係数を計算する。この重み付け係数は、音源分離部２０の乗算器２１２に与えられる。その後、制御はステップＳ８００に進む。

制御がステップＳ８００に進むと、乗算器２１２は、音源１６に近い方のマイクロホンＡ用のフーリエ変換器２０４Ａから与えられた変換結果と係数計算器２１０から与えられた重み付け係数とを掛け合わせる。その後、制御はステップＳ９００に進む。

制御がステップＳ９００に進むと、音源分離部２０は、重み付け回数がｎ回行なわれたか否か（即ち、マイクロホンＡ及びＢの全周波数成分に対して重み付けがなされたか否か）を判断する。ここで、重み付けが全周波数成分に対してなされている場合には、音源分離部２０は、制御をステップＳ１０００に進める。このとき、乗算器２１２による掛算の結果が音源分離部２０の逆フーリエ変換器２１４に与えられる。逆に、重み付けが全周波数成分に対してなされていない場合には、音源分離部２０は、周波数成分ｉに「１」を加算し（ステップＳ１３００）、その後、制御をステップＳ４０８及びＳ５０８に戻す。これは、ステップＳ４０８及びＳ５０８並びにＳ６００〜Ｓ８００までの重み付けに関する一連の制御が全周波数成分に対してなされるまで繰返し実行されることを意味する。

制御がステップＳ１０００に進むと、逆フーリエ変換器２１４は、上記ステップＳ８００での乗算結果に対して逆フーリエ変換処理を行なう。この変換結果は、音源分離部２０のＤ／Ａ変換器２１６に与えられる。その後、制御はステップＳ１１００及びＳ１２００に進む。

制御がステップＳ１１００及びＳ１２００に進むと、Ｄ／Ａ変換器２１６は、上記ステップＳ１０００において逆フーリエ変換処理により得られた結果に対してＤ／Ａ変換処理を行ない、この変換処理によりアナログ化された電気信号を音源分離信号としてスピーカ１４にスピーカ出力端子２１８を介して出力する。

＜動作＞
本実施の形態では、強調したい音源１６からの距離が入力されると、これに応じた重み関数が各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき計算してデータベース化された複数の重み関数の中から選択される。

そして、各マイクロホンＡ及びＢの振幅を抽出しマイクロホンＡ，Ｂ間の振幅比を求めて当該振幅比からＳＮ比を推定し、これに上記の選択された重み関数を用いて重み付けが行なわれる。これによって、近傍場音の強調が行なわれることになる。

特に、この近傍場音の強調に関しては、マイクロホンから特定の近距離に存在する音源１６からの信号の推定値を求めるために、以下の計算が行なわれる。

入力された各マイクロホンＡ及びＢの音源観測信号に対してフーリエ変換が行なわれる。このフーリエ変換で得られた結果を基にして、各マイクロホンＡ及びＢの振幅が抽出される。抽出された各マイクロホンＡ及びＢの振幅を除算することによって、ＳＮ比を推定するためにマイクロホンＡ，Ｂ間の振幅比が求められる。そうすると、上記の選択された重み関数に基づいて、上記マイクロホンＡ，Ｂ間の振幅比に応じた重みが求められる。そして、フーリエ変換で得られた、音源１６に近い方のマイクロホンＡ側の結果と上記重みとが掛け合わされ、その後、この演算結果に対して逆フーリエ変換が行われる。

＜作用・効果＞
以上の説明から明らかな通り、本実施の形態によると、近傍場音源分離はマイクロホン間の振幅比に基づいて行なわれる。そのため、近傍場音源分離に関しては、室伝達関数の推定とその逆フィルタを用いることなく、遠方音を抑圧して近傍音のみを強調することができる。

＜計算シミュレーション＞
部屋における音源からマイクロホンまでの伝達関数をＡｌｌｅｎ等による手法、Ｊ．Ｂ．アレン及びＤ．Ａ．バークレー、「小部屋での音響の効率的シミュレーションのための画像方法」、米国音響学会誌、６５、４、９４３−９５０ページ（１９７９年）（J. B. Allen and D. A. Berkley: “Image method for efficiently simulating small-room acoustics”, J. Acoust. Soc. Am., 65, 4, pp. 943-950 (1979).）を用いて合成した。インパルス応答長は、２０ｋＨｚサンプリングで８９１２ポイントである。ただし、自由音場を仮定しているため、床面も含めて壁の反射係数は全て「０」とした。

また、マイクロホン配置及び目的音と妨害音との位置関係については、図９に示す配置を用いた。部屋の大きさは、縦横２０ｍ、高さが３ｍの直方体である。括弧内の数値は、ｘ軸方向及びｙ軸方向における座標をメートル単位で表記したものであり、高さ方向については、マイクロホンは床面から１．５ｍ、音源についてはどちらも床面から１．０ｍとした。音源は、ＮＴＴ−ＡＴ社のＡＴＲ音声データベース（現在は、ＡＴＲ−Ｐｒｏｍｏｔｉｏｎｓから販売）の中から表２に示す音源を使用した。

表２を参照して、条件１では、目的音と妨害音はどちらも同一男性話者である。一方、条件２での妨害音は、女性話者の発話音を採用した。

本計算シミュレーションで行った信号処理に関しては、図１及び図２に示すブロックダイアグラムに従って行なった。性能評価用のために使用する信号の取得方法も、これらの図のブロックダイアグラムには含まれている。

本実施の形態による提案手法の性能評価は、下記の２つの指標に基づいて行った。

第１の指標であるＳＮ比（ＳＮＲ）は、式（１０）で定義され、第２の指標であるＳＤＲは、式（１１）で定義される。

妨害音が男性話者の場合のＳＮ比及びＳＤＲの結果を図１０（ａ）に、女性話者の場合を図１０（ｂ）に示す。なお、図１０（ａ）には、従来法との比較のために、ｄｅｌａｙ−ａｎｄ−ｓｕｍの結果も付記している。

これらの図から、処理前のＳＮ比に関係なく、ＳＮ比及びＳＤＲが本実施の形態による提案手法により男性話者妨害音のときで７ｄＢ程度、女性話者妨害音のときには９ｄＢ程度改善していることが分かる。

＜実験＞
上述した計算シミュレーションの結果を検証するため、無響室において本実施の形態による提案手法の性能評価実験を行った。その測定環境を図１１に示す。

マイクロホン及びスピーカは、床面から９５ｃｍの同一平面上に配置した。音源は、計算シミュレーションで用いたものと全く同じものを使用した。２つのスピーカで再生する音声は、それぞれステレオのＬチャネルとＲチャネルとに記録し、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルで接続したＲｏｌａｎｄ ＥＤＩＲＯＬＵＡ−１０１でＤ／Ａ変換した後、オーディオアンプ（ＡｃｃｕｐｈａｓｅＥ−３０５）で増幅して、スピーカ（ＤＩＡＴＯＮＥ ＤＳ−１０７Ｖ）で再生した。

また、マイクロホン(Ｂ＆Ｋ ４９５１)で観測した信号は、日本ナショナルインスツルメンツのＰＸＩ−４４６２ ＤＡＱモジュールを用いて２０ｋＨｚで標本化を行った。

観測した信号を基に各時間周波数要素に対するゲインを決定し、目的音及び妨害音のみを収音した信号を用いて計算シミュレーションの時と同様の方法でＳＮ比を算出した。求まった処理後のＳＮ比の結果を図１２に示す。

この図から明らかなように、女性話者の妨害音に対しては約８ｄＢの改善が見られ、男性話者に対しては約６ｄＢ程度の改善が確認された。これらの数値は、計算シミュレーションで得られた値よりも若干小さいがほぼ同じ値であり、実測データからも本実施の形態による提案手法の有効性が確認された。

なお、本発明は上記実施の形態に限定されるものではない。

例えば、上述したように、上記実施の形態で使用した男性話者と女性話者との妨害音は、同一の発話内容であるが、ＳＮ比の改善量に少なくない差異が確認された。これは、発話時間長が多少異なるために時間的な重なりもある程度影響していることが考えられるが、主な理由は時間周波数領域での重なりが女性話者の方が減少しているためであると考えられる。この点を確かめるため、実施の形態で用いた目的音声、男性話者の妨害音、及び女性話者の妨害音の短区間振幅スペクトルを求め、各フレーム毎に目的音声の短区間振幅スペクトルとの相関を計算して平均した。その結果、男性話者の妨害音では０．５２、女性話者の妨害音では０．４２であった。このことから、女性話者妨害音の振幅スペクトルの分布は、男性話者妨害音の場合よりも目的音声のそれと異なっていたことが原因の１つであると推定される。図６において、Ｃ＝１の場合には、Ｒ_ｍｉｎはＲ＝０で連続に繋がり、Ｒ_ｍｉｎとＲ_ｍａｘは共に正負方向に関して対称となる。これは、目的音が２つのマイクロホンから等距離に位置しており、目的音の両マイクロホンでの受信信号に関する振幅比が「１」であることに対応する。この場合、ＳＮ比の期待値

外８

は、観測された振幅比Ｒに依存せずに常に０ｄＢとなるため、目的音の強調ができないことになる。このような場合には、マイクロホン数を増やして適切なマイクロホンの組み合わせを選択したり、又は複数の組み合わせで計算した結果を統合したりする等の工夫を施すようにすれば、上記の問題を回避することが可能となると考えられる。

また、もし音源に関する先験的な知識が利用可能であれば、ＳＮＲの尤度を基に、表１における当該成分のＳＮＲの期待値を求める計算法を検討することで、より性能を高められると期待される。これには、尤度推定による重みの決定の最適化を検討すればよい。

さらに、上記実施の形態では、少数（２つ）のマイクロホンを用いて、マイクロホンアレイから近傍の音のみを強調する手法を提案した。この提案手法は、音源から放射された音の振幅が、距離に反比例して減少するため、音源が近傍に存在する場合は２点間の振幅比が大きいが、遠方の音源に対しては、同じ距離離れていても振幅比が小さくなることを利用したものである。計算シミュレーション及び実験の結果、自由音場ではＳＮ比で８ｄＢ程度の強調効果を実現できたが、重み付けの関数に関して、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｒｏｓｔｅｒｉｏｒｉ）推定のような確率的な考え方を導入すれば、本手法の性能を音質の面も含めてさらに向上させ得る可能性がある。

その他、本明細書に添付の特許請求の範囲内での種々の設計変更及び修正を加え得ることは勿論である。

すなわち、本明細書で開示した実施の形態は単に例示であって、本発明が上述した実施の形態のみに限定されるわけではない。本発明の範囲は、本明細書の記載内容を参酌した上で、別紙の特許請求の範囲における請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

本発明の実施の形態に係るシステムの構成を示すブロックダイアグラムである。 音源分離部の構成を示すブロックダイアグラムである。 本実施の形態の近傍場音源分離機能を実現するプログラムの構造をフローチャート形式で示す図である。 本実施の形態の近傍場音源分離機能を実現するプログラムの構造をフローチャート形式で示す図であって、図３の続きを示す。 ２つのマイクロホン間における振幅比Ｃが２つのマイクロホン間距離とマイクロホンと音源との距離に対してどのような振る舞いをなすのかを示す図である。 幾つかのパラメータＣの値に対するＳＮ比の関数としての振幅比Ｒの範囲を示す図である。 観測された振幅比Ｒの関数としての推定されたＳＮ比を示す図である。 幾つかのパラメータＣの値に対する重み関数を示す図である。 コンピュータシュミレーションにおけるマイクロホン及び音源の配置を示す図である。 提案手法及び従来手法に対するＳＮ比及びＳＤＲの入力及び出力を示す図である。 実験用の配置を示す図である。 実験において観測された提案手法のＳＮ比の入力及び出力を示す図である。

符号の説明

Ａ，Ｂ マイクロホン
１０ 近傍場音源分離装置
１２ ＨＤＤ
１４ スピーカ
１６ 音源
２０ 音源分離部
２０４Ａ，２０４Ｂ フーリエ変換器
２０６Ａ，２０６Ｂ 振幅抽出器
２０８ 除算器
２１０ 係数計算器
２１２ 乗算器
２１４ 逆フーリエ変換器
３０ 強調距離入力部
４０ 重み関数選択・記憶部

Claims (4)

1. ２次元平面上において一の音源に対して所定の間隔を隔てて配置されたマイクロホン間の振幅比に基づいて近傍場音源を分離するために、コンピュータを、
   強調したい音源からの距離が入力されると、これに応じた重み関数を各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき計算してデータベース化された複数の重み関数の中から選択するための重み関数選択手段、
   各マイクロホンの振幅を抽出しマイクロホン間の振幅比を求めて当該振幅比からＳＮ比を推定し、これに前記重み関数選択手段により選択された重み関数を用いて重み付けを行ない、それによって近傍場音の強調を行なうための近傍場音強調手段、として機能させる近傍場音源分離プログラム。
2. 前記近傍場音強調手段は、
   入力された各マイクロホンの音源観測信号に対して第１の線形変換を行なうための第１の手段、
   前記第１の手段による第１の線形変換で得られた結果を基にして各マイクロホンの振幅を抽出するための第２の手段、
   前記第２の手段により抽出された各マイクロホンの振幅を除算し、それによって前記ＳＮ比を推定するためにマイクロホン間の振幅比を求めるための第３の手段、
   前記重み関数選択手段により選択された重み関数に基づいて、前記第３の手段により求められたマイクロホン間の振幅比に応じた重みを求めるための第４の手段、
   前記第１の手段による第１の線形変換で得られた、対をなすマイクロホン間の一方のマイクロホン側の結果と前記第４の手段で求められた重みとを掛け合わせるための第５の手段、及び
   前記第５の手段による演算結果に対して前記第１の線形変換の逆変換に対応する第２の線形変換を行なうための第６の手段を含む、請求項１に記載の近傍場音源分離プログラム。
3. ２次元平面上において一の音源に対して所定の間隔を隔てて配置されたマイクロホン間の振幅比に基づいて近傍場音源を分離するために、コンピュータを、
   強調したい音源からの距離が入力されると、これに応じた重み関数を各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき計算してデータベース化された複数の重み関数の中から選択するための重み関数選択手段、
   各マイクロホンの振幅を抽出しマイクロホン間の振幅比を求めて当該振幅比からＳＮ比を推定し、これに前記重み関数選択手段により選択された重み関数を用いて重み付けを行ない、それによって近傍場音の強調を行なうための近傍場音強調手段、として機能させる近傍場音源分離プログラムを記録したコンピュータ読取可能な記録媒体。
4. ２次元平面上において一の音源に対して所定の間隔を隔てて配置されたマイクロホン間の振幅比に基づいて近傍場音源を分離するための方法であって、
   強調したい音源からの距離が入力されると、これに応じた重み関数を各音源距離に対するＳＮ比と振幅比との関係を距離減衰に基づき計算してデータベース化された複数の重み関数の中から選択するための第１のステップと、
   各マイクロホンの振幅を抽出しマイクロホン間の振幅比を求めて当該振幅比からＳＮ比を推定し、これに前記第１のステップにおいて選択された重み関数を用いて重み付けを行ない、それによって近傍場音の強調を行なうための第２のステップと、を含む近傍場音源分離方法。

Images