JP2005077731A - 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム - Google Patents

Abstract

【課題】 様々な音源配置に対して高精度な音源分離を行うことができる音源分離方法およびそのシステム、並びに音声認識率を向上させることができる音声認識方法およびそのシステムを提供すること。
【解決手段】 各第一次分離手段Ｆ_jにより、マイクロフォンアレー装置２１の各マイクロフォンＭ_iの出力信号を用いて複数の異なる指向特性制御を行って各音Ａ，Ｂを選択的に強調または抑圧するとともに周波数解析を行うことにより、各音に向けられた複数の第一次分離処理を行った後、第二次分離手段２２により、複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値を用いて周波数帯域毎に第一次分離処理よりも分離精度を高めるための第二次分離処理を行って目的音を分離する。
【選択図】 図１

Description

本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離方法およびそのシステム、並びに複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法およびそのシステムに係り、例えば、遠隔発話を行う複数の話者による混合音声から任意の話者の音声を分離する場合、あるいは遠隔発話を行う話者の音声とその他の音との混合音から話者の音声を分離する場合等に利用できる。

通常の音声認識では、口元で発話した音声を接話型マイクロフォンにより収録し、認識処理を行う。しかし、ロボットとの対話、カーナビゲーションシステム等の車載機器についての音声による操作、会議の議事録作成等、接話型マイクロフォンの利用をユーザに課すことが不自然となる用途も多い。このような用途においては、システム側に設置したマイクロフォンにより音声を収録し、認識処理することが望まれる。

しかし、発話者から離れた場所に設置したマイクロフォンにより音声認識を行う場合、ＳＮ比が悪化し、音声認識の精度は極度に劣化する。このため、マイクロフォンアレーにより指向特性を制御する等して、所望の音声だけを選択的に収録する試みがなされているが、このような指向特性の制御だけでは、所望の音声を背景雑音から分離して取り出すことは困難であった。

なお、マイクロフォンアレーによる指向特性制御の技術自体は、公知の技術であり、例えば、遅延和アレー（ＤＳＡ：Delayed Sum Array、または以下ではＢＦ：Beam-Formingと呼ぶことがある。）による指向特性制御に関する技術（非特許文献１参照）、あるいはＤＣＭＰ（Directionally Constrained Minimization of Power）アダプティブアレーによる指向特性制御に関する技術（非特許文献２参照）等がある。

一方、遠隔発話による音声を分離する技術として、複数の固定マイクロフォンの出力信号を狭帯域スペクトル分析し、周波数帯域毎に最も大きな振幅を与えたマイクロフォンにその周波数帯域の音を割り当てる技術（ＳＡＦＩＡと称されている。）もある（特許文献１参照）。この帯域選択（ＢＳ：Band Selection）による音声の分離技術では、所望の音声を得るために、所望の音声を発する音源に最も近いマイクロフォンを選び、そのマイクロフォンに割り当てられた周波数帯域の音を使って音声を合成する。

特許第３３５５５９８号掲載公報（段落［０００６］、［０００７］、図１、要約） 大賀寿郎、山崎芳男、金田豊著、"音響システムとディジタル処理"、初版、社団法人電子情報通信学会、１９９５年３月２５日、ｐ．１８１−１８６ 菊間信良著、"アレーアンテナによる適応信号処理"、初版、株式会社科学技術出版、１９９８年１１月２５日、ｐ．８７−１１４

ところで、帯域選択（ＢＳ）による音声分離を行う場合には、各音源からの音声が適切に強調された各周波数特性を算出し、これらの各周波数特性における同一の周波数帯域の振幅値同士の大小比較を適切に行えるようにしなければならない。なお、本願明細書において、上記のように「周波数特性」について「各音源からの音声が適切に「強調」された」というときは、各音源からの音声の特性を反映した周波数特性を算出するという意味であり、対象音源以外の音源からの音声を「抑圧」することも含むものとする。

しかしながら、前述した特許文献１に記載された技術（ＳＡＦＩＡ）では、２つの固定マイクロフォンの出力信号に基づき帯域選択による音源分離を行うので、指向性マイクロフォンの指向性の範囲外に音源が存在する場合や、音源が非常に接近して存在する場合においては、各マイクロフォンの出力信号を狭帯域スペクトル分析して得られる各周波数特性に差違が殆ど生じなくなり、帯域選択が困難になるという問題がある。

本発明の目的は、様々な音源配置に対して高精度な音源分離を行うことができる音源分離方法およびそのシステム、並びに音声認識率を向上させることができる音声認識方法およびそのシステムを提供するところにある。

本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離方法であって、マイクロフォンアレー装置を構成する複数のマイクロフォンにより混合音をそれぞれ入力し、各マイクロフォンの出力信号を用いて複数の異なる指向特性制御を行って各音を選択的に強調または抑圧するとともに周波数解析を行うことにより、各音に向けられた複数の第一次分離処理を行った後、これらの複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値を用いて周波数帯域毎に第一次分離処理よりも分離精度を高めるための第二次分離処理を行って目的音を分離することを特徴とするものである。

ここで、「音」とは、主として人間の音声であるが、その他に、例えば、音楽（楽器音）、動物の鳴き声、雷鳴・さざ波の音・川のせせらぎの音等の自然界の音、ブザー音・警報音・クラクション・警笛等の各種の効果音、雑踏の音、自動車の走行音・飛行機の離陸音・工作機械の稼働音等の各種の機械音などが含まれる。また、「目的音」も同様であり、主として人間の音声であるが、その他の種類の音を目的音としてもよく、音源の方向が定まるものであれば目的音とすることができる。さらに、「混合音」は、同一種類の音の混合音である必要はなく、例えば、人間の音声とその他の種類の音との混合音であってもよい。以下の発明においても同様である。

また、「各音に向けられた複数の第一次分離処理」とは、各分離対象音を強調するか、または各分離対象音以外の音を抑圧する指向特性制御を行うことにより、各分離対象音を分離する処理をいう。

さらに、「強調」とは、例えば、遅延和アレー（ＢＦ）による指向特性制御（非特許文献１参照）等により実現され、「抑圧」とは、例えば、ＤＣＭＰアダプティブアレーによる指向特性制御（非特許文献２参照）等により実現される。

そして、「各周波数特性のうち同一の周波数帯域についての各振幅値を用いて」とは、少なくとも各振幅値を用いて第二次分離処理を行えばよい趣旨であり、各振幅値のみならず各位相値を用いて第二次分離処理を行う場合も含まれる。

このような本発明の音源分離方法においては、第一次分離処理として、マイクロフォンアレーを用いて音源の位置情報を利用して指向特性制御を行うので、どのような音源配置であっても、各音源からの音声が適切に強調された各周波数特性を算出することが可能となる。

そして、第一次分離処理で得られた各周波数特性（周波数帯域毎の各振幅値、あるいは周波数帯域毎の各振幅値および各位相値）を用いて、周波数帯域毎に第二次分離処理を行うので、第一次分離処理よりも分離精度の高い分離処理が実現される。この際、第一次分離処理で得られる各周波数特性は、各音源からの音声が適切に強調された周波数特性であるから、第二次分離処理を効果的かつ的確に行うことが可能となるので、第二次分離処理を行うこと自体の意義を高めることができるようになる。

従って、これらの第一次分離処理および第二次分離処理を行うことにより、様々な音源配置に対して高精度な音源分離を行うことが可能となり、これらにより前記目的が達成される。

また、前述した音源分離方法において、第二次分離処理を行う際には、第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値の大小の比較を周波数帯域毎に行い、それぞれの周波数帯域で最も大きい振幅値のみを選択し、この最も大きい振幅値を第二次分離処理結果としてこの振幅値に対応する第一次分離処理が向けられている音に帰属させる帯域選択を行うようにしてもよい。

このように第二次分離処理として帯域選択による音源分離を行うようにした場合には、第一次分離処理で得られる各周波数特性が、マイクロフォンアレーを用いて指向特性制御を行って得られる周波数特性であり、従って、どのような音源配置であっても、各音源からの音声が適切に強調された周波数特性であることから、第二次分離処理として行う帯域選択を効果的かつ的確に行うことが可能となる。つまり、各周波数特性における同一の周波数帯域の振幅値同士の大小比較を適切に行うことが可能となる。このため、前述した特許文献１に記載された技術（ＳＡＦＩＡ）のように固定マイクロフォンで得られる各周波数特性を用いて帯域選択を行う場合に比べ、帯域選択の性能を向上させることができ、精度よく目的音を分離することが可能となる。

さらに、前述した音源分離方法において、第二次分離処理を行う際には、第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する各音の寄与割合とを用いて、第二次分離処理結果としての各音の振幅値を周波数帯域毎に算出してもよく、この際、寄与割合は、第一次分離処理で用いる周波数帯域毎の指向特性で周波数帯域毎に定める。

このように第二次分離処理として指向特性で定まる寄与割合に基づき音源分離を行うようにした場合には、マイクロフォンアレーを用いて指向特性制御を行って得られた第一次分離処理結果に対し、さらに寄与割合を考慮して分離対象の音声成分と他の音声成分とを分けることが可能となるので、より一層高精度な音源分離を実現できるようになる。

そして、前述した音源分離方法において、第二次分離処理を行う際には、フレーム長よりも長時間のデータに基づく第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する各音の寄与割合とを用いて、各音のうち目的音以外の雑音についての振幅値を周波数帯域毎に算出するノイズ推定を行い、この際、寄与割合は、第一次分離処理で用いる周波数帯域毎の指向特性で周波数帯域毎に定め、その後、１フレームのデータに基づく目的音に向けられた第一次分離処理結果として得られた周波数特性の振幅値から、ノイズ推定により算出された雑音についての振幅値またはその比例値を減じる処理を周波数帯域毎に行うことにより、ノイズを除去するようにしてもよい。

ここで、「フレーム長よりも長時間のデータに基づく」とは、複数のフレームの各データを平均化する場合、連続する一つの長時間データに基づく場合のいずれも含まれる。但し、後者の場合には、周波数解析時のサンプル数が多くなり、周波数帯域の幅が変動してしまうので、前者のように複数のフレームの各データを平均化することが好ましい。

このようにフレーム長よりも長時間のデータに基づきノイズを推定し、除去するようにした場合には、マイクロフォンアレーを用いて指向特性制御を行って得られる第一次分離処理結果に対し、これに含まれるノイズ分を除去することができるので、音源分離精度を、より一層高めることが可能となる。

そして、ノイズ除去を行う際には、フレーム長よりも長時間のデータに基づき雑音についての振幅値を求めるので、目的音と雑音との相関値を小さくし、安定した状態で雑音についての振幅値を求めることができ、精度の良いノイズ除去を行うことが可能となる。つまり、短時間のデータに基づく第一次分離処理結果のみでは、目的音と雑音との相関が大きいので、誤差が大きくなると考えられる。そこで、長時間のデータを観測し、平均化処理を行うことで相関値を小さくすることにより、誤差を小さくして安定した状態で、除去すべきノイズ分を推定することが可能となる。

また、以上に述べた音源分離方法において、第一次分離処理として行う周波数解析には、例えば、高速フーリエ変換（ＦＦＴ：First Fourier Transform）や一般化調和解析（ＧＨＡ：Generalized Harmonic Analysis）等を採用することができるが、窓関数の影響を受けずに、より正確な周波数特性を算出する、あるいは、より細かい周波数成分まで解析するという観点からは、一般化調和解析（ＧＨＡ）であることが望ましい。

さらに、本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、サンプル用音声データについて本発明の音源分離方法による分離処理を行ってスペクトル変形を生じた変形音声データを得た後、この変形音声データと標準音響モデルとを用いて適応処理を行うことにより分離音声用音響モデルを生成しておき、本発明の音源分離方法による分離処理を行った後、分離された目的音について、予め用意された分離音声用音響モデルを用いて音声認識処理を行うことを特徴とするものである。

ここで、「適応処理」には、例えば、代表的なものとして、ＭＬＬＲ（Maximum Likelihood linear regression）による適応処理等がある。

このように適応処理を行って得られた分離音声用音響モデルを用いて音声認識処理を行うようにした場合には、本発明の音源分離方法を実施して周波数領域での分離処理を行うことにより生じたスペクトル変形を、分離音声用音響モデルで吸収することが可能となるので、認識性能の向上が図られる。

そして、本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、サンプル用音声データについて本発明の音源分離方法による分離処理を行ってスペクトル変形を生じた変形音声データを得た後、この変形音声データを用いて学習処理を行うことにより分離音声用音響モデルを生成しておき、本発明の音源分離方法による分離処理を行った後、分離された目的音について、予め用意された分離音声用音響モデルを用いて音声認識処理を行うことを特徴とするものである。

このように学習処理を行って得られた分離音声用音響モデルを用いて音声認識処理を行うようにした場合には、本発明の音源分離方法を実施して周波数領域での分離処理を行うことにより生じたスペクトル変形を、分離音声用音響モデルで吸収することが可能となるので、認識性能の向上が図られる。

また、本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、本発明の音源分離方法による分離処理を行った後、音声認識処理を行う前に、分離された目的音に対して雑音を付与することを特徴とするものである。

このように音声認識処理を行う前に雑音を付与するようにした場合には、本発明の音源分離方法による分離処理を行って得られた目的音の波形を、実際の滑らかな波形に近づけることが可能となるので、認識性能の向上が図られる。

また、以上に述べた本発明の音源分離方法および音声認識方法を実現するシステムとして、以下のような本発明の音源分離システムおよび音声認識システムが挙げられる。

すなわち、本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離システムであって、混合音をそれぞれ入力する複数のマイクロフォンを並べて構成されたマイクロフォンアレー装置と、このマイクロフォンアレー装置の各マイクロフォンの出力信号を用いてそれぞれ異なる指向特性制御を行って各音を選択的に強調または抑圧するとともに周波数解析を行うことにより各音に向けられた第一次分離処理を行う複数の第一次分離手段と、これらの複数の第一次分離手段による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値を用いて周波数帯域毎に第一次分離処理よりも分離精度を高めるための第二次分離処理を行って目的音を分離する第二次分離手段とを備えたことを特徴とするものである。

このような本発明の音源分離システムにおいては、前述した本発明の音源分離方法で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。

また、前述した音源分離システムにおいて、第二次分離手段は、第一次分離手段による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値の大小の比較を周波数帯域毎に行い、それぞれの周波数帯域で最も大きい振幅値のみを選択し、この最も大きい振幅値を第二次分離処理結果としてこの振幅値に対応する第一次分離手段により行われる第一次分離処理が向けられている音に帰属させる帯域選択を行う構成としてもよい。

さらに、前述した音源分離システムにおいて、第二次分離手段は、第一次分離手段による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する各音の寄与割合とを用いて、第二次分離処理結果としての各音の振幅値を周波数帯域毎に算出する構成としてもよく、この場合には、寄与割合は、第一次分離手段により形成された周波数帯域毎の指向特性で周波数帯域毎に定まる構成とする。

そして、前述した音源分離システムにおいて、第二次分離手段は、第一次分離手段によるフレーム長よりも長時間のデータに基づく処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する各音の寄与割合とを用いて、各音のうち目的音以外の雑音についての振幅値を周波数帯域毎に算出するノイズ推定手段と、目的音に向けられた第一次分離処理を行う第一次分離手段による１フレームのデータに基づく処理結果として得られた周波数特性の振幅値から、ノイズ推定手段により算出された雑音についての振幅値またはその比例値を減じる処理を周波数帯域毎に行うことによりノイズを除去するノイズ除去手段とを備えた構成としてもよく、この場合には、寄与割合は、第一次分離手段により形成された周波数帯域毎の指向特性で周波数帯域毎に定まる構成とする。

また、以上に述べた音源分離システムにおいて、第一次分離手段による周波数解析には、例えば、高速フーリエ変換（ＦＦＴ）や一般化調和解析（ＧＨＡ）等を採用することができるが、窓関数の影響を受けずに、より正確な周波数特性を算出する、あるいは、より細かい周波数成分まで解析するという観点からは、一般化調和解析（ＧＨＡ）であることが望ましい。

さらに、本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、本発明の音源分離システムと、サンプル用音声データについて本発明の音声分離システムによる分離処理を行って得られるスペクトル変形を生じた変形音声データと標準音響モデルとを用いて適応処理を行って得られた分離音声用音響モデルを記憶する分離音声用音響モデル記憶手段と、本発明の音源分離システムにより分離された目的音について分離音声用音響モデル記憶手段に記憶されたデータを用いて音声認識処理を行う音声認識処理手段とを備えたことを特徴とするものである。

そして、本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、本発明の音源分離システムと、サンプル用音声データについて本発明の音源分離システムによる分離処理を行って得られるスペクトル変形を生じた変形音声データを用いて学習処理を行って得られた分離音声用音響モデルを記憶する分離音声用音響モデル記憶手段と、音源分離システムにより分離された目的音について分離音声用音響モデル記憶手段に記憶されたデータを用いて音声認識処理を行う音声認識処理手段とを備えたことを特徴とするものである。

また、本発明は、複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、本発明の音源分離システムと、この音源分離システムにより分離された目的音に対して音声認識処理を行う前に雑音を付与する雑音付与手段と、この雑音付与手段により雑音を付与された目的音について音声認識処理を行う音声認識処理手段とを備えたことを特徴とするものである。

以上に述べた本発明の音声認識システムにおいては、前述した本発明の音声認識方法で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。

以上に述べたように本発明によれば、第一次分離処理として、マイクロフォンアレーを用いて複数の異なる指向特性制御を行うので、どのような音源配置であっても、各音源からの音声が適切に強調された各周波数特性を算出することができ、さらに、第二次分離処理として、第一次分離処理で得られた適切な各周波数特性を用いて、周波数帯域毎に第一次分離処理よりも分離精度の高い分離処理を行うので、様々な音源配置に対して高精度な音源分離を行うことができるうえ、音声認識を行う場合には、音源分離精度の向上に伴って認識率を向上させることができるという効果がある。

以下に本発明の各実施形態について図面を参照して説明する。

［第１実施形態］
図１には、本発明の第１実施形態の音声認識システム１０の全体構成が示されている。図２には、音声認識システム１０の各第一次分離手段Ｆ_jにより形成される指向特性が例示されている。図３は、音声認識システム１０の第二次分離手段２２により行われる帯域選択の説明図である。

図１において、音声認識システム１０は、音源分離システム２０と、合成処理手段３０と、雑音付与手段３１と、雑音記憶手段３２と、分離音声用周波数解析手段３３と、音声認識処理手段３４と、分離音声用音響モデル記憶手段３５と、認識結果表示処理手段３６と、表示装置３７とを備えて構成されている。

音源分離システム２０は、マイクロフォンアレー装置２１と、複数の第一次分離手段Ｆ_j（ｊ＝１〜Ｊ）と、第二次分離手段２２とを備えて構成されている。

マイクロフォンアレー装置２１は、複数のマイクロフォンＭ_i（ｉ＝１〜Ｉ）を並べて構成されている。各マイクロフォンＭ_iは、例えば、無指向性コンデンサマイクロフォンであり、等間隔直線状に配置されている。マイクロフォンの個数（素子数）は、例えば８個（Ｉ＝８）等であるが、この個数に限定されるものではない。そして、このマイクロフォンアレー装置２１の各マイクロフォンＭ_i（ｉ＝１〜Ｉ）のそれぞれが、各音源Ｓ_A，Ｓ_B，…から発せられた各音Ａ，Ｂ，…の混合音を入力するようになっている。なお、本第１実施形態を含めて本願明細書における各実施形態では、各音Ａ，Ｂ，…を、複数の発話者による各音声Ａ，Ｂ，…として説明を行うが、本発明における音源分離の対象となる目的音、あるいは雑音は、音声に限定されるものではない。

各第一次分離手段Ｆ_j（ｊ＝１〜Ｊ）は、混合音から各音を第一次分離するフィルタの機能を果たすものであり、それぞれ指向特性制御手段Ｄ_j（ｊ＝１〜Ｊ）と、周波数解析手段Ｗ_j（ｊ＝１〜Ｊ）とにより構成されている。なお、指向特性制御手段Ｄ_jと周波数解析手段Ｗ_jとは、説明の便宜上、分けて記載しているが、実際の演算処理は同時に行ってもよい。

各指向特性制御手段Ｄ_j（ｊ＝１〜Ｊ）は、それぞれマイクロフォンアレー装置２１の各マイクロフォンＭ_i（ｉ＝１〜Ｉ）の出力信号を用い、それぞれ異なる指向特性制御を行って各音源Ｓ_A，Ｓ_B，…から発せられた各音Ａ，Ｂ，…を選択的に強調または抑圧する処理を行うものである。換言すれば、任意の一つの指向特性制御手段Ｄ_jは、複数のマイクロフォンＭ_i（ｉ＝１〜Ｉ）の出力信号を用い、各周波数帯域毎に一つの指向特性を形成する。そして、形成される指向特性は、全て異なるものであり、結局、各周波数帯域毎に指向特性制御手段Ｄ_j（つまり、第一次分離手段Ｆ_j）の個数Ｊと同数の指向特性が形成される。図２の例では、４つの第一次分離手段Ｆ₁〜Ｆ₄により、各周波数帯域毎に４つの異なる指向特性が形成されている。なお、図２は、ある一つの周波数帯域の指向特性のみを示している。

各指向特性制御手段Ｄ_jにより行われるアレー信号処理は、具体的には、例えば、遅延和アレー（ＢＦ）による指向特性制御、あるいはＤＣＭＰアダプティブアレーによる指向特性制御等である。

遅延和アレー（ＢＦ）は、マイクロフォンアレー装置２１で受音した信号の位相差を相殺するように各受音信号に対して位相を制御することにより目的音の強調を行う手法である。この遅延和アレー（ＢＦ）の原理等については、前述した非特許文献１に詳述されているので、ここでは詳しい説明を省略する。

ＤＣＭＰアダプティブアレーは、目的音の到来方向が既知の場合に適用できるアレーシステムである。ＤＣＭＰアレーにおける指向特性の最適化は、拘束条件を用いて目的音の入力を一定のゲインに保ったままアレー出力電力を最小化することにより達成される。結果として目的音成分を抑圧することなく、他の信号成分を抑圧するヌルステアリングとして機能し、高性能な音源分離が可能になる。このＤＣＭＰアダプティブアレーの原理等については、前述した非特許文献２に詳述されているので、ここでは詳しい説明を省略する。

図２には、一例として、４つの第一次分離手段Ｆ₁〜Ｆ₄の指向特性制御手段Ｄ₁〜Ｄ₄により形成された、ある周波数帯域についての４つの異なる指向特性が示されている。但し、指向特性制御手段Ｄ_jの個数（形成する指向特性の個数）は、４つに限定されるものではなく、第二次分離手段２２による処理内容に応じて適宜定めればよい。図２において、実線は、音声Ａに向けた遅延和アレー（ＢＦ）による指向特性であり、点線は、音声Ｂに向けた遅延和アレー（ＢＦ）による指向特性であり、一点鎖線は、音声Ａに向けた（音声Ｂを消す）ＤＣＭＰアレーによる指向特性であり、二点鎖線は、音声Ｂに向けた（音声Ａを消す）ＤＣＭＰアレーによる指向特性である。図２の横軸は、マイクロフォンアレー装置２１の設置方向に対する相対的な方向（角度）であり、マイクロフォンアレー装置２１の正面方向が０度となっている。θ_A，θ_Bは、各音源Ｓ_A，Ｓ_Bから発せられた音声Ａ，Ｂの到来方向である。図２の縦軸は、振幅である。そして、このような４つの指向特性が周波数帯域毎に形成されることになる。

なお、本第１実施形態では、後述するように、帯域選択（ＢＳ）による音源分離を行うので、例えば、分離対象となる音源が２つの音源Ｓ_A，Ｓ_Bである場合には、Ａに向けた指向特性とＢに向けた指向特性との２つの指向特性、分離対象となる音源が３つの音源Ｓ_A，Ｓ_B，Ｓ_cである場合には、Ａに向けた指向特性とＢに向けた指向特性とＣに向けた指向特性との３つの指向特性（つまり、対になった一組の指向特性）を形成すれば足りるが、後述する第２、第３実施形態での説明でも流用できるように、図２には、対になった指向特性（Ａ，Ｂに向けた指向特性）が二組形成されている。

各周波数解析手段Ｗ_j（ｊ＝１〜Ｊ）は、各指向特性制御手段Ｄ_j（ｊ＝１〜Ｊ）により指向特性制御を行った信号について周波数解析を行うものである。周波数解析としては、具体的には、例えば、高速フーリエ変換（ＦＦＴ）や一般化調和解析（ＧＨＡ）等を採用することができる。

但し、周波数解析に高速フーリエ変換（ＦＦＴ）を用いると、窓関数の影響で本来あるべきラインスペクトルが観測されず、正確な周波数特性を算出することができなくなる。このため、帯域選択において選択誤りが生じ、音源分離性能が劣化する可能性がある。一方、周波数解析に一般化調和解析（ＧＨＡ）を用いると、一般化調和解析（ＧＨＡ）では窓関数を用いることなく解析を行うことができるため、窓関数の影響を受けずに正確な周波数特性を算出することが可能となる。さらに、高速フーリエ変換（ＦＦＴ）よりも細かい周波数成分まで解析することができるため、より精密な帯域選択による音源分離が可能となる。従って、以上のような観点からは、一般化調和解析（ＧＨＡ）を用いることが望ましい。

第二次分離手段２２は、複数の第一次分離手段Ｆ_j（ｊ＝１〜Ｊ）による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値を用いて、周波数帯域毎に第一次分離処理よりも分離精度を高めるための第二次分離処理を行って目的音を分離する処理を行うものである。本第１実施形態では、第二次分離手段２２は、帯域選択（ＢＳ）による音源分離を行うものとする。

帯域選択（ＢＳ）による音源分離は、次のような処理を行う。先ず、複数の第一次分離手段Ｆ_j（ｊ＝１〜Ｊ）による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値の大小の比較を周波数帯域毎に行う。次に、それぞれの周波数帯域において、最も大きい振幅値のみを選択し、この最も大きい振幅値を、第二次分離処理結果として、この振幅値に対応する（この振幅値を算出した）第一次分離手段Ｆ_j（Ｆ₁〜Ｆ_Jのうちのいずれか一つ）により行われる第一次分離処理が向けられている音に帰属させる。

なお、「最も大きい振幅値」とは、対になる一組の指向特性制御を行う各第一次分離手段Ｆ_jにより算出された各周波数特性における振幅値のうちで、最も大きい振幅値を意味し、例えば、分離対象となる音源が２つの音源Ｓ_A，Ｓ_Bである場合には、Ａに向けた指向特性制御を行う第一次分離手段Ｆ_jにより算出された周波数特性における振幅値と、Ｂに向けた指向特性制御を行う第一次分離手段Ｆ_jにより算出された周波数特性における振幅値とのうち、大きい方の振幅値という意味である。従って、対にならない指向特性制御（例えば、いずれもＡに向けた指向特性制御である場合）を行う各第一次分離手段Ｆ_jにより算出された各周波数特性における振幅値同士を比較することを意味するものではない。帯域選択（ＢＳ）による音源分離を行う場合には、そもそも、対にならない指向特性は形成しないと考えてもよい。

合成処理手段３０は、第二次分離手段２２により分離して得られた周波数領域の目的音声（推定音声）を時間領域の音声波形に変換する合成処理を行うものである。この合成処理は、各フレーム単位で周波数解析手段Ｗ_jにより行われた解析の逆変換を行った後、各フレームの逆変換後のデータを繋いで連続波形を形成する処理である。この際、各フレーム単位では、例えば、周波数解析手段Ｗ_jにより高速フーリエ変換（ＦＦＴ）が行われた場合には、高速フーリエ逆変換（ＩＦＦＴ：Inverse First Fourier Transform）を行い、周波数解析手段Ｗ_jにより一般化調和解析（ＧＨＡ）が行われた場合には、その逆変換を行う。

雑音付与手段３１は、合成処理手段３０による合成処理後の時間領域の目的音声（推定音声）に対し、雑音記憶手段３２に記憶された雑音を付与する処理を行うものである。なお、付与する雑音は、雑音付与手段３１による処理の都度に生成してもよい。また、雑音の付与は、本実施形態では、時間領域で行われているが、周波数領域で行ってもよい。

雑音記憶手段３２は、雑音付与手段３１で付与する雑音データを記憶するものである。雑音データは、本実施形態では、時間領域のデータとして用意されているが、周波数領域のデータとして用意してもよい。また、雑音としては、例えば、略フラットな周波数特性を有するもの等を採用することができる。

なお、合成処理手段３０や雑音付与手段３１による処理後の目的音声（推定音声）は、時間領域の音声波形データであり、実際に聞くことができるので、スピーカやイヤホンにより推定音声を確認できる構成としてもよい。

分離音声用周波数解析手段３３は、分離された目的音声（推定音声）について音声認識処理を行えるようにするため、時間領域の音声波形データを周波数領域のデータに変換する処理を行うものである。

音声認識処理手段３４は、第二次分離手段２２により分離して得られた目的音声（本実施形態の場合には、雑音付与手段３１により雑音を付与した音声）について分離音声用音響モデル記憶手段３５に記憶されたデータを用いて音声認識処理を行うものである。

分離音声用音響モデル記憶手段３５は、音声認識処理手段３４による処理で用いられる分離音声用音響モデルを記憶するものである。この分離音声用音響モデルとしては、適応処理を行って得られた分離音声用音響モデル、あるいは学習処理を行って得られた分離音声用音響モデルを用意しておくことができる。

適応処理を行って得られる分離音声用音響モデルとは、サンプル用音声データについて音声分離システム２０による分離処理を行って得られるスペクトル変形を生じた変形音声データと、標準音響モデルとを用いて、適応処理を行って得られるものである。図７には、適応処理を行って分離音声用音響モデルを作成する際のフローチャートが示されている。

図７において、先ず、発話内容既知の少量のサンプル用音声データ５０を実際の発声により収集する（ステップＳ１）。この際、サンプル用音声データ５０は、数人から、１人につき数文ずつ収集する。

次に、収集したサンプル用音声データ５０について音声分離システム２０による分離処理を行い、スペクトル変形を生じて歪んだ状態となった少量の変形音声データ５１を生成する（ステップＳ２）。

続いて、変形音声データ５１と標準音響モデル５２とを用いて適応処理を行い、分離音声用音響モデル５３を生成する（ステップＳ３）。この適応処理には、例えばＭＬＬＲ等の音声認識用の標準的な適応アルゴリズムを用いることができる。

そして、適応処理を行って得られた分離音声用音響モデル５３を、分離音声用音響モデル記憶手段３５（図１参照）に登録して記憶させておく（ステップＳ４）。

学習処理を行って得られる分離音声用音響モデルとは、サンプル用音声データについて音源分離システム２０による分離処理を行って得られるスペクトル変形を生じた変形音声データを用いて、学習処理を行って得られるものである。図８には、学習処理を行って分離音声用音響モデルを作成する際のフローチャートが示されている。

図８において、先ず、音源位置およびその音源で発声する文を仮定し、計算機により、どのような音がマイクロフォンアレー装置２１に入力されるかを計算するというシミュレーションを、乱数を用いて様々な組合せで行うことにより、大量のサンプル用音声データ６０を自動生成する（ステップＳ１１）。

次に、自動生成したサンプル用音声データ６０について音声分離システム２０による分離処理を行い、スペクトル変形を生じて歪んだ状態となった大量の変形音声データ６１を生成する（ステップＳ１２）。

続いて、変形音声データ６１を用いて学習処理を行い、分離音声用音響モデル６２を生成する（ステップＳ１３）。

そして、学習処理を行って得られた分離音声用音響モデル６２を、分離音声用音響モデル記憶手段３５（図１参照）に登録して記憶させておく（ステップＳ１４）。

認識結果表示処理手段３６は、音声認識処理手段３４による認識処理結果を表示装置３７に表示する処理を行うものである。この認識結果の表示は、例えば、認識された単語を文字で表示することにより行われる。

表示装置３７は、音声認識結果を含む各種の情報を画面表示するものであり、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＥＣＬディスプレイ、プラズマディスプレイ、プロジェクタおよびスクリーン、あるいはこれらの組合せ等を採用することができる。

そして、以上に述べた音声認識システム１０の構成要素のうち、マイクロフォンアレー装置２１以外の構成要素は、例えば、一台または複数台のコンピュータ等により実現することができる。

より具体的には、音源分離システム２０の各第一次分離手段Ｆ_j（ｊ＝１〜Ｊ）および第二次分離手段２２と、合成処理手段３０と、雑音付与手段３１と、分離音声用周波数解析手段３３と、音声認識処理手段３４と、認識結果表示処理手段３６とは、これらを構成するコンピュータ本体（パーソナル・コンピュータのみならず、その上位機種のものも含む。）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現することができる。

なお、例えば、音源分離システム２０の各第一次分離手段Ｆ_j（ｊ＝１〜Ｊ）は、ソフトウェアによる処理ではなく、専用回路を設けてハードウェアによる処理で実現してもよい。

また、雑音記憶手段３２および分離音声用音響モデル記憶手段３５は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディスク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモリ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（ＦＤ）、磁気テープ、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、あるいはこれらの組合せ等を採用することができる。

このような第１実施形態においては、以下のようにして音声認識システム１０により音源分離および音声認識が行われる。

ここでは、説明を簡単にするため、分離対象となる音源は、２つの音源Ｓ_A，Ｓ_Bであるものとする。また、音源分離は、帯域選択（ＢＳ）により行うものとする。

先ず、図１に示すように、２つの音源Ｓ_A，Ｓ_Bから発せられた音声Ａ，Ｂは、それぞれマイクロフォンアレー装置２１の各マイクロフォンＭ_i（ｉ＝１〜Ｉ）に到達し、各マイクロフォンＭ_iにより入力される。

次に、各第一次分離手段Ｆ_jのそれぞれが、各マイクロフォンＭ_i（ｉ＝１〜Ｉ）の出力を受け取る。そして、各第一次分離手段Ｆ_jは、各指向特性制御手段Ｄ_jにより、音声Ａに向けた指向特性制御と、音声Ｂに向けた指向特性制御とを行う。ここでは、図２に示すように、指向特性制御手段Ｄ₁により音声Ａに向けた遅延和アレー（ＢＦ）による指向特性制御を行い、指向特性制御手段Ｄ₂により音声Ｂに向けた遅延和アレー（ＢＦ）による指向特性制御を行うものとする。

なお、図２に示すように、音声Ａに向けた（音声Ｂを消す）ＤＣＭＰアレーによる指向特性制御と、音声Ｂに向けた（音声Ａを消す）ＤＣＭＰアレーによる指向特性制御とを行い、帯域選択による音源分離を行ってもよい。

続いて、指向特性制御手段Ｄ₁により音声Ａを強調した音声データについて、周波数解析手段Ｗ₁により周波数解析を行い、指向特性制御手段Ｄ₂により音声Ｂを強調した音声データについて、周波数解析手段Ｗ₂により周波数解析を行う。なお、実際の演算処理では、指向特性制御と周波数解析とは同時に処理してもよい。

その後、第二次分離手段２２により、各第一次分離手段Ｆ₁，Ｆ₂による第一次分離処理（指向特性制御および周波数解析）で得られた各周波数特性のうち同一の周波数帯域の各振幅値（パワー）を用いて、帯域選択（ＢＳ）による第二次分離処理を行う。

図３に示すように、第一次分離手段Ｆ₁による音声Ａに向けた第一次分離処理結果として得られた周波数特性において、周波数帯域ｆ₁の振幅値（パワー）をα₁とし、周波数帯域ｆ₂の振幅値（パワー）をα₂とする。また、第一次分離手段Ｆ₂による音声Ｂに向けた第一次分離処理結果として得られた周波数特性において、周波数帯域ｆ₁の振幅値（パワー）をβ₁とし、周波数帯域ｆ₂の振幅値（パワー）をβ₂とする。

このとき、周波数帯域ｆ₁については、振幅値α₁と振幅値β₁との大小を比較し、振幅値α₁の方が振幅値β₁よりも大きい場合には、大きい方の振幅値α₁を選択し、この振幅値α₁を第二次分離処理結果として音声Ａ（この振幅値α₁を算出した第一次分離手段Ｆ₁により行われる第一次分離処理が向けられている音声）に帰属させる。なお、小さい方の振幅値β₁は、目的音の分離処理に用いられることなく捨てられる。従って、周波数帯域ｆ₁については、振幅値α₁の音声Ａへの帰属度が１であり、振幅値β₁の音声Ｂへの帰属度が０である。

同様に、周波数帯域ｆ₂については、振幅値α₂と振幅値β₂との大小を比較し、振幅値β₂の方が振幅値α₂よりも大きい場合には、大きい方の振幅値β₂を選択し、この振幅値β₂を第二次分離処理結果として音声Ｂ（この振幅値β₂を算出した第一次分離手段Ｆ₂により行われる第一次分離処理が向けられている音声）に帰属させる。なお、小さい方の振幅値α₂は、目的音の分離処理に用いられることなく捨てられる。従って、周波数帯域ｆ₂については、振幅値α₂の音声Ａへの帰属度が０であり、振幅値β₂の音声Ｂへの帰属度が１である。他の周波数帯域についても同様である。

そして、このように帯域選択を行って定めた帰属度に基づき、目的音声Ａ，Ｂを推定する。すなわち、目的音声Ａを推定するときには、音声Ａへの帰属度が１になった周波数帯域の振幅値（α₁等）のみを集め、一方、目的音声Ｂを推定するときには、音声Ｂへの帰属度が１になった周波数帯域の振幅値（β₂等）のみを集め、それぞれ推定音声を作成する。

それから、合成処理手段３０により、分離された目的音声（推定音声）を合成して時間領域の音声波形データとし、雑音付与手段３１により、雑音記憶手段３２に記憶された雑音を付与し、さらに、分離音声用周波数解析手段３３により、周波数解析を行って時間領域の音声波形データを周波数領域のデータに変換する。

続いて、音声認識処理手段３４により、目的音声（推定音声）の周波数領域のデータについて、分離音声用音響モデル記憶手段３５に記憶された分離音声用音響モデルを用いて音声認識処理を行う。

そして、認識結果表示処理手段３６により、音声認識処理手段３４による認識結果を、表示装置３７の画面上に適宜表示する。以上で、一連の音源分離および音声認識の処理を終了する。

このような第１実施形態によれば、次のような効果がある。すなわち、第一次分離手段Ｆ_jにより、マイクロフォンアレーを用いて音源の位置情報を利用して指向特性制御を行うので、どのような音源配置であっても、各音源からの音声が適切に強調された各周波数特性を算出することができる。

従って、第二次分離手段２２による帯域選択を効果的かつ的確に行うことができる。つまり、各周波数特性における同一の周波数帯域の振幅値同士の大小比較を適切に行うことができる。このため、前述した特許文献１に記載された技術（ＳＡＦＩＡ）のように固定マイクロフォンで得られる各周波数特性を用いて帯域選択を行う場合に比べ、帯域選択の性能を向上させることができ、精度よく目的音を分離することができる。

また、音声認識処理手段３４により、適応処理または学習処理を行って得られた分離音声用音響モデルを用いて音声認識処理を行うので、音源分離システム２０による音源分離処理で生じたスペクトル変形を、分離音声用音響モデルで吸収することができる。このため、音声認識性能の向上を図ることができる。詳述すると、音声認識システムは、スペクトル変形を含んだ音声に対し、標準的な音響モデルを学習した音声のスペクトル特性との間のミスマッチにより認識性能が劣化する。遅延和アレー（ＢＦ）やＤＣＭＰアレーで第一次分離処理を行い、第二次分離処理で帯域選択（ＢＳ）を行った音声は、人間の聴覚上は違和感なく聞こえるが、周波数領域での分離処理によりスペクトル変形が生じてしまい、音声認識を行った場合に充分な認識性能が得られない。そこで、音声認識処理手段３４により、適応処理または学習処理を行って得られた分離音声用音響モデルを用いて音声認識処理を行うことにより、この問題を解消することができる。

さらに、雑音付与手段３１により、音声認識処理を行う前に、分離された目的音声（推定音声）に対して雑音を付与するので、音源分離システム２０による音源分離処理を行って得られた目的音声の波形を、実際の滑らかな波形に近づけることができる。このため、音声認識性能の向上を図ることができる。

［第２実施形態］
図４は、本発明の第２実施形態で行われる第二次分離処理、すなわち寄与割合を用いて最小二乗法により音源分離を行う処理の説明図である。

本第２実施形態では、第二次分離手段の処理内容が、帯域選択による音源分離ではなく、寄与割合を用いた最小二乗法による音源分離である点を除き、前記第１実施形態のシステム構成や処理内容と同様であるため、第二次分離手段以外の構成要素については、同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明するものとする。なお、第二次分離手段については、前記第１実施形態と処理内容が異なるが、説明の便宜上、前記第１実施形態と同じ符号を用いて第二次分離手段２２（図１参照）として説明を行うものとする。

本第２実施形態では、図２に示した４つの第一次分離手段Ｆ₁〜Ｆ₄の指向特性制御手段Ｄ₁〜Ｄ₄により形成された４つの異なる指向特性を用いて第二次分離手段２２による処理を行うものとする。

図４に示すように、第一次分離手段Ｆ₁による音声Ａに向けた第一次分離処理（遅延和アレー（ＢＦ）による指向特性制御）の結果として得られた周波数特性において、周波数帯域ｆ₁の振幅値（パワー）をα₁（ｆ₁）とする。また、この第一次分離手段Ｆ₁による第一次分離処理で用いた周波数帯域ｆ₁の指向特性において、音源Ｓ_Aからの音声Ａの到来方向の角度θ_Aの振幅値（ゲイン）をｇ₁（θ_A；ｆ₁）とし、音源Ｓ_Bからの音声Ｂの到来方向の角度θ_Bの振幅値（ゲイン）をｇ₁（θ_B；ｆ₁）とする。

同様に、第一次分離手段Ｆ₂による音声Ｂに向けた第一次分離処理（遅延和アレー（ＢＦ）による指向特性制御）の結果として得られた周波数特性において、周波数帯域ｆ₁の振幅値（パワー）をα₂（ｆ₁）とする。また、この第一次分離手段Ｆ₂による第一次分離処理で用いた周波数帯域ｆ₁の指向特性において、音源Ｓ_Aからの音声Ａの到来方向の角度θ_Aの振幅値（ゲイン）をｇ₂（θ_A；ｆ₁）とし、音源Ｓ_Bからの音声Ｂの到来方向の角度θ_Bの振幅値（ゲイン）をｇ₂（θ_B；ｆ₁）とする。

同様に、第一次分離手段Ｆ₃による音声Ａに向けた第一次分離処理（ＤＣＭＰアレーによる指向特性制御）の結果として得られた周波数特性において、周波数帯域ｆ₁の振幅値（パワー）をα₃（ｆ₁）とする。また、この第一次分離手段Ｆ₃による第一次分離処理で用いた周波数帯域ｆ₁の指向特性において、音源Ｓ_Aからの音声Ａの到来方向の角度θ_Aの振幅値（ゲイン）をｇ₃（θ_A；ｆ₁）とし、音源Ｓ_Bからの音声Ｂの到来方向の角度θ_Bの振幅値（ゲイン）をｇ₃（θ_B；ｆ₁）とする。

同様に、第一次分離手段Ｆ₄による音声Ｂに向けた第一次分離処理（ＤＣＭＰアレーによる指向特性制御）の結果として得られた周波数特性において、周波数帯域ｆ₁の振幅値（パワー）をα₄（ｆ₁）とする。また、この第一次分離手段Ｆ₄による第一次分離処理で用いた周波数帯域ｆ₁の指向特性において、音源Ｓ_Aからの音声Ａの到来方向の角度θ_Aの振幅値（ゲイン）をｇ₄（θ_A；ｆ₁）とし、音源Ｓ_Bからの音声Ｂの到来方向の角度θ_Bの振幅値（ゲイン）をｇ₄（θ_B；ｆ₁）とする。

このとき、音声Ａの周波数帯域ｆ₁の振幅値（パワー）の推定値をｘ_A（ｆ₁）とし、音声Ｂの周波数帯域ｆ₁の振幅値（パワー）の推定値をｘ_B（ｆ₁）とすると、次の式（１）〜式（４）が成立する。

α₁（ｆ₁）＝ｇ₁（θ_A；ｆ₁）＊ｘ_A（ｆ₁）＋ｇ₁（θ_B；ｆ₁）＊ｘ_B（ｆ₁）＋ε₁
・・・・・・・（１）

α₂（ｆ₁）＝ｇ₂（θ_A；ｆ₁）＊ｘ_A（ｆ₁）＋ｇ₂（θ_B；ｆ₁）＊ｘ_B（ｆ₁）＋ε₂
・・・・・・・（２）

α₃（ｆ₁）＝ｇ₃（θ_A；ｆ₁）＊ｘ_A（ｆ₁）＋ｇ₃（θ_B；ｆ₁）＊ｘ_B（ｆ₁）＋ε₃
・・・・・・・（３）

α₄（ｆ₁）＝ｇ₄（θ_A；ｆ₁）＊ｘ_A（ｆ₁）＋ｇ₄（θ_B；ｆ₁）＊ｘ_B（ｆ₁）＋ε₄
・・・・・・・（４）

ここで、ε₁，ε₂，ε₃，ε₄は、誤差であり、例えば、気温の変化による音速の相違、仮定した音源位置の誤差等に起因し、指向特性そのものが正確ではないことにより生じる誤差である。

また、縦ベクトルα、４行２列の行列Ｇ、縦ベクトルＸ、縦ベクトルεを、次のように置くと、前記式（１）〜式（４）は、次の式（５）のように表すことができる。

α＝ＧＸ＋ε ・・・・・・・・・・・・・・・・・・・・・・・・・・（５）

この際、Ｘは、最小二乗法により、誤差の二乗和ε^Tε＝ε₁ ²＋ε₂ ²＋ε₃ ²＋ε₄ ²を最小化する解として、次の式（６）により与えられる。

Ｘ＝（Ｇ^TＧ）^-1Ｇ^Tα ・・・・・・・・・・・・・・・・・・・・・・（６）

これにより、周波数帯域ｆ₁における各音声Ａ，Ｂの振幅値（パワー）の推定値ｘ_A（ｆ₁），ｘ_B（ｆ₁）が求まる。

なお、誤差を考慮せずに、２つの式による連立方程式を解き、Ｘを求めてもよい。つまり、前記式（１）においてε₁＝０とし、前記式（２）においてε₂＝０とし、これらの２つの式により、Ｘを求めてもよい。この場合には、必要となる式の数、すなわち第一次分離手段Ｆ_jの個数は、分離対象となる音源の個数と同数でよい。

このような第２実施形態によれば、次のような効果がある。すなわち、前記第１実施形態で得られる効果と同様な効果を得ることができることに加え、第二次分離手段２２により、指向特性で定まる寄与割合に基づき音源分離を行うので、マイクロフォンアレーを用いて指向特性制御を行って得られた第一次分離処理結果に対し、さらに寄与割合を考慮して、この第一次分離処理結果に含まれる分離対象の音声成分と他の音声成分とを分けることができる。このため、より一層高精度な音源分離を実現できる。

［第３実施形態］
図５は、本発明の第３実施形態で行われる第二次分離処理で必要となるデータの取得方法の説明図である。図６は、第３実施形態で行われる第二次分離処理、すなわちフレーム長よりも長時間のデータに基づくノイズ推定およびノイズ除去を行う処理の説明図である。

本第３実施形態では、第二次分離手段の処理内容が、帯域選択による音源分離ではなく、フレーム長よりも長時間のデータに基づくノイズ推定およびノイズ除去を行う音源分離である点を除き、前記第１実施形態のシステム構成や処理内容と同様であるため、第二次分離手段以外の構成要素については、同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明するものとする。なお、第二次分離手段については、前記第１実施形態と処理内容が異なるが、説明の便宜上、前記第１実施形態と同じ符号を用いて第二次分離手段２２として説明を行うものとする。

図６において、本第３実施形態では、第二次分離手段２２は、ノイズ推定手段２２Ａと、ノイズ除去手段２２Ｂとを備えて構成されている。

ノイズ推定手段２２Ａは、前記第２実施形態の第二次分離処理と同様に、寄与割合を用いて最小二乗法により音源分離を行うことにより、ノイズを推定する。但し、このノイズ推定の際には、前記第２実施形態の場合とは異なり、フレーム長Ｌよりも長時間Ｋのデータに基づき、寄与割合を用いて最小二乗法によりノイズ推定のための音源分離（除去すべきノイズ成分を推定するための分離処理）を行う。図５において、マイクロフォンアレー装置２１で入力される混合音声波形に対し、通常の音源分離を行う際に、フレーム長Ｌ（例えば、３２ミリ秒）、シフト量Ｑ（例えば、８ミリ秒）でデータを採取していくものとすると、ノイズ推定のための音源分離を行う際には、フレーム長Ｌよりも長時間Ｋ（例えば、１００ミリ秒）のデータを用いる。なお、本第３実施形態では、ノイズ推定に用いるフレーム長Ｌよりも長時間Ｋのデータとして、シフトされていく連続する複数のフレーム（例えば９フレーム程度）のデータを採用し、これらのデータを平均化する処理を行う。

具体的には、ノイズ推定手段２２Ａは、第一次分離手段Ｆ₁〜Ｆ₄によるフレーム長Ｌよりも長時間Ｋのデータに基づく処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する各音声Ａ，Ｂの寄与割合とを用いて、各音声Ａ，Ｂのうち目的音以外の雑音についての振幅値を、周波数帯域毎に算出する処理を行うものである。従って、前記第２実施形態の式（１）〜式（４）に相当する式、つまり式（５）に相当する式を立て、最小二乗法により誤差を最小化する解として、式（６）に相当する式により、雑音についての振幅値が与えられる。この際、寄与割合は、前記第２実施形態の場合と同様に、第一次分離手段Ｆ₁〜Ｆ₄により形成された周波数帯域毎の指向特性で周波数帯域毎に定まる。なお、式（６）に相当する式により、雑音についての振幅値が与えられる際には、同時に目的音声の振幅値（但し、フレーム長Ｌよりも長時間Ｋのデータに基づく処理結果として得られる振幅値）も与えられるが、これは本第３実施形態の第二次分離処理には使用しない。しかし、この使用しない振幅値は、目的音声が変われば、雑音についての振幅値として使用されることになる。各音声Ａ，Ｂのうち、いずれが雑音かは、いずれを目的音声とするかにより定まるからである。

なお、ノイズ推定手段２２Ａによるノイズ推定は、前記第２実施形態の説明で述べたように、誤差を考慮せずに、２つの式による連立方程式を解くことによっても行うことができる。

ノイズ除去手段２２Ｂは、目的音声に向けられた第一次分離処理を行う第一次分離手段Ｆ_j（Ｆ₁〜Ｆ₄のいずれか）による１フレームのデータに基づく処理結果として得られた周波数特性の振幅値から、ノイズ推定手段２２Ａにより算出された雑音についての振幅値またはその比例値を減じる処理を周波数帯域毎に行うことにより、ノイズを除去するものである。なお、「雑音についての振幅値またはその比例値を減じる」という意味は、求めた雑音についての振幅値そのものを減じてもよく、あるいは、そのまま減じるのではなく、振幅値に比例係数を乗じた値を減じてもよいという意味である。

このような第３実施形態によれば、次のような効果がある。すなわち、前記第１実施形態で得られる効果と同様な効果を得ることができることに加え、ノイズ除去手段２２Ｂによりノイズ除去を行うので、マイクロフォンアレーを用いて指向特性制御を行って得られた第一次分離処理結果に対し、これに含まれるノイズ分を除去することができ、音源分離精度を、より一層高めることができる。

また、ノイズ除去手段２２Ｂによるノイズ除去を行う際には、ノイズ推定手段２２Ａにより、フレーム長Ｌよりも長時間Ｋのデータに基づき雑音についての振幅値を求めるので、目的音と雑音との相関値を小さくし、安定した状態で雑音についての振幅値を求めることができ、精度の良いノイズ除去を行うことができる。つまり、短時間のデータに基づく第一次分離処理結果のみでは、目的音と雑音との相関が大きいので、前記式（１）〜式（４）における誤差εが大きくなると考えられる。そこで、長時間のデータを観測し、平均化処理を行うことで相関値を小さくすることにより、誤差εを小さくして安定した状態で、除去すべきノイズ分を推定することが可能となる。

［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

すなわち、前記各実施形態では、音源分離システム２０により分離して得られた周波数領域の目的音声（推定音声）のデータを、合成処理手段３０により時間領域のデータに変換していたが、このような時間領域のデータへの変換を行わず、周波数領域の目的音声（推定音声）のデータのままで、音声認識処理手段３４による処理を行う構成としてもよい。

また、前記各実施形態では、音声認識処理手段３４による処理を行う前に、雑音付与手段３１により雑音を付与していたが、この雑音付与は省略してもよい。但し、音声認識精度の向上の観点から、雑音付与手段３１による処理を行うことが好ましい。

さらに、前記各実施形態では、音声認識処理手段３４による処理の際に、適応処理や学習処理を行って得られた分離音声用音響モデルを用いていたが、このような分離音声用音響モデルを用いずに、音声認識処理を行う構成としてもよい。但し、音声認識精度の向上の観点から、分離音声用音響モデルを用いて認識処理を行うことが好ましい。

なお、本発明の効果を確かめるため、次のような比較実験を行った。

＜実験条件＞

（音源配置）
先ず、音声認識実験を行うために音声データの収録を行った。発話者の代わりに音源として２個のスピーカを用いて、それぞれ角度θ（θ＝４５度、７０度）だけ間隔を空けて配置した。この際、音源Ｓ_A（認識対象音源）をマイクロフォンアレー装置２１の正面（θ＝０度）に固定し、音源Ｓ_B（雑音音源）をθ＝４５度、７０度の位置に移動させるとともに、２個のスピーカをマイクロフォンアレー装置２１の中心位置から放射方向に１００ｃｍ、１５０ｃｍだけ離れた位置に配置し、合計４通りの条件で音声データの収録を行った。

（音声データ）
音声データには、日本音響学会の新聞記事読み上げ音声コーパス（ＡＳＪ−ＪＮＡＳ）の男性話者（学習対象話者以外の男性話者）から２０人計１００文を選択した。

（音量およびフレーム数）
収録では、２個のスピーカから異なる文章を同時に再生し、マイクロフォンアレー装置２１で受音した。この際、音声の音量、フレーム数ともに、目的音：妨害音＝略１：１になるように調整し（ＳＮ比＝０ｄＢ）、２話者の同時発話音声を作り出した。

（マイクロフォンアレー装置２１の仕様）
（１）アレー形状：等間隔直線状
（２）素子配置：素子数８、素子間隔３ｃｍ
（３）素子：無指向性コンデンサマイク
（４）標本／量子化：３２ｋＨｚ、１６ビット

（フレーム長）
１０２４サンプル（３２ｍｓ）、ハニング窓

（位置ベクトル）
６５５３６点ＴＳＰにて測定、インパルス長１０２４サンプル

＜参考例、従来の処理法を適用した比較例、本発明の処理法を適用した実施例＞

（参考例１）単一話者の音声を接話型マイクで受音した場合
（参考例２）単一話者の音声を遠隔マイクで受音した場合
（参考例３）複数話者の音声を遠隔マイクで受音した場合

（比較例１）複数話者の音声をＤＣＭＰアダプティブアレーで処理した場合
（比較例２）複数話者の音声を遅延和アレー（ＢＦ）で処理した場合

（実施例１）複数話者の音声について、指向特性の異なる２つのＤＣＭＰアダプティブアレーによる各第一次分離処理を行い、さらに帯域選択（ＢＳ）による第二次分離処理を行った場合

（実施例２）複数話者の音声について、指向特性の異なる２つのＤＣＭＰアダプティブアレーによる各第一次分離処理を行い、さらに帯域選択（ＢＳ）による第二次分離処理を行った後、ＭＬＬＲによる適応処理を行って得られた分離音声用音響モデル５３（図７参照）を用いて音声認識を行った場合

（実施例３）複数話者の音声について、指向特性の異なる２つのＤＣＭＰアダプティブアレーによる各第一次分離処理を行い、さらに帯域選択（ＢＳ）による第二次分離処理を行った後、学習処理（ＭＴＳＳ：Model Training using Segregated Speech）を行って得られた分離音声用音響モデル６２（図８参照）を用いて音声認識を行った場合

（実施例４）複数話者の音声について、指向特性の異なる２つの遅延和アレー（ＢＦ）による各第一次分離処理を行い、さらに帯域選択（ＢＳ）による第二次分離処理を行った場合

（実施例５）複数話者の音声について、指向特性の異なる２つの遅延和アレー（ＢＦ）による各第一次分離処理を行い、さらに帯域選択（ＢＳ）による第二次分離処理を行った後、ＭＬＬＲによる適応処理を行って得られた分離音声用音響モデル５３（図７参照）を用いて音声認識を行った場合

（実施例６）複数話者の音声について、指向特性の異なる２つの遅延和アレー（ＢＦ）による各第一次分離処理を行い、さらに帯域選択（ＢＳ）による第二次分離処理を行った後、学習処理（ＭＴＳＳ）を行って得られた分離音声用音響モデル６２（図８参照）を用いて音声認識を行った場合

（実施例７）複数話者の音声について、指向特性の異なる２つの遅延和アレー（ＢＦ）による指向特性制御および一般化調和解析（ＧＨＡ）による周波数解析で各第一次分離処理を行い、さらに帯域選択（ＢＳ）による第二次分離処理を行った場合

（実施例８）複数話者の音声について、指向特性の異なる２つのＤＣＭＰアダプティブアレーによる各第一次分離処理を行い、さらにノイズ推定手段２２Ａおよびノイズ除去手段２２Ｂ（図６参照）による第二次分離処理を行った場合

（実施例９）複数話者の音声について、指向特性の異なる２つのＤＣＭＰアダプティブアレーによる各第一次分離処理を行い、さらにノイズ推定手段２２Ａおよびノイズ除去手段２２Ｂ（図６参照）による第二次分離処理を行った後、ＭＬＬＲによる適応処理を行って得られた分離音声用音響モデル５３（図７参照）を用いて音声認識を行った場合

以上において、ＭＬＬＲの適応データには、前述した＜実験条件＞の（音声データ）において記載した認識対象の２０名以外の男性話者による音素バランス文を選択した。評価データの収録と同じ収録条件のもとで、２個のスピーカから同時に異なる音素バランス文を再生し、マイクロフォンアレー装置２１で受音し、各手法で分離を行うことにより適応データを作成した。

また、音響モデルの学習（ＭＴＳＳ）を行うにあたっては、ＡＳＪ−ＪＮＡＳの男性話者１３０人程度の音声を使用した。先ず、予め収録しておいたインパルス応答をドライソースに畳み込むことで空間に複数の音源がある状態を作り出した。次に、各音源に対して遅延和アレー（ＢＦ）、ＤＣＭＰアレーを施すことで音源の選択的な強調または抑圧を行い、各音源からの音声が適切に強調された周波数特性を算出し、帯域選択（ＢＳ）により分離することで各手法毎に学習データを作成し、音響モデルの学習を行った。また、ここでは、話者や音源位置に左右されずに各分離手法の特性（スペクトル変形）のみを学習するために、話者や音源位置はランダムに選択して学習データを作成した。

さらに、その他の手法の認識には、ＡＳＪ−ＪＮＡＳの男性話者１００人程度のクリーン音声から学習を行った音響モデルを用いた。なお、音響モデルは共に、triphone2000状態、混合数１６とし、言語モデルは、ＣＳＲＣ提供の語彙数２万語のtrigramを使用し、認識器には、本願出願人が開発したデコーダを用いた。また、以下に、本実験で用いた音声特徴量とその分析条件を示す。

（特徴量算出パラメータ）
（１）プリエンファシス：０．９７
（２）フレーム長：２５ｍｓ
（３）フレーム周期：１０ｍｓ
（４）周波数分析：等メル間隔フィルタバンク
（５）特徴量（２５次元）：ＭＦＣＣ＋ΔＭＦＣＣ＋Δｐｏｗｅｒ

＜実験結果＞

表１には、音声認識実験結果が示されている。表１によれば、接話型マイク（参考例１）における認識率は、９４％以上であった。しかし、遠隔マイクで受音した場合（参考例２）には、残響や環境音の影響のため、認識率は８０％台に低下してしまう。さらに、２話者の同時発話音声となると、何も処理を施さない場合（参考例３）には、認識率は０％に近い値となってしまい、音声認識は機能していないことがわかる。

先ず、ＤＣＭＰアダプティブアレーをベースとした処理の結果に注目すると、ＤＣＭＰアダプティブアレーのみでの処理（比較例１）では、認識率は４１％程度と充分な性能が得られていない。これに対し、帯域選択を加えたＤＣＭＰ＋ＢＳの処理（実施例１）の結果を見ると、認識率に改善が見られ、ＤＣＭＰアダプティブアレーのみでの処理（比較例１）に比べ、約４７％のエラー削減率が得られた。この結果から、各音声を適切に強調した周波数特性による帯域選択が音源分離に非常に有効であることがわかり、これにより本発明の効果が顕著に示された。

さらに、分離処理によって生じるスペクトル変形に対し、ＭＬＬＲによる音響モデルの適応を行う手法（実施例２）、音響モデルの学習（ＭＴＳＳ）を行う手法（実施例３）では、ＤＣＭＰ＋ＢＳの処理（実施例１）に比べ、ＭＬＬＲ適応（実施例２）では約１７％、ＭＴＳＳ（実施例３）では約３２％のエラー削減率が得られ、分離音声を用いて音響モデルを学習することが認識率の向上に有効であることが確認でき、本発明の効果が示されている。

そして、遅延和アレー（ＢＦ）をベースとした処理の結果（比較例２、実施例４〜６）に注目しても、上述したＤＣＭＰアダプティブアレーをベースとした処理の結果（比較例１、実施例１〜３）と同様なことが言えるため、本発明の効果を確認することができる。

次に、アレー信号処理としてＤＣＭＰアレーを用いた手法（比較例１、実施例１〜３）の結果と、遅延和アレー（ＢＦ）を用いた手法（比較例２、実施例４〜６）の結果との差違に注目する。アレー信号処理のみの手法（比較例１、比較例２）同士を比較すると、ＤＣＭＰアレーの方が分離性能が良く、認識率も高くなっていることがわかる。この結果から、特定の方向から強い音声が到来するような場合には、遅延和アレー（ＢＦ）のように一方の音源を強調する手法より、ＤＣＭＰアレーのように妨害音声に対してヌルを向ける手法の方が有効なことが確認できる。

また、ＤＣＭＰアレー、遅延和アレー（ＢＦ）を施し、各音声が適切に強調された周波数特性を算出し、帯域選択（ＢＳ）を用いる手法（実施例１、実施例４）同士を比較すると、遅延和アレー（ＢＦ）を施した手法は、帯域選択（ＢＳ）と併用することで著しく性能が改善され、両者は略同じ認識性能となった。

さらに、ＭＬＬＲ適応を行った手法（実施例２、実施例５）同士、音響モデルの学習（ＭＴＳＳ）を行った手法（実施例３、実施例６）同士を比較しても、略同じ認識性能であり、帯域選択（ＢＳ）の前処理として、ＤＣＭＰアレーを用いることと、遅延和アレー（ＢＦ）を用いることの差は無いことがわかる。これは換言すれば、ＤＣＭＰアレー、遅延和アレー（ＢＦ）ともに、各音源の特性を反映した周波数特性を形成できているということになる。

続いて、周波数解析にＦＦＴを用いた手法（実施例４）の結果と、ＧＨＡを用いた手法（実施例７）の結果とに注目すると、若干ではあるがＧＨＡを用いることにより音源分離性能が向上することが確認でき、本発明の効果が示されている。

最後に、ノイズ推定手段２２Ａおよびノイズ除去手段２２Ｂ（図６参照）による処理を行う手法（実施例８）に注目する。帯域選択（ＢＳ）を行う手法（実施例１）と比較すると、ノイズ推定およびノイズ除去を行う手法（実施例８）の方が、認識率が高く、音源分離性能が優れていることがわかる。また、ＭＬＬＲ適応を行った場合（実施例９）には、さらに認識率を高めることができることがわかる。

以上のように、本発明の音源分離方法およびそのシステム、並びに音声認識方法およびそのシステムは、例えば、遠隔発話を行う複数の話者による混合音声から任意の話者の音声を分離する場合、あるいは遠隔発話を行う話者の音声とその他の音との混合音から話者の音声を分離する場合等に利用でき、より具体的には、例えば、ロボットとの対話、カーナビゲーションシステム等の車載機器についての音声による操作、会議の議事録作成等に用いるのに適している。

本発明の第１実施形態の音声認識システムの全体構成図。 第１実施形態の音声認識システムの各第一次分離手段により形成される指向特性の例示図。 第１実施形態の音声認識システムの第二次分離手段により行われる帯域選択の説明図。 本発明の第２実施形態で行われる第二次分離処理、すなわち寄与割合を用いて最小二乗法により音源分離を行う処理の説明図。 本発明の第３実施形態で行われる第二次分離処理で必要となるデータの取得方法の説明図。 第３実施形態で行われる第二次分離処理、すなわちフレーム長よりも長時間のデータに基づくノイズ推定およびノイズ除去を行う処理の説明図。 適応処理を行って分離音声用音響モデルを作成する際のフローチャートの図。 学習処理を行って分離音声用音響モデルを作成する際のフローチャートの図。

符号の説明

１０ 音声認識システム
２０ 音源分離システム
２１ マイクロフォンアレー装置
２２ 第二次分離手段
２２Ａ ノイズ推定手段
２２Ｂ ノイズ除去手段
３１ 雑音付与手段
３４ 音声認識処理手段
３５ 分離音声用音響モデル記憶手段
５０，６０ サンプル用音声データ
５１，６１ 変形音声データ
５２ 標準音響モデル
５３，６２ 分離音声用音響モデル
Ｓ_A，Ｓ_B 音源
Ａ，Ｂ 音声
Ｍ_i（Ｍ₁〜Ｍ_I） マイクロフォン
Ｆ_j（Ｆ₁〜Ｆ_J） 第一次分離手段
Ｄ_j（Ｄ₁〜Ｄ_J） 第一次分離手段を構成する指向特性制御手段
Ｗ_j（Ｗ₁〜Ｗ_J） 第一次分離手段を構成する周波数解析手段

Claims (16)

1. 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離方法であって、
   マイクロフォンアレー装置を構成する複数のマイクロフォンにより前記混合音をそれぞれ入力し、
   前記各マイクロフォンの出力信号を用いて複数の異なる指向特性制御を行って前記各音を選択的に強調または抑圧するとともに周波数解析を行うことにより、前記各音に向けられた複数の第一次分離処理を行った後、
   これらの複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値を用いて周波数帯域毎に前記第一次分離処理よりも分離精度を高めるための第二次分離処理を行って前記目的音を分離する
   ことを特徴とする音源分離方法。
2. 請求項１に記載の音源分離方法において、
   前記第二次分離処理を行う際には、前記第一次分離処理結果として得られた前記各周波数特性のうち同一の周波数帯域についての各振幅値の大小の比較を周波数帯域毎に行い、それぞれの周波数帯域で最も大きい振幅値のみを選択し、この最も大きい振幅値を前記第二次分離処理結果としてこの振幅値に対応する前記第一次分離処理が向けられている前記音に帰属させる帯域選択を行う
   ことを特徴とする音源分離方法。
3. 請求項１に記載の音源分離方法において、
   前記第二次分離処理を行う際には、前記第一次分離処理結果として得られた前記各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する前記各音の寄与割合とを用いて、前記第二次分離処理結果としての前記各音の振幅値を周波数帯域毎に算出し、
   この際、前記寄与割合は、前記第一次分離処理で用いる周波数帯域毎の前記指向特性で周波数帯域毎に定めることを特徴とする音源分離方法。
4. 請求項１に記載の音源分離方法において、
   前記第二次分離処理を行う際には、
   フレーム長よりも長時間のデータに基づく前記第一次分離処理結果として得られた前記各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する前記各音の寄与割合とを用いて、前記各音のうち前記目的音以外の雑音についての振幅値を周波数帯域毎に算出するノイズ推定を行い、
   この際、前記寄与割合は、前記第一次分離処理で用いる周波数帯域毎の前記指向特性で周波数帯域毎に定め、
   その後、１フレームのデータに基づく前記目的音に向けられた前記第一次分離処理結果として得られた周波数特性の振幅値から、前記ノイズ推定により算出された前記雑音についての振幅値またはその比例値を減じる処理を周波数帯域毎に行うことにより、ノイズを除去する
   ことを特徴とする音源分離方法。
5. 請求項１〜４のいずれかに記載の音源分離方法において、
   前記第一次分離処理として行う周波数解析は、一般化調和解析であることを特徴とする音源分離方法。
6. 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、
   サンプル用音声データについて請求項１〜５のいずれかに記載の音源分離方法による分離処理を行ってスペクトル変形を生じた変形音声データを得た後、この変形音声データと標準音響モデルとを用いて適応処理を行うことにより分離音声用音響モデルを生成しておき、
   前記音源分離方法による分離処理を行った後、
   分離された前記目的音について、予め用意された前記分離音声用音響モデルを用いて音声認識処理を行う
   ことを特徴とする音声認識方法。
7. 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、
   サンプル用音声データについて請求項１〜５のいずれかに記載の音源分離方法による分離処理を行ってスペクトル変形を生じた変形音声データを得た後、この変形音声データを用いて学習処理を行うことにより分離音声用音響モデルを生成しておき、
   前記音源分離方法による分離処理を行った後、
   分離された前記目的音について、予め用意された前記分離音声用音響モデルを用いて音声認識処理を行う
   ことを特徴とする音声認識方法。
8. 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、
   請求項１〜５のいずれかに記載の音源分離方法による分離処理を行った後、
   前記音声認識処理を行う前に、分離された前記目的音に対して雑音を付与することを特徴とする音声認識方法。
9. 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離システムであって、
   前記混合音をそれぞれ入力する複数のマイクロフォンを並べて構成されたマイクロフォンアレー装置と、
   このマイクロフォンアレー装置の前記各マイクロフォンの出力信号を用いてそれぞれ異なる指向特性制御を行って前記各音を選択的に強調または抑圧するとともに周波数解析を行うことにより前記各音に向けられた第一次分離処理を行う複数の第一次分離手段と、
   これらの複数の第一次分離手段による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値を用いて周波数帯域毎に前記第一次分離処理よりも分離精度を高めるための第二次分離処理を行って前記目的音を分離する第二次分離手段と
   を備えたことを特徴とする音源分離システム。
10. 請求項９に記載の音源分離システムにおいて、
    前記第二次分離手段は、前記第一次分離手段による処理結果として得られた前記各周波数特性のうち同一の周波数帯域についての各振幅値の大小の比較を周波数帯域毎に行い、それぞれの周波数帯域で最も大きい振幅値のみを選択し、この最も大きい振幅値を前記第二次分離処理結果としてこの振幅値に対応する前記第一次分離手段により行われる前記第一次分離処理が向けられている前記音に帰属させる帯域選択を行う構成とされている
    ことを特徴とする音源分離システム。
11. 請求項９に記載の音源分離システムにおいて、
    前記第二次分離手段は、前記第一次分離手段による処理結果として得られた前記各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する前記各音の寄与割合とを用いて、前記第二次分離処理結果としての前記各音の振幅値を周波数帯域毎に算出する構成とされ、
    前記寄与割合は、前記第一次分離手段により形成された周波数帯域毎の前記指向特性で周波数帯域毎に定まることを特徴とする音源分離システム。
12. 請求項９に記載の音源分離システムにおいて、
    前記第二次分離手段は、
    前記第一次分離手段によるフレーム長よりも長時間のデータに基づく処理結果として得られた前記各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する前記各音の寄与割合とを用いて、前記各音のうち前記目的音以外の雑音についての振幅値を周波数帯域毎に算出するノイズ推定手段と、
    前記目的音に向けられた前記第一次分離処理を行う前記第一次分離手段による１フレームのデータに基づく処理結果として得られた周波数特性の振幅値から、前記ノイズ推定手段により算出された前記雑音についての振幅値またはその比例値を減じる処理を周波数帯域毎に行うことによりノイズを除去するノイズ除去手段とを備え、
    前記寄与割合は、前記第一次分離手段により形成された周波数帯域毎の前記指向特性で周波数帯域毎に定まることを特徴とする音源分離システム。
13. 請求項９〜１２のいずれかに記載の音源分離システムにおいて、
    前記第一次分離手段による周波数解析は、一般化調和解析であることを特徴とする音源分離システム。
14. 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、
    請求項９〜１３のいずれかに記載の音源分離システムと、
    サンプル用音声データについて前記音声分離システムによる分離処理を行って得られるスペクトル変形を生じた変形音声データと標準音響モデルとを用いて適応処理を行って得られた分離音声用音響モデルを記憶する分離音声用音響モデル記憶手段と、
    前記音源分離システムにより分離された前記目的音について前記分離音声用音響モデル記憶手段に記憶されたデータを用いて音声認識処理を行う音声認識処理手段と
    を備えたことを特徴とする音声認識システム。
15. 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、
    請求項９〜１３のいずれかに記載の音源分離システムと、
    サンプル用音声データについて前記音源分離システムによる分離処理を行って得られるスペクトル変形を生じた変形音声データを用いて学習処理を行って得られた分離音声用音響モデルを記憶する分離音声用音響モデル記憶手段と、
    前記音源分離システムにより分離された前記目的音について前記分離音声用音響モデル記憶手段に記憶されたデータを用いて音声認識処理を行う音声認識処理手段と
    を備えたことを特徴とする音声認識システム。
16. 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、
    請求項９〜１３のいずれかに記載の音源分離システムと、
    この音源分離システムにより分離された前記目的音に対して前記音声認識処理を行う前に雑音を付与する雑音付与手段と、
    この雑音付与手段により前記雑音を付与された前記目的音について前記音声認識処理を行う音声認識処理手段と
    を備えたことを特徴とする音声認識システム。

Images