JP2002023776A - ブラインドセパレーションにおける話者音声と非音声雑音の識別方法及び話者音声チャンネルの特定方法 - Google Patents

Abstract

(57)【要約】 【課題】 ２つのマイクロフォンから得られる雑音混じ
りの混合信号をブラインドセパレーション法に基づいて
音声と雑音を分離するとともに、確率分布の尖度評価に
基づいて音声信号のみを認識エンジンに直結したチャン
ネルに出力する方法を提供する。 【解決手段】 ブラインドセパレーション法により分離
された話者音声信号と非音声雑音信号について、確率分
布の尖度を比較し、尖度の大きい方を話者音声と特定
し、尖度の小さい方を非音声雑音と特定する、ブライン
ドセパレーションにおける話者音声と非音声雑音の識別
方法。また、ブラインドセパレーション法により分離さ
れた話者音声信号と非音声雑音信号について、確率分布
の尖度の大きい方を話者音声信号として音声チャンネル
に出力する、ブラインドセパレーションにおける話者音
声チャンネルの特定方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、雑音環境下で、話
者音声と非音声雑音とを識別する方法に関し、さらに、
音声認識エンジンに出力するための話者音声チャンネル
を特定する方法に関する。

【０００２】

【従来の技術】雑音環境下の孤立音声単語認識における
雑音除去音声認識エンジンは雑音のない静かな環境では
高い認識能力を発揮するが、様々な生活音が雑音として
入る現実的な騒音環境下では認識能力が格段に落ちる。
したがって、実環境下で音声認識エンジンの本来の認識
能力を引き出すには、雑音混じりの音声から予め雑音を
除去して、話者の音声のみを抽出した信号を音声認識エ
ンジンに受け渡す必要がある。

【０００３】エンジン音などのように平均や分散が時間
的にほぼ一定である定常雑音はスペクトルサブトラクシ
ョン法やウィナーフィルタリング法などの方法により除
去可能である。しかし、これらの方法では、雑音のみの
成分から成る雑音区間が必ず存在することが前提条件と
なっている。また、平均や分散が時間的に変動する非定
常雑音についてはウイドロー（Widrow）の適応フィルタ
により除去可能であり、この場合、雑音だけから成る雑
音区間は存在しなくても良い。しかし、音声認識エンジ
ン本来の認識能力を引き出すほどの実用的な雑音除去法
として確立するには至っていない。

【０００４】一方、 ・A. J. Bell and T. J. Sejnowyki; "An information-
maximization approachto blind separation and blind
deconvolution", Neural Computation, Vol. 7, No.
6, pp.1004-1034(1995) ・T. W. Lee; "Independent Component, Analysis: The
ory and Applications",Kluwer Academic Publishers
(1998) の２つの文献で、ｎ個の統計的に独立な信号がｍ（≧
ｎ）個のマイクに混合して入力される状況下で、マイク
での混合信号からニューラルネットワークを介して元々
の信号を復元するブラインドセパレーション法が提案さ
れており、ｎ個の信号は極めて精度良く分離されること
が報告されている。

【０００５】ブラインドセパレーションの原理について
説明する。図１はブラインドセパレーション法の概念図
であり、話者からの音声信号ｓ₁と雑音ｓ₂を２つのマイ
クでピックアップし、観測（混合）信号ｘ₁とｘ₂をブラ
ックボックス１０で元の話者からの音声信号と雑音に対
応する信号ｓ₁ ^*とｓ₂ ^*に分離するものである。これを信
号の混合と分離のプロセスで考えると、図２のように表
現できる。すなわち、信号ｓ₁とｓ₂は、マイクに到達す
るまでの間に混合されて、マイクではｘ₁とｘ₂と収音さ
れることになる（混合ブロック１１）。この過程は混合
過程と呼ばれ、一般に未知である。分離ブロック１２で
元の話者からの音声信号と雑音に対応する信号ｙ₁とｙ₂
に分離される。混合ブロック１１と分離ブロック１２の
中身は、さらに図３で表現できる。

【０００６】この場合、混合過程が既知であれば、混合
過程の逆システムを求めれば容易に元の信号に復元がで
きる。しかし、一般的には、混合過程は未知であるた
め、従来の線形理論の範疇では、この逆システムを求め
ることは不可能である。

【０００７】ここで、信号ｓ₁とｓ₂について検討する。 １．信号ｓ₁とｓ₂はもともと関係のない信号である。す
なわち、ｓ₁とｓ₂は統計的に独立していると考えられる
ので、同時確率密度関数ｐ(s₁,s₂)は、次式のように、
ｓ₁の密度関数ｐ(s₁)とｓ₂の密度関数ｐ(s₂)の積として
表される。 ｐ(s₁,s₂)＝ｐ(s₁)ｐ(s₂) ２．信号ｘ₁とｘ₂はそれぞれｓ₁とｓ₂が混合された信号
であるから、ｘ₁とｘ₂は統計的に独立でない。したがっ
て、確率密度関数の観点からは次のようになる。 ｐ(x₁,x₂)≠ｐ(x₁)ｐ(x₂) ３．出力ｙ₁とｙ₂が統計的に独立となるようにできれ
ば、すなわち、 ｐ(y₁,y₂)＝ｐ(y₁)ｐ(y₂) というように、ｙ₁とｙ₂の同時確率密度関数ｐ(y₁,y₂)
がｙ₁の確率密度関数ｐ(y ₁)とｙ₂の確率密度関数ｐ(y₂)
の積に分解できれば、混合信号ｘ₁とｘ₂から原信号ｓ₁
とｓ₂が分離できたことになる。

【０００８】上で述べた出力ｙ₁，ｙ₂の統計的独立性ｐ
(y₁,y₂)＝ｐ(y₁)ｐ(y₂)については、情報理論の観点か
ら、出力ｙ₁，ｙ₂の間の相互情報量

【数１】 をゼロにすることと等価となる。この相互情報量Ｉ(y₁,
y₂)は非負であるから、出力ｙ₁，ｙ₂を統計的に独立と
するためには、相互情報量Ｉ(y₁,y₂)を最小化すればよ
いことになる。一方、出力ｙ₁，ｙ₂の同時エントロピー
Ｈ(y₁,y₂)

【数２】 は、

【数３】 のように展開される。一般に同時エントロピーＨ(y₁,
y₂)は相互情報量Ｉ(y₁,y₂)が小さくなるほど大きくな
り、次の条件下で、相互情報量Ｉ(y₁,y₂)の最小化は同
時エントロピーＨ(y₁,y₂)の最大化と等価になる。

【０００９】１）原信号ｓ_i（ｉ＝１，２）の確率密度
関数ｐ(s_i)は尖度がゼロより大きいスーパーガウシアン
(Super-Gaussian)である。

【００１０】２）ニューロンへの総入力

【数４】 は単一の独立成分からなる。

【００１１】３）ニューロンの入出力関係を表す非線形
関数ｙ_j＝f(u_j) (j=1,2)の導関数ｆ'(u_j)は原信号の確
率密度関数ｐ(s_i)に等しい。ここに

【数５】 である。

【００１２】従って、荷重更新をΔＷ＝η∂H/∂Ｗ＝Ｗ
^-T−ｆ(ｕ)ｘ^Tのアルゴリズムに従って行えば、同
時エントロピーＨ(y₁,y₂)の最大化が実現できる。ここ
に、ｆ(ｕ)＝［ｆ(u₁)，ｆ(u₂)］^Tで、Ｔは転置を表
し、η（＞０）は学習係数、ＷとΔＷはそれぞれ次のよ
うに定義される荷重行列とその更新分を表す行列であ
る。

【数６】

【００１３】しかし、上述のアルゴリズムの場合、収束
が遅いので、これを改善するためAmariによって提案さ
れた自然勾配アルゴリズム

【数７】 により荷重を更新する。ここに、ｕ＝[u₁,u₂]^Tである。
さらに、ここでは、自然勾配アルゴリズムに慣性項を設
ける。したがって、以上をまとめると、ｔ＋１回目に更
新される荷重Ｗ(t+1)は以下のように計算されることに
なる。

【数８】 ここに、αは慣性係数で０以上１未満の定数である。

【００１４】

【発明が解決しようとする課題】従来のブラインドセパ
レーション法では、分離復元された信号がどのチャンネ
ルに出力されるか予め定まらないという問題（permutat
ion）がある。そのため、ブラインドセパレーション法
を雑音除去に適用した場合、話者音声と雑音は分離され
て、雑音の除去された話者音声は得られるものの、その
話者音声がどのチャンネルに出力されるか分からない。
それ故、ブラインドセパレーション法を雑音環境下での
音声認識における雑音除去法として活用するには、音声
と非音声（雑音）を区別し話者音声チャンネルを特定し
て、音声信号の方を音声認識部に伝送する必要がある。

【００１５】そこで本発明が解決しようとする課題は、
２つのマイクロフォンから得られる雑音混じりの混合信
号をブラインドセパレーション法に基づいて音声と雑音
を分離するとともに、確率分布の尖度評価に基づいて音
声信号のみを認識エンジンに直結したチャンネルに出力
する方法を提供することにある。

【００１６】

【課題を解決するための手段】前記課題を解決するた
め、本発明の話者音声と非音声雑音の識別方法は、ブラ
インドセパレーション法によって分離した話者音声信号
と非音声雑音信号の確率分布の尖度を比較し、尖度の大
きい方を話者音声とし、尖度の小さい方を非音声雑音す
ることを特徴とする。また、本発明の話者音声チャンネ
ルの特定方法は、ブラインドセパレーション法によって
分離した話者音声信号と非音声雑音信号の確率分布の尖
度を比較し、尖度の大きい方を話者音声信号として音声
チャンネルに出力することを特徴とする。

【００１７】話者音声と非音声雑音について、確率分布
をとってみると図４に示すように、分布形状が顕著に異
なり、図４（ａ）に示す音声の分布は、（ｂ）に示す非
音声雑音の分布に比べてより尖った形をしている。そこ
で、本発明においては、分布の尖り具合を尖度（Kurtos
is）で評価し、尖度の大きい方（ａ）を音声、小さい方
（ｂ）を非音声雑音とする。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。混合信号として直接観測されるｘ1とｘ2は
それぞれ原信号をある方向の軸に射影して得られる値と
考えられるが、これらの軸は一般に直交していない。そ
こで、混合信号ｘ₁とｘ₂に対して、自然勾配アルゴリズ
ムの収束能力と分離能力を向上させる観点から、スフィ
アリング（Sphering）処理を行って、これらの軸が直交
するようにする。このスフィアリング処理は次式で表現
される。

【００１９】

【数９】 のように変換する。ここに、

【数１０】 なる行列で、Ｓ＝［ｖ₁,ｖ₂］^Tは直交行列、λ_jとｖ
_j（ｊ＝１，２）はそれぞれｘ(t)＝［ｘ₁(t),ｘ₂(t)］^T
の共分散行列Ｖ＝＜ｘ(t)ｘ(t)^T＞の固有値と固有ベク
トルである。この場合、スフィアリングされた信号ｘ'
(t)＝［ｘ'₁(t),ｘ'₂(t)］^Tの共分散＜ｘ'(t)ｘ'(t)^T＞
は単位行列となって、ｘ'₁(t)とｘ'₂(t)の軸は直交し、
同時にｘ'₁(t)とｘ'₂(t)は無相関となる。以上のことか
ら、このようにスフィアリングされた信号ｘ'₁(t)とｘ'
₂(t)に対して、前述の自然勾配アルゴリズムを適用す
る。

【００２０】自然勾配アルゴリズムにより、同時エント
ロピーＨ(y₁,y₂)が最大になって、相互情報量Ｉ(y₁,y₂)
が最小となり、出力ｙ₁とｙ₂が統計的独立になった場
合、出力ｙ_jは総入力ｕ_jのみの非線形関数ｙ_j＝ｆ(u_j)
であることから、総入力ｕ₁とｕ₂も統計的に独立となる
ことが導かれる。また、原信号ｓ_jを復元する観点から
は、非線形関数により振幅が制限される出力ｙ_jに比べ
て、振幅の制限を受けない総入力ｕ_jの方が復元信号波
形として望ましい。したがって、総入力を音声認識エン
ジンに受け渡すことにする。

【００２１】総入力ｕ₁とｕ₂のどちらを音声認識エンジ
ンに受け渡すかは、ｕ₁の分布ｐ(u₁)とｕ₂の分布ｐ(u₂)
の尖度を以下のように計算して比較することにより決め
る。すなわち、、ｐ(u₁)，ｐ(u₂)の尖度を

【数１１】 のように定義して、尖度ｋ₄(u_j)が大きい方の総入力ｕ_j
を話者音声として音声認識エンジンに送る。ここに、

【数１２】 はそれぞれｕ_jに関する平均まわりの２次と４次のモー
メントで、

【数１３】 は平均、ｕ_j(n)はｕ_jのｎ時刻における値、Ｎはデータ
数である。この尖度の計算過程を図５のフローチャート
に示す。

【００２２】図６は本発明を実施するためのシステムの
構成を示すブロック図である。上述したように、音声分
離ブロック１２で分離された信号ｕ₁とｕ₂では、どちら
が話者音声信号か非音声雑音信号か特定できない。そこ
で、尖度比較ブロック１３で二つの信号ｕ₁とｕ₂の尖度
ｋ₄(u_j)（ｊ＝１，２）を比較する。 ・ｋ₄(u₁)＞ｋ₄(u₂)のとき、 ｕ１→ｃｈ１ ｕ２→ｃｈ２ とする。 ・ｋ₄(u₁)＞ｋ₄(u₂)のとき、 ｕ１→ｃｈ２ ｕ２→ｃｈ１ とする。

【００２３】これにより、ｃｈ１には、話者音声信号が
必ず出力されることになる。そして、本発明の方法につ
いて６名の話者による２２０駅名の発話音声（３秒間）
と３０種類の非音声雑音（３秒間）をもとに調べた結
果、発話音声分布の最小尖度は非音声雑音分布の最大尖
度を越えることが確認され、提案法の有効性が検証され
た。具体的には、話者音声の尖度の最小が１０．６１で
あるのに対し、雑音の尖度の最大は６．１２であった。
さらに、発話音声と非音声雑音の混合信号に対して、ブ
ラインドセパレーション法を適用して、分離信号に提案
法を適用した結果、すべての事例で発話音声と非音声雑
音を誤ることなく識別でき、２つの分離出力チャンネル
のうち話者音声チャンネルを正しく特定できることを確
認した。

【００２４】

【実施例】以下、本発明の実施例について説明する。図
７は本発明の実施例の構成を示すもので、本実施例の音
声単語認識システムは、音声入力部２０、雑音除去部３
０、音声認識部４０及び出力インターフェース部５０か
らなる。そして、各部での機能や動作原理等は以下のよ
うになっている。

【００２５】ａ）音声入力部２０は、２本のマイクフォ
ン２１，２２と次段へのインターフェース２３で構成さ
れる。２つのマイクロフォン１，２からは話者音声と雑
音の混合比の異なる２種類の混合信号が次段の雑音除去
部３０へ出力される。

【００２６】ｂ）雑音除去部３０はＦＮＣ（雑音除去フ
ロントエンドプロセッサ）３１とインターフェース部３
２から成る。先ず、ＦＮＣ３１では２種類の混合信号か
らブラインドセパレーション法により音声信号と雑音に
分離する。ブラインドセパレーション法は、元々、音声
と雑音は統計的に独立な信号であることを利用して導か
れたもので、分離能力は極めて高い。しかし、分離され
た信号がどのチャンネルにどの程度の大きさで出力され
るかは未解決である。そこで、２つの分離された信号の
確率分布について分布の尖り具合を示す尖度（Kurtosi
s）を計算し、尖度の大きい分離信号が出力されるチャ
ンネルを音声チャンネルと定める。そして、インターフ
ェース部３２では、この音声チャンネルからの信号レベ
ルが次段の音声認識部４０と整合するようレベル調整を
行う。

【００２７】ｃ）音声認識部４０は、市販の音声単語認
識エンジン４１から成り、ここで雑音が除去された音声
が認識されることになる。

【００２８】ｄ）出力インターフェース部５０では、認
識エンジン４１から通常ひら仮名で出力される認識結果
を各種アプリケーション向けのコードに変換するため、
キーボードエミュレーションを行う。

【００２９】

【発明の効果】上述したように、本発明によれば下記の
効果を奏する。 （１）従来の雑音除去法が当初から雑音を除去した信号
のみを出力することを目的とする直接的な手法であるの
に対して、本発明の方法は、先ず、ブラインドセパレー
ション法により独立な信号を分離出力した後、次段の音
声認識部に送るべき音声信号チャンネルを特定するとい
う２段構えの手法となっている。そして、ブラインドセ
パレーション法は単なる一過性の雑音だけでなく反響的
な雑音も分離できる可能性があり、優れた分離能力を発
揮する。 （２）したがって、本発明によれば、ブラインドセパレ
ーション後、分布の尖度の大きいチャンネルから出力さ
れる音声信号として、極めて雑音の少ないピュアな音声
を得ることができる。 （３）従来の雑音除去法は、話者の音声が発声されてい
ない区間（非発声区間）、すなわち、雑音だけしかない
区間（雑音区間）が存在することを前提としているが、
ブラインドセパレーション法に基づく本発明の場合、雑
音区間の前提は不要である。 （４）従来の雑音除去法では、雑音区間を検出して、検
出された区間の信号から雑音の特性を推定することが要
求されるが、ブラインドセパレーション法に基づく本発
明の場合、雑音区間の検出や雑音特性の推定に関する処
理が不要である。

【図面の簡単な説明】

【図１】 ブラインドセパレーション法の概念図であ
る。

【図２】 ブラインドセパレーション法を信号の混合と
分離のプロセスで考えた概念図である。

【図３】 ブラインドセパレーションの回路的表現の説
明図である。

【図４】 話者音声の尖度と雑音の尖度を示すグラフで
ある。

【図５】 本発明の方法である話者音声チャンネル選択
法のフローチャートである。

【図６】 本発明の方法を実施するシステムの構成を示
すブロック図である。

【図７】 本発明の実施例を示すブロック図である。

【符号の説明】

１１ 混合ブロック、１２ 分離ブロック、１３ 尖度
比較器、２０ 音声入力部、２１，２２ マイク、２３
インターフェース、３０ 雑音除去部、３１雑音除去
フロントエンドプロセッサ、３２ インターフェース、
４０ 音声認識部、４１ 認識エンジン、５０ 出力イ
ンターフェース部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ブラインドセパレーション法により分離
   された話者音声信号と非音声雑音信号について、確率分
   布の尖度を比較し、尖度の大きい方を話者音声と特定
   し、尖度の小さい方を非音声雑音と特定することを特徴
   とするブラインドセパレーションにおける話者音声と非
   音声雑音の識別方法。
2. 【請求項２】 ブラインドセパレーション法により分離
   された話者音声信号と非音声雑音信号について、確率分
   布の尖度の大きい方を話者音声信号として音声チャンネ
   ルに出力することを特徴とするブラインドセパレーショ
   ンにおける話者音声チャンネルの特定方法。