JP2000066698A

JP2000066698A - 音認識装置

Info

Publication number: JP2000066698A
Application number: JP10232567A
Authority: JP
Inventors: Hiroyuki Matsui; 弘行松井; Tomohiro Takano; 智大高野; Mariko Aoki; 真理子青木; Manabu Okamoto; 学岡本; Shigeaki Aoki; 茂明青木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-08-19
Filing date: 1998-08-19
Publication date: 2000-03-03
Anticipated expiration: 2018-08-19
Also published as: JP3530035B2

Abstract

(57)【要約】【課題】複数音源の混在環境下で、目的音源別に認識
する。【解決手段】入力される複数の音源情報Ｓを音源分離
部１で分離し、これら各音源情報から音源位置、音源属
性（話者別、生活環境別など）が音源判定部５で判定さ
れ、その判定結果に応じて蓄積切替選定部８を制御し各
音源情報別に信号蓄積部２に蓄積された各音源情報と、
認識辞書選定部６にてその音源位置・属性に応じて選定
される認識辞書蓄積部３の認識辞書とを認識処理部４で
照合し、その結果を認識制御部７から出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数の音源が混
在した環境下において、目的とする一つあるいは複数の
音源信号を分離・抽出し、音源の位置や属性に応じて、
目的音源別に認識する音認識装置に関するものである。

【０００２】

【従来の技術】一般に音声を認識する装置においては、
周囲騒音が外乱となり認識性能が劣化したり、周囲騒音
に対して認識装置が誤動作してしまい、認識率が大幅に
低下したり、認識できないという問題点がある。また、
複数の人が同時に発声する場合も認識装置が誤動作して
しまい、認識率の大幅な低下や認識できないという問題
点がある。２話者の混合音声に対し、同時認識する実験
検討が、奥野ほかで検討されている。（「音声ストリー
ム分離法の提案と複数音声の同時認識の予備実験」、情
処学会論文誌、Ｖｏｌ３８、Ｎｏ３、ｐ．ｐ．５１０〜
５２２）。これは、各音声の調波構造の特徴を利用して
抽出した各音声を分離信号に対して音声認識装置を接続
することで、２話者の同時音声認識について実験したも
のである。しかしながら、この構成は、認識処理部が各
音声別に必要なため、音声の数が増加すると装置規模が
大きくなるという課題があった。また、音声以外の音が
混在した場合は、認識できないという課題があった。

【０００３】一部のカーナビゲーションシステムに、音
声認識装置が組み込まれたものが使用されている。これ
らはドライバーの音声認識を行う際に同乗者の音声や車
内の騒音やカーオーディオの音楽等が外乱となり、認識
性能が著しく劣化するという問題点があった。また、運
転席の人の音声にも、助手席や後部座席の人の音声にも
同じように音声認識装置が動作してしまうため、これら
の座席毎に認識対象のコマンドを変えることはできない
という課題があった。そのため、運転席において安全上
の観点から認識コマンドを限定することと、助手席にお
いて利便性の観点から認識コマンドの適用範囲を増やす
こととを両立させることは不可能であった。

【０００４】そのため、現状の音声認識機能付カーナビ
ゲーションシステムにおいては、その適用範囲がドライ
バーに負担をかけない軽微な操作にとどまっている。こ
れは、運転に専念すべきドライバーに配慮した為である
が、結果として、同乗者の利便性に大きな制約を与える
という問題点があった。また、現在の音声認識は、対象
とする音源が単独で発せられ、対象以外の音はほとんど
ないような状況（例えば、騒音のほとんどない環境で、
単独発声された音声）において、認識性能が発揮するよ
うに構成されている。このため、複数の人の音声や種々
の生活環境音などが混在している実際の環境では、認識
性能が著しく劣化したり認識できないという問題点があ
った。すなわち、人間の聴覚において実現されているよ
うな複数の音源発生時（同時発生時も含む）の各音源の
位置毎の音源の認識や、話者毎の音声の認識や、音声と
環境音とを区別した上での音源の認識はできないという
課題があった。

【０００５】この発明の目的は、このように複数の音源
が混在した環境下において、目的とする一つあるいは複
数の音源信号を分離・抽出し、音源の位置や属性に応じ
て、目的音源別に認識する認識装置を提供することにあ
る。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
複数の音源から音源情報が音源分離手段で分離され、前
記音源分離手段から出力される音源情報が信号蓄積手段
で蓄積され、認識処理のための認識辞書を蓄積する認識
辞書蓄積手段を利用して、前記信号蓄積手段から出力さ
れる音源情報と前記認識辞書蓄積手段の認識辞書とを照
合し、認識結果が認識処理手段から出力される。つま
り、個々の分離・抽出された音源信号に応じて認識処理
が行われる。

【０００７】請求項２記載の発明は、上記第１項記載の
音認識装置において、前記音源分離手段から出力される
分離された各音源情報から音源の位置や音源の属性（例
えば、話者別、音声と生活環境音の別、生活環境音の種
類別、音源別）を音源判定手段で判定し、認識辞書選定
手段では前記認識辞書蓄積手段に蓄積された認識辞書か
ら必要な辞書を選定し、認識制御手段では前記音源判定
手段にて判定された音源の位置や音源の属性に応じて、
前記認識辞書選定手段を制御し、判定された音源に必要
な認識辞書を前記認識辞書蓄積手段からとりだし、前記
信号蓄積手段に蓄積された音源情報とを前記認識処理手
段にて照合し、認識結果を出力する制御が行われる。つ
まり、分離・抽出された音源に対して、それに応じた認
識辞書を用いた認識処理が、判定された各音源に必要な
認識辞書を選定することによって、一つの認識処理手段
によって行われる。

【０００８】請求項３記載の発明は、上記第２項記載の
音認識装置において、複数の音源情報が前記信号蓄積手
段で蓄積され、前記信号蓄積手段から該当する音源情報
の入出力が蓄積切替選定手段で選定され、認識制御手段
では前記音源判定手段にて判定された音源の位置や音源
の属性に応じて、前記蓄積切替選定手段を制御し、各音
源毎の音源情報を前記信号蓄積手段に蓄積するととも
に、前記信号蓄積手段に蓄積された音源の位置や音源の
属性に応じて、前記認識辞書選定手段を制御し、必要な
認識辞書を前記認識辞書蓄積手段からとりだし、前記蓄
積切替選定手段を制御し、前記信号蓄積手段に蓄積され
た該当する音源情報とを前記認識処理手段にて照合し、
認識結果を出力する制御が行われる。つまり、複数の音
源が同時発生した場合も、分離・抽出された各音源情報
は別々に信号蓄積手段に蓄積されているので、この音源
情報を個別に読み出して、それに応じた認識処理が、各
音源に必要な認識辞書を選定することによって、一つの
認識処理手段によって行われる。

【０００９】作用請求項１記載の発明においては、複数の音源から音源情
報を音源分離手段で分離され、分離された音源毎に音源
情報が信号蓄積手段で蓄積され、音源毎に認識処理され
る。認識処理手段が、音源毎に設けられているため、音
源毎に設けられた認識辞書を利用して、音源毎の認識処
理を並行して行うことが可能である。

【００１０】請求項２記載の発明においては、前記音源
分離手段から出力される分離された各音源情報から音源
の位置や音源の属性（例えば、話者別、音声と生活環境
音の別、生活環境音の種類別、音源別）を音源判定手段
で判定され、判定された音源の位置や音源の属性に応じ
て、前記認識辞書選定手段を制御し、判定された音源に
必要な認識辞書を前記認識辞書蓄積手段からとりだし、
認識処理される。認識辞書が判定された音源に対応して
設けられ、各音源の認識処理時に、各音源に必要な認識
辞書を選定する構成のため、一つの認識処理手段によっ
て、各音源毎の認識処理が可能であり、認識処理の装置
規模を低減できる。

【００１１】請求項３記載の発明においては、信号蓄積
手段から該当する音源情報の入出力の選定切替えを行う
蓄積切替選定手段があり、前記音源判定手段にて判定さ
れた音源の位置や音源の属性に応じて、前記蓄積切替選
定手段を制御し、各音源毎の音源情報を前記信号蓄積手
段に蓄積する。そして、前記蓄積切替選定手段を制御
し、前記信号蓄積手段に蓄積された音源情報毎に、前記
認識辞書選定手段により前記認識辞書蓄積手段からとり
だされた各音源に必要な認識辞書を用い、認識処理され
る。信号蓄積手段と認識辞書蓄積手段が判定された音源
に対応して設けられているため、複数の音源が同時発生
した場合も、各音源の認識処理が可能である。つまり、
複数の音源が同時発生した場合も、分離・抽出された各
音源情報は別々に信号蓄積手段に蓄積されているので、
この音源情報を個別に順次読み出して、それに応じた認
識処理が、各音源に必要な認識辞書を選定することによ
って、一つの認識処理手段によって行うことが可能であ
り、認識処理の装置規模を低減できる。

【００１２】

【発明の実施の形態】実施例１図１は請求項１の発明の実施例の機能構成を示し、図４
に請求項１の発明の実施例の処理手順を示す。種々の音
源信号が混在した信号Ｓが取り込まれ（取り込みチャネ
ルとしては、音源分離部の構成により、単独チャネルの
ほか、複数チャネルの利用もある）、それを電気信号と
して読み込む（Ｓ０２）。

【００１３】音源分離部１では、取り込んだ信号Ｓを各
音源信号Ｓ_a，…，Ｓ_nに分離する（Ｓ０３）。音源の
分離方法としては、例えば「チャネル間の情報に着目し
た２音源分離手法の検討」、日本音響学会講演論文集、
１−７−１３、ｐ．ｐ．４８９〜４９０（１９９６．
９）や「発声音声の音場分布差を利用した騒音抑圧処
理」、電子情報通信学会総合大会、Ｄ−１４−１６、
ｐ．ｐ．２２７（１９９８．３）に記載の手法で実現さ
れる。

【００１４】音源分離部１で分離された信号Ｓ_a，…，
Ｓ_nは各々信号蓄積部２（ａ〜ｎは信号Ｓａ〜Ｓｎに対
応）に蓄積される（Ｓ０４）。信号蓄積部２でそれぞれ
蓄積された信号Ｓ_a，…，Ｓ_nは、各々取り出され（Ｓ
０５）、認識処理部４では、認識辞書蓄積部３に格納さ
れている辞書情報（ａ〜ｎは信号Ｓａ〜Ｓｎに対応）を
用いて、信号Ｓ_a，…，Ｓ_nの各々について認識照合を
行う（Ｓ０６）。認識照合結果は、認識処理部４より出
力される（Ｓ０７）。

【００１５】請求項１記載の発明においては、複数の音
源が音源分離部１で分離され、分離された音源毎に音源
情報が信号蓄積部で蓄積され、音源毎に認識処理され
る。認識処理部が、音源毎に対応し設けられているた
め、音源毎に設けられた認識辞書を利用して、音源毎の
認識処理を並行して行うことが可能である。実施例２図２は請求項２の発明の実施例の機能構成を示し、図５
は請求項２の発明の実施例の処理手順を示す。図５にお
いて、始め（Ｓ０１）から（Ｓ０３）までの処理は図４
と同じである。以下で、図５中の（Ｓ０４）からの処理
について説明する。

【００１６】図２において、音源判定部５では、音源分
離部１で分離・抽出された信号Ｓ_a，…，Ｓ_nについ
て、各々の信号情報より音源の位置や属性（例えば、話
者別、音声と生活環境音の別、生活環境音の種類別、音
源別）を判定する（Ｓ０４）。音源の位置の判定は、例
えば、前記論文に示す手法により、分離された信号のレ
ベル等を比較することで、各音源の方向や音源の距離
（遠近など）を判定できる。また、属性の判定は、各音
源のスペクトル軸上や時間軸上の特徴の違いを利用して
判定できる。例えば信号Ｓ_a，…，Ｓ_nの認識装置の使
用環境に応じた音源のスペクトルパターンを予め準備
し、それとの照合によって判定する方法を適用すること
ができる。

【００１７】信号蓄積部２では、信号Ｓ_a，…，Ｓ_nの
なかで認識対象信号Ｓ_iを蓄積する（Ｓ０５）。信号蓄
積部２から蓄積された信号Ｓ_iは取り出され（Ｓ０
６）、認識処理部４に入力される。認識辞書選定部６で
は、信号Ｓ_iに対応する辞書を認識辞書蓄積部３（ａ〜
ｎは信号Ｓａ〜Ｓｎに対応）より取り出し（Ｓ０７）、
認識照合を行う（Ｓ０８）。認識照合結果は、認識処理
部４から認識制御部７を介して出力される（Ｓ０９）。

【００１８】上記の処理を実現するため、認識制御部７
では音源判定部５の情報に応じて、・信号蓄積部２へ必要な信号Ｓ_iを蓄積するための制御・必要な蓄積信号Ｓ_iに応じた認識辞書を選定するため
の制御・認識処理の起動と認識結果の出力制御の３つの制御が行われている。

【００１９】請求項２記載の発明においては、音源分離
部１から出力される分離された各音源情報から音源の位
置や音源の属性（例えば、話者別、音声と生活環境音の
別、生活環境音の種類別、音源別）が音源判定部５で判
定され、判定された音源の位置や音源の属性に応じて、
認識辞書選定部６を制御し、判定された音源に必要な認
識辞書を認識辞書蓄積部３からとりだし、認識処理され
る。認識辞書が判定された音源に対応して設けられ、各
音源の認識処理時に、各音源に必要な認識辞書を選定す
る構成のため、一つの認識処理部４によって、各音源毎
の認識処理が可能であり、認識処理の装置規模を低減で
きる。なお、例えば、ある位置から、到来した単語音声
指令に応じた制御をする場合、判定された音源位置に応
じて、認識処理に用いる認識辞書が選択される。また生
活環境音を認識する場合は、通常の音声を認識する場合
と異なるその生活環境音の認識に必要な標準パターンを
もつ認識辞書を使用する。

【００２０】認識辞書蓄積部３に蓄積されている各認識
辞書（ａ〜ｎ）は、上記では、１つの大容量蓄積部に蓄
積し、この大容量蓄積部から適切な認識辞書を選択して
用いるように説明したが、各認識辞書別に複数の認識辞
書蓄積部を設けて構成してもよい。実施例３図３は請求項３の発明の実施例の機能構成を示し、図６
は請求項３の発明の実施例の処理手順を示す。図６にお
いて、始め（Ｓ０１）から（Ｓ０４）までの処理は図５
と同じである。以下で、図６の（Ｓ０５）からの処理に
ついて説明する。

【００２１】この発明では分離・抽出された信号Ｓ_a，
…，Ｓ_nは蓄積切替選定部８を介して、各々が複数の信
号蓄積部２（ａ〜ｎは信号Ｓａ〜Ｓｎに対応）に蓄積さ
れる（Ｓ０５）。なお、蓄積する信号は、分離・抽出さ
れた信号をすべて蓄積しても良く、また、分離・抽出さ
れた信号から必要な信号のみを蓄積してもよい。次に、
信号蓄積部２において蓄積されたＳ_a，…，Ｓ_nのう
ち、認識対象信号Ｓ_iが取り出され（Ｓ０６）、蓄積切
替選定部８を介して認識処理部４に入力される。

【００２２】認識辞書選定部６では、Ｓ_iに対応する辞
書を認識辞書蓄積部３（ａ〜ｎは信号Ｓａ〜Ｓｎに対
応）より取り出し（Ｓ０７）、認識照合を行う（Ｓ０
８）。認識照合結果は、認識処理部４から認識制御部７
を介して出力される（Ｓ０９）。なお、各音源が同時発
生された場合などのように認識対象が複数ある場合に
は、（Ｓ０９）の処理後、（Ｓ０６）に戻り、別の認識
対象信号が取り出され、（Ｓ０６）から（Ｓ０９）の処
理が繰り返される（Ｓ１０）。

【００２３】上記の処理を実現するため、認識制御部７
では音源判定部５の情報に応じて、・信号Ｓ_a，…，Ｓ_nを個別に信号蓄積するための信号
蓄積部２から対応する蓄積エリアａ〜ｎを選定するため
の制御・必要な蓄積信号Ｓ_iに応じた辞書を選定するための制
御・認識処理の起動と認識結果の出力制御の３つの制御が行われている。

【００２４】請求項３記載の発明においては、信号蓄積
部２から対応する蓄積エリアａ〜ｎの選定切替えを行う
蓄積切替選定部８があり、音源判定部５にて判定された
音源の位置や音源の属性に応じて、蓄積切替選定部８を
制御し、各音源毎の音源情報を信号蓄積部２の該当する
蓄積エリアａ〜ｎに蓄積する。そして、蓄積切替選定部
８を制御し、信号蓄積部２に蓄積された音源毎に、認識
辞書選定部６により認識辞書蓄積部３からとりだされた
各音源に必要な認識辞書を用い、認識処理される。信号
蓄積部２と認識辞書蓄積部３が判定された音源に対応し
て蓄積されているため、複数の音源が同時発生した場合
も、各音源の認識処理が可能である。つまり、複数の音
源が同時発生した場合も、分離・抽出された各音源情報
は別々に信号蓄積部２に蓄積されているので、この音源
情報を個別に順次読み出して、それに応じた認識処理
が、各音源に必要な認識辞書を選定することによって、
一つの認識処理部４によって行うことが可能であり、認
識処理の装置規模を低減できる。

【００２５】以上の説明では、信号蓄積部２と認識辞書
蓄積部３は、それぞれ、音源毎の蓄積エリアを複数持っ
た１つの大容量蓄積部として構成された例を説明した
が、音源毎の複数の信号蓄積部や認識辞書蓄積部を設け
て構成してもよい。

【００２６】

【発明の効果】以上説明したように、この発明により、
複数の音源が混在した環境下において、目的とする一つ
あるいは複数の音源信号を分離・抽出し、音源の位置や
属性に応じて、目的音源別に認識処理をする音認識装置
の提供が可能になる。このため、いくつかの音源が混在
し、周囲騒音が大きな環境での認識性能の大幅な改善が
可能である。また、複数の人が同時に発声した音声を個
々に分離したり、話者別に個々に認識することも可能で
ある。

【００２７】図７は、２つの異なる位置から同時に発せ
られる音声について、それぞれの位置について音源を分
離し認識させた場合についての認識実験結果例を示した
ものである。この発明の採用により、目的音声の認識率
が著しく改善し、音源を分離させた認識が可能であるこ
とを示している。請求項１記載の発明は、個々の分離・
抽出された音源信号に応じて認識処理が行われるので、
個々の音源信号に対して騒音信号の影響を受けにくい認
識装置の提供や、各音源が同時に発生された場合も音源
毎の認識を並行し行うことが可能となる。

【００２８】請求項２記載の発明は、各音源の認識処理
時に、各音源に必要な認識辞書を選定する構成のため、
一つの認識処理部によって、各音源毎の認識処理が可能
であり、認識処理の装置規模を低減でき、装置の経済化
に有効である。請求項３記載の発明は、信号蓄積部と認
識辞書蓄積部が判定された音源に対応して蓄積されてい
るため、複数の音源が同時発生した場合も、複数の音源
に対して一つの認識処理部によって行うことが可能であ
り、認識処理の装置規模を大幅に低減でき、装置の経済
化に有効である。

【００２９】応用としては、例えば車室内において、ド
ライバー音声や、個々の同乗者の音声、カーオーディオ
音、走行騒音等の各音源を分離し、個別に認識させるシ
ステムの提供が可能となる。運転席においては、安全上
の観点から認識コマンドを限定すること、助手席や後部
座席においては、利便性の観点から認識コマンドの適用
範囲を増やすこととを両立させることができる。また、
カーオーディオ音のみに着目し、例えば、特定の交通情
報のみを認識し、その情報を自動蓄積したり、運転者に
報知することもできる。また、走行音のみに着目し、走
行音が大きくなると自動的に窓を閉めて空調をつけた
り、騒音除去装置を起動させたりすることもできる。ま
た、走行中に外部からクラクション等が鳴らされた場合
は、自動的にカーオーディオ等の音量を小さくして運転
者に警報したりすることもできる。

【００３０】別の応用としては、例えば家庭内におい
て、種々の家電機器の音声制御への応用や家庭環境にお
ける異常音を検出するセキュリティーシステム等への応
用が考えられる。種々の装置を音声コマンドで実行させ
るシステムの提供が可能となる。例えば、特定の位置か
らの音声にしか制御できない家電機器や、音声コマンド
の有効範囲を話者により区別するような応用が考えられ
る。また、侵入者等の異常音を検出し報知するシステム
も考えられる。

【００３１】また、以上の応用において、各音源を分離
（目的以外の音を抑圧・除去）して認識させているた
め、認識性能を著しく向上させることができる。この発
明は、人間の聴覚において実現されているような複数の
音源発生時（同時発生時も含む）の各音源の位置毎の音
源の認識や、話者毎の音声の認識や、音声と環境音とを
区別した上での音源の認識を可能とするものであり、上
記の応用に限らず、あらゆる産業において、インテリジ
ェントシステムやロボット等の聴覚機能として利用でき
るものである。

【図面の簡単な説明】

【図１】この発明の第一の実施例の機能構成を示す図。

【図２】この発明の第二の実施例の機能構成を示す図。

【図３】この発明の第三の実施例の機能構成を示す図。

【図４】この発明の第一の実施例の動作を説明するフロ
ーチャート。

【図５】この発明の第二の実施例の動作を説明するフロ
ーチャート。

【図６】この発明の第三の実施例の動作を説明するフロ
ーチャート。

【図７】この発明を用いた実験結果例を示す図。

フロントページの続き (72)発明者青木真理子東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内 (72)発明者岡本学東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内 (72)発明者青木茂明東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内Ｆターム(参考） 5D015 AA06 EE04 HH13 HH21

Claims

【特許請求の範囲】

【請求項１】複数の音源から音源情報を分離する音源
分離手段と、前記音源分離手段から出力される音源情報を蓄積する信
号蓄積手段と、認識処理のための認識辞書を蓄積する認識辞書蓄積手段
と、前記信号蓄積手段から出力される音源情報と前記認識辞
書蓄積手段の認識辞書とを照合し、認識結果を出力する
認識処理手段とを有することを特徴とする音認識装置。
【請求項２】請求項１記載の音認識装置において、前記音源分離手段から出力される分離された各音源情報
から音源の位置や音源の属性を判定する音源判定手段
と、前記認識辞書蓄積手段に蓄積された認識辞書から必要な
辞書を選定する認識辞書選定手段と、前記音源判定手段にて判定された音源の位置や音源の属
性に応じて、前記認識辞書選定手段を制御し、判定され
た音源に必要な認識辞書を前記認識辞書蓄積手段からと
りだし、前記信号蓄積手段に蓄積された音源情報とを前
記認識処理手段にて照合し、認識結果を出力する制御を
行う認識制御手段とを有することを特徴とする音認識装
置。
【請求項３】請求項２記載の音認識装置において、複数の信号蓄積が可能な前記信号蓄積手段が設けられ、前記信号蓄積手段から、該当する音源情報の入出力を選
定する蓄積切替選定手段が設けられ、前記音源判定手段にて判定された音源の位置や音源の属
性に応じて、前記蓄積切替選定手段を制御し、各音源毎
の音源情報を前記信号蓄積手段に蓄積するとともに、前
記信号蓄積手段に蓄積された音源の位置や音源の属性に
応じて、前記認識辞書選定手段を制御し、必要な認識辞
書を前記認識辞書蓄積手段からとりだし、前記蓄積切替
選定手段を制御し、前記信号蓄積手段に蓄積された該当
する音源情報とを前記認識処理手段にて照合し、認識結
果を出力する制御を行う認識制御手段が設けられている
ことを特徴とする音認識装置。