JP2000148181A - 音声認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 利用者に負担や煩わしさを与えることなく、
効率よく確実に音声認識される音声認識装置を実現す
る。 【解決手段】 利用者からの音声が入力され、その音声
認識結果が確信度不十分であるとき、ステップＳ１０４
で利用者へ更なる入力を求める表示を行う。ステップＳ
１０５で利用者がその表示に基づき再入力したならば、
ステップＳ１０６でその入力に対して音声認識処理を
し、再入力された音声が確信度十分であればその結果を
用いて再び最初の音声入力に対して音声認識処理を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は音声認識装置に関
し、さらに詳しくは、自然言語によって利用者との対話
を行う音声認識装置に関する。

【０００２】

【従来の技術】音声認識は１００％の精度で行うことが
不可能であるため、音声認識を応用したシステムでは、
利用者に対して誤認識を訂正するための手段が提供され
ている。訂正方法の一つは、音響的に近いと推測される
他の候補の単語や文を提示して、利用者に正解を選んで
もらうことである。効率化のためには、数多くの候補を
一度に提示できるインターフェイスを使用すると良い
が、一方でそれは、数多くの誤認識結果を利用者に示す
ことになる。

【０００３】また、他の訂正方法として利用者に言い直
してもらう方法は、音声認識しやすい言い方で１回目と
同じことを言ってもらい、再度認識処理にかける場合が
多い。しかし、入力が長い場合には面倒な上、入力の単
語や文によっては何度繰り返しても入力できなかったり
する、という問題点があった。

【０００４】

【発明が解決しようとする課題】本発明は、利用者に負
担や煩わしさを与えることなく、効率よく確実に音声認
識される音声認識装置を実現することを課題とする。

【０００５】

【課題を解決するための手段】上記課題を達成するため
に、請求項１の音声認識装置は、利用者からの音声を音
声信号に変換する音声入力部と、この音声信号を記憶す
る記憶部と、音声信号の認識候補を出力する音声認識部
と、利用者へ情報を出力する出力部と、音声認識部によ
り認識候補が一つに確定できなかったとき、最初の音声
と関連のある言葉及び最初の音声の一部言い直しの少な
くともいずれか一方の再入力を求める情報を、出力部へ
出力する再入力誘導部とを有し、音声認識部は、再入力
を求める情報に基づき音声入力部に再入力されたなら
ば、再入力された音声の認識結果を用いて、記憶部に記
憶されている最初の音声信号の認識候補を出力する機能
を有することを特徴とする。ここで関連のある言葉と
は、異音による言い換え、上位概念、特徴などをいうも
のである。

【０００６】請求項２の音声認識装置は、再入力された
音声の認識候補と記憶部に記憶されている最初の音声信
号の認識候補との関連を持つ組み合わせを捜すことによ
り、最初の音声信号の認識候補を出力する機能を有する
ことを特徴とする。

【０００７】上述した手段による作用としては、利用者
が入力した音声が認識されなかったとき、その入力と関
連ある言い換え、上位概念、特徴、一部言い直しを求め
ることにより、次の入力は最初の入力を認識する手助け
となる作用をする。その入力は最初の入力と音声が異な
るので、同じ音声を入力するのに比べて認識の確信度が
異なる。そのため同じ音声を入力することにより同じよ
うに認識できない、という問題が生じない。

【０００８】最初の音声入力は記憶部に記憶されている
ので、利用者に言い直しを求めることなく、再入力され
た結果を使って最初の音声入力の認識候補を自動的に絞
り込むことができる。

【０００９】また、再入力された音声の認識が不十分な
場合でも、その音声の認識候補は最初の音声入力の認識
候補と異なるので、認識候補同士で関連のある組み合わ
せを捜すことにより、最初の音声入力の認識候補を絞り
込むことができる。

【００１０】

【発明の実施の形態】本発明の音声認識装置の実施の形
態例を図１ないし図７を参照して説明する。

【００１１】図１に本発明の実施の形態例の音声認識装
置のハードウエア構成図を示す。音声入力部１はマイク
を備えており、マイクから取り込んだ利用者の入力音声
をＡ／Ｄ変換して音声データとし、音声認識部２に送
る。

【００１２】音声認識部２は、送られてきた音声データ
に対して音声分析を行い、特徴量を抽出する。これを新
たなサンプリングデータが送られるたびに行う結果、特
徴量の系列が得られる。それを音声認識の対象に応じて
あらかじめＲＯＭ（Read Only Memory）３に格納された
データと照合し、ＨＭＭ（Hidden Markov Model ）の手
法により、利用者が何と言った可能性が高いか確率計算
を行う。ＲＯＭ３には統計的手法により計算された音素
の出現確率と、認識対象語の辞書（以下、「認識辞書」
という。）および文法が格納されている。

【００１３】計算の結果、確率が高いものを認識候補と
してＣＰＵ４へ送る。また、確率に基づく値を認識スコ
アとしてＣＰＵ４へ送る。利用者の音声入力に対して計
算した特徴量や、各認識候補に対する認識スコアなど
は、不用になるまでＲＡＭ（Random Access Memory）５
に保存する。なお、ＲＡＭ５の代わりに他の半導体記憶
素子、ディスク記録装置など他の記録媒体であってもか
まわない。

【００１４】ＣＰＵ４は、アプリケーションの実行部分
である。利用者によるキーやボタン、マウスの操作をキ
ー入力部６が検出した場合、音声認識部２で新たな認識
候補が出された場合に、それらがＣＰＵ４に知らされ
る。ＣＰＵ４は、ＲＯＭ７に格納された各種処理手順
と、利用者入力に従って、アプリケーションを実行す
る。結果は出力部８へ送り、利用者に知らせる。処理の
途中や終わりで保存したいデータはＲＡＭ９に保存す
る。出力部８はスピーカや表示画面などを備えており、
本装置はそれらを通じてアプリケーションの実行結果を
利用者に知らせる。

【００１５】このハードウエアの動作を地図のアプリケ
ーションを例に説明する。図２は、地図のアプリケーシ
ョンの表示画面を示したもので、利用者が地名、観光ス
ポットなどの名前を言うと、その周辺地図を表示するも
のである。

【００１６】利用者が詳細表示したい地名、観光スポッ
トなどを言うと、音声入力部１から音声認識部２へ送ら
れ、音声認識処理が行われて幾つかの認識候補が出され
る。さらに音声認識部２は、各認識候補に対する認識ス
コアを利用して、それぞれの認識結果に対する確信度を
出す。たとえば、正しく認識したときの認識スコアと誤
認識したときの認識スコアの分布を統計的手法により分
析し、その結果をテーブルデータとしてＲＡＭ５に保持
しておく。そして音声認識部２は、現在の認識候補に対
する認識スコアをテーブルデータと照合し、どの程度の
確度で認識結果が正しそうか調べる。

【００１７】利用者が何と言ったか１つに絞れれば、Ｃ
ＰＵ４は、ただちに出力部８の表示画面を絞られた指定
の表示に切り替える。しかし１つに絞りきれない場合
は、ＣＰＵ４は、「何県」の都市名か、「道路名」か、
「駅名」か、「山」、「海」の名前か、など関連のある
情報を出力部８の表示画面から表示をして、利用者に音
声で入力してもらう。音声認識部２はそれらの情報を交
えて、最初に利用者が言ったことに対して再度認識処理
をする。

【００１８】最終的に認識候補を絞りきれなければ、Ｃ
ＰＵ４は、それらを全て出力部８の表示画面に提示す
る。利用者は提示された認識候補１０から自分が言った
通りのものを、キー入力部６で選択する。

【００１９】次に本発明の実施の形態例の利用者の音声
入力に対する処理手順を、この地図のアプリケーション
を例に、図３のフローチャートを参照して詳細に説明す
る。この手順の中には音声入力部１、音声認識部２、Ｃ
ＰＵ４の処理が含まれる。また、処理手順中の利用者入
力と認識候補の関係を図４に示す。

【００２０】ステップＳ１０１で、利用者が「御宿（お
んじゅく）」と音声入力部１から音声入力すると、その
音声データが音声認識部２に送られ、ＲＡＭ５に記憶さ
れる。

【００２１】ステップＳ１０２で、音声認識部２でＨＭ
Ｍを用いた単語音声認識の処理がされ、利用者が何と言
った可能性が高いか確率計算が行われる。そして、認識
候補と共に、確率に基づく値が認識スコアとして出され
る。次に、認識スコアを利用して各認識候補に対する認
識の確信度を求め、認識候補を１つに絞ろうとする。そ
の結果、図４で示すように、認識候補が「御宿」、「小
田原」、「御前崎」とあり、１つに絞れないものとす
る。

【００２２】ステップＳ１０３で、確信度が十分である
かチェックする。確信度が十分であれば終了し、確信度
が十分でないか、認識候補を１つに絞れなければステッ
プＳ１０４へ移行する。認識候補が「御宿」「小田原」
「御前崎」とあり、１つに絞れないのでステップＳ１０
４へ移行する。

【００２３】ステップＳ１０４で、音声認識部２は音声
認識辞書を「場所の名前」から「場所の種類」に変更を
すると共に、ＣＰＵ４は出力部８により利用者へ最初の
入力音声と関連のある更なる入力を求める表示を行う。
たとえば言い換え、上位概念、特徴などである。ステッ
プＳ１０５で、利用者が出力部８の表示に基づいて「海
水浴場（かいすいよくじょう）」と音声入力をすると、
その音声データが音声認識部２に送られ、ＲＡＭ５に記
憶される。

【００２４】ステップＳ１０６で、再び音声認識処理が
され、幾つかの認識候補が出されるる。その結果、図４
に示すように、認識候補が「海水浴場」、「買い物」、
「川」と出される。

【００２５】ステップＳ１０７で、ステップＳ１０６の
認識候補が十分な確信度で認識されたならばステップＳ
１０８へ移行し、十分な確信度で認識されなかったなら
ばステップＳ１０９へ移行する。認識候補が「海水浴
場」に絞られたならばステップＳ１０８へ移行するが、
認識候補が「海水浴場」、「買い物」、「川」とあり、
１つに絞れないのであればステップＳ１０９へ移行す
る。

【００２６】ステップＳ１０８は、ステップＳ１０７で
認識された言葉を元にして認識辞書を変更し、ステップ
Ｓ１０２へ戻る。したがって認識辞書を「海水浴場の名
前」に変更し、ステップＳ１０２へ戻る。

【００２７】このときステップＳ１０２では、「海水浴
場の名前」の認識辞書に限定し、最初の利用者入力に対
する音声認識処理を行う。これにより認識候補を絞って
いく。なお、利用者が最初に入力した音声データはＲＡ
Ｍ５に記憶されているので再入力の必要はない。

【００２８】最初の認識候補で「御宿」、「小田原」、
「御前崎」の中で「海水浴場の名前」の認識辞書に「御
宿」しかなければ認識候補が一つとなり、ステップＳ１
０３から終了する。「海水浴場の名前」の認識辞書に
「御宿」と「御前崎」があれば、確信度不十分としてス
テップＳ１０３からステップＳ１０４へ移行する。この
場合、更なる入力を求めることになり、入力が増えるに
したがって確信度が高まり、ステップＳ１０７またはス
テップＳ１０３で確信度十分となるまで上記ステップに
よる処理が続く。この処理は後述する。

【００２９】ステップＳ１０９は、最初の入力と２回目
の入力の認識候補を比較し、互いに関連を持つ組み合わ
せを捜す。ＲＯＭに格納されている認識辞書は、音声認
識辞書の他に、単語ごとの関連を示すグループ分けのデ
ータを持っている。そのデータも参照して、最初の入力
の認識候補を絞る。

【００３０】最初の入力の認識候補で「御宿」だけが
「海水浴場」としてＲＯＭ３に入っていれば「御宿」が
確信度十分となる。もし「御宿」と「御前崎」は「海水
浴場」に属するという情報がＲＯＭ３に入っているとす
ると、「御宿」と「御前崎」は確信度が高くなるが依然
として１つに絞りきれないので確信度不十分となる。

【００３１】ステップＳ１１０は、確信度十分であるか
チェックする。関連を持つ組み合わせが１つしかなけれ
ば確信度十分と判断して終了する。関連を持つ組み合わ
せがないか、２つ以上あれば確信度不十分としてステッ
プＳ１０４へ戻る。

【００３２】確信度不十分としてステップＳ１０４へ戻
った場合、更なる入力を求めることになり、入力が増え
るにしたがって確信度が高まり、ステップＳ１０７また
はステップＳ１０３で確信度十分となるまで上記ステッ
プによる処理が続く。この様子をさらに説明する。

【００３３】ステップＳ１０４で、音声認識辞書を「場
所の種類」にして、ＣＰＵ４は出力部８により利用者へ
更なる入力を求める表示を行う。ステップＳ１０５で、
利用者から「千葉県（ちばけん）」と音声入力があれ
ば、その音声データが音声認識部２に送られ、ＲＡＭ５
に記憶され、ステップＳ１０６へ移る。

【００３４】ステップＳ１０６で、音声認識処理がされ
る。その結果「千葉県」が十分な確信度で認識されたな
らば、ステップＳ１０７からステップＳ１０８へ移行
し、認識辞書を「千葉県内の場所の名前」に限定する。

【００３５】ステップＳ１０２へ戻り、「千葉県内の場
所の名前」の認識辞書を使って、ＲＡＭ５に保存されて
いるステップＳ１０１で入力された音声に対する音声認
識処理をする。ステップＳ１０１で入力された音声の認
識候補である「御宿」、「小田原」、「御前崎」の中で
「千葉県内の場所の名前」であるのは「御宿」しかない
ので「御宿」が確信度十分となる。その結果、ステップ
Ｓ１０３で「御宿」が確信度十分のため終了する。

【００３６】もし、ステップＳ１０６で音声認識処理の
結果、図４に示すように認識候補が「千葉県」、「岩手
県」、「茨城県」となり、「千葉県」に十分な確信度が
なければ、ステップＳ１０７からステップＳ１０９へ移
る。

【００３７】ステップＳ１０９で、最初の入力の認識候
補である「御宿」、「小田原」、「御前崎」、次の入力
の認識候補である「海水浴場」、「買い物」、「川」、
３番目の入力の認識候補である「千葉県」、「岩手
県」、「茨城県」を互いに比べて、関連を持つ組み合わ
せを捜す。すると「御宿」、「海水浴場」、「千葉県」
が唯一関連を持つ組み合わせであるので、最初の入力は
「御宿」が確信度十分となる。その結果、ステップＳ１
１０で、「御宿」が確信度十分のため終了する。

【００３８】次に、音声入力に対する処理手順を、文章
などの連続音声が入力される場合を例に、図５のフロー
チャートを参照して詳細に説明する。まず、最初に言い
たいことをまとめて一気に音声入力するが、それが認識
されなかったときに、キーワードだけ改めて入力し直す
例を説明する。また、処理手順中の利用者入力と認識候
補の関係を図６に示す。

【００３９】ステップＳ２０１で、利用者が「佐藤君に
３０００円貸した。２５日過ぎたら返してもらう。」と
いう入力を行ったならば、その音声データが音声認識部
２に送られ、ＲＡＭ５に記憶される。

【００４０】ステップＳ２０２で、ＨＭＭを用いた連続
音声認識処理にかけられ、認識候補の文と認識スコアが
出される。そして、認識スコアを利用して各認識候補に
対する認識の確信度を求め、認識候補を１つに絞ろうと
する。その結果、図６に示すように認識候補として「加
藤君に３０００年寝かした。１５日過ぎたら介して森
を。」、「佐藤君に散々円貸した。２５日杉戦えしても
らう。」、「台東区に３０００円か下。２５に来すぎた
ら返してもらう。」が出され、いずれも確信度が不十分
となったものとする。

【００４１】ステップＳ２０３で、確信度十分であれば
終了するが、１つに絞れず確信度不十分であるのでステ
ップＳ２０４へ移る。ステップＳ２０４で、認識辞書を
変更する。次のステップでキーワードの入力を求めるの
で、ＨＭＭを用いた単語音声認識のための認識辞書と
し、認識候補文に含まれる単語、フレーズをリストアッ
プすることにより認識辞書として対応するＨＭＭを作
る。

【００４２】すなわち、「加藤、佐藤、台東区、３００
０年、３０００円、１５日、２５日、寝かした、貸し
た、介して、戦え」などを認識対象とする。そして、利
用者が最初に言った入力のキーワードを入力するように
誘導する表示を出力部８から行う。

【００４３】ステップＳ２０５で、図６に示すように利
用者が「佐藤、３０００円、２５日」と音声入力する
と、その音声データが音声認識部２に送られ、ＲＡＭ５
に記憶される。ステップＳ２０６で、認識処理にかけら
れる。最初の入力に比べて音声認識の対象が絞られるこ
と、また、一般に連続認識よりも単語認識の方が確度が
高いことから、キーワード入力の際には高い認識率で処
理を行うことができる。そのため十分な確信度で「佐
藤」、「３０００円」、「２５日」の３つの単語が得ら
れる。

【００４４】ステップＳ２０７で、確信度がチェックさ
れ、十分な確信度であるのでステップＳ２０８へ移る。
なお、ステップＳ２０１での入力を録音で保存してお
き、キーワードのみを本処理の結果として残すような場
合は、これで終了できる。また、稀なケースであるが確
信度不十分となると、ステップＳ２０９へ移行し、ＣＰ
Ｕ４は認識候補を全て出力部８の表示画面に提示する。
利用者は提示された認識候補から自分が言った通りのも
のを、キー入力部６で選択する。そしてステップＳ２０
８へ移行する。

【００４５】ステップＳ２０８で、認識辞書を再び連続
音声認識のための認識辞書に変更し、ステップＳ２０２
へ移行する。ステップＳ２０２では、「佐藤」、「３０
００円」、「２５日」の３つのキーワードが現れる認識
候補の文が得られる。そして認識候補文の確信度を調べ
る。ここで、利用者が最初に入力した音声のデータはＲ
ＡＭ５に保存されているので再入力の必要はない。

【００４６】今回は十分な確信度で「佐藤君に３０００
円貸した。２５日過ぎたら返してもらう。」に認識候補
が絞られる。ステップＳ２０３で、確信度十分として、
終了する。

【００４７】次に、同じ例を用いて、最初に言いたいこ
とをまとめて一気に音声入力するが、それが認識されな
かったときに、最初の入力順にフレーズや単語の単位で
区切りながら入力し直す例を説明する。

【００４８】ステップＳ２０３までは上述の例と同じで
ある。ステップＳ２０４からは、フレーズや単語の単位
で区切りながら利用者に入力する形態の処理を行う。

【００４９】ステップＳ２０４で、認識辞書を変更す
る。ＨＭＭを用いた単語音声認識を行うために、認識候
補文に含まれるフレーズで文頭から始まるものをリスト
アップして認識辞書とし、対応するＨＭＭを作る。これ
により「加藤君に、佐藤君に、台東区に、」などが認識
対象となる。そして、利用者へ最初に言った入力の最初
のフレーズを入力するように誘導する表示を出力部８か
ら行う。

【００５０】ステップＳ２０５で、利用者が最初に言っ
た入力の最初のフレーズ「佐藤君に」を音声入力する
と、その音声データが音声認識部２に送られ、ＲＡＭ５
に記憶される。ステップＳ２０６で、認識処理がされ
る。最初の入力に比べて音声認識の対象が絞られるこ
と、一般に連続認識よりも単語認識の方が確度が高いこ
とから、フレーズ入力の際には高い認識率で処理を行う
ことができる。そのため、十分な確信度で「佐藤君に」
のフレーズが得られる。

【００５１】ステップＳ２０７で、確信度十分と判定さ
れ、ステップＳ２０８へ移行する。ステップＳ２０８
で、認識辞書を最初の連続音声の認識辞書に変更し、ス
テップＳ２０２へ移行する。ステップＳ２０２で、「佐
藤君に」のフレーズで始まる認識候補が出される。な
お、利用者が最初に入力した音声のデータはＲＡＭ５に
記憶されているので再入力の必要はない。

【００５２】ステップＳ２０３で、ステップＳ２０２の
結果得られた認識候補文の確信度を調べる。十分な確信
度で１つの認識候補文に絞ることができないときはステ
ップＳ２０４へ移行する。ステップＳ２０４で、認識辞
書をＨＭＭを用いた単語音声認識を行うために、認識候
補文から音響的に「佐藤君に」に続く単語またはフレー
ズをリストアップして認識辞書とし、対応するＨＭＭを
つくる。「３０００円、３０００年、散々、」などが認
識対象となる。

【００５３】ステップＳ２０５で、利用者から次のフレ
ーズ「３０００円」を音声入力されたならば、その音声
データが音声認識部２に送られ、ＲＡＭ５に記憶され
る。ステップＳ２０６で、認識処理がされ、十分な確信
度で「３０００円」のフレーズが得られる。

【００５４】ステップＳ２０７で、確信度十分と判断さ
れ、ステップＳ２０８へ移行する。ステップＳ２０８
で、認識辞書を最初の連続音声の認識辞書に変更し、ス
テップＳ２０２へ移行する。

【００５５】このような処理手順により、ステップＳ２
０３で十分な確信度で１つの認識候補文に絞れるまで繰
り返す。利用者にはステップＳ２０５のたびに、「貸し
た」、「２５日」、「過ぎたら」、「返してもらう」と
いう続きのフレーズを、順に１フレーズずつ入力しても
らう。

【００５６】この様子を利用者入力の手順で示したもの
が図７である。利用者は、最初の「佐藤君に３０００円
貸した。２５日過ぎたら返してもらう。」のあと、ステ
ップＳ２０３で確信度十分となるまで、順に「佐藤君
に」、「３０００円」、「貸した」、「２５日」、「過
ぎたら」、「返してもらう」のフレーズ入力を行う。

【００５７】以上のように、単語のみならず文の音声入
力であっても確実に認識することが可能となり、音声を
入力する様々な装置に利用できる。

【００５８】

【発明の効果】本発明の音声認識装置によれば、最初の
音声入力によっては十分な確信度が得られなかった場合
に、その結果に関連して次の入力を求め、その認識結果
に基づいて最初の音声認識候補を絞り込むので、効率的
且つ確実に音声認識が可能となる。そのため、何度同じ
言葉を言っても認識がされない、ということがなく、利
用者にやさしく能率のよい音声認識装置が実現できる。

【図面の簡単な説明】

【図１】 本発明の実施の形態例の音声認識装置のハー
ドウエア構成図である。

【図２】 地図のアプリケーションの表示画面を示した
図である。

【図３】 地図のアプリケーションによる処理手順を示
すフローチャートである。

【図４】 地図のアプリケーションでの利用者入力と認
識候補の関係を示した図である。

【図５】 連続音声が入力される場合の処理手順を示す
フローチャートである。

【図６】 連続音声が入力される場合の処理手順中の利
用者入力と認識候補の関係を示した図である。

【図７】 最初の入力順にフレーズや単語の単位で区切
りながら入力し直す例の利用者入力の手順を示した図で
ある。

【符号の説明】

１…音声入力部、２…音声認識部、３…ＲＯＭ、４…Ｃ
ＰＵ、５…ＲＡＭ、６…キー入力部、７…ＲＯＭ、８…
出力部、９…ＲＡＭ、１０…認識候補

フロントページの続き (72)発明者 加藤 靖彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5D015 HH21 LL02 9A001 GZ05 HH17

Claims (2)

【特許請求の範囲】
1. 【請求項１】 利用者からの音声を音声信号に変換する
   音声入力部と、 前記音声信号を記憶する記憶部と、 前記音声信号の認識候補を出力する音声認識部と、 前記利用者へ情報を出力する出力部と、 前記音声認識部により前記認識候補が一つに確定できな
   かったとき、最初の音声と関連のある言葉及び最初の音
   声の一部言い直しの少なくともいずれか一方の再入力を
   求める情報を、前記出力部へ出力する再入力誘導部とを
   有し、 前記音声認識部は、前記再入力を求める情報に基づき前
   記音声入力部に再入力されたならば、再入力された音声
   の認識結果を用いて、前記記憶部に記憶されている最初
   の音声信号の認識候補を出力する機能を有することを特
   徴とする音声認識装置。
2. 【請求項２】 前記音声認識部は、前記再入力された音
   声の認識候補と前記記憶部に記憶されている最初の音声
   信号の認識候補との関連を持つ組み合わせを捜すことに
   より、最初の音声信号の認識候補を出力する機能を有す
   ることを特徴とする請求項１に記載の音声認識装置。