JP2002244546A - 対話訓練装置およびその方法 - Google Patents

Abstract

(57)【要約】 【課題】 従来の対話訓練装置では実現が困難であった
より現実の業務に近い対話訓練が行える対話訓練装置を
提供する。 【解決手段】 業務対話も含めた業務全体の環境をシミ
ュレートする対話環境シミュレータ２０と、シナリオ管
理部１２からの指示に従い、このシミュレータの内部状
態を操作、監視、情報読みとりを行うシミュレータ管理
部１６と、シナリオ管理部からの指示により、人間の代
わりに被訓練者と音声による対話を行い対話の結果を出
力する対話管理部８と、業務に則ったシナリオを、シミ
ュレータ管理部１６や対話管理部８への命令の組み合わ
せで表現した業務シナリオ１５を持つことで、従来のよ
うに対話訓練に現れる被訓練者の発話や訓練システム側
の応答音声を全て網羅するように記述する必要がなくな
り、かつ、時々刻々と変化する業務環境の影響による業
務対話の変化も含めた業務対話訓練が行える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、人間同士が行っ
ている業務対話の訓練を行う対話訓練装置および対話訓
練方法に関するものである。

【０００２】

【従来の技術】図９は、特開平１１−３８８６３号公報
に記載の言語情報装置において示された方式に基づく対
話訓練装置の構成を示している。被訓練者たるシステム
使用者が発声した入力音声は、音声認識部１において音
声認識され、その認識結果２が対話文章選択部３に送ら
れる。対話文章選択部３は、対話シナリオデータベース
４に記憶されている対話シナリオに従って認識結果２に
対する応答文５を選択し音声合成部６に送出する。音声
合成部６は、対話文章選択部３から入力される応答文５
を合成音声による応答音声として出力する。

【０００３】図１０には対話シナリオデータベース４の
一例を示す。対話シナリオデータベース４には、対話訓
練において被訓練者が音声入力する文章と対話訓練装置
が音声合成出力する文章のすべてのテキストデータとそ
れに付された文番号のデータ(図１０の(ａ)参照)、およ
び、ある文番号のテキストが音声入力もしくは音声合成
出力された後に、音声合成出力もしくは音声入力される
テキストの文番号の一覧をまとめたデータ(図１０の
(ｂ)参照)が記憶されている。

【０００４】対話文章選択部３は、上記のような対話シ
ナリオデータベース４中のデータを読みとり、たとえ
ば、被訓練者が入力した入力音声の認識結果２が文番号
0001と一致した場合は、入力音声に対する応答文とし
て、0001に後続する文番号0002の文章を選択し、音声合
成部６に出力する。ついで、被訓練者は対話シナリオに
沿って、文番号0002に後続する文章を音声入力する。こ
のような所作は、表中の(END)のような対話終了記号に
たどり着くまで行われ、これにより一連の対話訓練が行
われることとなる。

【０００５】ある文番号に後続する文番号が複数個定義
されている場合は、対話シナリオの分岐を表しており、
たとえば、文章を音声合成出力する場合に複数個の文番
号が定義されていた場合は、一例として、乱数で複数個
の中から一つの文番号を選択しその文番号に対応する文
章データを音声合成する。また入力音声の場合に文番号
が複数個定義されている場合は、被訓練者の入力音声の
認識結果に一致する文章データの文番号を複数個の文番
号の中から選択する。

【０００６】

【発明が解決しようとする課題】以上のように従来の対
話訓練装置では、被訓練者であるユーザが訓練装置に入
力する音声とそれに対する訓練システム側の応答音声、
また、ある訓練システム側からの音声出力とそれに対し
て被訓練者側が入力する音声というように、対話訓練の
内容が対話シナリオとして記述されていた。

【０００７】このため、ユーザの入力音声の内容によっ
て対話の内容を変更するような場合は、ユーザが入力す
ると想定される音声の内容に対応した訓練システム側の
応答をすべて記述しておく必要があり、複雑な対話訓練
を実現するためには対話シナリオの記述に莫大な労力が
必要となる。

【０００８】また、対話の内容が、その対話の結果も含
めた業務全体の状況に依存して変化するような業務対話
の訓練に対しては、上記のような対話シナリオを用いる
方式では対話訓練を実現することは困難であった。たと
えば、航空機のパイロットと管制官との間で行われる業
務対話を考えると、航空機が飛行している空域や航空機
自体の状態に依存して、対話の内容が変わってしまう。
また、対話を行うタイミングが遅いか早いかによっても
後の対話ででてくる文章に違いが生じてしまう。このよ
うな業務について対話訓練システムを構築する場合、あ
り得るすべての対話を考慮して対話シナリオを用意して
おくことは現実的に不可能である。

【０００９】加えて、複数の相手との対話を想定し、対
話内容は独立しているが、時間的には同時並行して対話
を進めるような業務訓練を実現しようとするとき、従来
方式のような対話シナリオの記述に基づく手法では、た
とえ対話相手ごとに訓練シナリオが固定されていたとし
ても、時間的なずれにより対話相手の数の訓練シナリオ
の組み合わせを考慮したシナリオを用意する必要があ
り、現実的には実現は不可能である。

【００１０】また、音声入力の認識結果が対話シナリオ
データベースにおける入力文章の候補と一致するか否か
を判定するだけであったため、被訓練者の練度が低く正
しい文章を入力できない場合、以降の訓練が行えない。

【００１１】従来のこの種の対話訓練装置には以上のよ
うな問題点があった。

【００１２】この発明は、かかる問題点を解決するため
になされたもので、対話の結果や対話業務全体の状況に
依存して対話内容が変わるような業務についても業務対
話訓練が可能な対話訓練装置およびその方法を提供する
ことを目的とする。

【００１３】

【課題を解決するための手段】上記の目的に鑑み、この
発明は、音声認識理解手段と、音声合成手段と、対話管
理手段と、対話環境シミュレータと、シミュレータ管理
手段と、シナリオ管理手段とを備え、前記音声認識理解
手段が、被訓練者が発声した入力音声に対し、音声入力
中であることを表す入力検知信号を出力すると共に、対
話管理手段から送出される音声理解ルールに従って音声
認識理解処理を行い理解結果を出力し、前記音声合成手
段が、対話管理手段から送出される応答文に従って合成
音声を出力すると同時に、合成音声出力中であることを
示す出力検知信号を対話管理手段に出力し、前記対話管
理手段が、対話業務における対話ルールに従って、音声
認識対話手段に対しては音声理解ルールを送ることで、
音声合成手段に対しては応答文を送ることで、シナリオ
管理手段から送出される対話命令に応じた被訓練者との
対話を行い、前記対話環境シミュレータが、被訓練者が
訓練するところの業務全体をシミュレートし、被訓練者
に対し実際の業務と等しい環境を与え、前記シミュレー
タ管理手段が、シナリオ管理手段から送出されるシミュ
レータ割込要求に従って、対話環境シミュレータの内部
状態を調査、操作、監視を行い、その結果をシミュレー
タ割込結果としてシナリオ管理手段に送出し、前記シナ
リオ管理手段が、業務シナリオ内のシナリオデータに記
述された、対話管理手段に対する対話命令やシミュレー
タ管理手段に対するシミュレータ割込要求、また、対話
管理手段から返される対話結果やシミュレータ管理手段
から返されるシミュレータ割込結果に基づいて、次の命
令の送出を行うことで、被訓練者に対する業務訓練を行
う、ことを特徴とする対話訓練装置にある。

【００１４】また、前記音声認識理解手段が、対話訓練
装置において、入力音声に対し音響分析を行い、音声が
入力中であることを示す入力検知信号を対話管理手段に
出力すると共に、音響分析の結果得られる特徴ベクトル
時系列を出力する音響分析手段と、この音響分析手段の
出力する特徴ベクトル時系列に対し、対話管理手段から
送られる音声理解ルールに含まれる認識制約ルールを用
いて音声認識処理を行い、一個もしくは複数の単語の系
列を認識結果として出力する音声認識手段と、この音声
認識手段の出力する音声認識結果に対し、対話管理手段
から送られる音声理解ルールに含まれる単語系列理解ル
ールを用いて、内容の理解を行い、理解結果として出力
する音声理解手段と、を含むことを特徴とする請求項１
に記載の対話訓練装置にある。

【００１５】また、前記音声認識理解手段の音声理解手
段が、対話管理手段から複数の音声理解ルールを受け取
り、音声認識手段の出力する音声認識結果に対し、複数
の音声理解ルールに含まれる複数の単語系列理解ルール
をそれぞれを用いて理解処理を実行し、理解結果が得ら
れた単語系列理解ルールに対応する理解結果だけを送出
する複数ルール型音声理解手段であることを特徴とする
請求項２に記載の対話訓練装置にある。

【００１６】また、前記音声認識理解手段の音声認識手
段が、対話管理手段から複数の音声理解ルールを受け取
り、音響分析手段の出力する特徴ベクトル時系列に対
し、複数の音声理解ルールに含まれる複数の認識制約ル
ールを包括する認識制約ルールを用いて音声認識処理を
行い、一個もしくは複数の単語の系列を認識結果として
出力する複数制約型音声認識手段であることを特徴とす
る請求項２に記載の対話訓練装置にある。

【００１７】また、被訓練者が発声した入力音声に対し
音声理解ルールに従って音声認識理解処理を行い理解結
果を発生する第１の工程と、入力される応答文に従って
合成音声を発生する第２の工程と、対話業務における対
話ルールに従って前記第１の工程に音声理解ルールを、
第２の工程に応答文を供給することで、入力される対話
命令に応じた被訓練者との対話を行う第３の工程と、被
訓練者が訓練するところの業務全体をシミュレートし被
訓練者に対し実際の業務と等しい環境を与える第４の工
程と、入力されるシミュレータ割込要求に従って、前記
第４の工程の状態を調査、操作、監視を行い、その結果
をシミュレータ割込結果として発生する第５の工程と、
業務シナリオ内のシナリオデータに記述された、前記第
３の工程に対する対話命令、前記第５の工程に対するシ
ミュレータ割込要求、および入力される対話結果並びに
シミュレータ割込結果に基づいて、次の対話命令やシミ
ュレータ割込要求の送出を行うことで、被訓練者に対す
る業務訓練を行う第６の工程と、を備えたことを特徴と
する対話訓練方法にある。

【００１８】また、前記第１の工程が、入力音声に対し
音響分析を行い、音響分析の結果得られる特徴ベクトル
時系列を発生する第７の工程と、該特徴ベクトル時系列
に対し、入力される音声理解ルールに含まれる認識制約
ルールを用いて音声認識処理を行い、一個もしくは複数
の単語の系列を認識結果として発生する第８の工程と、
該認識結果に対し、入力される音声理解ルールに含まれ
る単語系列理解ルールを用いて、内容の理解を行い、理
解結果を発生する第９の工程と、を含むことを特徴とす
る請求項５に記載の対話訓練方法にある。

【００１９】また、前記第９の工程において、複数の音
声理解ルールを受け取り、前記第８の工程が発生する認
識結果に対し、複数の音声理解ルールに含まれる複数の
単語系列理解ルールをそれぞれを用いて理解処理を実行
し、理解結果が得られた単語系列理解ルールに対応する
理解結果だけを発生することを特徴とする請求項６に記
載の対話訓練方法にある。

【００２０】また、前記第８の工程において、複数の音
声理解ルールを受け取り、前記第７の工程の発生する特
徴ベクトル時系列に対し、複数の音声理解ルールに含ま
れる複数の認識制約ルールを包括する認識制約ルールを
用いて音声認識処理を行い、一個もしくは複数の単語の
系列を認識結果として発生することを特徴とする請求項
６に記載の対話訓練方法にある。

【００２１】

【発明の実施の形態】図１はこの発明の一実施の形態に
よる対話訓練装置の構成を示すブロック図である。図に
おいて７は、被訓練者たるシステム使用者が発声した入
力音声に対し、その入力が行われていることを表す入力
検知信号２１と、後述の対話管理部８から入力される音
声理解ルール９に従って音声認識理解処理を行い、理解
結果１０を出力する音声認識理解部である。６は、対話
管理部８から出力される応答文５を入力として、合成音
声を生成し、応答音声として出力する音声合成部。ま
た、該音声合成部６は音声合成出力中であることを表す
出力検知信号２２を対話管理部８に出力する。

【００２２】８は、後述のシナリオ管理部１２から出力
される対話命令１３に基づき、音声認識理解部７および
音声合成部６を用いて、対話ルール１１に従う対話処理
を行う対話管理部である。

【００２３】１２は、業務シナリオ１５中のシナリオデ
ータ１９に基づいて、対話管理部８には対話命令１３
を、シミュレータ管理部１６にはシミュレータ割込要求
１７を送出し、対話管理部８から返される対話結果１４
やシミュレータ管理部１６から返されるシミュレータ割
込結果１８に従って、業務対話を進めるシナリオ管理部
である。

【００２４】１６は、シミュレータ管理部１２から送ら
れるシミュレータ割込要求１７に従って、対話環境シミ
ュレータ２０の内部状態の報告や監視もしくは内部状態
を変化させる命令を実行し、その結果をシミュレータ割
込結果１８としてシナリオ管理部１２に返すシミュレー
タ管理部である。

【００２５】次に動作について説明する。図中、前述の
従来のものと同一符号が付された構成要素は、従来例と
同一もしくは相当部分を示し、説明を省略する。

【００２６】音声認識理解部７は、被訓練者が発声した
入力音声に対し、その入力が行われていることを表す入
力検知信号２１の出力と、対話管理部８から送られる音
声理解ルール９に従って音声認識および理解処理を行
う。

【００２７】図２は該音声認識理解部７の一構成例を示
した図である。入力音声は音響分析部７−１において音
響分析され特徴ベクトルの時系列として音声認識部７−
２に入力される。同時に音響分析部７−１は入力音声が
入力中であることを表す入力検知信号２１を対話管理部
８に送出する。音声認識部７−２はこの特徴ベクトル時
系列に対し認識処理を施し、一個の単語もしくは複数個
の単語系列を認識結果として出力する。

【００２８】ここで、音声理解ルール９に含まれる認識
制約ルール９−１を利用して、認識対象となる語彙や単
語系列に制限を加えることで、出力される単語もしくは
単語系列の認識精度向上を図ることもできる。この場
合、認識制約ルール９−１は、シナリオ管理部１２が対
話管理部８に送った対話命令１３に対応する対話場面
で、被訓練者が発声すると想定される入力音声のバリエ
ーションを表現する。たとえば、一桁の数字の入力だけ
を要求する対話命令１３がシナリオ管理部１２から対話
管理部８に送られた場合、対話管理部８が音声認識理解
部７に送る音声理解ルール９中の認識制約ルール９−１
は、０から９の一桁の数字の１０単語認識に限定するも
のとなる。

【００２９】音声理解部７−３は、音声認識部７−２か
ら出力される認識結果に対し、音声理解ルール９に含ま
れる単語系列理解ルール９−２に従い、認識結果に対す
る理解処理を行う。この処理について、単語系列理解ル
ール９−２の一例とその単語系列理解ルールに基づく動
作を説明する。

【００３０】例えば、認識結果が、『/本 /５ /冊 /と
/鉛筆 /２ /本 /お願いします /』という単語系列であ
るとする。単語系列理解ルールが、

【００３１】・認識結果の単語系列中に、キーワード
『本』とそれに後続する数字＋『冊』があれば、数字部
分を抽出情報『本の数量』とする。キーワード『本』が
なければ、０にする。 ・認識結果の単語系列中に、キーワード『鉛筆』とそれ
に後続する数字＋『本』があれば、数字部分を抽出情報
『鉛筆の数量』とする。キーワード「鉛筆」がなけれ
ば、０にする。 ・抽出情報『本の数量』もしくは抽出情報『鉛筆の数
量』のどちらかが０でなければ、本単語系列理解ルール
に基づく理解処理が実行されたものとして、実行完了フ
ラグをたてる。

【００３２】であるとすれば、 ・キーワード『本』は、単語系列中１番目と７番目に現
れているが、数字＋『冊』が後続するのは１番目だけで
ある。その場合の数字は５であるので、『本の数量』は
５、 ・キーワード『鉛筆』は単語系列中５番目に現れ、かつ
数字＋『本』が後続しているので、この場合の数字の２
を用いて、『鉛筆の数量』は２、 ・『本の数量』もしくは『鉛筆の数量』が０でないの
で、上記単語系列理解ルールに基づく理解処理が実行さ
れたことを示す実行完了フラグをたてる、 という理解処理が行われる。

【００３３】上記のような理解処理により、入力音声に
対する認識結果から理解処理が実行できた単語系列理解
ルール９−２を含む音声理解ルール９に対応する実行完
了フラグと抽出情報が理解結果１０として対話管理部８
に送られる。

【００３４】なお、上記の例では、音声認識理解部７に
対話管理部８から送出される音声理解ルール９は１つだ
けであったが、複数個の音声理解ルールが音声認識理解
部７に送出されてもかまわない。図３は、対話管理部８
から複数個の音声理解ルール(図中の複数音声理解ルー
ル９Ａ参照)を受け取ることが可能な音声認識理解部７
の一構成例である。

【００３５】図３において、複数制約型音声認識部７Ａ
−２は、複数音声理解ルール９Ａに含まれる複数個の認
識制約ルール(図中の複数認識制約ルール９Ａ−１)につ
いて、そのＯＲ(論理和)をとって得られる一個の認識制
約ルールに基づく認識処理が行われる。例えば、ある音
声理解ルールの認識制約ルールが、上記の例のような０
から９までの一桁の数字の認識に制約するもので、別の
音声理解ルールの認識制約ルールが１から３１までの数
字認識に制約するものであるとすれば、この二つの認識
制約ルールのＯＲ(論理和)をとった認識制約ルールは、
０から３１までの数字認識に制約するものとなる。

【００３６】複数ルール型音声理解部７Ａ−３における
理解処理では、認識結果に対し、複数音声理解ルール９
Ａに対応する複数単語系列理解ルール９Ａ−２中の各単
語系列理解ルールを独立に適用し、実行完了フラグがた
てられた音声理解ルールについての実行完了フラグとそ
の抽出情報を理解結果１０として対話管理部８に出力す
る。そのため、実行完了フラグをたてる条件を、複数音
声理解ルール９Ａ中の各単語系列理解ルール同士で、排
他的に設定されている。

【００３７】図１に戻り対話管理部８は、シナリオ管理
部１２から送られる対話命令１３に従い、対話ルール１
１に則った手順で、音声合成部６を用いた応答音声出力
および音声認識理解部７を用いた入力音声の音声認識理
解を行うことで、対話命令１３で要求された被訓練者と
の対話を実行する。

【００３８】また該対話管理部８は、音声認識理解部７
から出力されるところの、入力音声が入力中であること
を示す入力検知信号２１と、音声合成部６から出力され
るところの、合成音声が出力中であることを示す出力検
知信号２２とを用いて、被訓練者との対話がスムーズに
進むように、音声入力中は音声合成出力を保留する。ま
た音声合成出力すなわち応答音声出力終了後しばらくは
次の音声合成出力を保留するといった制御も行う。

【００３９】図４に対話ルール１１の一例を、図５に対
話命令１３の一例を示す。対話ルール１１は図４の例の
ように、対話のタイプにあわせて、複数のルールで構成
されていてもかまわない。その場合、対話命令１３は、
対話管理部８で使用する対話ルール１１のタイプを指定
する記述を含む。

【００４０】対話管理部８は図５のような対話命令１３
を受け取ると、図４の対話ルール１１に記述された処理
ステップを順次実行していく。すなわち、まず対話ルー
ル１１のstep1として、対話命令１３に記述された初期
応答音声文“本は何冊で鉛筆は何本ですか？”を音声合
成部６へ送ることで、この応答文５を音声出力する。つ
いで、step2として、対話命令１３中の初期音声理解ル
ールを音声認識理解部７に送出し、被訓練者の音声入力
についての理解結果が、音声認識理解部７から戻ってく
るのを待つ(step3)。

【００４１】step4として、被訓練者からの音声入力に
対する理解結果１０で、抽出情報『本の数量』および
『鉛筆の数量』が得られたら、step8へ飛ぶ。抽出情報
が不足していたら、情報不足時の応答文フォーマットに
従って応答文５を作成し、step5で、この応答文５を音
声合成部６に送ることで、不足情報を要求する合成音声
を出力する。ついで、step6として、不足情報に対する
被訓練者の入力音声を受け付けるための音声理解ルール
９を音声認識理解部７に送出する。

【００４２】step7で、理解結果が音声理解部７−３、
７Ａ−３から返ってくるのを待つが、所定の時間が経っ
ても理解結果が返ってこない場合は、step5へ戻り、不
足情報を要求する音声合成を再度出力する。理解結果が
返ってきたらstep4へ戻り、再び理解結果における抽出
情報の不足をチェックする。

【００４３】step4で理解結果１０に抽出情報の不足が
なければstep8へ飛び、抽出情報と対話命令１３中の確
認応答文フォーマットによる確認応答文５を作成する。
step9でこの確認応答文５を音声合成部６へ出力するこ
とで、抽出情報に間違いがないかを確認する合成音声を
出力する。ついで、step10で、確認応答文５を音声合成
出力した場合の、被訓練者による音声入力対する音声理
解ルール９を音声理解部に送出する。

【００４４】step11で、理解結果１０が返ってくるのを
待つが、所定の時間が経っても返ってこない場合は、確
認応答文５に間違いがないとみなして、step12へ飛ぶ。
もし理解結果１０が返ってきたら、抽出情報が訂正され
ているので、step8に飛んで、新しい抽出情報による確
認応答文作成から繰り返す。step12では、対話命令１３
に対する対話の完了と抽出情報を、対話結果１４として
シナリオ管理部１２に出力し、対話命令１３に対する処
理を終了する。

【００４５】なお、対話管理部８は音声認識理解部７に
対し、上記のような音声理解ルール９だけでなく、現在
音声認識理解部７で実行中の音声理解処理を即時停止さ
せるコマンド(音声理解キャンセル)を送る場合もある。
これは、対話環境シミュレータ２０の内部状態の変化に
より、対話管理部８で進行中の対話管理処理を継続する
必要が無くなった場合に対応するためである。

【００４６】同様に、対話管理部８はシナリオ管理部１
２から上記のような対話命令１３を受け取る以外に、現
在実行中の対話管理処理を即時停止するコマンド(対話
管理キャンセル)を受け取る場合もある。その場合対話
管理部８は、音声認識理解部７に対し、前述した、即時
停止を意味するコマンドを送り、音声認識理解部７で実
行中の音声理解処理を停止させたのち、実行中の対話管
理処理をキャンセルし、処理停止をシナリオ管理部１２
に報告する。

【００４７】また、対話管理部８は、シナリオ管理部１
２から送られた複数の対話命令１３を同時並行処理して
もかまわない。この場合対話管理部８は、理解結果１０
をみてどの音声認識理解ルール９に対する理解結果かを
判断し、理解結果１０に対応しない音声理解ルール９を
音声認識理解部７に再送する動作を行う。

【００４８】例えば、図６および図７に例として示した
ような２個の対話命令１３を、対話管理部８が受け取っ
た場合、例えば対話命令名「本の数量入力」を持つ図６
の対話命令１３が先に、続いて、対話命令名「鉛筆の数
量入力」を持つ図７の対話命令１３が対話管理部８に入
ったとすると、先に図６の対話命令１３に基づく初期応
答音声文による「本は何冊ですか？」が音声合成部６よ
り出力される。

【００４９】すぐに被訓練者からの入力音声が入れば、
音声認識理解部７で理解処理が進むが、すぐに入力音声
が入らなかった場合は、図７の対話命令１３に基づく初
期応答音声文の「鉛筆は何本ですか？」が音声合成部６
より出力される。この場合、被訓練者は、どちらの初期
応答音声文に対する入力音声を入力しても、上述の対話
管理部８の処理に従い、対話命令１３に従った対話が実
行されることとなる。また、一方の対話が終了した後に
他方の対話を行うことも可能になる。

【００５０】また、複数の対話命令１３が時間差を持っ
て対話管理部９に送出される場合において、一個以上の
対話命令１３に対応して音声認識理解部７に送出した音
声理解ルール９もしくは複数音声理解ルール９Ａについ
ての理解結果１０が、音声認識理解部７から返ってこな
いうちに、次の対話命令１３がシナリオ管理部１２から
送られてきた場合、対話管理部８は、音声入力中でない
ことを入力検知信号２１で確認の上、上記の音声理解キ
ャンセルを音声認識理解部７に対し送出し、ついで、追
加された対話命令１３に対応する音声理解ルール９も含
めた複数音声理解ルール９Ａを、再度音声認識理解部７
に送出する。複数認識制約ルール９Ａ−１を用いない場
合は、音声理解キャンセルを送出しないままでもかまわ
ない。

【００５１】シナリオ管理部１２は、業務シナリオ１５
に記憶されているところのシナリオデータ１９に従っ
て、対話管理部８について対話命令１３の送出と対話結
果１４の取得を、シミュレータ管理部１６にはシミュレ
ータ割込要求１７とシミュレータ割込結果１８を、また
シナリオ管理部１２内部における種々の処理を実行する
ことで、業務に則った対話訓練を実行する。

【００５２】業務シナリオ１５中のシナリオデータ１９
には、対話管理部８に対する対話命令１３やシミュレー
タ管理部１６に対する割込要求１７、またシナリオ管理
部１２内部で行う内部処理などが、業務上のルールに従
う処理手順と共に記述されている。

【００５３】図８にシナリオデータ１９の一例を示す。
業務内容は、本や鉛筆の価格や在庫などを問い合わせる
もので、対話(業務)環境シミュレータ２０においてそれ
らの価格や在庫が時々刻々と変化するような状況を想定
している。

【００５４】シナリオ管理部１２の動作を、図８のシナ
リオデータ１９を例にとり説明する。シナリオ管理部１
２の処理は図８のＳＴＡＲＴから処理を始める。ここで
はまず最初に番号１が付された矢印の処理だけを行う場
合について説明する。ここで行われる一連の処理は、あ
る品目の価格を調査する対話業務を表したものである。

【００５５】この場合、シナリオ管理部１２はまず最初
に、対話命令名「価格調査」が付された対話命令１３に
ついての処理として、この対話命令１３を対話管理部８
に送る。価格調査する対象となる品目を被訓練者が音声
入力すれば、この対話命令１３に対する結果(対話結果
１４)が対話管理部８から帰ってくる(Ｓ１)。

【００５６】ついで、シナリオ管理部１２は、この対話
命令１３が返ってきた後に続く２つの処理、すなわち、
割込命令名「価格変動監視停止」と割込命令名「価格情
報」をシミュレータ割込要求１７としてシミュレータ管
理部１６に送る。割込命令名「価格変動監視停止」なる
シミュレータ割込要求１７は、シミュレータ管理部１６
で、価格調査する対象の品目についてその価格の変動を
監視するシミュレータ割込要求１７が動作していた場
合、その動作を停止させるものである。割込命令名「価
格情報」なるシミュレータ割込要求１７は、価格調査す
る対象品目の現在の価格を環境シミュレータ２０から読
みとらせ、シミュレータ割込結果１８としてシナリオ管
理部１２に返させるものである(Ｓ２，Ｓ３)。

【００５７】割込命令名「価格情報」の処理が完了した
後に続く処理は、割込命令名「価格変動監視開始」なる
シミュレータ割込要求(命令)と、対話命令名「価格報
告」なる対話命令１３である。割込命令名「価格変動監
視停止」の処理に直接後続する処理はない(点線の矢印
は処理の関連性を示している)。対話命令名「価格報
告」なる対話命令１３は、価格調査の対象品目と、先の
シミュレータ割込要求１７「価格情報」に対するシミュ
レータ割込結果１８から得られた価格を反映した応答文
５を音声合成出力させるものである(Ｓ４)。

【００５８】割込命令名「価格変動監視開始」なるシミ
ュレータ割込要求１７は、価格調査の対象品目につい
て、先のシミュレータ割込要求１７「価格情報」に対す
るシミュレータ割込結果１８から得られた価格が変動し
たことを、その品目をシミュレータ割込結果１８として
シナリオ管理部１２に返させるものである。前述の、割
込命令名「価格変動監視停止」なるシミュレータ割込命
令(要求)から出ている点線の矢印は、処理が直接後続す
る事はないが、「価格変動監視開始」なるシミュレータ
割込命令(要求)のための前処理となっていることを表し
ている(Ｓ５)。

【００５９】対話命令名「価格変動報告」なる対話命令
１３に対する対話結果１４(この場合音声出力完了を表
す)がシナリオ管理部１２に入力されると、再び対話命
令名「価格調査」なる対話命令１３が対話管理部８に送
出される。

【００６０】「価格変動監視開始」なるシミュレータ割
込要求１７に対するシミュレータ管理部１６からの出力
であるシミュレータ割込結果１８があれば、これに後続
する処理である、対話命令名「価格変動報告」なる対話
命令１３が対話管理部８に送られる。対話命令名「価格
変動報告」なる対話命令１３は、価格の変動を監視して
いた品目を反映した応答文５を音声合成出力させるもの
である(Ｓ６)。

【００６１】以上のような動作をすることで、いったん
価格調査した品目の価格の変動が報告された時、速やか
に価格の再調査を行うという業務訓練が行えることとな
る。

【００６２】また、音声認識理解部７が、前述のように
複数の音声理解ルール９の入力を許し、かつ対話管理部
８も前述のように、複数の対話命令１３に対応している
場合、シナリオ管理部１２は、図８のＳＴＡＲＴにおい
て、番号１が付された処理だけでなく、同時に番号２お
よび３の処理を行ってもかまわない。番号２になる一連
の処理は、ある品目の在庫を調査する対話業務を(Ｓ７
〜Ｓ１０)、番号３になる一連の処理は、ある品目の必
要数量を音声入力する対話業務を(Ｓ１１〜Ｓ１４)表し
ている。

【００６３】この場合、シナリオ管理部１２は、対話命
令名「価格調査」なる対話命令と、対話命令名「在庫調
査」なる対話命令、対話命令名「必要数量」なる対話命
令の３つの対話命令１３を対話管理部８に送出する。被
訓練者が、これらの対話命令のどれに対する音声入力を
行っても、その音声入力に対応する処理が音声認識理解
部７や対話管理部８で行われ、その対話結果１４がシナ
リオ管理部１２に返される。

【００６４】シナリオ管理部１２は、対話結果１４が返
された処理に後続する対話命令１３やシミュレータ割込
要求１７などの処理を行っていくが、対応する音声入力
が行われなかった対話命令も、対話管理部８においてま
だ音声入力を待っている状態にあり、対応する音声入力
があればその対話結果１４をシナリオ管理部１２に返せ
る状態にある。

【００６５】このため被訓練者は、先に音声入力した対
話命令１３に対応する対話を続けるだけでなく、他の対
話命令１３に対応する音声入力をいつでも行うことがで
き、例えば、先の例のようにある品目の価格を調査する
業務を行った後、残りの業務対話を進めている途中で、
先に調査した品目の価格が変動したことを報告された場
合、即座にその品目の価格を再調査することができる。

【００６６】この発明は、以上述べたように構成され動
作することにより、従来の対話訓練装置では実現が困難
であった、より現実の業務に近い対話訓練が行えるよう
になっている。

【００６７】すなわち、業務対話も含めた業務全体の環
境をシミュレートする対話環境シミュレータと、シナリ
オ管理部からの指示に従い、このシミュレータの内部状
態を操作、監視、情報読みとりを行うシミュレータ管理
部と、シナリオ管理部からの指示により、人間の代わり
に被訓練者と音声による対話を行い対話の結果を出力す
る対話管理部と、業務に則ったシナリオを、シミュレー
タ管理部や対話管理部への命令の組み合わせで表現した
業務シナリオを持つことで、従来の対話訓練システムの
ように対話訓練に現れる被訓練者の発話や訓練システム
側の応答音声を網羅的に記述する必要がなくなり、か
つ、時々刻々と変化する業務環境の影響による業務対話
の変化も含めた業務対話訓練が行えるようになってい
る。

【００６８】また、複数の対話命令を受け付けられる対
話管理部と複数の音声理解ルールを受け付ける音声認識
理解部を備えることで、複数の業務についての訓練が同
時並行的に行えるようになっており、より現実の業務に
近い訓練が行えるようになっている。

【００６９】なお、この発明は、上述のような機能ブロ
ックで示した装置をソフトウェアにより実現することに
限定されるものではなく、この発明を構成する各要素と
同等の機能を果たすハードウェアにより実現してよい。
またソフトウェアで実現する場合に、ソフトウェアを保
存する状態や媒体は、これを限定しない。

【００７０】

【発明の効果】以上のようにこの発明によれば、音声認
識理解手段が、被訓練者が発声した入力音声に対し、音
声入力中であることを表す入力検知信号を出力すると共
に、対話管理手段から送出される音声理解ルールに従っ
て音声認識理解処理を行い理解結果を出力し、音声合成
手段が、対話管理手段から送出される応答文に従って合
成音声を出力すると同時に、合成音声出力中であること
を示す出力検知信号を対話管理手段に出力し、対話管理
手段が、対話業務における対話ルールに従って、音声認
識対話手段に対しては音声理解ルールを送ることで、音
声合成手段に対しては応答文を送ることで、シナリオ管
理手段から送出される対話命令に応じた被訓練者との対
話を行い、対話環境シミュレータが、被訓練者が訓練す
るところの業務全体をシミュレートし、被訓練者に対し
実際の業務と等しい環境を与え、シミュレータ管理手段
が、シナリオ管理手段から送出されるシミュレータ割込
要求に従って、対話環境シミュレータの内部状態を調
査、操作、監視を行い、その結果をシミュレータ割込結
果としてシナリオ管理手段に送出し、シナリオ管理手段
が、業務シナリオ内のシナリオデータに記述された、対
話管理手段に対する対話命令やシミュレータ管理手段に
対するシミュレータ割込要求、また、対話管理手段から
返される対話結果やシミュレータ管理手段から返される
シミュレータ割込結果に基づいて、次の命令の送出を行
うことで、被訓練者に対する業務訓練を行うことを特徴
とする対話訓練装置およびこれに基づく対話訓練方法に
ある。また、前記音声認識理解手段が、対話訓練装置に
おいて、入力音声に対し音響分析を行い、音声が入力中
であることを示す入力検知信号を対話管理手段に出力す
ると共に、音響分析の結果得られる特徴ベクトル時系列
を出力する音響分析手段と、この音響分析手段の出力す
る特徴ベクトル時系列に対し、対話管理手段から送られ
る音声理解ルールに含まれる認識制約ルールを用いて音
声認識処理を行い、一個もしくは複数の単語の系列を認
識結果として出力する音声認識手段と、この音声認識手
段の出力する音声認識結果に対し、対話管理手段から送
られる音声理解ルールに含まれる単語系列理解ルールを
用いて、内容の理解を行い、理解結果として出力する音
声理解手段と、を含むことを特徴とする。これにより、
従来の対話訓練システムのように対話訓練に現れる被訓
練者の発話や訓練システム側の応答音声を発生しうるも
のを全て網羅して記述する必要がなくなり、かつ、時々
刻々と変化する業務環境の影響による業務対話の変化も
含めた業務対話訓練が行える。

【００７１】また、前記音声認識理解手段の音声理解手
段が、対話管理手段から複数の音声理解ルールを受け取
り、音声認識手段の出力する音声認識結果に対し、複数
の音声理解ルールに含まれる複数の単語系列理解ルール
をそれぞれを用いて理解処理を実行し、理解結果が得ら
れた単語系列理解ルールに対応する理解結果だけを送出
する複数ルール型音声理解手段であることを特徴とす
る。さらに前記音声認識理解手段の音声認識手段が、対
話管理手段から複数の音声理解ルールを受け取り、音響
分析手段の出力する特徴ベクトル時系列に対し、複数の
音声理解ルールに含まれる複数の認識制約ルールを包括
する認識制約ルールを用いて音声認識処理を行い、一個
もしくは複数の単語の系列を認識結果として出力する複
数制約型音声認識手段であることを特徴とする。これに
より複数の業務についての訓練が同時並行的に行え、よ
り現実の業務に近い訓練が行える。

【図面の簡単な説明】

【図１】 この発明の一実施の形態による対話訓練装置
の構成を示すブロック図である。

【図２】 この発明による音声認識理解部の一構成例を
示した図である。

【図３】 この発明による音声認識理解部の別の構成例
を示した図である。

【図４】 この発明による対話ルールの一例を示した図
である。

【図５】 この発明による対話命令の一例を示した図で
ある。

【図６】 この発明による対話命令を説明するための図
である。

【図７】 この発明による対話命令を説明するための図
である。

【図８】 この発明によるシナリオデータの一例を示し
た図である。

【図９】 従来の言語情報装置において示された方式に
基づく対話訓練装置の構成を示す図である。

【図１０】 従来の対話シナリオデータベースの一例を
示す図である。

【符号の説明】

５ 応答文、６ 音声合成部、７ 音声認識理解部、８
対話管理部、９ 音声理解ルール、１０ 理解結果、
１１ 対話ルール、１２ シナリオ管理部、１３ 対話
命令、１４ 対話結果、１５ 業務シナリオ、１６ シ
ミュレータ管理部、１７ シミュレータ割込要求、１８
シミュレータ割込結果、１９ シナリオデータ、２０
対話環境シミュレータ、２１ 入力検知信号、２２
出力検知信号。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 音声認識理解手段と、音声合成手段と、
   対話管理手段と、対話環境シミュレータと、シミュレー
   タ管理手段と、シナリオ管理手段とを備え、 前記音声認識理解手段が、被訓練者が発声した入力音声
   に対し、音声入力中であることを表す入力検知信号を出
   力すると共に、対話管理手段から送出される音声理解ル
   ールに従って音声認識理解処理を行い理解結果を出力
   し、 前記音声合成手段が、対話管理手段から送出される応答
   文に従って合成音声を出力すると同時に、合成音声出力
   中であることを示す出力検知信号を対話管理手段に出力
   し、 前記対話管理手段が、対話業務における対話ルールに従
   って、音声認識対話手段に対しては音声理解ルールを送
   ることで、音声合成手段に対しては応答文を送ること
   で、シナリオ管理手段から送出される対話命令に応じた
   被訓練者との対話を行い、 前記対話環境シミュレータが、被訓練者が訓練するとこ
   ろの業務全体をシミュレートし、被訓練者に対し実際の
   業務と等しい環境を与え、 前記シミュレータ管理手段が、シナリオ管理手段から送
   出されるシミュレータ割込要求に従って、対話環境シミ
   ュレータの内部状態を調査、操作、監視を行い、その結
   果をシミュレータ割込結果としてシナリオ管理手段に送
   出し、 前記シナリオ管理手段が、業務シナリオ内のシナリオデ
   ータに記述された、対話管理手段に対する対話命令やシ
   ミュレータ管理手段に対するシミュレータ割込要求、ま
   た、対話管理手段から返される対話結果やシミュレータ
   管理手段から返されるシミュレータ割込結果に基づい
   て、次の命令の送出を行うことで、被訓練者に対する業
   務訓練を行う、 ことを特徴とする対話訓練装置。
2. 【請求項２】 前記音声認識理解手段が、 対話訓練装置において、入力音声に対し音響分析を行
   い、音声が入力中であることを示す入力検知信号を対話
   管理手段に出力すると共に、音響分析の結果得られる特
   徴ベクトル時系列を出力する音響分析手段と、 この音響分析手段の出力する特徴ベクトル時系列に対
   し、対話管理手段から送られる音声理解ルールに含まれ
   る認識制約ルールを用いて音声認識処理を行い、一個も
   しくは複数の単語の系列を認識結果として出力する音声
   認識手段と、 この音声認識手段の出力する音声認識結果に対し、対話
   管理手段から送られる音声理解ルールに含まれる単語系
   列理解ルールを用いて、内容の理解を行い、理解結果と
   して出力する音声理解手段と、 を含むことを特徴とする請求項１に記載の対話訓練装
   置。
3. 【請求項３】 前記音声認識理解手段の音声理解手段
   が、対話管理手段から複数の音声理解ルールを受け取
   り、音声認識手段の出力する音声認識結果に対し、複数
   の音声理解ルールに含まれる複数の単語系列理解ルール
   をそれぞれを用いて理解処理を実行し、理解結果が得ら
   れた単語系列理解ルールに対応する理解結果だけを送出
   する複数ルール型音声理解手段であることを特徴とする
   請求項２に記載の対話訓練装置。
4. 【請求項４】 前記音声認識理解手段の音声認識手段
   が、対話管理手段から複数の音声理解ルールを受け取
   り、音響分析手段の出力する特徴ベクトル時系列に対
   し、複数の音声理解ルールに含まれる複数の認識制約ル
   ールを包括する認識制約ルールを用いて音声認識処理を
   行い、一個もしくは複数の単語の系列を認識結果として
   出力する複数制約型音声認識手段であることを特徴とす
   る請求項２に記載の対話訓練装置。
5. 【請求項５】 被訓練者が発声した入力音声に対し音声
   理解ルールに従って音声認識理解処理を行い理解結果を
   発生する第１の工程と、 入力される応答文に従って合成音声を発生する第２の工
   程と、 対話業務における対話ルールに従って前記第１の工程に
   音声理解ルールを、第２の工程に応答文を供給すること
   で、入力される対話命令に応じた被訓練者との対話を行
   う第３の工程と、 被訓練者が訓練するところの業務全体をシミュレートし
   被訓練者に対し実際の業務と等しい環境を与える第４の
   工程と、 入力されるシミュレータ割込要求に従って、前記第４の
   工程の状態を調査、操作、監視を行い、その結果をシミ
   ュレータ割込結果として発生する第５の工程と、 業務シナリオ内のシナリオデータに記述された、前記第
   ３の工程に対する対話命令、前記第５の工程に対するシ
   ミュレータ割込要求、および入力される対話結果並びに
   シミュレータ割込結果に基づいて、次の対話命令やシミ
   ュレータ割込要求の送出を行うことで、被訓練者に対す
   る業務訓練を行う第６の工程と、 を備えたことを特徴とする対話訓練方法。
6. 【請求項６】 前記第１の工程が、 入力音声に対し音響分析を行い、音響分析の結果得られ
   る特徴ベクトル時系列を発生する第７の工程と、 該特徴ベクトル時系列に対し、入力される音声理解ルー
   ルに含まれる認識制約ルールを用いて音声認識処理を行
   い、一個もしくは複数の単語の系列を認識結果として発
   生する第８の工程と、 該認識結果に対し、入力される音声理解ルールに含まれ
   る単語系列理解ルールを用いて、内容の理解を行い、理
   解結果を発生する第９の工程と、 を含むことを特徴とする請求項５に記載の対話訓練方
   法。
7. 【請求項７】 前記第９の工程において、複数の音声理
   解ルールを受け取り、前記第８の工程が発生する認識結
   果に対し、複数の音声理解ルールに含まれる複数の単語
   系列理解ルールをそれぞれを用いて理解処理を実行し、
   理解結果が得られた単語系列理解ルールに対応する理解
   結果だけを発生することを特徴とする請求項６に記載の
   対話訓練方法。
8. 【請求項８】 前記第８の工程において、複数の音声理
   解ルールを受け取り、前記第７の工程の発生する特徴ベ
   クトル時系列に対し、複数の音声理解ルールに含まれる
   複数の認識制約ルールを包括する認識制約ルールを用い
   て音声認識処理を行い、一個もしくは複数の単語の系列
   を認識結果として発生することを特徴とする請求項６に
   記載の対話訓練方法。