JP2002297179A

JP2002297179A - 自動応答対話システム

Info

Publication number: JP2002297179A
Application number: JP2001095061A
Authority: JP
Inventors: Sachiko Onodera; 佐知子小野寺; Ei Ito; 映伊藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-03-29
Filing date: 2001-03-29
Publication date: 2002-10-11

Abstract

(57)【要約】【課題】本発明は装置側からのシステム発話に対して入
力されるユーザ発話の音声を認識してデータを得る自動
応答対話システムに関し，未知語を処理するために余計
な知識を用意することなく，確実に自動応答対話を完結
することとその後の処理が短時間で行うことを目的とす
る。【解決手段】ユーザ発話の中で認識できないことが検出
された未知語の音声データをその属性情報に対応して保
持し，前記保持した未知語音声データをシステム発話に
おいて，ユーザへの発話中で使用するよう構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はテレマーケティング
分野で設けられたコールセンタ等で利用される自動応答
対話システムに関する。

【０００２】近年，電話等によりユーザからの注文や，
各種のアンケート等を音声により自動応答しながら音声
による入力を認識して受け付けて予約，販売等の各種の
処理を行うシステムが広く利用されている。その場合，
ユーザから入力される音声を迅速，且つ正確に認識する
ことで，適格な応答を行うことで，注文等の処理が進め
ることができるが，全ての音声を常に認識することはで
きない。

【０００３】

【従来の技術】これまでに提案されてきた自動応答シス
テムでは，入力可能な語句を認識辞書として用意し，そ
の語句とのマッチングを行うという音声認識エンジンを
利用する方式が一般的である。その場合，認識辞書にな
い未知語が発話されると，認識不可能となり，それ以上
対話を遂行することができなかった。

【０００４】図９は一般的な自動応答対話システムの構
成を示す。図中，８０は自動応答対話システム，８１は
発話入力部，８２は音声認識部，８３は認識辞書とグラ
マ（文法等のルール）の格納部，８４はユーザに対して
入力すべき事項を音声で出力するのに対し，ユーザから
の入力を認識した結果を受け取って次にユーザに対して
応答または指示を表すメッセージを出力する管理を行う
対話管理部，８５は対話用ワーキングメモリ，８６はユ
ーザに対する応答を出力するシステム応答出力部，８６
０はテキストに対応する音声を出力する音声合成部であ
る。

【０００５】図９において，自動応答対話システム８０
に対し，電話等を介してユーザ発話が発話入力部８１に
入力すると，音声認識部８２において，認識辞書やグラ
マ（文法等のルール）の格納部８３を参照しながら音声
認識が行われる。この認識結果は対話管理部８４に送ら
れ，認識した内容に対応した新たなシステム応答内容
（テキスト）を対話用ワーキングメモリ８５の中の対応
管理フォームを参照しながら作成して，システム応答出
力部８６に供給される。システム応答出力部８６はその
システム応答内容を音声合成部８６０に供給すると，テ
キストから音声が合成されてユーザに対してシステム応
答として出力される。以下，ユーザ発話とシステム応答
のやりとりを行うことで，処理が進められる。

【０００６】上記した従来の自動応答対話システムにお
いて，認識辞書にない未知語が発話されると，対話管理
部に，認識結果として認識不能という結果が与えられ，
システム応答として再入力を指示する応答を出力するこ
とになる。この場合，何度も入力を行うと，ユーザが入
力を止めて，取り引きが成立しないという結果になる可
能性が高い。

【０００７】このような未知語が検出された場合の問題
を解決するための従来の一手法が，特開平７−５８９１
号公報に記載されている。その方法では，未知語を検出
するとその前後の対話態様からどのような語句か推定
し，辞書を置き換えて再評価したり，未知語が認識語彙
となるような答えを誘導する問いを発生し，この誘導さ
れた答えにより未知語が認識語彙となったところで未知
語部分の再評価をして，ユーザが再度同じ答えを発声す
る必要をなくすようにしている。

【０００８】

【発明が解決しようとする課題】上記従来の特開平７−
５８９１号公報に開示された未知語を検出した時の方法
では，認識語の前後に並ぶ属性を示したルールを利用
し，知識データを用いて未知語の属性を決めたり，新た
な問いを発生しているが，そのためにいくつかの背景，
ドメイン依存知識を用意しなければならないという問題
があった。

【０００９】本発明は未知語を処理するために余計な知
識を用意することなく，確実に自動応答対話を完結する
こと（処理時間の削減）とその後の処理が短時間で行う
ことができる自動応答対話システムを実現することを目
的とする。

【００１０】

【課題を解決するための手段】図１は本発明の原理構成
を示す。図中，１は本発明による自動応答対話システ
ム，１０は発話入力部，１１は音声認識部，１２は認識
辞書とグラマ（文法等の規則）を格納した辞書格納部，
１３は音声データ処理部，１４は入力した音声データを
そのまま格納する音声データ格納部，１５は未知語の音
声データを格納した未知語データベース，１６は対話管
理部，１７は対話用ワーキングメモリ，１８はシステム
応答出力部，１８ａは音声合成部，１８ｂはシステム音
声再生部である。

【００１１】本発明では，未知語を処理するために余計
な知識を用意することなく，未知語を特に解決しようと
するのではなく，未知語を未知語のまま利用すること
で，自動応答対話の実現を行う方法を示している。自動
応答対話システムを実用化する目的として処理時間の削
減，処理人件費の削減を挙げることができることから，
確実に自動対話が完結して処理時間を削減し，その後の
処理が人手ではあっても短時間で実行できて人件費を削
減できることを特徴としている。

【００１２】システム主導型（システムから出力された
問いに対しユーザが応答を行う形式）の音声応答対応シ
ステムでは，ユーザ発話直前までの対話内容から，ユー
ザが発話するであろう語句，語句の並びが特定できる。
このため，認識語の前後に並ぶ語の属性を示すルールを
予め用意し，未知語の直前または直後の認識語が得られ
れば，用意してあるルールと照合することで，先の手段
で検出した未知語の属性を推定することができる。ルー
ルとしては，ワードスポッティング（認識したい対象と
して予め「名前」と「住所」を入力することが分かって
いる場合，入力音声から認識したい「名前」と「住所」
の音声区間だけを探して，マッチするものがあると，そ
れを認識する方法）や，任意の語句を指し示す記号を導
入したルールの記述を行うことができる連続音声認識エ
ンジンを利用する。このようにして，認識以外の音声区
間を未知語音声データとして容易に検出できる。

【００１３】図１の動作を説明すると，発話入力部１０
に入力したユーザ発話は，音声認識部１１において，辞
書格納部１２を参照しながら音声認識を行う。この時，
音声認識部１１で認識できた語句と認識できなかった未
知語とがあるが，何れの場合にも認識対象語句の判別さ
れた属性（上記のワードスポッティングによる）と，認
識対象語句（未知語と認識した語の何れでも）の音声デ
ータ（デジタル化した音声信号）及び認識した語（認識
語という）の認識結果であるテキストデータとが音声認
識部１１から音声データ処理部１３へ出力すると共に，
認識結果（テキストデータ）と未知語音声データを対話
管理部１６へ出力する。対話管理部１６は対話管理フォ
ームを格納した対話用ワーキングメモリ１７を参照しな
がら，次にこのシステムからユーザに対して応答すべき
内容（システム応答内容）をシステム応答出力部１８へ
供給する。

【００１４】このシステム応答出力部１８は，システム
応答内容としてテキストデータが入力すると，音声合成
部１８ａにおいて音声合成を行い，ユーザ発話により入
力した情報を，確認発話（ユーザが入力した音声の認識
結果をユーザに伝えて確認するための発話）としてシス
テムから出力する必要がある場合，保持している未知語
の音声データを音声データ格納部１４から取り出してシ
ステム音声再生部１８ｂで音声に変換してシステム応答
としてユーザへ送られる。また，未知語の音声データは
属性と共に音声データ格納部１４から未知語データベー
ス１５に蓄積される。この時，未知語の音声データだけ
でなく，認識語（テキストデータが発生）についても音
声データを，システム音声再生部１８ｂから出力するこ
ともできる。

【００１５】

【発明の実施の形態】図２に未知語の属性推定の例を示
し，本発明において未知語の属性をこの例に示す原理に
より判定する。図２の例１は，認識すべき語句が「姓」
「名」で，ユーザが「“姓”“名”」と発話することを
システム発話（システムから発生する音声）により要求
した時に，ユーザが「源五郎丸太郎です」という音声を
入力した例である。この場合，自動応答対話システム
は，「源五郎丸」の音声が未知語であることを検出する
と，その後に続く「太郎」という音声が，「名」を表す
（属性）の語句として認識することができると，その直
前の未知語の属性が“姓”であることが判別できる。ま
た，図２の例２では，認識すべき語句が「姓」で，ユー
ザが「“姓”さん」と発話することをシステム発話で要
求した時に，ユーザが「源五郎さんだよ」という音声を
入力した例である。この場合，自動応答対話システムで
は，未知語の後に続く語が「さん」であることから，直
前の未知語の属性が“姓”であると判断できる。

【００１６】図３は実施例１のフローチャート，図４は
実施例２のフローチャートであり，この実施例１，実施
例２はいずれも上記図１に示す第１の原理構成において
実行され，実施例１は未知語についてだけ音声データを
確認発話に使用するのに対し，実施例２は未知語だけで
なく認識語についても音声データを確認発話に使用す
る。

【００１７】なお，この図３，図４のフローチャート
は，コンピュータ（情報処理装置）の記憶装置に格納さ
れたプログラムにより実行される。

【００１８】図３の実施例１のフローチャートを説明す
ると，自動応答対話システムからユーザに対して特定の
業務のためのシステム発話をユーザに対して開始し（図
３のＳ１），そのシステム発話に対応してユーザから入
力されることが予定される事項に対応する対象認識辞書
を音声認識のため用意する（同Ｓ２）。続いてユーザか
らの発話が入力されると（図３のＳ３），ワードスポッ
ティングで音声認識を行い（同Ｓ４），認識が成功した
か判別する（同Ｓ５）。認識が成功しない場合，未知語
音声を切り出し（図３のＳ６），ワードスポッティング
を用いて未知語音声の属性を特定し（同Ｓ７），音声デ
ータをそのまま属性に対応する対話用ワーキングメモリ
のフィールドに登録する（同Ｓ８）。また，認識が成功
した場合，認識結果（認識した音声の内容を表すテキス
トデータ）を対話用ワーキングメモリに登録する（図３
のＳ９）。続いて，対話が終了したか判別し（図３のＳ
１０），終了すると対話処理が終了するが，対話が継続
する場合，対話用ワーキングメモリに今埋めた情報が認
識結果（テスキトデータ）であれば，テキスト音声合成
で音声を再生し，未知語であればその音声データ（対話
用ワーキングメモリに記録）をそのまま再生して確認発
話を生成する（同Ｓ１１）。

【００１９】この場合のシステムからの確認発話は，上
記の図２の例１の場合に，「源五郎丸」という姓の属性
であることは判別できているが音声認識ができない未知
語であることを検出し，「太郎」という名を音声認識し
た場合に，「源五郎丸」という音声データを再生して，
「さんですね」という語句を音声合成により付加して，
「源五郎丸さんですね」というメッセージとすることが
できる。

【００２０】次に図４に示す実施例２のフローチャート
を説明する。

【００２１】この実施例２では，対話処理開始によりシ
ステム発話を行って（図４のＳ１）その後，ユーザ発話
について音声認識が成功したかの判別するまでのフロー
（図４のＳ５）は，上記図３の実施例１と同様である。
このステップＳ５の判別で，認識が成功しなかった場合
のＳ６〜Ｓ８の動作も実施例１のＳ６〜Ｓ８と同じであ
り説明を省略する。ステップＳ５で音声認識が成功した
場合，認識結果（テキストデータ）および認識語句音声
データを対話用ワーキングメモリに登録する（図４のＳ
９）。続いて，対話が終了したか判別し（図４のＳ１
０），終了しない場合，対話用ワーキングメモリに今埋
めた情報の音声データをそのまま再生して確認発話を生
成し（同Ｓ１１），Ｓ１に戻ってシステム発話が行われ
る。

【００２２】この実施例２では，音声認識が成功した場
合と音声認識に失敗した場合の何れの場合にも音声デー
タを登録して，確認発話を生成する時には音声データを
再生する点で，実施例１のように音声認識に失敗した場
合だけ音声データを再生する方法と異なる。この実施例
２の方法により，未知語のみをシステム発話に利用する
場合に比べて，認識語もシステム発話に利用することに
よって，ユーザが未知語と認識語の差を意識しないで利
用することができる。

【００２３】図５は実施例３の構成図であり，上記図１
に示す基本構成を改良したものである。図中，１ａはこ
の実施例３の自動応答対話システム，１０〜１８は上記
図１の同一符号の各部に対応し，１０は発話入力部，１
１は音声認識部，１２は辞書格納部，１３は音声データ
処理部，１４は音声データ格納部，１５は未知語の音声
データを格納した未知語データベース，１６は対話管理
部，１７は対話用ワーキングメモリ，１８はシステム応
答出力部であり，音声データ格納部１４の音声をシステ
ム応答として出力する場合は音声再生手段により行な
い，対話管理部１６からのテキストデータを出力する場
合は，音声合成手段により行なう。１９は辞書登録部，
２０は格納音声データ再生部である。

【００２４】図５の基本的な動作は上記図１と同様であ
り，ユーザ発話を受け取って，システム応答をユーザに
出力する時，認識語句と認識できない未知語の何れの場
合も，その情報をシステム応答出力部１８からのシステ
ム応答において出力する必要があると，音声データ格納
部１４の音声データが出力される。この図５の構成で
は，音声データ格納部１４から未知語が未知語データベ
ース１５に蓄積された状態で，オペレータはシステムの
中断時，または別システムで蓄積された未知語の音声デ
ータだけを格納音声データ再生部２０から音声として出
力させる。これを聞いたオペレータは，辞書登録部１９
からその語彙を属性に対応した辞書格納部１２の認識辞
書に登録する。

【００２５】この実施例３の構成により，オペレータは
対話内容を全部繰り返し聞きなおすのではなく，未知語
となった部分のみを聞けばよいので，全ての対話を聞き
直して辞書をメンテナンスするよりも効率が上がる。こ
れを繰り返すことによって，以前未知語であった語彙が
会話に現れても，次からは認識されて認識語として処理
できるようになり，システムの機能を向上することがで
きる。

【００２６】本発明による自動応答対話システムの具体
例を説明する。この例は，パソコン購入したときに，姓
名，住所，電話，マシン機種を電話で登録するような自
動応答対話による登録システムを上記図５に示す構成に
より構築したものとする。

【００２７】図６は登録システムに必要な情報フォーム
の構成であり，対話用ワーキングメモリ（図５の１７）
に格納されている。この例は，ユーザから入力する必要
のある情報として，登録者の「姓」，「名」，「住
所」，「電話番号」，「マシン機種」等が設定されてお
り，これらの情報を順番に埋めることによって対話が完
結される。

【００２８】まず，登録システムがフォームの“登録者
姓”と“登録者名”を埋めるために以下の発話を行う。
「お客様のお名前をおっしゃってください」このとき，
音声認識エンジンの認識辞書にあらかじめ，日本人の
「姓」「名」の辞書が登録されており，図７に認識辞書
の構成例を示す。

【００２９】ワードスポッティングでは「姓」「名」の
データベース（ＤＢ）が認識辞書に登録され，認識が行
われる。ユーザからの「田中花子」という音声入力に対
しては「姓」の辞書から「田中」が，「名」の辞書から
「花子」が認識される。

【００３０】辞書にないよう姓名，例えば「トーマス花
子」のような名前では，「名」の辞書から「花子」は認
識されるが，「トーマス」が辞書にないと「姓」を認識
できない。しかし，その直前の発話から，取得できなか
った情報が「姓」であることがわかる。このような自動
応答対話による登録システムの処理フローを図８に示
し，以下に概説する。

【００３１】システム発話が実行されると（図８のＳ
１），対象認識辞書を音声認識のために用意する（同Ｓ
２）。この場合には，姓と名の辞書を用意する。ユーザ
が発話入力すると（図８のＳ３），入力音声をワードス
ポッティングにより音声認識する（同Ｓ４）。認識が成
功したか判別し（図８のＳ５），認識できなかった場合
にはできなかった部分を未知語音声データとして切出し
（同Ｓ６），未知語音声の属性を特定し（同Ｓ７），音
声データをその属性に対応する対話用ワーキングメモリ
（図５の１７）のフィールドに登録する（同Ｓ８）。続
いて未知語データベースに属性と音声データを登録する
（図８のＳ９）。

【００３２】ワードスポッティングにより，認識できた
場合には，その認識結果を対話用ワーキングメモリの
“登録者名”に登録し（図８のＳ１０），次に対話が終
了したか判別して（同Ｓ１１），終了した場合は対話処
理を終了し，終了しない場合は対話用ワーキングメモリ
に今埋めた情報を確認する発話を生成し（同Ｓ１２），
Ｓ１に戻ってシステム発話を行う。

【００３３】上記ステップＳ１２では，認識結果が得ら
れた場合には音声合成により音声再生を行ってもよい
が，認識結果が得られた場合にも音声データを切出し，
それを再生させる（上記図４の処理フロー）ことも可能
であり，その方がアプリケーションとしてのバランスが
とれる。

【００３４】辞書の再登録処理は，一連の対話を終了し
た時点でシステムを中断させる，あるいは，別スレッド
（別プロセス）で動作させる。未知語データベース（図
５の１５）に登録されている未知語音声データを再生
し，その音声データをオペレータが聞き取り，その語彙
と属性を辞書登録部（図５の１９）から認識辞書に登録
する。登録され音声認識時に利用されるようになった以
降は，その語彙は認識可能となる。このようにして，必
要な認識語を増やしていくことができる。

【００３５】（付記１）装置側からのシステム発話に
対して入力されるユーザ発話の音声を認識してデータを
得る自動応答対話システムにおいて，ユーザ発話の中で
認識できないことが検出された未知語の音声データをそ
の属性情報に対応して保持し，前記保持した未知語音声
データをシステム発話において，ユーザへの発話中で使
用することを特徴とする自動応答対話システム。

【００３６】（付記２）装置側からのシステム発話に
対して入力されるユーザ発話の音声を認識してデータを
得る自動応答対話システムにおいて，ユーザ発話の中で
認識できないことが検出された未知語の音声データをそ
の属性情報に対応して保持すると共に，音声認識によっ
て認識できた認識語に対応する音声データも属性情報と
共に保持し，システム発話にこの入力音声データを利用
することを特徴とする自動応答対話システム。

【００３７】（付記３）ユーザ発話の中に検出した未
知語の音声データを未知語の属性情報をもとに対話処理
に必要な情報として保持する音声データ格納部を備え，
前記音声データ格納部に格納されている音声データをシ
ステム発話として再生出力するシステム応答出力部を有
することを特徴とする自動応答対話システム。

【００３８】（付記４）付記１乃至３のいずれかにお
いて，音声認識部で使用する認識辞書に新たな語句を登
録するための辞書登録部を設け，前記音声データ格納部
に格納されている未知語音声データを音声に再生して出
力する格納音声データ再生部と，前記再生された音声出
力に対応して入力された語彙を表すデータを前記辞書登
録部から前記認識辞書に登録することを特徴とする自動
応答対話システム。

【００３９】

【発明の効果】本発明によれば，自動応答対話システム
において音声認識ができない未知語が現れた場合にも，
それ以上自動応答を継続することが可能となる。また，
未知語だけでなく，認識語についても，音声データを再
生してユーザに発話することにより，ユーザは未知語と
認識語の差を意識しないで利用することができる。

【００４０】未知語が何であるかを検出し再登録するこ
とによってシステムの機能を向上することができる。ま
た，そのための工数も，すべての発話内容を聞きなおす
わけではないので効率よくメンテナンスが行える。

【図面の簡単な説明】

【図１】本発明の原理構成を示す図である。

【図２】未知語の属性推定の例を示す図である。

【図３】実施例１の処理フローを示す図である。

【図４】実施例２の処理フローを示す図である。

【図５】実施例３の構成を示す図である。

【図６】登録システムに必要な情報フォームの構成を示
す図である。

【図７】認識辞書の構成例を示す図である。

【図８】自動応答対話による登録システムの処理フロー
を示す図である。

【図９】一般的な自動応答対話システムの構成を示す図
である。

【符号の説明】

１自動応答対話システム１０発話入力部１１音声認識部１２辞書格納部１３音声データ処理部１４音声データ格納部１５未知語データベース１６対話管理部１７対話用ワーキングメモリ１８システム応答出力部１８ａ音声合成部１８ｂシステム音声再生部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ１０Ｌ 15/00 Ｇ１０Ｌ 3/00 ５３１Ｗ 15/22 ５５１ＡＨ０４Ｍ 3/42 ５７１Ｔ 3/50 Ｆターム(参考） 5D015 AA04 GG03 GG04 HH00 LL00 5D045 AB04 AB30 5K015 AA06 AA07 AA10 AD02 AD05 GA11 5K024 AA76 AA77 BB01 BB03 BB04 BB07 CC01 DD01 DD02 EE09 FF06

Claims

【特許請求の範囲】

【請求項１】装置側からのシステム発話に対して入力
されるユーザ発話の音声を認識してデータを得る自動応
答対話システムにおいて，ユーザ発話の中で認識できな
いことが検出された未知語の音声データをその属性情報
に対応して保持し，前記保持した未知語音声データをシ
ステム発話において，ユーザへの発話中で使用すること
を特徴とする自動応答対話システム。
【請求項２】装置側からのシステム発話に対して入力
されるユーザ発話の音声を認識してデータを得る自動応
答対話システムにおいて，ユーザ発話の中で認識できな
いことが検出された未知語の音声データをその属性情報
に対応して保持すると共に，音声認識によって認識でき
た認識語に対応する音声データも属性情報と共に保持
し，システム発話にこの入力音声データを利用すること
を特徴とする自動応答対話システム。
【請求項３】請求項１または２のいずれかにおいて，
音声認識部で使用する認識辞書に新たな語句を登録する
ための辞書登録部を設け，前記音声データ格納部に格納
されている未知語音声データを音声に再生して出力する
格納音声データ再生部と，前記再生された音声出力に対
応して入力された語彙を表すデータを前記辞書登録部か
ら前記認識辞書に登録することを特徴とする自動応答対
話システム。