JP2002132291A - 自然言語対話処理装置およびその方法並びにその記憶媒体 - Google Patents

自然言語対話処理装置およびその方法並びにその記憶媒体

Info

Publication number
JP2002132291A
JP2002132291A JP2000326575A JP2000326575A JP2002132291A JP 2002132291 A JP2002132291 A JP 2002132291A JP 2000326575 A JP2000326575 A JP 2000326575A JP 2000326575 A JP2000326575 A JP 2000326575A JP 2002132291 A JP2002132291 A JP 2002132291A
Authority
JP
Japan
Prior art keywords
dialogue
sentence
voice
response
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000326575A
Other languages
English (en)
Inventor
Koji Sakamoto
浩司 阪本
Haruhiro Kuboyama
晴弘 久保山
Masaru Nakamori
勝 中森
Akira Baba
朗 馬場
Priotti Paulo
パウロ・プリオッティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2000326575A priority Critical patent/JP2002132291A/ja
Publication of JP2002132291A publication Critical patent/JP2002132291A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 聴覚障害者の文字入力待ち時間を無くし、円
滑な対話をおこなうことができる自然言語対話処理装置
を提供する。 【解決手段】 マイク1から入力した相手話者の発話を
音声認識部2で認識し多結果を発話文表示部5によりタ
ッチパネルディスプレイ6に表示する。一方、対話文デ
ータベース4より複数の応答文の候補を読み出し、応答
文リスト表示部7によりタッチパネルディスプレイ6に
表示する。利用者が選択しタッチパネルディスプレイ6
から入力した応答文は、応答文認識部8で認識され、音
声合成部9で音声合成されてスピーカ10から出力され
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、聴覚障害者と健常
者との間で自然言語の音声による対話を支援する自然言
語対話処理装置およびその方法並びにその記憶媒体に関
する。
【0002】
【従来の技術】従来の聴覚障害者(以下、利用者とい
う)と健常者(以下、相手話者という)との対話を支援
する自然言語対話処理装置としては、特開平9−116
648号公報記載の携帯用通信装置が知られている。
【0003】この装置は、通信回線との接続を得るモデ
ムと、文字データを画面表示及び入力できる文字入出力
手段と、文字入出力手段から文字データが入力されたと
き該文字データを音声合成して音声信号に変換してモデ
ムを介して送信する音声合成手段と、モデムを介して受
信した相手話者の音声信号を音声認識して文字信号に変
換して前記文字入出力手段の画面に表示する音声理解手
段とを備えるものである。この装置を用いれば、電話に
よる通話に近い形で聴覚障害者と健常者が簡易に通話す
ることができる。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来技術によれば、聴覚障害者は文字入出力手段により話
したい言葉を文字入力しなければならず、簡単な単語の
やり取り以上の複雑な会話の場合には、聴覚障害者の文
字入力待ち時間が生じ、円滑な対話が進まないという問
題点があった。
【0005】以上の問題点に鑑み、本発明の目的は、聴
覚障害者の文字入力待ち時間を無くし、円滑な対話をお
こなうことができる自然言語対話処理装置を提供するこ
とである。
【0006】
【課題を解決するための手段】請求項1記載の発明は、
上記課題を解決するため、相手話者の音声を入力して音
声信号に変換する音声入力手段と、この音声信号を音声
認識してテキストデータに変換する音声認識手段と、こ
の音声認識手段が参照する辞書と、前記テキストデータ
を発話文の文字情報として表示装置へ表示する発話文表
示制御手段と、予め複数の対話文を記憶する対話文デー
ターベースと、対話文データーベースに記憶された複数
の応答文を文字情報として表示装置へ表示する応答文リ
スト表示制御手段と、表示された複数の応答文の中から
一つの応答文の選択を入力する選択入力手段と、選択さ
れた応答文を相手話者に通知する通知手段と、を備えた
ことを要旨とする自然言語対話処理装置である。
【0007】本発明において、相手話者の音声から得ら
れた文字情報及び複数の応答文を表示する表示装置と応
答文の選択を入力する選択入力手段は、表示画面と選択
入力手段とが一体となり操作が容易なタッチパネルが好
ましい。
【0008】利用者は、このタッチパネルに表示された
相手話者の発話を文字情報として読み取ることができる
とともに、同じ画面に好ましくは同時に表示された複数
の応答文の中から、一つの応答文を選択することによ
り、この応答文が相手話者に通知される。
【0009】また、表示装置の画面を分割して、相手話
者の音声を認識して文字情報をして表示する発話文表示
領域と、この発話文に対する応答文の候補を複数表示す
る応答文表示領域とを設け、発話文と応答文とを同時に
表示することが好ましい。
【0010】相手話者の音声を認識した発話文、及び応
答文の表示装置への表示形態は、日本語の場合、かな
文、漢字混じり文のいずれでもよいが、双方から一方の
表示形態を選択切替できるようにしてもよい。
【0011】応答文を相手話者に通知する通知手段とし
ては、表示画面中の選択された応答文を他の文とは異な
るコントラスト、明るさ、色、大きさで表示してもよい
し、選択された応答文を音声変換して音声で通知するこ
ともできる。
【0012】さらに、発話文表示制御手段は、対話相手
の発話文のテキストデータを記憶し、利用者の選択によ
り、会話を遡って以前の発話文を文字情報表示できるよ
うにしてもよい。
【0013】請求項2記載の発明は、上記課題を解決す
るため、相手話者の音声を入力して音声信号に変換する
音声入力手段と、この音声信号を音声認識してテキスト
データに変換する音声認識手段と、この音声認識手段が
参照する辞書と、前記テキストデータを文字情報として
表示装置へ表示する発話文表示制御手段と、予め対話状
況毎に複数の対話文を記憶する対話文データーベース
と、前記テキストデータに基づいて対話状況を判定する
対話制御手段と、この対話制御手段が判定した対話状況
に対応する複数の対話文を文字情報として表示装置へ表
示する応答文リスト表示制御手段と、表示された複数の
応答文の中から一つの応答文の選択を入力する選択入力
手段と、選択された応答文を相手話者に通知する通知手
段と、を備えたことを要旨とする自然言語対話処理装置
である。
【0014】請求項3記載の発明は、上記課題を解決す
るため、相手話者の音声を入力して音声信号に変換する
音声入力手段と、この音声信号を音声認識してテキスト
データに変換する音声認識手段と、この音声認識手段が
参照する辞書と、前記テキストデータを文字情報として
表示装置へ表示する発話文表示制御手段と、予め対話状
況毎に複数の対話文を記憶する対話文データーベース
と、前記テキストデータ及び以前の対話内容に基づいて
対話状況を判定するとともに文脈情報を導出する対話制
御手段と、この対話制御手段が判定した対話状況に対応
する複数の対話文から前記文脈情報に適合する応答文を
選択して文字情報として表示装置へ表示する応答文リス
ト表示制御手段と、表示された複数の応答文の中から一
つの応答文の選択を入力する選択入力手段と、選択され
た応答文を相手話者に通知する通知手段と、を備えたこ
とを要旨とする自然言語対話処理装置である。
【0015】請求項4記載の発明は、上記課題を解決す
るため、請求項3記載の自然言語対話処理装置におい
て、前記文脈情報に基づいて現在進行している対話内の
キーワードを予測するキーワード予測手段と、前記辞書
内の前記キーワードの選択確率を上げる辞書変更手段
と、を備えたことを要旨とする。
【0016】請求項5記載の発明は、上記課題を解決す
るため、請求項2ないし請求項4のいずれか1項記載の
自然言語対話処理装置において、前記応答文の文体を制
御する表層制御手段を備えたことを要旨とする。
【0017】請求項6記載の発明は、上記課題を解決す
るため、請求項5記載の自然言語対話処理装置におい
て、利用者が相手話者に関する相手話者情報を入力する
相手話者情報入力手段を備え、この相手話者情報に基づ
いて前記表層制御手段が応答文の文体を制御することを
要旨とする。
【0018】請求項7記載の発明は、上記課題を解決す
るため、請求項3記載の自然言語対話処理装置におい
て、利用者が相手話者に関する情報を入力する相手話者
情報入力手段を備え、この相手話者情報に基づいて前記
対話状況を決定するか、或いはこの相手話者情報に基づ
いて前記対話文データベースに登録された対話文セット
の優先度を変更することができることを要旨とする。
【0019】請求項8記載の発明は、上記課題を解決す
るため、請求項3ないし請求項7のいずれか1項記載の
自然言語対話処理装置において、前記選択入力手段から
入力された応答文の情報を前記対話制御部に入力し、前
記対話制御手段は、該情報に基づいて、前記対話文デー
タベースから次に選択する応答文の確率を変更すること
ができることを要旨とする。
【0020】請求項9記載の発明は、上記課題を解決す
るため、請求項1ないし請求項8のいずれか1項記載の
自然言語対話処理装置において、前記通知手段は、前記
選択入力手段で選択された応答文を音声信号に変換する
音声合成手段と、この音声合成手段が変換した音声信号
を音声として出力する音声出力手段と、を備えたことを
要旨とする。
【0021】請求項10記載の発明は、上記課題を解決
するため、相手話者の音声を入力して音声信号に変換す
る音声入力過程と、この音声信号を音声認識してテキス
トデータに変換する音声認識過程と、前記テキストデー
タを文字情報として表示装置へ表示する発話文表示過程
と、対話文データーベースに記憶された複数の対話文を
文字情報として表示装置へ表示する応答文リスト表示過
程と、表示された複数の応答文の中から一つの応答文の
選択を入力する選択入力過程と、選択された応答文を相
手話者に通知する通知過程と、を備えたことを要旨とす
る自然言語対話処理方法である。
【0022】請求項11記載の発明は、上記課題を解決
するため、相手話者の音声を入力して音声信号に変換す
る音声入力過程と、この音声信号を音声認識してテキス
トデータに変換する音声認識過程と、前記テキストデー
タを文字情報として表示装置へ表示する発話文表示過程
と、前記テキストデータに基づいて対話状況を判定する
対話状況判定過程と、この対話状況に対応する複数の対
話文を対話文データベースから検索し、検索された対話
文を文字情報として表示装置へ表示する応答文リスト表
示過程と、表示された複数の応答文の中から一つの応答
文の選択を入力する選択入力過程と、選択された応答文
を相手話者に通知する通知過程と、を備えたことを要旨
とする自然言語対話処理方法である。
【0023】請求項12記載の発明は、上記課題を解決
するため、相手話者の音声を入力して音声信号に変換す
る音声入力過程と、この音声信号を音声認識してテキス
トデータに変換する音声認識過程と、前記テキストデー
タを文字情報として表示装置へ表示する発話文表示過程
と、前記テキストデータ及び以前の対話内容に基づいて
対話状況を判定するとともに文脈情報を導出する文脈導
出過程と、対話状況に対応する複数の対話文から文脈情
報に適合する応答文を対話文データベースから選択して
文字情報として表示装置へ表示する応答文リスト表示過
程と、表示された複数の応答文の中から一つの応答文の
選択を入力する選択入力過程と、選択された応答文を相
手話者に通知する通知過程と、を備えたことを要旨とす
る自然言語対話処理方法である。
【0024】請求項13記載の発明は、上記課題を解決
するため、請求項12記載の自然言語対話処理方法にお
いて、前記文脈情報に基づいて現在進行している対話内
のキーワードを予測するキーワード予測過程と、前記辞
書内の前記キーワードの選択確率を上げる辞書変更過程
と、を備えたことを要旨とする。
【0025】請求項14記載の発明は、上記課題を解決
するため、請求項11ないし請求項13のいずれか1項
記載の自然言語対話処理方法において、前記応答文の文
体を制御する表層制御過程を備えたことを要旨とする。
【0026】請求項15記載の発明は、上記課題を解決
するため、請求項14記載の自然言語対話処理方法にお
いて、利用者が相手話者に関する相手話者情報を入力す
る相手話者情報入力過程を備え、この相手話者情報に基
づいて前記表層制御過程が応答文の文体を制御すること
を要旨とする。
【0027】請求項16記載の発明は、上記課題を解決
するため、請求項12記載の自然言語対話処理方法にお
いて、利用者が相手話者に関する情報を入力する相手話
者情報入力過程と、この相手話者情報に基づいて前記対
話状況を決定するか、或いは前記相手話者情報に基づい
て前記対話文データベースに登録された対話文セットの
優先度を変更する対話制御過程と、を備えたことを要旨
とする。
【0028】請求項17記載の発明は、上記課題を解決
するため、請求項12ないし請求項16のいずれか1項
記載の自然言語対話処理方法において、前記選択入力過
程で入力された応答文の情報に基づいて、前記対話文デ
ータベースから次に選択する応答文の確率を変更する過
程を備えたことを要旨とする。
【0029】請求項18記載の発明は、上記課題を解決
するため、請求項10ないし請求項17のいずれか1項
記載の自然言語対話処理方法において、前記通知過程
は、前記選択入力過程で選択された応答文を音声信号に
変換する音声合成過程と、この音声合成過程が変換した
音声信号を音声として出力する音声出力過程と、を備え
たことを要旨とする。
【0030】請求項19記載の発明は、上記課題を解決
するため、相手話者の音声を入力して音声信号に変換
し、この音声信号を音声認識してテキストデータに変換
し、前記テキストデータを文字情報として表示装置へ表
示し、予め対話文データーベースに記憶された複数の対
話文を文字情報として表示装置へ表示し、表示された複
数の応答文の中から一つの応答文の選択を入力し、選択
された応答文を相手話者に通知する自然言語対話処理プ
ログラムを記憶したコンピュータ読み取り可能な記憶媒
体である。
【0031】また、請求項19記載のコンピュータ読み
取り可能な記憶媒体は、請求項11記載の自然言語対話
処理方法に対応して、相手話者の音声を入力して音声信
号に変換し、この音声信号を音声認識してテキストデー
タに変換し、前記テキストデータを文字情報として表示
装置へ表示し、前記テキストデータに基づいて対話状況
を判定し、この対話状況に対応する複数の対話文を対話
文データベースから検索し、検索された対話文を文字情
報として表示装置へ表示し、表示された複数の応答文の
中から一つの応答文の選択を入力し、選択された応答文
を相手話者に通知する自然言語対話処理プログラムを記
憶したコンピュータ読み取り可能な記憶媒体としてもよ
い。
【0032】また、請求項19記載のコンピュータ読み
取り可能な記憶媒体は、請求項12記載の自然言語対話
処理方法に対応して、相手話者の音声を入力して音声信
号に変換し、この音声信号を音声認識してテキストデー
タに変換し、前記テキストデータを文字情報として表示
装置へ表示し、前記テキストデータ及び以前の対話内容
に基づいて対話状況を判定するとともに文脈情報を導出
し、前記対話状況に対応する複数の対話文から前記文脈
情報に適合する応答文を対話文データベースから選択し
て文字情報として表示装置へ表示し、表示された複数の
応答文の中から一つの応答文の選択を入力し、選択され
た応答文を相手話者に通知する自然言語対話処理プログ
ラムを記憶したコンピュータ読み取り可能な記憶媒体と
してもよい。
【0033】
【発明の実施の形態】次に図面を参照して、本発明の実
施の形態を詳細に説明する。図1は、本発明に係る自然
言語対話処理装置の第1の実施形態の構成を示すシステ
ム構成図である。
【0034】図1において、自然言語対話処理装置は、
相手話者である利用者A(健常者)の音声を入力し音声
信号に変換するマイク1と、この音声信号を音声認識し
てテキストデータを出力する音声認識部2と、音声認識
部2が参照する辞書3と、予め複数の対話文を記憶した
対話文データベース4と、相手話者の音声を音声認識し
た結果である発話文とこれに対する応答文候補を表示す
る表示装置及び応答文の選択入力手段を兼ねるタッチパ
ネルディスプレイ6と、音声認識部2が出力したテキス
トデータを文字情報としてタッチパネルディスプレイ6
へ表示する発話文表示部5と、対話文データベース4か
ら読み出した複数の応答文をタッチパネルディスプレイ
6に表示する応答文リスト表示部7と、タッチパネルデ
ィスプレイ6から利用者B(聴覚障害者)が選択入力し
た応答文を認識する応答文認識部8と、応答文認識部8
が認識した応答文を音声合成して音声信号を出力する音
声合成部9と、音声合成部9が出力する音声信号を音に
変換して利用者Aに伝えるスピーカ10とを備えてい
る。
【0035】音声認識部2は、不特定話者・連続音声認
識に属する音声認識を行うもので、音声信号を入力し、
この認識結果であるテキストデータを出力するものであ
る。この不特定話者・連続音声認識は、例えば、平山、
平島による文献「不特定話者、連続音声認識システムの
開発とその応用」(International Symposium "Compute
r World '91"September 24-26,1991,Osaka,Japan)に示
されている音声認識方法が知られている。
【0036】また、デジタル信号処理により音声の特
徴を抽出し、予め辞書に登録された音素モデルと前記
抽出された特徴とを確率・統計手法により比較し、予
め辞書に登録された統計的言語モデル(n−gram)
を利用して音素や単語の接続性や文法の制御を行い、
認識結果のテキストデータを出力する音声認識方法を利
用することができる。日本語音声認識の場合、認識結果
は、かな文、漢字混じり文いずれでもよいが、漢字混じ
り文の場合、辞書3に漢字表現機能を必要とする。
【0037】辞書3は、音声認識部2が参照する辞書で
あり、音素モデル、単語辞書、単語モデル、構文モデル
等を予め記憶するものである。
【0038】対話文データベース4は、この自然言語対
話処理装置が利用される可能性がある対話文を予測し、
これらの複数の対話文の全てを予め登録して記憶するデ
ーターベースである。
【0039】発話文表示部5は、音声認識部2が認識し
た相手話者の音声である発話文のテキストデータを文字
情報としてタッチパネルディスプレイに6に表示させる
制御を行うものである。タッチパネルディスプレイ6が
表示する各文字のフォントは、発話文表示部5またはタ
ッチパネルディスプレイ6のいずれに設けてもよい。
【0040】タッチパネルディスプレイ6は、タッチス
クリーンディスプレイとも呼ばれ、CRTや液晶表示パ
ネル等の画像表示装置の画面上にスクリーン状の位置入
力装置を重ねて配置したものである。位置検出方式の違
いにより、感圧式、抵抗膜式、光位置検出式などの種々
の方式があるが、いずれの位置検出方式であってもかま
わない。特許請求の範囲との対応で言えば、表示装置と
選択入力手段とを兼ね備えるものである。
【0041】応答文リスト表示部7は、対話文データベ
ース4から読み出された複数の応答文をタッチパネルデ
ィスプレイ6に表示させる制御を行うものである。応答
文認識部8は、タッチパネルディスプレイ6に表示され
た複数の応答文の中から、利用者Bがいずれの応答文を
選択したかを認識し、この認識した応答文のテキストデ
ータを音声合成部9に送るものである。
【0042】音声合成部9は、規則合成方式やテキスト
合成方式などの音声合成により音声信号を生成するもの
である。規則合成方式は、音素や音節など単語よりも短
い単位に対して、イントネーションやアクセントなどの
韻律情報を与えた上で、時間規則やパラメータ規則等の
様々な合成規則を用いて音声信号を生成する合成方式で
ある。規則合成方式を利用する場合、対話文データベー
ス4には、応答文のテキストデータとともに各応答文に
対応する発音記号列を記憶し、応答文認識部8が認識し
た応答文に対応する発音記号列を音声合成部9に与えて
合成音声を得るようにしてもよい。
【0043】テキスト合成方式は、本発明に好適な音声
合成方式であり、テキストデータからそれに対応する音
声を合成するものである。テキスト合成方式を利用する
場合、音声合成部9は、応答文認識部8から与えられた
応答文のテキストデータに対して、テキストを構文・意
味解析し、解析結果としての音素記号列と韻律記号を得
て、以下、規則合成と同様な処理により合成音声を得る
ものである。
【0044】次に、上記構成の第1実施形態の動作を図
4のフローチャートを参照して説明する。
【0045】まず、図4(a)に示すように、相手話者
が発話することにより、本自然言語対話処理装置が起動
され、マイク1を通じて入力される相手話者の音声を音
声認識部2で音声認識してテキストデータに変換し(ス
テップS10、以下ステップをSと略す)、このテキス
トデータを文字情報として発話文表示部5がタッチパネ
ルディスプレイ6の画面に表示する(S12)。次い
で、応答処理(S20)が行われる。
【0046】図4(b)は、応答処理の詳細を示すフロ
ーチャートである。応答処理が開始されると(S20−
1)、応答文のリストを対話文データベース4より読み
込み(S22)、応答文リスト表示部7が応答文のリス
トをタッチパネルディスプレイ6の画面へ文字表示する
(S24)。このとき、応答文のリスト表示は、選択さ
れる確率の高い順に表示するのが好ましい。またタッチ
パネルディスプレイ6の応答文表示領域にすべての応答
文を表示できなければ、スクロール等の技術を利用して
順次異なる応答文を表示するようにしてもよい。
【0047】次いで利用者の応答文選択入力を待ち(S
26)、利用者がタッチパネルディスプレイ6に触れて
選択入力があると、選択された応答文のテキストデータ
を応答文認識部8で認識処理を行う(S28)。そし
て、認識した応答文を音声合成部9で音声合成して(S
30)、スピーカ10から応答文を音声出力して相手話
者に伝え(S32)、処理を終了する。
【0048】なお図示しないが、スピーカ10から音声
出力中は、音声認識部2の認識を停止するか、或いは、
スピーカ10への出力信号の反転遅延波形をマイク入力
信号に加算することにより、スピーカ10からの音声が
マイク1に入力するのを打ち消して、応答文の音声出力
を相手話者の発話と誤認識するのを防止する。
【0049】以後、再度相手話者が発話することによ
り、上記の動作が繰り返され、相手話者と利用者との間
で会話が交わされることとなる。
【0050】尚、本実施形態の変形例として、応答文を
音声にて通知する音声合成部9及びスピーカ10を除去
し、その代わりに、表示装置であるタッチパネルディス
プレイ6の画面上で応答文を通知することもできる。
【0051】即ち、利用者Bが選択し応答文認識部8が
認識した応答文を表示コントラストや表示色、或いは表
示文字の大きさや字体を変えて表示したり、応答文に番
号を付与して選択された応答文番号のコントラスト反転
や表示色の変更等により、利用者Aに通知するようにし
てもよい。
【0052】このような変形例は、利用者Aと利用者B
とが同じ表示装置を見ることができる環境、例えば携帯
用の自然言語対話処理装置に有効である。
【0053】図2は、本発明に係る自然言語対話処理装
置の第2の実施形態の構成を示すシステム構成図であ
る。
【0054】図2において、自然言語対話処理装置は、
相手話者である利用者A(健常者)の音声を入力し音声
信号に変換するマイク1と、この音声信号を音声認識し
てテキストデータを出力する音声認識部2と、音声認識
部2が参照する辞書3と、音声認識部2が認識したテキ
ストデータと後述する話者同定部16及び応答文認識部
8の認識結果に基づいて利用者A,B間の対話を制御す
る対話制御部11と、予め対話状況毎に複数の対話文を
記憶した対話文データベース12と、音声認識部2が認
識したテキストデータである発話文及び複数の応答文を
表示する表示装置及び応答文の選択入力手段を兼ねるタ
ッチパネルディスプレイ6と、音声認識部2が出力した
テキストデータを文字情報としてタッチパネルディスプ
レイ6へ表示する発話文表示部5と、対話文データベー
ス12から読み出した複数の応答文に文体制御を行う表
層情報を追加する表層制御部13と、対話文データーベ
ース12から読み出した複数の応答文を表層情報により
加工した応答文を生成する応答文生成部14と、応答文
生成部14が生成した複数の応答文をタッチパネルディ
スプレイ6に表示する応答文リスト表示部7と、タッチ
パネルディスプレイ6から利用者B(聴覚障害者)が選
択入力した応答文を認識する応答文認識部8と、応答文
認識部8が認識した応答文を音声合成して音声信号を出
力する音声合成部9と、音声合成部9が出力する音声信
号を音に変換するスピーカ10と、利用者Bが相手話者
を入力する相手話者選択入力手段であるボタン15と、
ボタン15から入力された相手話者選択信号に基づいて
相手話者を同定し対話制御部11へ通知する話者同定部
16とを備えている。
【0055】図2の構成要素の内、マイク1、音声認識
部2、発話文表示部5、タッチパネルディスプレイ6、
応答文リスト表示部7、応答文認識部8、音声合成部
9、及びスピーカ10は、図1に示した第1実施形態と
同様の構成要素であるので、重複する説明は省略する。
【0056】辞書3は、対話制御部11が認識した現在
の対話状況により単語モデル内の確率を変更できるよう
になっている。これ以外は、第1実施形態の辞書3と同
様である。
【0057】対話文データベース12には、予め対話状
況毎に複数の応答文が記憶されている。対話制御部11
は、ボタン15による相手話者選択信号や、音声認識部
2が認識した相手話者の発話内容、応答文認識部8が認
識した応答文により、対話状況を判定し、この対話状況
に応じた応答文を対話文データベース12から読み出し
て表層制御部13に渡す。
【0058】対話状況毎に記憶された複数の対話文は、
例えば、相手話者選択信号の種類毎に根(root)を持つ
有向木の構造(directed tree structure)とすること
ができる。そして、音声認識部2が認識した相手話者の
発話や、応答文認識部8が認識した応答文に応じて順次
木構造をたどり、複数の応答文候補を読み出し、選択さ
れた応答文及び次の発話文により木を探索する処理を行
うのが好ましい。
【0059】また対話状況毎に複数記憶された各応答文
は、それぞれ重み係数または選択回数が付与され、重み
係数または選択回数の大きい応答文の順に応答文リスト
が作成され表示されるようになっている。これは、上記
有向木の構造で言えば、一つの節点に接続された複数の
枝にそれぞれ重み係数または選択回数が与えられている
と考えればよい。
【0060】表層制御部13では、対話制御部11から
の情報に基づいて、応答文に文体を制御する表層情報を
付加する。この表層情報には、尊敬語、謙譲語、丁寧語
等の敬語の文体や、命令文が含まれる。応答文生成部1
4では、応答文を表層情報に従った文体に加工して、応
答文リスト表示部7へ出力する。以下、複数の応答文が
応答文リスト表示部7からタッチパネルディスプレイ6
へ表示されるのは、第1実施形態と同様である。
【0061】次に、図5及び図6のフローチャートを参
照して、第2実施形態の動作を説明する。第2実施形態
における処理は、相手話者の発話を認識して表示する相
手話者の発話処理、相手話者の情報や応答文の選択を対
話文データベースに登録したり音声認識結果に基づいて
応答文リストを生成する対話処理、応答文リスト生成処
理、選択された応答文を認識して音声出力する応答処
理、及び相手話者入力処理に分割されている。
【0062】まず、図5(a)に示すように、相手話者
が発話することにより、相手話者の発話処理が開始さ
れ、マイク1を通じて入力される相手話者の音声を音声
認識部2で音声認識してテキストデータに変換し(ステ
ップS10)、このテキストデータを文字情報として発
話文表示部5がタッチパネルディスプレイ6の画面に表
示する(S12)。次いで、認識した発話文を対話処理
へ出力して(S14)、相手話者の発話処理を終了す
る。
【0063】図5(b)は、対話処理の詳細を示すフロ
ーチャートである。対話処理が開始されると(S4
0)、相手話者情報の入力があるか否かを判定し(S4
2)、相手話者情報があれば、この相手話者情報を対話
文データベースに登録する(S44)。次いで選択済み
の応答文情報の入力があるかどうかを判定し(S4
6)、入力があれば、選択された応答文情報を対話文デ
ータベースに登録する(S48)。
【0064】次いで、音声認識部が認識したテキストデ
ータの入力があるかどうかを判定し(S50)、入力が
あれば、応答文リスト生成処理(S60)を呼び出す。
入力がないか、応答文リスト生成処理から戻ると、対話
処理を終了する。
【0065】図5(c)は、応答文リスト生成処理の詳
細を説明するフローチャートである。応答文リスト生成
処理が始まると(S60−1)、入力された相手話者と
相手話者の発話内容に基づいて判定される対話状況に応
じた複数の応答文を対話文データベース12から読み出
し、各応答文に付与された優先度に応じて、優先度の高
い応答文から順に配列した応答文リストを生成する(S
62)。
【0066】応答文リスト生成が完了すれば(S64の
判定がYes)、音声認識部2が参照する辞書3へ重要
な単語リストを登録し(S66)、応答文リストに付加
された表層情報に従った文体加工を応答文生成部14で
施し(S68)、応答文リスト表示部7へ応答処理を行
うべく応答文リストを出力して(S70)、リターンす
る。
【0067】次いで、図6(a)に示すように、応答処
理が始まると(S80)、応答文リスト表示部7は、タ
ッチパネルディスプレイ6へ応答文のリストを表示する
(S82)。このとき、タッチパネルディスプレイ6の
応答文表示領域にすべての応答文を表示できなければ、
スクロール等の技術を利用して順次異なる応答文を表示
するようにしてもよい。
【0068】次いで利用者の応答文選択入力を待ち(S
84)、利用者がタッチパネルディスプレイ6に触れて
選択入力があると、選択された応答文のテキストデータ
を応答文認識部8で認識処理を行う(S88)。次い
で、選択された応答文情報を対話文データベースへ登録
するために対話処理部へ出力し(S90)、認識した応
答文を音声合成部9で音声合成して(S92)、スピー
カ10から応答文を音声出力して相手話者に伝えて(S
94)、処理を終了する。
【0069】なお図示しないが、スピーカ10から音声
出力中は、音声認識部2の認識を停止するか、或いは、
スピーカ10への出力信号の反転遅延波形をマイク入力
信号に加算することにより、スピーカ10からの音声が
マイク1に入力するのを打ち消して、応答文の音声出力
を相手話者の発話と誤認識するのを防止する。
【0070】図6(b)は、相手話者入力処理の詳細を
説明するフローチャートである。まず、相手話者入力処
理が開始されると(S100)、ボタン15からの相手
話者情報の入力を待ち(S102)、入力があると、入
力された相手話者情報を対話文データベースへ登録すべ
く対話処理部へ出力して(S104)、処理を終了す
る。
【0071】図3は、本発明に係る自然言語対話処理装
置を汎用コンピュータシステム上で動作する自然言語対
話処理プログラムにより実現する場合のコンピュータシ
ステムの構成を示すシステム構成図である。
【0072】図3において、自然言語対話処理プログラ
ムを実行するコンピュータシステムは、音声を入力して
音声信号を出力するマイク1と、マイク1からの音声信
号を増幅するアンプ21と、アンプ21の出力をA/D
変換する入力部22と、コンピュータシステムにより合
成されたディジタル合成音声信号をD/A変換によりア
ナログ合成音声信号に変換する出力部23と、出力部2
3から出力されるアナログ合成音声信号を増幅するパワ
ーアンプ20と、パワーアンプ20の駆動により鳴動す
るスピーカ10と、マイクロプロセッサ等を使用したC
PU24と、発話文及び複数の応答文を表示する一方、
複数の応答文から利用者Bが選択を入力するタッチパネ
ルディスプレイ6と、タッチパネルディスプレイ6への
入出力インタフェースである入出力部25と、自然言語
対話処理プログラムを実行形式で記憶するプログラムメ
モリ26と、自然言語対話処理プログラムが参照する各
種データを一時記憶するデータメモリ27と、音声認識
または音声合成で参照する辞書を記憶した外部記憶装置
(磁気ディスク)3と、予め複数の対話文を対話文デー
タベースとして記憶した外部記憶装置(磁気ディスク)
4と、入力部22、出力部23、CPU24、入出力部
25、プログラムメモリ26、データメモリ27、外部
記憶装置3、外部記憶装置4を相互に接続するバス28
と、を備えている。
【0073】本発明の自然言語対話処理プログラムを記
憶した記憶媒体は、例えば、フロッピィディスク媒体
や、CD−ROMなどの記憶媒体に記憶され、バス28
に着脱可能に接続される図示しないフロッピィディスク
ドライブやCD−ROMドライブからプログラムメモリ
26に読み込まれて、実行される。
【0074】図7は、第2実施形態に係る自然言語対話
処理装置をドアホンに適用した場合の具体的な利用者A
(健常者)と利用者B(障害者)の対話例を説明するダ
イアログ図である。この例では、玄関ドア付近に、マイ
ク、スピーカ、呼出ベル、及び来訪者を撮影するモニタ
カメラが設けられ、例えば、利用者Bの居間に表示装置
と応答文選択入力手段を兼ねるタッチパネルディスプレ
イが設けられているものとする。そして、タッチパネル
ディスプレイの画面200は、例えば図8に示すよう
に、相手話者の発話文を表示する発話文表示領域201
と、発話文表示領域をスクロールするボタン202と、
複数の応答文を表示する応答文表示領域203と、応答
文表示領域をスクロールするボタン204と、モニタカ
メラの映像を表示する来訪者モニタ領域205と、相手
話者選択を入力する相手話者ボタン206と、非常呼出
ボタン207と、玄関錠の解錠ボタン208とが設けら
れている。
【0075】図7において、まず相手話者として隣人が
訪問し、呼出ベルを押下する。呼出ベルが押下される
と、自然言語対話処理装置が起動し、モニタカメラの映
像を来訪者モニタ領域205に表示するとともに、図示
しない来訪者報知ランプが点滅して、利用者Bに来訪者
を告げる。
【0076】利用者Bは、来訪者モニタ領域の映像によ
り来訪者が隣人と知り、相手話者ボタン206の中の隣
人ボタンを押下する。これにより対話制御部11は、隣
人訪問という対話状況を認識し、隣人との会話に対応す
る対話文セットを対話文データーベース12から読み出
す。以下、隣人との会話に係る自然言語対話処理装置の
処理を隣人会話タスクと呼ぶ。
【0077】対話制御部11は、対話文データーベース
12に隣人会話タスクとして登録されている複数の対話
文の中から、会話の最初に登録されている<応答、挨
拶、質問>に関する応答文リストを取得し、タッチパネ
ルディスプレイ6に表示する。この表示が図中符号10
1で示す1.「はい、もしもし」と2.「どなたです
か」である。
【0078】次いで、利用者Bが1と2との選択肢から
1を選択し、数字の1または「はい、もしもし」の文に
触れたとすると、応答文認識部8が1.「はい、もしも
し」が選択されたことを認識して対話制御部11に通知
するとともに、音声合成部9へテキストデータ「はい、
もしもし」を送る。対話制御部11は、応答文1.「は
い、もしもし」が選択されたことを対話文データベース
12へ登録する。音声合成部9からは、”はい、もしも
し”という音声が合成され、スピーカ10から出力され
る。
【0079】これを聞いた相手話者(隣人)は、”鈴木
です。ちょっといいですか”とマイク1に向かって話し
かける。この音声は、音声認識部2で認識されて対話制
御部11へ”鈴木です。いい ですか”と伝えられる。
【0080】対話制御部11は、発話文表示部5を介し
て、タッチパネルディスプレイ6の発話文表示領域20
1へ”鈴木です。いい ですか”を表示する一方、{す
ずき、いいですか}というキーワードに着目し、予め登
録されている会話データから{隣人=すずき、用件=不
明}という文脈情報を導出する。次いで対話制御部11
は、この文脈情報から用件を尋ねる応答文リストを対話
文データベース12から読み出し、応答文リスト表示部
7を介してタッチパネルディスプレイ6へ表示する。こ
の応答文リスト表示は、図7符号103に示すように、
1.「なんですか」、2.「どうしました」、3.「い
ま行きます」、4.「もう一度お願いします」4つの応
答文の候補が表示される。ここで、利用者Bが1.「な
んですか」を選択したとすると、この「なんですか」の
選択が応答文認識部8で認識されて対話制御部11へ伝
えられ、対話文データーベース12へ登録される一方、
音声合成部9へテキストデータ「なんですか」が送ら
れ、音声合成されてスピーカ10から”なんですか”が
出力される。
【0081】これを聞いた相手話者(隣人)は、”田舎
の野菜を差し上げようと思って”とマイク1に向かって
話しかける。この音声は、音声認識部2で認識されて対
話制御部11へ”なかの野菜をさしあげる おもって”
と伝えられる。
【0082】対話制御部11は、発話文表示部5を介し
て、タッチパネルディスプレイ6の発話文表示領域20
1へ”なかの野菜をさしあげる おもって”を表示する
一方、{なか 野菜 さしあげる}というキーワードに
着目し、<用件=野菜 さしあげる>という文脈情報を
認識し、対話タスクを隣人会話タスクから{もらう}対
話タスクに絞る。
【0083】次いで対話制御部11は、{もらう}対話
タスクの応答文リストを対話文データベース12から読
み出し、応答文リスト表示部7を介してタッチパネルデ
ィスプレイ6へ表示する。この応答文リスト表示は、図
7符号105に示すように、1.「ありがとうございま
す ただいま参ります」、2.「いま行きます」、3.
「野菜もらえるのですか」、4.「もう一度お願いしま
す」4つの応答文の候補が表示される。ここで、利用者
Bが2.「いま行きます」を選択したとすると、この
「いま行きます」の選択が応答文認識部8で認識されて
対話制御部11へ伝えられ、対話文データーベース12
へ登録される一方、音声合成部9へテキストデータ「い
ま行きます」が送られ、音声合成されてスピーカ10か
ら”いま行きます”が出力される。そして解錠ボタン2
08を押下すると、玄関ドアのロックが解除されるとと
もに、本自然言語対話処理装置による対話処理が終了す
る。
【0084】尚、相手話者を入力する相手話者ボタン2
06には、先の例で使用した隣人ボタン以外に、ヘルパ
ーA、ヘルパーB、郵便配達、宅配人等のボタンが設け
られ、相手話者に応じた応答文の表層制御が行えるよう
になっている。
【0085】さらに、対話文データーベース12には、
対話タスクを進めるのに必要な情報を問い合わせる際、
どのような質問を応答文リストに採り上げるかを判断す
るための係数を利用している。
【0086】例えば、対話タスク{もらう}は、次の表
1に示す、対象、値、属性、係数からなる情報群を利用
している。この係数の大きい情報を優先して、相手に問
い合わせるように応答文を生成する。係数の値は、設計
者が決定する。
【0087】
【表1】
【0088】
【発明の効果】請求項1記載の発明によれば、相手話者
の発した音声を文字情報として表示装置へ表示するの
で、利用者は相手話者の発話を認識することができると
ともに、表示装置に表示された複数の応答文の中から一
つの応答文を選択して入力することにより、選択された
応答文が相手話者に通知されるので、利用者は応答文を
文字入力する必要がなくなり、相手話者が応答文入力の
ために待たされることなく円滑な会話を行うことができ
るという効果がある。
【0089】請求項2記載の発明によれば、請求項1の
発明の効果に加えて、予め対話状況毎に複数の対話文を
対話文データベースに記憶しておき、相手話者の音声を
変換したテキストデータに基づいて対話制御手段が対話
状況を判定し、応答文リスト表示制御手段が対話状況に
対応する複数の応答文を文字情報として表示装置に表示
するので、対話状況により予め絞り込まれた応答文から
容易に適切な応答文を選択することができるという効果
がある。
【0090】請求項3記載の発明によれば、請求項1の
発明の効果に加えて、対話制御手段が前記テキストデー
タ及び以前の対話内容に基づいて対話状況を判定すると
ともに文脈情報を導出し、対話制御手段が判定した対話
状況に対応する複数の対話文から前記文脈情報に適合す
る応答文を選択して文字情報として表示装置へ表示する
ようにしたので、対話状況に加えて文脈情報を考慮した
応答文の絞り込みを行って、さらに適切な応答文候補を
表示することができるという効果がある。
【0091】請求項4記載の発明によれば、請求項3の
発明の効果に加えて、前記文脈情報に基づいて現在進行
している対話内のキーワードを予測し、前記辞書内のキ
ーワードの選択確率を上げるようにしたので、相手話者
の音声認識をより正確に行うことができる効果がある。
【0092】請求項5記載の発明によれば、請求項2な
いし請求項4記載の発明の効果に加えて、前記応答文の
文体を制御する表層制御手段を備えたので、応答文の文
体を相手話者に応じて適切に切り替えることができると
いう効果がある。
【0093】請求項6記載の発明によれば、請求項5記
載の発明の効果に加えて、利用者が相手話者に関する相
手話者情報を入力する相手話者情報入力手段を備え、こ
の相手話者情報に基づいて前記表層制御手段が応答文の
文体を制御するようにしたので、利用者が相手話者情報
を入力するだけで、自動的に相手話者に適合した応答文
の文体を得ることができるという効果がある。
【0094】請求項7記載の発明によれば、請求項3記
載の発明の効果に加えて、利用者が入力した相手話者情
報に基づいて対話状況を決定するか、或いはこの相手話
者情報に基づいて対話文データベースに登録された対話
文セットの優先度を変更するようにしたので、相手話者
に応じた正確な対話状況を決定したり、相手話者に応じ
た適切な応答文を選択候補として表示できるという効果
がある。
【0095】請求項8記載の発明によれば、請求項3な
いし請求項7記載の発明の効果に加えて、選択入力手段
から入力された応答文の情報に基づいて、対話文データ
ベースから次に選択する応答文の確率を変更することが
できるようにしたので、対話の進行状況に合わせて、適
切な応答文を選択して表示することができるという効果
がある。
【0096】請求項9記載の発明によれば、請求項1な
いし請求項8記載の発明の効果に加えて、前記通知手段
は、前記選択入力手段で選択された応答文を音声信号に
変換する音声合成手段と、この音声合成部が変換した音
声信号を音声として出力する音声出力手段と、を備えた
ことにより、応答文を音声で相手話者に通知することが
でき、相手話者は表示装置の文字を見ることなく、音声
で応答を聞くことができるので、さらに対話を容易にす
ることができるという効果がある。
【0097】請求項10記載の発明によれば、相手話者
の発した音声を文字情報として表示装置へ表示するの
で、利用者は相手話者の発話を認識することができると
ともに、表示装置に表示された複数の応答文の中から一
つの応答文を選択して入力することにより、選択された
応答文が相手話者に通知されるので、利用者は応答文を
文字入力する必要がなくなり、相手話者が応答文入力の
ために待たされることなく円滑な会話を行うことができ
るという効果がある。
【0098】請求項11記載の発明によれば、請求項1
0の発明の効果に加えて、予め対話状況毎に複数の対話
文を対話文データベースに記憶しておき、相手話者の音
声を変換したテキストデータに基づいて対話制御手段が
対話状況を判定し、応答文リスト表示制御手段が対話状
況に対応する複数の応答文を文字情報として表示装置に
表示するので、対話状況により予め絞り込まれた応答文
から容易に適切な応答文を選択することができるという
効果がある。
【0099】請求項12記載の発明によれば、請求項1
0の発明の効果に加えて、文脈導出過程が前記テキスト
データ及び以前の対話内容に基づいて対話状況を判定す
るとともに文脈情報を導出し、この文脈情報に適合する
応答文を選択して文字情報として表示装置へ表示するよ
うにしたので、対話状況に加えて文脈情報を考慮した応
答文の絞り込みを行って、さらに適切な応答文候補を表
示することができるという効果がある。
【0100】請求項13記載の発明によれば、請求項1
2の発明の効果に加えて、前記文脈情報に基づいて現在
進行している対話内のキーワードを予測し、前記辞書内
のキーワードの選択確率を上げるようにしたので、相手
話者の音声認識をより正確に行うことができる効果があ
る。
【0101】請求項14記載の発明によれば、請求項1
1ないし請求項13記載の発明の効果に加えて、前記応
答文の文体を制御する表層制御過程を備えたので、応答
文の文体を相手話者に応じて適切に切り替えることがで
きるという効果がある。
【0102】請求項15記載の発明によれば、請求項1
4記載の発明の効果に加えて、利用者が相手話者に関す
る相手話者情報を入力する相手話者情報入力過程を備
え、この相手話者情報に基づいて前記表層制御過程が応
答文の文体を制御するようにしたので、利用者が相手話
者情報を入力するだけで、自動的に相手話者に適合した
応答文の文体を得ることができるという効果がある。
【0103】請求項16記載の発明によれば、請求項1
2記載の発明の効果に加えて、利用者が入力した相手話
者情報に基づいて対話状況を決定するか、或いはこの相
手話者情報に基づいて対話文データベースに登録された
対話文セットの優先度を変更するようにしたので、相手
話者に応じた正確な対話状況を決定したり、相手話者に
応じた適切な応答文を選択候補として表示できるという
効果がある。
【0104】請求項17記載の発明によれば、請求項1
2ないし請求項16記載の発明の効果に加えて、選択入
力手段から入力された応答文の情報に基づいて、対話文
データベースから次に選択する応答文の確率を変更する
ことができるようにしたので、対話の進行状況に合わせ
て、適切な応答文を選択して表示することができるとい
う効果がある。
【0105】請求項18記載の発明によれば、請求項1
0ないし請求項17記載の発明の効果に加えて、選択さ
れた応答文を相手話者に通知する通知過程は、選択され
た応答文を音声信号に変換する音声合成過程と、この音
声信号を音声として出力する音声出力過程と、を備えた
ことにより、応答文を音声で相手話者に通知することが
でき、相手話者は表示装置の文字を見ることなく、音声
で応答を聞くことができるので、さらに対話を容易にす
ることができるという効果がある。
【0106】請求項19記載の発明によれば、相手話者
の音声を入力して音声信号に変換し、この音声信号を音
声認識してテキストデータに変換し、前記テキストデー
タを発話文の文字情報として表示装置へ表示し、予め対
話文データーベースに記憶された複数の応答文を文字情
報として表示装置へ表示し、表示された複数の応答文の
中から一つの応答文の選択を入力し、選択された応答文
を相手話者に通知する自然言語対話処理プログラムに可
搬性を与え、容易に運搬及び他のコンピュータにインス
トールすることができるという効果がある。
【図面の簡単な説明】
【図1】本発明に係る自然言語対話処理装置の第1の実
施形態の構成を示すブロック構成図である。
【図2】本発明に係る自然言語対話処理装置の第2の実
施形態の構成を示すブロック構成図である。
【図3】本発明に係る自然言語対話処理方法を実現する
自然言語対話処理プログラムの実行環境の構成を示すハ
ードウェアブロック構成図である。
【図4】第1実施形態の動作を説明するフローチャート
である。
【図5】第2実施形態の動作を説明するフローチャート
である。
【図6】第2実施形態の動作を説明するフローチャート
である。
【図7】実施形態における健常者と聴覚障害者との対話
の具体例を説明する図である。
【図8】実施形態におけるタッチパネルディスプレイの
表示例を説明する図である。
【符号の説明】
1 マイク 2 音声認識部 3 辞書 4 対話文データベース 5 発話文表示部 6 タッチパネルディスプレイ 7 応答文リスト表示部 8 応答文認識部 9 音声合成部 10 スピーカ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 3/00 E (72)発明者 中森 勝 大阪府門真市大字門真1048番地 松下電工 株式会社内 (72)発明者 馬場 朗 大阪府門真市大字門真1048番地 松下電工 株式会社内 (72)発明者 パウロ・プリオッティ 大阪府門真市大字門真1048番地 松下電工 株式会社内 Fターム(参考) 5B075 KK07 KK13 KK33 KK37 ND03 ND20 ND22 ND34 PP03 PP07 PP12 PP13 PP24 PQ02 PQ04 UU26 5D015 AA05 LL05 LL06 LL11 5D045 AB30

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 相手話者の音声を入力して音声信号に変
    換する音声入力手段と、 前記音声信号を音声認識してテキストデータに変換する
    音声認識手段と、 該音声認識手段が参照する辞書と、 前記テキストデータを文字情報として表示装置へ表示す
    る発話文表示制御手段と、 複数の対話文を予め記憶する対話文データーベースと、 対話文データーベースに記憶された複数の対話文を文字
    情報として前記表示装置へ表示する応答文リスト表示制
    御手段と、 前記表示された複数の応答文の中から一つの応答文の選
    択を入力する選択入力手段と、 前記選択された応答文を相手話者に通知する通知手段
    と、を備えたことを特徴とする自然言語対話処理装置。
  2. 【請求項2】 相手話者の音声を入力して音声信号に変
    換する音声入力手段と、 前記音声信号を音声認識してテキストデータに変換する
    音声認識手段と、 該音声認識手段が参照する辞書と、 前記テキストデータを文字情報として表示装置へ表示す
    る発話文表示制御手段と、 予め対話状況毎に複数の対話文を記憶する対話文データ
    ーベースと、 前記テキストデータに基づいて対話状況を判定する対話
    制御手段と、 該対話制御手段が判定した対話状況に対応する複数の対
    話文を文字情報として前記表示装置へ表示する応答文リ
    スト表示制御手段と、 前記表示された複数の応答文の中から一つの応答文の選
    択を入力する選択入力手段と、 前記選択された応答文を相手話者に通知する通知手段
    と、 を備えたことを特徴とする自然言語対話処理装置。
  3. 【請求項3】 相手話者の音声を入力して音声信号に変
    換する音声入力手段と、 前記音声信号を音声認識してテキストデータに変換する
    音声認識手段と、 該音声認識手段が参照する辞書と、 前記テキストデータを文字情報として表示装置へ表示す
    る発話文表示制御手段と、 予め対話状況毎に複数の対話文を記憶する対話文データ
    ーベースと、 前記テキストデータ及び以前の対話内容に基づいて対話
    状況を判定するとともに文脈情報を導出する対話制御手
    段と、 該対話制御手段が判定した対話状況に対応する複数の対
    話文から前記文脈情報に適合する応答文を選択して文字
    情報として前記表示装置へ表示する応答文リスト表示制
    御手段と、 前記表示された複数の応答文の中から一つの応答文の選
    択を入力する選択入力手段と、 前記選択された応答文を相手話者に通知する通知手段
    と、を備えたことを特徴とする自然言語対話処理装置。
  4. 【請求項4】 請求項3記載の自然言語対話処理装置に
    おいて、 前記文脈情報に基づいて現在進行している対話内のキー
    ワードを予測するキーワード予測手段と、 前記辞書内の前記キーワードの選択確率を上げる辞書変
    更手段と、を備えたことを特徴とする自然言語対話処理
    装置。
  5. 【請求項5】 請求項2ないし請求項4のいずれか1項
    記載の自然言語対話処理装置において、 前記応答文の文体を制御する表層制御手段を備えたこと
    を特徴とする自然言語対話処理装置。
  6. 【請求項6】 請求項5記載の自然言語対話処理装置に
    おいて、 利用者が相手話者に関する相手話者情報を入力する相手
    話者情報入力手段を備え、 前記相手話者情報に基づいて前記表層制御手段が応答文
    の文体を制御することを特徴とする自然言語対話処理装
    置。
  7. 【請求項7】 請求項3記載の自然言語対話処理装置に
    おいて、 利用者が相手話者に関する情報を入力する相手話者情報
    入力手段を備え、 前記相手話者情報に基づいて前記対話状況を決定する
    か、或いは前記相手話者情報に基づいて前記対話文デー
    タベースに登録された対話文セットの優先度を変更する
    ことができることを特徴とする自然言語対話処理装置。
  8. 【請求項8】 請求項3ないし請求項7のいずれか1項
    記載の自然言語対話処理装置において、 前記選択入力手段から入力された応答文の情報を前記対
    話制御部に入力し、 前記対話制御手段は、該情報に基づいて、前記対話文デ
    ータベースから次に選択する応答文の確率を変更するこ
    とができることを特徴とする自然言語対話処理装置。
  9. 【請求項9】 請求項1ないし請求項8のいずれか1項
    記載の自然言語対話処理装置において、前記通知手段
    は、 前記選択入力手段で選択された一文を音声信号に変換す
    る音声合成手段と、 該音声合成部が変換した音声信号を音声として出力する
    音声出力手段と、を備えたことを特徴とする自然言語対
    話処理装置。
  10. 【請求項10】 相手話者の音声を入力して音声信号に
    変換する音声入力過程と、 前記音声信号を音声認識してテキストデータに変換する
    音声認識過程と、 前記テキストデータを文字情報として表示装置へ表示す
    る発話文表示過程と、 対話文データーベースに記憶された複数の対話文を文字
    情報として表示装置へ表示する応答文リスト表示過程
    と、 前記表示された複数の応答文の中から一つの応答文の選
    択を入力する選択入力過程と、 前記選択された応答文を相手話者に通知する通知過程
    と、を備えたことを特徴とする自然言語対話処理方法。
  11. 【請求項11】 相手話者の音声を入力して音声信号に
    変換する音声入力過程と、 前記音声信号を音声認識してテキストデータに変換する
    音声認識過程と、 前記テキストデータを文字情報として表示装置へ表示す
    る発話文表示過程と、 前記テキストデータに基づいて対話状況を判定する対話
    状況判定過程と、 前記対話状況に対応する複数の対話文を対話文データベ
    ースから検索し、検索された対話文を文字情報として表
    示装置へ表示する応答文リスト表示過程と、 前記表示された複数の応答文の中から一つの応答文の選
    択を入力する選択入力過程と、 前記選択された応答文を相手話者に通知する通知過程
    と、を備えたことを特徴とする自然言語対話処理方法。
  12. 【請求項12】 相手話者の音声を入力して音声信号に
    変換する音声入力過程と、 前記音声信号を音声認識してテキストデータに変換する
    音声認識過程と、 前記テキストデータを文字情報として表示装置へ表示す
    る発話文表示過程と、 前記テキストデータ及び以前の対話内容に基づいて対話
    状況を判定するとともに文脈情報を導出する文脈導出過
    程と、 前記対話状況に対応する複数の対話文から前記文脈情報
    に適合する応答文を対話文データベースから選択して文
    字情報として表示装置へ表示する応答文リスト表示過程
    と、 前記表示された複数の応答文の中から一つの応答文の選
    択を入力する選択入力過程と、 前記選択された応答文を相手話者に通知する通知過程
    と、を備えたことを特徴とする自然言語対話処理方法。
  13. 【請求項13】 請求項12記載の自然言語対話処理方
    法において、 前記文脈情報に基づいて現在進行している対話内のキー
    ワードを予測するキーワード予測過程と、 前記辞書内の前記キーワードの選択確率を上げる辞書変
    更過程と、を備えたことを特徴とする自然言語対話処理
    方法。
  14. 【請求項14】 請求項11ないし請求項13のいずれ
    か1項記載の自然言語対話処理方法において、 前記応答文の文体を制御する表層制御過程を備えたこと
    を特徴とする自然言語対話処理方法。
  15. 【請求項15】 請求項14記載の自然言語対話処理方
    法において、 利用者が相手話者に関する相手話者情報を入力する相手
    話者情報入力過程を備え、 前記相手話者情報に基づいて前記表層制御過程が応答文
    の文体を制御することを特徴とする自然言語対話処理方
    法。
  16. 【請求項16】 請求項12記載の自然言語対話処理方
    法において、 利用者が相手話者に関する情報を入力する相手話者情報
    入力過程と、 前記相手話者情報に基づいて前記対話状況を決定する
    か、或いは前記相手話者情報に基づいて前記対話文デー
    タベースに登録された対話文セットの優先度を入れ替え
    る対話制御過程と、を備えたことを特徴とする自然言語
    対話処理方法。
  17. 【請求項17】 請求項12ないし請求項16のいずれ
    か1項記載の自然言語対話処理方法において、 前記選択入力過程で入力された応答文の情報に基づい
    て、前記対話文データベースから次に選択する応答文の
    確率を変更する過程を備えたことを特徴とする自然言語
    対話処理方法。
  18. 【請求項18】 請求項10ないし請求項17のいずれ
    か1項記載の自然言語対話処理方法において、前記通知
    過程は、 前記選択入力過程で選択された一文を音声信号に変換す
    る音声合成過程と、 該音声合成過程が変換した音声信号を音声として出力す
    る音声出力過程と、を備えたことを特徴とする自然言語
    対話処理方法。
  19. 【請求項19】 相手話者の音声を入力して音声信号に
    変換し、 前記音声信号を音声認識してテキストデータに変換し、 前記テキストデータを文字情報として表示装置へ表示
    し、 予め対話文データーベースに記憶された複数の対話文を
    文字情報として表示装置へ表示し、 前記表示された複数の応答文の中から一つの応答文の選
    択を入力し、 前記選択された応答文を相手話者に通知する自然言語対
    話処理プログラムを記憶したコンピュータ読み取り可能
    な記憶媒体。
JP2000326575A 2000-10-26 2000-10-26 自然言語対話処理装置およびその方法並びにその記憶媒体 Withdrawn JP2002132291A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000326575A JP2002132291A (ja) 2000-10-26 2000-10-26 自然言語対話処理装置およびその方法並びにその記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000326575A JP2002132291A (ja) 2000-10-26 2000-10-26 自然言語対話処理装置およびその方法並びにその記憶媒体

Publications (1)

Publication Number Publication Date
JP2002132291A true JP2002132291A (ja) 2002-05-09

Family

ID=18803738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000326575A Withdrawn JP2002132291A (ja) 2000-10-26 2000-10-26 自然言語対話処理装置およびその方法並びにその記憶媒体

Country Status (1)

Country Link
JP (1) JP2002132291A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007206886A (ja) * 2006-01-31 2007-08-16 Canon Inc 情報処理装置および方法
JP2008158985A (ja) * 2006-12-26 2008-07-10 Sharp Corp 電子機器およびその制御方法
CN100462919C (zh) * 2005-10-27 2009-02-18 国际商业机器公司 用于提供听觉用户接口的系统和方法
KR20190104119A (ko) * 2019-08-28 2019-09-06 주식회사 카카오 챗봇과 상담원을 이용한 반자동 대화제공방법 및 서버
JP2021051693A (ja) * 2019-09-26 2021-04-01 国立大学法人大阪大学 発話システム、発話推薦装置、発話推薦プログラムおよび発話推薦方法
US11082368B2 (en) 2017-12-28 2021-08-03 Kakao Corp. Semi-automatic communication using chatbot and consultant device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100462919C (zh) * 2005-10-27 2009-02-18 国际商业机器公司 用于提供听觉用户接口的系统和方法
JP2007206886A (ja) * 2006-01-31 2007-08-16 Canon Inc 情報処理装置および方法
JP4603988B2 (ja) * 2006-01-31 2010-12-22 キヤノン株式会社 情報処理装置および方法
JP2008158985A (ja) * 2006-12-26 2008-07-10 Sharp Corp 電子機器およびその制御方法
US11082368B2 (en) 2017-12-28 2021-08-03 Kakao Corp. Semi-automatic communication using chatbot and consultant device
KR20190104119A (ko) * 2019-08-28 2019-09-06 주식회사 카카오 챗봇과 상담원을 이용한 반자동 대화제공방법 및 서버
KR102169397B1 (ko) * 2019-08-28 2020-10-23 주식회사 카카오 챗봇과 상담원을 이용한 반자동 대화제공방법 및 서버
JP2021051693A (ja) * 2019-09-26 2021-04-01 国立大学法人大阪大学 発話システム、発話推薦装置、発話推薦プログラムおよび発話推薦方法

Similar Documents

Publication Publication Date Title
US11514886B2 (en) Emotion classification information-based text-to-speech (TTS) method and apparatus
US8560326B2 (en) Voice prompts for use in speech-to-speech translation system
US20090012793A1 (en) Text-to-speech assist for portable communication devices
KR101042119B1 (ko) 음성 이해 시스템, 및 컴퓨터 판독가능 기록 매체
RU2352979C2 (ru) Синхронное понимание семантических объектов для высокоинтерактивного интерфейса
TWI281146B (en) Apparatus and method for synthesized audible response to an utterance in speaker-independent voice recognition
JP3224000B2 (ja) テキスト−音声変換システム
JP2002366186A (ja) 音声合成方法及びそれを実施する音声合成装置
KR20230165395A (ko) 종단간 음성 변환
JP2001215993A (ja) 対話処理装置および対話処理方法、並びに記録媒体
KR20080015935A (ko) 합성 생성된 음성 객체의 발음 정정
JP2007300640A (ja) ボイスメッセージのテキスト表示を通信装置へ提供する方法及びシステム
JP4729902B2 (ja) 音声対話システム
US20060190260A1 (en) Selecting an order of elements for a speech synthesis
KR101959439B1 (ko) 통역방법
US20040006469A1 (en) Apparatus and method for updating lexicon
JP2002132291A (ja) 自然言語対話処理装置およびその方法並びにその記憶媒体
US20230148275A1 (en) Speech synthesis device and speech synthesis method
JPH1138863A (ja) 言語情報装置
JP2001209644A (ja) 情報処理装置および情報処理方法、並びに記録媒体
WO2007004391A1 (ja) 対話支援装置
JP6383748B2 (ja) 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム
JPH07199989A (ja) 音声認識装置
JP2001117752A (ja) 情報処理装置および情報処理方法、並びに記録媒体
JPH08263499A (ja) 自動翻訳装置及び自動通訳装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080108