JP2004184788A - 音声対話システムおよびプログラム - Google Patents

Abstract

【課題】対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、現時点までの対話履歴状況に基づいて応答音声を変更して出力できるようにする。
【解決手段】音声応答ファイル１２−６には、「認識言語」に対応してその応答情報として、「応答言語」の他に複数種の録音情報が記憶されている。ＣＰＵ１１は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、現在の対話相手を認識し、その相手対応の「会話回数」を会話話者ファイル１２−７から読み出し、この「会話回数」に応じて音声応答ファイル１２−６から読み出す応答情報を選択して応答出力する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する音声対話システムおよびプログラムに関する。
【０００２】
【従来の技術】
従来、この種の音声対話システムとしては、例えば、電子玩具や音声応答ロボットあるいは音声応答を行う対話ソフトのように、人間からの話し掛けに応答して予め決められている応答音声を出力するようにしているが、対話相手からの話し掛けが同一内容であれば、常に、同様の音声応答を行うようにしている為に、直ぐに飽きられてしまうという問題があった。
そこで、従来においては、例えば、利用者の会話の特性（話題内容、対話時間等）を把握し、その会話特性に応じて発話する単語を適宜変化させるようにした対話システムが知られている（特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１２５９００号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、会話特性に応じて発話する単語を変化させるものにおいても、話題内容、対話時間等の会話特性が同じであれば、同様の音声応答を行う為に、単調さを改善するまでには至らず、直ぐにマンネリ化してしまうと共に、テキスト言語を単に読み上げるという機械的な音声応答では、会話する魅力も次第になくなってしまう。
【０００５】
第１の発明の課題は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、現時点までの対話履歴状況に基づいて応答音声を変更して出力できるようにすることである。
第２の発明の課題は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、録音者毎に応答情報として任意に録音された録音情報の中から選択された録音者対応の録音情報を出力できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する音声対話システムであって、対話相手との対話に応じて更新される現時点までの対話履歴状況を記憶管理する対話履歴記憶手段と、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、前記対話履歴状況に応じて当該応答音声を変更して出力する出力制御手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１２記載の発明）。
【０００７】
したがって、請求項１、１２記載の発明は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、現時点までの対話履歴状況（会話回数、会話頻度等）に応じて当該応答音声を変更して出力するようにしたから、対話相手からの話し掛けが同一内容であっても、異なる音声応答を行うことができ、たとえ、長期間使用したとしても、マンネリ化を防止して常に新鮮味を与えることができると共に、表現豊な音声対話システムを提供することができる。
【０００８】
なお、請求項１記載の発明は次のようなものであってもよい。
現在の対話相手を認識する話者認識手段を設け、前記対話履歴記憶手段は、この話者認識手段によって認識された対話相手別にその対話履歴状況を記憶管理し、前記出力制御手段は、前記話者認識手段によって認識された現在の対話相手に対応付けられている前記対話履歴状況に応じて応答音声を変更して出力する（請求項２記載の発明）。
したがって、請求項２記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、現在の対話相手を認識すると共に、認識された現在の対話相手に対応付けられている対話履歴状況に応じて応答音声を変更して出力するようにしたから、例えば、複数の者が共有使用する場合でも、各人の対話履歴状況に基づいて各人別に応答音声を変更することができる。
【０００９】
対話相手からの入力音声を認識した認識結果に該当する応答情報として、予め録音された複数の録音情報を記憶管理する応答情報記憶手段を設け、前記出力制御手段は、前記複数の録音情報の中から前記対話履歴状況に応じて選択指定された録音情報を出力する（請求項３記載の発明）。
したがって、請求項３記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、対話相手からの入力音声を認識した認識結果に該当する応答情報として予め録音された複数の録音情報の中から対話履歴状況に応じて選択指定した録音情報を出力するようにしたから、機械的な合成音による音声応答ではなく、人間が実際に録音した内容の音声応答が可能となる他、対話履歴状況に応じて応答音声を適宜変更することができる。
【００１０】
この場合、前記応答情報記憶手段は、予め固定的に用意されている固定型の録音情報の他に、任意に録音された任意型の録音情報を記憶管理するようにすれば（請求項４記載の発明）、例えば、製品購入時に添付されている固定型の録音情報の他に、ユーザ自身あるいは身近な者が録音した内容を聞くことが可能となる他、対話履歴状況に応じて例えば、父親、母親、兄、妹、末っ子の順にその録音内容を出力させることができる等、楽しさや面白みを増すことも可能となる。
【００１１】
前記出力制御手段は、対話相手からの入力音声を認識した認識結果に該当する応答音声を前記対話履歴状況に応じて加工することによってその音質、口調のうち、少なくともその何れかを変更して出力する（請求項５記載の発明）。
したがって、請求項５記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、応答音声の音質、口調を加工して出力するようにしたから、同一内容の応答音声であっても、その音質、口調が異なる為、常に新鮮味のある応答が可能となる。
【００１２】
請求項６記載の発明（第２の発明）は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する音声対話システムであって、対話相手からの入力音声を認識した認識結果に該当する応答情報として、任意に録音された録音情報をその録音者に対応付けて記憶管理する応答情報記憶手段と、前記録音情報を録音した録音者のうち、その何れかを選択する選択手段と、この選択手段によって選択された録音者に対応付けられている録音情報を音声出力する音声応答手段とを具備するものである。
更に、コンピュータに対して、上述した請求項６記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１３記載の発明）。
【００１３】
したがって、請求項６、１３記載の発明は、対話相手からの入力音声を認識した認識結果に該当する応答情報として、任意に録音された録音情報をその録音者に対応付けて記憶管理しておき、この録音者の中から選択された録音者対応の録音情報を音声出力するようにしたから、機械的な合成音による音声応答ではなく、人間が実際に録音した内容の音声応答が可能となる他に、ユーザ自身あるいは身近な者等、様々な人が録音した内容を応答音声として聞くことができ、たとえ、長期間使用したとしても、マンネリ化を防止して常に新鮮味を与えることができると共に、表現豊な音声対話システムを提供することができる。
【００１４】
なお、請求項６記載の発明は次のようなものであってもよい。
現在の対話相手を認識する話者認識手段を設け、前記選択手段は、この話者認識手段によって認識された現在の対話相手以外の者が録音した録音情報を選択する（請求項７記載の発明）。
したがって、請求項７記載の発明によれば、請求項６記載の発明と同様の効果を有する他に、現在の対話相手を認識すると共に、現在の対話相手以外の者が録音した録音情報を選択して応答出力するようにしたから、自己が録音した内容を除き、身近な者が録音した内容を応答音声として聞くことができる。
この場合、前記選択手段は、前記録音情報を録音した録音者のうち、任意に指定された録音者を選択するようにすれば（請求項８記載の発明）、ユーザの希望する人が録音した内容を応答音声として聞くことができる。
【００１５】
現在の対話相手との一連の対話が終了するまで前記音声応答手段は、前記選択された録音者対応の録音情報が存在していれば、その録音情報に基づいて音声応答を行う（請求項９記載の発明）。
したがって、請求項９記載の発明によれば、請求項６記載の発明と同様の効果を有する他に、現在の対話相手との一連の対話が終了するまでは、同一の録音者によって録音された内容を聞くことができ、不用意に異なる録音者による応答に切り替わることを防止することが可能となる。
【００１６】
予め対話相手別にその音声特徴を解析する音声解析手段と、この音声解析手段によって解析された音声特徴情報を対話相手別に記憶管理する特徴情報記憶手段とを設け、前記応答情報記憶手段は、認識言語に対応してその応答言語を記憶管理し、前記音声応答手段は、前記選択された録音者対応の録音情報が存在していなければ、前記応答情報記憶手段から認識言語に対応する応答言語を読み出して音声変換すると共に、この変換された音声情報に前記特徴情報記憶手段から読み出した当該録音者対応の音声特徴情報を音声合成して応答出力する（請求項１０記載の発明）。
したがって、請求項１０記載の発明によれば、請求項６、９記載の発明と同様の効果を有する他に、選択された録音者対応の録音情報が存在していなければ、認識言語に対応する応答言語を音声変換すると共に、この変換された音声情報に当該録音者対応の音声特徴情報を音声合成して応答出力するようにしたから、録音者の音質、口調で音声応答することができ、違和感の防止が可能となる。
【００１７】
ここで、前記認識言語に対応する応答言語の他に、任意に録音された録音情報を応答情報として登録可能な場合に、入力音声を認識した認識言語の中に何れかの応答言語に該当する言語が含まれていれば、この入力音声の中から当該言語に相当する入力音声を抽出すると共に、抽出された入力音声を当該応答言語対応の録音情報として登録する（請求項１１記載の発明）。
したがって、請求項１１記載の発明によれば、請求項６記載の発明と同様の効果を有する他に、入力音声を認識した認識言語の中に何れかの応答言語に該当する言語が含まれている場合に、この入力音声の中から抽出した当該言語に相当する入力音声をその応答言語対応の録音情報として登録するようにしたから、対話相手からの入力音声をそのまま応答言語対応の録音情報として登録することができ、特別な録音作業を行うことなく、自動録音が可能となる。言換えれば、ユーザにあっては、録音を意識しなくても対話を行うだけで、応答言語対応の録音情報が自然に蓄積され、利用回数が多くなればなる程、録音情報を充実させることが可能となる。
【００１８】
【発明の実施の形態】
以下、図１〜図５を参照してこの発明の一実施形態を説明する。
図１は、この実施形態における人間型ロボットの外観を概念的に示した正面図である。
この人間型ロボットには、外界感覚機能として聴覚系の音声入力部を有し、人間からの話し掛けに応じた対応動作（会話および行動）を実行可能なものであり、また、話し掛けに応じた応答動作以外では、予め設定されている設定動作を自律的に行う自律行動を行うようにしたロボットである。
【００１９】
この人間型ロボットの頭部には、その眼の位置に視覚系感覚機能を構成するレンズ・ＣＣＤ（撮像素子）を備えたデジタルカメラ１と、耳の位置に聴覚系感覚機能を構成するマイクロフォーン２の他に、口の位置に音声応答用のスピーカ３を備えている。また、胴体部には、液晶表示式タッチパネル４が備えられている。なお、カメラ１は、対話相手の顔を撮影するデジタルスチールカメラであり、対話者の顔画像を撮影する。液晶表示式タッチパネル４は、対話相手からの入力指示等を受け付けたり、各種のメッセージを表示するタッチスクリーンである。
【００２０】
図２は、人間型ロボットの全体構成を示したブロック図である。
ＣＰＵ１１は、記憶部１２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこの人間型ロボットの全体動作を制御する中央演算処理装置である。記憶部１２は、オペレーティングシステムや各種アプリケーションソフト等が格納され、磁気的、光学的、半導体メモリ等によって構成されている記録媒体やその駆動系を有している。この記録媒体はハードディスク等の固定的な媒体若しくは着脱自在に装着可能なＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード、磁気カード等の可搬型の媒体である。また、ＣＰＵ１１は記録媒体内に格納されるその一部あるいは全部を他の機器側から取り込み、記録媒体に新規登録あるいは追加登録することもできる。
【００２１】
一方、この人間型ロボットには、音声入力部１３、音声応答部１４、可動動作部１５、駆動機構部１６を有し、それらは入出周辺デバイスとしてＣＰＵ１１に接続されている。
音声入力部１３は、Ａ／Ｄ変換器、マイクロフォーン、エコーキャンセラ回路からなり、外界音声を入力し、その音声波形をＡ／Ｄ変換するもので、人間からの話し掛けを外界情報として検出する聴覚系感覚機能を構成する。この音声入力部１３からの入力音声は、ＣＰＵ１１に取り込まれて音声認識されると共に、その認識結果に基づいて言語処理される。ここで、ＣＰＵ１１は、音声認識の結果、それに該当する内容の応答音声を出力させる。音声応答部１４は、会話応答を行う場合に、スピーカ３から音声を発声出力させるものである。
可動動作部１５は、ロボット本体の可動部（手足、首、目、口等）を動作させる機構部であり、駆動機構部１６は、モータ、電源、駆動機構を備え、可動動作部５に対する駆動源である。
【００２２】
この人間型ロボットの記憶部１２内には、全体動作を制御する基本的なシステムプログラム１２−１と、ロボットの自律行動を制御する動作プログラム１２−２と、入力音声を認識して言語処理を行う言語認識プログラム１２−３と、入力音声を認識した認識結果に該当する内容の音声を応答出力する音声応答プログラム１２−４と、一時的に各種のデータを記憶するワークエリア１２−５と、後述する音声応答ファイル１２−６および会話話者ファイル１２−７等が設けられている。この場合、言語認識プログラム１２−３は、不特定話者の入力音声を認識すると共に、その認識結果に基づいて構文解析、意味解析等の言語的処理を行う。音声応答プログラム１２−４は、録音内容を音声応答する場合には、その録音内容を再生出力するが、テキスト情報を読み上げる場合には、テキスト情報を音声変換して音声応答を行う。
【００２３】
図３（Ａ）は、音声応答ファイル１２−６の内容を示した図である。
この音声応答ファイル１２−６は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する為の応答情報を記憶管理するもので、対話相手からの入力音声を認識した「認識言語」とその「応答言語」とを対応付けて記憶する他に、各「応答言語」に対応して複数の「録音情報」を記憶可能な構成となっている。
ここで、「認識言語」は、対話相手から話し掛けられた内容、例えば、“こんにちは”、“さよなら”、“かわいい”等、様々な内容を認識する為のテキスト情報である。「応答言語」は、この「認識言語」に対応する応答情報を示すテキスト情報であり、例えば、「認識言語」“こんにちは”に対応する「応答言語」として“お元気ですか”、また、「認識言語」“さよなら”に対応する「応答言語」として“また遊んでね”、「認識言語」“かわいい”に対応する「応答言語」として“ありがとう”等である。
【００２４】
これらの「認識言語」、「応答言語」は、予めメーカ等によって固定的に設定された固定情報であり、ＣＰＵ１１は、対話相手からの入力音声を認識した結果、その認識結果が「認識言語」に該当する場合には、それに対応する「応答言語」を音声情報に変換して応答出力させる。その際、対話相手から話し掛けられた内容の中に「認識言語」の一部が含まれている場合でも、それに対応する「応答言語」にしたがった音声応答を行うようにしている。例えば、話し掛けられた内容が“〇〇ちゃん、こんにちは”の場合でも、「認識言語」“こんにちは”に対応する「応答言語」として“お元気ですか”を音声応答するようにしている。
【００２５】
音声応答ファイル１２−６内に登録されている複数の「録音情報」は、対応する「応答言語」に代えて応答出力されるデジタル音声の録音情報であり、複数の応答話者種（この例では５種類の話者種）別にその録音情報が「応答言語」に対応付けて音声応答ファイル１２−６に登録されている。すなわち、この複数の「録音情報」は、予めメーカ等によって固定的に録音されている録音情報を示すロボット話者（１）、（２）と、ユーザ自身あるいは身近な者が任意に録音した録音情報を示す録音話者（Ａ）、（Ｂ）、（Ｃ）とから構成されている。
【００２６】
この複数の応答話者種対応の録音情報として、例えば、「認識言語」が“こんにちは”であれば、“お元気ですか”が録音され、また、「認識言語」が“さよなら”であれば、“また遊んでね”、「認識言語」が録音され、「認識言語」が“かわいい”であれば、“ありがとう”が録音されている。この場合、録音内容は、「認識言語」対応の「応答言語」に一致する内容に限らず、「応答言語」とは異なる録音内容であってもよい。つまり、「認識言語」が“さよなら”、それに対応する「応答言語」が“また遊んでね”の場合、この「応答言語」対応の録音情報としては、“お元気でね”、“直ぐ来てね”等であってもよい。
なお、録音情報を別ファイルに録音しておき、この録音ファイルをアクセスする為の「ファイルＮｏ」を応答話者種に対応して音声応答ファイル１２−６内に記憶するようにしてもよい。
【００２７】
この場合、ＣＰＵ１１は、対話相手からの入力音声を認識した認識結果（認識言語）に該当する内容の応答音声を出力する場合に、音声応答ファイル１２−６をアクセスし、「認識言語」に対応付けられている複数の「録音情報」の中から選択した録音情報を音声応答するようにしているが、「認識言語」に対応の「録音情報」が存在していない場合には、テキスト情報としての「応答言語」を音声合成して出力するようにしている。なお、「認識言語」に対応付けられている複数の「録音情報」の中からどの録音情報を選択するかは、現在の対話相手を認識し、この対話相手対応の対話履歴状況を参照して行うようにしている。
【００２８】
図３（Ｂ）は、会話話者ファイル１２−７の内容を示した図である。
この会話話者ファイル１２−７は、現時点までに対話したことがある対話相手を管理する為のファイルであり、その対話相手毎に、その相手先を示す「会話話者」と、その相手の音声特徴を示す「音声特徴パターン」と、その相手先を撮影した「顔画像」と、現時点までの対話履歴状況を示す「会話回数」とを記憶する構成となっている。
【００２９】
「音声特徴パターン」および「顔画像」は、現在の対話相手を照合認識する為の情報であるが、更に、「音声特徴パターン」は、上述の「応答言語」を音声変換した後に、この変換音声に「音声特徴パターン」を合成することによって音質、口調を変更する際にも使用される。「会話回数」は、一連の会話が行われる毎にその対話者別に更新される対話履歴状況であり、ＣＰＵ１１は、音声応答ファイル１２−６内に「応答言語」に対応して応答話者種別に登録されている複数の録音情報の中から「会話回数」に応じた「録音情報」を選択して音声応答を行うようにしている。
【００３０】
次に、この実施形態における人間型ロボットにおける音声応答動作を図４および図５に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００３１】
図４および図５は、人間型ロボットにおける音声応答動作を示したフローチャートであり、この音声応答動作は、電源投入に伴って実行開始される。
先ず、ＣＰＵ１１は、音声入力部１３からの入力音声の有無を常時監視しており（ステップＳ１）、音声入力を検知すると、その入力音声を取得してワークエリア１２−５に記憶保持すると共に（ステップＳ２）、カメラ１を作動させて現在の対話相手を撮影した顔画像を取得してワークエリア１２−５に記憶保持する（ステップＳ３）。そして、ワークエリア１２−５内の入力音声を音声認識した後に（ステップＳ４）、この認識音声に基づいて言語認識を行ってテキスト情報（認識言語）に変換する（ステップＳ５）。
【００３２】
これによって変換されたテキスト情報（認識言語）に基づいて音声応答ファイル１２−６をアクセスし、該当する「応答言語」を検索して応答対象を選択する（ステップＳ６）。そして、ワークエリア１２−５内の入力音声を解析し、その周波数スペクトル等の音声特徴パターン（音質、口調等）を取得すると共に、この解析結果（音声特徴パターン）およびワークエリア１２−５内の顔画像に基づいて会話話者ファイル１２−７を検索し、該当する「音声特徴パターン」および「顔画像」が一致／近似する「会話話者」を特定することによって現在の話者相手を認識する（ステップＳ７、Ｓ８）。
【００３３】
この結果、現在の話者相手に該当する者が会話話者ファイル１２−７内に登録されていない場合には（ステップＳ９でＮＯ）、上述した入力音声の解析結果「音声特徴パターン」とワークエリア１２−５内の「顔画像」を含む新規レコードを作成して会話話者ファイル１２−７内に追加登録する（ステップＳ１０）。
このように話者相手を新規登録した場合には、今回の認識言語に基づいて音声応答ファイル１２−６をアクセスし、この認識言語に対応付けられている複数の録音情報のうち、応答話者種として、「ロボット話者（１）」の録音情報を選択指定した後（ステップＳ１１）、応答言語に代えてこの選択話者種の録音情報にしたがって音声応答を行う（ステップＳ１９）。
【００３４】
一方、現在の話者相手に該当する者が会話話者ファイル１２−７内に登録されている場合には（ステップＳ９でＹＥＳ）、会話話者ファイル１２−７から当該登録者対応の「会話回数」を読み出し、この「会話回数」と予め設定されている設定値“１００”とを比較し、「会話回数」が設定値“１００”を越えているかを判別する（ステップＳ１２）。この結果、「会話回数」が“１００”以下であれば、上述の新規登録時の場合と同様に、応答話者種として、「ロボット話者（１）」の録音情報を選択指定した後に（ステップＳ１３）、応答言語に代えてこの選択話者種の録音情報にしたがって音声応答を行う（ステップＳ１９）。
【００３５】
また、現在の話者相手の「会話回数」が設定値“１００”を越えていれば（ステップＳ１２でＹＥＳ）、更に、「会話回数」が設定値“２００” を越えているかを判別する（ステップＳ１４）。ここで、「会話回数」が“１０１”〜“２００以下”であれば、応答話者種として、「ロボット話者（２）」の録音情報を選択指定した後（ステップＳ１５）、応答言語に代えてこの選択話者種のる録音情報にしたがって音声応答を行う（ステップＳ１９）。
【００３６】
更に、「会話回数」が設定値“２００”を越えている場合には（ステップＳ１４でＹＥＳ）、音声応答ファイル１２−６内の録音話者（Ａ）、（Ｂ）、（Ｃ）を対象としてそのファイル全体を検索し、録音話者別の録音言語数が“５０”を越えている録音話者を抽出特定する（ステップＳ１６）。つまり、録音話者（Ａ）、（Ｂ）、（Ｃ）のうち、「認識言語」、「応答言語」対応の録音情報が“５０”を越える程、録音数の多い録音話者を抽出特定する。そして、特定した録音話者の中から現認識話者（現在の話者相手）を除いた場合に、他の特定録音話者が１人でも存在しているかをチェックし（ステップＳ１７）、該当者が居なければ、ステップＳ１５に移り、応答話者種として、「ロボット話者（２）」の録音情報を選択指定した後に、応答言語に代えてこの応答話者種の録音情報にしたがって音声応答を行う（ステップＳ１９）。
【００３７】
一方、録音情報が“５０”を越える程、録音数の多い録音話者の中から現認識話者を除いた場合に、他の録音話者が１人でも存在していれば、ステップＳ１８に移り、現認識話者を除いた他の特定話者が複数存在する場合には、上述のステップＳ６で選択された応答言語対応の録音情報が有る録音話者を応答話者種として選択する。つまり、該当者が複数存在している場合にはその中の１人を応答話者種として選択するが、その際、選択応答言語対応の録音情報が登録されていることを条件として選択する。このようにして応答話者種の絞り込みを行った後に、応答言語に代えてこの応答話者種の録音情報にしたがって音声応答を行う（ステップＳ１９）。
【００３８】
このようにして最初の対話に対して音声応答を行った後は、図５のステップＳ２０に移り、以下、現在の話者相手からの入力音声に基づいて音声応答ファイル１２−６内に録音情報を自動登録する処理が実行される（ステップＳ２０〜Ｓ２３）。すなわち、現在の対話相手からの入力音声を認識した認識言語の中に何れかの応答言語に該当する言語が含まれていれば、この入力音声の中から当該言語に相当する入力音声を抽出すると共に、抽出した入力音声を当該応答言語対応の録音情報として音声応答ファイル１２−６内に登録する自動録音処理が実行される。
【００３９】
先ず、ＣＰＵ１１は、現在の対話相手からの入力音声を認識した認識言語に基づいて音声応答ファイル１２−６内の各「応答言語」を検索し（ステップＳ２０）、この認識言語の中に何れかの応答言語に該当する言語が含まれているか否かをチェックする（ステップＳ２１）。ここで、該当言語が含まれている応答言語が有れば、この入力音声の中から当該言語に相当する入力音声を抽出すると共に（ステップＳ２２）、抽出した入力音声を当該応答話者種および当該応答言語対応の録音情報として音声応答ファイル１２−６内に自動録音する（ステップＳ２３）。
【００４０】
例えば、音声応答ファイル１２−６内に認識言語“さよなら”に対応して応答言語“お元気でね”が登録され、また、他の認識言語“出かけます”に対応して応答言語“さよなら”が登録されている状態において、今回の入力音声を認識した認識言語が“さよなら”であれば、他の認識言語“出かけます”の応答言語対応の録音情報として、今回の入力音声“さよなら”がそのまま自動登録される。この場合、入力音声が一連の文章形式であり、その一部に該当言語が含まれている場合にも、その一部の言語が自動録音される。
【００４１】
その後、ステップＳ２４に移り、次に話し掛けられた入力音声の有無をチェックし、入力音声が無ければ、一定時間（例えば、１０秒間）経過するまで入力待ちとなる（ステップＳ２４、Ｓ２５）。ここで、一定時間の経過が検出されてタイムアップとなった場合には、対話相手が立ち去ったものと判断して、図４の最初のステップＳ１に戻るが、タイムアップとなる前に音声入力を検出した場合には、その入力音声を取得してワークエリア１２−５に記憶保持すると共に（ステップＳ２６）、カメラ１を作動させて現在の対話相手を撮影した顔画像を取得してワークエリア１２−５に記憶保持する（ステップＳ２７）。そして、ワークエリア１２−５内の入力音声を解析してその特徴パターン（音質、口調等）およびワークエリア１２−５内の顔画像に基づいて会話話者ファイル１２−７を検索し、該当する「音声特徴パターン」および「顔画像」が一致／近似する「会話話者」を特定し、前回の話者相手と同一人物か否かをチェックする（ステップＳ２８）。
【００４２】
この結果、同一人物でなければ、前回の対話相手に該当する会話話者ファイル１２−７内の「対話回数」をプラス１する更新処理を行った後に（ステップＳ２９）、今回の新たな話者相手に対する最初の応答を行う為に、図４のステップＳ４に戻って、以下、上述の動作が実行されるが、前回の話者相手と同一人物であれば、その相手から話し掛けられた２回目以降の入力音声に対して応答を行う為に、ワークエリア１２−５内の入力音声を音声認識した後に（ステップＳ３０）、この認識音声に基づいて言語認識を行ってテキスト情報（認識言語）に変換する（ステップＳ３１）。そして、この認識言語に基づいて音声応答ファイル１２−６を検索し、対応する「応答言語」を選択した後（ステップＳ３２）、この「応答言語」に対応付けられている各録音情報のうち、選択話者種対応の録音情報が存在するか否かをチェックする（ステップＳ３３）。
【００４３】
いま、最初の話し掛け時に選択した応答話者種に対応する録音情報が音声応答ファイル１２−６内に登録されていれば、この応答言語に代えてこの応答話者種対応の録音情報にしたがって音声応答を行う（ステップＳ３４）。また、選択話者種対応の録音情報が登録されていなければ、この応答言語を音声情報に変換すると共に、会話話者ファイル１２−７から読み出した選択話者種対応の「音声特徴パターン」を応答言語の音声情報に合成して応答出力する（ステップＳ３５）。つまり、選択話者種対応の録音情報が登録されていなければ、その選択話者種の音声特徴を反映させた応答言語を読み上げる。
以下、ステップＳ２０に戻って、今回の入力音声に応じた自動録音処理を行った後、次の入力音声待ちとなる。
【００４４】
以上のように、この実施形態においてＣＰＵ１は、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、会話話者ファイル１２−７から現時点までの「会話回数」を読み出し、この「会話回数」に応じて音声応答ファイル１２−６から読み出す応答情報を変更して出力するようにしたから、対話相手からの話し掛けが同一内容であっても、異なる音声応答を行うことができ、たとえ、長期間使用したとしても、マンネリ化を防止して常に新鮮味を与えることができると共に、表現豊な人間型ロボットを提供することができる。この場合、現在の対話相手を認識すると共に、認識された現在の対話相手に対応付けられている「会話回数」に基づいて応答音声を変更して出力するようにしたから、例えば、複数の者が共有使用する場合でも、各人の対話履歴に基づいて応答音声を各人別に変更することができる。
【００４５】
一方、音声応答ファイル１２−６には、対話相手からの入力音声を認識した認識結果に該当する応答情報として、任意に録音された録音情報をその録音者に対応付けて記憶管理しておき、この録音者の中から選択された録音者対応の録音情報を音声出力するようにしたから、機械的な合成音による音声応答ではなく、人間が実際に録音した内容の音声応答が可能となる他に、ユーザ自身あるいは身近な者等、様々な人が録音した内容を応答音声として聞くことができ、たとえ、長期間使用したとしても、マンネリ化を防止して常に新鮮味を与えることができると共に、表現豊な音声対話システムを提供することができる。
【００４６】
この場合、例えば、製品購入時に添付されている固定型のロボット話者（１）、（２）の他に、ユーザが任意に録音した任意型の録音話者（Ａ）、（Ｂ）、（Ｃ）を音声応答することができ、ユーザ自身あるいは身近な者が録音した内容を応答音声として聞くことができる。また、現在の対話相手の「会話回数」に基づいて複数の録音情報の中から何れかの録音情報を選択するようにしたから、「会話回数」が増えるにしたがって例えば、家族において、父親、母親、兄、妹、末っ子の順にその録音内容を出力させることができる等、楽しさや面白みを増すことも可能となる。更に、現在の対話相手を認識すると共に、現在の対話相手以外の者が録音した録音情報を選択して応答出力するようにしたから、自己が録音した内容を除き、身近な者が録音した内容を応答音声として聞くことができる。
【００４７】
また、現在の対話相手との一連の対話が終了するまでは、同一の録音者によって録音された内容を聞くことができ、不用意に異なる録音者による応答に切り替わることを防止することが可能となる。この場合、音声応答ファイル１２−６内に選択話者の録音情報が存在していなければ、その「認識言語」に対応する「応答言語」読み出して音声変換すると共に、この変換された音声情報に当該者対応の「音声特徴パターン」を会話話者ファイル１２−７から読み出して音声合成して出力するようにしたから、選択話者の録音情報が登録されていなくても、その者の音質、口調で音声応答することができ、違和感を防止することが可能となる。
【００４８】
また、入力音声を認識した認識言語に基づいて音声応答ファイル１２−６を検索した結果、この認識言語の中に何れかの「応答言語」に該当する言語が含まれている場合に、この入力音声の中から抽出した当該言語に相当する入力音声をその応答言語対応の録音情報として登録するようにしたから、対話相手からの入力音声をそのまま応答言語対応の録音情報として登録することができ、特別な録音作業を行うことなく、自動録音が可能となり、ユーザにあっては、録音を意識しなくても対話を行うだけで、応答言語対応の録音情報が自然に蓄積され、利用回数が多くなればなる程、録音情報を充実させることが可能となる。
【００４９】
なお、上述した実施形態においては、音声応答ファイル１２−６内に「応答言語」に対応して登録されている複数の録音情報の中からその何れかを現在の対話相手の「会話回数」に応じて選択して音声応答するようにしたが、例えば、音声応答ファイル１２−６内に各「応答言語」に対応して、１種類の基本的な録音情報を用意しておき、この基本録音情報を適宜加工することによって音声応答を行うようにしてもよい。
【００５０】
例えば、会話話者ファイル１２−７から「会話回数」に応じた話者種対応の「音声特徴パターン」を選択し、この「音声特徴パターン」を当該基本録音情報に合成して出力するようにしてもよい。また、音質、口調が異なる加工パターンを複数用意しておき、この複数の加工パターンの中から「会話回数」応じて選択された加工パターンを基本録音情報に合成して出力するようにしてもよい。この場合、「会話回数」が増えるにしたがって応答音声を丁寧な表現から親しみのある表現に加工するようにしてもよく、その加工方法は任意であり、更に無段階的に加工するようにしてもよい。
このように応答音声の音質、口調を加工するようにすれば、同一内容の応答音声であっても、その音質、口調が異なる為に新鮮味のある応答が可能となる。
【００５１】
上述した実施形態においては、現在の対話相手の「会話回数」に応じた応答話者種を選択してその録音情報を音声応答するようにしたが、ユーザが希望する応答話者種を任意に選択可能としてもよい。この場合、上述した図４のステップＳ９において、登録済みの話者であると判別された場合に、応答話者種の一覧を表示する為の処理ステップと、この一覧表示の中から希望する応答話者種の選択を受け付ける為の処理ステップとを設けるだけで用意に実現することが可能となる。このように任意に指定された録音者を選択するようにすれば、ユーザの希望する人が録音した内容を応答音声として聞くことができる。
【００５２】
上述した実施形態においては、現在の話者相手からの入力音声に基づいて音声応答ファイル１２−６内に録音情報を自動登録するようにしたが、例えば、音声応答ファイル１２−６内の「認識言語」、「応答言語」が表示されている状態において、この「応答言語」に適した内容の音声を当該「応答言語」に対応付けて録音したり、頻繁に使用する応答言語の一覧を表示し、その応答言語対応の録音を一括して行うようにしてもよい。この場合、どのような順番で音声入力されたかに拘らず、入力音声に適した「応答言語」を検索し、それに対応付けて録音するようにしてもよい。
【００５３】
また、上述した実施形態においては、現在の対話相手の「会話回数」に応じた応答話者種を規則的に順次選択するようにしたが、どのような順序で選択するかは任意であり、例えば、「会話回数」が所定値になる毎にランダムに応答話者種を選択するようにしてもよく、しかも、選択順を任意に設定可能としてもよい。
また、「会話回数」に限らず、一定時間当たりの会話回数である「頻度」を対話履歴状況としてもよい。また、対話履歴状況の他に、時間的要素を含めて応答話者種を選択するようにしてもよい。
【００５４】
また、固定型のロボット話者（１）、（２）、ユーザが任意に録音した任意型の録音話者（Ａ）、（Ｂ）、（Ｃ）の中から何れかの録音情報を選択する場合に、現在の対話相手に相応しい録音情報を選択して音声応答を行ったり、応答言語の内容に相応しい録音情報を選択して音声応答を行うようにしてもよい。例えば、ロボット話者（１）で応答している際に、突然に他の録音情報（例えば、父親の録音情報）で応答するようにしてもよい。
【００５５】
その他、上述した実施形態においては、選択話者種対応の録音情報をそのまま応答出力するようにしたが、予め用意されている複数の加工パターンを適宜選択し、選択した加工パターンと録音情報とを音声合成して音質、口調を変更するようにしてもよい。
また、上述した上述の実施形態においては、対話相手が替わった場合、つまり、話者認識処理によって同一人物ではないことが検出された場合に、前回の対話相手に該当する会話話者ファイル１２−７内の「対話回数」をプラス１するようにしたが、一連の会話が長い人と短い人が居る為、１会話（１応答）毎にその「対話回数」をプラス１するようにしてもよい。
また、上述の実施形態においては、人間型ロボットに適用した場合を示したが、例えば、ソフトウェア制御によって表示画面上で動作する仮想動物やペット等との間で対話を行う対話ソフトに適用するようにしてもよい。
【００５６】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、現時点までの対話履歴状況を記憶管理する機能と、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、前記対話履歴状況に応じて当該応答音声を変更して出力する機能を実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５７】
また、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、対話相手からの入力音声を認識した認識結果に該当する応答情報として、任意に録音された録音情報をその録音者に対応付けて記憶管理する機能と、前記録音情報を録音した録音者のうち、その何れかを選択する機能と、選択された録音者に対応付けられている録音情報を音声出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５８】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、現時点までの対話履歴状況（会話回数、会話頻度等）に応じて応答音声を変更して出力するようにしたから、対話相手からの話し掛けが同一内容であっても、異なる音声応答を行うことができ、たとえ、長期間使用したとしても、マンネリ化を防止して常に新鮮味を与えることができると共に、表現豊な音声対話システムを提供することができる。
第２の発明（請求項 記載の発明）によれば、対話相手からの入力音声を認識した認識結果に該当する応答情報として、任意に録音された録音情報をその録音者に対応付けて記憶管理しておき、この録音者の中から選択された録音者対応の録音情報を音声出力するようにしたから、機械的な合成音による音声応答ではなく、人間が実際に録音した内容の音声応答が可能となる他に、ユーザ自身あるいは身近な者等、様々な人が録音した内容を応答音声として聞くことができ、たとえ、長期間使用したとしても、マンネリ化を防止して常に新鮮味を与えることができると共に、表現豊な音声対話システムを提供することができる。
【図面の簡単な説明】
【図１】人間型ロボットの外観を概念的に示した正面図。
【図２】人間型ロボットの全体構成を示したブロック図。
【図３】（Ａ）は、音声応答ファイル１２−６の内容を示した図、（Ｂ）は、会話話者ファイル１２−７の内容を示した図。
【図４】電源投入に伴って実行開始される人間型ロボットの音声応答動作を示したフローチャート。
【図５】図４に続く、人間型ロボットの音声応答動作を示したフローチャート。
【符号の説明】
１ カメラ
２ マイクロフォーン
３ スピーカ
１１ ＣＰＵ
１２ 記憶部
１３ 音声入力部
１４ 音声応答部
１２−１ システムプログラム
１２−３ 言語認識プログラム
１２−４ 音声応答プログラム
１２−６ 音声応答ファイル
１２−７ 会話話者ファイル

Claims (13)

1. 対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する音声対話システムであって、
   対話相手との対話に応じて更新される現時点までの対話履歴状況を記憶管理する対話履歴記憶手段と、
   対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、前記対話履歴状況に応じて当該応答音声を変更して出力する出力制御手段と、
   を具備したことを特徴とする音声対話システム。
2. 現在の対話相手を認識する話者認識手段を設け、
   前記対話履歴記憶手段は、この話者認識手段によって認識された対話相手別にその対話履歴状況を記憶管理し、
   前記出力制御手段は、前記話者認識手段によって認識された現在の対話相手に対応付けられている前記対話履歴状況に応じて応答音声を変更して出力する、
   ようにしたことを特徴とする請求項１記載の音声対話システム。
3. 対話相手からの入力音声を認識した認識結果に該当する応答情報として、予め録音された複数の録音情報を記憶管理する応答情報記憶手段を設け、
   前記出力制御手段は、前記複数の録音情報の中から前記対話履歴状況に応じて選択指定された録音情報を応答出力する、
   ようにしたことを特徴とする請求項１記載の音声対話システム。
4. 前記応答情報記憶手段は、予め固定的に用意されている固定型の録音情報の他に、任意に録音された任意型の録音情報を記憶管理する、
   ようにしたことを特徴とする請求項３記載の音声対話システム。
5. 前記出力制御手段は、対話相手からの入力音声を認識した認識結果に該当する応答音声を前記対話履歴状況に応じて加工することによってその音質、口調のうち、少なくともその何れかを変更して出力する、
   ようにしたことを特徴とする請求項１記載の音声対話システム。
6. 対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する音声対話システムであって、
   対話相手からの入力音声を認識した認識結果に該当する応答情報として、任意に録音された録音情報をその録音者に対応付けて記憶管理する応答情報記憶手段と、
   前記録音情報を録音した録音者のうち、その何れかを選択する選択手段と、
   この選択手段によって選択された録音者に対応付けられている録音情報を音声出力する音声応答手段と、
   を具備したことを特徴とする音声対話システム。
7. 現在の対話相手を認識する話者認識手段を設け、
   前記選択手段は、この話者認識手段によって認識された現在の対話相手以外の者が録音した録音情報を選択する、
   ようにしたことを特徴とする請求項６記載の音声対話システム。
8. 前記選択手段は、前記録音情報を録音した録音者のうち、任意に指定された録音者を選択する、
   ようにしたことを特徴とする請求項６あるいは７記載の音声対話システム。
9. 現在の対話相手との一連の対話が終了するまで前記音声応答手段は、前記選択された録音者対応の録音情報が存在していれば、その録音情報に基づいて音声応答を行う、
   ようにしたことを特徴とする請求項６記載の音声対話システム。
10. 予め対話相手別にその音声特徴を解析する音声解析手段と、
    この音声解析手段によって解析された音声特徴情報を対話相手別に記憶管理する特徴情報記憶手段と、
    を設け、前記応答情報記憶手段は、認識言語に対応してその応答言語を記憶管理し、前記音声応答手段は、前記選択された録音者対応の録音情報が存在していなければ、前記応答情報記憶手段から認識言語に対応する応答言語を読み出して音声変換すると共に、この変換された音声情報に前記特徴情報記憶手段から読み出した当該録音者対応の音声特徴情報を音声合成して応答出力する、
    ようにしたことを特徴とする請求項９記載の音声対話システム。
11. 前記認識言語に対応する応答言語の他に、任意に録音された録音情報を応答情報として登録可能な場合に、入力音声を認識した認識言語の中に何れかの応答言語に該当する言語が含まれていれば、この入力音声の中から当該言語に相当する入力音声を抽出すると共に、抽出された入力音声を当該応答言語対応の録音情報として登録する、
    ようにしたことを特徴とする請求項６記載の音声対話システム。
12. コンピュータに対して、
    対話相手との対話に応じて更新される現時点までの対話履歴状況を記憶管理する機能と、
    対話相手からの入力音声を認識した認識結果に該当する内容の応答音声を出力する場合に、前記対話履歴状況に応じて当該応答音声を変更して出力する機能と、
    を実現させるためのプログラム。
13. コンピュータに対して、
    対話相手からの入力音声を認識した認識結果に該当する応答情報として、任意に録音された録音情報をその録音者に対応付けて記憶管理する機能と、
    前記録音情報を録音した録音者のうち、その何れかを選択する機能と、
    選択された録音者に対応付けられている録音情報を音声出力する機能と、
    を実現させるためのプログラム。

Images