JP2020173342A - 猫型会話ロボット - Google Patents

猫型会話ロボット Download PDF

Info

Publication number
JP2020173342A
JP2020173342A JP2019075152A JP2019075152A JP2020173342A JP 2020173342 A JP2020173342 A JP 2020173342A JP 2019075152 A JP2019075152 A JP 2019075152A JP 2019075152 A JP2019075152 A JP 2019075152A JP 2020173342 A JP2020173342 A JP 2020173342A
Authority
JP
Japan
Prior art keywords
dialogue
cat
character
utterance
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019075152A
Other languages
English (en)
Other versions
JP6598227B1 (ja
Inventor
大西 忠治
Tadaharu Onishi
忠治 大西
譲治 岩坪
Joji Iwatsubo
譲治 岩坪
忠 吉原
Tadashi Yoshihara
忠 吉原
慈子 齋藤
Shigeko Saito
慈子 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
It Shindan Shien Center Kitakyushu
Original Assignee
It Shindan Shien Center Kitakyushu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by It Shindan Shien Center Kitakyushu filed Critical It Shindan Shien Center Kitakyushu
Priority to JP2019075152A priority Critical patent/JP6598227B1/ja
Application granted granted Critical
Publication of JP6598227B1 publication Critical patent/JP6598227B1/ja
Publication of JP2020173342A publication Critical patent/JP2020173342A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】疑似的な自我と、発話音声を受信する度に対話態度を変化させる猫の性格を持ち、対話内容に応じて表情を変化させる猫型会話ロボットを提供する。【解決手段】猫型会話ロボット10は、発話音声を受信して受信信号を出力する音声入力手段11と、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段12と、発話者に対して対話音声を発生する音声出力手段13と、受信信号を受けて設定される対話態度に基づく対話音声を形成する音声データを作成して音声出力手段13に入力しながら、キャラクターの顔画像を形成する顔画像合成データ及びキャラクターの対話時の顔表情を変化させる顔表情データをそれぞれ作成し、顔画像合成データと顔表情データを組合せて画像表示データとして表示手段12に入力する制御装置14とを有する。【選択図】図1

Description

本発明は、猫型会話ロボットに係り、詳細には、猫型会話ロボットがペットのように疑似的に自我を持った対応をすることで、猫型会話ロボットと対話(会話)を行う発話者(猫型会話ロボットのユーザ、以下、単にユーザともいう)が猫型会話ロボットとの会話を楽しむ環境を構築するものである。
すなわちアバウトな生活スケジュール(例えば9時頃まで睡眠、14時頃まで音楽を楽しむ、18時頃まで趣味を実行して睡眠等のスケジュールで、ユーザに合わせて趣味を変えることも可)を持って猫型会話ロボットが生活している状況を構築し、ユーザが猫型会話ロボットの生活に関与して話しかけることや、ユーザに手間をかけさせること、例えば擬似的に食事の要求や排泄物の処理要求等の要求行動をして、その対応に応じて会話内容が変化することも含め、ユーザの興味に応じてお互いの生活の接点を持ち、会話を充実したものにすることを目指している。
加えてユーザからの発話音声を受信する度に対話態度を変化させる猫の性格を持つと共に、猫型会話ロボットがユーザの発話音声に応答する際に、猫型会話ロボット側(以下、単にロボット側ともいう)の対話者として設定されたキャラクターの対話時の顔画像を表示しながら、対話内容に応じてキャラクターの顔の表情を変化させる猫型会話ロボットに関する。
ここで、「猫の性格を持つ」とは、例えば、1)猫がすり寄り甘えるように、ユーザに自発的に話しかけたり何かを要求する発話を行う対話パターン、2)猫が、自立性が高く必ずしも飼い主に従順性を常に示さないように、ユーザが話しかけても無視する対話パターン、3)猫が意外性のある行動を示すように、ユーザが話しかけた話題とは別の話題で対話する対話パターン、及び4)猫が時に飼い主に対して威嚇的な態度を示すことがあるように、ユーザに対して対話を拒絶する対話パターン等の対話態度を有することをいう。
従来の会話型ロボットとの対話(会話)では、マニュアルに基づく接客対応に代表されるような反復的かつ画一的な対話(いわゆる不自然な対話)が行われ易く、対話に面白味がなく対話の継続が困難で、かつ雑談のような対話ができないといった問題点が指摘されている。このため、会話型ロボットがユーザを識別して予め入手しているユーザのプロファイルに基づいて応答文を作成することにより、あるいは対話を行いながらユーザの新たな情報を入手し、得られた情報を応答文の作成に適宜反映させることにより、対話が不自然になることを回避する提案が行われている(例えば、特許文献1参照)。
更に、従来の会話型ロボットは表情を変化させながら会話を行うことはできないため、ユーザは会話型ロボットとコミュニケーションが取り難いという問題があった。そこで、ユーザの音声からユーザの感情を怒り、喜び、及びストレス等の各項目別に数値化して感情パラメータを算出し、感情パラメータ毎に予め作成されている発話シナリオ、表情シナリオ、及び動作シナリオに基づいて、所定の音声(発話内容)を出力し、所定の表情を創出し、所定の動作を実現する会話ロボットシステムが提案されている(例えば、特許文献2参照)。
特表2016−536630号公報 特開2008−125815号公報
特許文献1の発明では、ユーザの情報に基づいて応答文が作成されるため対話の話題に変化が生じ難く、会話型ロボットとの対話を続けることがいずれは困難になるという問題がある。また、ユーザが雑談の目的で会話を始めた場合、雑談の話題が思い付きから生じたものであると、会話型ロボットが雑談の話題に関するユーザの情報を入手することは略不可能であるため、対話を無理に継続させようとすると対話が不自然となり易く、会話型ロボットとの対話の継続が困難になるという問題が生じる。
また、特許文献2に開示された会話型ロボットは、会話型ロボットが推定したユーザの感情と予め作成された発話シナリオ、表情シナリオ、及び動作シナリオに基づいて発話内容、表情、動作を決定することができるが、会話型ロボットが会話を行いながら応答内容に基づいて会話型ロボットの表情を適宜変えることはできない。このため、ユーザは会話型ロボットとコミュニケーションが取り難いという問題は解消されない。
加えて、従来の会話型ロボットにユーザの異常状態を検出する監視カメラや人感センサ等の見守り用のセンサを取り付けることにより、会話型ロボットに「見守り機能」を付加することが行われている。しかしながら、見守り用のセンサを用いたユーザの異常状態の監視では、明らかな異常が生じないと(例えば、「ユーザが転倒して動けない」、「ユーザが気絶して倒れている」ことが監視カメラの映像として得られないと)異常が認識できない。このため、見守り用のセンサを設けてもユーザが重篤な状態になるまで放置される危険性が高いという問題がある。
本発明はかかる事情に鑑みてなされたもので、ユーザが猫型会話ロボットの生活に関与することで、自然に相互の会話を促し、加えて発話音声を受信する度に対話態度を変化させる猫の性格を有することにより対話に変化を生じさせることが可能であると共に、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示しながら対話内容に応じて顔の表情を変化させることによりコミュニケーションを取り易くし、更に発話者の対話中の対話状態の変化や質問に対する回答内容の変化から発話者の異常を早期に発見して関係者に知らせることが可能な猫型会話ロボットを提供することを目的とする。
前記目的に沿う本発明に係る猫型会話ロボットは、疑似的な自我を持ち、発話者の発話音声を受信する度に対話態度を変化させる猫の性格を持つ猫型会話ロボットであって、
前記発話音声を受信して受信信号を出力する音声入力手段と、
ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段と、
前記発話者に対して対話音声を発生する音声出力手段と、
前記受信信号を受けて設定される前記対話態度に基づく前記対話音声を形成する音声データを作成して前記音声出力手段に入力しながら、前記キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成して前記表示手段に入力する制御装置とを有する。
本発明に係る猫型会話ロボットにおいて、更に、前記発話者を撮影する撮像手段を有し、前記制御装置には、前記撮像手段で得られた前記発話者の画像を用いて、前記表示手段の表示面の方向を調節し、該表示面に表示された前記キャラクターの顔画像を前記発話者に対向させる表示位置調整部が設けられていることが好ましい。
これによって、発話者(ユーザ)は、キャラクターの対話時の顔表情の変化を容易に捉えることができる。
本発明に係る猫型会話ロボットにおいて、前記キャラクターの顔画像は猫のアニメ顔画像とすることができる。
これによって、発話者は、キャラクターの顔を好みに合わせて設定することができる。なお、キャラクターの顔画像は、発話者の要求に合わせて作成することも、予め準備された複数の顔画像候補の中から発話者に選択させることも可能である。
本発明に係る猫型会話ロボットにおいて、前記制御装置は、
(1)前記音声入力手段から出力される前記受信信号を発話音声ファイルに変換し、該発話音声ファイルから発話文字ファイルを作成して出力する音声入力処理部と、
(2)前記発話文字ファイルの入力を受けて前記対話音声の基となる対話文字ファイルを作成して出力する対話管理部と、
(3)前記対話文字ファイルの入力を受けて該対話文字ファイルから前記音声データを形成し音声信号に変換して前記音声出力手段に入力する音声出力処理部と、
(4)前記キャラクターの顔画像を形成する顔画像合成データと、前記対話文字ファイルの入力を受けて該対話文字ファイルから前記キャラクターの感情を推定し、該感情に応じた表情を形成する顔表情データをそれぞれ作成し、該顔画像合成データと該顔表情データを組合せて前記画像表示データとして前記表示手段に入力するキャラクター表情処理部
とを有する構成とすることができる。
このような構成とすることで、制御装置を構成する各処理部毎にメンテナンスや更新を行うことができる。
本発明に係る猫型会話ロボットにおいて、前記対話管理部には、前記発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から前記対話態度として対話パターンSを任意に選定し、該対話パターンSに対応する前記対話文字ファイルを出力する応答対話系統を設けることができる。
発話音声から作成される発話文字ファイルが対話管理部に入力される度に、対話管理部では対話態度として対話パターンSが選定されるので、猫型会話ロボットは発話音声を受信する度に対話態度を変化させた応答を行うことができる。
本発明に係る猫型会話ロボットにおいて、前記複数の対話パターンは、
(1)前記発話文字ファイルが有する話題に応答する前記対話態度を示す通常対話パターンと、
(2)前記発話文字ファイルが有する話題とは別の話題で応答する前記対話態度を示す変更話題対話パターンと、
(3)前記発話文字ファイルの入力に対し無応答となる前記対話態度を示す無視対話パターンと、
(4)前記発話文字ファイルの入力に対し対話拒絶となる前記対話態度を示す拒絶対話パターン
とを有することができる。
対話態度として通常対話パターンが選定されると、発話文字ファイル(発話音声ファイル)が有する話題に応答することになって、猫型会話ロボットに猫の従順な一面を生じさせることができ、対話態度として変更話題対話パターンが選定されると、発話文字ファイルが有する話題とは別の話題に応答することになって、猫型会話ロボットに猫の意外な一面を生じさせることができる。また、対話態度として無視対話パターンが選定されると、話しかけても応答がなく、猫型会話ロボットに猫の自立性が高い一面を生じさせることができ、対話態度として拒絶対話パターンが選定されると、対話が拒絶され、猫型会話ロボットに猫の威嚇的な(非従順な)一面を生じさせることができる。これにより、発話者は、猫型会話ロボットとの間に適度な距離感を有するコミュニケーションを図ることができる。
「発話文字ファイルが有する話題とは別の話題」とは、発話文字ファイルが有する話題とは異なる話題と、発話文字ファイルが有する話題と関連性が弱い話題をそれぞれ有することを指す。異なる話題で応答させる頻度を高くすると意外性が強い性格の猫を、関連性の弱い話題で応答させる頻度を高くすると意外性が弱い性格の猫を猫型会話ロボットにおいてそれぞれ実現させることができる。
ここで、発話文字ファイルが有する話題と関連性の弱い話題とは、話題の分野は同じであるが対象が異なる場合を指し、例えば、話題が和食である場合に、アジア、アフリカ、欧州等の他国料理を話題にすることを指す。
本発明に係る猫型会話ロボットにおいて、前記通常対話パターン、前記変更話題対話パターン、前記無視対話パターン、及び前記拒絶対話パターンに対してそれぞれ猫の性格に基づいた選定確率が予め設定されていることが好ましい。
各対話パターンを猫の性格に基づいた選定確率で生起させるため、通常対話パターン(猫の従順性)、変更話題対話パターン(猫の意外性)、無視対話パターン(猫の自立性)、拒絶対話パターン(猫の威嚇性)を猫型会話ロボットに違和感なく生じさせることができる。なお、各対話パターンの選定確率を調節することで、従順性、意外性、自立性、及び威嚇性の比率を変えることができ、猫の性格の特徴付け(猫の個性の形成)が可能になる。
本発明に係る猫型会話ロボットにおいて、前記発話文字ファイルには予め登録された特定文言が存在し、該特定文言が存在する該発話文字ファイルが入力された際は、前記通常対話パターンの前記選定確率が50%より高く設定されることが好ましい。
これによって、飼い主が猫の相手をしたい場合に飼い主は猫が好むこと(例えば、猫じゃらし)を行うように、発話内に猫じゃらし型特定文言を入れることにより、通常対話パターンの機会が高くなって猫型会話ロボットとの対話を楽しむことができる。
本発明に係る猫型会話ロボットにおいて、前記応答対話系統には、
(1)入力された前記発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する文字ファイルデータベースと、
(2)前記発話文字ファイル及び前記別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段と、
(3)前記発話文字ファイルの入力により前記対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルAを選択し前記対話文字ファイルとして出力する通常型対話手段と、
(4)前記文字ファイルデータベースに格納された前記複数の別文字ファイルの中から別文字ファイルWを選択して前記対話応答処理手段に入力し、該対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルBを選択し前記対話文字ファイルとして出力する変更話題型対話手段と、
(5)前記文字ファイルデータベースに格納された前記複数の無視文字ファイルの中から無視文字ファイルCを選択し前記対話文字ファイルとして出力する無視型対話手段と、
(6)前記文字ファイルデータベースに格納された前記複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し前記対話文字ファイルとして出力する拒絶型対話手段
とを設けることができる。
これにより、猫の性格を具体的に発現させた対話態度を猫型会話ロボットに実現させることができる。
本発明に係る猫型会話ロボットにおいて、前記音声入力処理部は、前記発話音声から前記発話音声ファイルを作成する音声検出手段と、該発話音声ファイルから前記発話文字ファイルを作成し出力する音声認識処理手段とを有し、
前記音声認識処理手段及び前記対話応答処理手段はクラウド上にそれぞれ設けられ、前記発話音声ファイルの前記音声認識処理手段への入力、該音声認識処理手段からの前記発話文字ファイルの出力、該発話文字ファイル及び前記別文字ファイルWの前記対話応答処理手段への入力、該対話応答処理手段から前記通常型対話手段及び前記変更話題型対話手段への前記応答文字ファイルの出力はそれぞれ情報通信回線を介して行ことが好ましい。
クラウド上に音声認識処理手段及び対話応答処理手段を設けると、大規模なデータベースを接続することができ、ハードウェアの更新と、アプリケーションソフトウェアの更新及び改善を適宜行うことができる。このため、音声認識処理手段では発話音声ファイルから発話文字ファイルへの変換を迅速かつ正確に行うことができ、対話応答処理手段では発話文字ファイルの内容に応答する的確な内容を有する応答文字ファイルを容易に作成することができる。
本発明に係る猫型会話ロボットにおいて、前記応答文字ファイルAには前記発話文字ファイルの話題に関連する質問が含まれることが好ましい。
これによって、質問に回答する形で対話が続けられるため、ロボット側では話題の絞り込みを行うことが容易となり、対話を継続させ易くなる。
本発明に係る猫型会話ロボットにおいて、
前記対話管理部は、更に自発発話系統を有し、前記自発発話系統には、
(1)前記発話者の趣味、猫独自の行動を折り込んだ生活パターン、及び前記発話者が応答することを意識した該猫型会話ロボットの要求行動のいずれか1以上を含む自発発話条件を予め設定する自発発話条件設定手段と、
(2)該自発発話条件設定手段で設定された前記自発発話条件が成立した際に条件成立信号を出力する条件成立判定手段と、
(3)前記条件成立信号を受けて、該条件成立信号に対応する前記自発発話条件に設定された自発発話文字ファイルを前記対話文字ファイルとして出力する自発発話手段
とが設けられていることが好ましい。
自発発話手段を設けることにより、発話者からの発話に猫型会話ロボットが答えるという一方的な会話から双方向(発話者から猫型会話ロボットへの発話、猫型会話ロボットから発話者への発話)の会話が可能になる。また、猫が飼い主に対してすり寄ったり甘えたりするように、猫型会話ロボットから発話者に対して話しかけを行わせることや、猫が一人遊びを行うように、猫型会話ロボットに独り言を言わせることができる。
ここで、猫型会話ロボットから発話者に対する話しかけの頻度や、猫型会話ロボットが独り言を言う頻度は、自発発話条件により決めることができる。また、猫型会話ロボットが発話者に対して話しかける話題や独り言の話題は、自発発話文字ファイルにより設定することができる。
本発明に係る猫型会話ロボットにおいて、前記自発発話条件は前記発話者の見守りを実行する見守り開始条件であって、前記自発発話文字ファイルは前記発話者の個人情報に基づいた特定質問を構成するものであり、
前記制御装置には、前記特定質問に対する前記発話者の回答の正誤を判定し、誤回答が生じた際に第1の異常信号を出力する第1の警報部が設けられていることが好ましい。
ここで、発話者の個人情報に基づいた特定質問は、例えば、発話者の名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉等のように、発話者にとっては容易に正答でき、第3者にとっては正答することが困難となる質問である。従って、発話者の正答率は通常では100%であり、誤回答が生じることは発話者に体調の変化(異常)が生じている可能性が高いことを示している。
本発明に係る猫型会話ロボットにおいて、前記自発発話文字ファイルは、前記自発発話条件毎に予め作成され、前記自発発話系統に設けられた自発発話文字ファイルデータベースに格納されていることが好ましい。
これにより、発話者の好みや趣向に合致した話題に関する話しかけを猫型会話ロボットに行わせたり、猫型会話ロボット(猫)に何かを要求する発言を行わせることができ、猫型会話ロボットとの会話の機会や猫型会話ロボットの世話を行う機会を容易に作ることができる。
本発明に係る猫型会話ロボットにおいて、前記対話文字ファイルに含まれる文は、該文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段を介して前記音声出力処理部に出力されることが好ましい。
これにより、文の語尾に「にゃん」が発話されることになって、猫としてのイメージを向上させることができる。
本発明に係る猫型会話ロボットにおいて、前記制御装置には、予め設定された時間帯で前記対話音声が発せられる度に該対話音声が発せられてから前記音声入力手段で前記発話音声が受信されるまでの待機時間を測定し、予め求めておいた前記発話者の基準待機時間と該待機時間との偏差が設定した許容値を超える応答状態変化の発生有無を検知し、前記発話者との間で最初の対話が成立して以降の該応答状態変化の発生の累積回数が予め設定した異常応答判定値に到達した際に第2の異常信号を出力する第2の警報部が設けられていることが好ましい。
ここで、基準待機時間とは、発話者の平常状態の待機時間を複数回測定し統計処理して得られる統計量で、例えば、待機時間分布の平均値、中央値、又は最頻値である。また、偏差は待機時間と基準待機時間との差であり、許容値は、例えば、待機時間分布の標準偏差σを用いて、σ、2σ、又は3σのいずれか1に設定することができる。
猫型会話ロボットの音声出力手段より対話音声が発せられてから猫型会話ロボットの音声入力手段で発話者の発話音声が受信されるまでの待機時間(発話者が話しかけられてから応答するまでの時間)は、発話者の体調に影響される対話処理能力を反映する測定値と考えられる。このため、偏差が許容値を超えることは、発話者の対話時の応答状態が変化していることを示している。そして、応答状態変化の発生の累積回数が異常応答判定値に到達したことは、発話者に新たな(異常な)対話応答状態が生じていることを示しており、発話者に体調の変化(異常)が生じている可能性が高いと判断できる。
本発明に係る猫型会話ロボットにおいて、前記制御装置には、前記音声入力処理部から前記対話管理部に出力される前記発話文字ファイルの前記発話音声ファイルに対する確からしさを定量的に示す確信度を取得し、該確信度が予め設定された異常確信度以下となる低確信度状態の発生有無を検知し、該低確信度状態の発生の累積回数が予め設定した異常累積回数に到達した際に第3の異常信号を出力する第3の警報部が設けられていることが好ましい。
音声入力処理部では、受信信号から作成した発話音声ファイルを発話文字ファイルに変換する際、音声に対して文(文字)が一義的に決定できない場合(変換時の確信度(発話音声ファイル(発話音声)の認識の確からしさを確率的に評価した数値)が100%でない場合)、確信度の高い順に複数の発話文字ファイルが候補として提供され、通常は、第1候補(確信度が最大の)発話文字ファイルが対話管理部に入力される。
ここで、音声入力処理部での発話文字ファイルの作成方法を固定すると、同一の発話音声ファイル(発話音声)に対しては常に同一の確信度で同一の発話文字ファイルが得られる。従って、平常状態の発話者の種々の発話音声ファイル(発話音声)に対して音声入力処理部で評価される確信度を求めると、確信度の分布は平常状態の発話者の対話状態を定量的に評価する尺度の一つとなる。このため、確信度の分布の最小値より小さい値に異常確信度を設定しておくと、発話文字ファイルの作成時の異常度が異常確信度以下となる低確信度状態が発生することは、発話者の対話状態に変化が生じている、即ち、発話者が平常状態でないことを示している。そして、低確信度状態の発生の累積回数が異常累積回数に到達したことは、発話者に対話状態を変化させるほどに体調の変化(異常)が生じている可能性が高いことを示している。
なお、平常状態の発話者の発話音声ファイル(発話音声)に対する確信度は、一般的に90%程度の値となるため、例えば、異常確信度は確信度70%程度の値に設定できる。また、異常累積回数は、例えば、5回程度の値に設定することができる。
本発明に係る猫型会話ロボットにおいては、疑似的な自我を持ち、猫の性格のように発話音声を受信する度に対話態度を変化させるので、意外性のある対話音声が出力されることになって対話に変化が生じ易くなる。
また、猫型会話ロボットとの会話時に、ロボット側の対話者として設定されたキャラクターの顔画像を表示手段に表示し、対話内容に応じてキャラクターの対話時の顔表情を微妙に変化させることができるので、発話者は猫型会話ロボットとのコミュニケーションが取り易くなる。
制御装置の対話管理部に自発発話手段を設けた場合、発話者と猫型会話ロボットとの間で双方向の会話(発話者から猫型会話ロボットへの発話から始まる会話、猫型会話ロボットから発話者への発話から始まる会話)を成立させることができ、会話の機会を向上させることが可能になる。その結果、猫型会話ロボットと発話者が永く付き合う状況を形成することができ、例えば、話し相手がいないという孤独感の解消や、猫型会話ロボット(機械)と付き合うというストレスの軽減を図ることが可能になる。
また、制御装置に、第1〜第3の警報部のいずれか1又は2以上を設けた場合、発話者が猫型会話ロボットとの対話の中で、発話者に通常とは違う軽度の異常状態が生じていることを早期に発見することができ、発話者の安心及び安全のレベルを高めることが可能になる。
本発明の第1の実施の形態に係る猫型会話ロボットの構成を示すブロック図である。 同猫型会話ロボットの制御装置の構成を示すブロック図である。 同猫型会話ロボットの音声入力処理部の構成を示すブロック図である。 同猫型会話ロボットの対話管理部の応答対話系統の構成を示すブロック図である。 同猫型会話ロボットの対話管理部の構成を示すブロック図である。 同猫型会話ロボットの対話管理部の自発発話系統の構成を示すブロック図である。 同猫型会話ロボットの音声出力処理部の構成を示すブロック図である。 同猫型会話ロボットのキャラクター表情処理部の構成を示すブロック図である。 同猫型会話ロボットの付帯装置の説明図である。 同猫型会話ロボットの対話処理の流れ図である。 対話処理の対話ステップ3における応答対話処理の流れ図である。 対話処理の対話ステップ3における自発発話処理の流れ図である。 本発明の第2の実施の形態に係る猫型会話ロボットの構成を示すブロック図である。 同猫型会話ロボットの制御装置の構成を示すブロック図である。
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1に示すように、本発明の第1の実施の形態に係る猫型会話ロボット10は、疑似的な自我を持ち、猫型会話ロボット10のユーザ(発話者)の発話音声を受信する度に対話態度を変化させる猫の性格を持つ会話ロボットであって、ユーザの発話音声を受信して受信信号を出力するマイクロフォン11(音声入力手段の一例)と、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示するディスプレイ12(表示手段の一例)と、ユーザに対して対話音声を発生するスピーカ13(音声出力手段の一例)と、受信信号を受けて設定される対話態度に基づく対話音声を形成する音声データを作成してスピーカ13に入力しながら、キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成してディスプレイ12に入力する制御装置14とを有する。
ここで、キャラクターの顔画像は、予め準備された複数の猫のアニメ顔画像の中から一つを選択して設定する。なお、キャラクターの顔画像は、ユーザの要求に合わせて任意に作製することもできる。
更に、猫型会話ロボット10はユーザを撮影するカメラ15(撮像手段の一例)を有し、制御装置14には、カメラ15で得られたユーザの画像を用いて、ディスプレイ12の表示面の方向を調節し、ディスプレイ12に表示されたキャラクターの顔画像をユーザに対向させる表示位置調整部16が設けられている。ここで、表示位置調整部16は、ユーザの画像からディスプレイ12(例えば、表示面の中心位置)に対するユーザの三次元位置を求めてディスプレイ12の表示面の方向(例えば、表示面の中心位置に立てた法線の方向)を調節する修正データを演算する修正データ演算器17と、ディスプレイ12を載置し、修正データに基づいてディスプレイ12の表示面の方向を変化させる可動保持台18とを有している。
図2に示すように、制御装置14は、マイクロフォン11から出力される受信信号を発話音声ファイルに変換する音声検出手段25と、発話音声ファイルから発話文字ファイルを作成して出力する音声認識処理手段19とを備えた音声入力処理部20と、発話文字ファイルの入力を受けて起動し、発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から対話態度として対話パターンSを任意に選定して、対話パターンSに対応する対話音声の基となる対話文字ファイルを作成して出力する応答対話系統21を備えた対話管理部22とを有する。
更に、制御装置14は、対話文字ファイルの入力を受けて対話文字ファイルから音声データを作成し音声信号に変換してスピーカ13に入力する音声出力処理部23と、キャラクターの顔画像を形成する顔画像合成データと、対話文字ファイルの入力を受けて対話文字ファイルからキャラクターの感情を推定し、感情に応じた表情を形成する顔表情データをそれぞれ作成し、顔画像合成データと顔表情データを組合せて画像表示データとしてディスプレイ12に入力するキャラクター表情処理部24とを有する。
図3に示すように、音声入力処理部20は、マイクロフォン11から出力される受信信号から音声が含まれている時間区間を音声区間として検出して発話音声ファイルとして出力する音声検出手段25と、発話音声ファイルを情報通信回線26(例えば、光回線、ADSL回線、ケーブルテレビ回線等)を介して音声認識処理手段19に入力(送信)する送信手段27と、音声認識処理手段19から情報通信回線26を介して出力(送信)された発話文字ファイルを受信して出力する受信手段28とを有している。
ここで、音声認識処理手段19からは、発話音声ファイル(発話音声)を発話文字ファイルに変換する際、音声に対して文(文字)が一義的に決定できない場合、確信度(発話文字ファイルの発話音声ファイルに対する確からしさを定量的に示したもの)の高い順に複数の発話文字ファイルが候補として提供(出力)される。従って、受信手段28では、出力された複数の発話文字ファイルの中から確信度が最大の発話文字ファイルを発話音声ファイルに対応する発話文字ファイルとして対話管理部22に向けて出力する。
なお、音声認識処理手段19をクラウド(インターネット)上に設けることで、音声認識処理手段19に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、音声認識処理手段19では発話音声ファイルから発話文字ファイルへの正確かつ迅速な変換を行うことができる。
図4に示すように、応答対話系統21には、猫型会話ロボット10の対話態度を選定する上で重要となる特定文言を登録させて格納する特定文言登録手段29と、発話文字ファイル中に特定文言が存在するか否かを判定し、特定文言が存在しない場合は発話文字ファイルの意図が特定文言と一致するか否かを判定する機能、及び特定文言が存在する又は発話文字ファイルの意図が特定文言と一致する際はその特定文言の情報を出力し、特定文言が存在しない又は発話文字ファイルの意図が特定文言と一致しない際は特定文言無しの情報を出力する機能を備えた特定文言判定手段30が設けられている。
なお、発話文字ファイルに特定文言が存在する場合又は発話文字ファイルの意図が特定文言と一致する場合を、以下では単に発話文字ファイルに特定文言が存在する場合と記載する。
応答対話系統21には、猫型会話ロボット10が有する猫の性格として、複数の対話パターン、例えば、
(1)猫が従順な性格を示すことに対応して、発話文字ファイルが有する話題に応答する対話態度を示す通常対話パターン、
(2)猫が意外性のある行動を示すことに対応して、発話文字ファイルが有する話題とは別の話題で応答する対話態度を示す変更話題対話パターン、
(3)猫が強い自立性を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)無応答となる対話態度を示す無視対話パターン、
(4)猫が威嚇的な態度を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)対話拒絶となる対話態度を示す拒絶対話パターン
の4つの対話パターンを登録させる猫の特性登録手段31が設けられている。猫の特性登録手段31に登録する対話パターンにより、猫の性格を反映させた猫型会話ロボット10の対話態度を実現できる。
応答対話系統21には、猫の特性登録手段31を介して登録された通常対話パターン、変更話題対話パターン、無視対話パターン、拒絶対話パターンについて猫の性格に基づいた選定確率をそれぞれ登録する選定確率登録手段32が設けられている。
選定確率登録手段32では、発話文字ファイルに特定文言が存在しない場合に、猫型会話ロボット10において想定される猫の性格に応じて各対話パターンの選定確率の比率を決定すると共に、各対話パターンの選定確率の総和が100%となるように各対話パターンの選定確率を調整した猫特性を設定する。更に、選定確率登録手段32では、発話文字ファイルに特定文言が存在する際は、通常対話パターンの選定確率を他の対話パターンの選定確率より大きくし、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンの各選定確率の比率を小さくした特定文言用猫特性を設定する。例えば、猫特性の選定確率では通常対話パターンを50%未満に、特定文言用猫特性の選定確率では通常対話パターンを50%より高く、好ましくは70%以上とする。
なお、特定文言用猫特性は、複数の特定文言に対して一つ設定しても、複数の特定文言を複数のグループ(例えば、猫型会話ロボット10に対話態度の選択権を認めない絶対服従型特定文言のグループと、猫じゃらし型特定文言のグループ)に分けてグループ毎に設定しても、特定文言毎に設定してもよい。
応答対話系統21には、特定文言無しの情報が出力された際に、選定確率登録手段32に登録された猫特性を取得し、特定文言判定手段30から特定文言の情報が出力された際に、選定確率登録手段32に登録された特定文言用猫特性を取得する選定確率取得手段33と、選定確率取得手段33で取得された猫特性又は特定文言用猫特性が有する各対話パターンの選定確率に基づいて、発話文字ファイルが応答対話系統21に入力された際の対話パターンSを選定する対話パターン選定手段34が設けられている。
なお、対話パターン選定手段34では、例えば、発話文字ファイルが入力された際に発生させた乱数と選定確率取得手段33で取得された各対話パターンの選定確率から対話パターンSを決定することができる。
例えば、猫特性が有する各対話パターンの選定確率として、通常対話パターンの選定確率を40%、変更話題対話パターンの選定確率を25%、無視対話パターンの選定確率を15%、拒絶対話パターンの選定確率を20%に設定する(猫の行動パターンの分析結果による)。
また、特定文言「電話をかけて」を絶対服従型特定文言として、通常対話パターンの選定確率を100%、変更話題対話パターンの選定確率を0%、無視対話パターンの選定確率を0%、及び拒絶対話パターンの選定確率を0%に設定する。
更に、特定文言「遊ぼう」と「話をしよう」を猫じゃらし型特定文言として、通常対話パターンの選定確率を80%、変更話題対話パターンの選定確率を8%、無視対話パターンの選定確率を5%、拒絶対話パターンの選定確率を7%に設定する。
このように設定することで、発話音声から作成された発話文字ファイル中に「○○さんに電話をかけて」が存在する場合は、対話パターンSとして通常対話パターンが必ず選定されることになって電話をかける対話が成立し、猫型会話ロボット10に電話機能が設けられていると、猫型会話ロボット10を介して○○さんに電話をかけることができる。
また、発話音声から作成された発話文字ファイル中に「遊ぼう」「話をしよう」が存在する場合は、対話パターンSに選ばれる通常対話パターンの選定確率が80%となり、猫型会話ロボット10との対話を楽しむ機会が高くなる。
一方、猫型会話ロボット10の持ち主の発話音声から作成された発話文字ファイル中に「電話をかけて」「遊ぼう」「話をしよう」が存在しない場合は、対話パターンSに選ばれる通常対話パターンの選定確率は40%となり、猫型会話ロボット10との対話が実現できないことがある(意外性を示す、自立性を示す、威嚇的な態度を示す猫の性格が表れる)。
応答対話系統21には、入力された発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する(変更話題対話パターンが選定された際に別文字ファイル、無視対話パターンが選定された際に無視文字ファイル、拒絶対話パターンが選定された際に拒絶文字ファイルをそれぞれ出力する)文字ファイルデータベース35と、発話文字ファイル及び別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段36とが設けられている。
なお、対話応答処理手段36は、情報通信回線26を介してクラウド(インターネット)上に配置されている。対話応答処理手段36をクラウド上に設けることで、対話応答処理手段36に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、対話応答処理手段36では発話文字ファイルの内容に応答する的確な内容を有する対話文字ファイルを作成することができる。
また、応答対話系統21には、対話パターンSに通常対話パターンが選定されたことを受けて起動し、発話文字ファイルをクラウド上の対話応答処理手段36に情報通信回線26を介して入力し、対話応答処理手段36から出力された複数の応答文字ファイルを情報通信回線26を介して取得して、複数の応答文字ファイルの中から応答文字ファイルAを選択し対話文字ファイルとして出力する通常型対話手段37と、対話パターンSに変更話題対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の別文字ファイルの中から別文字ファイルWを選択して対話応答処理手段36に入力し、対話応答処理手段36から出力された複数の応答文字ファイルの中から応答文字ファイルBを選択し対話文字ファイルとして出力する変更話題型対話手段38が設けられている。
ここで、対話応答処理手段36は、発話文字ファイルの入力に対して、発話文字ファイルの話題に関連する質問が含まれる応答文字ファイルを複数出力する特性を有するものが好ましい。これにより、応答文字ファイルAには発話文字ファイルの話題に関連する質問が含まれることになって、質問に回答する形で対話が続けられることになる。その結果、猫型会話ロボット10では話題の絞り込みを行うことが容易となり、対話を継続させ易くなる。
なお、通常型対話手段37に、対話応答処理手段36から出力される応答文字ファイルAに発話文字ファイルの話題に関連する質問が含まれるように、発話文字ファイルを編集して対話応答処理手段36に入力する編集機能を設けてもよい。
更に、応答対話系統21には、対話パターンSに無視対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の無視文字ファイルの中から無視文字ファイルCを選択し対話文字ファイルとして出力する無視型対話手段39と、対話パターンSに拒絶対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し対話文字ファイルとして出力する拒絶型対話手段40が設けられている。
そして、通常型対話手段37、変更話題型対話手段38、無視型対話手段31、及び拒絶型対話手段40からそれぞれ出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
図5に示すように、対話管理部22は、更に自発発話系統42を有している。そして、図6に示すように、自発発話系統42には、ユーザが感心の高い趣味、猫独自の行動を折り込んだ生活パターン、及びユーザが応答することを意識した猫型会話ロボット10(猫)の要求行動等の自発発話条件を設定する自発発話条件設定手段43と、自発発話条件が成立したか否かを判定し、条件が成立した際に条件成立信号を出力する条件成立判定手段44が設けられている。
また、自発発話系統42には、条件成立信号を受けて(自発発話条件が成立した際に)、条件成立信号に対応する自発発話条件に設定された自発発話文字ファイルを予め登録させて格納する自発発話文字ファイルデータベース45と、条件成立判定手段44が自発発話条件が成立したと判定した際に、自発発話系統42に設けられた自発発話文字ファイルデータベース45から該当する自発発話文字ファイルを抽出し対話文字ファイルとして出力する自発発話手段46が設けられている。なお、自発発話手段46から出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
例えば、自発発話条件として、猫型会話ロボット10の駆動用バッテリの充電残量の下限値を設定し、バッテリの充電残量が下限値に到達した(自発発話条件が成立した)際の自発発話文字ファイルとして「バッテリの残量が残りわずかです」を登録し自発発話文字ファイルデータベース45に格納する。この場合、バッテリに設けられた充電残量検出器(図示せず)によりバッテリの充電残量が下限値に到達したことが条件成立判定手段44に伝えられると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「バッテリの残量が残りわずかです」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「バッテリの残量が残りわずかですにゃん」に語尾加工されて音声出力処理部23に出力される。
自発発話条件として猫型会話ロボット10のメンテナンス項目毎に予定日を設定し、該当日の(自発発話条件が成立した際の)自発発話文字ファイルとしてメンテナンス項目、例えば、「今日は顔を拭いてもらう日です」を自発発話文字ファイルデータベース45に格納する。この場合、猫型会話ロボット10に設けられたカレンダー機能によりメンテナンスの予定の該当日には条件成立判定手段44により条件成立信号が出力され、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「今日は顔を拭いてもらう日です」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「今日は顔を拭いてもらう日ですにゃん」に語尾加工されて音声出力処理部23に出力される。
自発発話条件として、音声入力処理部20への発話音声(マイクロフォン11からの受信信号)の未入力継続時間の上限値(例えば、8時間)を設定し、未入力継続時間が上限値に到達したことに対応する自発発話文字ファイルとして「今日は8時間話をしていません」を登録し自発発話文字ファイルデータベース45に格納する。この場合、未入力継続時間が上限値に到達したことが猫型会話ロボット10に設けられた時計機能により条件成立判定手段44に伝えられると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「今日は8時間話をしていません」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「今日は8時間話をしていませんにゃん」に語尾加工されて音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10が持ち主に世話を焼かせること(要求行動)に基づいた会話の機会を作ることができる。
自発発話条件を猫型会話ロボット10に搭載した電話機から出力される電話の着信信号とし、着信信号の受信時(自発発話条件が成立した際)に対応する自発発話文字ファイルとして「××さんから電話です」を自発発話文字ファイルデータベース45に登録する。また、自発発話手段46に、電話機能を用いて電話番号から相手の氏名○○を検索させ、自発発話文字ファイルデータベース45から抽出した「××さんから電話です」の××に検索結果の氏名○○を代入した自発発話文字ファイルを作成して出力させる。この場合、着信信号の出力が条件成立判定手段44で確認されると、自発発話文字ファイルデータベース45から自発発話文字ファイル「××さんから電話です」が抽出され、自発発話系統42からは対話文字ファイルとして「○○さんから電話です」が出力され、語尾加工手段41で「○○さんから電話ですにゃん」に語尾加工されて音声出力処理部23に出力される。
なお、迷惑電話の着信拒否等の特殊なサービスも猫型会話ロボット10に搭載された電話機能を用いて処理させる。
自発発話条件として猫型会話ロボット10に搭載したコンピュータへの情報通信回線26を介して送信された電子メールの着信信号の受信を設定し、着信信号の入力時(自発発話条件が成立した際)に対応する自発発話文字ファイルとして「メールが届いています」を自発発話文字ファイルデータベース45に登録する。なお、迷惑メールの着信拒否等の特殊なサービスは、電子メール機能を用いて処理させる。また、自発発話手段46に、自発発話文字ファイルデータベース45から抽出した「メールが届いています」とメール本文を合わせたものを自発発話文字ファイルとして出力させる処理を登録する。
従って、着信信号の受信が条件成立判定手段44で確認されると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「メールが届いています」が抽出され、自発発話系統42からは「メールが届いています」とメール本文を合わせたものが自発発話文字ファイルとして作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10の持ち主の日常生活の利便性が向上されると共に、猫型会話ロボット10との会話の機会を作ることができる。
自発発話条件を、例えば、特定日の特定時間に設定し、自発発話条件に対応して行われる各種処理、例えば、本の一節を読み上げる、歌い出す、猫型会話ロボットのスケジュール管理機能を利用して本日のスケジュールを抽出して繰り返し読み上げる、猫型会話ロボット10に独り言を言わせる(猫型会話ロボット10から過去に発話された内容(音声出力処理部23に入力された対話文字ファイルの内容)を任意に抽出して読み上げる)等の発話を行わせることを自発発話手段46に登録する。
従って、猫型会話ロボット10に設けられたカレンダー機能と時計機能により自発発話条件が成立したことが条件成立判定手段44に伝えられると、自発発話系統42からは自発発話に対応する自発発話文字ファイルが作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
これによって、猫型会話ロボット10が一人遊びをしているのを見て楽しむことができると共に、猫型会話ロボット10との会話の機会を作ることができる。
なお、猫型会話ロボット10が一人遊びとして、発話の代わりに、例えば、テレビ受像機のリモートコントロール機能を用いてテレビスイッチを入れる等の行為を設定してもよい。
対話管理部22には、図6に示すように、応答対話系統21から出力されて語尾加工手段41に入力される対話文字ファイル及び自発発話系統42から出力される対話文字ファイルを記録する対話文字ファイルデータベース47を設ける。更に、猫型会話ロボット10に独り言を言わせる自発発話条件が成立したことを受けて起動し、対話文字ファイルデータベース47に格納された対話文字ファイルを任意に選択して自発発話文字ファイルデータベース45に入力する機能を備えた対話文字ファイル抽出手段48を設ける。これにより、猫型会話ロボット10に独り言を言わせる際の自発発話文字ファイルの作成が容易にできる。
図7に示すように、音声出力処理部23は、対話文字ファイルを対話音声ファイルに変換する音声合成手段49と、対話音声ファイルから音声データを作成し音声信号に変換してスピーカ13に出力する音声変換手段50とを有している。これにより、猫型会話ロボット10は、ユーザの発話音声を受信して対話音声を発することができると共に、自発発話条件が成立した際に、ユーザに対話音声を発することができる。
図8に示すように、制御装置14に設けられたキャラクター表情処理部24は、予め準備された複数の猫のアニメ顔画像及び各アニメ顔画像を形成する画像要素データ群を格納した顔画像データベース51と、顔画像データベース51から複数の猫のアニメ顔画像(例えば、猫の平常時の顔表情)を取り出してディスプレイ12に表示させ、特定のアニメ顔画像Rを1つユーザに選択させてキャラクターの顔画像として設定させる顔画像選択手段52と、特定のアニメ顔画像Rについての画像要素データ群を顔画像データベース51から抽出して顔画像合成データとして出力する画像合成手段53とを有している。
更に、キャラクター表情処理部24は、対話管理部22から出力された対話文字ファイルからキャラクターの感情を推定し、感情に応じた表情を形成する顔表情データを作成する感情推定手段54と、顔画像合成データと顔表情データを組合せてキャラクターの対話時の顔表情を形成する画像表示データを作成してディスプレイ12に出力する画像表示手段55とを有している。
感情推定手段54には、複数の文Pに対してそれぞれ心理状態(快、不快、喜び、怒り、悲しみ等の各種気持ちの強弱関係)を対応させた感情データベースが設けられている。また、感情推定手段54には、心理状態と顔表情変化量(平常時の顔表情を形成している各部位の位置を基準位置とし、顔の各部位毎における基準位置からの変化方向と変化距離)の対応関係を求めて作成した表情データベースが設けられている。
このため、感情推定手段54に対話文字ファイルが入力されると、対話文字ファイルに含まれる文Tと同趣旨の文Pをデータベース内で抽出し、抽出された文Pが有する心理状態を文T(対話文字ファイル)の感情と推定する。なお、文Tの趣旨が複数の文Pの組合せから構成される場合は、文Tの趣旨を構成する各文Pを抽出すると共に各文Pの寄与率(重み付け率)を算出し、各文Pの心理状態を寄与率で調整した修正心理状態の総和を文T(対話文字ファイル)の感情と推定する。
そして、対話文字ファイルに含まれる文Tの感情が推定されると、推定された感情の心理状態(修正心理状態の総和)に一致又は最も類似する顔表情変化量を表情データベース内で抽出し、抽出された顔表情変化量を文Tの顔表情データとする。
対話文字ファイルがキャラクター表情処理部24に入力されない場合、即ち、顔表情データが作成されない場合、画像表示データは顔画像合成データに一致するため、ディスプレイ12には特定のアニメ顔画像R(平常時の顔表情)が表示される。
なお、キャラクター表情処理部24に入力された対話文字ファイルから感情が推定できない場合、例えば、擬声語の場合は、擬声語を発する際の表情状態を顔表情データと設定する。
これにより、猫型会話ロボット10は、キャラクターの顔表情を変化させながら対話を行うことができる。
図9に示すように、猫型会話ロボット10には、カメラ56(別の撮像手段の一例)で得られた画像の処理及び解析から顔認証を行うカメラ装置57と、カメラ装置57で得られた画像を表示すると共に猫型会話ロボット10の各種設定を行う際のタッチパネルとして使用されるモニタ表示装置58と、ユーザの存在を人感センサ59を介して確認する人感センサ装置60が設けられている。
更に、猫型会話ロボット10には、ユーザやその関係者の情報(例えば、ユーザやその関係者の顔画像、関係者の氏名、電話番号、住所等)を登録する利用者情報データベース61が設けられている。なお、利用者情報データベース61は、必要に応じて情報通信回線26を介して対話応答処理手段36でも利用される。
猫型会話ロボット10にカメラ56とカメラ装置57が設けられていると、ユーザの関係者が、別途離れた場所に設けた表示装置62を用いて持ち主の行動認識や部外者の訪問等の監視を行うことができる。
猫型会話ロボット10に人感センサ装置60が設けられていると、ユーザの関係者が表示装置62を用いてユーザの在室確認や見守りを行うことができる。
更に、猫型会話ロボット10にモニタ表示装置58が設けられていると、ユーザに、例えば、「バッテリの残量が残りわずかです」等の注意や警報情報を、「××さんから電話です」等の連絡情報を音声に加えて表示して知らせることができる。
ここで、モニタ表示装置58を制御装置14の対話管理部22に接続させると、対話文字ファイルを必要に応じてモニタ表示装置58に表示させることができ、ユーザは猫型会話ロボット10からの対話音声を文字として確認することができる。また、モニタ表示装置58を制御装置14の音声入力処理部20に接続させると、発話文字ファイルを必要に応じてモニタ表示装置58に表示させることができ、ユーザは猫型会話ロボット10の音声認識を文字として確認することができる。なお、モニタ表示装置58は音声入力処理部20及び対話管理部22にそれぞれ接続することができ、モニタ表示装置58はディスプレイ12と兼用させてもよい。
本発明の第1の実施の形態に係る猫型会話ロボット10の作用について説明する。
猫型会話ロボット10との対話に先立って、ユーザの発話音声が猫型会話ロボット10に受信される度に選定される複数の対話態度(通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターン)の各選定確率を設定すると共に、予め準備された複数の猫のアニメ顔画像の中から特定のアニメ顔画像Rを1つ選択してキャラクターの顔画像として設定する(以上、対話事前ステップ)。
図10に示すように、猫型会話ロボット10を起動させて対話を行う場合、キャラクター表情処理部24から特定のアニメ顔画像Rの顔画像合成データがディスプレイ12に出力されディスプレイ12にはキャラクターの顔画像が表示される。そして、ユーザの発話音声が音声入力処理部20で受信されて発話音声ファイルが作成され、発話音声ファイルが音声認識処理手段19に入力され発話文字ファイルに変換されて出力される(対話ステップ1)。
なお、図9に示すように、モニタ表示装置58を制御装置14の音声入力処理部20に接続させると、発話文字ファイルをモニタ表示装置58に表示させることができる。
出力された発話文字ファイルの入力を受けて、予め設定された複数の対話パターンの中から対話パターンSが選定されて対話態度が決定され(対話ステップ2)、対話パターンSに対応する応答文字ファイルA、B、無視文字ファイルC、及び拒絶文字ファイルDのいずれか1が対話文字ファイルとして出力される(対話ステップ3)。出力された対話文字ファイルは音声出力処理部23とキャラクター表情処理部24にそれぞれ入力され、音声出力処理部23からは対話文字ファイルから形成された音声データを変換した音声信号がスピーカ13に出力され、キャラクター表情処理部24からはキャラクターの感情を推定して感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される(対話ステップ4)。これにより、スピーカ13から発せられる対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔画像は対話時の顔表情を変化させることができる。
なお、図9に示すように、モニタ表示装置58を制御装置14の対話管理部22にも接続させると、対話文字ファイルをモニタ表示装置58に表示させることができる。
対話ステップ2における対話パターンSの選定では、予め、複数の対話パターンとして、発話文字ファイルが有する話題に応答する対話態度を示す通常対話パターン(猫が従順性を示す場合)と、発話文字ファイルが有する話題とは別の話題で応答する対話態度を示す変更話題対話パターン(猫が意外性のある行動を示す場合)と、発話文字ファイルの入力により無応答となる対話態度を示す無視対話パターン(猫が強い自立性を示す場合)と、発話文字ファイルの入力により対話拒絶となる対話態度を示す拒絶対話パターン(猫が飼い主に対して威嚇的な態度を示す場合)を設定する。そして、通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンにそれぞれ猫の性格に基づいて選定確率を設定し、対話パターンSを通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンの中から確率的に選定させることにより、猫の性格が自然に現れるようにする。
対話ステップ3では、図11に示すように、通常対話パターンが選定された際は、発話文字ファイルが入力された対話応答処理手段36から出力される複数の応答文字ファイルの中から選択した応答文字ファイルAを対話文字ファイルとして出力させる。
変更話題対話パターンが選定された際は、発話文字ファイルが有する話題とは別の話題を有する別文字ファイルWが文字ファイルデータベース35の中から選択され、別文字ファイルWが入力された対話応答処理手段36から出力される複数の文字ファイルの中から選択した応答文字ファイルBを対話文字ファイルとして出力させる。
無視対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話無視に対応する無視文字ファイルCを対話文字ファイルとして出力させる。
拒絶対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話拒絶に対応する拒絶文字ファイルDを対話文字ファイルとして出力させる。
これにより、猫の性格を具体的に発現させた対話を実現させることができる。
例えば、ユーザが「今日の天気を教えて」と発話すると、音声入力処理部20において受信信号から発話音声ファイルが作成され、発話音声ファイルは情報通信回線26を介して音声認識処理手段19に入力される。そして、音声認識処理手段19で作成された発話文字ファイルは情報通信回線26を介して音声入力処理部20に出力される。次いで、発話文字ファイルは音声入力処理部20から対話管理部22に入力される。
対話管理部22では、発話文字ファイルが入力されたため応答対話系統21が起動する。先ず、発話文字ファイル中に登録された特定文言が存在するか否かが判定される。「今日の天気を教えて」には特定文言が存在しないため、対話パターンの選定確率は、通常対話パターンが40%、変更話題対話パターンが25%、無視対話パターンが15%、拒絶対話パターンが20%となる。
ここで、対話パターンSとして通常対話パターンが選定されると、発話文字ファイルが情報通信回線26を介して対話応答処理手段36に入力され、対話応答処理手段36では発話文字ファイルが有する意図を解釈して、例えば、インターネットで天気検索を行い、天気検索結果を含んだ複数の応答文字ファイルを作成して情報通信回線26を介して対話管理部22に出力する。対話管理部22では、受け取った複数の応答文字ファイルの中から発話文字ファイルの話題に関連する質問が含まれるもの、例えば、「晴れです。どこかにおでかけしませんか」が応答文字ファイルAに選択され対話文字ファイルとなる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは「晴れですにゃん。どこかにおでかけしませんかにゃん」として出力される。
音声出力処理部23では、「晴れですにゃん。どこかにおでかけしませんかにゃん。」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情が物欲しそうな感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「晴れですにゃん。どこかにおでかけしませんかにゃん。」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を物欲しそうな表情にすることができる。
対話パターンSとして変更話題対話パターンが選定された場合、発話文字ファイル(今日の天気を教えて)が有する話題とは別の話題の別文字ファイルWが文字ファイルデータベース35から選択され、別文字ファイルWが入力された対話応答処理手段36から出力される複数の応答文字ファイルから選択された応答文字ファイルBが、例えば、「おなかが空いた」であると、対話文字ファイルは「おなかが空いた」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「おなかが空いたにゃん」が出力される。
音声出力処理部23では、「おなかが空いたにゃん」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情が不機嫌な感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「おなかが空いたにゃん」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を不機嫌な表情にすることができる。
対話パターンSとして無視対話パターンが選定された場合、文字ファイルデータベース35から選択された対話無視に対応する無視文字ファイルCが、例えば、「知らない」であると、対話文字ファイルは「知らない」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「知らないにゃん」が出力される。
音声出力処理部23では、「知らないにゃん」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情がめんどくさい感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「知らないにゃん」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情をめんどくさい表情にすることができる。
対話パターンSとして拒絶対話パターンが選定された場合、文字ファイルデータベース35から選択された対話拒絶に対応する拒絶文字ファイルDが、例えば、「シャー、ミャーオ―ッ」であると、対話文字ファイルは「シャー、ミャーオ―ッ」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「シャー、ミャーオ―ッ」が出力される(「シャー」や「ミャーオ―ッ」は文でないため、語尾加工手段41は作用しない)。
音声出力処理部23では、「シャー、ミャーオ―ッ」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24に入力される対話文字ファイルからはキャラクターの感情を推定することができない。このため、「シャー、ミャーオ―ッ」を発する際の表情状態がキャラクターの顔表情データとなり、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「シャー、ミャーオ―ッ」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を変化させることができる。
図12に示すように、猫型会話ロボット10において、複数の自発発話条件(例えば、生活パターンや要求行動)を自発発話条件設定手段43に設定すると共に、自発発話条件毎に自発発話文字ファイルを予め設定し自発発話文字ファイルデータベース45に格納しておく。
そして、猫型会話ロボット10を起動させると、キャラクター表情処理部24から特定のアニメ顔画像Rの顔画像合成データがディスプレイ12に出力されディスプレイ12にはキャラクターの顔画像が表示される(自発発話ステップ1)。
条件成立判定手段44では複数の自発発話条件の中で条件成立の有無の確認が行われ(自発発話ステップ2)、自発発話条件が成立した自発発話条件に対応する自発発話文字ファイルが自発発話手段46により自発発話文字ファイルデータベース45から抽出され、対話文字ファイルとして出力される(自発発話ステップ3)。出力された対話文字ファイルは音声出力処理部23とキャラクター表情処理部24にそれぞれ入力され、音声出力処理部23からは、対話文字ファイルを対話音声ファイルに変換して、対話音声ファイルから形成された音声データを変換した音声信号がスピーカ13に出力され、キャラクター表情処理部24からはキャラクターの感情を推定して感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される(自発発話ステップ3)。
これにより、スピーカ13から発せられる対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔画像は対話時の顔表情を変化させることができる。
自発発話条件を選定することで猫の性格の特徴付けを行うことができ、例えば、猫のすり寄りや甘えに対応するような対話を猫型会話ロボット10に行わせることができる。
また、利用者情報データベース61から種々の情報を取得して、猫型会話ロボット10のユーザの好みや趣向に合致した話題に関する話しかけを猫型会話ロボット10に行わせたり、猫型会話ロボット10に何かを要求させる発言を行わせることができ、猫型会話ロボット10との会話の機会や猫型会話ロボット10の世話を行う機会を作ることができる。
図13に示すように、本発明の第2の実施の形態に係る猫型会話ロボット63は、第1の実施の形態に係る猫型会話ロボット10と比較して、自発発話条件としてユーザの見守りを実行する見守り開始条件が更に設けられ、見守り開始条件に対して設定された自発発話文字ファイルが、ユーザの個人情報に基づいた特定質問を構成するものであって、制御装置64には、音声入力処理部20、対話管理部22、音声出力処理部23、キャラクター表情処理部24に加えて、特定質問に対するユーザの回答の正誤を判定し、誤回答が生じた際に第1の異常信号を予め登録された関係者に出力する第1の警報部65が設けられていることが特徴となっている。
更に、猫型会話ロボット63は、第1の実施の形態に係る猫型会話ロボット10と比較して、制御装置64に、予め設定された時間帯で対話音声が発せられる度に対話音声が発せられてからマイクロフォン11で発話音声が受信されるまでの待機時間を測定し、予め求めておいたユーザの基準待機時間と待機時間との偏差が設定した許容値を超える応答状態変化の発生有無を検知し、ユーザとの間で最初の対話が成立して以降の応答状態変化の発生の累積回数が予め設定した異常応答判定値に到達した際に第2の異常信号を出力する第2の警報部66と、音声入力処理部20から対話管理部22に出力される発話文字ファイルの発話音声ファイルに対する確からしさを定量的に示す確信度を取得し、確信度が予め設定された異常確信度以下となる低確信度状態の発生有無を検知し、低確信度状態の発生の累積回数が予め設定した異常累積回数に到達した際に第3の異常信号を出力する第3の警報部67が設けられていることが特徴となっている。
このため、猫型会話ロボット63に関しては、猫型会話ロボット10と同一の構成部及び構成手段には同一の符号を付して説明を省略し、第1〜第3の警報部65〜67についてのみ説明する。
図14に示すように、第1の警報部65は、見守り開始条件毎に設定された自発発話文字ファイル(特定質問)に対する正答情報を格納した回答情報格納手段68と、自発発話系統42に設けられた条件成立判定手段44で成立が確認された見守り開始条件が成立した際に出力される条件成立信号を受けて起動し、成立が確認された見守り開始条件に対して設定された特定質問の正答情報を回答情報格納手段68から取得し、ユーザの発話音声(特定質問に関する回答)の受信信号が音声入力処理部20に入力されて作成された発話文字ファイルの内容と比較して正誤を確認する判定手段69と、判定手段69で誤回答と判定された際に第1の異常信号を関係者に出力する第1の異常出力手段70とを有している。なお、第1の異常信号は、情報通信回線26を介して関係者に出力される。
ユーザの見守りを実行する見守り開始条件は、例えば、猫型会話ロボット63との対話が開始されてから(例えば、ユーザが起床する時間帯に設定する開始時刻から)対話が終了するまで(例えば、ユーザが就寝する時間帯に設定する終了時刻まで)の中で少なくとも1回発生するように設定する。
ユーザの個人情報に基づいた特定質問とは、例えば、ユーザの名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉に関する質問であって予め複数準備され、見守り開始条件が成立した際に自発発話手段44を介して任意に一つ抽出される。ユーザにとっては特定質問は容易に正答できる内容であるため、通常は正答率は100%となる。従って、特定質問に対して誤回答が発生すれば、関係者は第1の異常信号を受け取ることになりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
図14に示すように、第2の警報部66は、音声出力処理部23から対話音声の音声信号が出力された際の出力時刻と、対話音声に応答したユーザの発話音声の受信信号が音声入力処理部20に入力された際の入力時刻をそれぞれ検出し、入力時刻と出力時刻の時間差を求めて待機時間とする待機時間検出手段71を有している。更に、第2の警報部66は、平常状態のユーザの待機時間を予め複数回測定して待機時間分布を求め、待機時間の平均値と標準偏差σをそれぞれ算出し、待機時間の平均値を基準待機時間、標準偏差σの3倍の値(3σ)を許容値として格納する基準データ形成手段72と、待機時間検出手段71から得られる待機時間と基準データ形成手段72から取得した基準待機時間との偏差を算出し、得られた偏差が許容値を超える応答状態変化の発生有無を検知して応答状態変化の発生の累積回数を求め、ユーザとの間で最初の対話が成立して以降の累積回数を求め、累積回数が設定した異常応答判定値に到達した際に第2の異常信号を関係者に出力する第2の異常出力手段73とを有している。なお、第2の異常信号は、情報通信回線26を介して関係者に出力される。
ユーザがロボット側から話しかけられて応答するまでの待機時間は、対話の内容によっても変化するので、平常状態のユーザと種々の内容の対話を行って求めた待機時間分布は、平常状態のユーザの応答状態を定量的に評価する基準になると考えられる。なお、待機時間分布を構成している各待機時間は、基準待機時間−3σを下限値とし、基準待機時間+3σを上限値とする範囲にほぼ存在する。従って、待機時間検出手段71から得られる待機時間から求めた偏差が、基準待機時間−3σ〜基準待機時間+3σの範囲に存在すれば、ユーザに異常は生じていないと判定される。一方、偏差が基準待機時間−3σ〜基準待機時間+3σの範囲外に存在すれば、ユーザに異常が生じていると判定されて第2の異常信号が出力され、関係者は第2の異常信号を受け取ることにより、ユーザに異常な対話応答状態が生じていること、即ち、ユーザに体調の変化(異常)が生じていることに気付くことができ、適切な処置をユーザに行うことが可能になる。
なお、ユーザに異常が生じた場合、ユーザの対話応答状態は低下状態になっているため、待機時間検出手段71から得られる待機時間が長くなって、偏差は基準待機時間+3σを超えることになる。
図14に示すように、第3の警報部67は、音声入力処理部20より対話管理部22に出力された発話文字ファイルが有する確信度を音声入力処理部20から取得する確信度取得手段74を有している。更に、第3の警報部67は、平常状態のユーザの種々の発話音声ファイル(発話音声)に対して音声入力処理部20(音声認識処理手段19)で評価される確信度を予め求め、得られた確信度から確信度の分布を作成して最小値を求めて、最小値より小さい値を異常確信度として設定し保存する異常確信度設定手段75と、確信度取得手段74を介して得られる確信度と異常確信度設定手段75から取得した異常確信度を比較し、確信度が異常確信度以下となる低確信度状態の発生有無を検知して低確信度状態の発生の累積回数を求め、累積回数が異常累積回数に到達した際に第3の異常信号を関係者に出力する第3の異常出力手段76とを有している。
ここで、最小値より小さい値には、例えば、確信度の分布を複数求めて、各確信度の分布が有する最小値を抽出し、抽出された最小値から構成される最小値分布を求めて、得られた最小値分布から推定される推定最小値を用いることができる。なお、第3の異常信号は、情報通信回線26を介して関係者に出力される。
音声入力処理部20での発話文字ファイルの作成方法を固定すると、同一の発話音声ファイル(発話音声)に対しては常に同一の確信度で同一の発話文字ファイルが得られるので、平常状態のユーザが猫型会話ロボット63と対話する場合、ユーザの発話音声から発話文字ファイルが作成される際の確信度は、異常確信度設定手段75で作成された確信度の分布の範囲内に存在し、常に異常確信度を超える値となる。
一方、ユーザに異常が発生するとユーザの対話状態に変化が生じるため、ユーザの発話音声から発話文字ファイルが作成される際の確信度が低下し、異常確信度以下となる低確信度状態が発生することになる。そして、ユーザに生じた低確信度状態の発生の累積回数が異常累積回数に達すると第3の異常出力手段76から第3の異常信号が関係者に出力され、関係者は第3の異常信号を受け取ることによりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合せたものも、本発明に含まれる。
なお、本発明の第2の実施の形態に係る猫型会話ロボットでは、第1〜第3の警報部を設けたが、第1〜第3の警報部のいずれか1、又は任意の2つの組合せを設けてもよい。
10:猫型会話ロボット、11:マイクロフォン、12:ディスプレイ、13:スピーカ、14:制御装置、15:カメラ、16:表示位置調整部、17:修正データ演算器、18:可動保持台、19:音声認識処理手段、20:音声入力処理部、21:応答対話系統、22:対話管理部、23:音声出力処理部、24:キャラクター表情処理部、25:音声検出手段、26:情報通信回線、27:送信手段、28:受信手段、29:特定文言登録手段、30:特定文言判定手段、31:猫の特性登録手段、32:選定確率登録手段、33:選定確率取得手段、34:対話パターン選定手段、35:文字ファイルデータベース、36:対話応答処理手段、37:通常型対話手段、38:変更話題型対話手段、39:無視型対話手段、40:拒絶型対話手段、41:語尾加工手段、42:自発発話系統、43:自発発話条件設定手段、44:条件成立判定手段、45:自発発話文字ファイルデータベース、46:自発発話手段、47:対話文字ファイルデータベース、48:対話文字ファイル抽出手段、49:音声合成手段、50:音声変換手段、51:顔画像データベース、52:顔画像選択手段、53:画像合成手段、54:感情推定手段、55:画像表示手段、56:カメラ、57:カメラ装置、58:モニタ表示装置、59:人感センサ、60:人感センサ装置、61:利用者情報データベース、62:表示装置、63:猫型会話ロボット、64:制御装置、65:第1の警報部、66:第2の警報部、67:第3の警報部、68:回答情報格納手段、69:判定手段、70:第1の異常出力手段、71:待機時間検出手段、72:基準データ形成手段、73:第2の異常出力手段、74:確信度取得手段、75:異常確信度取得手段、76:第3の異常出力手段
本発明は、猫型会話ロボットに係り、詳細には、猫型会話ロボットがペットのように疑似的に自我を持った対応をすることで、猫型会話ロボットと対話(会話)を行う発話者(猫型会話ロボットのユーザ、以下、単にユーザともいう)が猫型会話ロボットとの会話を楽しむ環境を構築するものである。
すなわちアバウトな生活スケジュール(例えば9時頃まで睡眠、14時頃まで音楽を楽しむ、18時頃まで趣味を実行して睡眠等のスケジュールで、ユーザに合わせて趣味を変えることも可)を持って猫型会話ロボットが生活している状況を構築し、ユーザが猫型会話ロボットの生活に関与して話しかけることや、ユーザに手間をかけさせること、例えば擬似的に食事の要求や排泄物の処理要求等の要求行動をして、その対応に応じて会話内容が変化することも含め、ユーザの興味に応じてお互いの生活の接点を持ち、会話を充実したものにすることを目指している。
加えてユーザからの発話音声を受信する度に対話態度を変化させる猫の性格を持つと共に、猫型会話ロボットがユーザの発話音声に応答する際に、猫型会話ロボット側(以下、単にロボット側ともいう)の対話者として設定されたキャラクターの対話時の顔画像を表示しながら、対話内容に応じてキャラクターの顔の表情を変化させる猫型会話ロボットに関する。
ここで、「猫の性格を持つ」とは、例えば、1)猫がすり寄り甘えるように、ユーザに自発的に話しかけたり何かを要求する発話を行う対話パターン、2)猫が、自立性が高く必ずしも飼い主に従順性を常に示さないように、ユーザが話しかけても無視する対話パターン、3)猫が意外性のある行動を示すように、ユーザが話しかけた話題とは別の話題で対話する対話パターン、及び4)猫が時に飼い主に対して威嚇的な態度を示すことがあるように、ユーザに対して対話を拒絶する対話パターン等の対話態度を有することをいう。
従来の会話型ロボットとの対話(会話)では、マニュアルに基づく接客対応に代表されるような反復的かつ画一的な対話(いわゆる不自然な対話)が行われ易く、対話に面白味がなく対話の継続が困難で、かつ雑談のような対話ができないといった問題点が指摘されている。このため、会話型ロボットがユーザを識別して予め入手しているユーザのプロファイルに基づいて応答文を作成することにより、あるいは対話を行いながらユーザの新たな情報を入手し、得られた情報を応答文の作成に適宜反映させることにより、対話が不自然になることを回避する提案が行われている(例えば、特許文献1参照)。
更に、従来の会話型ロボットは表情を変化させながら会話を行うことはできないため、ユーザは会話型ロボットとコミュニケーションが取り難いという問題があった。そこで、ユーザの音声からユーザの感情を怒り、喜び、及びストレス等の各項目別に数値化して感情パラメータを算出し、感情パラメータ毎に予め作成されている発話シナリオ、表情シナリオ、及び動作シナリオに基づいて、所定の音声(発話内容)を出力し、所定の表情を創出し、所定の動作を実現する会話ロボットシステムが提案されている(例えば、特許文献2参照)。
特表2016−536630号公報 特開2008−125815号公報
特許文献1の発明では、ユーザの情報に基づいて応答文が作成されるため対話の話題に変化が生じ難く、会話型ロボットとの対話を続けることがいずれは困難になるという問題がある。また、ユーザが雑談の目的で会話を始めた場合、雑談の話題が思い付きから生じたものであると、会話型ロボットが雑談の話題に関するユーザの情報を入手することは略不可能であるため、対話を無理に継続させようとすると対話が不自然となり易く、会話型ロボットとの対話の継続が困難になるという問題が生じる。
また、特許文献2に開示された会話型ロボットは、会話型ロボットが推定したユーザの感情と予め作成された発話シナリオ、表情シナリオ、及び動作シナリオに基づいて発話内容、表情、動作を決定することができるが、会話型ロボットが会話を行いながら応答内容に基づいて会話型ロボットの表情を適宜変えることはできない。このため、ユーザは会話型ロボットとコミュニケーションが取り難いという問題は解消されない。
加えて、従来の会話型ロボットにユーザの異常状態を検出する監視カメラや人感センサ等の見守り用のセンサを取り付けることにより、会話型ロボットに「見守り機能」を付加することが行われている。しかしながら、見守り用のセンサを用いたユーザの異常状態の監視では、明らかな異常が生じないと(例えば、「ユーザが転倒して動けない」、「ユーザが気絶して倒れている」ことが監視カメラの映像として得られないと)異常が認識できない。このため、見守り用のセンサを設けてもユーザが重篤な状態になるまで放置される危険性が高いという問題がある。
本発明はかかる事情に鑑みてなされたもので、ユーザが猫型会話ロボットの生活に関与することで、自然に相互の会話を促し、加えて発話音声を受信する度に対話態度を変化させる猫の性格を有することにより対話に変化を生じさせることが可能であると共に、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示しながら対話内容に応じて顔の表情を変化させることによりコミュニケーションを取り易くし、更に発話者の対話中の対話状態の変化や質問に対する回答内容の変化から発話者の異常を早期に発見して関係者に知らせることが可能な猫型会話ロボットを提供することを目的とする。
前記目的に沿う本発明に係る猫型会話ロボットは、疑似的にペットのような自我を持ち、発話者の発話音声を受信する度に対話態度を変化させる猫の性格を持つ猫型会話ロボットであって、
前記発話音声を受信して受信信号を出力する音声入力手段と、
ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段と、
前記発話者に対して対話音声を発生する音声出力手段と、
前記受信信号を受けて設定される前記対話態度に基づく前記対話音声を形成する音声データを作成して前記音声出力手段に入力しながら、前記キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成して前記表示手段に入力する制御装置とを有し、
該制御装置は、
(1)前記音声入力手段から出力される前記受信信号を発話音声ファイルに変換し、該発話音声ファイルから発話文字ファイルを作成して出力する音声入力処理部と、
(2)前記発話文字ファイルの入力を受けて前記対話音声の基となる対話文字ファイルを作成して出力する対話管理部と、
(3)前記対話文字ファイルの入力を受けて該対話文字ファイルから前記音声データを形成し音声信号に変換して前記音声出力手段に入力する音声出力処理部と、
(4)前記キャラクターの顔画像を形成する顔画像合成データと、前記対話文字ファイルの入力を受けて該対話文字ファイルから前記キャラクターの感情を推定し、該感情に応じた表情を形成する顔表情データをそれぞれ作成し、該顔画像合成データと該顔表情データを組合せて前記画像表示データとして前記表示手段に入力するキャラクター表情処理部
とを有し、
前記対話管理部は、前記発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から前記対話態度として対話パターンSを任意に選定し、該対話パターンSに対応する前記対話文字ファイルを出力する応答対話系統と、自発発話系統とを有し、
該自発発話系統には、
(1)前記発話者の趣味、猫独自の行動を織り込んだ生活パターン、及び前記発話者が応答することを意識した該猫型会話ロボットの要求行動のいずれか1以上を含む自発発話条件を予め設定する自発発話条件設定手段と、
(2)該自発発話条件設定手段で設定された前記自発発話条件が成立した際に条件成立信号を出力する条件成立判定手段と、
(3)前記条件成立信号を受けて、該条件成立信号に対応する前記自発発話条件に設定された自発発話文字ファイルを前記対話文字ファイルとして出力する自発発話手段
とが設けられ、
前記自発発話条件設定手段には、前記自発発話条件として前記発話者の見守りを実行する見守り開始条件が更に設けられ、該見守り開始条件は、前記発話者が起床する時間帯に設定する開始時刻から前記発話者が就寝する時間帯に設定する終了時刻までの中で少なくとも1回発生するように設定され、該見守り開始条件に対して設定された前記自発発話文字ファイルは前記発話者の個人情報に基づいた特定質問を構成するものである。
このような構成とすることで、制御装置を構成する各処理部毎にメンテナンスや更新を行うことができる。
発話音声から作成される発話文字ファイルが対話管理部に入力される度に、対話管理部の応答対話系統では対話態度として対話パターンSが選定されるので、猫型会話ロボットは発話音声を受信する度に対話態度を変化させた応答を行うことができる。
自発発話手段を設けることにより、発話者からの発話に猫型会話ロボットが答えるという一方的な会話から双方向(発話者から猫型会話ロボットへの発話、猫型会話ロボットから発話者への発話)の会話が可能になる。また、猫が飼い主に対してすり寄ったり甘えたりするように、猫型会話ロボットから発話者に対して話しかけを行わせることや、猫が一人遊びを行うように、猫型会話ロボットに独り言を言わせることができる。
ここで、猫型会話ロボットから発話者に対する話しかけの頻度や、猫型会話ロボットが独り言を言う頻度は、自発発話条件により決めることができる。また、猫型会話ロボットが発話者に対して話しかける話題や独り言の話題は、自発発話文字ファイルにより設定することができる。
ここで、発話者の個人情報に基づいた特定質問は、例えば、発話者の名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉等のように、発話者にとっては容易に正答でき、第3者にとっては正答することが困難となる質問である。従って、発話者の正答率は通常では100%であり、誤回答が生じることは発話者に体調の変化(異常)が生じている可能性が高いことを示している。
本発明に係る猫型会話ロボットにおいて、更に、前記発話者を撮影する撮像手段を有し、前記制御装置には、前記撮像手段で得られた前記発話者の画像を用いて、前記表示手段の表示面の方向を調節し、該表示面に表示された前記キャラクターの顔画像を前記発話者に対向させる表示位置調整部が設けられていることが好ましい。
これによって、発話者(ユーザ)は、キャラクターの対話時の顔表情の変化を容易に捉えることができる。
本発明に係る猫型会話ロボットにおいて、前記キャラクターの顔画像は猫のアニメ顔画像とすることができる。
これによって、発話者は、キャラクターの顔を好みに合わせて設定することができる。なお、キャラクターの顔画像は、発話者の要求に合わせて作成することも、予め準備された複数の顔画像候補の中から発話者に選択させることも可能である。
本発明に係る猫型会話ロボットにおいて、前記複数の対話パターンは、
(1)前記発話文字ファイルが有する話題に応答する前記対話態度を示す通常対話パターンと、
(2)前記発話文字ファイルが有する話題とは別の話題で応答する前記対話態度を示す変更話題対話パターンと、
(3)前記発話文字ファイルの入力に対し無応答となる前記対話態度を示す無視対話パターンと、
(4)前記発話文字ファイルの入力に対し対話拒絶となる前記対話態度を示す拒絶対話パターン
とを有することができる。
対話態度として通常対話パターンが選定されると、発話文字ファイル(発話音声ファイル)が有する話題に応答することになって、猫型会話ロボットに猫の従順な一面を生じさせることができ、対話態度として変更話題対話パターンが選定されると、発話文字ファイルが有する話題とは別の話題に応答することになって、猫型会話ロボットに猫の意外な一面を生じさせることができる。また、対話態度として無視対話パターンが選定されると、話しかけても応答がなく、猫型会話ロボットに猫の自立性が高い一面を生じさせることができ、対話態度として拒絶対話パターンが選定されると、対話が拒絶され、猫型会話ロボットに猫の威嚇的な(非従順な)一面を生じさせることができる。これにより、発話者は、猫型会話ロボットとの間に適度な距離感を有するコミュニケーションを図ることができる。
「発話文字ファイルが有する話題とは別の話題」とは、発話文字ファイルが有する話題とは異なる話題と、発話文字ファイルが有する話題と関連性が弱い話題をそれぞれ有することを指す。異なる話題で応答させる頻度を高くすると意外性が強い性格の猫を、関連性の弱い話題で応答させる頻度を高くすると意外性が弱い性格の猫を猫型会話ロボットにおいてそれぞれ実現させることができる。
ここで、発話文字ファイルが有する話題と関連性の弱い話題とは、話題の分野は同じであるが対象が異なる場合を指し、例えば、話題が和食である場合に、アジア、アフリカ、欧州等の他国料理を話題にすることを指す。
本発明に係る猫型会話ロボットにおいて、前記通常対話パターン、前記変更話題対話パターン、前記無視対話パターン、及び前記拒絶対話パターンに対してそれぞれ猫の性格に基づいた選定確率が予め設定されていることが好ましい。
各対話パターンを猫の性格に基づいた選定確率で生起させるため、通常対話パターン(猫の従順性)、変更話題対話パターン(猫の意外性)、無視対話パターン(猫の自立性)、拒絶対話パターン(猫の威嚇性)を猫型会話ロボットに違和感なく生じさせることができる。なお、各対話パターンの選定確率を調節することで、従順性、意外性、自立性、及び威嚇性の比率を変えることができ、猫の性格の特徴付け(猫の個性の形成)が可能になる。
本発明に係る猫型会話ロボットにおいて、前記発話文字ファイルには予め登録された特定文言が存在し、該特定文言が存在する該発話文字ファイルが入力された際は、前記通常対話パターンの前記選定確率が50%より高く設定されることが好ましい。
これによって、飼い主が猫の相手をしたい場合に飼い主は猫が好むこと(例えば、猫じゃらし)を行うように、発話内に猫じゃらし型特定文言を入れることにより、通常対話パターンの機会が高くなって猫型会話ロボットとの対話を楽しむことができる。
本発明に係る猫型会話ロボットにおいて、前記応答対話系統には、
(1)入力された前記発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する文字ファイルデータベースと、
(2)前記発話文字ファイル及び前記別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段と、
(3)前記発話文字ファイルの入力により前記対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルAを選択し前記対話文字ファイルとして出力する通常型対話手段と、
(4)前記文字ファイルデータベースに格納された前記複数の別文字ファイルの中から別文字ファイルWを選択して前記対話応答処理手段に入力し、該対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルBを選択し前記対話文字ファイルとして出力する変更話題型対話手段と、
(5)前記文字ファイルデータベースに格納された前記複数の無視文字ファイルの中から無視文字ファイルCを選択し前記対話文字ファイルとして出力する無視型対話手段と、
(6)前記文字ファイルデータベースに格納された前記複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し前記対話文字ファイルとして出力する拒絶型対話手段
とを設けることができる。
これにより、猫の性格を具体的に発現させた対話態度を猫型会話ロボットに実現させることができる。
本発明に係る猫型会話ロボットにおいて、前記音声入力処理部は、前記受信信号から前記発話音声ファイルを作成する音声検出手段と、該発話音声ファイルから前記発話文字ファイルを作成し出力する音声認識処理手段とを有し、
前記音声認識処理手段及び前記対話応答処理手段はクラウド上にそれぞれ設けられ、前記発話音声ファイルの前記音声認識処理手段への入力、該音声認識処理手段からの前記発話文字ファイルの出力、該発話文字ファイル及び前記別文字ファイルWの前記対話応答処理手段への入力、該対話応答処理手段から前記通常型対話手段及び前記変更話題型対話手段への前記応答文字ファイルの出力はそれぞれ情報通信回線を介して行ことが好ましい。
クラウド上に音声認識処理手段及び対話応答処理手段を設けると、大規模なデータベースを接続することができ、ハードウェアの更新と、アプリケーションソフトウェアの更新及び改善を適宜行うことができる。このため、音声認識処理手段では発話音声ファイルから発話文字ファイルへの変換を迅速かつ正確に行うことができ、対話応答処理手段では発話文字ファイルの内容に応答する的確な内容を有する応答文字ファイルを容易に作成することができる。
本発明に係る猫型会話ロボットにおいて、前記応答文字ファイルAには前記発話文字ファイルの話題に関連する質問が含まれることが好ましい。
これによって、質問に回答する形で対話が続けられるため、ロボット側では話題の絞り込みを行うことが容易となり、対話を継続させ易くなる。
本発明に係る猫型会話ロボットにおいて、前記制御装置には、前記特定質問に対する前記発話者の回答の正誤を判定し、誤回答が生じた際に第1の異常信号を出力する第1の警報部が設けられていることが好ましい
本発明に係る猫型会話ロボットにおいて、前記自発発話文字ファイルは、前記自発発話条件毎に予め作成され、前記自発発話系統に設けられた自発発話文字ファイルデータベースに格納されていることが好ましい。
これにより、発話者の好みや趣向に合致した話題に関する話しかけを猫型会話ロボットに行わせたり、猫型会話ロボット(猫)に何かを要求する発言を行わせることができ、猫型会話ロボットとの会話の機会や猫型会話ロボットの世話を行う機会を容易に作ることができる。
本発明に係る猫型会話ロボットにおいて、前記対話文字ファイルに含まれる文は、該文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段を介して前記音声出力処理部に出力されることが好ましい。
これにより、文の語尾に「にゃん」が発話されることになって、猫としてのイメージを向上させることができる。
本発明に係る猫型会話ロボットにおいて、前記制御装置には、予め設定された時間帯で前記対話音声が発せられる度に該対話音声が発せられてから前記音声入力手段で前記発話音声が受信されるまでの待機時間を測定し、予め求めておいた前記発話者の基準待機時間と該待機時間との偏差が設定した許容値を超える応答状態変化の発生有無を検知し、前記発話者との間で最初の対話が成立して以降の該応答状態変化の発生の累積回数が予め設定した異常応答判定値に到達した際に第2の異常信号を出力する第2の警報部が設けられていることが好ましい。
ここで、基準待機時間とは、発話者の平常状態の待機時間を複数回測定し統計処理して得られる統計量で、例えば、待機時間分布の平均値、中央値、又は最頻値である。また、偏差は待機時間と基準待機時間との差であり、許容値は、例えば、待機時間分布の標準偏差σを用いて、σ、2σ、又は3σのいずれか1に設定することができる。
猫型会話ロボットの音声出力手段より対話音声が発せられてから猫型会話ロボットの音声入力手段で発話者の発話音声が受信されるまでの待機時間(発話者が話しかけられてから応答するまでの時間)は、発話者の体調に影響される対話処理能力を反映する測定値と考えられる。このため、偏差が許容値を超えることは、発話者の対話時の応答状態が変化していることを示している。そして、応答状態変化の発生の累積回数が異常応答判定値に到達したことは、発話者に新たな(異常な)対話応答状態が生じていることを示しており、発話者に体調の変化(異常)が生じている可能性が高いと判断できる。
本発明に係る猫型会話ロボットにおいて、前記制御装置には、前記音声入力処理部から前記対話管理部に出力される前記発話文字ファイルの前記発話音声ファイルに対する確からしさを定量的に示す確信度を取得し、該確信度が予め設定された異常確信度以下となる低確信度状態の発生有無を検知し、該低確信度状態の発生の累積回数が予め設定した異常累積回数に到達した際に第3の異常信号を出力する第3の警報部が設けられていることが好ましい。
音声入力処理部では、受信信号から作成した発話音声ファイルを発話文字ファイルに変換する際、音声に対して文(文字)が一義的に決定できない場合(変換時の確信度(発話音声ファイル(発話音声)の認識の確からしさを確率的に評価した数値)が100%でない場合)、確信度の高い順に複数の発話文字ファイルが候補として提供され、通常は、第1候補(確信度が最大の)発話文字ファイルが対話管理部に入力される。
ここで、音声入力処理部での発話文字ファイルの作成方法を固定すると、同一の発話音声ファイル(発話音声)に対しては常に同一の確信度で同一の発話文字ファイルが得られる。従って、平常状態の発話者の種々の発話音声ファイル(発話音声)に対して音声入力処理部で評価される確信度を求めると、確信度の分布は平常状態の発話者の対話状態を定量的に評価する尺度の一つとなる。このため、確信度の分布の最小値より小さい値に異常確信度を設定しておくと、発話文字ファイルの作成時の異常度が異常確信度以下となる低確信度状態が発生することは、発話者の対話状態に変化が生じている、即ち、発話者が平常状態でないことを示している。そして、低確信度状態の発生の累積回数が異常累積回数に到達したことは、発話者に対話状態を変化させるほどに体調の変化(異常)が生じている可能性が高いことを示している。
なお、平常状態の発話者の発話音声ファイル(発話音声)に対する確信度は、一般的に90%程度の値となるため、例えば、異常確信度は確信度70%程度の値に設定できる。また、異常累積回数は、例えば、5回程度の値に設定することができる。
本発明に係る猫型会話ロボットにおいては、疑似的な自我を持ち、猫の性格のように発話音声を受信する度に対話態度を変化させるので、意外性のある対話音声が出力されることになって対話に変化が生じ易くなる。
また、猫型会話ロボットとの会話時に、ロボット側の対話者として設定されたキャラクターの顔画像を表示手段に表示し、対話内容に応じてキャラクターの対話時の顔表情を微妙に変化させることができるので、発話者は猫型会話ロボットとのコミュニケーションが取り易くなる。
制御装置の対話管理部に自発発話手段を設けたので、発話者と猫型会話ロボットとの間で双方向の会話(発話者から猫型会話ロボットへの発話から始まる会話、猫型会話ロボットから発話者への発話から始まる会話)を成立させることができ、会話の機会を向上させることが可能になる。その結果、猫型会話ロボットと発話者が永く付き合う状況を形成することができ、例えば、話し相手がいないという孤独感の解消や、猫型会話ロボット(機械)と付き合うというストレスの軽減を図ることが可能になる。
また、制御装置に、第1〜第3の警報部のいずれか1又は2以上を設けた場合、発話者が猫型会話ロボットとの対話の中で、発話者に通常とは違う軽度の異常状態が生じていることを早期に発見することができ、発話者の安心及び安全のレベルを高めることが可能になる。
本発明の第1の実施の形態に係る猫型会話ロボットの構成を示すブロック図である。 同猫型会話ロボットの制御装置の構成を示すブロック図である。 同猫型会話ロボットの音声入力処理部の構成を示すブロック図である。 同猫型会話ロボットの対話管理部の応答対話系統の構成を示すブロック図である。 同猫型会話ロボットの対話管理部の構成を示すブロック図である。 同猫型会話ロボットの対話管理部の自発発話系統の構成を示すブロック図である。 同猫型会話ロボットの音声出力処理部の構成を示すブロック図である。 同猫型会話ロボットのキャラクター表情処理部の構成を示すブロック図である。 同猫型会話ロボットの付帯装置の説明図である。 同猫型会話ロボットの対話処理の流れ図である。 対話処理の対話ステップ3における応答対話処理の流れ図である。 対話処理の対話ステップ3における自発発話処理の流れ図である。 本発明の第2の実施の形態に係る猫型会話ロボットの構成を示すブロック図である。 同猫型会話ロボットの制御装置の構成を示すブロック図である。
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1に示すように、本発明の第1の実施の形態に係る猫型会話ロボット10は、疑似的な自我を持ち、猫型会話ロボット10のユーザ(発話者)の発話音声を受信する度に対話態度を変化させる猫の性格を持つ会話ロボットであって、ユーザの発話音声を受信して受信信号を出力するマイクロフォン11(音声入力手段の一例)と、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示するディスプレイ12(表示手段の一例)と、ユーザに対して対話音声を発生するスピーカ13(音声出力手段の一例)と、受信信号を受けて設定される対話態度に基づく対話音声を形成する音声データを作成してスピーカ13に入力しながら、キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成してディスプレイ12に入力する制御装置14とを有する。
ここで、キャラクターの顔画像は、予め準備された複数の猫のアニメ顔画像の中から一つを選択して設定する。なお、キャラクターの顔画像は、ユーザの要求に合わせて任意に作製することもできる。
更に、猫型会話ロボット10はユーザを撮影するカメラ15(撮像手段の一例)を有し、制御装置14には、カメラ15で得られたユーザの画像を用いて、ディスプレイ12の表示面の方向を調節し、ディスプレイ12に表示されたキャラクターの顔画像をユーザに対向させる表示位置調整部16が設けられている。ここで、表示位置調整部16は、ユーザの画像からディスプレイ12(例えば、表示面の中心位置)に対するユーザの三次元位置を求めてディスプレイ12の表示面の方向(例えば、表示面の中心位置に立てた法線の方向)を調節する修正データを演算する修正データ演算器17と、ディスプレイ12を載置し、修正データに基づいてディスプレイ12の表示面の方向を変化させる可動保持台18とを有している。
図2に示すように、制御装置14は、マイクロフォン11から出力される受信信号を発話音声ファイルに変換する音声検出手段25と、発話音声ファイルから発話文字ファイルを作成して出力する音声認識処理手段19とを備えた音声入力処理部20と、発話文字ファイルの入力を受けて起動し、発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から対話態度として対話パターンSを任意に選定して、対話パターンSに対応する対話音声の基となる対話文字ファイルを作成して出力する応答対話系統21を備えた対話管理部22とを有する。
更に、制御装置14は、対話文字ファイルの入力を受けて対話文字ファイルから音声データを作成し音声信号に変換してスピーカ13に入力する音声出力処理部23と、キャラクターの顔画像を形成する顔画像合成データと、対話文字ファイルの入力を受けて対話文字ファイルからキャラクターの感情を推定し、感情に応じた表情を形成する顔表情データをそれぞれ作成し、顔画像合成データと顔表情データを組合せて画像表示データとしてディスプレイ12に入力するキャラクター表情処理部24とを有する。
図3に示すように、音声入力処理部20は、マイクロフォン11から出力される受信信号から音声が含まれている時間区間を音声区間として検出して発話音声ファイルとして出力する音声検出手段25と、発話音声ファイルを情報通信回線26(例えば、光回線、ADSL回線、ケーブルテレビ回線等)を介して音声認識処理手段19に入力(送信)する送信手段27と、音声認識処理手段19から情報通信回線26を介して出力(送信)された発話文字ファイルを受信して出力する受信手段28とを有している。
ここで、音声認識処理手段19からは、発話音声ファイル(発話音声)を発話文字ファイルに変換する際、音声に対して文(文字)が一義的に決定できない場合、確信度(発話文字ファイルの発話音声ファイルに対する確からしさを定量的に示したもの)の高い順に複数の発話文字ファイルが候補として提供(出力)される。従って、受信手段28では、出力された複数の発話文字ファイルの中から確信度が最大の発話文字ファイルを発話音声ファイルに対応する発話文字ファイルとして対話管理部22に向けて出力する。
なお、音声認識処理手段19をクラウド(インターネット)上に設けることで、音声認識処理手段19に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、音声認識処理手段19では発話音声ファイルから発話文字ファイルへの正確かつ迅速な変換を行うことができる。
図4に示すように、応答対話系統21には、猫型会話ロボット10の対話態度を選定する上で重要となる特定文言を登録させて格納する特定文言登録手段29と、発話文字ファイル中に特定文言が存在するか否かを判定し、特定文言が存在しない場合は発話文字ファイルの意図が特定文言と一致するか否かを判定する機能、及び特定文言が存在する又は発話文字ファイルの意図が特定文言と一致する際はその特定文言の情報を出力し、特定文言が存在しない又は発話文字ファイルの意図が特定文言と一致しない際は特定文言無しの情報を出力する機能を備えた特定文言判定手段30が設けられている。
なお、発話文字ファイルに特定文言が存在する場合又は発話文字ファイルの意図が特定文言と一致する場合を、以下では単に発話文字ファイルに特定文言が存在する場合と記載する。
応答対話系統21には、猫型会話ロボット10が有する猫の性格として、複数の対話パターン、例えば、
(1)猫が従順な性格を示すことに対応して、発話文字ファイルが有する話題に応答する対話態度を示す通常対話パターン、
(2)猫が意外性のある行動を示すことに対応して、発話文字ファイルが有する話題とは別の話題で応答する対話態度を示す変更話題対話パターン、
(3)猫が強い自立性を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)無応答となる対話態度を示す無視対話パターン、
(4)猫が威嚇的な態度を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)対話拒絶となる対話態度を示す拒絶対話パターン
の4つの対話パターンを登録させる猫の特性登録手段31が設けられている。猫の特性登録手段31に登録する対話パターンにより、猫の性格を反映させた猫型会話ロボット10の対話態度を実現できる。
応答対話系統21には、猫の特性登録手段31を介して登録された通常対話パターン、変更話題対話パターン、無視対話パターン、拒絶対話パターンについて猫の性格に基づいた選定確率をそれぞれ登録する選定確率登録手段32が設けられている。
選定確率登録手段32では、発話文字ファイルに特定文言が存在しない場合に、猫型会話ロボット10において想定される猫の性格に応じて各対話パターンの選定確率の比率を決定すると共に、各対話パターンの選定確率の総和が100%となるように各対話パターンの選定確率を調整した猫特性を設定する。更に、選定確率登録手段32では、発話文字ファイルに特定文言が存在する際は、通常対話パターンの選定確率を他の対話パターンの選定確率より大きくし、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンの各選定確率の比率を小さくした特定文言用猫特性を設定する。例えば、猫特性の選定確率では通常対話パターンを50%未満に、特定文言用猫特性の選定確率では通常対話パターンを50%より高く、好ましくは70%以上とする。
なお、特定文言用猫特性は、複数の特定文言に対して一つ設定しても、複数の特定文言を複数のグループ(例えば、猫型会話ロボット10に対話態度の選択権を認めない絶対服従型特定文言のグループと、猫じゃらし型特定文言のグループ)に分けてグループ毎に設定しても、特定文言毎に設定してもよい。
応答対話系統21には、特定文言無しの情報が出力された際に、選定確率登録手段32に登録された猫特性を取得し、特定文言判定手段30から特定文言の情報が出力された際に、選定確率登録手段32に登録された特定文言用猫特性を取得する選定確率取得手段33と、選定確率取得手段33で取得された猫特性又は特定文言用猫特性が有する各対話パターンの選定確率に基づいて、発話文字ファイルが応答対話系統21に入力された際の対話パターンSを選定する対話パターン選定手段34が設けられている。
なお、対話パターン選定手段34では、例えば、発話文字ファイルが入力された際に発生させた乱数と選定確率取得手段33で取得された各対話パターンの選定確率から対話パターンSを決定することができる。
例えば、猫特性が有する各対話パターンの選定確率として、通常対話パターンの選定確率を40%、変更話題対話パターンの選定確率を25%、無視対話パターンの選定確率を15%、拒絶対話パターンの選定確率を20%に設定する(猫の行動パターンの分析結果による)。
また、特定文言「電話をかけて」を絶対服従型特定文言として、通常対話パターンの選定確率を100%、変更話題対話パターンの選定確率を0%、無視対話パターンの選定確率を0%、及び拒絶対話パターンの選定確率を0%に設定する。
更に、特定文言「遊ぼう」と「話をしよう」を猫じゃらし型特定文言として、通常対話パターンの選定確率を80%、変更話題対話パターンの選定確率を8%、無視対話パターンの選定確率を5%、拒絶対話パターンの選定確率を7%に設定する。
このように設定することで、発話音声から作成された発話文字ファイル中に「○○さんに電話をかけて」が存在する場合は、対話パターンSとして通常対話パターンが必ず選定されることになって電話をかける対話が成立し、猫型会話ロボット10に電話機能が設けられていると、猫型会話ロボット10を介して○○さんに電話をかけることができる。
また、発話音声から作成された発話文字ファイル中に「遊ぼう」「話をしよう」が存在する場合は、対話パターンSに選ばれる通常対話パターンの選定確率が80%となり、猫型会話ロボット10との対話を楽しむ機会が高くなる。
一方、猫型会話ロボット10の持ち主の発話音声から作成された発話文字ファイル中に「電話をかけて」「遊ぼう」「話をしよう」が存在しない場合は、対話パターンSに選ばれる通常対話パターンの選定確率は40%となり、猫型会話ロボット10との対話が実現できないことがある(意外性を示す、自立性を示す、威嚇的な態度を示す猫の性格が表れる)。
応答対話系統21には、入力された発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する(変更話題対話パターンが選定された際に別文字ファイル、無視対話パターンが選定された際に無視文字ファイル、拒絶対話パターンが選定された際に拒絶文字ファイルをそれぞれ出力する)文字ファイルデータベース35と、発話文字ファイル及び別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段36とが設けられている。
なお、対話応答処理手段36は、情報通信回線26を介してクラウド(インターネット)上に配置されている。対話応答処理手段36をクラウド上に設けることで、対話応答処理手段36に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、対話応答処理手段36では発話文字ファイルの内容に応答する的確な内容を有する対話文字ファイルを作成することができる。
また、応答対話系統21には、対話パターンSに通常対話パターンが選定されたことを受けて起動し、発話文字ファイルをクラウド上の対話応答処理手段36に情報通信回線26を介して入力し、対話応答処理手段36から出力された複数の応答文字ファイルを情報通信回線26を介して取得して、複数の応答文字ファイルの中から応答文字ファイルAを選択し対話文字ファイルとして出力する通常型対話手段37と、対話パターンSに変更話題対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の別文字ファイルの中から別文字ファイルWを選択して対話応答処理手段36に入力し、対話応答処理手段36から出力された複数の応答文字ファイルの中から応答文字ファイルBを選択し対話文字ファイルとして出力する変更話題型対話手段38が設けられている。
ここで、対話応答処理手段36は、発話文字ファイルの入力に対して、発話文字ファイルの話題に関連する質問が含まれる応答文字ファイルを複数出力する特性を有するものが好ましい。これにより、応答文字ファイルAには発話文字ファイルの話題に関連する質問が含まれることになって、質問に回答する形で対話が続けられることになる。その結果、猫型会話ロボット10では話題の絞り込みを行うことが容易となり、対話を継続させ易くなる。
なお、通常型対話手段37に、対話応答処理手段36から出力される応答文字ファイルAに発話文字ファイルの話題に関連する質問が含まれるように、発話文字ファイルを編集して対話応答処理手段36に入力する編集機能を設けてもよい。
更に、応答対話系統21には、対話パターンSに無視対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の無視文字ファイルの中から無視文字ファイルCを選択し対話文字ファイルとして出力する無視型対話手段39と、対話パターンSに拒絶対話パターンが選定されたことを受けて起動し、文字ファイルデータベース35に格納された複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し対話文字ファイルとして出力する拒絶型対話手段40が設けられている。
そして、通常型対話手段37、変更話題型対話手段38、無視型対話手段39、及び拒絶型対話手段40からそれぞれ出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
図5に示すように、対話管理部22は、更に自発発話系統42を有している。そして、図6に示すように、自発発話系統42には、ユーザが感心の高い趣味、猫独自の行動をり込んだ生活パターン、及びユーザが応答することを意識した猫型会話ロボット10(猫)の要求行動等の自発発話条件を設定する自発発話条件設定手段43と、自発発話条件が成立したか否かを判定し、条件が成立した際に条件成立信号を出力する条件成立判定手段44が設けられている。
また、自発発話系統42には、条件成立信号を受けて(自発発話条件が成立した際に)、条件成立信号に対応する自発発話条件に設定された自発発話文字ファイルを予め登録させて格納する自発発話文字ファイルデータベース45と、条件成立判定手段44が自発発話条件が成立したと判定した際に、自発発話系統42に設けられた自発発話文字ファイルデータベース45から該当する自発発話文字ファイルを抽出し対話文字ファイルとして出力する自発発話手段46が設けられている。なお、自発発話手段46から出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
例えば、自発発話条件として、猫型会話ロボット10の駆動用バッテリの充電残量の下限値を設定し、バッテリの充電残量が下限値に到達した(自発発話条件が成立した)際の自発発話文字ファイルとして「バッテリの残量が残りわずかです」を登録し自発発話文字ファイルデータベース45に格納する。この場合、バッテリに設けられた充電残量検出器(図示せず)によりバッテリの充電残量が下限値に到達したことが条件成立判定手段44に伝えられると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「バッテリの残量が残りわずかです」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「バッテリの残量が残りわずかですにゃん」に語尾加工されて音声出力処理部23に出力される。
自発発話条件として猫型会話ロボット10のメンテナンス項目毎に予定日を設定し、該当日の(自発発話条件が成立した際の)自発発話文字ファイルとしてメンテナンス項目、例えば、「今日は顔を拭いてもらう日です」を自発発話文字ファイルデータベース45に格納する。この場合、猫型会話ロボット10に設けられたカレンダー機能によりメンテナンスの予定の該当日には条件成立判定手段44により条件成立信号が出力され、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「今日は顔を拭いてもらう日です」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「今日は顔を拭いてもらう日ですにゃん」に語尾加工されて音声出力処理部23に出力される。
自発発話条件として、音声入力処理部20への発話音声(マイクロフォン11からの受信信号)の未入力継続時間の上限値(例えば、8時間)を設定し、未入力継続時間が上限値に到達したことに対応する自発発話文字ファイルとして「今日は8時間話をしていません」を登録し自発発話文字ファイルデータベース45に格納する。この場合、未入力継続時間が上限値に到達したことが猫型会話ロボット10に設けられた時計機能により条件成立判定手段44に伝えられると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「今日は8時間話をしていません」が抽出され、対話文字ファイルとして語尾加工手段41に入力されて「今日は8時間話をしていませんにゃん」に語尾加工されて音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10が持ち主に世話を焼かせること(要求行動)に基づいた会話の機会を作ることができる。
自発発話条件を猫型会話ロボット10に搭載した電話機から出力される電話の着信信号とし、着信信号の受信時(自発発話条件が成立した際)に対応する自発発話文字ファイルとして「××さんから電話です」を自発発話文字ファイルデータベース45に登録する。また、自発発話手段46に、電話機能を用いて電話番号から相手の氏名○○を検索させ、自発発話文字ファイルデータベース45から抽出した「××さんから電話です」の××に検索結果の氏名○○を代入した自発発話文字ファイルを作成して出力させる。この場合、着信信号の出力が条件成立判定手段44で確認されると、自発発話文字ファイルデータベース45から自発発話文字ファイル「××さんから電話です」が抽出され、自発発話系統42からは対話文字ファイルとして「○○さんから電話です」が出力され、語尾加工手段41で「○○さんから電話ですにゃん」に語尾加工されて音声出力処理部23に出力される。
なお、迷惑電話の着信拒否等の特殊なサービスも猫型会話ロボット10に搭載された電話機能を用いて処理させる。
自発発話条件として猫型会話ロボット10に搭載したコンピュータへの情報通信回線26を介して送信された電子メールの着信信号の受信を設定し、着信信号の入力時(自発発話条件が成立した際)に対応する自発発話文字ファイルとして「メールが届いています」を自発発話文字ファイルデータベース45に登録する。なお、迷惑メールの着信拒否等の特殊なサービスは、電子メール機能を用いて処理させる。また、自発発話手段46に、自発発話文字ファイルデータベース45から抽出した「メールが届いています」とメール本文を合わせたものを自発発話文字ファイルとして出力させる処理を登録する。
従って、着信信号の受信が条件成立判定手段44で確認されると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「メールが届いています」が抽出され、自発発話系統42からは「メールが届いています」とメール本文を合わせたものが自発発話文字ファイルとして作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10の持ち主の日常生活の利便性が向上されると共に、猫型会話ロボット10との会話の機会を作ることができる。
自発発話条件を、例えば、特定日の特定時間に設定し、自発発話条件に対応して行われる各種処理、例えば、本の一節を読み上げる、歌い出す、猫型会話ロボットのスケジュール管理機能を利用して本日のスケジュールを抽出して繰り返し読み上げる、猫型会話ロボット10に独り言を言わせる(猫型会話ロボット10から過去に発話された内容(音声出力処理部23に入力された対話文字ファイルの内容)を任意に抽出して読み上げる)等の発話を行わせることを自発発話手段46に登録する。
従って、猫型会話ロボット10に設けられたカレンダー機能と時計機能により自発発話条件が成立したことが条件成立判定手段44に伝えられると、自発発話系統42からは自発発話に対応する自発発話文字ファイルが作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
これによって、猫型会話ロボット10が一人遊びをしているのを見て楽しむことができると共に、猫型会話ロボット10との会話の機会を作ることができる。
なお、猫型会話ロボット10が一人遊びとして、発話の代わりに、例えば、テレビ受像機のリモートコントロール機能を用いてテレビスイッチを入れる等の行為を設定してもよい。
対話管理部22には、図6に示すように、応答対話系統21から出力されて語尾加工手段41に入力される対話文字ファイル及び自発発話系統42から出力される対話文字ファイルを記録する対話文字ファイルデータベース47を設ける。更に、猫型会話ロボット10に独り言を言わせる自発発話条件が成立したことを受けて起動し、対話文字ファイルデータベース47に格納された対話文字ファイルを任意に選択して自発発話文字ファイルデータベース45に入力する機能を備えた対話文字ファイル抽出手段48を設ける。これにより、猫型会話ロボット10に独り言を言わせる際の自発発話文字ファイルの作成が容易にできる。
図7に示すように、音声出力処理部23は、対話文字ファイルを対話音声ファイルに変換する音声合成手段49と、対話音声ファイルから音声データを作成し音声信号に変換してスピーカ13に出力する音声変換手段50とを有している。これにより、猫型会話ロボット10は、ユーザの発話音声を受信して対話音声を発することができると共に、自発発話条件が成立した際に、ユーザに対話音声を発することができる。
図8に示すように、制御装置14に設けられたキャラクター表情処理部24は、予め準備された複数の猫のアニメ顔画像及び各アニメ顔画像を形成する画像要素データ群を格納した顔画像データベース51と、顔画像データベース51から複数の猫のアニメ顔画像(例えば、猫の平常時の顔表情)を取り出してディスプレイ12に表示させ、特定のアニメ顔画像Rを1つユーザに選択させてキャラクターの顔画像として設定させる顔画像選択手段52と、特定のアニメ顔画像Rについての画像要素データ群を顔画像データベース51から抽出して顔画像合成データとして出力する画像合成手段53とを有している。
更に、キャラクター表情処理部24は、対話管理部22から出力された対話文字ファイルからキャラクターの感情を推定し、感情に応じた表情を形成する顔表情データを作成する感情推定手段54と、顔画像合成データと顔表情データを組合せてキャラクターの対話時の顔表情を形成する画像表示データを作成してディスプレイ12に出力する画像表示手段55とを有している。
感情推定手段54には、複数の文Pに対してそれぞれ心理状態(快、不快、喜び、怒り、悲しみ等の各種気持ちの強弱関係)を対応させた感情データベースが設けられている。また、感情推定手段54には、心理状態と顔表情変化量(平常時の顔表情を形成している各部位の位置を基準位置とし、顔の各部位毎における基準位置からの変化方向と変化距離)の対応関係を求めて作成した表情データベースが設けられている。
このため、感情推定手段54に対話文字ファイルが入力されると、対話文字ファイルに含まれる文Tと同趣旨の文Pをデータベース内で抽出し、抽出された文Pが有する心理状態を文T(対話文字ファイル)の感情と推定する。なお、文Tの趣旨が複数の文Pの組合せから構成される場合は、文Tの趣旨を構成する各文Pを抽出すると共に各文Pの寄与率(重み付け率)を算出し、各文Pの心理状態を寄与率で調整した修正心理状態の総和を文T(対話文字ファイル)の感情と推定する。
そして、対話文字ファイルに含まれる文Tの感情が推定されると、推定された感情の心理状態(修正心理状態の総和)に一致又は最も類似する顔表情変化量を表情データベース内で抽出し、抽出された顔表情変化量を文Tの顔表情データとする。
対話文字ファイルがキャラクター表情処理部24に入力されない場合、即ち、顔表情データが作成されない場合、画像表示データは顔画像合成データに一致するため、ディスプレイ12には特定のアニメ顔画像R(平常時の顔表情)が表示される。
なお、キャラクター表情処理部24に入力された対話文字ファイルから感情が推定できない場合、例えば、擬声語の場合は、擬声語を発する際の表情状態を顔表情データと設定する。
これにより、猫型会話ロボット10は、キャラクターの顔表情を変化させながら対話を行うことができる。
図9に示すように、猫型会話ロボット10には、カメラ56(別の撮像手段の一例)で得られた画像の処理及び解析から顔認証を行うカメラ装置57と、カメラ装置57で得られた画像を表示すると共に猫型会話ロボット10の各種設定を行う際のタッチパネルとして使用されるモニタ表示装置58と、ユーザの存在を人感センサ59を介して確認する人感センサ装置60が設けられている。
更に、猫型会話ロボット10には、ユーザやその関係者の情報(例えば、ユーザやその関係者の顔画像、関係者の氏名、電話番号、住所等)を登録する利用者情報データベース61が設けられている。なお、利用者情報データベース61は、必要に応じて情報通信回線26を介して対話応答処理手段36でも利用される。
猫型会話ロボット10にカメラ56とカメラ装置57が設けられていると、ユーザの関係者が、別途離れた場所に設けた表示装置62を用いて持ち主の行動認識や部外者の訪問等の監視を行うことができる。
猫型会話ロボット10に人感センサ装置60が設けられていると、ユーザの関係者が表示装置62を用いてユーザの在室確認や見守りを行うことができる。
更に、猫型会話ロボット10にモニタ表示装置58が設けられていると、ユーザに、例えば、「バッテリの残量が残りわずかです」等の注意や警報情報を、「××さんから電話です」等の連絡情報を音声に加えて表示して知らせることができる。
ここで、モニタ表示装置58を制御装置14の対話管理部22に接続させると、対話文字ファイルを必要に応じてモニタ表示装置58に表示させることができ、ユーザは猫型会話ロボット10からの対話音声を文字として確認することができる。また、モニタ表示装置58を制御装置14の音声入力処理部20に接続させると、発話文字ファイルを必要に応じてモニタ表示装置58に表示させることができ、ユーザは猫型会話ロボット10の音声認識を文字として確認することができる。なお、モニタ表示装置58は音声入力処理部20及び対話管理部22にそれぞれ接続することができ、モニタ表示装置58はディスプレイ12と兼用させてもよい。
本発明の第1の実施の形態に係る猫型会話ロボット10の作用について説明する。
猫型会話ロボット10との対話に先立って、ユーザの発話音声が猫型会話ロボット10に受信される度に選定される複数の対話態度(通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターン)の各選定確率を設定すると共に、予め準備された複数の猫のアニメ顔画像の中から特定のアニメ顔画像Rを1つ選択してキャラクターの顔画像として設定する(以上、対話事前ステップ)。
図10に示すように、猫型会話ロボット10を起動させて対話を行う場合、キャラクター表情処理部24から特定のアニメ顔画像Rの顔画像合成データがディスプレイ12に出力されディスプレイ12にはキャラクターの顔画像が表示される。そして、ユーザの発話音声が音声入力処理部20で受信されて発話音声ファイルが作成され、発話音声ファイルが音声認識処理手段19に入力され発話文字ファイルに変換されて出力される(対話ステップ1)。
なお、図9に示すように、モニタ表示装置58を制御装置14の音声入力処理部20に接続させると、発話文字ファイルをモニタ表示装置58に表示させることができる。
出力された発話文字ファイルの入力を受けて、予め設定された複数の対話パターンの中から対話パターンSが選定されて対話態度が決定され(対話ステップ2)、対話パターンSに対応する応答文字ファイルA、B、無視文字ファイルC、及び拒絶文字ファイルDのいずれか1が対話文字ファイルとして出力される(対話ステップ3)。出力された対話文字ファイルは音声出力処理部23とキャラクター表情処理部24にそれぞれ入力され、音声出力処理部23からは対話文字ファイルから形成された音声データを変換した音声信号がスピーカ13に出力され、キャラクター表情処理部24からはキャラクターの感情を推定して感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される(対話ステップ4)。これにより、スピーカ13から発せられる対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔画像は対話時の顔表情を変化させることができる。
なお、図9に示すように、モニタ表示装置58を制御装置14の対話管理部22にも接続させると、対話文字ファイルをモニタ表示装置58に表示させることができる。
対話ステップ2における対話パターンSの選定では、予め、複数の対話パターンとして、発話文字ファイルが有する話題に応答する対話態度を示す通常対話パターン(猫が従順性を示す場合)と、発話文字ファイルが有する話題とは別の話題で応答する対話態度を示す変更話題対話パターン(猫が意外性のある行動を示す場合)と、発話文字ファイルの入力により無応答となる対話態度を示す無視対話パターン(猫が強い自立性を示す場合)と、発話文字ファイルの入力により対話拒絶となる対話態度を示す拒絶対話パターン(猫が飼い主に対して威嚇的な態度を示す場合)を設定する。そして、通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンにそれぞれ猫の性格に基づいて選定確率を設定し、対話パターンSを通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンの中から確率的に選定させることにより、猫の性格が自然に現れるようにする。
対話ステップ3では、図11に示すように、通常対話パターンが選定された際は、発話文字ファイルが入力された対話応答処理手段36から出力される複数の応答文字ファイルの中から選択した応答文字ファイルAを対話文字ファイルとして出力させる。
変更話題対話パターンが選定された際は、発話文字ファイルが有する話題とは別の話題を有する別文字ファイルWが文字ファイルデータベース35の中から選択され、別文字ファイルWが入力された対話応答処理手段36から出力される複数の文字ファイルの中から選択した応答文字ファイルBを対話文字ファイルとして出力させる。
無視対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話無視に対応する無視文字ファイルCを対話文字ファイルとして出力させる。
拒絶対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話拒絶に対応する拒絶文字ファイルDを対話文字ファイルとして出力させる。
これにより、猫の性格を具体的に発現させた対話を実現させることができる。
例えば、ユーザが「今日の天気を教えて」と発話すると、音声入力処理部20において受信信号から発話音声ファイルが作成され、発話音声ファイルは情報通信回線26を介して音声認識処理手段19に入力される。そして、音声認識処理手段19で作成された発話文字ファイルは情報通信回線26を介して音声入力処理部20に出力される。次いで、発話文字ファイルは音声入力処理部20から対話管理部22に入力される。
対話管理部22では、発話文字ファイルが入力されたため応答対話系統21が起動する。先ず、発話文字ファイル中に登録された特定文言が存在するか否かが判定される。「今日の天気を教えて」には特定文言が存在しないため、対話パターンの選定確率は、通常対話パターンが40%、変更話題対話パターンが25%、無視対話パターンが15%、拒絶対話パターンが20%となる。
ここで、対話パターンSとして通常対話パターンが選定されると、発話文字ファイルが情報通信回線26を介して対話応答処理手段36に入力され、対話応答処理手段36では発話文字ファイルが有する意図を解釈して、例えば、インターネットで天気検索を行い、天気検索結果を含んだ複数の応答文字ファイルを作成して情報通信回線26を介して対話管理部22に出力する。対話管理部22では、受け取った複数の応答文字ファイルの中から発話文字ファイルの話題に関連する質問が含まれるもの、例えば、「晴れです。どこかにおでかけしませんか」が応答文字ファイルAに選択され対話文字ファイルとなる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは「晴れですにゃん。どこかにおでかけしませんかにゃん」として出力される。
音声出力処理部23では、「晴れですにゃん。どこかにおでかけしませんかにゃん。」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情が物欲しそうな感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「晴れですにゃん。どこかにおでかけしませんかにゃん。」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を物欲しそうな表情にすることができる。
対話パターンSとして変更話題対話パターンが選定された場合、発話文字ファイル(今日の天気を教えて)が有する話題とは別の話題の別文字ファイルWが文字ファイルデータベース35から選択され、別文字ファイルWが入力された対話応答処理手段36から出力される複数の応答文字ファイルから選択された応答文字ファイルBが、例えば、「おなかが空いた」であると、対話文字ファイルは「おなかが空いた」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「おなかが空いたにゃん」が出力される。
音声出力処理部23では、「おなかが空いたにゃん」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情が不機嫌な感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「おなかが空いたにゃん」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を不機嫌な表情にすることができる。
対話パターンSとして無視対話パターンが選定された場合、文字ファイルデータベース35から選択された対話無視に対応する無視文字ファイルCが、例えば、「知らない」であると、対話文字ファイルは「知らない」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「知らないにゃん」が出力される。
音声出力処理部23では、「知らないにゃん」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24で対話文字ファイルから推定したキャラクターの感情がめんどくさい感情である場合、この感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「知らないにゃん」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情をめんどくさい表情にすることができる。
対話パターンSとして拒絶対話パターンが選定された場合、文字ファイルデータベース35から選択された対話拒絶に対応する拒絶文字ファイルDが、例えば、「シャー、ミャーオ―ッ」であると、対話文字ファイルは「シャー、ミャーオ―ッ」となる。そして、対話管理部22から音声出力処理部23及びキャラクター表情処理部24へは対話文字ファイルとして「シャー、ミャーオ―ッ」が出力される(「シャー」や「ミャーオ―ッ」は文でないため、語尾加工手段41は作用しない)。
音声出力処理部23では、「シャー、ミャーオ―ッ」から対話音声ファイルを形成し、対話音声ファイルから作成した音声データを音声信号に変換しスピーカ13に出力する。このとき、キャラクター表情処理部24に入力される対話文字ファイルからはキャラクターの感情を推定することができない。このため、「シャー、ミャーオ―ッ」を発する際の表情状態がキャラクターの顔表情データとなり、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される。これにより、スピーカ13から発せられる「シャー、ミャーオ―ッ」という対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔表情を変化させることができる。
図12に示すように、猫型会話ロボット10において、複数の自発発話条件(例えば、生活パターンや要求行動)を自発発話条件設定手段43に設定すると共に、自発発話条件毎に自発発話文字ファイルを予め設定し自発発話文字ファイルデータベース45に格納しておく。
そして、猫型会話ロボット10を起動させると、キャラクター表情処理部24から特定のアニメ顔画像Rの顔画像合成データがディスプレイ12に出力されディスプレイ12にはキャラクターの顔画像が表示される(自発発話ステップ1)。
条件成立判定手段44では複数の自発発話条件の中で条件成立の有無の確認が行われ(自発発話ステップ2)、自発発話条件が成立した自発発話条件に対応する自発発話文字ファイルが自発発話手段46により自発発話文字ファイルデータベース45から抽出され、対話文字ファイルとして出力される(自発発話ステップ3)。出力された対話文字ファイルは音声出力処理部23とキャラクター表情処理部24にそれぞれ入力され、音声出力処理部23からは、対話文字ファイルを対話音声ファイルに変換して、対話音声ファイルから形成された音声データを変換した音声信号がスピーカ13に出力され、キャラクター表情処理部24からはキャラクターの感情を推定して感情に応じた顔表情データが作成され、顔画像合成データと組合せてキャラクターの対話時の顔表情を形成する画像表示データとしてディスプレイ12に出力される(自発発話ステップ3)。
これにより、スピーカ13から発せられる対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔画像は対話時の顔表情を変化させることができる。
自発発話条件を選定することで猫の性格の特徴付けを行うことができ、例えば、猫のすり寄りや甘えに対応するような対話を猫型会話ロボット10に行わせることができる。
また、利用者情報データベース61から種々の情報を取得して、猫型会話ロボット10のユーザの好みや趣向に合致した話題に関する話しかけを猫型会話ロボット10に行わせたり、猫型会話ロボット10に何かを要求させる発言を行わせることができ、猫型会話ロボット10との会話の機会や猫型会話ロボット10の世話を行う機会を作ることができる。
図13に示すように、本発明の第2の実施の形態に係る猫型会話ロボット63は、第1の実施の形態に係る猫型会話ロボット10と比較して、自発発話条件としてユーザの見守りを実行する見守り開始条件が更に設けられ、見守り開始条件に対して設定された自発発話文字ファイルが、ユーザの個人情報に基づいた特定質問を構成するものであって、制御装置64には、音声入力処理部20、対話管理部22、音声出力処理部23、キャラクター表情処理部24に加えて、特定質問に対するユーザの回答の正誤を判定し、誤回答が生じた際に第1の異常信号を予め登録された関係者に出力する第1の警報部65が設けられていることが特徴となっている。
更に、猫型会話ロボット63は、第1の実施の形態に係る猫型会話ロボット10と比較して、制御装置64に、予め設定された時間帯で対話音声が発せられる度に対話音声が発せられてからマイクロフォン11で発話音声が受信されるまでの待機時間を測定し、予め求めておいたユーザの基準待機時間と待機時間との偏差が設定した許容値を超える応答状態変化の発生有無を検知し、ユーザとの間で最初の対話が成立して以降の応答状態変化の発生の累積回数が予め設定した異常応答判定値に到達した際に第2の異常信号を出力する第2の警報部66と、音声入力処理部20から対話管理部22に出力される発話文字ファイルの発話音声ファイルに対する確からしさを定量的に示す確信度を取得し、確信度が予め設定された異常確信度以下となる低確信度状態の発生有無を検知し、低確信度状態の発生の累積回数が予め設定した異常累積回数に到達した際に第3の異常信号を出力する第3の警報部67が設けられていることが特徴となっている。
このため、猫型会話ロボット63に関しては、猫型会話ロボット10と同一の構成部及び構成手段には同一の符号を付して説明を省略し、第1〜第3の警報部65〜67についてのみ説明する。
図14に示すように、第1の警報部65は、見守り開始条件毎に設定された自発発話文字ファイル(特定質問)に対する正答情報を格納した回答情報格納手段68と、自発発話系統42に設けられた条件成立判定手段44で成立が確認された見守り開始条件が成立した際に出力される条件成立信号を受けて起動し、成立が確認された見守り開始条件に対して設定された特定質問の正答情報を回答情報格納手段68から取得し、ユーザの発話音声(特定質問に関する回答)の受信信号が音声入力処理部20に入力されて作成された発話文字ファイルの内容と比較して正誤を確認する判定手段69と、判定手段69で誤回答と判定された際に第1の異常信号を関係者に出力する第1の異常出力手段70とを有している。なお、第1の異常信号は、情報通信回線26を介して関係者に出力される。
ユーザの見守りを実行する見守り開始条件は、例えば、猫型会話ロボット63との対話が開始されてから(例えば、ユーザが起床する時間帯に設定する開始時刻から)対話が終了するまで(例えば、ユーザが就寝する時間帯に設定する終了時刻まで)の中で少なくとも1回発生するように設定する。
ユーザの個人情報に基づいた特定質問とは、例えば、ユーザの名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉に関する質問であって予め複数準備され、見守り開始条件が成立した際に自発発話手段46を介して任意に一つ抽出される。ユーザにとっては特定質問は容易に正答できる内容であるため、通常は正答率は100%となる。従って、特定質問に対して誤回答が発生すれば、関係者は第1の異常信号を受け取ることになりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
図14に示すように、第2の警報部66は、音声出力処理部23から対話音声の音声信号が出力された際の出力時刻と、対話音声に応答したユーザの発話音声の受信信号が音声入力処理部20に入力された際の入力時刻をそれぞれ検出し、入力時刻と出力時刻の時間差を求めて待機時間とする待機時間検出手段71を有している。更に、第2の警報部66は、平常状態のユーザの待機時間を予め複数回測定して待機時間分布を求め、待機時間の平均値と標準偏差σをそれぞれ算出し、待機時間の平均値を基準待機時間、標準偏差σの3倍の値(3σ)を許容値として格納する基準データ形成手段72と、待機時間検出手段71から得られる待機時間と基準データ形成手段72から取得した基準待機時間との偏差を算出し、得られた偏差が許容値を超える応答状態変化の発生有無を検知して応答状態変化の発生の累積回数を求め、ユーザとの間で最初の対話が成立して以降の累積回数を求め、累積回数が設定した異常応答判定値に到達した際に第2の異常信号を関係者に出力する第2の異常出力手段73とを有している。なお、第2の異常信号は、情報通信回線26を介して関係者に出力される。
ユーザがロボット側から話しかけられて応答するまでの待機時間は、対話の内容によっても変化するので、平常状態のユーザと種々の内容の対話を行って求めた待機時間分布は、平常状態のユーザの応答状態を定量的に評価する基準になると考えられる。なお、待機時間分布を構成している各待機時間は、基準待機時間−3σを下限値とし、基準待機時間+3σを上限値とする範囲にほぼ存在する。従って、待機時間検出手段71から得られる待機時間から求めた偏差が、基準待機時間−3σ〜基準待機時間+3σの範囲に存在すれば、ユーザに異常は生じていないと判定される。一方、偏差が基準待機時間−3σ〜基準待機時間+3σの範囲外に存在すれば、ユーザに異常が生じていると判定されて第2の異常信号が出力され、関係者は第2の異常信号を受け取ることにより、ユーザに異常な対話応答状態が生じていること、即ち、ユーザに体調の変化(異常)が生じていることに気付くことができ、適切な処置をユーザに行うことが可能になる。
なお、ユーザに異常が生じた場合、ユーザの対話応答状態は低下状態になっているため、待機時間検出手段71から得られる待機時間が長くなって、偏差は基準待機時間+3σを超えることになる。
図14に示すように、第3の警報部67は、音声入力処理部20より対話管理部22に出力された発話文字ファイルが有する確信度を音声入力処理部20から取得する確信度取得手段74を有している。更に、第3の警報部67は、平常状態のユーザの種々の発話音声ファイル(発話音声)に対して音声入力処理部20(音声認識処理手段19)で評価される確信度を予め求め、得られた確信度から確信度の分布を作成して最小値を求めて、最小値より小さい値を異常確信度として設定し保存する異常確信度設定手段75と、確信度取得手段74を介して得られる確信度と異常確信度設定手段75から取得した異常確信度を比較し、確信度が異常確信度以下となる低確信度状態の発生有無を検知して低確信度状態の発生の累積回数を求め、累積回数が異常累積回数に到達した際に第3の異常信号を関係者に出力する第3の異常出力手段76とを有している。
ここで、最小値より小さい値には、例えば、確信度の分布を複数求めて、各確信度の分布が有する最小値を抽出し、抽出された最小値から構成される最小値分布を求めて、得られた最小値分布から推定される推定最小値を用いることができる。なお、第3の異常信号は、情報通信回線26を介して関係者に出力される。
音声入力処理部20での発話文字ファイルの作成方法を固定すると、同一の発話音声ファイル(発話音声)に対しては常に同一の確信度で同一の発話文字ファイルが得られるので、平常状態のユーザが猫型会話ロボット63と対話する場合、ユーザの発話音声から発話文字ファイルが作成される際の確信度は、異常確信度設定手段75で作成された確信度の分布の範囲内に存在し、常に異常確信度を超える値となる。
一方、ユーザに異常が発生するとユーザの対話状態に変化が生じるため、ユーザの発話音声から発話文字ファイルが作成される際の確信度が低下し、異常確信度以下となる低確信度状態が発生することになる。そして、ユーザに生じた低確信度状態の発生の累積回数が異常累積回数に達すると第3の異常出力手段76から第3の異常信号が関係者に出力され、関係者は第3の異常信号を受け取ることによりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合せたものも、本発明に含まれる。
なお、本発明の第2の実施の形態に係る猫型会話ロボットでは、第1〜第3の警報部を設けたが、第1〜第3の警報部のいずれか1、又は任意の2つの組合せを設けてもよい。
10:猫型会話ロボット、11:マイクロフォン、12:ディスプレイ、13:スピーカ、14:制御装置、15:カメラ、16:表示位置調整部、17:修正データ演算器、18:可動保持台、19:音声認識処理手段、20:音声入力処理部、21:応答対話系統、22:対話管理部、23:音声出力処理部、24:キャラクター表情処理部、25:音声検出手段、26:情報通信回線、27:送信手段、28:受信手段、29:特定文言登録手段、30:特定文言判定手段、31:猫の特性登録手段、32:選定確率登録手段、33:選定確率取得手段、34:対話パターン選定手段、35:文字ファイルデータベース、36:対話応答処理手段、37:通常型対話手段、38:変更話題型対話手段、39:無視型対話手段、40:拒絶型対話手段、41:語尾加工手段、42:自発発話系統、43:自発発話条件設定手段、44:条件成立判定手段、45:自発発話文字ファイルデータベース、46:自発発話手段、47:対話文字ファイルデータベース、48:対話文字ファイル抽出手段、49:音声合成手段、50:音声変換手段、51:顔画像データベース、52:顔画像選択手段、53:画像合成手段、54:感情推定手段、55:画像表示手段、56:カメラ、57:カメラ装置、58:モニタ表示装置、59:人感センサ、60:人感センサ装置、61:利用者情報データベース、62:表示装置、63:猫型会話ロボット、64:制御装置、65:第1の警報部、66:第2の警報部、67:第3の警報部、68:回答情報格納手段、69:判定手段、70:第1の異常出力手段、71:待機時間検出手段、72:基準データ形成手段、73:第2の異常出力手段、74:確信度取得手段、75:異常確信度取得手段、76:第3の異常出力手段

Claims (17)

  1. 疑似的な自我を持ち、発話者の発話音声を受信する度に対話態度を変化させる猫の性格を持つ猫型会話ロボットであって、
    前記発話音声を受信して受信信号を出力する音声入力手段と、
    ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段と、
    前記発話者に対して対話音声を発生する音声出力手段と、
    前記受信信号を受けて設定される前記対話態度に基づく前記対話音声を形成する音声データを作成して前記音声出力手段に入力しながら、前記キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成して前記表示手段に入力する制御装置とを有することを特徴とする猫型会話ロボット。
  2. 請求項1記載の猫型会話ロボットにおいて、更に、前記発話者を撮影する撮像手段を有し、前記制御装置には、前記撮像手段で得られた前記発話者の画像を用いて、前記表示手段の表示面の方向を調節し、該表示面に表示された前記キャラクターの顔画像を前記発話者に対向させる表示位置調整部が設けられていることを特徴とする猫型会話ロボット。
  3. 請求項1又は2記載の猫型会話ロボットにおいて、前記キャラクターの顔画像は猫のアニメ顔画像であることを特徴とする猫型会話ロボット。
  4. 請求項1〜3のいずれか1項に記載の猫型会話ロボットにおいて、前記制御装置は、
    (1)前記音声入力手段から出力される前記受信信号を発話音声ファイルに変換し、該発話音声ファイルから発話文字ファイルを作成して出力する音声入力処理部と、
    (2)前記発話文字ファイルの入力を受けて前記対話音声の基となる対話文字ファイルを作成して出力する対話管理部と、
    (3)前記対話文字ファイルの入力を受けて該対話文字ファイルから前記音声データを形成し音声信号に変換して前記音声出力手段に入力する音声出力処理部と、
    (4)前記キャラクターの顔画像を形成する顔画像合成データと、前記対話文字ファイルの入力を受けて該対話文字ファイルから前記キャラクターの感情を推定し、該感情に応じた表情を形成する顔表情データをそれぞれ作成し、該顔画像合成データと該顔表情データを組合せて前記画像表示データとして前記表示手段に入力するキャラクター表情処理部
    とを有することを特徴とする猫型会話ロボット。
  5. 請求項4記載の猫型会話ロボットにおいて、前記対話管理部には、前記発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から前記対話態度として対話パターンSを任意に選定し、該対話パターンSに対応する前記対話文字ファイルを出力する応答対話系統が設けられていることを特徴とする猫型会話ロボット。
  6. 請求項5記載の猫型会話ロボットにおいて、前記複数の対話パターンは、
    (1)前記発話文字ファイルが有する話題に応答する前記対話態度を示す通常対話パターンと、
    (2)前記発話文字ファイルが有する話題とは別の話題で応答する前記対話態度を示す変更話題対話パターンと、
    (3)前記発話文字ファイルの入力に対し無応答となる前記対話態度を示す無視対話パターンと、
    (4)前記発話文字ファイルの入力に対し対話拒絶となる前記対話態度を示す拒絶対話パターン
    とを有することを特徴とする猫型会話ロボット。
  7. 請求項6記載の猫型会話ロボットにおいて、前記通常対話パターン、前記変更話題対話パターン、前記無視対話パターン、及び前記拒絶対話パターンに対してそれぞれ猫の性格に基づいた選定確率が予め設定されていることを特徴とする猫型会話ロボット。
  8. 請求項7記載の猫型会話ロボットにおいて、前記発話文字ファイルには予め登録された特定文言が存在し、該特定文言が存在する該発話文字ファイルが入力された際は、前記通常対話パターンの前記選定確率が50%より高く設定されることを特徴とする猫型会話ロボット。
  9. 請求項8記載の猫型会話ロボットにおいて、前記応答対話系統には、
    (1)入力された前記発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する文字ファイルデータベースと、
    (2)前記発話文字ファイル及び前記別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段と、
    (3)前記発話文字ファイルの入力により前記対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルAを選択し前記対話文字ファイルとして出力する通常型対話手段と、
    (4)前記文字ファイルデータベースに格納された前記複数の別文字ファイルの中から別文字ファイルWを選択して前記対話応答処理手段に入力し、該対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルBを選択し前記対話文字ファイルとして出力する変更話題型対話手段と、
    (5)前記文字ファイルデータベースに格納された前記複数の無視文字ファイルの中から無視文字ファイルCを選択し前記対話文字ファイルとして出力する無視型対話手段と、
    (6)前記文字ファイルデータベースに格納された前記複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し前記対話文字ファイルとして出力する拒絶型対話手段
    とが設けられていることを特徴とする猫型会話ロボット。
  10. 請求項9記載の猫型会話ロボットにおいて、前記音声入力処理部は、前記受信信号から前記発話音声ファイルを作成する音声検出手段と、該発話音声ファイルから前記発話文字ファイルを作成し出力する音声認識処理手段とを有し、
    前記音声認識処理手段及び前記対話応答処理手段はクラウド上にそれぞれ設けられ、前記発話音声ファイルの前記音声認識処理手段への入力、該音声認識処理手段からの前記発話文字ファイルの出力、該発話文字ファイル及び前記別文字ファイルWの前記対話応答処理手段への入力、該対話応答処理手段から前記通常型対話手段及び前記変更話題型対話手段への前記応答文字ファイルの出力はそれぞれ情報通信回線を介して行われることを特徴とする猫型会話ロボット。
  11. 請求項10記載の猫型会話ロボットにおいて、前記応答文字ファイルAには前記発話文字ファイルの話題に関連する質問が含まれることを特徴とする猫型会話ロボット。
  12. 請求項5〜11のいずれか1項に記載の猫型会話ロボットにおいて、前記対話管理部は、更に自発発話系統を有し、前記自発発話系統には、
    (1)前記発話者の趣味、猫独自の行動を折り込んだ生活パターン、及び前記発話者が応答することを意識した該猫型会話ロボットの要求行動のいずれか1以上を含む自発発話条件を予め設定する自発発話条件設定手段と、
    (2)該自発発話条件設定手段で設定された前記自発発話条件が成立した際に条件成立信号を出力する条件成立判定手段と、
    (3)前記条件成立信号を受けて、該条件成立信号に対応する前記自発発話条件に設定された自発発話文字ファイルを前記対話文字ファイルとして出力する自発発話手段
    とが設けられていることを特徴とする猫型会話ロボット。
  13. 請求項12記載の猫型会話ロボットにおいて、前記自発発話条件は前記発話者の見守りを実行する見守り開始条件であって、前記自発発話文字ファイルは前記発話者の個人情報に基づいた特定質問を構成するものであり、
    前記制御装置には、前記特定質問に対する前記発話者の回答の正誤を判定し、誤回答が生じた際に第1の異常信号を出力する第1の警報部が設けられていることを特徴とする猫型会話ロボット。
  14. 請求項12又は13記載の猫型会話ロボットにおいて、前記自発発話文字ファイルは、前記自発発話条件毎に予め作成され、前記自発発話系統に設けられた自発発話文字ファイルデータベースに格納されていることを特徴とする猫型会話ロボット。
  15. 請求項4〜14のいずれか1項に記載の猫型会話ロボットにおいて、前記対話文字ファイルに含まれる文は、該文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段を介して前記音声出力処理部に出力されることを特徴とする猫型会話ロボット。
  16. 請求項4〜15のいずれか1項に記載の猫型会話ロボットにおいて、前記制御装置には、予め設定された時間帯で前記対話音声が発せられる度に該対話音声が発せられてから前記音声入力手段で前記発話音声が受信されるまでの待機時間を測定し、予め求めておいた前記発話者の基準待機時間と該待機時間との偏差が設定した許容値を超える応答状態変化の発生有無を検知し、前記発話者との間で最初の対話が成立して以降の該応答状態変化の発生の累積回数が予め設定した異常応答判定値に到達した際に第2の異常信号を出力する第2の警報部が設けられていることを特徴とする猫型会話ロボット。
  17. 請求項4〜16のいずれか1項に記載の猫型会話ロボットにおいて、前記制御装置には、前記音声入力処理部から前記対話管理部に出力される前記発話文字ファイルの前記発話音声ファイルに対する確からしさを定量的に示す確信度を取得し、該確信度が予め設定された異常確信度以下となる低確信度状態の発生有無を検知し、該低確信度状態の発生の累積回数が予め設定した異常累積回数に到達した際に第3の異常信号を出力する第3の警報部が設けられていることを特徴とする猫型会話ロボット。
JP2019075152A 2019-04-10 2019-04-10 猫型会話ロボット Active JP6598227B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019075152A JP6598227B1 (ja) 2019-04-10 2019-04-10 猫型会話ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019075152A JP6598227B1 (ja) 2019-04-10 2019-04-10 猫型会話ロボット

Publications (2)

Publication Number Publication Date
JP6598227B1 JP6598227B1 (ja) 2019-10-30
JP2020173342A true JP2020173342A (ja) 2020-10-22

Family

ID=68383238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019075152A Active JP6598227B1 (ja) 2019-04-10 2019-04-10 猫型会話ロボット

Country Status (1)

Country Link
JP (1) JP6598227B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7441142B2 (ja) 2020-08-28 2024-02-29 株式会社Nttドコモ 管理装置、及び見守りシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210024B2 (ja) * 2019-12-12 2023-01-23 一般社団法人It&診断支援センター・北九州 独り暮らし支援ロボット

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014091A (ja) * 2017-06-20 2018-01-25 Gatebox株式会社 画像表示装置、話題選択方法、話題選択プログラム
JP6420514B1 (ja) * 2018-04-04 2018-11-07 一般社団法人It&診断支援センター・北九州 会話ロボット
WO2018230562A1 (ja) * 2017-06-14 2018-12-20 日本電気株式会社 通知システム、通知方法およびプログラムが格納された非一時的なコンピュータ可読媒体
JP2019015837A (ja) * 2017-07-06 2019-01-31 一般社団法人It&診断支援センター・北九州 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230562A1 (ja) * 2017-06-14 2018-12-20 日本電気株式会社 通知システム、通知方法およびプログラムが格納された非一時的なコンピュータ可読媒体
JP2018014091A (ja) * 2017-06-20 2018-01-25 Gatebox株式会社 画像表示装置、話題選択方法、話題選択プログラム
JP2019015837A (ja) * 2017-07-06 2019-01-31 一般社団法人It&診断支援センター・北九州 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム
JP6420514B1 (ja) * 2018-04-04 2018-11-07 一般社団法人It&診断支援センター・北九州 会話ロボット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7441142B2 (ja) 2020-08-28 2024-02-29 株式会社Nttドコモ 管理装置、及び見守りシステム

Also Published As

Publication number Publication date
JP6598227B1 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
US11327556B2 (en) Information processing system, client terminal, information processing method, and recording medium
JP6263308B1 (ja) 認知症診断装置、認知症診断方法、及び認知症診断プログラム
CN107053186B (zh) 对话装置、机器人、对话方法以及存储介质
WO2016089594A2 (en) Conversation agent
CN111696559B (zh) 提供情绪管理辅助
JP6585733B2 (ja) 情報処理装置
CN111542814A (zh) 改变应答以提供表现丰富的自然语言对话的方法、计算机装置及计算机可读存储介质
JP6420514B1 (ja) 会話ロボット
JP6238083B2 (ja) 情報処理装置、サーバ、情報処理方法、および情報処理システム
JP6291303B2 (ja) コミュニケーション支援ロボットシステム
JP2019158975A (ja) 発話システム
JP2017100221A (ja) コミュニケーションロボット
JP7416295B2 (ja) ロボット、対話システム、情報処理方法及びプログラム
US11631401B1 (en) Conversation system for detecting a dangerous mental or physical condition
JP6598227B1 (ja) 猫型会話ロボット
JP6718623B2 (ja) 猫型会話ロボット
JP2019139625A (ja) 情報処理装置及び情報処理プログラム
JP2019015837A (ja) 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム
JP6943237B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111557001A (zh) 通过提供即时应答性语言应答以提供自然语言对话的方法、计算机装置及计算机可读存储介质
CN114566187B (zh) 操作包括电子装置的系统的方法、电子装置及其系统
JP2021113835A (ja) 音声処理装置および音声処理方法
US11983674B2 (en) Automatically determining and presenting personalized action items from an event
US20210097502A1 (en) Automatically determining and presenting personalized action items from an event
JP7347994B2 (ja) 会議支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190515

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190515

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190925

R150 Certificate of patent or registration of utility model

Ref document number: 6598227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250