JP2020173342A - 猫型会話ロボット - Google Patents
猫型会話ロボット Download PDFInfo
- Publication number
- JP2020173342A JP2020173342A JP2019075152A JP2019075152A JP2020173342A JP 2020173342 A JP2020173342 A JP 2020173342A JP 2019075152 A JP2019075152 A JP 2019075152A JP 2019075152 A JP2019075152 A JP 2019075152A JP 2020173342 A JP2020173342 A JP 2020173342A
- Authority
- JP
- Japan
- Prior art keywords
- dialogue
- cat
- character
- utterance
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 claims abstract description 173
- 241000282326 Felis catus Species 0.000 claims abstract description 168
- 238000012545 processing Methods 0.000 claims description 308
- 230000004044 response Effects 0.000 claims description 267
- 230000002269 spontaneous effect Effects 0.000 claims description 245
- 230000002159 abnormal effect Effects 0.000 claims description 94
- 230000002452 interceptive effect Effects 0.000 claims description 71
- 230000008859 change Effects 0.000 claims description 63
- 230000008451 emotion Effects 0.000 claims description 62
- 230000005856 abnormality Effects 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 36
- 230000001186 cumulative effect Effects 0.000 claims description 35
- 239000002131 composite material Substances 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 26
- 230000006399 behavior Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 9
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000000699 topical effect Effects 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 abstract description 5
- 239000000203 mixture Substances 0.000 abstract description 4
- 238000009826 distribution Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 101150110219 moody gene Proteins 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 101150012579 ADSL gene Proteins 0.000 description 2
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 2
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 description 2
- 206010041308 Soliloquy Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 235000019788 craving Nutrition 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
Images
Abstract
Description
すなわちアバウトな生活スケジュール(例えば9時頃まで睡眠、14時頃まで音楽を楽しむ、18時頃まで趣味を実行して睡眠等のスケジュールで、ユーザに合わせて趣味を変えることも可)を持って猫型会話ロボットが生活している状況を構築し、ユーザが猫型会話ロボットの生活に関与して話しかけることや、ユーザに手間をかけさせること、例えば擬似的に食事の要求や排泄物の処理要求等の要求行動をして、その対応に応じて会話内容が変化することも含め、ユーザの興味に応じてお互いの生活の接点を持ち、会話を充実したものにすることを目指している。
加えてユーザからの発話音声を受信する度に対話態度を変化させる猫の性格を持つと共に、猫型会話ロボットがユーザの発話音声に応答する際に、猫型会話ロボット側(以下、単にロボット側ともいう)の対話者として設定されたキャラクターの対話時の顔画像を表示しながら、対話内容に応じてキャラクターの顔の表情を変化させる猫型会話ロボットに関する。
また、特許文献2に開示された会話型ロボットは、会話型ロボットが推定したユーザの感情と予め作成された発話シナリオ、表情シナリオ、及び動作シナリオに基づいて発話内容、表情、動作を決定することができるが、会話型ロボットが会話を行いながら応答内容に基づいて会話型ロボットの表情を適宜変えることはできない。このため、ユーザは会話型ロボットとコミュニケーションが取り難いという問題は解消されない。
前記発話音声を受信して受信信号を出力する音声入力手段と、
ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段と、
前記発話者に対して対話音声を発生する音声出力手段と、
前記受信信号を受けて設定される前記対話態度に基づく前記対話音声を形成する音声データを作成して前記音声出力手段に入力しながら、前記キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成して前記表示手段に入力する制御装置とを有する。
これによって、発話者(ユーザ)は、キャラクターの対話時の顔表情の変化を容易に捉えることができる。
これによって、発話者は、キャラクターの顔を好みに合わせて設定することができる。なお、キャラクターの顔画像は、発話者の要求に合わせて作成することも、予め準備された複数の顔画像候補の中から発話者に選択させることも可能である。
(1)前記音声入力手段から出力される前記受信信号を発話音声ファイルに変換し、該発話音声ファイルから発話文字ファイルを作成して出力する音声入力処理部と、
(2)前記発話文字ファイルの入力を受けて前記対話音声の基となる対話文字ファイルを作成して出力する対話管理部と、
(3)前記対話文字ファイルの入力を受けて該対話文字ファイルから前記音声データを形成し音声信号に変換して前記音声出力手段に入力する音声出力処理部と、
(4)前記キャラクターの顔画像を形成する顔画像合成データと、前記対話文字ファイルの入力を受けて該対話文字ファイルから前記キャラクターの感情を推定し、該感情に応じた表情を形成する顔表情データをそれぞれ作成し、該顔画像合成データと該顔表情データを組合せて前記画像表示データとして前記表示手段に入力するキャラクター表情処理部
とを有する構成とすることができる。
このような構成とすることで、制御装置を構成する各処理部毎にメンテナンスや更新を行うことができる。
発話音声から作成される発話文字ファイルが対話管理部に入力される度に、対話管理部では対話態度として対話パターンSが選定されるので、猫型会話ロボットは発話音声を受信する度に対話態度を変化させた応答を行うことができる。
(1)前記発話文字ファイルが有する話題に応答する前記対話態度を示す通常対話パターンと、
(2)前記発話文字ファイルが有する話題とは別の話題で応答する前記対話態度を示す変更話題対話パターンと、
(3)前記発話文字ファイルの入力に対し無応答となる前記対話態度を示す無視対話パターンと、
(4)前記発話文字ファイルの入力に対し対話拒絶となる前記対話態度を示す拒絶対話パターン
とを有することができる。
ここで、発話文字ファイルが有する話題と関連性の弱い話題とは、話題の分野は同じであるが対象が異なる場合を指し、例えば、話題が和食である場合に、アジア、アフリカ、欧州等の他国料理を話題にすることを指す。
各対話パターンを猫の性格に基づいた選定確率で生起させるため、通常対話パターン(猫の従順性)、変更話題対話パターン(猫の意外性)、無視対話パターン(猫の自立性)、拒絶対話パターン(猫の威嚇性)を猫型会話ロボットに違和感なく生じさせることができる。なお、各対話パターンの選定確率を調節することで、従順性、意外性、自立性、及び威嚇性の比率を変えることができ、猫の性格の特徴付け(猫の個性の形成)が可能になる。
これによって、飼い主が猫の相手をしたい場合に飼い主は猫が好むこと(例えば、猫じゃらし)を行うように、発話内に猫じゃらし型特定文言を入れることにより、通常対話パターンの機会が高くなって猫型会話ロボットとの対話を楽しむことができる。
(1)入力された前記発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する文字ファイルデータベースと、
(2)前記発話文字ファイル及び前記別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段と、
(3)前記発話文字ファイルの入力により前記対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルAを選択し前記対話文字ファイルとして出力する通常型対話手段と、
(4)前記文字ファイルデータベースに格納された前記複数の別文字ファイルの中から別文字ファイルWを選択して前記対話応答処理手段に入力し、該対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルBを選択し前記対話文字ファイルとして出力する変更話題型対話手段と、
(5)前記文字ファイルデータベースに格納された前記複数の無視文字ファイルの中から無視文字ファイルCを選択し前記対話文字ファイルとして出力する無視型対話手段と、
(6)前記文字ファイルデータベースに格納された前記複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し前記対話文字ファイルとして出力する拒絶型対話手段
とを設けることができる。
これにより、猫の性格を具体的に発現させた対話態度を猫型会話ロボットに実現させることができる。
前記音声認識処理手段及び前記対話応答処理手段はクラウド上にそれぞれ設けられ、前記発話音声ファイルの前記音声認識処理手段への入力、該音声認識処理手段からの前記発話文字ファイルの出力、該発話文字ファイル及び前記別文字ファイルWの前記対話応答処理手段への入力、該対話応答処理手段から前記通常型対話手段及び前記変更話題型対話手段への前記応答文字ファイルの出力はそれぞれ情報通信回線を介して行ことが好ましい。
これによって、質問に回答する形で対話が続けられるため、ロボット側では話題の絞り込みを行うことが容易となり、対話を継続させ易くなる。
前記対話管理部は、更に自発発話系統を有し、前記自発発話系統には、
(1)前記発話者の趣味、猫独自の行動を折り込んだ生活パターン、及び前記発話者が応答することを意識した該猫型会話ロボットの要求行動のいずれか1以上を含む自発発話条件を予め設定する自発発話条件設定手段と、
(2)該自発発話条件設定手段で設定された前記自発発話条件が成立した際に条件成立信号を出力する条件成立判定手段と、
(3)前記条件成立信号を受けて、該条件成立信号に対応する前記自発発話条件に設定された自発発話文字ファイルを前記対話文字ファイルとして出力する自発発話手段
とが設けられていることが好ましい。
ここで、猫型会話ロボットから発話者に対する話しかけの頻度や、猫型会話ロボットが独り言を言う頻度は、自発発話条件により決めることができる。また、猫型会話ロボットが発話者に対して話しかける話題や独り言の話題は、自発発話文字ファイルにより設定することができる。
前記制御装置には、前記特定質問に対する前記発話者の回答の正誤を判定し、誤回答が生じた際に第1の異常信号を出力する第1の警報部が設けられていることが好ましい。
ここで、発話者の個人情報に基づいた特定質問は、例えば、発話者の名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉等のように、発話者にとっては容易に正答でき、第3者にとっては正答することが困難となる質問である。従って、発話者の正答率は通常では100%であり、誤回答が生じることは発話者に体調の変化(異常)が生じている可能性が高いことを示している。
これにより、発話者の好みや趣向に合致した話題に関する話しかけを猫型会話ロボットに行わせたり、猫型会話ロボット(猫)に何かを要求する発言を行わせることができ、猫型会話ロボットとの会話の機会や猫型会話ロボットの世話を行う機会を容易に作ることができる。
これにより、文の語尾に「にゃん」が発話されることになって、猫としてのイメージを向上させることができる。
猫型会話ロボットの音声出力手段より対話音声が発せられてから猫型会話ロボットの音声入力手段で発話者の発話音声が受信されるまでの待機時間(発話者が話しかけられてから応答するまでの時間)は、発話者の体調に影響される対話処理能力を反映する測定値と考えられる。このため、偏差が許容値を超えることは、発話者の対話時の応答状態が変化していることを示している。そして、応答状態変化の発生の累積回数が異常応答判定値に到達したことは、発話者に新たな(異常な)対話応答状態が生じていることを示しており、発話者に体調の変化(異常)が生じている可能性が高いと判断できる。
ここで、音声入力処理部での発話文字ファイルの作成方法を固定すると、同一の発話音声ファイル(発話音声)に対しては常に同一の確信度で同一の発話文字ファイルが得られる。従って、平常状態の発話者の種々の発話音声ファイル(発話音声)に対して音声入力処理部で評価される確信度を求めると、確信度の分布は平常状態の発話者の対話状態を定量的に評価する尺度の一つとなる。このため、確信度の分布の最小値より小さい値に異常確信度を設定しておくと、発話文字ファイルの作成時の異常度が異常確信度以下となる低確信度状態が発生することは、発話者の対話状態に変化が生じている、即ち、発話者が平常状態でないことを示している。そして、低確信度状態の発生の累積回数が異常累積回数に到達したことは、発話者に対話状態を変化させるほどに体調の変化(異常)が生じている可能性が高いことを示している。
なお、平常状態の発話者の発話音声ファイル(発話音声)に対する確信度は、一般的に90%程度の値となるため、例えば、異常確信度は確信度70%程度の値に設定できる。また、異常累積回数は、例えば、5回程度の値に設定することができる。
また、猫型会話ロボットとの会話時に、ロボット側の対話者として設定されたキャラクターの顔画像を表示手段に表示し、対話内容に応じてキャラクターの対話時の顔表情を微妙に変化させることができるので、発話者は猫型会話ロボットとのコミュニケーションが取り易くなる。
また、制御装置に、第1〜第3の警報部のいずれか1又は2以上を設けた場合、発話者が猫型会話ロボットとの対話の中で、発話者に通常とは違う軽度の異常状態が生じていることを早期に発見することができ、発話者の安心及び安全のレベルを高めることが可能になる。
図1に示すように、本発明の第1の実施の形態に係る猫型会話ロボット10は、疑似的な自我を持ち、猫型会話ロボット10のユーザ(発話者)の発話音声を受信する度に対話態度を変化させる猫の性格を持つ会話ロボットであって、ユーザの発話音声を受信して受信信号を出力するマイクロフォン11(音声入力手段の一例)と、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示するディスプレイ12(表示手段の一例)と、ユーザに対して対話音声を発生するスピーカ13(音声出力手段の一例)と、受信信号を受けて設定される対話態度に基づく対話音声を形成する音声データを作成してスピーカ13に入力しながら、キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成してディスプレイ12に入力する制御装置14とを有する。
ここで、キャラクターの顔画像は、予め準備された複数の猫のアニメ顔画像の中から一つを選択して設定する。なお、キャラクターの顔画像は、ユーザの要求に合わせて任意に作製することもできる。
ここで、音声認識処理手段19からは、発話音声ファイル(発話音声)を発話文字ファイルに変換する際、音声に対して文(文字)が一義的に決定できない場合、確信度(発話文字ファイルの発話音声ファイルに対する確からしさを定量的に示したもの)の高い順に複数の発話文字ファイルが候補として提供(出力)される。従って、受信手段28では、出力された複数の発話文字ファイルの中から確信度が最大の発話文字ファイルを発話音声ファイルに対応する発話文字ファイルとして対話管理部22に向けて出力する。
なお、音声認識処理手段19をクラウド(インターネット)上に設けることで、音声認識処理手段19に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、音声認識処理手段19では発話音声ファイルから発話文字ファイルへの正確かつ迅速な変換を行うことができる。
なお、発話文字ファイルに特定文言が存在する場合又は発話文字ファイルの意図が特定文言と一致する場合を、以下では単に発話文字ファイルに特定文言が存在する場合と記載する。
(1)猫が従順な性格を示すことに対応して、発話文字ファイルが有する話題に応答する対話態度を示す通常対話パターン、
(2)猫が意外性のある行動を示すことに対応して、発話文字ファイルが有する話題とは別の話題で応答する対話態度を示す変更話題対話パターン、
(3)猫が強い自立性を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)無応答となる対話態度を示す無視対話パターン、
(4)猫が威嚇的な態度を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)対話拒絶となる対話態度を示す拒絶対話パターン
の4つの対話パターンを登録させる猫の特性登録手段31が設けられている。猫の特性登録手段31に登録する対話パターンにより、猫の性格を反映させた猫型会話ロボット10の対話態度を実現できる。
選定確率登録手段32では、発話文字ファイルに特定文言が存在しない場合に、猫型会話ロボット10において想定される猫の性格に応じて各対話パターンの選定確率の比率を決定すると共に、各対話パターンの選定確率の総和が100%となるように各対話パターンの選定確率を調整した猫特性を設定する。更に、選定確率登録手段32では、発話文字ファイルに特定文言が存在する際は、通常対話パターンの選定確率を他の対話パターンの選定確率より大きくし、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンの各選定確率の比率を小さくした特定文言用猫特性を設定する。例えば、猫特性の選定確率では通常対話パターンを50%未満に、特定文言用猫特性の選定確率では通常対話パターンを50%より高く、好ましくは70%以上とする。
なお、特定文言用猫特性は、複数の特定文言に対して一つ設定しても、複数の特定文言を複数のグループ(例えば、猫型会話ロボット10に対話態度の選択権を認めない絶対服従型特定文言のグループと、猫じゃらし型特定文言のグループ)に分けてグループ毎に設定しても、特定文言毎に設定してもよい。
なお、対話パターン選定手段34では、例えば、発話文字ファイルが入力された際に発生させた乱数と選定確率取得手段33で取得された各対話パターンの選定確率から対話パターンSを決定することができる。
また、特定文言「電話をかけて」を絶対服従型特定文言として、通常対話パターンの選定確率を100%、変更話題対話パターンの選定確率を0%、無視対話パターンの選定確率を0%、及び拒絶対話パターンの選定確率を0%に設定する。
更に、特定文言「遊ぼう」と「話をしよう」を猫じゃらし型特定文言として、通常対話パターンの選定確率を80%、変更話題対話パターンの選定確率を8%、無視対話パターンの選定確率を5%、拒絶対話パターンの選定確率を7%に設定する。
また、発話音声から作成された発話文字ファイル中に「遊ぼう」「話をしよう」が存在する場合は、対話パターンSに選ばれる通常対話パターンの選定確率が80%となり、猫型会話ロボット10との対話を楽しむ機会が高くなる。
一方、猫型会話ロボット10の持ち主の発話音声から作成された発話文字ファイル中に「電話をかけて」「遊ぼう」「話をしよう」が存在しない場合は、対話パターンSに選ばれる通常対話パターンの選定確率は40%となり、猫型会話ロボット10との対話が実現できないことがある(意外性を示す、自立性を示す、威嚇的な態度を示す猫の性格が表れる)。
なお、対話応答処理手段36は、情報通信回線26を介してクラウド(インターネット)上に配置されている。対話応答処理手段36をクラウド上に設けることで、対話応答処理手段36に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、対話応答処理手段36では発話文字ファイルの内容に応答する的確な内容を有する対話文字ファイルを作成することができる。
なお、通常型対話手段37に、対話応答処理手段36から出力される応答文字ファイルAに発話文字ファイルの話題に関連する質問が含まれるように、発話文字ファイルを編集して対話応答処理手段36に入力する編集機能を設けてもよい。
そして、通常型対話手段37、変更話題型対話手段38、無視型対話手段31、及び拒絶型対話手段40からそれぞれ出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
また、自発発話系統42には、条件成立信号を受けて(自発発話条件が成立した際に)、条件成立信号に対応する自発発話条件に設定された自発発話文字ファイルを予め登録させて格納する自発発話文字ファイルデータベース45と、条件成立判定手段44が自発発話条件が成立したと判定した際に、自発発話系統42に設けられた自発発話文字ファイルデータベース45から該当する自発発話文字ファイルを抽出し対話文字ファイルとして出力する自発発話手段46が設けられている。なお、自発発話手段46から出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10が持ち主に世話を焼かせること(要求行動)に基づいた会話の機会を作ることができる。
なお、迷惑電話の着信拒否等の特殊なサービスも猫型会話ロボット10に搭載された電話機能を用いて処理させる。
従って、着信信号の受信が条件成立判定手段44で確認されると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「メールが届いています」が抽出され、自発発話系統42からは「メールが届いています」とメール本文を合わせたものが自発発話文字ファイルとして作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10の持ち主の日常生活の利便性が向上されると共に、猫型会話ロボット10との会話の機会を作ることができる。
従って、猫型会話ロボット10に設けられたカレンダー機能と時計機能により自発発話条件が成立したことが条件成立判定手段44に伝えられると、自発発話系統42からは自発発話に対応する自発発話文字ファイルが作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
これによって、猫型会話ロボット10が一人遊びをしているのを見て楽しむことができると共に、猫型会話ロボット10との会話の機会を作ることができる。
なお、猫型会話ロボット10が一人遊びとして、発話の代わりに、例えば、テレビ受像機のリモートコントロール機能を用いてテレビスイッチを入れる等の行為を設定してもよい。
更に、キャラクター表情処理部24は、対話管理部22から出力された対話文字ファイルからキャラクターの感情を推定し、感情に応じた表情を形成する顔表情データを作成する感情推定手段54と、顔画像合成データと顔表情データを組合せてキャラクターの対話時の顔表情を形成する画像表示データを作成してディスプレイ12に出力する画像表示手段55とを有している。
このため、感情推定手段54に対話文字ファイルが入力されると、対話文字ファイルに含まれる文Tと同趣旨の文Pをデータベース内で抽出し、抽出された文Pが有する心理状態を文T(対話文字ファイル)の感情と推定する。なお、文Tの趣旨が複数の文Pの組合せから構成される場合は、文Tの趣旨を構成する各文Pを抽出すると共に各文Pの寄与率(重み付け率)を算出し、各文Pの心理状態を寄与率で調整した修正心理状態の総和を文T(対話文字ファイル)の感情と推定する。
対話文字ファイルがキャラクター表情処理部24に入力されない場合、即ち、顔表情データが作成されない場合、画像表示データは顔画像合成データに一致するため、ディスプレイ12には特定のアニメ顔画像R(平常時の顔表情)が表示される。
なお、キャラクター表情処理部24に入力された対話文字ファイルから感情が推定できない場合、例えば、擬声語の場合は、擬声語を発する際の表情状態を顔表情データと設定する。
これにより、猫型会話ロボット10は、キャラクターの顔表情を変化させながら対話を行うことができる。
更に、猫型会話ロボット10には、ユーザやその関係者の情報(例えば、ユーザやその関係者の顔画像、関係者の氏名、電話番号、住所等)を登録する利用者情報データベース61が設けられている。なお、利用者情報データベース61は、必要に応じて情報通信回線26を介して対話応答処理手段36でも利用される。
猫型会話ロボット10に人感センサ装置60が設けられていると、ユーザの関係者が表示装置62を用いてユーザの在室確認や見守りを行うことができる。
更に、猫型会話ロボット10にモニタ表示装置58が設けられていると、ユーザに、例えば、「バッテリの残量が残りわずかです」等の注意や警報情報を、「××さんから電話です」等の連絡情報を音声に加えて表示して知らせることができる。
猫型会話ロボット10との対話に先立って、ユーザの発話音声が猫型会話ロボット10に受信される度に選定される複数の対話態度(通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターン)の各選定確率を設定すると共に、予め準備された複数の猫のアニメ顔画像の中から特定のアニメ顔画像Rを1つ選択してキャラクターの顔画像として設定する(以上、対話事前ステップ)。
なお、図9に示すように、モニタ表示装置58を制御装置14の音声入力処理部20に接続させると、発話文字ファイルをモニタ表示装置58に表示させることができる。
なお、図9に示すように、モニタ表示装置58を制御装置14の対話管理部22にも接続させると、対話文字ファイルをモニタ表示装置58に表示させることができる。
変更話題対話パターンが選定された際は、発話文字ファイルが有する話題とは別の話題を有する別文字ファイルWが文字ファイルデータベース35の中から選択され、別文字ファイルWが入力された対話応答処理手段36から出力される複数の文字ファイルの中から選択した応答文字ファイルBを対話文字ファイルとして出力させる。
無視対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話無視に対応する無視文字ファイルCを対話文字ファイルとして出力させる。
拒絶対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話拒絶に対応する拒絶文字ファイルDを対話文字ファイルとして出力させる。
これにより、猫の性格を具体的に発現させた対話を実現させることができる。
そして、猫型会話ロボット10を起動させると、キャラクター表情処理部24から特定のアニメ顔画像Rの顔画像合成データがディスプレイ12に出力されディスプレイ12にはキャラクターの顔画像が表示される(自発発話ステップ1)。
これにより、スピーカ13から発せられる対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔画像は対話時の顔表情を変化させることができる。
また、利用者情報データベース61から種々の情報を取得して、猫型会話ロボット10のユーザの好みや趣向に合致した話題に関する話しかけを猫型会話ロボット10に行わせたり、猫型会話ロボット10に何かを要求させる発言を行わせることができ、猫型会話ロボット10との会話の機会や猫型会話ロボット10の世話を行う機会を作ることができる。
このため、猫型会話ロボット63に関しては、猫型会話ロボット10と同一の構成部及び構成手段には同一の符号を付して説明を省略し、第1〜第3の警報部65〜67についてのみ説明する。
ユーザの個人情報に基づいた特定質問とは、例えば、ユーザの名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉に関する質問であって予め複数準備され、見守り開始条件が成立した際に自発発話手段44を介して任意に一つ抽出される。ユーザにとっては特定質問は容易に正答できる内容であるため、通常は正答率は100%となる。従って、特定質問に対して誤回答が発生すれば、関係者は第1の異常信号を受け取ることになりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
なお、ユーザに異常が生じた場合、ユーザの対話応答状態は低下状態になっているため、待機時間検出手段71から得られる待機時間が長くなって、偏差は基準待機時間+3σを超えることになる。
ここで、最小値より小さい値には、例えば、確信度の分布を複数求めて、各確信度の分布が有する最小値を抽出し、抽出された最小値から構成される最小値分布を求めて、得られた最小値分布から推定される推定最小値を用いることができる。なお、第3の異常信号は、情報通信回線26を介して関係者に出力される。
一方、ユーザに異常が発生するとユーザの対話状態に変化が生じるため、ユーザの発話音声から発話文字ファイルが作成される際の確信度が低下し、異常確信度以下となる低確信度状態が発生することになる。そして、ユーザに生じた低確信度状態の発生の累積回数が異常累積回数に達すると第3の異常出力手段76から第3の異常信号が関係者に出力され、関係者は第3の異常信号を受け取ることによりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合せたものも、本発明に含まれる。
なお、本発明の第2の実施の形態に係る猫型会話ロボットでは、第1〜第3の警報部を設けたが、第1〜第3の警報部のいずれか1、又は任意の2つの組合せを設けてもよい。
すなわちアバウトな生活スケジュール(例えば9時頃まで睡眠、14時頃まで音楽を楽しむ、18時頃まで趣味を実行して睡眠等のスケジュールで、ユーザに合わせて趣味を変えることも可)を持って猫型会話ロボットが生活している状況を構築し、ユーザが猫型会話ロボットの生活に関与して話しかけることや、ユーザに手間をかけさせること、例えば擬似的に食事の要求や排泄物の処理要求等の要求行動をして、その対応に応じて会話内容が変化することも含め、ユーザの興味に応じてお互いの生活の接点を持ち、会話を充実したものにすることを目指している。
加えてユーザからの発話音声を受信する度に対話態度を変化させる猫の性格を持つと共に、猫型会話ロボットがユーザの発話音声に応答する際に、猫型会話ロボット側(以下、単にロボット側ともいう)の対話者として設定されたキャラクターの対話時の顔画像を表示しながら、対話内容に応じてキャラクターの顔の表情を変化させる猫型会話ロボットに関する。
また、特許文献2に開示された会話型ロボットは、会話型ロボットが推定したユーザの感情と予め作成された発話シナリオ、表情シナリオ、及び動作シナリオに基づいて発話内容、表情、動作を決定することができるが、会話型ロボットが会話を行いながら応答内容に基づいて会話型ロボットの表情を適宜変えることはできない。このため、ユーザは会話型ロボットとコミュニケーションが取り難いという問題は解消されない。
前記発話音声を受信して受信信号を出力する音声入力手段と、
ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段と、
前記発話者に対して対話音声を発生する音声出力手段と、
前記受信信号を受けて設定される前記対話態度に基づく前記対話音声を形成する音声データを作成して前記音声出力手段に入力しながら、前記キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成して前記表示手段に入力する制御装置とを有し、
該制御装置は、
(1)前記音声入力手段から出力される前記受信信号を発話音声ファイルに変換し、該発話音声ファイルから発話文字ファイルを作成して出力する音声入力処理部と、
(2)前記発話文字ファイルの入力を受けて前記対話音声の基となる対話文字ファイルを作成して出力する対話管理部と、
(3)前記対話文字ファイルの入力を受けて該対話文字ファイルから前記音声データを形成し音声信号に変換して前記音声出力手段に入力する音声出力処理部と、
(4)前記キャラクターの顔画像を形成する顔画像合成データと、前記対話文字ファイルの入力を受けて該対話文字ファイルから前記キャラクターの感情を推定し、該感情に応じた表情を形成する顔表情データをそれぞれ作成し、該顔画像合成データと該顔表情データを組合せて前記画像表示データとして前記表示手段に入力するキャラクター表情処理部
とを有し、
前記対話管理部は、前記発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から前記対話態度として対話パターンSを任意に選定し、該対話パターンSに対応する前記対話文字ファイルを出力する応答対話系統と、自発発話系統とを有し、
該自発発話系統には、
(1)前記発話者の趣味、猫独自の行動を織り込んだ生活パターン、及び前記発話者が応答することを意識した該猫型会話ロボットの要求行動のいずれか1以上を含む自発発話条件を予め設定する自発発話条件設定手段と、
(2)該自発発話条件設定手段で設定された前記自発発話条件が成立した際に条件成立信号を出力する条件成立判定手段と、
(3)前記条件成立信号を受けて、該条件成立信号に対応する前記自発発話条件に設定された自発発話文字ファイルを前記対話文字ファイルとして出力する自発発話手段
とが設けられ、
前記自発発話条件設定手段には、前記自発発話条件として前記発話者の見守りを実行する見守り開始条件が更に設けられ、該見守り開始条件は、前記発話者が起床する時間帯に設定する開始時刻から前記発話者が就寝する時間帯に設定する終了時刻までの中で少なくとも1回発生するように設定され、該見守り開始条件に対して設定された前記自発発話文字ファイルは前記発話者の個人情報に基づいた特定質問を構成するものである。
このような構成とすることで、制御装置を構成する各処理部毎にメンテナンスや更新を行うことができる。
発話音声から作成される発話文字ファイルが対話管理部に入力される度に、対話管理部の応答対話系統では対話態度として対話パターンSが選定されるので、猫型会話ロボットは発話音声を受信する度に対話態度を変化させた応答を行うことができる。
自発発話手段を設けることにより、発話者からの発話に猫型会話ロボットが答えるという一方的な会話から双方向(発話者から猫型会話ロボットへの発話、猫型会話ロボットから発話者への発話)の会話が可能になる。また、猫が飼い主に対してすり寄ったり甘えたりするように、猫型会話ロボットから発話者に対して話しかけを行わせることや、猫が一人遊びを行うように、猫型会話ロボットに独り言を言わせることができる。
ここで、猫型会話ロボットから発話者に対する話しかけの頻度や、猫型会話ロボットが独り言を言う頻度は、自発発話条件により決めることができる。また、猫型会話ロボットが発話者に対して話しかける話題や独り言の話題は、自発発話文字ファイルにより設定することができる。
ここで、発話者の個人情報に基づいた特定質問は、例えば、発話者の名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉等のように、発話者にとっては容易に正答でき、第3者にとっては正答することが困難となる質問である。従って、発話者の正答率は通常では100%であり、誤回答が生じることは発話者に体調の変化(異常)が生じている可能性が高いことを示している。
これによって、発話者(ユーザ)は、キャラクターの対話時の顔表情の変化を容易に捉えることができる。
これによって、発話者は、キャラクターの顔を好みに合わせて設定することができる。なお、キャラクターの顔画像は、発話者の要求に合わせて作成することも、予め準備された複数の顔画像候補の中から発話者に選択させることも可能である。
(1)前記発話文字ファイルが有する話題に応答する前記対話態度を示す通常対話パターンと、
(2)前記発話文字ファイルが有する話題とは別の話題で応答する前記対話態度を示す変更話題対話パターンと、
(3)前記発話文字ファイルの入力に対し無応答となる前記対話態度を示す無視対話パターンと、
(4)前記発話文字ファイルの入力に対し対話拒絶となる前記対話態度を示す拒絶対話パターン
とを有することができる。
ここで、発話文字ファイルが有する話題と関連性の弱い話題とは、話題の分野は同じであるが対象が異なる場合を指し、例えば、話題が和食である場合に、アジア、アフリカ、欧州等の他国料理を話題にすることを指す。
各対話パターンを猫の性格に基づいた選定確率で生起させるため、通常対話パターン(猫の従順性)、変更話題対話パターン(猫の意外性)、無視対話パターン(猫の自立性)、拒絶対話パターン(猫の威嚇性)を猫型会話ロボットに違和感なく生じさせることができる。なお、各対話パターンの選定確率を調節することで、従順性、意外性、自立性、及び威嚇性の比率を変えることができ、猫の性格の特徴付け(猫の個性の形成)が可能になる。
これによって、飼い主が猫の相手をしたい場合に飼い主は猫が好むこと(例えば、猫じゃらし)を行うように、発話内に猫じゃらし型特定文言を入れることにより、通常対話パターンの機会が高くなって猫型会話ロボットとの対話を楽しむことができる。
(1)入力された前記発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する文字ファイルデータベースと、
(2)前記発話文字ファイル及び前記別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段と、
(3)前記発話文字ファイルの入力により前記対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルAを選択し前記対話文字ファイルとして出力する通常型対話手段と、
(4)前記文字ファイルデータベースに格納された前記複数の別文字ファイルの中から別文字ファイルWを選択して前記対話応答処理手段に入力し、該対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルBを選択し前記対話文字ファイルとして出力する変更話題型対話手段と、
(5)前記文字ファイルデータベースに格納された前記複数の無視文字ファイルの中から無視文字ファイルCを選択し前記対話文字ファイルとして出力する無視型対話手段と、
(6)前記文字ファイルデータベースに格納された前記複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し前記対話文字ファイルとして出力する拒絶型対話手段
とを設けることができる。
これにより、猫の性格を具体的に発現させた対話態度を猫型会話ロボットに実現させることができる。
前記音声認識処理手段及び前記対話応答処理手段はクラウド上にそれぞれ設けられ、前記発話音声ファイルの前記音声認識処理手段への入力、該音声認識処理手段からの前記発話文字ファイルの出力、該発話文字ファイル及び前記別文字ファイルWの前記対話応答処理手段への入力、該対話応答処理手段から前記通常型対話手段及び前記変更話題型対話手段への前記応答文字ファイルの出力はそれぞれ情報通信回線を介して行ことが好ましい。
これによって、質問に回答する形で対話が続けられるため、ロボット側では話題の絞り込みを行うことが容易となり、対話を継続させ易くなる。
これにより、発話者の好みや趣向に合致した話題に関する話しかけを猫型会話ロボットに行わせたり、猫型会話ロボット(猫)に何かを要求する発言を行わせることができ、猫型会話ロボットとの会話の機会や猫型会話ロボットの世話を行う機会を容易に作ることができる。
これにより、文の語尾に「にゃん」が発話されることになって、猫としてのイメージを向上させることができる。
猫型会話ロボットの音声出力手段より対話音声が発せられてから猫型会話ロボットの音声入力手段で発話者の発話音声が受信されるまでの待機時間(発話者が話しかけられてから応答するまでの時間)は、発話者の体調に影響される対話処理能力を反映する測定値と考えられる。このため、偏差が許容値を超えることは、発話者の対話時の応答状態が変化していることを示している。そして、応答状態変化の発生の累積回数が異常応答判定値に到達したことは、発話者に新たな(異常な)対話応答状態が生じていることを示しており、発話者に体調の変化(異常)が生じている可能性が高いと判断できる。
ここで、音声入力処理部での発話文字ファイルの作成方法を固定すると、同一の発話音声ファイル(発話音声)に対しては常に同一の確信度で同一の発話文字ファイルが得られる。従って、平常状態の発話者の種々の発話音声ファイル(発話音声)に対して音声入力処理部で評価される確信度を求めると、確信度の分布は平常状態の発話者の対話状態を定量的に評価する尺度の一つとなる。このため、確信度の分布の最小値より小さい値に異常確信度を設定しておくと、発話文字ファイルの作成時の異常度が異常確信度以下となる低確信度状態が発生することは、発話者の対話状態に変化が生じている、即ち、発話者が平常状態でないことを示している。そして、低確信度状態の発生の累積回数が異常累積回数に到達したことは、発話者に対話状態を変化させるほどに体調の変化(異常)が生じている可能性が高いことを示している。
なお、平常状態の発話者の発話音声ファイル(発話音声)に対する確信度は、一般的に90%程度の値となるため、例えば、異常確信度は確信度70%程度の値に設定できる。また、異常累積回数は、例えば、5回程度の値に設定することができる。
また、猫型会話ロボットとの会話時に、ロボット側の対話者として設定されたキャラクターの顔画像を表示手段に表示し、対話内容に応じてキャラクターの対話時の顔表情を微妙に変化させることができるので、発話者は猫型会話ロボットとのコミュニケーションが取り易くなる。
また、制御装置に、第1〜第3の警報部のいずれか1又は2以上を設けた場合、発話者が猫型会話ロボットとの対話の中で、発話者に通常とは違う軽度の異常状態が生じていることを早期に発見することができ、発話者の安心及び安全のレベルを高めることが可能になる。
図1に示すように、本発明の第1の実施の形態に係る猫型会話ロボット10は、疑似的な自我を持ち、猫型会話ロボット10のユーザ(発話者)の発話音声を受信する度に対話態度を変化させる猫の性格を持つ会話ロボットであって、ユーザの発話音声を受信して受信信号を出力するマイクロフォン11(音声入力手段の一例)と、ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示するディスプレイ12(表示手段の一例)と、ユーザに対して対話音声を発生するスピーカ13(音声出力手段の一例)と、受信信号を受けて設定される対話態度に基づく対話音声を形成する音声データを作成してスピーカ13に入力しながら、キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成してディスプレイ12に入力する制御装置14とを有する。
ここで、キャラクターの顔画像は、予め準備された複数の猫のアニメ顔画像の中から一つを選択して設定する。なお、キャラクターの顔画像は、ユーザの要求に合わせて任意に作製することもできる。
ここで、音声認識処理手段19からは、発話音声ファイル(発話音声)を発話文字ファイルに変換する際、音声に対して文(文字)が一義的に決定できない場合、確信度(発話文字ファイルの発話音声ファイルに対する確からしさを定量的に示したもの)の高い順に複数の発話文字ファイルが候補として提供(出力)される。従って、受信手段28では、出力された複数の発話文字ファイルの中から確信度が最大の発話文字ファイルを発話音声ファイルに対応する発話文字ファイルとして対話管理部22に向けて出力する。
なお、音声認識処理手段19をクラウド(インターネット)上に設けることで、音声認識処理手段19に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、音声認識処理手段19では発話音声ファイルから発話文字ファイルへの正確かつ迅速な変換を行うことができる。
なお、発話文字ファイルに特定文言が存在する場合又は発話文字ファイルの意図が特定文言と一致する場合を、以下では単に発話文字ファイルに特定文言が存在する場合と記載する。
(1)猫が従順な性格を示すことに対応して、発話文字ファイルが有する話題に応答する対話態度を示す通常対話パターン、
(2)猫が意外性のある行動を示すことに対応して、発話文字ファイルが有する話題とは別の話題で応答する対話態度を示す変更話題対話パターン、
(3)猫が強い自立性を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)無応答となる対話態度を示す無視対話パターン、
(4)猫が威嚇的な態度を示すことに対応して、話しかけても(発話文字ファイルの入力に対して)対話拒絶となる対話態度を示す拒絶対話パターン
の4つの対話パターンを登録させる猫の特性登録手段31が設けられている。猫の特性登録手段31に登録する対話パターンにより、猫の性格を反映させた猫型会話ロボット10の対話態度を実現できる。
選定確率登録手段32では、発話文字ファイルに特定文言が存在しない場合に、猫型会話ロボット10において想定される猫の性格に応じて各対話パターンの選定確率の比率を決定すると共に、各対話パターンの選定確率の総和が100%となるように各対話パターンの選定確率を調整した猫特性を設定する。更に、選定確率登録手段32では、発話文字ファイルに特定文言が存在する際は、通常対話パターンの選定確率を他の対話パターンの選定確率より大きくし、変更話題対話パターン、無視対話パターン、及び拒絶対話パターンの各選定確率の比率を小さくした特定文言用猫特性を設定する。例えば、猫特性の選定確率では通常対話パターンを50%未満に、特定文言用猫特性の選定確率では通常対話パターンを50%より高く、好ましくは70%以上とする。
なお、特定文言用猫特性は、複数の特定文言に対して一つ設定しても、複数の特定文言を複数のグループ(例えば、猫型会話ロボット10に対話態度の選択権を認めない絶対服従型特定文言のグループと、猫じゃらし型特定文言のグループ)に分けてグループ毎に設定しても、特定文言毎に設定してもよい。
なお、対話パターン選定手段34では、例えば、発話文字ファイルが入力された際に発生させた乱数と選定確率取得手段33で取得された各対話パターンの選定確率から対話パターンSを決定することができる。
また、特定文言「電話をかけて」を絶対服従型特定文言として、通常対話パターンの選定確率を100%、変更話題対話パターンの選定確率を0%、無視対話パターンの選定確率を0%、及び拒絶対話パターンの選定確率を0%に設定する。
更に、特定文言「遊ぼう」と「話をしよう」を猫じゃらし型特定文言として、通常対話パターンの選定確率を80%、変更話題対話パターンの選定確率を8%、無視対話パターンの選定確率を5%、拒絶対話パターンの選定確率を7%に設定する。
また、発話音声から作成された発話文字ファイル中に「遊ぼう」「話をしよう」が存在する場合は、対話パターンSに選ばれる通常対話パターンの選定確率が80%となり、猫型会話ロボット10との対話を楽しむ機会が高くなる。
一方、猫型会話ロボット10の持ち主の発話音声から作成された発話文字ファイル中に「電話をかけて」「遊ぼう」「話をしよう」が存在しない場合は、対話パターンSに選ばれる通常対話パターンの選定確率は40%となり、猫型会話ロボット10との対話が実現できないことがある(意外性を示す、自立性を示す、威嚇的な態度を示す猫の性格が表れる)。
なお、対話応答処理手段36は、情報通信回線26を介してクラウド(インターネット)上に配置されている。対話応答処理手段36をクラウド上に設けることで、対話応答処理手段36に大規模なデータベースを接続することができ、ハードウェアの更新、アプリケーションソフトウェアの更新や改善を適宜行うことができる。このため、対話応答処理手段36では発話文字ファイルの内容に応答する的確な内容を有する対話文字ファイルを作成することができる。
なお、通常型対話手段37に、対話応答処理手段36から出力される応答文字ファイルAに発話文字ファイルの話題に関連する質問が含まれるように、発話文字ファイルを編集して対話応答処理手段36に入力する編集機能を設けてもよい。
そして、通常型対話手段37、変更話題型対話手段38、無視型対話手段39、及び拒絶型対話手段40からそれぞれ出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
また、自発発話系統42には、条件成立信号を受けて(自発発話条件が成立した際に)、条件成立信号に対応する自発発話条件に設定された自発発話文字ファイルを予め登録させて格納する自発発話文字ファイルデータベース45と、条件成立判定手段44が自発発話条件が成立したと判定した際に、自発発話系統42に設けられた自発発話文字ファイルデータベース45から該当する自発発話文字ファイルを抽出し対話文字ファイルとして出力する自発発話手段46が設けられている。なお、自発発話手段46から出力される対話文字ファイルに含まれる文は、図5に示すように、文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段41を介して音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10が持ち主に世話を焼かせること(要求行動)に基づいた会話の機会を作ることができる。
なお、迷惑電話の着信拒否等の特殊なサービスも猫型会話ロボット10に搭載された電話機能を用いて処理させる。
従って、着信信号の受信が条件成立判定手段44で確認されると、自発発話手段46により自発発話文字ファイルデータベース45から自発発話文字ファイル「メールが届いています」が抽出され、自発発話系統42からは「メールが届いています」とメール本文を合わせたものが自発発話文字ファイルとして作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
以上のように自発発話条件を設定することによって、猫型会話ロボット10の持ち主の日常生活の利便性が向上されると共に、猫型会話ロボット10との会話の機会を作ることができる。
従って、猫型会話ロボット10に設けられたカレンダー機能と時計機能により自発発話条件が成立したことが条件成立判定手段44に伝えられると、自発発話系統42からは自発発話に対応する自発発話文字ファイルが作成され、対話文字ファイルとして出力され、語尾加工手段41で語尾加工されて音声出力処理部23に出力される。
これによって、猫型会話ロボット10が一人遊びをしているのを見て楽しむことができると共に、猫型会話ロボット10との会話の機会を作ることができる。
なお、猫型会話ロボット10が一人遊びとして、発話の代わりに、例えば、テレビ受像機のリモートコントロール機能を用いてテレビスイッチを入れる等の行為を設定してもよい。
更に、キャラクター表情処理部24は、対話管理部22から出力された対話文字ファイルからキャラクターの感情を推定し、感情に応じた表情を形成する顔表情データを作成する感情推定手段54と、顔画像合成データと顔表情データを組合せてキャラクターの対話時の顔表情を形成する画像表示データを作成してディスプレイ12に出力する画像表示手段55とを有している。
このため、感情推定手段54に対話文字ファイルが入力されると、対話文字ファイルに含まれる文Tと同趣旨の文Pをデータベース内で抽出し、抽出された文Pが有する心理状態を文T(対話文字ファイル)の感情と推定する。なお、文Tの趣旨が複数の文Pの組合せから構成される場合は、文Tの趣旨を構成する各文Pを抽出すると共に各文Pの寄与率(重み付け率)を算出し、各文Pの心理状態を寄与率で調整した修正心理状態の総和を文T(対話文字ファイル)の感情と推定する。
対話文字ファイルがキャラクター表情処理部24に入力されない場合、即ち、顔表情データが作成されない場合、画像表示データは顔画像合成データに一致するため、ディスプレイ12には特定のアニメ顔画像R(平常時の顔表情)が表示される。
なお、キャラクター表情処理部24に入力された対話文字ファイルから感情が推定できない場合、例えば、擬声語の場合は、擬声語を発する際の表情状態を顔表情データと設定する。
これにより、猫型会話ロボット10は、キャラクターの顔表情を変化させながら対話を行うことができる。
更に、猫型会話ロボット10には、ユーザやその関係者の情報(例えば、ユーザやその関係者の顔画像、関係者の氏名、電話番号、住所等)を登録する利用者情報データベース61が設けられている。なお、利用者情報データベース61は、必要に応じて情報通信回線26を介して対話応答処理手段36でも利用される。
猫型会話ロボット10に人感センサ装置60が設けられていると、ユーザの関係者が表示装置62を用いてユーザの在室確認や見守りを行うことができる。
更に、猫型会話ロボット10にモニタ表示装置58が設けられていると、ユーザに、例えば、「バッテリの残量が残りわずかです」等の注意や警報情報を、「××さんから電話です」等の連絡情報を音声に加えて表示して知らせることができる。
猫型会話ロボット10との対話に先立って、ユーザの発話音声が猫型会話ロボット10に受信される度に選定される複数の対話態度(通常対話パターン、変更話題対話パターン、無視対話パターン、及び拒絶対話パターン)の各選定確率を設定すると共に、予め準備された複数の猫のアニメ顔画像の中から特定のアニメ顔画像Rを1つ選択してキャラクターの顔画像として設定する(以上、対話事前ステップ)。
なお、図9に示すように、モニタ表示装置58を制御装置14の音声入力処理部20に接続させると、発話文字ファイルをモニタ表示装置58に表示させることができる。
なお、図9に示すように、モニタ表示装置58を制御装置14の対話管理部22にも接続させると、対話文字ファイルをモニタ表示装置58に表示させることができる。
変更話題対話パターンが選定された際は、発話文字ファイルが有する話題とは別の話題を有する別文字ファイルWが文字ファイルデータベース35の中から選択され、別文字ファイルWが入力された対話応答処理手段36から出力される複数の文字ファイルの中から選択した応答文字ファイルBを対話文字ファイルとして出力させる。
無視対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話無視に対応する無視文字ファイルCを対話文字ファイルとして出力させる。
拒絶対話パターンが選定された際は、文字ファイルデータベース35の中から選択された対話拒絶に対応する拒絶文字ファイルDを対話文字ファイルとして出力させる。
これにより、猫の性格を具体的に発現させた対話を実現させることができる。
そして、猫型会話ロボット10を起動させると、キャラクター表情処理部24から特定のアニメ顔画像Rの顔画像合成データがディスプレイ12に出力されディスプレイ12にはキャラクターの顔画像が表示される(自発発話ステップ1)。
これにより、スピーカ13から発せられる対話音声と同期して、ディスプレイ12に表示されるキャラクターの顔画像は対話時の顔表情を変化させることができる。
また、利用者情報データベース61から種々の情報を取得して、猫型会話ロボット10のユーザの好みや趣向に合致した話題に関する話しかけを猫型会話ロボット10に行わせたり、猫型会話ロボット10に何かを要求させる発言を行わせることができ、猫型会話ロボット10との会話の機会や猫型会話ロボット10の世話を行う機会を作ることができる。
このため、猫型会話ロボット63に関しては、猫型会話ロボット10と同一の構成部及び構成手段には同一の符号を付して説明を省略し、第1〜第3の警報部65〜67についてのみ説明する。
ユーザの個人情報に基づいた特定質問とは、例えば、ユーザの名前、生年月日、親、兄弟、又は子供の名前、予め確認し合った合言葉に関する質問であって予め複数準備され、見守り開始条件が成立した際に自発発話手段46を介して任意に一つ抽出される。ユーザにとっては特定質問は容易に正答できる内容であるため、通常は正答率は100%となる。従って、特定質問に対して誤回答が発生すれば、関係者は第1の異常信号を受け取ることになりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
なお、ユーザに異常が生じた場合、ユーザの対話応答状態は低下状態になっているため、待機時間検出手段71から得られる待機時間が長くなって、偏差は基準待機時間+3σを超えることになる。
ここで、最小値より小さい値には、例えば、確信度の分布を複数求めて、各確信度の分布が有する最小値を抽出し、抽出された最小値から構成される最小値分布を求めて、得られた最小値分布から推定される推定最小値を用いることができる。なお、第3の異常信号は、情報通信回線26を介して関係者に出力される。
一方、ユーザに異常が発生するとユーザの対話状態に変化が生じるため、ユーザの発話音声から発話文字ファイルが作成される際の確信度が低下し、異常確信度以下となる低確信度状態が発生することになる。そして、ユーザに生じた低確信度状態の発生の累積回数が異常累積回数に達すると第3の異常出力手段76から第3の異常信号が関係者に出力され、関係者は第3の異常信号を受け取ることによりユーザの体調変化(早期の異常)に気付くことができ、適切な処置をユーザに行うことが可能になる。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合せたものも、本発明に含まれる。
なお、本発明の第2の実施の形態に係る猫型会話ロボットでは、第1〜第3の警報部を設けたが、第1〜第3の警報部のいずれか1、又は任意の2つの組合せを設けてもよい。
Claims (17)
- 疑似的な自我を持ち、発話者の発話音声を受信する度に対話態度を変化させる猫の性格を持つ猫型会話ロボットであって、
前記発話音声を受信して受信信号を出力する音声入力手段と、
ロボット側の対話者として設定されたキャラクターの対話時の顔画像を表示する表示手段と、
前記発話者に対して対話音声を発生する音声出力手段と、
前記受信信号を受けて設定される前記対話態度に基づく前記対話音声を形成する音声データを作成して前記音声出力手段に入力しながら、前記キャラクターの顔画像の表情を対話時に変化させる画像表示データを作成して前記表示手段に入力する制御装置とを有することを特徴とする猫型会話ロボット。 - 請求項1記載の猫型会話ロボットにおいて、更に、前記発話者を撮影する撮像手段を有し、前記制御装置には、前記撮像手段で得られた前記発話者の画像を用いて、前記表示手段の表示面の方向を調節し、該表示面に表示された前記キャラクターの顔画像を前記発話者に対向させる表示位置調整部が設けられていることを特徴とする猫型会話ロボット。
- 請求項1又は2記載の猫型会話ロボットにおいて、前記キャラクターの顔画像は猫のアニメ顔画像であることを特徴とする猫型会話ロボット。
- 請求項1〜3のいずれか1項に記載の猫型会話ロボットにおいて、前記制御装置は、
(1)前記音声入力手段から出力される前記受信信号を発話音声ファイルに変換し、該発話音声ファイルから発話文字ファイルを作成して出力する音声入力処理部と、
(2)前記発話文字ファイルの入力を受けて前記対話音声の基となる対話文字ファイルを作成して出力する対話管理部と、
(3)前記対話文字ファイルの入力を受けて該対話文字ファイルから前記音声データを形成し音声信号に変換して前記音声出力手段に入力する音声出力処理部と、
(4)前記キャラクターの顔画像を形成する顔画像合成データと、前記対話文字ファイルの入力を受けて該対話文字ファイルから前記キャラクターの感情を推定し、該感情に応じた表情を形成する顔表情データをそれぞれ作成し、該顔画像合成データと該顔表情データを組合せて前記画像表示データとして前記表示手段に入力するキャラクター表情処理部
とを有することを特徴とする猫型会話ロボット。 - 請求項4記載の猫型会話ロボットにおいて、前記対話管理部には、前記発話文字ファイルが入力される度に、予め設定された複数の対話パターンの中から前記対話態度として対話パターンSを任意に選定し、該対話パターンSに対応する前記対話文字ファイルを出力する応答対話系統が設けられていることを特徴とする猫型会話ロボット。
- 請求項5記載の猫型会話ロボットにおいて、前記複数の対話パターンは、
(1)前記発話文字ファイルが有する話題に応答する前記対話態度を示す通常対話パターンと、
(2)前記発話文字ファイルが有する話題とは別の話題で応答する前記対話態度を示す変更話題対話パターンと、
(3)前記発話文字ファイルの入力に対し無応答となる前記対話態度を示す無視対話パターンと、
(4)前記発話文字ファイルの入力に対し対話拒絶となる前記対話態度を示す拒絶対話パターン
とを有することを特徴とする猫型会話ロボット。 - 請求項6記載の猫型会話ロボットにおいて、前記通常対話パターン、前記変更話題対話パターン、前記無視対話パターン、及び前記拒絶対話パターンに対してそれぞれ猫の性格に基づいた選定確率が予め設定されていることを特徴とする猫型会話ロボット。
- 請求項7記載の猫型会話ロボットにおいて、前記発話文字ファイルには予め登録された特定文言が存在し、該特定文言が存在する該発話文字ファイルが入力された際は、前記通常対話パターンの前記選定確率が50%より高く設定されることを特徴とする猫型会話ロボット。
- 請求項8記載の猫型会話ロボットにおいて、前記応答対話系統には、
(1)入力された前記発話文字ファイルが有する話題とは別の話題を有する複数の別文字ファイル、対話無視に対応する複数の無視文字ファイル、及び対話拒絶に対応する複数の拒絶文字ファイルをそれぞれ格納し、要求に応じて出力する文字ファイルデータベースと、
(2)前記発話文字ファイル及び前記別文字ファイルの入力によりそれぞれ複数の応答文字ファイルを作成して出力する対話応答処理手段と、
(3)前記発話文字ファイルの入力により前記対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルAを選択し前記対話文字ファイルとして出力する通常型対話手段と、
(4)前記文字ファイルデータベースに格納された前記複数の別文字ファイルの中から別文字ファイルWを選択して前記対話応答処理手段に入力し、該対話応答処理手段から出力された前記複数の応答文字ファイルの中から応答文字ファイルBを選択し前記対話文字ファイルとして出力する変更話題型対話手段と、
(5)前記文字ファイルデータベースに格納された前記複数の無視文字ファイルの中から無視文字ファイルCを選択し前記対話文字ファイルとして出力する無視型対話手段と、
(6)前記文字ファイルデータベースに格納された前記複数の拒絶文字ファイルの中から拒絶文字ファイルDを選択し前記対話文字ファイルとして出力する拒絶型対話手段
とが設けられていることを特徴とする猫型会話ロボット。 - 請求項9記載の猫型会話ロボットにおいて、前記音声入力処理部は、前記受信信号から前記発話音声ファイルを作成する音声検出手段と、該発話音声ファイルから前記発話文字ファイルを作成し出力する音声認識処理手段とを有し、
前記音声認識処理手段及び前記対話応答処理手段はクラウド上にそれぞれ設けられ、前記発話音声ファイルの前記音声認識処理手段への入力、該音声認識処理手段からの前記発話文字ファイルの出力、該発話文字ファイル及び前記別文字ファイルWの前記対話応答処理手段への入力、該対話応答処理手段から前記通常型対話手段及び前記変更話題型対話手段への前記応答文字ファイルの出力はそれぞれ情報通信回線を介して行われることを特徴とする猫型会話ロボット。 - 請求項10記載の猫型会話ロボットにおいて、前記応答文字ファイルAには前記発話文字ファイルの話題に関連する質問が含まれることを特徴とする猫型会話ロボット。
- 請求項5〜11のいずれか1項に記載の猫型会話ロボットにおいて、前記対話管理部は、更に自発発話系統を有し、前記自発発話系統には、
(1)前記発話者の趣味、猫独自の行動を折り込んだ生活パターン、及び前記発話者が応答することを意識した該猫型会話ロボットの要求行動のいずれか1以上を含む自発発話条件を予め設定する自発発話条件設定手段と、
(2)該自発発話条件設定手段で設定された前記自発発話条件が成立した際に条件成立信号を出力する条件成立判定手段と、
(3)前記条件成立信号を受けて、該条件成立信号に対応する前記自発発話条件に設定された自発発話文字ファイルを前記対話文字ファイルとして出力する自発発話手段
とが設けられていることを特徴とする猫型会話ロボット。 - 請求項12記載の猫型会話ロボットにおいて、前記自発発話条件は前記発話者の見守りを実行する見守り開始条件であって、前記自発発話文字ファイルは前記発話者の個人情報に基づいた特定質問を構成するものであり、
前記制御装置には、前記特定質問に対する前記発話者の回答の正誤を判定し、誤回答が生じた際に第1の異常信号を出力する第1の警報部が設けられていることを特徴とする猫型会話ロボット。 - 請求項12又は13記載の猫型会話ロボットにおいて、前記自発発話文字ファイルは、前記自発発話条件毎に予め作成され、前記自発発話系統に設けられた自発発話文字ファイルデータベースに格納されていることを特徴とする猫型会話ロボット。
- 請求項4〜14のいずれか1項に記載の猫型会話ロボットにおいて、前記対話文字ファイルに含まれる文は、該文の語尾に「にゃん」を付加する語尾加工を施す語尾加工手段を介して前記音声出力処理部に出力されることを特徴とする猫型会話ロボット。
- 請求項4〜15のいずれか1項に記載の猫型会話ロボットにおいて、前記制御装置には、予め設定された時間帯で前記対話音声が発せられる度に該対話音声が発せられてから前記音声入力手段で前記発話音声が受信されるまでの待機時間を測定し、予め求めておいた前記発話者の基準待機時間と該待機時間との偏差が設定した許容値を超える応答状態変化の発生有無を検知し、前記発話者との間で最初の対話が成立して以降の該応答状態変化の発生の累積回数が予め設定した異常応答判定値に到達した際に第2の異常信号を出力する第2の警報部が設けられていることを特徴とする猫型会話ロボット。
- 請求項4〜16のいずれか1項に記載の猫型会話ロボットにおいて、前記制御装置には、前記音声入力処理部から前記対話管理部に出力される前記発話文字ファイルの前記発話音声ファイルに対する確からしさを定量的に示す確信度を取得し、該確信度が予め設定された異常確信度以下となる低確信度状態の発生有無を検知し、該低確信度状態の発生の累積回数が予め設定した異常累積回数に到達した際に第3の異常信号を出力する第3の警報部が設けられていることを特徴とする猫型会話ロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075152A JP6598227B1 (ja) | 2019-04-10 | 2019-04-10 | 猫型会話ロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075152A JP6598227B1 (ja) | 2019-04-10 | 2019-04-10 | 猫型会話ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6598227B1 JP6598227B1 (ja) | 2019-10-30 |
JP2020173342A true JP2020173342A (ja) | 2020-10-22 |
Family
ID=68383238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019075152A Active JP6598227B1 (ja) | 2019-04-10 | 2019-04-10 | 猫型会話ロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6598227B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441142B2 (ja) | 2020-08-28 | 2024-02-29 | 株式会社Nttドコモ | 管理装置、及び見守りシステム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7210024B2 (ja) * | 2019-12-12 | 2023-01-23 | 一般社団法人It&診断支援センター・北九州 | 独り暮らし支援ロボット |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018014091A (ja) * | 2017-06-20 | 2018-01-25 | Gatebox株式会社 | 画像表示装置、話題選択方法、話題選択プログラム |
JP6420514B1 (ja) * | 2018-04-04 | 2018-11-07 | 一般社団法人It&診断支援センター・北九州 | 会話ロボット |
WO2018230562A1 (ja) * | 2017-06-14 | 2018-12-20 | 日本電気株式会社 | 通知システム、通知方法およびプログラムが格納された非一時的なコンピュータ可読媒体 |
JP2019015837A (ja) * | 2017-07-06 | 2019-01-31 | 一般社団法人It&診断支援センター・北九州 | 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム |
-
2019
- 2019-04-10 JP JP2019075152A patent/JP6598227B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018230562A1 (ja) * | 2017-06-14 | 2018-12-20 | 日本電気株式会社 | 通知システム、通知方法およびプログラムが格納された非一時的なコンピュータ可読媒体 |
JP2018014091A (ja) * | 2017-06-20 | 2018-01-25 | Gatebox株式会社 | 画像表示装置、話題選択方法、話題選択プログラム |
JP2019015837A (ja) * | 2017-07-06 | 2019-01-31 | 一般社団法人It&診断支援センター・北九州 | 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム |
JP6420514B1 (ja) * | 2018-04-04 | 2018-11-07 | 一般社団法人It&診断支援センター・北九州 | 会話ロボット |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441142B2 (ja) | 2020-08-28 | 2024-02-29 | 株式会社Nttドコモ | 管理装置、及び見守りシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6598227B1 (ja) | 2019-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11327556B2 (en) | Information processing system, client terminal, information processing method, and recording medium | |
JP6263308B1 (ja) | 認知症診断装置、認知症診断方法、及び認知症診断プログラム | |
CN107053186B (zh) | 对话装置、机器人、对话方法以及存储介质 | |
WO2016089594A2 (en) | Conversation agent | |
CN111696559B (zh) | 提供情绪管理辅助 | |
JP6585733B2 (ja) | 情報処理装置 | |
CN111542814A (zh) | 改变应答以提供表现丰富的自然语言对话的方法、计算机装置及计算机可读存储介质 | |
JP6420514B1 (ja) | 会話ロボット | |
JP6238083B2 (ja) | 情報処理装置、サーバ、情報処理方法、および情報処理システム | |
JP6291303B2 (ja) | コミュニケーション支援ロボットシステム | |
JP2019158975A (ja) | 発話システム | |
JP2017100221A (ja) | コミュニケーションロボット | |
JP7416295B2 (ja) | ロボット、対話システム、情報処理方法及びプログラム | |
US11631401B1 (en) | Conversation system for detecting a dangerous mental or physical condition | |
JP6598227B1 (ja) | 猫型会話ロボット | |
JP6718623B2 (ja) | 猫型会話ロボット | |
JP2019139625A (ja) | 情報処理装置及び情報処理プログラム | |
JP2019015837A (ja) | 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム | |
JP6943237B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN111557001A (zh) | 通过提供即时应答性语言应答以提供自然语言对话的方法、计算机装置及计算机可读存储介质 | |
CN114566187B (zh) | 操作包括电子装置的系统的方法、电子装置及其系统 | |
JP2021113835A (ja) | 音声処理装置および音声処理方法 | |
US11983674B2 (en) | Automatically determining and presenting personalized action items from an event | |
US20210097502A1 (en) | Automatically determining and presenting personalized action items from an event | |
JP7347994B2 (ja) | 会議支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190515 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190515 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6598227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |