JP2022169071A - ロボット、およびロボットシステム - Google Patents
ロボット、およびロボットシステム Download PDFInfo
- Publication number
- JP2022169071A JP2022169071A JP2021074873A JP2021074873A JP2022169071A JP 2022169071 A JP2022169071 A JP 2022169071A JP 2021074873 A JP2021074873 A JP 2021074873A JP 2021074873 A JP2021074873 A JP 2021074873A JP 2022169071 A JP2022169071 A JP 2022169071A
- Authority
- JP
- Japan
- Prior art keywords
- user
- voice
- pattern
- robot
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002996 emotional effect Effects 0.000 claims abstract description 72
- 230000008451 emotion Effects 0.000 claims abstract description 54
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 abstract description 8
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 206010011469 Crying Diseases 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 241000556720 Manga Species 0.000 description 1
- 206010041235 Snoring Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Abstract
【課題】子供に向けてロボットが発話する内容および特徴が、育児や子供の成長に寄与させることができるロボット及びロボットシステムを提供する。
【解決手段】育児支援ロボットシステムにおいて、育児支援ロボット10は、ユーザUaおよびユーザUbの各々の発話の音声Vaおよび音声Vbの各々に予め定められた特徴量の音声の部分である特定の音声が含まれることを検知して抽出する特定音声抽出部と、特定音声抽出部が抽出した特定の音声の特徴量に基づいて、発話者の感情のパターンを推定する感情パターン推定部と、感情パターン推定部が推定した感情のパターンに応じて、ユーザUbに向けて出力する音声Vrの出力態様を決定する出力態様決定部と、を備える。
【選択図】図1
【解決手段】育児支援ロボットシステムにおいて、育児支援ロボット10は、ユーザUaおよびユーザUbの各々の発話の音声Vaおよび音声Vbの各々に予め定められた特徴量の音声の部分である特定の音声が含まれることを検知して抽出する特定音声抽出部と、特定音声抽出部が抽出した特定の音声の特徴量に基づいて、発話者の感情のパターンを推定する感情パターン推定部と、感情パターン推定部が推定した感情のパターンに応じて、ユーザUbに向けて出力する音声Vrの出力態様を決定する出力態様決定部と、を備える。
【選択図】図1
Description
本発明は、ロボット、およびロボットシステムに関する。
特許文献1には、装置と対象者との相互作用を促進させたり抑制させたりすることを目的とするロボットが記載されている。ロボットは、子供から離れる場合、例えば、「ちょっと疲れたからお休みしてくるね。」又は「ちょっと遊び過ぎたから休憩してくるね」といったロボットが子供から離れることを通知する内容の音声をロボットに発話させる。また、ロボットが子供との相互作用を停止する場合、例えば、「眠くなってきた」または「ぐーぐー(いびき音)」などのロボットが寝ることを通知したり、寝ている様子を表したりする内容の音声をロボットに発話させる。
特許文献2には、子供の相手をしたり管理をしたりすることを目的とするロボットが記載されている。ロボットは、子供の状況を示す情報を取得して、取得した状況に基づき、状況と、当該状況が生じたときにロボットがとるべき行動とを対応づけて記憶する行動記憶部を参照して、ロボットの行動の決定と、ロボットの行動の制御とを行う。
特許文献2には、子供の相手をしたり管理をしたりすることを目的とするロボットが記載されている。ロボットは、子供の状況を示す情報を取得して、取得した状況に基づき、状況と、当該状況が生じたときにロボットがとるべき行動とを対応づけて記憶する行動記憶部を参照して、ロボットの行動の決定と、ロボットの行動の制御とを行う。
ロボットのうち特にコミュニケーションロボットは、一般的な電化製品では代替できない、両親や家族などに近い存在であることに存在意義がある。このため、核家族化、少子化、および一般家庭におけるロボットの利用率の高まりに伴い、両親や家族に対する依存度が高い幼児によるロボットに対する依存度が高くなることが予想される。その結果として、親の立場からしても、ロボットの存在が育児や子供の成長に欠かせないものになっていくことが予想される。特許文献1および2には、いずれも発話によって子供の相手をするロボットが提案されている。しかしながら、特許文献1および2のようなロボットによる発話は、一方的あるいは子供の発話の内容に単純に合わせたものに過ぎない。ロボットによる子供に向けた発話が、一方的あるいは子供の発話の内容に単純に合わせたものに過ぎない場合には、一般的な電化製品と変わりがない。
本発明の目的は、従来の一方的な発話や、単純にユーザの発話に合わせた発話を行うロボットでは実現できない、子供に向けてロボットが発話する内容および特徴が、育児や子供の成長に寄与させることができるロボットを提供することにある。
請求項1に記載された発明は、第1ユーザの発話の音声に予め定められた特徴量の音声の部分が含まれることを検知して、当該音声の部分を抽出する抽出手段と、前記抽出手段により抽出された前記音声の部分の前記特徴量に基づいて、前記第1ユーザの感情のパターンを推定する推定手段と、前記推定手段により推定された前記感情のパターンに応じて、第2ユーザに向けて出力する音声の態様を決定する決定手段とを備えるロボットである。
請求項2に記載された発明は、前記決定手段は、前記第2ユーザに向けて出力する前記音声の態様として、前記第1ユーザの発話と内容を同一とし、前記感情のパターンに変化を加えた音声を決定する、請求項1に記載のロボットである。
請求項3に記載された発明は、前記第1ユーザのポジティブな感情とネガティブな感情との各々に対応する、複数の前記音声の態様のパターンを予め記憶する記憶手段をさらに備え、前記推定手段は、前記第1ユーザの感情のパターンの推定として、当該第1ユーザの感情のパターンが前記ポジティブな感情のパターンと前記ネガティブな感情のパターンとのうちいずれかにあてはまるかを推定し、前記決定手段は、前記推定手段により推定された前記第1ユーザの感情のパターンに応じて、前記記憶手段に記憶されている複数の前記音声の態様のパターンのうち前記第2ユーザに向けて出力する音声の態様のパターンを選択して決定する、請求項1に記載のロボットである。
請求項4に記載された発明は、前記決定手段は、前記第2ユーザに向けて出力する音声の態様のパターンとして、前記推定手段による前記第1ユーザの感情のパターンの推定の結果にかかわらずポジティブな感情のパターンを選択して決定する、請求項3に記載のロボットである。
請求項5に記載された発明は、前記抽出手段は、前記第1ユーザの発話の音声のうち、予め定められた特徴量の音声の部分の前後の文脈の音声の部分をさらに抽出し、前記推定手段は、前記抽出手段により抽出された前記予め定められた特徴量の音声の部分の前後の文脈の音声の部分の特徴量をさらに考慮して、前記第1ユーザの感情のパターンを推定する、請求項1に記載のロボットである。
請求項6に記載された発明は、第1ユーザの発話の音声に予め定められた特徴量の音声の部分が含まれることがロボットにより検知されると、当該音声の部分を抽出する抽出手段と、前記抽出手段により抽出された前記音声の部分の前記特徴量に基づいて、前記第1ユーザの感情のパターンを推定する推定手段と、前記推定手段により推定された前記感情のパターンに応じて、第2ユーザに向けて前記ロボットに出力させる音声の態様を決定する決定手段と、前記決定手段により決定された前記音声の態様の音声を前記ロボットに出力させる制御を行う出力制御手段とを備えるロボットシステムである。
請求項7に記載された発明は、前記決定手段は、前記第2ユーザに向けて出力させる前記音声の態様として、前記第1ユーザの発話と内容を同一とし、前記感情のパターンに変化を加えた音声を決定する、請求項6に記載のロボットシステムである。
請求項8に記載された発明は、前記第1ユーザのポジティブな感情とネガティブな感情との各々に対応する、複数の前記音声の態様のパターンを予め記憶する記憶手段をさらに備え、前記推定手段は、前記第1ユーザの感情のパターンの推定として、当該第1ユーザの感情のパターンが前記ポジティブな感情のパターンと前記ネガティブな感情のパターンとのうちいずれかにあてはまるかを推定し、前記決定手段は、前記推定手段により推定された前記第1ユーザの感情のパターンに応じて、前記記憶手段に記憶されている複数の前記音声の態様のパターンのうち前記第2ユーザに向けて出力させる音声の態様のパターンを選択して決定する、請求項6に記載のロボットシステムである。
請求項9に記載された発明は、前記決定手段は、前記第2ユーザに向けて出力させる音声の態様のパターンとして、前記推定手段による前記第1ユーザの感情のパターンの推定の結果にかかわらずポジティブな感情のパターンを選択して決定する、請求項8に記載のロボットシステムである。
請求項10に記載された発明は、前記抽出手段は、前記第1ユーザの発話の音声のうち、予め定められた特徴量の音声の部分の前後の文脈の音声の部分をさらに抽出し、前記推定手段は、前記抽出手段により抽出された前記予め定められた特徴量の音声の部分の前後の文脈の音声の部分の特徴量をさらに考慮して、前記第1ユーザの感情のパターンを推定する、請求項6に記載のロボットシステムである。
請求項2に記載された発明は、前記決定手段は、前記第2ユーザに向けて出力する前記音声の態様として、前記第1ユーザの発話と内容を同一とし、前記感情のパターンに変化を加えた音声を決定する、請求項1に記載のロボットである。
請求項3に記載された発明は、前記第1ユーザのポジティブな感情とネガティブな感情との各々に対応する、複数の前記音声の態様のパターンを予め記憶する記憶手段をさらに備え、前記推定手段は、前記第1ユーザの感情のパターンの推定として、当該第1ユーザの感情のパターンが前記ポジティブな感情のパターンと前記ネガティブな感情のパターンとのうちいずれかにあてはまるかを推定し、前記決定手段は、前記推定手段により推定された前記第1ユーザの感情のパターンに応じて、前記記憶手段に記憶されている複数の前記音声の態様のパターンのうち前記第2ユーザに向けて出力する音声の態様のパターンを選択して決定する、請求項1に記載のロボットである。
請求項4に記載された発明は、前記決定手段は、前記第2ユーザに向けて出力する音声の態様のパターンとして、前記推定手段による前記第1ユーザの感情のパターンの推定の結果にかかわらずポジティブな感情のパターンを選択して決定する、請求項3に記載のロボットである。
請求項5に記載された発明は、前記抽出手段は、前記第1ユーザの発話の音声のうち、予め定められた特徴量の音声の部分の前後の文脈の音声の部分をさらに抽出し、前記推定手段は、前記抽出手段により抽出された前記予め定められた特徴量の音声の部分の前後の文脈の音声の部分の特徴量をさらに考慮して、前記第1ユーザの感情のパターンを推定する、請求項1に記載のロボットである。
請求項6に記載された発明は、第1ユーザの発話の音声に予め定められた特徴量の音声の部分が含まれることがロボットにより検知されると、当該音声の部分を抽出する抽出手段と、前記抽出手段により抽出された前記音声の部分の前記特徴量に基づいて、前記第1ユーザの感情のパターンを推定する推定手段と、前記推定手段により推定された前記感情のパターンに応じて、第2ユーザに向けて前記ロボットに出力させる音声の態様を決定する決定手段と、前記決定手段により決定された前記音声の態様の音声を前記ロボットに出力させる制御を行う出力制御手段とを備えるロボットシステムである。
請求項7に記載された発明は、前記決定手段は、前記第2ユーザに向けて出力させる前記音声の態様として、前記第1ユーザの発話と内容を同一とし、前記感情のパターンに変化を加えた音声を決定する、請求項6に記載のロボットシステムである。
請求項8に記載された発明は、前記第1ユーザのポジティブな感情とネガティブな感情との各々に対応する、複数の前記音声の態様のパターンを予め記憶する記憶手段をさらに備え、前記推定手段は、前記第1ユーザの感情のパターンの推定として、当該第1ユーザの感情のパターンが前記ポジティブな感情のパターンと前記ネガティブな感情のパターンとのうちいずれかにあてはまるかを推定し、前記決定手段は、前記推定手段により推定された前記第1ユーザの感情のパターンに応じて、前記記憶手段に記憶されている複数の前記音声の態様のパターンのうち前記第2ユーザに向けて出力させる音声の態様のパターンを選択して決定する、請求項6に記載のロボットシステムである。
請求項9に記載された発明は、前記決定手段は、前記第2ユーザに向けて出力させる音声の態様のパターンとして、前記推定手段による前記第1ユーザの感情のパターンの推定の結果にかかわらずポジティブな感情のパターンを選択して決定する、請求項8に記載のロボットシステムである。
請求項10に記載された発明は、前記抽出手段は、前記第1ユーザの発話の音声のうち、予め定められた特徴量の音声の部分の前後の文脈の音声の部分をさらに抽出し、前記推定手段は、前記抽出手段により抽出された前記予め定められた特徴量の音声の部分の前後の文脈の音声の部分の特徴量をさらに考慮して、前記第1ユーザの感情のパターンを推定する、請求項6に記載のロボットシステムである。
本発明によれば、従来の一方的な発話や、単純にユーザの発話に合わせた発話を行うロボットでは実現できない、子供に向けてロボットが発話する内容および特徴が、育児や子供の成長に寄与させることができるロボットを提供することができる。
〔育児支援ロボットシステムのハードウェア構成〕
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施の形態が適用される育児支援ロボットシステム1のハードウェア構成を示す図である。
育児支援ロボットシステム1は、サービス提供者から、ユーザUbの親であるユーザUaに対して提供される「育児支援ロボットサービス」(以下、「本サービス」と呼ぶ)を実現させるシステムである。本サービスを実現させる育児支援ロボットシステム1は、インターネット等のネットワーク90に接続された、育児支援ロボット10と、ユーザ端末50と、サーバ70とを有している。本サービスは、育児支援ロボット10を利用して育児を支援するサービスである。育児支援ロボット10は、ユーザUaの発話、およびユーザUaの子供であるユーザUbの発話の各々に、予め定められた特徴量を有する音声の部分である特定の音声が含まれることを検知する。すると、育児支援ロボット10は、これをトリガとして、特定の音声に込められた発話者(ユーザUaまたはユーザUb)の感情に応じた音声Vrを、ユーザUbに向けて出力する。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施の形態が適用される育児支援ロボットシステム1のハードウェア構成を示す図である。
育児支援ロボットシステム1は、サービス提供者から、ユーザUbの親であるユーザUaに対して提供される「育児支援ロボットサービス」(以下、「本サービス」と呼ぶ)を実現させるシステムである。本サービスを実現させる育児支援ロボットシステム1は、インターネット等のネットワーク90に接続された、育児支援ロボット10と、ユーザ端末50と、サーバ70とを有している。本サービスは、育児支援ロボット10を利用して育児を支援するサービスである。育児支援ロボット10は、ユーザUaの発話、およびユーザUaの子供であるユーザUbの発話の各々に、予め定められた特徴量を有する音声の部分である特定の音声が含まれることを検知する。すると、育児支援ロボット10は、これをトリガとして、特定の音声に込められた発話者(ユーザUaまたはユーザUb)の感情に応じた音声Vrを、ユーザUbに向けて出力する。
なお、本サービスを利用するユーザUaは、ユーザUbの親だけではなく、例えば祖父母、保育者など、ユーザUbを管理または教育する立場にある者がユーザUaである場合もある。また、この場合、ユーザUbは、ユーザUaの孫、被保育者など、ユーザUaに管理され、または教育される立場にある者となる。なお、ユーザUbは、いずれの場合にも、未就学児、小学生、中学生、または高校生が想定される。なお、本明細書では、ユーザUaとユーザUbとの各々を区別して説明する必要がない場合には、両者をまとめて「ユーザU」と記載する。
育児支援ロボット10は、ユーザUaからユーザUbに向けて発話された音声Va、およびユーザUbから発話された音声Vbのいずれかに特定の音声が含まれていることを検知すると、特定の音声の音声データを抽出する。育児支援ロボット10は、抽出した音声データの特徴量を解析することで、特定の音声に込められた感情のパターンを推定する。具体的には、育児支援ロボット10は、音声Vaの一部または全部に特定の音声が含まれていることを検知すると、特定の音声の特徴量を解析することで、ユーザUaが音声Vaを発話したときの感情のパターンを推定する。また、育児支援ロボット10は、音声Vbの一部または全部に特定の音声が含まれていることを検知すると、特定の音声の特徴量を解析することで、ユーザUbが音声Vbを発話したときの感情のパターンを推定する。
発話者の感情のパターンは、ポジティブな感情のパターンとネガティブな感情のパターンとに分類することができる。ポジティブな感情のパターンとしては、例えば「歓喜」、「平穏」、「幸福」、「関心」といったものが挙げられる。また、ネガティブな感情のパターンとしては、例えば「悲哀」、「怒り」、「恐怖」、「嫌悪」といったものが挙げられる。さらに、ポジティブな感情の場合とネガティブな感情の場合との両方がある「驚き」等が挙げられる。なお、感情のパターンは、これらに限定されない。
ここで、育児支援ロボット10による、特定の音声の抽出、および特定の音声の発話者の感情のパターンの推定は、どのような手法により実現されるかは特に限定されず、あらゆる手法を採用することができる。例えば、一般的に用いられている音声データの解析の手法を採用することができる。具体的には、例えば発話された音声のピッチ、基本周波数、音声波形周期性、声道の共鳴周波数、フォルマントの周波数帯域、声量、声質や声色、速度、波形ピークの出現頻度等について、AI(人工知能)が機械学習やディープラーニング等を行う手法を採用することができる。ここで、音声のデータの解析は、特定の音声のみを対象とするのではなく、特定の音声の前後の文脈部分の音声のデータも解析の対象となる。これは、同じ単語を同じように発話しても、その単語の前後の文脈を考慮すると意味合いが全く異なることがあるからである。
育児支援ロボット10は、特定の音声を発した者の感情のパターンを推定すると、その推定の結果に応じて、ユーザUbに向けて音声Vrを出力する際の態様(以下、「出力態様」と呼ぶ)を決定する。出力態様は、出力される音声Vrの内容と、音声Vrに込められる感情のパターンとを含むように構成される。出力態様は、データベースにおいて、予め定められた複数の特定の音声の各々に対応付けられて管理されている。具体的には、出力態様は、育児支援ロボット10のうち、後述する図2の記憶部13の一領域に設けられた特定音声DB41と、記憶部13と同様の機能を有するサーバ70の記憶部(図示せず)の一領域に設けられた特定音声DB81とに記憶されている。なお、データベースとして記憶されている出力態様のパターンの具体例については、図7を参照して後述する。
本サービスの具体例として、例えばユーザUaがユーザUbを強く叱りつけるように「早くしなさい!」という内容の音声Vaを発話したとする。この場合、育児支援ロボット10は、「早くしなさい!」という内容の音声Vaを、「早くしようね」といった優しい態様の音声Vrに変換してからユーザUbに向けて出力する。つまり、ユーザUaからユーザUbに向けた発話に込められた感情のパターンがネガティブなものである場合には、叱られることでユーザUbが心に受けるネガティブな影響を和らげて情緒を安定させるような音声Vrが、育児支援ロボット10から出力される。
また、例えばユーザUaが、「すごいね!」といったユーザUbを褒める内容の音声Vaを発話したとする。この場合、育児支援ロボット10は、「すごいね!」といったようにオウム返しとなる音声Vrを出力する。つまり、ユーザUaからユーザUbに向けた発話に込められた感情のパターンがポジティブなものである場合には、褒められることでユーザUbが心に受けるポジティブな影響を増幅させるような音声Vrが、育児支援ロボット10から出力される。
育児支援ロボット10から音声Vrが出力されると、ユーザUbがリアクションをとる場合がある。ユーザUbがリアクションとなる音声Vbを発話した場合には、リアクションの有無、およびリアクションとなる音声Vbのデータが、フィードバック情報として取得される。このフィードバック情報は、育児支援ロボット10から出力された音声Vrの出力態様の妥当性を事後的に検証するための情報になる。つまり、育児支援ロボット10から出力された音声Vrの出力態様が的確なものだったのか、あるいはまったく的外れのものだったのかを検証するための情報になる。このため、フィードバック情報は、例えばAI(人工知能)による機械学習の対象となる情報として活用できる。
具体的には、例えば育児支援ロボット10からユーザUbに向けて音声Vrが出力された直後に、ユーザUbが「何言ってるの?」であるとか「何それ?」といった懐疑的な態様の音声Vbを発話すると、その内容がフィードバック情報として取得される。このフィードバック情報は、育児支援ロボット10から出力された音声Vrの妥当性が低いことを示す情報となる。これに対して、例えば育児支援ロボット10からユーザUbに向けて音声Vrが出力された直後に、ユーザUbが「わかった」であるとか「ありがとう」といった肯定的な態様の音声Vbを発話すると、その内容がフィードバック情報として取得される。このフィードバック情報は、育児支援ロボット10から出力された音声Vrの妥当性が高いことを示す情報となる。
フィードバック情報は、データベースにおいて、予め定められた複数の特定の音声の各々に対応付けられて管理される。具体的には、フィードバック情報は、育児支援ロボット10のうち、後述する図2の記憶部13の一領域に設けられた特定音声DB41と、記憶部13と同様の機能を有するサーバ70の記憶部(図示せず)の一領域に設けられた特定音声DB81とに記憶されている。
上述したように、育児支援ロボット10は、特定音声DB41に記憶されているフィードバック情報を用いて、AI(人工知能)による機械学習を行うことができる。機械学習の結果は、出力態様を決定するための根拠情報として利用される。このように、フィードバック情報の取得、機械学習、出力形態の決定、音声Vrの出力、再びフィードバック情報の取得というルーティンを繰り返し行うことにより、育児支援ロボット10から出力される音声Vrの精度を高めていくことができる。なお、フィードバック情報を対象とする機械学習は、後述するサーバ70側で行う構成とすることもできる。ただし、育児支援ロボット10をスタンドアロン型のロボットとして機能させる場合には、育児支援ロボット10がフィードバック情報を対象とする機械学習を行う。
育児支援ロボット10は、ユーザUaの感情のパターンがポジティブなものであってもネガティブなものであっても、これにとらわれずに、ユーザUbに対してポジティブな態様の音声Vrを出力することができる。また、育児支援ロボット10は、ポジティブな態様の音声Vrを出力するだけではなく、そのときの状況に応じてネガティブな態様の音声Vrを出力する場合もある。具体的には、例えばユーザUaが感情を抑えてユーザUbを叱ると、育児支援ロボット10は、ユーザUbを少し強めに諭す内容の音声Vrを出力することができる。これにより、ユーザUaの態度の意味をユーザUbに悟らせることができる。また、例えばユーザUbから発話された音声Vbに、年長者に対して非礼となる内容が含まれている場合には、育児支援ロボット10がユーザUaに代わってユーザUbを注意する内容の音声Vrを出力することもできる。
上述したように、育児支援ロボット10は、基本的には特定の音声および前後の文脈の音声のデータを解析した結果に基づいて出力態様を決定する。そのとき、育児支援ロボット10は、ユーザUaおよびユーザUbのユーザ情報を考慮する。「ユーザ情報」とは、ユーザUaおよびユーザUbに関する情報のことをいう。ユーザ情報には、例えばユーザUaおよびユーザUbの各々の呼び名、住所(都道府県)、年齢、性別などパーソナルな情報が含まれる。
ユーザ情報は、ユーザ端末50に入力されることで取得される。また、ユーザUaおよびユーザUbが本サービス以外の他サービスにユーザ情報を別途登録している場合であって、本サービスと他サービスとの間にユーザUbのユーザ情報の融通に関する定めが設けられているような場合がある。このような場合には、ユーザUの承諾を条件として、他サービスにてユーザ情報として既に登録されている情報も、本サービスにおけるユーザ情報として取得される。具体的には、他サービスを運営するサーバなど図示しない外部のサーバからユーザ情報を取得する。育児支援ロボット10は、取得したユーザ情報を、後述する図2の記憶部13の一領域に設けられたユーザ情報DB42に記憶して管理する。
ここで、出力態様の決定に際してユーザ情報が考慮された場合の一例を説明する。例えば、ユーザ情報に、ユーザUbの呼び名が「〇〇ちゃん」、住所(都道府県)が「大阪府」、年齢が「5歳」、性別が「女」という情報が含まれていたとする。この場合、育児支援ロボット10は、出力態様の決定に際して、ユーザUbに向けて音声Vrを出力する際、「〇〇ちゃん」という呼び名、関西地方特有の言い回し、および未就学女児といった点を考慮する。このように出力態様の決定に際してユーザ情報が考慮されるので、育児支援ロボット10は、ユーザUbのパーソナルな情報を含む、より親近感のある音声Vrを出力することが可能となる。
また、育児支援ロボット10は、ユーザUaによる入力操作の結果、出力態様の一部についての指定が行われると、これを受け付ける。そして、受け付けた指定の内容を含む出力態様にて音声Vrを出力する。なお、ユーザUaが出力態様の「一部」を指定できることとしたのは以下の理由による。すなわち、育児支援ロボット10から出力される音声Vrの態様の「すべて」を予め指定できることとすると、ユーザUaおよびユーザUbの各々から発話された音声Vaおよび音声Vbの各々と、育児支援ロボット10から出力される音声Vrとの関連性が希薄になる。その結果、「ロボットが発話する内容および特徴が、育児や子供の成長に寄与させる」という本来の目的を達成できなくなる場合があるためである。出力態様の一部の指定としては、例えば出力態様のバリエーションの指定を可能にする「出力モード」の指定が挙げられる。なお、出力モードの詳細については、図8(B)を参照して後述する。
育児支援ロボット10は、図1に示すように、育児支援ロボットシステム1を構成するネットワーク型のロボットとして機能させることもできるが、通信環境の悪い場所では、一時的にスタンドアロン型のロボットとして機能させることもできる。また、当初から通信機能を有しないスタンドアロン型のロボットとして機能させることもできる。
育児支援ロボットシステム1を構成するユーザ端末50は、スマートフォン、タブレット、パーソナルコンピュータ等で構成される。ユーザ端末50は、親であるユーザUaにより所持され、またはユーザUaが生活する空間に配置されている。ユーザ端末50は、ユーザUaの入力操作を受け付ける。例えば、ユーザ端末50は、育児支援ロボット10の各種設定を行うための入力操作、および本サービスにユーザ情報を登録するための入力操作を受け付ける。なお、ここでいう「入力操作」には、ユーザ端末50の画面に表示されたユーザインターフェースへの手入力操作、マイク等への音声による入力操作、カメラ等へのジェスチャによる入力操作が含まれる。
ユーザ端末50がスマートフォン、タブレット、パーソナルコンピュータで構成される場合には、本サービスを利用可能にする専用のアプリケーションソフトウェア(以下、「専用アプリ」と呼ぶ)をユーザ端末50にインストールすることができる。また、専用アプリがインストールされない場合であっても、ユーザ端末50のブラウザ機能を用いて、本サービスを利用可能にする専用のウェブサイトにアクセスすることでも本サービスを利用することができる。
育児支援ロボットシステム1を構成するサーバ70は、システム全体を制御する情報処理装置であり、例えば専用アプリをユーザ端末50に提供する。また、サーバ70は、ユーザ端末50への入力操作による出力態様の一部の指定を受け付ける。また、サーバ70は、各種の情報をデータベースに記憶して管理する。具体的には、サーバ70は、育児支援ロボット10から取得したフィードバック情報を、後述する図2の記憶部13と同様の機能を有する記憶部(図示せず)の一領域に設けられた特定音声DB81に記憶して管理する。また、サーバ70は、ユーザ端末50等から取得したユーザ情報を、後述する図2の記憶部13と同様の機能を有する記憶部(図示せず)の一領域に設けられたユーザ情報DB82に記憶して管理する。また、サーバ70は、ユーザ情報DB82に記憶して管理しているユーザ情報の一部または全部を、必要に応じて育児支援ロボット10およびユーザ端末50に向けて送信する。
また、図1のように育児支援ロボット10をネットワーク型のロボットとして機能させる場合には、サーバ70が、特定音声DB81に記憶されているフィードバック情報を用いて、AI(人工知能)による機械学習を行うこともできる。機械学習の結果は、育児支援ロボット10が出力態様を決定するための根拠情報として利用される。このように、フィードバック情報を用いた機械学習は、サーバ70側で行う構成とすることもできるし、育児支援ロボット10側でも行う構成とすることもできる。
〔育児支援ロボットの構成〕
図2は、育児支援ロボット10のハードウェア構成を示す図である。
育児支援ロボット10は、コンピュータ装置を内蔵するいわゆるコミュニケーションロボットで構成される。育児支援ロボット10は、自機全体を制御するCPU(Central Processing Unit)である制御部11と、演算に際して作業エリアとして用いられるRAM(Random Access Memory)などのメモリ12と、プログラムや各種設定データなどの記憶に用いられるHDD(Hard Disk Drive)や半導体メモリ等の記憶装置である記憶部13とを有している。また、ネットワーク90を介してデータの送受信を行う通信部14を有している。また、ユーザUからの入力操作を受け付けるタッチパネルなどの操作部15と、ユーザUに対して画像やテキスト情報などを表示する液晶ディスプレイなどからなる表示部16と、表示部16を制御する表示制御部17とを有している。また、ユーザから発せられる音を録音するためのマイクなどからなる録音部18と、ユーザUに対して音声を出力するスピーカなどからなる音声出力部19とを有している。さらに、ユーザUのジェスチャの様子を撮像して静止画像または動画像の情報として取得するためのカメラなどからなる撮像部20を有している。
図2は、育児支援ロボット10のハードウェア構成を示す図である。
育児支援ロボット10は、コンピュータ装置を内蔵するいわゆるコミュニケーションロボットで構成される。育児支援ロボット10は、自機全体を制御するCPU(Central Processing Unit)である制御部11と、演算に際して作業エリアとして用いられるRAM(Random Access Memory)などのメモリ12と、プログラムや各種設定データなどの記憶に用いられるHDD(Hard Disk Drive)や半導体メモリ等の記憶装置である記憶部13とを有している。また、ネットワーク90を介してデータの送受信を行う通信部14を有している。また、ユーザUからの入力操作を受け付けるタッチパネルなどの操作部15と、ユーザUに対して画像やテキスト情報などを表示する液晶ディスプレイなどからなる表示部16と、表示部16を制御する表示制御部17とを有している。また、ユーザから発せられる音を録音するためのマイクなどからなる録音部18と、ユーザUに対して音声を出力するスピーカなどからなる音声出力部19とを有している。さらに、ユーザUのジェスチャの様子を撮像して静止画像または動画像の情報として取得するためのカメラなどからなる撮像部20を有している。
なお、育児支援ロボットシステム1を構成するユーザ端末50のハードウェア構成は、図2に示す育児支援ロボット10のハードウェア構成と同様の構成を備えている。また、育児支援ロボットシステム1を構成するサーバ70のハードウェア構成は、録音部18、音声出力部19、および撮像部20を除いて図2に示す育児支援ロボット10のハードウェア構成と同様の構成を備えている。このため、ユーザ端末50およびサーバ70のハードウェア構成の説明は省略する。
図3は、育児支援ロボット10の機能構成を示す図である。
育児支援ロボット10は、ユーザUにより発話された音声のデータを取得する音声取得部31と、取得された音声のデータから特定の音声のデータを抽出する特定音声抽出部32とを有する。また、育児支援ロボット10は、音声を発話したユーザUaおよびユーザUbの各々の感情のパターンを推定する感情パターン推定部33と、出力態様のパターンを記憶する出力態様記憶部34とを有する。また、育児支援ロボット10は、ユーザ情報を取得するユーザ情報取得部35と、ユーザ情報を記憶するユーザ情報記憶部36と、出力態様の一部の指定を受け付ける出力態様受付部37とを有する。また、育児支援ロボット10は、出力態様を決定する出力態様決定部38と、特定の音声のデータを変換する変換部39と、音声の出力の制御を行う出力制御部40とを有する。
育児支援ロボット10は、ユーザUにより発話された音声のデータを取得する音声取得部31と、取得された音声のデータから特定の音声のデータを抽出する特定音声抽出部32とを有する。また、育児支援ロボット10は、音声を発話したユーザUaおよびユーザUbの各々の感情のパターンを推定する感情パターン推定部33と、出力態様のパターンを記憶する出力態様記憶部34とを有する。また、育児支援ロボット10は、ユーザ情報を取得するユーザ情報取得部35と、ユーザ情報を記憶するユーザ情報記憶部36と、出力態様の一部の指定を受け付ける出力態様受付部37とを有する。また、育児支援ロボット10は、出力態様を決定する出力態様決定部38と、特定の音声のデータを変換する変換部39と、音声の出力の制御を行う出力制御部40とを有する。
ユーザUaから発話された音声Vaと、ユーザUbから発話された音声Vbとのうち少なくとも一方の音声が入力されると、上述した図2の録音部18によりその音声が録音される。音声取得部31は、録音部18により録音された音声Vaおよび音声Vbの各々の情報を取得する。
特定音声抽出部32は、ユーザUaおよびユーザUbの各々の発話の音声Vaおよび音声Vbの各々に、予め定められた特徴量の音声の部分が含まれることを検知して、これを特定の音声として抽出する。また、特定音声抽出部32は、特定の音声の部分の前後の文脈の音声の部分を抽出する。
感情パターン推定部33は、特定音声抽出部32により抽出された特定の音声の特徴量に基づいて、特定の音声を発話したユーザUの感情のパターンを推定する。具体的には、例えば感情パターン推定部33は、特定の音声を発話したユーザUの感情のパターンの推定として、ポジティブな感情のパターンとネガティブな感情のパターンとのうちいずれかにあてはまるかを推定する。また、感情パターン推定部33は、特定音声抽出部32により抽出された特定の音声の前後の文脈の音声の部分の特徴量を考慮して、ユーザUaおよびユーザUbの各々の感情のパターンを推定することもできる。
出力態様記憶部34は、特定の音声を一部または全部に含む、音声Vaまたは音声Vbを発話したユーザUの、ポジティブな感情とネガティブな感情との各々に対応する音声の態様のパターンを、出力態様のパターンとして記憶している。具体的には、出力態様記憶部34は、複数の出力態様のパターンを、特定の音声に対応付けて特定音声DB41に記憶させる。
ユーザ情報取得部35は、ユーザUa及びユーザUbの各々のユーザ情報を取得する。具体的には、ユーザ情報取得部35は、入力操作にて入力されたユーザUa及びユーザUbの各々のユーザ情報を取得する。また、ユーザ情報取得部35は、ユーザUa及びユーザUbの各々の本サービスの利用実績を、ユーザ情報として取得する。また、ユーザ情報取得部35は、他サービスにてユーザUa及びユーザUbの各々のユーザ情報として既に登録されている情報のうち、ユーザUの承諾が得られた情報を、本サービスにおけるユーザUa及びユーザUbの各々のユーザ情報として取得する。
ユーザ情報記憶部36は、ユーザ情報取得部35により取得されたユーザUa及びユーザUbの各々のユーザ情報を、ユーザ情報DB42に記憶して管理する。具体的には、ユーザ情報記憶部36は、ユーザUaおよびユーザUbの各々を一意に特定可能にする識別情報に、ユーザUaおよびユーザUbの各々のユーザ情報を対応付けて、その識別情報をキーとしていつでも抽出可能な態様で管理する。
出力態様受付部37は、出力態様の一部についての指定を受け付ける。具体的には、出力態様受付部37は、出力態様の一部を指定するための入力操作が行われると、その指定を受け付ける。この入力操作としては、ユーザ端末50の画面に表示されたユーザインターフェースへの手入力操作、マイク等への音声による入力操作、カメラ等へのジェスチャによる入力操作等が挙げられる。
出力態様決定部38は、感情パターン推定部33により推定された、特定の音声を発話したユーザUの感情のパターンに応じて、ユーザUbに向けて出力する音声Vrの出力態様を決定する。具体的には、例えば出力態様決定部38は、出力態様の決定として、ユーザUaの発話と内容を同一とし、感情のパターンを変換した音声Vrを決定する。また、例えば出力態様決定部38は、感情パターン推定部33により推定された感情のパターンに応じて、出力態様記憶部34に記憶されている複数の音声Vrの出力態様のパターンのうちユーザUbに向けて出力する音声Vrの出力態様のパターンを選択して決定する。
また、出力態様決定部38は、ユーザUbに向けて出力する音声Vrの出力態様のパターンとして、感情パターン推定部33による感情のパターンの推定の結果にかかわらず、ポジティブな感情のパターンを選択して決定してもよい。また、出力態様決定部38は、例えば予め定められた選択基準や、AI(人工知能)がユーザUによる本サービスの利用実績を学習した結果に基づいて、出力態様を決定してもよい。また、ユーザUaの入力操作により、既に出力態様の一部が決定されている場合には、出力態様決定部38は、出力態様の決定に際してその決定内容を反映させる。
変換部39は、特定音声抽出部32により抽出された特定の音声の出力態様を適宜変換する。具体的には、変換部39は、抽出された特定の音声の出力態様を、出力態様決定部38により決定された出力態様に変換する。具体的には、例えば出力態様決定部38による決定の結果が、出力態様受付部37により受け付けられた一部の指定内容に従ったものである場合には、変換部39は、育児支援ロボット10から音声Vrが出力される際の出力態様を、出力態様受付部37により指定された出力態様に変換する。
なお、変換部39による特定の音声の変換が具体的にどのような手法により行われるかは特に限定されず、例えば一般的に利用されている音声編集の手法を用いた加工が行われてもよい。この場合、変換部39は、例えば波形編集、ノイズ除去、ボリューム調整、周波数調整、音圧調整、ブレス除去、ピッチ調整、イントネーション調整、音色調整等の手法により、特定の音声の変換を行う。
出力制御部40は、出力態様決定部38により決定された出力態様の音声Vrを出力する制御を行う。具体的には、出力制御部40は、出力態様決定部38により決定された出力態様になるように適宜変換された音声Vrを、図2の音声出力部19に出力させる制御を行う。なお、出力制御部40が音声Vrを出力するタイミングは特に限定されない。例えば、特定の音声の情報が抽出されると、直ちに出力態様の決定と変換とが行われて、音声出力部19から出力されるようにしてもよい。また、例えば特定の音声の情報が抽出された後、予め設定された時間が経過する間に出力態様の決定と変換とが行われて、音声出力部19から出力されるようにしてもよい。この場合、「予め設定された時間」はユーザUが任意に設定できるものとし、例えば「1秒後」、「3秒後」といったように設定できるようにしてもよい。
〔サーバの構成〕
図4は、サーバ70の機能構成を示す図である。
サーバ70は、ユーザ情報を取得するユーザ情報取得部71と、ユーザ情報を記憶するユーザ情報記憶部72と、ユーザ情報の一部または全部を育児支援ロボット10に送信する制御を行うユーザ情報送信制御部73とを有している。また、サーバ70は、出力態様の一部を指定する入力操作を受け付ける出力態様受付部74と、出力態様の一部を決定する出力態様決定部75とを有している。また、その決定内容を育児支援ロボット10に送信する制御を行う出力態様送信制御部76を有している。
図4は、サーバ70の機能構成を示す図である。
サーバ70は、ユーザ情報を取得するユーザ情報取得部71と、ユーザ情報を記憶するユーザ情報記憶部72と、ユーザ情報の一部または全部を育児支援ロボット10に送信する制御を行うユーザ情報送信制御部73とを有している。また、サーバ70は、出力態様の一部を指定する入力操作を受け付ける出力態様受付部74と、出力態様の一部を決定する出力態様決定部75とを有している。また、その決定内容を育児支援ロボット10に送信する制御を行う出力態様送信制御部76を有している。
ユーザ情報取得部71は、ユーザUaの入力操作にて入力されたユーザUaおよびユーザUbの各々のユーザ情報を取得する。また、ユーザ情報取得部71は、ユーザUaおよびユーザUbの各々による本サービスの利用実績を、ユーザUaおよびユーザUbのユーザ情報として取得する。また、ユーザ情報取得部71は、他サービスにてユーザUaおよびユーザUbの各々のユーザ情報として既に登録されている情報のうち、ユーザUの承諾が得られた情報を、本サービスにおけるユーザUaおよびユーザUbの各々のユーザ情報として取得する。
ユーザ情報記憶部72は、ユーザ情報取得部71により取得されたユーザUaおよびユーザUbの各々のユーザ情報を、ユーザ情報DB82に記憶して管理する。具体的には、ユーザ情報記憶部72は、ユーザUaおよびユーザUbの各々を一意に特定可能にする識別情報にユーザ情報を対応付けて、その識別情報をキーとしていつでも抽出可能な態様で管理する。
ユーザ情報送信制御部73は、ユーザ情報DB82に記憶されているユーザ情報の一部または全部を、育児支援ロボット10に送信する制御を行う。なお、サーバ70から育児支援ロボット10に対するユーザ情報の送信の有無、および送信するユーザ情報の項目は、ユーザUaの入力操作により任意に設定することができる。
出力態様受付部74は、出力態様の一部の指定を受け付ける。具体的には、出力態様受付部74は、出力態様の一部を指定するための入力操作が行われると、その指定を受け付ける。この入力操作は、ユーザ端末50のユーザインターフェースへの手入力操作、マイク等への音声による入力操作、カメラ等へのジェスチャによる入力操作等が挙げられる。「出力態様の一部の指定」としては、例えば出力態様のバリエーションの指定を可能にする「出力モード」の指定が挙げられる。なお、出力モードの詳細については、図8(B)を参照して後述する。
出力態様決定部75は、出力態様受付部74により出力態様の一部についての指定が受け付けられた場合には、その指定に従った決定を行う。また、出力態様決定部75は、例えば予め定められた基準や、AI(人工知能)を利用した機械学習の結果に基づいて、出力態様の一部を決定してもよい。出力態様送信制御部76は、出力態様決定部75によって出力態様の一部が決定されると、その決定された内容を育児支援ロボット10に送信する制御を行う。
〔育児支援ロボットの処理〕
次に、育児支援ロボット10の処理について、図5を用いて説明する。
図5は、育児支援ロボット10の処理の流れを示すフローチャートである。
ユーザUaの入力操作によってユーザUaおよびユーザUbの各々のユーザ情報が入力されると(ステップ101でYES)、ユーザ情報取得部35は、ユーザUaの入力操作にて入力されたユーザ情報を取得する(ステップ102)。ユーザ情報取得部35により取得されたユーザ情報は、ユーザ情報記憶部36によりユーザ情報DB42に記憶されて管理される。これに対して、ユーザ情報が入力されていない場合には(ステップ101でNO)、ステップ103の判断に進む。
次に、育児支援ロボット10の処理について、図5を用いて説明する。
図5は、育児支援ロボット10の処理の流れを示すフローチャートである。
ユーザUaの入力操作によってユーザUaおよびユーザUbの各々のユーザ情報が入力されると(ステップ101でYES)、ユーザ情報取得部35は、ユーザUaの入力操作にて入力されたユーザ情報を取得する(ステップ102)。ユーザ情報取得部35により取得されたユーザ情報は、ユーザ情報記憶部36によりユーザ情報DB42に記憶されて管理される。これに対して、ユーザ情報が入力されていない場合には(ステップ101でNO)、ステップ103の判断に進む。
ユーザUaの入力操作によって出力態様の一部が指定されると(ステップ103でYES)、出力態様受付部37がその指定を受け付けて、出力態様決定部38がその指定に従って出力態様の一部を決定する(ステップ104)。これに対して、出力態様の一部が指定されていない場合には(ステップ103でNO)、ステップ105の判断に進む。
ユーザUaから発話された音声Vaと、ユーザUbから発話された音声Vbとのうち少なくとも一方の音声が入力されると(ステップ105でYES)、その音声を録音部18が録音して、音声取得部31が、録音部18により録音された音声Vaおよび音声Vbの各々の情報を取得する(ステップ106)。これに対して、ユーザUaから発話された音声Vaと、ユーザUbから発話された音声Vbとのうち少なくとも一方の音声が入力されていない場合には(ステップ105でNO)、ユーザUaから発話された音声Vaと、ユーザUbから発話された音声Vbとのうち少なくとも一方の音声が入力されるまでステップ105の判断が繰り返される。
特定音声抽出部32は、ユーザUaおよびユーザUbの各々の発話の音声Vaおよび音声Vbの各々に、予め定められた特徴量の音声の部分が含まれることを検知して、これを特定の音声として抽出する(ステップ107)。感情パターン推定部33は、ステップ107で特定音声抽出部32により抽出された特定の音声の特徴量に基づいて、特定の音声を発話したユーザUの感情のパターンを推定する(ステップ108)。
出力態様決定部38は、ステップ108で感情パターン推定部33により推定された、特定の音声を発話したユーザUの感情のパターンに応じて、ユーザUbに向けて出力する音声Vrの出力態様を決定する(ステップ109)。ここで、出力態様受付部37により出力態様の一部の指定が受け付けられた場合には、その指定に従った決定が行われる。
変換部39は、抽出された特定の音声の出力態様を、出力態様決定部38により決定された出力態様に変換する(ステップ110)。ここで、ステップ109における出力態様決定部38の決定の結果が、出力態様受付部37により受け付けられた一部の指定内容に従ったものである場合、変換部39は、出力態様受付部37により一部の指定が受け付けられた出力態様に変換する。また、例えば出力態様決定部38の決定の結果が、出力態様の決定に際してユーザ情報を考慮する旨の設定に従ったものである場合には、変換部39は、出力態様を、ユーザ情報が考慮された出力態様に変換する。出力制御部40は、出力態様決定部38により決定された出力態様の音声Vrを出力する制御を行う(ステップ111)。これにより処理が終了する。
〔サーバの処理〕
次に、サーバ70の処理について、図6を用いて説明する。
図6は、サーバ70の処理の流れを示すフローチャートである。
ユーザUaの入力操作によってユーザUaおよびユーザUbのユーザ情報が入力されると(ステップ701でYES)、ユーザ情報取得部71は、ユーザUaの入力操作にて入力されたユーザUaおよびユーザUbのユーザ情報を取得する(ステップ702)。ユーザ情報取得部71により取得されたユーザUaおよびユーザUbのユーザ情報は、ユーザ情報記憶部72によりユーザ情報DB82に記憶されて管理される。ユーザ情報送信制御部73は、ユーザ情報DB82に記憶されているユーザUaおよびユーザUbのユーザ情報の一部または全部を育児支援ロボット10に送信する制御を行う(ステップ703)。これに対して、ユーザUaおよびユーザUbのユーザ情報が入力されていない場合には(ステップ701でNO)、ステップ704の判断に進む。
次に、サーバ70の処理について、図6を用いて説明する。
図6は、サーバ70の処理の流れを示すフローチャートである。
ユーザUaの入力操作によってユーザUaおよびユーザUbのユーザ情報が入力されると(ステップ701でYES)、ユーザ情報取得部71は、ユーザUaの入力操作にて入力されたユーザUaおよびユーザUbのユーザ情報を取得する(ステップ702)。ユーザ情報取得部71により取得されたユーザUaおよびユーザUbのユーザ情報は、ユーザ情報記憶部72によりユーザ情報DB82に記憶されて管理される。ユーザ情報送信制御部73は、ユーザ情報DB82に記憶されているユーザUaおよびユーザUbのユーザ情報の一部または全部を育児支援ロボット10に送信する制御を行う(ステップ703)。これに対して、ユーザUaおよびユーザUbのユーザ情報が入力されていない場合には(ステップ701でNO)、ステップ704の判断に進む。
ユーザUaの入力操作によって出力態様の一部が指定されると(ステップ704でYES)、出力態様受付部74がその指定を受け付けて、出力態様決定部75がその指定に従って出力態様の一部を決定する(ステップ705)。出力態様の一部が決定されると、出力態様送信制御部76は、その決定内容を育児支援ロボット10に送信する制御を行う(ステップ706)。これに対して、出力態様の一部が指定されていない場合には(ステップ704でNO)、出力態様の一部が決定されることなく処理は終了する。
以上の構成を有する育児支援ロボットシステム1によれば、育児支援ロボット10が、あるときは子であるユーザUbの心をケアする存在となり、またあるときは親であるユーザUaをサポートする存在となる。すなわち、育児支援ロボット10は、ユーザUaおよびユーザUbの家族の一員として、ユーザUaと一緒に育児を支援することが可能となる。
〔具体例〕
次に、本サービスの具体例について、図7及び図8を用いて説明する。
図7は、データベースに記憶されている、感情のパターンと、特定音声の内容と、出力態様との対応関係の具体例を示す図である。
次に、本サービスの具体例について、図7及び図8を用いて説明する。
図7は、データベースに記憶されている、感情のパターンと、特定音声の内容と、出力態様との対応関係の具体例を示す図である。
図7に示す情報は、特定音声DB41および特定音声DB81に記憶されている情報の一部である。なお、上述したように、特定音声DB41および特定音声DB81にはフィードバック情報が記憶されているが、図7には、具体例を説明するための情報として、感情のパターンと、特定音声の内容と、出力態様との対応関係のみが示されている。
図7に示すように、発話者(ユーザUaおよびユーザUb)の感情のパターンには、「ポジティブ」な感情を示すものと「ネガティブ」な感情を示すものとがある。このうち、「ポジティブ」な感情を示すものには、「歓喜」の感情を示すもの、「平穏」の感情を示すもの、その他図示はしないが、「幸福」、「関心」等の感情を示すものがある。そして、「歓喜」を示すものに対応する特定の音声の内容として、例えば「すごい!」、「えらい!」といったものがあり、各々に対応する育児支援ロボット10の出力態様として、「すごい!」、「えらい!」といったものがある。また、「平穏」を示すものに対応する特定の音声の内容として、例えば「いい?」、「わかった?」といったものがあり、各々に対応する育児支援ロボット10の出力態様として、「よく聞いてね」、「よくわかったよね」といったものがある。
また、「ネガティブ」な感情を示すものには、「悲哀」の感情を示すもの、「怒り」の感情を示すもの、その他図示はしないが、「恐怖」、「嫌悪」等の感情を示すものがある。そして、「悲哀」を示すものに対応する特定の音声の内容として、例えば「ひどい!」、「(泣き声)」といったものがあり、各々に対応する育児支援ロボット10の出力態様として、「どうしたの?」、「泣かないで」といったものがある。また、「怒り」を示すものに対応する特定の音声の内容として、例えば「こら!」、「だめ!」といったものがあり、各々に対応する育児支援ロボット10の出力態様として、「それはいけないね」、「だめだよ」といったものがある。
ここで、例えばユーザUaが、ユーザUbを絶賛するように、「歓喜」の感情を込めて「すごい!」という音声Vaを発話したとする。すると、育児支援ロボット10は、ユーザUbに向けて、「すごい!」という音声Vrを、「歓喜」の感情を表す出力態様で出力する。また、例えばユーザUaが、ユーザUbを褒めるように、「歓喜」の感情を込めて「えらい!」という音声Vaを発話したとする。すると、育児支援ロボット10は、ユーザUbに向けて、「えらい!」という音声Vrを、「歓喜」の感情を表す出力態様で出力する。
また、例えばユーザUaが、ユーザUbに傾聴を促すように、「平穏」の感情を込めて「いい?」という音声Vaを発話したとする。すると、育児支援ロボット10は、ユーザUbに向けて、「よく聞いてね」という音声Vrを、「平穏」の感情を表す出力態様で出力する。また、例えばユーザUaが、ユーザUbを諭すように、「平穏」の感情を込めて「わかった?」という音声Vaを発話したとする。すると、育児支援ロボット10は、ユーザUbに向けて、「よくわかったよね」という音声Vrを、「平穏」の感情を表す出力態様で出力する。
また、例えばユーザUbが、ユーザUaに向かって、「悲哀」の感情を込めて「ひどい!」という音声Vbを発話したとする。すると、育児支援ロボット10は、ユーザUbに向けて、「どうしたの?」という音声Vrを、「平穏」の感情を表す出力態様で出力する。また、例えばユーザUbが、特定の言葉ではなく、「悲哀」の感情を込めて、泣き声を示す音声Vbを発話(嗚咽)したとする。すると、育児支援ロボット10は、ユーザUbに向けて、「泣かないで」という音声Vrを、「平穏」の感情を表す出力態様で出力する。
また、例えばユーザUaが、ユーザUbを強く叱るように、「怒り」の感情を込めて「こら!」という音声Vaを発話したとする。すると、育児支援ロボット10は、ユーザUbに向けて、「それはいけないね」という音声Vrを、「平穏」の感情を表す出力態様で出力する。また、例えばユーザUaが、ユーザUbを強く注意するように、「怒り」の感情を込めて「だめ!」という音声Vaを発話したとする。すると、育児支援ロボット10は、ユーザUbに向けて、「だめだよ」という音声Vrを、「平穏」の感情を表す出力態様で出力する。
図8(A)は、図1の育児支援ロボットシステムが適用されるタイミングの具体例を示す図である。
育児支援ロボットシステム1が適用されるタイミングとしては、例えば図8(A)に示すように、子供であるユーザUbが何かに成功したタイミング、ユーザUbが何かに失敗したタイミング、ユーザUbが泣いているタイミングなどが挙げられる。このうち、ユーザUbが何かに成功したタイミングで、母親であるユーザUaがユーザUbを褒めると、育児支援ロボット10は、これに便乗するようにユーザUbを褒める内容の音声Vrを出力する。これにより、褒められることでユーザUbが心に受けるポジティブな影響を増幅させることができる。
育児支援ロボットシステム1が適用されるタイミングとしては、例えば図8(A)に示すように、子供であるユーザUbが何かに成功したタイミング、ユーザUbが何かに失敗したタイミング、ユーザUbが泣いているタイミングなどが挙げられる。このうち、ユーザUbが何かに成功したタイミングで、母親であるユーザUaがユーザUbを褒めると、育児支援ロボット10は、これに便乗するようにユーザUbを褒める内容の音声Vrを出力する。これにより、褒められることでユーザUbが心に受けるポジティブな影響を増幅させることができる。
また、ユーザUbが何かに失敗したタイミングで、母親であるユーザUaがユーザUbを強く叱ると、育児支援ロボット10は、これに便乗するのではなく、ユーザUbを慰める内容の音声Vrを出力する。これにより、叱られることでユーザUbが心に受けるネガティブな影響を和らげて、情緒の安定を図ることができる。また、ユーザUbが何かに失敗したタイミングで、母親であるユーザUaが感情を抑えてユーザUbを叱ると、育児支援ロボット10は、ユーザUbを少し強めに諭す内容の音声Vrを出力することもできる。これにより、ユーザUaの態度の意味をユーザUbに悟らせることができる。このように、ユーザUaと育児支援ロボット10とが相反する感情を表すようにすることで、緊張と緩和とのコンビネーションによる効果的な育児が可能となる。
また、ユーザUbが何かを理由に泣いていると、育児支援ロボット10は、無条件でユーザUbを慰める内容の音声Vrを出力する。これにより、育児支援ロボット10は、ユーザUaおよびユーザUbの家族の一員として心の支えになることができる。なお、図8(A)に示されている各タイミングは一例に過ぎない。子供であるユーザUbが日々の生活をするうえで、周囲の誰かがユーザUbに手を差し伸べるべきあらゆるタイミングで育児支援ロボットシステム1が適用される。
図8(B)は、育児支援ロボットから出力される音声の態様のバリエーションの具体例を示す図である。
上述したように、育児支援ロボット10は、ユーザUaおよびユーザUbの各々から発話された音声Vaおよび音声Vbの各々に込められた感情に応じて、ユーザUaによるユーザUbの育児を支援するための音声VrをユーザUbに向けて出力する。このとき、育児支援ロボット10から出力される音声Vrの出力態様として、様々なバリエーションのものが想定される。出力態様のバリエーションは、例えば図8(B)に示すように、出力態様毎に名前を付した「出力モード」として、ユーザUaの入力操作により予め選択できるようにしてもよい。出力モードには、「ソフト」、「ハード」、「祖父」、「祖母」、「先生」、「近所のおばさん」、「好きなキャラクター」といったものがある。出力モードは、ユーザUaが選択可能な態様で、ユーザ端末50に表示される。
上述したように、育児支援ロボット10は、ユーザUaおよびユーザUbの各々から発話された音声Vaおよび音声Vbの各々に込められた感情に応じて、ユーザUaによるユーザUbの育児を支援するための音声VrをユーザUbに向けて出力する。このとき、育児支援ロボット10から出力される音声Vrの出力態様として、様々なバリエーションのものが想定される。出力態様のバリエーションは、例えば図8(B)に示すように、出力態様毎に名前を付した「出力モード」として、ユーザUaの入力操作により予め選択できるようにしてもよい。出力モードには、「ソフト」、「ハード」、「祖父」、「祖母」、「先生」、「近所のおばさん」、「好きなキャラクター」といったものがある。出力モードは、ユーザUaが選択可能な態様で、ユーザ端末50に表示される。
図8(B)に示す出力モードのうち、「ソフト」が選択されると、通常よりも柔らかい態様で音声Vrが出力される。例えば上述した図7の例では、ユーザUaが「すごい!」と発話すると、これに便乗するように育児支援ロボット10が「すごい!」という音声Vrを出力するが、「ソフト」が予め選択されていると、「すばらしいね!」といった音声Vrを出力する。また、図8(B)に示す出力モードのうち、「ハード」が選択されると、通常よりも硬い態様で音声Vrが出力される。例えば上述した図7の例では、ユーザUaが「いい?」と発話すると、育児支援ロボット10は「よく聞いてね」という音声Vrを出力するが、「ハード」が予め選択されていると、「よく聞いてください」といった音声Vrを出力する。
また、図8(B)に示す出力モードのうち、「祖父」が選択されると、一般的な祖父が発話しそうな態様で音声Vrが出力される。例えば上述した図7の例では、ユーザUaが「えらい!」と発話すると、これに便乗するように育児支援ロボット10が「えらい!」という音声Vrを出力するが、「祖父」が予め選択されていると、「大したもんだ!」といった音声Vrを出力する。なお、図8(B)に示す出力モードのうち、「祖母」、「先生」、「近所のおばさん」が選択された場合も同様に、一般的な祖母、先生、近所のおばさんの各々が発話しそうな態様で音声Vrが出力される。
また、図8(B)に示す出力モードのうち、「好きなキャラクター」が選択されると、ユーザUbが気に入っているアニメや漫画のキャラクターが発話しそうな態様で音声Vrが出力される。この場合、対象となる声優の音声を別途収録したものを利用する。例えば上述した図7の例では、ユーザUbが泣いていると、育児支援ロボット10は、ユーザUbが気に入っているキャラクターの声で、「泣かないで」という音声Vrを出力する。これにより、ユーザUbの心をケアする効果が高まることが期待できる。なお、ユーザUaは、「好きなキャラクター」を選択する場合、ユーザ端末50にユーザ情報を入力する際に、ユーザUbが気に入っている1以上のキャラクターを予め指定しておく。
以上、本実施の形態について説明したが、本発明は上述した本実施の形態に限るものではない。また、本発明による効果も、上述した本実施の形態に記載されたものに限定されない。例えば、ユーザUaおよびUbには、未だ本サービスの利用を開始していない者であって、本サービスの利用を希望する者も含まれるものとする。
また、例えば上述の実施の形態では、ユーザUaによる入力操作の態様として、手入力操作、音声による入力操作、ジェスチャによる入力操作を挙げているが、これらの入力操作に限定されず、ユーザUaの意思を入力可能なあらゆる入力操作を採用することができる。また、上述した本実施の形態では、ユーザUが出力態様のすべてについては予め指定することができない構成としているが、ユーザUが出力態様のすべてを予め指定することができる構成とすることもできる。
また、上述の実施の形態では、育児支援ロボット10から音声Vrが出力される際の出態様を構成する要素として「内容」と「感情のパターン」とが挙げられているが、これら以外にも、例えば音声Vrを出力するタイミング(間)や、出力される際のボリューム、速度等が含まれていてもよい。
また、上述の実施の形態では、ユーザUaが育児支援ロボット10の各種設定を行うための入力操作を、ユーザ端末50にインストールされた専用アプリを利用して行っているが、これに限定されない。例えば育児支援ロボット10に直接入力できるようにしてもよい。
また、上述の実施の形態では、ユーザUaから発話された音声Vaの特徴量をなるべく維持した変換がなされる構成となっているが、AI(人工知能)をさらに活用することにより、ユーザUaから発話された音声Vaの特徴量を大幅に変更する変換を行うこともできる。具体的には、ユーザUbのユーザ情報としてユーザUbのスケジュールが管理されるようにして、より詳細な情報を含む音声Vrが育児支援ロボット10から出力されるようにしてもよい。この場合、例えばユーザUaからユーザUbに向けて「早くしなさい!」という音声Vaが発話された場合には、育児支援ロボット10が、「8時までに家を出るから7時50分までに着替えを済まそうね」といった詳細な情報を含む音声Vrに変換して出力してもよい。
1…育児支援ロボットシステム、10…育児支援ロボット、31…音声取得部、32…特定音声抽出部、33…感情パターン推定部、34…出力態様記憶部、35…ユーザ情報取得部、36…ユーザ情報記憶部、37…出力態様受付部、38…出力態様決定部、39…変換部、40…出力制御部、50…ユーザ端末、70…サーバ、71…ユーザ情報取得部、72…ユーザ情報記憶部、73…ユーザ情報送信制御部、74…出力態様受付部、75…出力態様決定部、76…出力態様送信制御部、90…ネットワーク
Claims (10)
- 第1ユーザの発話の音声に予め定められた特徴量の音声の部分が含まれることを検知して、当該音声の部分を抽出する抽出手段と、
前記抽出手段により抽出された前記音声の部分の前記特徴量に基づいて、前記第1ユーザの感情のパターンを推定する推定手段と、
前記推定手段により推定された前記感情のパターンに応じて、第2ユーザに向けて出力する音声の態様を決定する決定手段と、
を備えるロボット。 - 前記決定手段は、前記第2ユーザに向けて出力する前記音声の態様として、前記第1ユーザの発話と内容を同一とし、前記感情のパターンに変化を加えた音声を決定する、
請求項1に記載のロボット。 - 前記第1ユーザのポジティブな感情とネガティブな感情との各々に対応する、複数の前記音声の態様のパターンを予め記憶する記憶手段をさらに備え、
前記推定手段は、前記第1ユーザの感情のパターンの推定として、当該第1ユーザの感情のパターンが前記ポジティブな感情のパターンと前記ネガティブな感情のパターンとのうちいずれかにあてはまるかを推定し、
前記決定手段は、前記推定手段により推定された前記第1ユーザの感情のパターンに応じて、前記記憶手段に記憶されている複数の前記音声の態様のパターンのうち前記第2ユーザに向けて出力する音声の態様のパターンを選択して決定する、
請求項1に記載のロボット。 - 前記決定手段は、前記第2ユーザに向けて出力する音声の態様のパターンとして、前記推定手段による前記第1ユーザの感情のパターンの推定の結果にかかわらずポジティブな感情のパターンを選択して決定する、
請求項3に記載のロボット。 - 前記抽出手段は、前記第1ユーザの発話の音声のうち、予め定められた特徴量の音声の部分の前後の文脈の音声の部分をさらに抽出し、
前記推定手段は、前記抽出手段により抽出された前記予め定められた特徴量の音声の部分の前後の文脈の音声の部分の特徴量をさらに考慮して、前記第1ユーザの感情のパターンを推定する、
請求項1に記載のロボット。 - 第1ユーザの発話の音声に予め定められた特徴量の音声の部分が含まれることがロボットにより検知されると、当該音声の部分を抽出する抽出手段と、
前記抽出手段により抽出された前記音声の部分の前記特徴量に基づいて、前記第1ユーザの感情のパターンを推定する推定手段と、
前記推定手段により推定された前記感情のパターンに応じて、第2ユーザに向けて前記ロボットに出力させる音声の態様を決定する決定手段と、
前記決定手段により決定された前記音声の態様の音声を前記ロボットに出力させる制御を行う出力制御手段と、
を備えるロボットシステム。 - 前記決定手段は、前記第2ユーザに向けて出力させる前記音声の態様として、前記第1ユーザの発話と内容を同一とし、前記感情のパターンに変化を加えた音声を決定する、
請求項6に記載のロボットシステム。 - 前記第1ユーザのポジティブな感情とネガティブな感情との各々に対応する、複数の前記音声の態様のパターンを予め記憶する記憶手段をさらに備え、
前記推定手段は、前記第1ユーザの感情のパターンの推定として、当該第1ユーザの感情のパターンが前記ポジティブな感情のパターンと前記ネガティブな感情のパターンとのうちいずれかにあてはまるかを推定し、
前記決定手段は、前記推定手段により推定された前記第1ユーザの感情のパターンに応じて、前記記憶手段に記憶されている複数の前記音声の態様のパターンのうち前記第2ユーザに向けて出力させる音声の態様のパターンを選択して決定する、
請求項6に記載のロボットシステム。 - 前記決定手段は、前記第2ユーザに向けて出力させる音声の態様のパターンとして、前記推定手段による前記第1ユーザの感情のパターンの推定の結果にかかわらずポジティブな感情のパターンを選択して決定する、
請求項8に記載のロボットシステム。 - 前記抽出手段は、前記第1ユーザの発話の音声のうち、予め定められた特徴量の音声の部分の前後の文脈の音声の部分をさらに抽出し、
前記推定手段は、前記抽出手段により抽出された前記予め定められた特徴量の音声の部分の前後の文脈の音声の部分の特徴量をさらに考慮して、前記第1ユーザの感情のパターンを推定する、
請求項6に記載のロボットシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021074873A JP2022169071A (ja) | 2021-04-27 | 2021-04-27 | ロボット、およびロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021074873A JP2022169071A (ja) | 2021-04-27 | 2021-04-27 | ロボット、およびロボットシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022169071A true JP2022169071A (ja) | 2022-11-09 |
Family
ID=83943938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021074873A Pending JP2022169071A (ja) | 2021-04-27 | 2021-04-27 | ロボット、およびロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022169071A (ja) |
-
2021
- 2021-04-27 JP JP2021074873A patent/JP2022169071A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240054117A1 (en) | Artificial intelligence platform with improved conversational ability and personality development | |
KR102582291B1 (ko) | 감정 정보 기반의 음성 합성 방법 및 장치 | |
KR102420564B1 (ko) | 정보 제공 방법 및 디바이스 | |
JP6704525B2 (ja) | ユーザによって録音された音声の生成および再生を容易にすること | |
US9053096B2 (en) | Language translation based on speaker-related information | |
Alonso-Martín et al. | Integration of a voice recognition system in a social robot | |
JP5731998B2 (ja) | 対話支援装置、対話支援方法および対話支援プログラム | |
Neustein | Advances in speech recognition: mobile environments, call centers and clinics | |
Goodman et al. | Toward user-driven sound recognizer personalization with people who are d/deaf or hard of hearing | |
US11425072B2 (en) | Inline responses to video or voice messages | |
JP2017219845A (ja) | 発話促進装置及び発話促進プログラム | |
JP5589426B2 (ja) | コンテンツ提供システム、コンテンツ提供方法、およびコンテンツ提供プログラム | |
US11749270B2 (en) | Output apparatus, output method and non-transitory computer-readable recording medium | |
KR20210067426A (ko) | 음성 일기 장치 | |
JP2022169071A (ja) | ロボット、およびロボットシステム | |
JP2021113835A (ja) | 音声処理装置および音声処理方法 | |
JP2023534799A (ja) | 会話ベースの精神障害選別方法及びその装置 | |
JP6516805B2 (ja) | 決定装置、決定方法、及び決定プログラム | |
WO2019146199A1 (ja) | 情報処理装置、及び情報処理方法 | |
JP6383748B2 (ja) | 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム | |
Tong | Speech to text with emoji | |
JP7142403B1 (ja) | 会話処理プログラム、会話処理システムおよび会話型ロボット | |
US11521715B2 (en) | System and method for promoting, tracking, and assessing mental wellness | |
KR102388465B1 (ko) | 가상 콘텐츠 생성 방법 | |
JPWO2017200075A1 (ja) | 対話方法、対話システム、対話シナリオ生成方法、対話シナリオ生成装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231121 |