JP2016215292A - ロボット動作生成装置およびプログラム - Google Patents

ロボット動作生成装置およびプログラム Download PDF

Info

Publication number
JP2016215292A
JP2016215292A JP2015100333A JP2015100333A JP2016215292A JP 2016215292 A JP2016215292 A JP 2016215292A JP 2015100333 A JP2015100333 A JP 2015100333A JP 2015100333 A JP2015100333 A JP 2015100333A JP 2016215292 A JP2016215292 A JP 2016215292A
Authority
JP
Japan
Prior art keywords
robot
robot motion
user
emotion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015100333A
Other languages
English (en)
Other versions
JP6562711B2 (ja
Inventor
伸也 高山
Shinya Takayama
伸也 高山
茂之 酒澤
Shigeyuki Sakasawa
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2015100333A priority Critical patent/JP6562711B2/ja
Publication of JP2016215292A publication Critical patent/JP2016215292A/ja
Application granted granted Critical
Publication of JP6562711B2 publication Critical patent/JP6562711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】ユーザの感情、ユーザの興味、ユーザの過去の発言内容等の利用環境に応じて、適応的にロボット動作を生成する。
【解決手段】本発明は、入力された環境情報40からロボット10に動作を与える情報を生成するロボット動作生成装置1であって、前記環境情報40から解析されたユーザの感情50または関心度60の動的特徴量に基づいて時間的ロボット動作データ70−1を生成する時間的ロボット動作生成部30−2と、前記環境情報から解析されたユーザの感情50または関心度60の静的特徴量に基づいて空間的ロボット動作データ70−2を生成する空間的ロボット動作生成部30−3と、を備える。
【選択図】図2

Description

本発明は、入力された環境情報からロボットに動作を与える情報を生成するロボット動作生成装置およびプログラムに関する。
従来から、適応的にロボット動作を制御する技術が知られている。特許文献1では、対象物をカメラで認識し、ロボットの動作を適応的に制御して、衝突を回避する技術が開示されている。
また、特許文献2では、対話を通じて理解したユーザの行動に基づいて人間に対して返答する言動の強制度合いを判定し、判定された強制度合に応じたロボット動作によって情報を伝達するコミュニケーションロボットシステムに関する技術が開示されている。
また、特許文献3では、カメラによりユーザの感情状態を検知し、インタラクションの内容を更新するインタラクションシステムに関する技術が開示されている。
また、特許文献4では、行動履歴等のユーザ属性に基づいてロボットを制御するネットワークロボットサービスシステムに関する技術が開示されている。
特開2009−039852号公報 特開2010−110862号公報 特開2013−063489号公報 特開2005−111637号公報
しかしながら、特許文献1では、物理的に認識可能な対象物に対して適応的なロボット制御をするが、ユーザの感情、興味、経験等の物理センサでは認識困難な環境においては、適応できないといった課題がある。
また、特許文献2では、対話を通じて理解したユーザの行動に基づいて人間に対して返答する言動の強制度合いを判定し、判定された強制度合いに応じたロボット動作を生成して、情報を伝達させるが、ロボットに対する発話が必須である、高圧的な動作が頻発してユーザがうんざりする、決定された強制度合いがユーザの遭遇している状況と合わずユーザが混乱する、等といった課題がある。
また、特許文献3では、検知された感情状態に応じてインタラクションの内容は更新されるが、動作のスピードや駆動範囲等のロボット制御には反映できない。
また、特許文献4では、行動履歴に基づいてロボットを制御するが、行動単位でしか制御できないため、時事刻々と変わるユーザの感情や興味には対応できない。
本発明は、このような事情に鑑みてなされたものであり、ユーザの感情、ユーザの興味、ユーザの過去の発言内容等の利用環境に応じて、適応的にロボット動作データを生成するロボット動作生成装置およびプログラムを提供することを目的とする。
(1)上記目的を達成するために、本発明のロボット動作生成装置は、以下のような手段を講じた。すなわち、入力された環境情報からロボットに動作を与える情報を生成するロボット動作生成装置であって、前記環境情報から解析されたユーザの感情または関心度の動的特徴量に基づいて時間的ロボット動作データを生成する時間的ロボット動作生成部と、前記環境情報から解析されたユーザの感情または関心度の静的特徴量に基づいて空間的ロボット動作データを生成する空間的ロボット動作生成部と、を備えることを特徴とする。
このように、環境情報から解析されたユーザの感情または関心度の動的特徴量に基づいて時間的ロボット動作データを生成し、環境情報から解析されたユーザの感情または関心度の静的特徴量に基づいて空間的ロボット動作データを生成するので、ユーザの感情および感情の強度を反映したロボット動作データを生成することが可能となる。
(2)また、本発明のロボット動作生成装置は、前記環境情報を取得する環境入力部を備えることを特徴とする。このように、ロボット動作生成装置は、環境情報を取得するので、ユーザに関する情報を取得し、ロボット動作データに反映することが可能となる。
(3)また、本発明のロボット動作生成装置は、前記環境情報からユーザの感情を特徴づける情報を抽出する環境抽出部を備えることを特徴とする。
このように、ロボット動作生成装置は、環境情報からユーザの感情を特徴づける情報を抽出するので、時々刻々と変化するユーザの嗜好や興味等に関する情報を取得することが可能となる。
(4)また、本発明のロボット動作生成装置は、前記環境情報を用いて、ユーザの感情および関心度を解析する環境解析部を備えることを特徴とする。
このように、ロボット動作生成装置は、環境情報を用いて、ユーザの感情および関心度を解析するので、ロボット動作のスピードや駆動範囲に変化をつけることが可能となる。その結果、例えば、小刻みに動かしたり、ゆっくり動かしたり、大きく動かしたり、小さく動かしたり、ユーザの利用環境に応じたロボット動作データを生成することが可能となる。
(5)また、本発明のロボット動作生成装置は、前記生成された時間的ロボット動作データまたは前記生成された空間的ロボット動作データを出力するロボット動作再生部を備えることを特徴とする。
このように、ロボット動作生成装置は、生成された時間的ロボット動作データまたは生成された空間的ロボット動作データを出力するので、時々刻々と変化するユーザの嗜好、感情または関心度をロボットで表現することが可能となる。
(6)また、本発明のロボット動作生成装置は、前記生成された時間的ロボット動作データまたは前記生成された空間的ロボット動作データから映像データを生成する映像生成部を備えることを特徴とする。
このように、ロボット動作生成装置は、生成された時間的ロボット動作データまたは生成された空間的ロボット動作データから映像データを生成するので、時々刻々と変化するユーザの嗜好、感情または関心度を、3D等の映像で表現することが可能となる。
(7)また、本発明のロボット動作生成装置は、いずれかの部位が可動であるロボット本体と、前記部位を動かす駆動部とを有するロボットを更に備え、前記時間的ロボット動作データおよび前記空間的ロボット動作データに基づいて、前記駆動部を動作させることを特徴とする。
このように、ロボット動作生成装置は、いずれかの部位が可動であるロボット本体と、部位を動かす駆動部とを有し、時間的ロボット動作データおよび空間的ロボット動作データに基づいて、駆動部を動作させるので、ユーザの利用環境に応じたロボット動作を提供することが可能となる。例えば、生成されたロボット動作データに基づいて、ロボットが座ったり、手を振ったりすることができる他、ユーザの感情や関心度の度合いにより、小刻みに動かしたり、ゆっくり動かしたり、大きく動かしたり、小さく動かしたり、ユーザの利用環境に応じた動作を行なうこともできる。さらに、顔や腕等の部位を空気圧で膨らませたりする等、表現を豊かにすることもできる。
(8)また、本発明のロボット動作生成装置において、前記環境情報は、テキストデータに変換可能であることを特徴とする。
このように、環境情報は、テキストデータに変換可能であるので、物理センサだけでなく、ソーシャルメディアを利用したソーシャルセンサ等からも環境情報を取得することができ、物理センサだけでは認識困難な利用環境にも適応したロボット動作データを生成することが可能となる。
(9)また、本発明のプログラムは、入力された環境情報からロボットに動作を与える情報を生成するプログラムであって、前記環境情報から解析されたユーザの感情または関心度の動的特徴量に基づいて時間的ロボット動作データを生成する処理と、前記環境情報から解析されたユーザの感情または関心度の静的特徴量に基づいて空間的ロボット動作データを生成する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする。
このように、環境情報から解析されたユーザの感情または関心度の動的特徴量に基づいて時間的ロボット動作データを生成し、環境情報から解析されたユーザの感情または関心度の静的特徴量に基づいて空間的ロボット動作データを生成するので、ユーザの感情および感情の強度を反映したロボット動作データを生成することが可能となる。
本発明によれば、ユーザから入力された環境情報、ソーシャルメディア等から取得した環境情報を用いることにより、物理センサでは認識困難な利用環境においても、ユーザの感情、ユーザの興味、ユーザの過去の発言内容等の利用環境に応じて、適応的にロボット動作を生成することができるようになる。さらに、ユーザの感情や関心度を解析したデータに基づいて、ロボット動作を生成することにより、ユーザの嗜好や刻々と変わるユーザの興味等を、動作のスピードや駆動範囲に反映し、よりユーザの感情や関心度に近い動作を表現することができる。
本実施形態に係るロボット動作生成装置の構成を示した構成図である。 本実施形態に係るロボット動作生成装置の機能を示すブロック図である。 本実施形態に係るロボット動作生成装置の動作を示すフローチャートである。 ユーザの感情データの解析手順を示したブロック図である。 ユーザの関心度の解析手順を示したブロック図である。 ロボットの動作の一例を示す図である。 映像で示された動作の一例を示す図である。
本発明者らは、時々刻々と変化するユーザの嗜好や興味のような物理センサでは認識が困難である環境では、ユーザの感情や関心度等の利用環境に応じたロボット動作ができない点に着目し、物理センサ等のユーザから入力された環境情報の他、ソーシャルセンサ等からも環境情報を取得することにより、物理センサでは認識困難な利用環境においても、ユーザの感情、ユーザの興味、ユーザの過去の発言内容等の利用環境に応じて、適応的にロボット動作を生成することができ、さらに、ユーザの感情や関心度を解析したデータに基づいて、ロボット動作を生成することにより、ユーザの嗜好や刻々と変わるユーザの興味等を、動作のスピードや駆動範囲に反映し、よりユーザの感情や関心度に近い動作を表現することができることを見出し、本発明をするに至った。
すなわち、本発明のロボット動作生成装置は、前記環境情報から解析されたユーザの感情または関心度の動的特徴量に基づいて時間的ロボット動作データを生成する時間的ロボット動作生成部と、前記環境情報から解析されたユーザの感情または関心度の静的特徴量に基づいて空間的ロボット動作データを生成する空間的ロボット動作生成部と、を備えることを特徴とする。
これにより、本発明者らは、ユーザの感情および感情の強度を反映したロボット動作データを生成することを可能とした。以下、本発明の実施形態について、図面を参照しながら具体的に説明する。
図1は、本実施形態に係るロボット動作生成装置1の構成を示した構成図である。ロボット動作生成装置1は、ロボット10、環境情報抽出サーバ20、およびPC(Personal Computer)30から構成されている。本実施形態では、ロボット10を人型のロボットとして構成した。すなわち、ロボット10は、いずれかの部位(手、足、首等)が可動であり、ロボット10が内蔵する駆動部の駆動力を受けていずれかの部位を動かすことができる。本発明は、人型のロボットに限定されるわけではなく、動物やキャラクタの形を採っても良い。
まず、ユーザがロボットに装着された入力センサ15に対して、環境情報40を入力する。もしくは、環境情報抽出サーバ20において、過去の入力履歴やWEBサイトから環境情報40を抽出する。なお、入力センサ15は、キーボード、マイク、IC受信センサ、無線受信センサ等、いずれの入力センサであっても良く、これらに限定されない。また、図1において、環境情報抽出サーバ20はPC30に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、環境情報抽出サーバ20はロボット10に内蔵されていても良い。
PC30は、ロボット10および環境情報抽出サーバ20と接続されている。PC30は、入力または抽出された環境情報における感情データおよび関心度を解析する。また、PC30は、解析された感情データまたは関心度に含まれるユーザの感情または関心度の動的特徴量に基づいて、時間的ロボット動作データを生成する。さらに、PC30は、解析された感情データまたは関心度に含まれるユーザの感情または関心度の静的特徴量に基づいて、空間的ロボット動作データを生成する。そして、PC30は、生成された時間的ロボット動作データまたは空間的ロボット動作データを、ロボット10に送信する。なお、図1において、PC30がロボット10に接続されているが、本発明の思想は、これに限定されるわけではなく、PC30はロボット10に内蔵されていても良い。
図2は、本実施形態に係るロボット動作生成装置1の機能を示すブロック図である。ロボット動作生成装置1は、入力センサ15、ロボット10、環境情報抽出サーバ20およびPC30から構成される。ロボット10には、環境入力部10−1およびロボット再生部10−2を備える。環境入力部10−1は、ユーザが入力センサ15に入力した環境情報40を取得する。ロボット再生部10−2は、PC30で生成されたロボットの動作データ(時間的ロボットデータ70−1、空間的ロボットデータ70−2または映像データ70−3)を取得し、出力する。ロボット再生部10−2は、ロボット10の可動な部位を駆動する駆動部10−3を備えている。この駆動部10−3は、ロボット10の可動な部位(目、口、手、指、脚等)を動作させるためのアクチュエータやモータ等を備える。
環境情報抽出サーバ20は、環境入力部10−1で取得した環境情報40を過去の入力履歴として記憶し、または、RSS(RDF Site Summary)等を利用し、ユーザの属性、入力の種類、発話内容、WEBサイトのURL、書き込み内容、入力日時等の情報を収集する。環境情報抽出サーバ20は、さらに、環境抽出部20−1を備える。環境抽出部20−1は、過去の入力履歴またはWEBサイトから環境情報40を抽出する。
PC30は、環境解析部30−1、時間的ロボット動作生成部30−2および空間的ロボット動作生成部30−3を備える。環境解析部30−1は、環境入力部10−1で取得した、または環境抽出部20−1で抽出した環境情報40を用いて、ユーザの感情データ50または関心度60を解析する。時間的ロボット動作生成部30−2は、環境解析部30−1で解析された感情データ50または関心度60に含まれる感情または関心度の動的特徴量に基づいて、時間的ロボット動作データ70−1を生成する。空間的ロボット動作生成部30−3は、環境解析部30−1で解析された感情データ50または関心度60に含まれる感情または関心度の静的特徴量に基づいて、空間的ロボット動作データ70−2を生成する。時間的ロボット動作生成部30−2および空間的ロボット動作生成部30−3で生成された時間的ロボット動作データ70−1および空間的ロボット動作データ70−2をロボット再生部10−2へ送信する。PC30は、更に、映像生成部30−4を備えていても良い。映像生成部30−4は、時間的ロボット動作生成部30−2および空間的ロボット動作生成部30−3で生成された時間的ロボット動作データ70−1および空間的ロボット動作データ70−2を用いて、映像データ70−3を生成し、生成した映像データ70−3をロボット再生部10−2へ送信する。
図3は、本実施形態に係るロボット動作生成装置の動作を示すフローチャートである。まず、ユーザがロボットに装着された入力センサに対して、環境情報を入力する(ステップS1)。ここで、入力された環境情報は、環境入力部へ送信される。環境入力部が取得した環境情報は、環境抽出部および環境解析部へ送信される。環境抽出部では、環境入力部から取得した環境情報を、入力履歴情報として記憶する。
次に、環境情報抽出サーバにおいて、環境抽出部は、ステップS1で取得した環境情報に基づいて、環境情報を特徴づける単語群を抽出する(ステップS2)。環境情報抽出サーバでは、予めRSS(RDF Site Summary)等を利用し、ユーザの属性、入力の種類、発話内容、WEBサイトのURL、書き込み内容、入力日時等の情報を収集しておく。ここで、TFIDF(Term Frequency Inverse Document Frequency)等を用いて入力された環境情報を特徴づける単語を収集した情報またはWEBサイト上から検索することで、環境情報に関連する単語群を抽出する。なお、入力された環境情報に関連する単語群は、ユーザの属性、発話内容、WEBサイトのURL、書き込み内容等をコンテンツプロバイダやSNSが提供する検索API等を用いて検索することで、抽出することができる。また、発話内容や書き込み内容から環境情報を特徴づける単語を、TFIDF等を用いて取り出し、検索に利用しても良い。このとき、TF(Term Frequency)は、当該ユーザにおける発話内容や書き込み内容の各単語の出現頻度、DF(Document Frequency)には、全ユーザにおける発話内容や書き込み内容の各単語の出現頻度等を設定する。
次に、PCにおいて、環境解析部は、ステップS1で取得した環境情報またはステップS2で抽出した環境情報を特徴づける単語群に基づいて、ユーザの感情データを解析する(ステップS3)。以下にユーザの感情データの解析手順について、説明する。
ここでは、入力された環境情報または抽出された環境情報を特徴づける単語群が単語列の場合を説明するが、本発明の技術的思想は、単語に限定されるわけではなく、句であっても文であっても良い。
図4は、ユーザの感情データの解析手順を示したブロック図である。本実施形態では、感情分類および分類された各感情の強度から構成される感情語データベースを使用する。感情語データベースは、日本語辞書等の大量の単語データベースに存在する全ての単語に対して、感情分類「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」の9つがどのくらいの割合で存在するかを規定し、分類された各感情の強度を0〜1の範囲で0.1刻みに10段階で指定して、予め形成されている。また、入力されるニュースデータが句または文である場合は、単語の場合と同様に、句または文全体における感情分類および分類された各感情の強度から構成される感情句データベースまたは感情文データベースを使用すれば良い。
ここで、「喜び」の強度をS、「悲しみ」の強度をS、「怒り」の強度をS、「嫌悪」の強度をS、「恐怖」の強度をS、「罪」の強度をS、「恥」の強度をS、「興味」の強度をS、「驚き」の強度をSとし、式(1)で表わす。
Figure 2016215292
そして、入力された環境情報40または抽出された環境情報40を特徴づける単語群と、一致または類似する単語を、感情語データベースの中から検索し、その単語における感情分類と強度を抽出し、感情データ50を生成する。すなわち、環境情報40における感情分類は、式(2)のように、9次元ベクトルで示される。
Figure 2016215292
ここでNは、入力された環境情報40または抽出された環境情報40を特徴づける単語群のIDを示している。
また、入力された環境情報40または抽出された環境情報40を特徴づける単語群における全体強度Wは、式(3)で表わされる。
Figure 2016215292
次に、PCにおいて、環境解析部は、ステップS1で入力された環境情報または抽出された環境情報を特徴づける単語群に基づいて、ユーザの関心度を解析する(ステップS4)。以下にユーザの関心度の解析手順について、説明する。
図5は、ユーザの関心度の解析手順を示したブロック図である。環境解析部30−1は、主観指標抽出部および関心度算出部を備える。主観指標抽出部は、文体抽出部および盛り上がり抽出部を備える。
文体抽出部は、入力された環境情報40または抽出された環境情報40を特徴づける単語群を文体に基づいて複数に分類する。文体の判別は、文末に着目し、語尾の活用形(命令形、仮定形、未然形等)を利用することで判別することができる。形態素解析器を用いて文章を解析し、文末の形容詞、形容動詞、動詞等の活用形を抽出する。活用形の種類数nに対し、各活用形の出現の有無をw・・・wで表現する。
例えば、w:命令形、w:仮定形、・・・、とし、文体が命令形の場合、w=1、w・・・w=0とする。
(文体の例)
・ わぁ、誰得な仕様はやめろよ
・ ほしいけど、もうちょっと安かったらなぁ
・ こんな誰得携帯は買わない
各文末の語尾の活用形は、「やめろよ」(命令形)、「安かったらなぁ」(仮定形)、「買わない」(未然形)、となる。
また、盛り上がり抽出部は、入力される環境情報または抽出される環境情報を特徴づける単語群から盛り上がりを表わす表現を抽出する。盛り上がりを表わす表現は、文字の連続性に着目することにより抽出する。
例えば、同一形態素が連続して出現する、または同一の文字が3文字以上出現することを検出する。各発話や書き込みにおいて、連続する形態素数または文字数の最大値を、ユーザの盛り上がり度eとする。
(盛り上がり表現の例)
・ うぉーーーーー!欲しい!
・ おいおいおい誰得だよ
各盛り上がり度eは、5モーラ(e=5)、「おい」3回(e=6)、となる。
関心度算出部は、入力された環境情報または抽出された環境情報を特徴づける単語群から抽出された主観指標に基づいて、ユーザの関心度P(N)を算出する。関心度P(N)は、入力された環境情報または抽出された環境情報を特徴付ける単語群から抽出した(ア)文体の特徴w+w+・・・+w、(イ)盛り上がり度e、を用いて、例えば、線型結合の計算式(4)で算出することができる。
Figure 2016215292
また、関心度算出部は、評価指標重み付け部を含んでも良い。この場合、環境情報の特徴、具体的には(A)ユーザの嗜好、(B)環境情報の種類、(C)入力日時に基づいて、主観指標に重み付けをすることで、関心度P(N)を算出する。ここで、各重み係数β、β、βは、入力される環境情報または抽出される環境情報を特徴付ける単語群を文体に対する、(a)ユーザの嗜好による重み、(b)環境情報の種類による重み、(c)入力日時による重み、となる。同様に、γは盛り上がり度に対する重みとなる。
Figure 2016215292
例えば、ユーザの嗜好がスポーツの場合、共感を促す環境情報が入力される傾向が高いため、盛り上がり度の重みγを大きく設定すると有効である。一方、ユーザの嗜好が政治・経済の場合、冷静な環境情報が入力される傾向が高くなることから、γの値は小さくなる。また、朝に入力される環境情報は、日中に入力される環境情報に比べ、穏やかな環境情報が入力される可能性が高いことから、命令形の文体を排除するようβの重みを設定する、といった関心度P(N)の算出方法が有効である。
次に、PCにおいて、時間的ロボット動作生成部は、ステップS3で解析された感情データまたはステップS4で解析された関心度、に含まれるユーザの感情または関心度の動的特徴量に基づいて、時間的ロボット動作を生成する(ステップS5)。
本実施形態では、まず、ロボット動作データベースを用意する。なお、ここでいうロボット動作データベースは、ロボットのすべての部位が任意の時刻において、何れかの空間位置座標に存在するか、が記憶されている。ロボット動作データベースに記憶されているすべてのロボット動作における無感情のロボット動作データから各感情分類のロボット動作データへの変換を予め定義する。
ステップS3で解析された感情データの分散Vは、式(6)で表わされる。
Figure 2016215292
また、感情分類iに対し、動的特徴量Δは、式(7)で表わされる。
Figure 2016215292
ステップS4で解析された関心度の分散Vは、式(8)で表わされる。
Figure 2016215292
また、感情分類iに対し、動的特徴量Δは、次式(9)で表わされる。
Figure 2016215292
以上の式で算出した動的特徴量Δに応じて、ロボット動作データを変換することにより、時間的ロボット動作を生成する。本実施形態では、一例として、主成分分析を用いて時間的ロボット動作を生成するが、本発明の技術的思想は、主成分分析に限定されるわけではなく、非線形状態空間写像や機械学習等、別の方法を用いて、時間的ロボット動作を生成しても良い。
ここで、ロボット動作データベースに記憶された全ての無感情のロボット動作データおよび各感情分類のロボット動作データベースを学習し、線形回帰手法により、無感情のロボット動作データから各感情分類のロボット動作データに変換するためのパラメータを算出する。すなわち、予め用意されたロボット動作をm(m=1,2,・・・)とすると、無感情のロボット動作データ第j主成分座標の微分値k(m)を用いて、式(10)により、線形回帰演算を行ない、変換パラメータa 、b を算出する。
Figure 2016215292
ただし、q (m)は、ロボット動作mにおける各感情のロボット動作データの第j主成分座標の微分値を示す。
次に、算出された変換パラメータa 、b を用いて、ロボット動作mを変換し、時間的ロボット動作データを生成する。すなわち、生成する時間的ロボット動作データhの第j主成分座標の微分値p(h)は、式(11)で表わされる。
Figure 2016215292
そして、時間的ロボット動作データhの第j主成分の座標は、その初期座標をCとすると、(12)で表わされる。
Figure 2016215292
これにより、例えば、続々と入力される環境情報が段階的に暗くなる場合は、式(12)の変位が小さくなるため、徐々にスピードが遅くなる沈静化させたロボット動作を、時間的ロボット動作データとして生成することが可能となる。
次に、PCにおいて、空間的ロボット動作生成部は、ステップS3で解析された感情データまたはステップS4で解析された関心度に含まれるユーザの感情または関心度の静的特徴量に基づいて、空間的ロボット動作を生成する(ステップS6)。静的特徴量Eは、式(13)で表わされる。
Figure 2016215292
また、ステップS3で解析された感情データの分散Vが閾値を下回った感情分類iに対し、静的特徴量Eに、ステップS4で解析された関心度の分散Vが閾値を下回った場合は、全ての感情分類iに対し、静的特徴量Eは、式(14)で表わされる。
Figure 2016215292
式(14)のEに応じて、ロボット動作データを変換することで、空間的ロボット動作を生成する。すなわち、式(12)で算出されたロボット動作データの第j主成分座標を静的特徴量Eで線形結合する形で、空間的ロボット動作データを生成する。
これにより、例えば、ユーザの嗜好がスポーツの場合、スポーツに関する情報を伝達する際に、式(13)の値が大きくなるため、駆動範囲が広がり、共感を呼ぶようなダイナミックなロボット動作を空間的ロボット動作データとして生成することができる。一方、ユーザの嗜好がスポーツでない場合は、式(13)が小さくなるため、駆動範囲が狭まり、興味を示さない控えめなロボット動作を空間的ロボット動作データとして生成することができる。
感情データまたは関心度に動的特徴量と静的特徴量が同時に含まれる場合は、ステップS5で生成された時間的ロボット動作データに対して、ステップS6で生成された空間的ロボット動作データを生成しても良いし、ステップS6で生成された空間的ロボット動作データに対して、ステップS5で生成された時間的ロボット動作データを生成しても良い。
最後に、ロボットにおいて、ロボット再生部は、ステップS5で生成された時間的ロボット動作データ、またはステップS6で生成された空間的ロボット動作データを再生する(ステップS7)。各時間的ロボット動作データまたは空間的ロボット動作データに記憶されている、任意の時刻において、ロボットの各部位が何れかの空間位置座標に存在するかに関する情報に基づいて、ロボットに搭載されている駆動部を制御して、目、口、手、指、脚等を動作させる。
図6(a)〜(c)は、ロボットの動作の一例を示す図である。図6(a)は、ロボットが立ち上がった状態のイメージ図である。図6(b)は、ロボットが座った状態のイメージ図である。図6(c)は、ロボットが手を振っているイメージ図である。生成された時間的ロボット動作データおよび空間的ロボット動作データを用いることによって、立ち上がる、座る、手を振る等の動作に加え、例えば、手を大きく振る等のユーザの感情および関心度を動作に反映させることができる。
図7(a)〜(c)は、映像で示された動作の一例を示す図である。図7(a)は、3D等で表現されたキャラクタが立ち上がった状態のイメージ図である。図7(b)は、3D等で表現されたキャラクタが座った状態のイメージ図である。図7(c)は、3D等で表現されたキャラクタが手を振っているイメージ図である。ロボットの動作と同様、生成された時間的ロボット動作データおよび空間的ロボット動作データを用いることによって、立ち上がる、座る、手を振る等の動作に加え、例えば、手を大きく振る等のユーザの感情および関心度を示す動作を反映させ、映像として表示することもできる。
以上説明したように、本実施形態によれば、ユーザから入力された環境情報、ソーシャルメディア等から取得した環境情報を用いることにより、物理センサでは認識困難な利用環境においても、ユーザの感情、ユーザの興味、ユーザの過去の発言内容等の利用環境に応じて、適応的にロボット動作を生成することができるようになる。さらに、ユーザの感情や関心度を解析したデータに基づいて、ロボット動作を生成することにより、ユーザの嗜好や刻々と変わるユーザの興味等を、動作のスピードや駆動範囲に反映し、よりユーザの感情や関心度に近い動作を表現することができる。
1 ロボット動作生成装置
10 ロボット
10−1 環境入力部
10−2 ロボット再生部
10−3 駆動部
15 入力センサ
20 環境情報抽出サーバ
20−1 環境抽出部
30 PC
30−1 環境解析部
30−2 時間的ロボット動作生成部
30−3 空間的ロボット動作生成部
30−4 映像生成部
40 環境情報
50 感情データ
60 関心度
70−1 時間的ロボット動作データ
70−2 空間的ロボット動作データ
70−3 映像データ

Claims (9)

  1. 入力された環境情報からロボットに動作を与える情報を生成するロボット動作生成装置であって、
    前記環境情報から解析されたユーザの感情または関心度の動的特徴量に基づいて時間的ロボット動作データを生成する時間的ロボット動作生成部と、
    前記環境情報から解析されたユーザの感情または関心度の静的特徴量に基づいて空間的ロボット動作データを生成する空間的ロボット動作生成部と、を備えることを特徴とするロボット動作生成装置。
  2. 前記環境情報を取得する環境入力部を備えることを特徴とする請求項1記載のロボット動作生成装置。
  3. 前記環境情報からユーザの感情を特徴づける情報を抽出する環境抽出部を備えることを特徴とする請求項1または請求項2記載のロボット動作生成装置。
  4. 前記環境情報を用いて、ユーザの感情および関心度を解析する環境解析部を備えることを特徴とする請求項1から請求項3のいずれかに記載のロボット動作生成装置。
  5. 前記生成された時間的ロボット動作データまたは前記生成された空間的ロボット動作データを出力するロボット動作再生部を備えることを特徴とする請求項1から請求項4のいずれかに記載のロボット動作生成装置。
  6. 前記生成された時間的ロボット動作データまたは前記生成された空間的ロボット動作データから映像データを生成する映像生成部を備えることを特徴とする請求項1から請求項5のいずれかに記載のロボット動作生成装置。
  7. いずれかの部位が可動であるロボット本体と、前記部位を動かす駆動部とを有するロボットを更に備え、前記時間的ロボット動作データおよび前記空間的ロボット動作データに基づいて、前記駆動部を動作させることを特徴とする請求項1から請求項6のいずれかに記載のロボット動作生成装置。
  8. 前記環境情報は、テキストデータに変換可能であることを特徴とする請求項1から請求項7のいずれかに記載のロボット動作生成装置。
  9. 入力された環境情報からロボットに動作を与える情報を生成するプログラムであって、
    前記環境情報から解析されたユーザの感情または関心度の動的特徴量に基づいて時間的ロボット動作データを生成する処理と、
    前記環境情報から解析されたユーザの感情または関心度の静的特徴量に基づいて空間的ロボット動作データを生成する処理と、を含む一連の処理をコンピュータに実行させることを特徴とするプログラム。
JP2015100333A 2015-05-15 2015-05-15 ロボット動作生成装置およびプログラム Active JP6562711B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015100333A JP6562711B2 (ja) 2015-05-15 2015-05-15 ロボット動作生成装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015100333A JP6562711B2 (ja) 2015-05-15 2015-05-15 ロボット動作生成装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2016215292A true JP2016215292A (ja) 2016-12-22
JP6562711B2 JP6562711B2 (ja) 2019-08-21

Family

ID=57577913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015100333A Active JP6562711B2 (ja) 2015-05-15 2015-05-15 ロボット動作生成装置およびプログラム

Country Status (1)

Country Link
JP (1) JP6562711B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156296A (ja) * 2017-03-16 2018-10-04 株式会社日立製作所 教育支援システムおよび教育支援方法
WO2020213244A1 (ja) * 2019-04-16 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
WO1999067067A1 (fr) * 1998-06-23 1999-12-29 Sony Corporation Robot et systeme de traitement d'information
JP2001160021A (ja) * 1999-12-03 2001-06-12 Sony Corp 仮想空間による通信システム
JP2001162573A (ja) * 1999-12-08 2001-06-19 Fujitsu Ltd ロボット装置
JP2001212783A (ja) * 2000-02-01 2001-08-07 Sony Corp ロボット装置及びその制御方法
JP2001246580A (ja) * 2000-03-03 2001-09-11 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
JP2002132404A (ja) * 2000-10-30 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> ロボットシステム、ロボット制御装置および方法、並びにロボット制御プログラムを記録した記録媒体
JP2002190034A (ja) * 2000-12-20 2002-07-05 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2002202795A (ja) * 2000-12-28 2002-07-19 Kenzo Iwama ロボット、単語学習装置およびその方法
JP2003205179A (ja) * 2002-01-10 2003-07-22 Fuji Photo Film Co Ltd ペット型ロボット
JP2005057431A (ja) * 2003-08-01 2005-03-03 Victor Co Of Japan Ltd テレビ電話端末装置
JP2005276103A (ja) * 2004-03-26 2005-10-06 Seiko Epson Corp 聞き手感情推定装置、聞き手感情推定方法、及びプログラム
JP2006026761A (ja) * 2004-07-13 2006-02-02 Victor Co Of Japan Ltd ロボット
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2008246665A (ja) * 2007-03-07 2008-10-16 Matsushita Electric Ind Co Ltd 行動制御装置、方法、プログラム
JP2012178092A (ja) * 2011-02-28 2012-09-13 Shinshu Univ ロボット装置
JP2013237124A (ja) * 2012-05-15 2013-11-28 Fujitsu Ltd 端末装置、情報提供方法及びプログラム

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
WO1999067067A1 (fr) * 1998-06-23 1999-12-29 Sony Corporation Robot et systeme de traitement d'information
JP2001160021A (ja) * 1999-12-03 2001-06-12 Sony Corp 仮想空間による通信システム
JP2001162573A (ja) * 1999-12-08 2001-06-19 Fujitsu Ltd ロボット装置
JP2001212783A (ja) * 2000-02-01 2001-08-07 Sony Corp ロボット装置及びその制御方法
JP2001246580A (ja) * 2000-03-03 2001-09-11 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
JP2002132404A (ja) * 2000-10-30 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> ロボットシステム、ロボット制御装置および方法、並びにロボット制御プログラムを記録した記録媒体
JP2002190034A (ja) * 2000-12-20 2002-07-05 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2002202795A (ja) * 2000-12-28 2002-07-19 Kenzo Iwama ロボット、単語学習装置およびその方法
JP2003205179A (ja) * 2002-01-10 2003-07-22 Fuji Photo Film Co Ltd ペット型ロボット
JP2005057431A (ja) * 2003-08-01 2005-03-03 Victor Co Of Japan Ltd テレビ電話端末装置
JP2005276103A (ja) * 2004-03-26 2005-10-06 Seiko Epson Corp 聞き手感情推定装置、聞き手感情推定方法、及びプログラム
JP2006026761A (ja) * 2004-07-13 2006-02-02 Victor Co Of Japan Ltd ロボット
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2008246665A (ja) * 2007-03-07 2008-10-16 Matsushita Electric Ind Co Ltd 行動制御装置、方法、プログラム
JP2012178092A (ja) * 2011-02-28 2012-09-13 Shinshu Univ ロボット装置
JP2013237124A (ja) * 2012-05-15 2013-11-28 Fujitsu Ltd 端末装置、情報提供方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156296A (ja) * 2017-03-16 2018-10-04 株式会社日立製作所 教育支援システムおよび教育支援方法
WO2020213244A1 (ja) * 2019-04-16 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP6562711B2 (ja) 2019-08-21

Similar Documents

Publication Publication Date Title
KR101925440B1 (ko) 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법
Farooq et al. Advances in machine translation for sign language: approaches, limitations, and challenges
CN111368609A (zh) 基于情绪引擎技术的语音交互方法、智能终端及存储介质
KR101604593B1 (ko) 이용자 명령에 기초하여 리프리젠테이션을 수정하기 위한 방법
US6526395B1 (en) Application of personality models and interaction with synthetic characters in a computing system
JP7352115B2 (ja) 非言語情報生成装置、非言語情報生成モデル学習装置、非言語情報生成方法、非言語情報生成モデル学習方法及びプログラム
JP7140984B2 (ja) 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
CN114995657B (zh) 一种智能机器人的多模态融合自然交互方法、系统及介质
JP6201212B2 (ja) キャラクタ生成装置およびプログラム
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
JP7157340B2 (ja) 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
JP7212284B2 (ja) 非言語情報生成装置、方法、及びプログラム
JP2024016167A (ja) マシン相互作用
JP6562711B2 (ja) ロボット動作生成装置およびプログラム
CN111177346A (zh) 人机交互方法、装置、电子设备、存储介质
Ishizuka et al. Describing and generating multimodal contents featuring affective lifelike agents with MPML
Cui et al. Master of puppets: an animation-by-demonstration computer puppetry authoring framework
Buschmeier et al. Adaptive expressiveness: virtual conversational agents that can align to their interaction partner
KR101997072B1 (ko) 자연어를 이용한 로봇 제어시스템 및 그 동작 방법
JP3949913B2 (ja) 手話文認識装置およびユーザインタフェース
JPWO2020170441A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102668144B1 (ko) 스트리머 및 시청자의 반응에 대응하여 반응하는 캐릭터 생성 장치
JP7474211B2 (ja) ユーザから発話された名詞を忘却する対話プログラム、装置及び方法
JP7257349B2 (ja) 対象人物の特徴的な身振りを推定するプログラム、装置及び方法
KR102261411B1 (ko) 채팅 모델 학습 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190723

R150 Certificate of patent or registration of utility model

Ref document number: 6562711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150