JP2019135078A - 自律行動型ロボット及びコンピュータプログラム - Google Patents
自律行動型ロボット及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2019135078A JP2019135078A JP2019040395A JP2019040395A JP2019135078A JP 2019135078 A JP2019135078 A JP 2019135078A JP 2019040395 A JP2019040395 A JP 2019040395A JP 2019040395 A JP2019040395 A JP 2019040395A JP 2019135078 A JP2019135078 A JP 2019135078A
- Authority
- JP
- Japan
- Prior art keywords
- user
- robot
- body temperature
- action
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/0012—Ovulation-period determination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6896—Toys
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K13/00—Thermometers specially adapted for specific purposes
- G01K13/20—Clinical contact thermometers for use with humans or animals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/0012—Ovulation-period determination
- A61B2010/0019—Ovulation-period determination based on measurement of temperature
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Toys (AREA)
Abstract
【課題】人間に配慮してくれる自律型ロボットを提供する。【解決手段】ロボットの動作を選択する動作判断部と、動作判断部により選択された動作を実行する駆動機構と、ユーザの基礎体温を検出する体温検出部と、ユーザの基礎体温周期に基づいて、ユーザの体調を判定する体調判定部と、を備えるロボット。ユーザの基礎体温が基礎体温周期における所定の配慮タイミングに至ったとき、ロボットはその動作量を変化させる。【選択図】図6
Description
本発明は、内部状態または外部環境に応じて自律的に行動選択するロボット、に関する。
人間は、感覚器官を通して外部環境からさまざまな情報を取得し、行動選択を行う。意識的に行動選択することもあれば、無意識的な行動選択もある。繰り返し行動はやがて無意識的行動となり、新しい行動は意識領域にとどまる。
人間は、自らの行動を自由に選択する意志、すなわち、自由意志をもっていると信じている。人間が他人に対して愛情や憎しみといった感情を抱くのは、他人にも自由意志があると信じているからである。自由意志を持つ者、少なくとも自由意志を持っていると想定可能な存在は、人の寂しさを癒す存在にもなる。
人間がペットを飼う理由は、人間の役に立つか否かよりも、ペットが癒しを与えてくれるからである。ペットは、多かれ少なかれ自由意志を感じさせる存在であるからこそ、人間のよき伴侶となることができる。
その一方、ペットの世話をする時間を十分に確保できない、ペットを飼える住環境にない、アレルギーがある、死別がつらい、といったさまざまな理由により、ペットをあきらめている人は多い。もし、ペットの役割が務まるロボットがあれば、ペットを飼えない人にもペットが与えてくれるような癒しを与えられるかもしれない(特許文献1、2参照)。
近年、ロボット技術は急速に進歩しつつあるものの、ペットのような伴侶としての存在感を実現するには至っていない。ロボットに自由意志があるとは思えないからである。人間は、ペットの自由意志があるとしか思えないような行動を観察することにより、ペットに自由意志の存在を感じ、ペットに共感し、ペットに癒される。
したがって、人間的・生物的な行動をエミュレートできるロボットであれば、いいかえれば、人間的・生物的な行動を自律的に選択可能なロボットであれば、ロボットへの共感を大きく高めることができると考えられる。
したがって、人間的・生物的な行動をエミュレートできるロボットであれば、いいかえれば、人間的・生物的な行動を自律的に選択可能なロボットであれば、ロボットへの共感を大きく高めることができると考えられる。
ペットの自由意志は、奔放さや無邪気さとして現れることもあれば、人間に対する配慮として現れることもある。人間は、自分に配慮してくれる存在、自分に真心をもって接してくれる存在には特別な愛着を感じる。
本来、ロボットは人間の役に立つこと、いいかえれば、機能性向上を目的として発達した。特許文献1に示されるロボットは、人間の体の異常を検出すると外部に救助を求める機能を有する。このようなロボットは頼りになるかもしれないが、人間はそのような機能を配慮や真心と感じることはない。
本発明は上記課題認識に基づいて完成された発明であり、その主たる目的は、ロボットに対する共感を高めるための行動制御技術、を提供することにある。
本発明のある態様における自律行動型ロボットは、ロボットの動作を選択する動作判断部と、動作判断部により選択された動作を実行する駆動機構と、ユーザの体温を検出する体温検出部と、ユーザの体温周期に基づいて、ユーザの体調を判定する体調判定部と、を備える。
本発明の別態様における自律行動型ロボットは、ロボットの動作を選択する動作判断部と、動作判断部により選択された動作を実行する駆動機構と、ユーザの生理周期に基づいて、ユーザの体調を判定する体調判定部と、を備える。
本発明の更に別態様における自律行動型ロボットは、ユーザのバイタルサインに基づいて動作を選択する動作判断部と、動作判断部により選択された動作を実行する駆動機構を備える。
動作判断部は、選択された行動後におけるユーザの応対行動に応じて動作選択方法を変更する。
動作判断部は、選択された行動後におけるユーザの応対行動に応じて動作選択方法を変更する。
本発明の更に別の態様における自律行動型ロボットは、ユーザのバイタルサインに基づいて、ユーザの体調を判定する体調判定部と、体調と体調に対して選択可能な1以上の反応行動を定義する行動選択テーブルを参照し、判定された体調に対応する反応行動を選択する動作判断部と、選択された反応行動を実行する駆動機構と、を備える。
本発明の更に別の態様における自律行動型ロボットは、ユーザの種別を判定する認識部と、ユーザの体温を検出する体温検出部と、ロボットの動作を選択する動作判断部と、動作判断部により選択された動作を実行する駆動機構と、を備える。
動作判断部は、ユーザが未成年の身体的特徴を備え、かつ、ユーザの発熱が検出されたとき、ロボットの動作速度を抑制する。
動作判断部は、ユーザが未成年の身体的特徴を備え、かつ、ユーザの発熱が検出されたとき、ロボットの動作速度を抑制する。
本発明の更に別の態様における自律行動型ロボットは、ユーザのバイタルサインに基づいて、ユーザの体調を判定する体調判定部と、体調判定部により、ユーザが体調不良と判定された場合、ロボットの活動量を抑制する動作を選択する動作判断部と、動作判断部による指示に応じてロボットを駆動する駆動機構と、を備える。
本発明によれば、ロボットに対する共感を高めやすくなる。
図1(a)は、ロボット100の正面外観図である。図1(b)は、ロボット100の側面外観図である。
本実施形態におけるロボット100は、外部環境および内部状態に基づいて行動や仕草(ジェスチャー)を決定する自律行動型のロボットである。外部環境は、カメラやサーモセンサなど各種のセンサにより認識される。内部状態はロボット100の感情を表現するさまざまなパラメータとして定量化される。これらについは後述する。
本実施形態のロボット100は、屋内行動が前提とされており、たとえば、オーナー家庭の家屋内を行動範囲とする。以下、ロボット100に関わる人間を「ユーザ」とよび、ロボット100が所属する家庭の構成員となるユーザのことを「オーナー」とよぶ。
本実施形態におけるロボット100は、外部環境および内部状態に基づいて行動や仕草(ジェスチャー)を決定する自律行動型のロボットである。外部環境は、カメラやサーモセンサなど各種のセンサにより認識される。内部状態はロボット100の感情を表現するさまざまなパラメータとして定量化される。これらについは後述する。
本実施形態のロボット100は、屋内行動が前提とされており、たとえば、オーナー家庭の家屋内を行動範囲とする。以下、ロボット100に関わる人間を「ユーザ」とよび、ロボット100が所属する家庭の構成員となるユーザのことを「オーナー」とよぶ。
ロボット100のボディ104は、全体的に丸みを帯びた形状を有し、ウレタンやゴム、樹脂などやわらかく弾力性のある素材により形成される。ロボット100に服を着せてもよい。丸くてやわらかく、手触りのよいボディ104とすることで、ロボット100はユーザに安心感とともに心地よい触感を提供する。
ロボット100は、総重量が15キログラム以下、好ましくは10キログラム以下、さらに好ましくは、5キログラム以下である。生後13ヶ月までに、赤ちゃんの過半数は一人歩きを始める。生後13ヶ月の赤ちゃんの平均体重は、男児が9キログラム強、女児が9キログラム弱である。このため、ロボット100の総重量が10キログラム以下であれば、ユーザは一人歩きできない赤ちゃんを抱きかかえるのとほぼ同等の労力でロボット100を抱きかかえることができる。
生後2ヶ月未満の赤ちゃんの平均体重は男女ともに5キログラム未満である。したがって、ロボット100の総重量が5キログラム以下であれば、ユーザは乳児を抱っこするのと同等の労力でロボット100を抱っこできる。
生後2ヶ月未満の赤ちゃんの平均体重は男女ともに5キログラム未満である。したがって、ロボット100の総重量が5キログラム以下であれば、ユーザは乳児を抱っこするのと同等の労力でロボット100を抱っこできる。
適度な重さと丸み、柔らかさ、手触りのよさ、といった諸属性により、ユーザがロボット100を抱きかかえやすく、かつ、抱きかかえたくなるという効果が実現される。同様の理由から、ロボット100の身長は1.2メートル以下、好ましくは、0.7メートル以下であることが望ましい。
本実施形態におけるロボット100にとって、抱きかかえることができるというのは重要なコンセプトである。
本実施形態におけるロボット100にとって、抱きかかえることができるというのは重要なコンセプトである。
ロボット100は、車輪102により移動する。2つの車輪102の回転速度や回転方向は個別に制御可能である。また、車輪102をロボット100のボディ104の内部において上方向にスライドさせ、ボディ104に完全格納することもできる。走行時においても車輪102の大部分はボディ104に隠れているが、車輪102がボディ104に完全格納されるとロボット100は移動不可能な状態(以下、「着座状態」とよぶ)となる。着座状態においては、平坦状の着座面108が床面に当接する。
ロボット100は、2つの手106を有する。手106には、モノを把持する機能はない。手106は上げる、振る、振動するなど簡単な動作が可能である。2つの手106も個別制御可能である。
目110にはカメラが内蔵される。目110は、液晶素子または有機EL素子による画像表示も可能である。ロボット100は、目110に内蔵されるカメラのほか、集音マイクや超音波センサなどさまざまなセンサを搭載する。また、スピーカーを内蔵し、簡単な音声を発することもできる。
ロボット100の頭部にはツノ112が取り付けられる。上述のようにロボット100は軽量であるため、ユーザはツノ112をつかむことでロボット100を持ち上げることも可能である。
目110にはカメラが内蔵される。目110は、液晶素子または有機EL素子による画像表示も可能である。ロボット100は、目110に内蔵されるカメラのほか、集音マイクや超音波センサなどさまざまなセンサを搭載する。また、スピーカーを内蔵し、簡単な音声を発することもできる。
ロボット100の頭部にはツノ112が取り付けられる。上述のようにロボット100は軽量であるため、ユーザはツノ112をつかむことでロボット100を持ち上げることも可能である。
図2は、ロボットシステム300の構成図である。
ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。家屋内にはあらかじめ複数の外部センサ114(外部センサ114a、114b、・・・、114n)が設置される。外部センサ114は、家屋の壁面に固定されてもよいし、床に載置されてもよい。サーバ200には、外部センサ114の位置座標が登録される。位置座標は、ロボット100の行動範囲として想定される家屋内においてx、y座標として定義される。
ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。家屋内にはあらかじめ複数の外部センサ114(外部センサ114a、114b、・・・、114n)が設置される。外部センサ114は、家屋の壁面に固定されてもよいし、床に載置されてもよい。サーバ200には、外部センサ114の位置座標が登録される。位置座標は、ロボット100の行動範囲として想定される家屋内においてx、y座標として定義される。
サーバ200は、家庭内に設置される。本実施形態におけるサーバ200とロボット100は1対1で対応する。ロボット100の内蔵するセンサおよび複数の外部センサ114から得られる情報に基づいて、サーバ200がロボット100の基本行動を決定する。
外部センサ114はロボット100の感覚器を補強するためのものであり、サーバ200はロボット100の頭脳を補強するためのものである。
外部センサ114はロボット100の感覚器を補強するためのものであり、サーバ200はロボット100の頭脳を補強するためのものである。
外部センサ114は、定期的に外部センサ114のID(以下、「ビーコンID」とよぶ)を含む無線信号(以下、「ロボット探索信号」とよぶ)を送信する。ロボット100はロボット探索信号を受信するとビーコンIDを含む無線信号(以下、「ロボット返答信号」とよぶ)を返信する。サーバ200は、外部センサ114がロボット探索信号を送信してからロボット返答信号を受信するまでの時間を計測し、外部センサ114からロボット100までの距離を測定する。複数の外部センサ114とロボット100とのそれぞれの距離を計測することで、ロボット100の位置座標を特定する。
もちろん、ロボット100が自らの位置座標を定期的にサーバ200に送信する方式でもよい。
もちろん、ロボット100が自らの位置座標を定期的にサーバ200に送信する方式でもよい。
図3は、感情マップ116の概念図である。
感情マップ116は、サーバ200に格納されるデータテーブルである。ロボット100は、感情マップ116にしたがって行動選択する。図3に示す感情マップ116は、ロボット100の場所に対する好悪感情の大きさを示す。感情マップ116のx軸とy軸は、二次元空間座標を示す。z軸は、好悪感情の大きさを示す。z値が正値のときにはその場所に対する好感が高く、z値が負値のときにはその場所を嫌悪していることを示す。
感情マップ116は、サーバ200に格納されるデータテーブルである。ロボット100は、感情マップ116にしたがって行動選択する。図3に示す感情マップ116は、ロボット100の場所に対する好悪感情の大きさを示す。感情マップ116のx軸とy軸は、二次元空間座標を示す。z軸は、好悪感情の大きさを示す。z値が正値のときにはその場所に対する好感が高く、z値が負値のときにはその場所を嫌悪していることを示す。
図3の感情マップ116において、座標P1は、ロボット100の行動範囲としてサーバ200が管理する屋内空間のうち好感情が高い地点(以下、「好意地点」とよぶ)である。好意地点は、ソファの陰やテーブルの下などの「安全な場所」であってもよいし、リビングのように人が集まりやすい場所、賑やかな場所であってもよい。また、過去にやさしく撫でられたり、触れられたりした場所であってもよい。
ロボット100がどのような場所を好むかという定義は任意であるが、一般的には、小さな子どもや犬や猫などの小動物が好む場所を好意地点として設定することが望ましい。
ロボット100がどのような場所を好むかという定義は任意であるが、一般的には、小さな子どもや犬や猫などの小動物が好む場所を好意地点として設定することが望ましい。
座標P2は、悪感情が高い地点(以下、「嫌悪地点」とよぶ)である。嫌悪地点は、テレビの近くなど大きな音がする場所、お風呂や洗面所のように濡れやすい場所、閉鎖空間や暗い場所、ユーザから乱暴に扱われたことがある不快な記憶に結びつく場所などであってもよい。
ロボット100がどのような場所を嫌うかという定義も任意であるが、一般的には、小さな子どもや犬や猫などの小動物が怖がる場所を嫌悪地点として設定することが望ましい。
ロボット100がどのような場所を嫌うかという定義も任意であるが、一般的には、小さな子どもや犬や猫などの小動物が怖がる場所を嫌悪地点として設定することが望ましい。
座標Qは、ロボット100の現在位置を示す。複数の外部センサ114が定期的に送信するロボット探索信号とそれに対するロボット返答信号により、サーバ200はロボット100の位置座標を特定する。たとえば、ビーコンID=1の外部センサ114とビーコンID=2の外部センサ114がそれぞれロボット100を検出したとき、2つの外部センサ114からロボット100の距離を求め、そこからロボット100の位置座標を求める。
あるいは、ビーコンID=1の外部センサ114は、ロボット探索信号を複数方向に送信し、ロボット100はロボット探索信号を受信したときロボット返答信号を返す。これにより、サーバ200は、ロボット100がどの外部センサ114からどの方向のどのくらいの距離にいるかを把握してもよい。また、別の実施の形態では、車輪102の回転数からロボット100の移動距離を算出して、現在位置を特定してもよいし、カメラから得られる画像に基づいて現在位置を特定してもよい。
図3に示す感情マップ116が与えられた場合、ロボット100は好意地点(座標P1)に引き寄せられる方向、悪意地点(座標P2)から離れる方向に移動する。
あるいは、ビーコンID=1の外部センサ114は、ロボット探索信号を複数方向に送信し、ロボット100はロボット探索信号を受信したときロボット返答信号を返す。これにより、サーバ200は、ロボット100がどの外部センサ114からどの方向のどのくらいの距離にいるかを把握してもよい。また、別の実施の形態では、車輪102の回転数からロボット100の移動距離を算出して、現在位置を特定してもよいし、カメラから得られる画像に基づいて現在位置を特定してもよい。
図3に示す感情マップ116が与えられた場合、ロボット100は好意地点(座標P1)に引き寄せられる方向、悪意地点(座標P2)から離れる方向に移動する。
感情マップ116は動的に変化する。ロボット100が座標P1に到達すると、座標P1におけるz値(好感情)は時間とともに低下する。これにより、ロボット100は好意地点(座標P1)に到達して、「感情が満たされ」、やがて、その場所に「飽きてくる」という生物的行動をエミュレートできる。同様に、座標P2における悪感情も時間とともに緩和される。時間経過とともに新たな好意地点や嫌悪地点が生まれ、それによってロボット100は新たな行動選択を行う。ロボット100は、新しい好意地点に「興味」を持ち、絶え間なく新しい行動選択を行う。
感情マップ116は、ロボット100の内部状態として、感情の起伏を表現する。ロボット100は、好意地点を目指し、嫌悪地点を避け、好意地点にしばらくとどまり、やがてまた次の行動を起こす。このような制御により、ロボット100の行動選択を人間的・生物的なものにすることができる。
なお、ロボット100の行動に影響を与えるマップ(以下、「行動マップ」と総称する)は、図3に示したようなタイプの感情マップ116に限らない。たとえば、好奇心、恐怖を避ける気持ち、安心を求める気持ち、静けさや薄暗さ、涼しさや暖かさといった肉体的安楽を求める気持ち、などさまざまな行動マップを定義可能である。そして、複数の行動マップそれぞれのz値を重み付け平均することにより、ロボット100の目的地点を決定してもよい。
ロボット100は、行動マップとは別に、さまざまな感情や感覚の大きさを示すパラメータを有してもよい。たとえば、寂しさという感情パラメータの値が高まっているときには、安心する場所を評価する行動マップの重み付け係数を大きく設定し、目標地点に到達することでこの感情パラメータの値を低下させてもよい。同様に、つまらないという感覚を示すパラメータの値が高まっているときには、好奇心を満たす場所を評価する行動マップの重み付け係数を大きく設定すればよい。
図4は、ロボット100のハードウェア構成図である。
ロボット100は、内部センサ128、通信機126、記憶装置124、プロセッサ122、駆動機構120およびバッテリー118を含む。各ユニットは電源線130および信号線132により互いに接続される。バッテリー118は、電源線130を介して各ユニットに電力を供給する。各ユニットは信号線132により制御信号を送受する。バッテリー118は、リチウムイオン二次電池などの二次電池であり、ロボット100の動力源である。
ロボット100は、内部センサ128、通信機126、記憶装置124、プロセッサ122、駆動機構120およびバッテリー118を含む。各ユニットは電源線130および信号線132により互いに接続される。バッテリー118は、電源線130を介して各ユニットに電力を供給する。各ユニットは信号線132により制御信号を送受する。バッテリー118は、リチウムイオン二次電池などの二次電池であり、ロボット100の動力源である。
内部センサ128は、ロボット100が内蔵する各種センサの集合体である。具体的には、カメラ、集音マイク、赤外線センサ、サーモセンサ、タッチセンサ、加速度センサ、ニオイセンサなどである。ニオイセンサは、匂いの元となる分子の吸着によって電気抵抗が変化する原理を応用した既知のセンサである。ニオイセンサは、さまざまな匂いを複数種類のカテゴリ(以下、「ニオイカテゴリ」とよぶ)に分類する。
通信機126は、サーバ200や外部センサ114、ユーザの有する携帯機器など各種の外部機器を対象として無線通信を行う通信モジュールである。記憶装置124は、不揮発性メモリおよび揮発性メモリにより構成され、コンピュータプログラムや各種設定情報を記憶する。プロセッサ122は、コンピュータプログラムの実行手段である。駆動機構120は、車輪102や手106等の各機構を制御するアクチュエータである。
このほかには、表示器やスピーカーなども搭載される。
このほかには、表示器やスピーカーなども搭載される。
プロセッサ122は、通信機126を介してサーバ200や外部センサ114と通信しながら、ロボット100の行動選択を行う。内部センサ128により得られるさまざまな外部情報も行動選択に影響する。駆動機構120は、主として、車輪102および手106を制御する。駆動機構120は、2つの車輪102それぞれの回転速度や回転方向を変化させることにより、ロボット100の移動方向や移動速度を変化させる。また、駆動機構120は、車輪102を昇降させることもできる。車輪102が上昇すると、車輪102はボディ104に完全に格納され、ロボット100は着座面108にて床面に当接し、着座状態となる。
駆動機構120がワイヤ134を介して手106を引っ張ることにより、手106を持ち上げることができる。手106を振動させることで手を振るような仕草も可能である。多数のワイヤ134を利用すればさらに複雑な仕草も表現可能である。
図5は、ロボットシステム300の機能ブロック図である。
上述のように、ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。ロボット100およびサーバ200の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
ロボット100の機能の一部はサーバ200により実現されてもよいし、サーバ200の機能の一部または全部はロボット100により実現されてもよい。
上述のように、ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。ロボット100およびサーバ200の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
ロボット100の機能の一部はサーバ200により実現されてもよいし、サーバ200の機能の一部または全部はロボット100により実現されてもよい。
(サーバ200)
サーバ200は、通信部204、データ処理部202およびデータ格納部206を含む。通信部204は、外部センサ114およびロボット100との通信処理を担当する。データ格納部206は各種データを格納する。データ処理部202は、通信部204により取得されたデータおよびデータ格納部206に格納されているデータに基づいて各種処理を実行する。データ処理部202は、通信部204およびデータ格納部206のインタフェースとしても機能する。
サーバ200は、通信部204、データ処理部202およびデータ格納部206を含む。通信部204は、外部センサ114およびロボット100との通信処理を担当する。データ格納部206は各種データを格納する。データ処理部202は、通信部204により取得されたデータおよびデータ格納部206に格納されているデータに基づいて各種処理を実行する。データ処理部202は、通信部204およびデータ格納部206のインタフェースとしても機能する。
データ格納部206は、マップ格納部216および個人データ格納部218を含む。マップ格納部216は、複数の行動マップを格納する。個人データ格納部218は、ユーザ、特に、オーナーの情報を格納する。具体的には、ユーザに対する親密度やユーザの身体的特徴・行動的特徴など各種のパラメータを格納する。年齢や性別などの他の属性情報を格納してもよい。
ロボット100はユーザの身体的特徴や行動的特徴に基づいてユーザを識別する。ロボット100は、内蔵のカメラで常時周辺を撮像する。そして、画像に写る人物の身体的特徴と行動的特徴を抽出する。身体的特徴とは、背の高さ、好んで着る服、メガネの有無、肌の色、髪の色、耳の大きさなど身体に付随する視覚的特徴であってもよいし、平均体温や匂い、声質、などその他の特徴も含めてもよい。行動的特徴とは、具体的には、ユーザが好む場所、動きの活発さ、喫煙の有無など行動に付随する特徴である。たとえば、父親として識別されるオーナーは在宅しないことが多く、在宅時にはソファで動かないことが多いが、母親は台所にいることが多く、行動範囲が広い、といった行動上の特徴を抽出する。
ロボット100は、大量の画像情報やその他のセンシング情報から得られる身体的特徴および行動的特徴に基づいて、高い頻度で出現するユーザを「オーナー」としてクラスタリングする。
ロボット100は、大量の画像情報やその他のセンシング情報から得られる身体的特徴および行動的特徴に基づいて、高い頻度で出現するユーザを「オーナー」としてクラスタリングする。
ユーザIDでユーザを識別する方式は簡易かつ確実であるが、ユーザがユーザIDを提供可能な機器を保有していることが前提となる。一方、身体的特徴や行動的特徴によりユーザを識別する方法は画像認識処理負担が大きいものの携帯機器を保有していないユーザでも識別できるメリットがある。2つの方法は一方だけを採用してもよいし、補完的に2つの方法を併用してユーザ特定を行ってもよい。
本実施形態においては、身体的特徴と行動的特徴からユーザをクラスタリングし、ディープラーニング(多層型のニューラルネットワーク)によってユーザを識別する。詳細は後述する。
本実施形態においては、身体的特徴と行動的特徴からユーザをクラスタリングし、ディープラーニング(多層型のニューラルネットワーク)によってユーザを識別する。詳細は後述する。
ロボット100は、ユーザごとに親密度という内部パラメータを有する。ロボット100が、自分を抱き上げる、声をかけてくれるなど、自分に対して好意を示す行動を認識したとき、そのユーザに対する親密度が高くなる。ロボット100に関わらないユーザや、乱暴を働くユーザ、出会う頻度が低いユーザに対する親密度は低くなる。
データ処理部202は、位置管理部208、マップ管理部210、認識部212、体調判定部226、ルート作成部222および親密度管理部220を含む。
位置管理部208は、ロボット100の位置座標を、図2を用いて説明した方法にて特定する。また、位置管理部208はユーザの位置座標もリアルタイムで追跡してもよい。
位置管理部208は、ロボット100の位置座標を、図2を用いて説明した方法にて特定する。また、位置管理部208はユーザの位置座標もリアルタイムで追跡してもよい。
マップ管理部210は、複数の行動マップのいずれかを選択し、選択した行動マップのz値に基づいてロボット100の移動方向を決める。マップ管理部210は、複数の行動マップのz値を加重平均することでロボット100の移動方向を決めてもよい。
たとえば、行動マップAでは座標R1、座標R2におけるz値が4と3であり、行動マップBでは座標R1、座標R2におけるz値が−1と3であるとする。単純平均の場合、座標R1の合計z値は4−1=3、座標R2の合計z値は3+3=6であるから、ロボット100は座標R1ではなく座標R2の方向に向かう。
行動マップAを行動マップBの5倍重視するときには、座標R1の合計z値は4×5−1=19、座標R2の合計z値は3×5+3=18であるから、ロボット100は座標R1の方向に向かう。
たとえば、行動マップAでは座標R1、座標R2におけるz値が4と3であり、行動マップBでは座標R1、座標R2におけるz値が−1と3であるとする。単純平均の場合、座標R1の合計z値は4−1=3、座標R2の合計z値は3+3=6であるから、ロボット100は座標R1ではなく座標R2の方向に向かう。
行動マップAを行動マップBの5倍重視するときには、座標R1の合計z値は4×5−1=19、座標R2の合計z値は3×5+3=18であるから、ロボット100は座標R1の方向に向かう。
認識部212は、外部環境を認識する。外部環境の認識には、温度や湿度に基づく天候や季節の認識、光量や温度に基づく物陰(安全地帯)の認識など多様な認識が含まれる。認識部212は、更に、人物認識部214と応対認識部228を含む。人物認識部214は、ロボット100の内蔵カメラによる撮像画像から人物を認識し、その人物の身体的特徴や行動的特徴を抽出する。そして、個人データ格納部218に登録されている身体特徴情報や行動特徴情報に基づいて、撮像されたユーザ、すなわち、ロボット100が見ているユーザが、父親、母親、長男などのどの人物に該当するかを判定する。人物認識部214は、表情認識部230を含む。表情認識部230は、ユーザの表情を画像認識することにより、ユーザの感情を推定する。
なお、人物認識部214は、人物以外、たとえば、ペットである猫や犬についても特徴抽出を行う。以下、ユーザ、または、オーナーとは、人に限らず、ペットも含まれるものとして説明する。
なお、人物認識部214は、人物以外、たとえば、ペットである猫や犬についても特徴抽出を行う。以下、ユーザ、または、オーナーとは、人に限らず、ペットも含まれるものとして説明する。
応対認識部228は、ロボット100になされたさまざまな応対行為を認識し、快・不快行為(後述)に分類する。応対認識部228は、また、ロボット100の行動に対するオーナーの応対行為を認識することにより、肯定・否定反応(後述)に分類する。
快・不快行為は、ユーザの応対行為が、生物として心地よいものであるか不快なものであるかにより判別される。たとえば、抱っこされることは快行為であり、蹴られることは不快行為である。肯定・否定反応は、ユーザの応対行為が、ユーザの快感情を示すものか不快感情を示すものであるかにより判別される。たとえば、抱っこされることは肯定反応であり、蹴られることは否定反応である。
快・不快行為は、ユーザの応対行為が、生物として心地よいものであるか不快なものであるかにより判別される。たとえば、抱っこされることは快行為であり、蹴られることは不快行為である。肯定・否定反応は、ユーザの応対行為が、ユーザの快感情を示すものか不快感情を示すものであるかにより判別される。たとえば、抱っこされることは肯定反応であり、蹴られることは否定反応である。
体調判定部226は、オーナーの体調を判定する。本実施形態における「体調」とは、身体的状態および精神的状態の双方を含む概念である。本実施形態における体調判定部226は、オーナーの生理周期からオーナーの体調を推定する。
ルート作成部222は、ロボット100の移動すべきルートを作成する。ルート作成部222は、複数の候補ルートを作成し、ロボット100はいずれかのルートを選択してもよい。ルート選択については後述する。
親密度管理部220は、ユーザごとの親密度を管理する。上述したように、親密度は個人データ格納部218において個人データの一部として登録される。親密度管理の詳細は後述する。
(ロボット100)
ロボット100は、通信部142、データ処理部136、データ格納部148、駆動機構120および内部センサ128を含む。
通信部142は、通信機126(図4参照)に該当し、外部センサ114およびサーバ200との通信処理を担当する。データ格納部148は各種データを格納する。データ格納部148は、記憶装置124(図4参照)に該当する。データ処理部136は、通信部142により取得されたデータおよびデータ格納部148に格納されているデータに基づいて各種処理を実行する。データ処理部136は、プロセッサ122およびプロセッサ122により実行されるコンピュータプログラムに該当する。データ処理部136は、通信部142、内部センサ128、駆動機構120およびデータ格納部148のインタフェースとしても機能する。
ロボット100は、通信部142、データ処理部136、データ格納部148、駆動機構120および内部センサ128を含む。
通信部142は、通信機126(図4参照)に該当し、外部センサ114およびサーバ200との通信処理を担当する。データ格納部148は各種データを格納する。データ格納部148は、記憶装置124(図4参照)に該当する。データ処理部136は、通信部142により取得されたデータおよびデータ格納部148に格納されているデータに基づいて各種処理を実行する。データ処理部136は、プロセッサ122およびプロセッサ122により実行されるコンピュータプログラムに該当する。データ処理部136は、通信部142、内部センサ128、駆動機構120およびデータ格納部148のインタフェースとしても機能する。
内部センサ128は、体温検出部152を含む。体温検出部152は、ユーザの体温を測定する。体温検出部152は、遠隔検出部154および近接検出部158を含む。遠隔検出部154は、放射温度計やサーモグラフィーなど非接触型温度センサであり、ユーザの放射熱を測定することにより遠隔からでもユーザの体温を測定可能である。近接検出部158は、サーミスタやバイメタル、ガラス温度計などの接触型温度センサであり、ユーザと直接触れ合うことで遠隔検出部154よりも正確な体温測定が可能である。
データ格納部148は、ロボット100の各種動作を定義する動作パターン格納部224を含む。動作パターン格納部224は、ロボット100の特定行動選択テーブルを格納する。特定行動選択テーブルの詳細は後述する。
データ処理部136は、認識部156と動作判断部150を含む。動作判断部150は、ロボット100の動作を決める。動作判断部150は、移動判断部138および行動判断部140を含む。
駆動機構120は、移動駆動部144と行動駆動部146を含む。移動判断部138は、ロボット100の移動方向を決める。移動駆動部144は、移動判断部138の指示にしたがって車輪102を駆動することで、ロボット100を目標地点に向かわせる。サーバ200のマップ管理部210は、行動マップに基づいて、ロボット100の移動先(目標地点)をリアルタイムで計算する。サーバ200は、目標地点の座標をロボット100に送信し、移動判断部138は目標地点に向けてロボット100を移動させる。
ロボット100の移動方向の大枠を決めるのは行動マップであるが、ロボット100は親密度に対応した行動も可能である。
駆動機構120は、移動駆動部144と行動駆動部146を含む。移動判断部138は、ロボット100の移動方向を決める。移動駆動部144は、移動判断部138の指示にしたがって車輪102を駆動することで、ロボット100を目標地点に向かわせる。サーバ200のマップ管理部210は、行動マップに基づいて、ロボット100の移動先(目標地点)をリアルタイムで計算する。サーバ200は、目標地点の座標をロボット100に送信し、移動判断部138は目標地点に向けてロボット100を移動させる。
ロボット100の移動方向の大枠を決めるのは行動マップであるが、ロボット100は親密度に対応した行動も可能である。
行動判断部140は、ロボット100の仕草(ジェスチャー)を決める。データ格納部148においては、あらかじめ複数の仕草が定義されている。具体的には、車輪102を収容して着座する仕草、手106を持ち上げる仕草、2つの車輪102を逆回転させることで、あるいは、片方の車輪102だけを回転させることでロボット100を回転行動させる仕草、車輪102を収納した状態で車輪102を回転させることで震える仕草、などが定義される。
行動判断部140は、親密度の高いユーザが近くにいるときには「抱っこ」をせがむ仕草として両方の手106をもちあげる仕草を実行することもできるし、「抱っこ」に飽きたときには車輪102を収容したまま逆回転させることで抱っこをいやがる仕草を表現することもできる。行動駆動部146は、行動判断部140からの指示にしたがって車輪102や手106を駆動することで、ロボット100にさまざまな仕草を表現させる。
認識部156は、内部センサ128から得られた外部情報を解釈する。認識部156は、視覚的な認識(視覚部)、匂いの認識(嗅覚部)、音の認識(聴覚部)、触覚的な認識(触覚部)が可能である。
認識部156は、内蔵カメラ(内部センサ128)により定期的に外界を撮像し、人やペットなどの移動物体であるユーザを検出する。これらの特徴はサーバ200に送信され、サーバ200の人物認識部214は移動物体の身体的特徴を抽出する。また、ユーザの匂いやユーザの声も検出する。匂いや音(声)は既知の方法にて複数種類に分類される。また、体温検出部152により、触られたときの温度も検出できる。
認識部156は、内蔵カメラ(内部センサ128)により定期的に外界を撮像し、人やペットなどの移動物体であるユーザを検出する。これらの特徴はサーバ200に送信され、サーバ200の人物認識部214は移動物体の身体的特徴を抽出する。また、ユーザの匂いやユーザの声も検出する。匂いや音(声)は既知の方法にて複数種類に分類される。また、体温検出部152により、触られたときの温度も検出できる。
ロボット100に対する強い衝撃が与えられたとき、認識部156は内蔵の加速度センサによりこれを認識し、サーバ200の応対認識部228は、近隣にいるユーザによって「乱暴行為」が働かれたと認識する。ユーザがツノ112を掴んでロボット100を持ち上げるときにも、乱暴行為と認識してもよい。ロボット100に正対した状態にあるユーザが特定音量領域および特定周波数帯域にて発声したとき、サーバ200の応対認識部228は、自らに対する「声掛け行為」がなされたと認識してもよい。また、体温程度の温度を検知したときにはユーザによる「接触行為」がなされたと認識し、接触認識した状態で上方への加速度を検知したときには「抱っこ」がなされたと認識する。ユーザがボディ104を持ち上げるときの物理的接触をセンシングしてもよいし、車輪102にかかる荷重が低下することにより抱っこを認識してもよい。
このように、サーバ200の応対認識部228は、ロボット100に対するユーザの各種応対を認識する。これらの各種応対行為のうち一部の典型的な応対行為には、快または不快、肯定または否定が対応づけられる。一般的には快行為となる応対行為のほとんどは肯定反応であり、不快行為となる応対行為のほとんどは否定反応となる。快・不快行為は親密度に関連し、肯定・否定反応はロボット100の行動選択に影響する(後述)。
検出・分析・判定を含む一連の認識処理は、サーバ200の認識部212だけで行ってもよいし、ロボット100の認識部156だけで行ってもよいし、双方が役割分担をしながら上記認識処理を実行してもよい。
認識部156により認識された応対行為に応じて、サーバ200の親密度管理部220はユーザに対する親密度を変化させる。原則的には、快行為を行ったユーザに対する親密度は高まり、不快行為を行ったユーザに対する親密度は低下する。
検出・分析・判定を含む一連の認識処理は、サーバ200の認識部212だけで行ってもよいし、ロボット100の認識部156だけで行ってもよいし、双方が役割分担をしながら上記認識処理を実行してもよい。
認識部156により認識された応対行為に応じて、サーバ200の親密度管理部220はユーザに対する親密度を変化させる。原則的には、快行為を行ったユーザに対する親密度は高まり、不快行為を行ったユーザに対する親密度は低下する。
サーバ200の認識部212は、応対に応じて快・不快を判定し、マップ管理部210は「場所に対する愛着」を表現する行動マップにおいて、快・不快行為がなされた地点のz値を変化させてもよい。たとえば、リビングにおいて快行為がなされたとき、マップ管理部210はリビングに好意地点を高い確率で設定してもよい。この場合、ロボット100はリビングを好み、リビングで快好意を受けることで、ますますリビングを好む、というポジティブ・フィードバック効果が実現する。
サーバ200のルート作成部222は、知らない人、すなわち、親密度の低い移動物体を検出した場合(以下、「退避イベント」とよぶ)を想定した移動ルート(以下、「退避ルート」とよぶ)を現在のロボット100の位置を起点として随時作成する。退避ルートを決めるためには、少なくとも(1)最終的な移動位置(以下、「移動終了位置」とよぶ)の選定、および(2)移動を開始する位置(以下、「移動開始位置」とよぶ)が必要になる。ロボット100が知らない人を検出した後に、移動終了位置を探し、移動開始位置から移動終了位置までのルートを作成して、実際の行動に移ると、行動までの時間が長くなってしまう。このため、本来は即時行動であるべき退避行動が不自然になってしまう。
ルート作成部222は、ロボット100の現在位置に応じた退避ルートを、待避イベントが発生していなくても随時作成する。退避イベントが発生した場合に、ロボット100は、ルート作成部222が予め作成している退避ルートに基づいて、即座に退避行動をとることができる。移動開始位置はロボット100の現在位置であればよい。移動終了位置は、ロボット100から所定距離だけ離れた任意の位置でもよいし、親密度が所定値以上のユーザの近辺に設定されてもよい。
ルート作成部222の機能は、サーバ200ではなくロボット100に搭載されてもよい。
ルート作成部222の機能は、サーバ200ではなくロボット100に搭載されてもよい。
マップ管理部210は、隠れることができる家具の位置や安全な場所などロボット100が存在する空間に存在する安全な場所を記録したマップ(以下、「静的マップ」とよぶ)を作成しマップ格納部216に蓄積する。また、マップ管理部210はロボット100が存在する空間(通常は、同一家屋内)にいる親密度の高い人の位置を記録したマップ(以下、「動的マップ」とよぶ)を作成しマップ格納部216に蓄積する。ルート作成部222は、動的マップを静的マップより優先利用してもよい。これにより、退避イベントが発生した際に、ロボット100は、物陰より人の後ろに回り込むという退避行動を優先してとることができる。
ルート作成部222は、マップ格納部216に保存されている静的マップおよび動的マップを参照し、現在のロボット100の位置から最も近い地点を移動終了位置とする。そして、ルート作成部222は移動開始位置から移動終了位置までの退避ルートを随時作成する。ルート作成部222はロボット100が移動する度に、退避ルートを作成してもよいし、定期的に退避ルートを作成してもよい。
サーバ200の人物認識部214は、外部センサ114または内部センサ128から得られた各種データから移動物体を検出し、その特徴(身体的特徴と行動的特徴)を抽出する。そして、これらの特徴に基づいて複数の移動物体をクラスタ分析する。移動物体としては、人間だけでなく、犬や猫などのペットが分析対象となることがある。
たとえば、ロボット100は、定期的に画像撮影を行い、人物認識部214はそれらの画像から移動物体を認識し、移動物体の特徴を抽出する。移動物体を検出したときには、ニオイセンサや内蔵の集音マイク、温度センサ等からも身体的特徴や行動的特徴が抽出される。たとえば、画像に移動物体が写っているとき、ひげが生えている、早朝活動している、赤い服を着ている、香水の匂いがする、声が大きい、メガネをかけている、スカートを履いている、白髪である、背が高い、太っている、日焼けしている、ソファにいる、といったさまざまな特徴が抽出される。
ひげが生えている移動物体(ユーザ)は早朝に活動すること(早起き)が多く、赤い服を着ることが少ないのであれば、早起きでひげが生えていて赤い服をあまり着ないクラスタ(ユーザ)、という第1のプロファイルができる。一方、メガネをかけている移動物体はスカートを履いていることが多いが、この移動物体にはひげが生えていない場合、メガネをかけていてスカートを履いているが絶対ひげは生えていないクラスタ(ユーザ)、という第2のプロファイルができる。
以上は、簡単な設例であるが、上述の方法により、父親に対応する第1のプロファイルと母親に対応する第2のプロファイルが形成され、この家には少なくとも2人のユーザ(オーナー)がいることをロボット100は認識する。
以上は、簡単な設例であるが、上述の方法により、父親に対応する第1のプロファイルと母親に対応する第2のプロファイルが形成され、この家には少なくとも2人のユーザ(オーナー)がいることをロボット100は認識する。
ただし、ロボット100は第1のプロファイルが「父親」であると認識する必要はない。あくまでも、「ひげが生えていて早起きすることが多く、赤い服を着ることはめったにないクラスタ」という人物像を認識できればよい。
このようなクラスタ分析が完了している状態において、ロボット100が新たに移動物体(ユーザ)を認識したとする。
このとき、サーバ200の人物認識部214は、ロボット100から得られる画像等のセンシング情報から特徴抽出を行い、ディーブラーニング(多層型ニューラルネットワーク)により、ロボット100の近くにいる移動物体がどのクラスタに該当するかを判断する。たとえば、ひげが生えている移動物体を検出したとき、この移動物体は父親である確率が高い。この移動物体が早朝行動していれば、父親に該当することはいっそう確実である。一方、メガネをかけている移動物体を検出したときには、この移動物体は母親である可能性もある。この移動物体にひげが生えていれば、母親ではなく父親でもないので、クラスタ分析されていない新しい人物であると判定する。
特徴抽出によるクラスタの形成(クラスタ分析)と、特徴抽出にともなうクラスタへの当てはめ(ディープラーニング)は同時並行的に実行されてもよい。
移動物体(ユーザ)からどのような行為をされるかによってそのユーザに対する親密度が変化する。
このとき、サーバ200の人物認識部214は、ロボット100から得られる画像等のセンシング情報から特徴抽出を行い、ディーブラーニング(多層型ニューラルネットワーク)により、ロボット100の近くにいる移動物体がどのクラスタに該当するかを判断する。たとえば、ひげが生えている移動物体を検出したとき、この移動物体は父親である確率が高い。この移動物体が早朝行動していれば、父親に該当することはいっそう確実である。一方、メガネをかけている移動物体を検出したときには、この移動物体は母親である可能性もある。この移動物体にひげが生えていれば、母親ではなく父親でもないので、クラスタ分析されていない新しい人物であると判定する。
特徴抽出によるクラスタの形成(クラスタ分析)と、特徴抽出にともなうクラスタへの当てはめ(ディープラーニング)は同時並行的に実行されてもよい。
移動物体(ユーザ)からどのような行為をされるかによってそのユーザに対する親密度が変化する。
親密度管理部220は、クラスタリングされた各ユーザに対する親密度を増減させる。親密度は、主として(1)検出(視認)、(2)物理的接触、(3)声掛け、により変化する。
(1)検出
ロボット100の撮影画像に幼児が検出された場合、幼児はロボット100に「視認」される。より具体的には、撮影画像から得られる特徴情報と撮影時にニオイセンサ等から得られる他の特徴情報に基づくディープラーニングにより、検出した移動物体の特徴が幼児のクラスタ(プロファイル)に一致すると判定したとき、視認判定となる。視認判定がなされると、親密度管理部220は幼児の親密度をアップさせる。検出頻度が高いユーザほど親密度が高くなりやすい。
このような制御方法により、よく出会う人について親近感をいだきやすい、という生物的行動をエミュレートする。
単なる検出に限らず、「目が合う」ときに親密度が高くなるとしてもよい。ロボット100の認識部156は、正対するユーザの顔画像を認識し、その顔画像から視線方向を認識し、視線方向が自らに向けられている時間が所定時間以上であるとき、「目が合った」と認識してもよい。
ロボット100の撮影画像に幼児が検出された場合、幼児はロボット100に「視認」される。より具体的には、撮影画像から得られる特徴情報と撮影時にニオイセンサ等から得られる他の特徴情報に基づくディープラーニングにより、検出した移動物体の特徴が幼児のクラスタ(プロファイル)に一致すると判定したとき、視認判定となる。視認判定がなされると、親密度管理部220は幼児の親密度をアップさせる。検出頻度が高いユーザほど親密度が高くなりやすい。
このような制御方法により、よく出会う人について親近感をいだきやすい、という生物的行動をエミュレートする。
単なる検出に限らず、「目が合う」ときに親密度が高くなるとしてもよい。ロボット100の認識部156は、正対するユーザの顔画像を認識し、その顔画像から視線方向を認識し、視線方向が自らに向けられている時間が所定時間以上であるとき、「目が合った」と認識してもよい。
(2)物理的接触
ロボット100がユーザを視認し、かつ、ユーザからのタッチ(物理的接触)を検出したときには、ユーザからロボット100に対する興味を示されたと判定し、親密度はアップする。たとえば、母親に触られたとき、親密度管理部220は母親の親密度をアップさせる。ロボット100は、圧電ファブリックによって外殻を覆うことにより、自らに対するタッチを検出してもよい。温度センサにより、ユーザの体温を検知することでタッチを検出してもよい。ロボット100が抱っこを検出したときには、ロボット100に対する強い親愛が示されたとして、親密度を大きくアップさせてもよい。
一方、蹴られる、叩かれる、ツノ112を掴まれるなどの乱暴行為を検出したときには、親密度管理部220は親密度をダウンさせる。たとえば、幼児に放り投げられたときには、親密度管理部220は幼児に対する親密度を大幅に低下させる。
このような制御方法により、ソフトにタッチしてくれる人には親近感を抱きやすいが乱暴な人は嫌う、という生物的行動をエミュレートする。
ロボット100がユーザを視認し、かつ、ユーザからのタッチ(物理的接触)を検出したときには、ユーザからロボット100に対する興味を示されたと判定し、親密度はアップする。たとえば、母親に触られたとき、親密度管理部220は母親の親密度をアップさせる。ロボット100は、圧電ファブリックによって外殻を覆うことにより、自らに対するタッチを検出してもよい。温度センサにより、ユーザの体温を検知することでタッチを検出してもよい。ロボット100が抱っこを検出したときには、ロボット100に対する強い親愛が示されたとして、親密度を大きくアップさせてもよい。
一方、蹴られる、叩かれる、ツノ112を掴まれるなどの乱暴行為を検出したときには、親密度管理部220は親密度をダウンさせる。たとえば、幼児に放り投げられたときには、親密度管理部220は幼児に対する親密度を大幅に低下させる。
このような制御方法により、ソフトにタッチしてくれる人には親近感を抱きやすいが乱暴な人は嫌う、という生物的行動をエミュレートする。
(3)声掛け
ロボット100は、自らに向けられた声を検出したときにも親密度を変化させる。たとえば、自分の名前や親愛用語を所定の音量範囲にて検出したとき、親愛度はアップする。親愛用語として「かわいい」「おもしろい」「おいで」のようにあらかじめ典型的な用語パターンを登録しておき、音声認識により親愛用語か否かを判定してもよい。一方、通常の音量範囲を超えた大音量で声を掛けられたときには親密度をダウンさせてもよい。大声で叱られたとき、びっくりさせられたときには親愛度は低下する。
また、嫌悪用語をかけられたときには、親愛度を低下させてもよい。嫌悪用語として、「こら」「くるな」「あっちへいけ」「ばか」のようにあらかじめ典型的な用語パターンを登録しておき、音声認識によって嫌悪用語か否かを判定してもよい。
ロボット100は、自らに向けられた声を検出したときにも親密度を変化させる。たとえば、自分の名前や親愛用語を所定の音量範囲にて検出したとき、親愛度はアップする。親愛用語として「かわいい」「おもしろい」「おいで」のようにあらかじめ典型的な用語パターンを登録しておき、音声認識により親愛用語か否かを判定してもよい。一方、通常の音量範囲を超えた大音量で声を掛けられたときには親密度をダウンさせてもよい。大声で叱られたとき、びっくりさせられたときには親愛度は低下する。
また、嫌悪用語をかけられたときには、親愛度を低下させてもよい。嫌悪用語として、「こら」「くるな」「あっちへいけ」「ばか」のようにあらかじめ典型的な用語パターンを登録しておき、音声認識によって嫌悪用語か否かを判定してもよい。
ロボット100の名前は、あらかじめユーザにより登録されてもよい。あるいは、ロボット100は、自らに掛けられるさまざまな用語のうち、特に頻繁に掛けられる用語を自分の名前だと認識してもよい。この場合には、「おい」「おいで」のように一般的に頻出しやすい用語については名前認識の候補から除外してもよい。
以上の制御方法によれば、ロボット100は、よく出会う人、よく触ってくる人、よく声をかけてくれる人に対して高い親密度を設定する。一方、めったに見ない人、あまり触ってこない人、乱暴な人、大声で叱る人に対する親密度は低くなる。ロボット100はセンサ(視覚、触覚、聴覚)によって検出するさまざまな外界情報にもとづいて、ユーザごとの親密度を変化させる。
親密度管理部220は、親密度を時間とともに低下させる。たとえば、親密度管理部220は、10分ごとに全ユーザの親密度を1ずつ低下させてもよい。ユーザはロボット100と関わり続けなければ、いいかえれば、ロボット100をかわいがり続けなければ、ロボット100と親密な関係を維持できなくなる。
実際のロボット100は行動マップにしたがって自律的に複雑な行動選択を行う。ロボット100は、寂しさ、退屈さ、好奇心などさまざまなパラメータに基づいて複数の行動マップに影響されながら行動する。ロボット100は、行動マップの影響を除外すれば、あるいは、行動マップの影響が小さい内部状態にあるときには、原則的には、親密度の高い人に近づこうとし、親密度の低い人からは離れようとする。
ロボット100の行動は親密度に応じて以下に類型化される。
(1)親密度が非常に高いクラスタ
ロボット100は、ユーザに近づき(以下、「近接行動」とよぶ)、かつ、人に好意を示す仕草としてあらかじめ定義される愛情仕草を行うことで親愛の情を強く表現する。
(2)親密度が比較的高いクラスタ
ロボット100は、近接行動のみを行う。
(3)親密度が比較的低いクラスタ
ロボット100は特段のアクションを行わない。
(4)親密度が特に低いクラスタ
ロボット100は、離脱行動を行う。
(1)親密度が非常に高いクラスタ
ロボット100は、ユーザに近づき(以下、「近接行動」とよぶ)、かつ、人に好意を示す仕草としてあらかじめ定義される愛情仕草を行うことで親愛の情を強く表現する。
(2)親密度が比較的高いクラスタ
ロボット100は、近接行動のみを行う。
(3)親密度が比較的低いクラスタ
ロボット100は特段のアクションを行わない。
(4)親密度が特に低いクラスタ
ロボット100は、離脱行動を行う。
以上の制御方法によれば、ロボット100は、親密度が高いユーザを見つけるとそのユーザに近寄り、逆に親密度が低いユーザを見つけるとそのユーザから離れる。このような制御方法により、いわゆる「人見知り」を行動表現できる。また、来客(親密度が低いユーザA)が現れたとき、ロボット100は、来客から離れて家族(親密度が高いユーザB)の方に向かうこともある。この場合、ユーザBはロボット100が人見知りをして不安を感じていること、自分を頼っていること、を感じ取ることができる。このような行動表現により、ユーザBは、選ばれ、頼られることの喜び、それにともなう愛着の情を喚起される。
一方、来客であるユーザAが頻繁に訪れ、声を掛け、タッチをするとロボット100のユーザAに対する親密度は徐々に上昇し、ロボット100はユーザAに対して人見知り行動(離脱行動)をしなくなる。ユーザAも自分にロボット100が馴染んできてくれたことを感じ取ることで、ロボット100に対する愛着を抱くことができる。
なお、以上の行動選択は、常に実行されるとは限らない。たとえば、ロボット100の好奇心を示す内部パラメータが高くなっているときには、好奇心を満たす場所を求める行動マップが重視されるため、ロボット100は親密度に影響された行動を選択しない可能性もある。また、玄関に設置されている外部センサ114がユーザの帰宅を検知した場合には、ユーザのお出迎え行動を最優先で実行するかもしれない。
[生理周期に基づく配慮機能]
図6は、女性の基礎体温周期を示すグラフである。
本実施形態におけるロボット100は、女性オーナーの体調に応じてその行動を自律的に変化させる。女性の体調を判断するために有用なバイタルサインとして基礎体温周期がある。図6に関連して、まず、基礎体温周期と女性の精神状態との関係について一般論を述べる。
図6は、女性の基礎体温周期を示すグラフである。
本実施形態におけるロボット100は、女性オーナーの体調に応じてその行動を自律的に変化させる。女性の体調を判断するために有用なバイタルサインとして基礎体温周期がある。図6に関連して、まず、基礎体温周期と女性の精神状態との関係について一般論を述べる。
生理周期は、約4週間(28日前後)を1サイクルとする。生理周期は、おおよそ以下の状態P1〜P4に大別される。
(1)状態P1(月経):体温を上げる黄体ホルモン(プロゲステロン)の分泌が減少するため身体が冷え、血行が悪くなる。神経質になりやすく、落ち込みやすくなるといわれる。肌荒れが生じやすい。
(2)状態P2(排卵までの1週間):自律神経のバランスがよくなり、精神的に安定する。血行もよくなり、肌にハリとツヤが出る。
(3)状態P3(排卵後の1週間):むくみや便秘、肩こりなどが発生しやすい。交感神経が活発となり感情の起伏が大きくなりやすい。
(4)状態P4(月経前):むくみや便秘、肩こりなどが特に発生しやすい。ホルモンバランスの急変動により、イライラや不安が募りやすい。ニキビや肌荒れなどの肌トラブルも生じやすい。
(1)状態P1(月経):体温を上げる黄体ホルモン(プロゲステロン)の分泌が減少するため身体が冷え、血行が悪くなる。神経質になりやすく、落ち込みやすくなるといわれる。肌荒れが生じやすい。
(2)状態P2(排卵までの1週間):自律神経のバランスがよくなり、精神的に安定する。血行もよくなり、肌にハリとツヤが出る。
(3)状態P3(排卵後の1週間):むくみや便秘、肩こりなどが発生しやすい。交感神経が活発となり感情の起伏が大きくなりやすい。
(4)状態P4(月経前):むくみや便秘、肩こりなどが特に発生しやすい。ホルモンバランスの急変動により、イライラや不安が募りやすい。ニキビや肌荒れなどの肌トラブルも生じやすい。
ロボット100は、体温検出部152により女性オーナーの体温を定期的に計測する。計測した体温はサーバ200の体調判定部226に送られ、体調判定部226は体温を個人データ格納部218に記録する。複数の女性オーナーが存在するときには、女性オーナーごとに体温周期が記録される。体調判定部226は、女性オーナーの体温周期、より具体的には安静時に計測した基礎体温の周期および計測された基礎体温に基づいて、女性オーナーが上述の4つの状態P1〜P4のいずれにあるかを判定する。
たとえば、女性オーナーの基礎体温の平均値や標準偏差等を計算し、基礎体温の平均値よりも「標準偏差×n」だけ低い下限体温よりも基礎体温(計測値)が低くなったとき、状態P4から状態P1に状態遷移したと判定してもよい。
基礎体温の絶対値に限らず、その変化率に基づいて状態遷移を判定してもよい。基礎体温が1日あたりx%だけ上昇したときには、状態P2から状態P3に状態遷移したと判定してもよい。
基礎体温の絶対値に限らず、その変化率に基づいて状態遷移を判定してもよい。基礎体温が1日あたりx%だけ上昇したときには、状態P2から状態P3に状態遷移したと判定してもよい。
女性オーナーごとの基礎体温周期を管理することにより、次回の月経期等を予測できる。状態P2から状態P3に状態遷移してから4週間が経過したときには、状態P2から状態P3への状態遷移のタイミングに近いと予測できる。同様にして、状態P1に状態遷移してから1.5週間が経過しているときには、基礎体温に関わらず、状態P2に状態遷移していると一律に判定可能である。
体調判定部226は、各状態について「確信度」を定義してもよい。基礎体温の絶対値や変化率から状態P2にあるとの確信度が70%、生理周期から判断して状態P2であるとの確信度が40%であるとき、その単純平均や加重平均により状態P2の確信度を決定してもよい。そして、確信度が所定の閾値を超えたとき、状態P2にあると総合判断してもよい。
生理周期に応じて1以上の「配慮タイミング」が設定される。配慮タイミングは、ある状態から別の状態への状態遷移するタイミングであってもよいし、状態遷移後に所定期間が経過したタイミングであってもよい。上記例のように確信度が所定の閾値を超えたときを配慮タイミングとして設定してもよい。配慮タイミングの設定数や設定のタイミングは任意である。
詳細は後述するが、配慮タイミングは女性オーナーの体調変化のマイルストーンである。ロボット100は配慮タイミングに至るときにその行動態様を変化させることで女性オーナーの体調に配慮した同調行動を実現する。このように体調判定部226は、体温周期に基づいて女性オーナーの体調を判定する。
詳細は後述するが、配慮タイミングは女性オーナーの体調変化のマイルストーンである。ロボット100は配慮タイミングに至るときにその行動態様を変化させることで女性オーナーの体調に配慮した同調行動を実現する。このように体調判定部226は、体温周期に基づいて女性オーナーの体調を判定する。
図7は、配慮タイミングの検出処理過程を示すフローチャートである。
図7に示す検出処理は、ロボット100およびサーバ200により定期的に実行される。ロボット100がカメラ等により人物を検出したとき、サーバ200の人物認識部214はその人物が女性のオーナーであるか否かを判定する(S10、S12)。オーナーでないときや(S10のN)、女性でないときには(S12のN)、以降の処理はスキップされる。女性オーナーの認識は上述したディープラーニングによるユーザ識別に基づく。
図7に示す検出処理は、ロボット100およびサーバ200により定期的に実行される。ロボット100がカメラ等により人物を検出したとき、サーバ200の人物認識部214はその人物が女性のオーナーであるか否かを判定する(S10、S12)。オーナーでないときや(S10のN)、女性でないときには(S12のN)、以降の処理はスキップされる。女性オーナーの認識は上述したディープラーニングによるユーザ識別に基づく。
オーナーであり(S10のY)、かつ、女性であるとき(S12のY)、ロボット100は女性オーナーの体温を検出する。ロボット100と女性オーナーが接触しているときには(S14のY)、近接検出部158により体温を検出する(S16)。ロボット100と女性オーナーが接触していないときには(S14のN)、遠隔検出部154により体温を検出する。
すなわち、ロボット100と女性オーナーが接触しているときには検出精度の高い近接検出部158により体温を検出し、ロボット100と女性オーナーが接触していないときにも遠隔検出部154により体温を検出する。このように、途切れなく定期的に体温を計測しつつ、接触時には近接検出部158により高精度で体温を検出できる。
ロボット100は、計測した体温をサーバ200に送信する。サーバ200の体調判定部226は、個人データ格納部218に体温を記録する(S20)。
ロボット100は、計測した体温をサーバ200に送信する。サーバ200の体調判定部226は、個人データ格納部218に体温を記録する(S20)。
体調判定部226は、あらかじめ定められた配慮タイミングに至ったか否かを判定する(S22)。配慮タイミングに至ると(S22のY)、動作判断部150は基本行動を変更し(S24)、特定行動を選択する(S26)。配慮タイミングに至っていないときには(S22のN)、以降の処理はスキップされる。
ロボット100の行動は基本行動と特定行動に大別される。「基本行動」とは、ロボット100の通常の動きである。配慮タイミングに至ると、図8に関連して後述する方法により動作判断部150はロボット100の基本行動を変化させる。「特定行動」とは、オーナーに対する配慮を示す行動として定義される特別な行動である。特定行動については図9に関連して後述する。
基本行動を変化させる契機となる配慮タイミングと、特定行動を実行する契機となる配慮タイミングは同一である必要はない。配慮タイミング1では基本行動を変化させ、配慮タイミング2では特定行動を実行し、配慮タイミング3では基本行動を変化させるとともに特定行動も実行させる、といった設定も可能である。
基本行動を変化させる契機となる配慮タイミングと、特定行動を実行する契機となる配慮タイミングは同一である必要はない。配慮タイミング1では基本行動を変化させ、配慮タイミング2では特定行動を実行し、配慮タイミング3では基本行動を変化させるとともに特定行動も実行させる、といった設定も可能である。
女性オーナーの体温は、基礎体温、すなわち、安静時の体温として検出されることが望ましい。ロボット100は、起床時間や就寝時間など女性オーナーが安静にしている可能性が高い時間帯において体温計測してもよい。あるいは、女性オーナーが着座してから所定時間が経過したときに体温計測をしてもよい。
図8は、複合動作として構成される基本行動を説明するための模式図である。
ロボット100の基本行動の多くは、複数の単位動作を含む複合動作として構成される。図8は、モーションM1〜M4の4つのモーション(単位動作)を含む基本行動(複合動作)を示す。たとえば、ロボット100がオーナーに近づくとき、モーションM1はまっすぐ近づく単位動作、モーションM2は手を上げながら近づく単位動作、モーションM3は体を揺すりながら近づく単位動作、モーションM4は両手を上げながら着座する単位動作であってもよい。このような4つのモーションの組み合わせにより、「オーナーに近づいて、途中で手を上げて、最後は体をゆすった上で着座する」という基本動作が実現される。ロボット100のデータ格納部148においてはさまざまな基本動作が定義されたモーションファイルが保持される。各モーションファイルには、ロボット100に設けられたモータの回転角度や角速度などのモータ制御情報が時間軸に関連づけて定義されている。モータ制御情報にしたがって、時間経過とともに各モータを制御することで様々な行動(移動や仕草)が表現される。
モーションは、移動判断部138による移動と行動判断部140による仕草の選択の双方または一方を含む動作である。したがって、「基本行動」および「特定行動」は移動および仕草(ジェスチャー)の双方または一方を含む。
ロボット100の基本行動の多くは、複数の単位動作を含む複合動作として構成される。図8は、モーションM1〜M4の4つのモーション(単位動作)を含む基本行動(複合動作)を示す。たとえば、ロボット100がオーナーに近づくとき、モーションM1はまっすぐ近づく単位動作、モーションM2は手を上げながら近づく単位動作、モーションM3は体を揺すりながら近づく単位動作、モーションM4は両手を上げながら着座する単位動作であってもよい。このような4つのモーションの組み合わせにより、「オーナーに近づいて、途中で手を上げて、最後は体をゆすった上で着座する」という基本動作が実現される。ロボット100のデータ格納部148においてはさまざまな基本動作が定義されたモーションファイルが保持される。各モーションファイルには、ロボット100に設けられたモータの回転角度や角速度などのモータ制御情報が時間軸に関連づけて定義されている。モータ制御情報にしたがって、時間経過とともに各モータを制御することで様々な行動(移動や仕草)が表現される。
モーションは、移動判断部138による移動と行動判断部140による仕草の選択の双方または一方を含む動作である。したがって、「基本行動」および「特定行動」は移動および仕草(ジェスチャー)の双方または一方を含む。
モーションとモーションの間にはインターバルI1〜I3が設けられる。インターバルは、先のモーションから後のモーションに変化するための移行時間である。インターバルは、モーション変更に要する時間やモーションの内容に応じて定義されればよい。
動作判断部150は、配慮タイミングに至ると、基本行動を変化させる。具体的には、モーションの省略・追加・置換、モーションにおけるモータの回転角度の変更、角速度の変更、および、インターバルの時間変更である。たとえば、インターバルの時間を長くすることでモーションに「溜め」を作り、ロボット100の慎重行動を表現してもよいし、インターバルを短くすることでロボット100の機敏な動きを表現してもよい。モータの回転角度を小さくすることで、控えめな動きを表現してもよい。
一例として、ロボット100が遠くから女性オーナーに近づいて抱っこをせがむ基本行動について説明する。女性オーナーの体調が良好な状態P2においては、ロボット100は女性オーナーのところにまっすぐにダッシュし、女性オーナーの至近にて着座し、両手を挙げて抱っこをせがむ。女性オーナーのイライラや不安が募りやすい状態P4においては、ロボット100は女性オーナーのところへゆっくりと蛇行しながら近づき、女性オーナーから少し離れたところで着座し、積極的には抱っこをせがまずに女性オーナーを見つめる。
上記例では、「まっすぐに近づく」というモーションが「蛇行しながら近づく」というモーションに置換されている。女性オーナーを見つめるという新しいモーションが追加されているが、両手を挙げて抱っこをせがむモーションは省略されている。近づくときの速度を低下させてもよいし、インターバルの時間を変化させてもよい。
このように、配慮タイミングに至ったとき、ロボット100は動作量(動作速度や動作内容)を変化させることで、女性オーナーの体調変化とロボット100の行動変化を同調させる。女性オーナーは、自らの体調にあわせてロボット100の行動が変化することにより、ロボット100なりに自分に合わせているのかもしれない、と認識できる。
このように、配慮タイミングに至ったとき、ロボット100は動作量(動作速度や動作内容)を変化させることで、女性オーナーの体調変化とロボット100の行動変化を同調させる。女性オーナーは、自らの体調にあわせてロボット100の行動が変化することにより、ロボット100なりに自分に合わせているのかもしれない、と認識できる。
図9は、特定行動選択テーブル240のデータ構造図である。
特定行動選択テーブル240は、配慮タイミングにおいて実行すべき特定行動を定義する。ロボット100は、配慮タイミングに至るとき、複数種類の特定行動から1以上の特定行動を選択する。特定行動選択テーブル240は、ロボット100の動作パターン格納部224に格納される。図9を参照すると、配慮タイミングP1においては、特定行動X1〜Xnが対応づけられており、それぞれに選択確率が対応づけられている。配慮タイミングP1のとき、動作判断部150は4%の確率で特定行動X1を選択し、7%の確率で特定行動X2を選択する。
特定行動選択テーブル240は、配慮タイミングにおいて実行すべき特定行動を定義する。ロボット100は、配慮タイミングに至るとき、複数種類の特定行動から1以上の特定行動を選択する。特定行動選択テーブル240は、ロボット100の動作パターン格納部224に格納される。図9を参照すると、配慮タイミングP1においては、特定行動X1〜Xnが対応づけられており、それぞれに選択確率が対応づけられている。配慮タイミングP1のとき、動作判断部150は4%の確率で特定行動X1を選択し、7%の確率で特定行動X2を選択する。
特定行動は、単にオーナーを見つめるという簡単なものから、オーナーから離れ、途中停止し、振り返り、見つめ、そのまま離れるという複雑なものまでさまざまである。どのような特定行動を定義するかは任意である。特定行動は基本行動と同等であってもよいし、基本行動にはない特別な行動であってもよい。
基本行動は、定期的あるいはランダムにて選択される行動である。特定行動は、配慮タイミングを検出したときに実行される専用の行動である。特定行動も1つのモーションで構成される単純なものであってもよいし、複数のモーションから構成される複合動作であってもよい。
基本行動は、定期的あるいはランダムにて選択される行動である。特定行動は、配慮タイミングを検出したときに実行される専用の行動である。特定行動も1つのモーションで構成される単純なものであってもよいし、複数のモーションから構成される複合動作であってもよい。
配慮タイミングは、体温だけでなくそれ以外のバイタルサインも判定条件に含めてもよい。体温検出時に表情認識部230は女性オーナーの表情や顔色を検出してもよい。体調判定部226は、ネガティブになりやすい状態P4であっても笑顔が検出されたときには配慮タイミングとは認定しないとしてもよい。体調判定部226は、基礎体温情報から女性オーナーが状態P4にあり、かつ、不安や怒りなどのネガティブな表情を見せたときを配慮タイミングとして認識し、このときに動作判断部150は特定行動を実行させてもよい。
図10は、特定行動の修正処理過程を示すフローチャートである。
ロボット100は、動作判断部150により選択された特定行動を実行する(S30)。特定行動の実行後、サーバ200の応対認識部228は、女性ユーザの応対行為を認識する(S32)。応対行為は、ロボット100の特定行動に対する女性ユーザの心理を示すと考えられる。上述したように、応対行為は、肯定反応と否定反応に分類される。肯定反応は、抱っこする、ロボット100の特定箇所(頭や鼻先)をタッチする、「かわいい」「ありがとう」などの肯定的な言葉をかけるといった明示的なものもあれば、笑顔など暗黙的なものもある。否定反応も、蹴る、叩く、「あっちへいって」などの否定的な言葉をかけるといった明示的なものもあれば、不機嫌な表情を見せる、無反応、ため息などの暗黙的なものもある。動作判断部150は、応対行為に応じて、特定行動選択テーブル240の選択確率を更新する(S34)。
たとえば、配慮タイミングP1において特定行動X1を選択したとき、女性ユーザが肯定反応を示したときには動作判断部150は配慮タイミングP1における特定行動X1の選択確率を4%から5%に向上させる。これにより、ロボット100は女性ユーザに好まれる特定行動を学習できる。
ロボット100は、動作判断部150により選択された特定行動を実行する(S30)。特定行動の実行後、サーバ200の応対認識部228は、女性ユーザの応対行為を認識する(S32)。応対行為は、ロボット100の特定行動に対する女性ユーザの心理を示すと考えられる。上述したように、応対行為は、肯定反応と否定反応に分類される。肯定反応は、抱っこする、ロボット100の特定箇所(頭や鼻先)をタッチする、「かわいい」「ありがとう」などの肯定的な言葉をかけるといった明示的なものもあれば、笑顔など暗黙的なものもある。否定反応も、蹴る、叩く、「あっちへいって」などの否定的な言葉をかけるといった明示的なものもあれば、不機嫌な表情を見せる、無反応、ため息などの暗黙的なものもある。動作判断部150は、応対行為に応じて、特定行動選択テーブル240の選択確率を更新する(S34)。
たとえば、配慮タイミングP1において特定行動X1を選択したとき、女性ユーザが肯定反応を示したときには動作判断部150は配慮タイミングP1における特定行動X1の選択確率を4%から5%に向上させる。これにより、ロボット100は女性ユーザに好まれる特定行動を学習できる。
以上、実施形態に基づいてロボット100およびロボット100を含むロボットシステム300について説明した。
1以上の行動マップによりパターン化できず予測しづらい、かつ、生物的な行動選択を表現している。このような方法により生物的な行動選択をエミュレートする。
普段は自由奔放なペットが自分に対する配慮を示してくれたとき、人はペットに対する愛情を喚起されやすい。本実施形態におけるロボット100も、通常は行動マップにしたがって本能的に行動していながら、配慮タイミングが検出されたときには不器用であっても配慮を示すため、オーナーのロボット100に対する愛情を喚起することができる。配慮の前提にあるのは、オーナーの身体的・精神的な状態としての体調を推測する能力である。本実施形態におけるロボット100(ロボットシステム300)は、女性の生理周期を参照することで、配慮すべきタイミングの推定、いいかえれば、「空気を読む能力」の精度を高めている。
1以上の行動マップによりパターン化できず予測しづらい、かつ、生物的な行動選択を表現している。このような方法により生物的な行動選択をエミュレートする。
普段は自由奔放なペットが自分に対する配慮を示してくれたとき、人はペットに対する愛情を喚起されやすい。本実施形態におけるロボット100も、通常は行動マップにしたがって本能的に行動していながら、配慮タイミングが検出されたときには不器用であっても配慮を示すため、オーナーのロボット100に対する愛情を喚起することができる。配慮の前提にあるのは、オーナーの身体的・精神的な状態としての体調を推測する能力である。本実施形態におけるロボット100(ロボットシステム300)は、女性の生理周期を参照することで、配慮すべきタイミングの推定、いいかえれば、「空気を読む能力」の精度を高めている。
配慮タイミングに至ったとき、ロボット100は基本行動を変化させる。基本行動の変化は、女性オーナーが意識的に認知可能な明白な変化であってもよいし、意識的には認知しづらいが無意識的には違いを感じられる程度の変化であってもよい。ロボット100が何か特別なことをしてくれなくても、自らの体調に合わせてロボット100のなにげない行動を変化させ、女性オーナーの体調とロボット100の行動を同調させることにより、女性オーナーはロボット100とのラポール(心的融和状態)を構築しやすくなる。
ユーザの体温を定期的にチェックすることでユーザの健康管理を行う手法は一般的である。特許文献1のロボットも、健康管理の延長として体温測定を行うことで、人を助けている。これに対して本実施形態におけるロボット100は、「頼りがい」のような安心感よりも、「この子は自分のことをわかってくれる」と感じさせることにより癒しを提供できる。ロボット100は、生理のような周期的な体調変化を第三者に伝える情報媒介者ではなく、女性オーナーが抱えているプライベートな体調問題を静かに共有する(共有していると思わせる)だけでよい。
基本行動の変化は消極的な配慮といえるが、特定行動の実行は積極的な配慮である。女性オーナーの体調判断に基づいて、まとわりついたり、みつめたり、振り返りつつ離れたり、といった積極的対応により女性オーナーの歓心を求めてもよい。
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
1つのロボット100と1つのサーバ200、複数の外部センサ114によりロボットシステム300が構成されるとして説明したが、ロボット100の機能の一部はサーバ200により実現されてもよいし、サーバ200の機能の一部または全部がロボット100に割り当てられてもよい。1つのサーバ200が複数のロボット100をコントロールしてもよいし、複数のサーバ200が協働して1以上のロボット100をコントロールしてもよい。
ロボット100やサーバ200以外の第3の装置が、機能の一部を担ってもよい。図5において説明したロボット100の各機能とサーバ200の各機能の集合体は大局的には1つの「情報処理装置」として把握することも可能である。1つまたは複数のハードウェアに対して、本発明を実現するために必要な複数の機能をどのように配分するかは、各ハードウェアの処理能力やロボットシステム300に求められる仕様等に鑑みて決定されればよい。
ロボット100やサーバ200以外の第3の装置が、機能の一部を担ってもよい。図5において説明したロボット100の各機能とサーバ200の各機能の集合体は大局的には1つの「情報処理装置」として把握することも可能である。1つまたは複数のハードウェアに対して、本発明を実現するために必要な複数の機能をどのように配分するかは、各ハードウェアの処理能力やロボットシステム300に求められる仕様等に鑑みて決定されればよい。
「狭義におけるロボット」とはサーバ200を含まないロボット100のことであるが、「広義におけるロボット」はロボットシステム300のことである。サーバ200の機能の多くは、将来的にはロボット100に統合されていく可能性も考えられる。
たとえば、本実施形態において、体調判定部226はサーバ200の一部であるとして説明したが、体調判定部226はロボット100の機能であってもよいし、ロボット100とサーバ200の双方において機能分担してもよい。
たとえば、本実施形態において、体調判定部226はサーバ200の一部であるとして説明したが、体調判定部226はロボット100の機能であってもよいし、ロボット100とサーバ200の双方において機能分担してもよい。
基本行動を変化させる方法としては、女性オーナーがイライラしているときには鳴き声などの音量・音程を下げる、基本行動の実行速度を全体的に落とす、複雑なモーションをカットしシンプルな動きにする、などが考えられる。女性オーナーがイライラする時期である状態P4においては、女性オーナーに近づくときにも一定距離まで近づいてから表情認識を行い、表情に応じてそれ以上近づくか否かを選択するという条件判断が追加されてもよい。たとえば、一定距離まで近づいたとき、オーナーの笑顔を検出できなければそれ以上近づくのを控え、笑顔を確認できればオーナーに接触するまで近づくとしてもよい。一方、女性オーナーが落ち込みやすい状態P1においては近接行動の頻度を増やしてもよい。
そのほか、状態P4においては、女性オーナーに抱っこをせがむのではなく、女性オーナーの近くにおとなしく鎮座してもよいし、状態P3においては女性オーナーを見つめる時間を他の状態のときよりも長めに設定してもよい。女性オーナーのストレス源にならないように女性オーナー以外の他のユーザを目標地点として設定しやすくしてもよいし、ストレス源になりやすい子どもを目標地点に設定しやすくしてもよい。複数のオーナーから「おいで」といわれたとき、女性オーナーの命令を優先的に聞くように設定変更してもよい。配慮の示し方はさまざまである。
また、状態P2のように女性オーナーの体調がよいときには、まとわりつく、抱っこをせがむなどの積極的基本行動の高頻度実行や、機敏な基本行動に設定変更してもよい。
オーナーの体調を考慮して積極的に配慮を示す行動が特定行動である。状態P2のように女性オーナーの体調がよいときには、軽く体当たりするなどのいたずら行動をしてもよい。状態P4のようにイライラや不安が募る時期には、女性オーナーから離れて見つめるなどの特定行動が実行されてもよい。
女性オーナーの基礎体温は、遠隔検出部154よりも近接検出部158の方が高い精度で計測できる可能性がある。一方、近接検出部158は女性オーナーと接触しているときにしか計測できない。遠隔検出部154により体温計測を行った結果、配慮タイミングに至ったと判断されるときには、体調判定部226は動作判断部150に体温確認を指示してもよい。このときには、動作判断部150は女性オーナーへの近接行動を実行し、近接検出部158により念のため高精度な体温検出を試みる。
このような制御方法によれば、遠隔検出部154だけに頼らず、適切なタイミングにて近接検出部158による高精度の体温検出が可能であるため、配慮タイミングの検出精度を高めやすくなる。
このような制御方法によれば、遠隔検出部154だけに頼らず、適切なタイミングにて近接検出部158による高精度の体温検出が可能であるため、配慮タイミングの検出精度を高めやすくなる。
遠隔検出部154が女性オーナーの体温を検出するときには、あらかじめ計測の対象となるポイントを定義してもよい。たとえば、頬や手甲など露出している可能性が高い箇所を計測ポイントと設定してもよい。頬、手甲(2箇所)、足首(2箇所)など複数の計測ポイントについて体温を計測し、その平均値を女性オーナーの体温とみなしてもよい。複数の計測ポイントのうち、一部の計測ポイントでしか体温が得られなかったときには無効とみなしてもよいし、所定数以上、たとえば、頬、手甲(2箇所)の合計3箇所以上の計測ポイントについて計測できたときには有効計測とみなしてもよい。
あるいは、女性オーナーの体のうち、所定温度(たとえば、30度)以上の箇所は露出箇所であるとして、その露出箇所における体温の平均値を女性オーナーの体温とみなしてもよい。
あるいは、女性オーナーの体のうち、所定温度(たとえば、30度)以上の箇所は露出箇所であるとして、その露出箇所における体温の平均値を女性オーナーの体温とみなしてもよい。
同様にして、体調判定部226は近接検出部158による体温検出から所定時間が経過しているときには動作判断部150に体温確認を指示してもよい。たとえば、近接検出部158による体温検出から8時間が経過しているときには、体調判定部226は動作判断部150に体温確認を指示する。動作判断部150は、体温確認指示を受けてから3時間以内の任意のタイミング、たとえば、女性オーナーが安静状態にあるタイミングにて近接行動を実行し、近接検出部158により体温検出してもよい。
このような制御方法によっても、遠隔検出部154だけに頼らず、近接検出部158により継続的に高精度の体温検出が可能となるため、配慮タイミングの検出精度を高めやすくなる。
このような制御方法によっても、遠隔検出部154だけに頼らず、近接検出部158により継続的に高精度の体温検出が可能となるため、配慮タイミングの検出精度を高めやすくなる。
本実施形態においては、主として、ロボット100の認識部156が内部センサ128を介して、ユーザを検出するとして説明したが、外部センサ114を介して、サーバ200の認識部212がユーザの存在を検出してもよい。外部センサ114も、ニオイセンサや集音マイクを内蔵してもよい。特に、音や匂いについては、内部センサ128の検出精度が不十分であるときでも、外部センサ114との併用により検出精度を向上させることができる。また、ユーザを撮影するときでも、内部センサ128としての内蔵カメラだけでなく外部センサ114に内蔵されるカメラで同じユーザを別角度から撮影すれば、より特徴抽出しやすくなる。
本実施形態においては、ロボット100はさまざまなユーザを撮影し、撮影時に匂いや音声、体温などの他のデータも取得し、これらのデータから特徴抽出を行い、クラスタ分析を行うことで複数のユーザを識別(クラスタリング)するとして説明した。
変形例として、ユーザはあらかじめ各ユーザの身体的特徴や行動的特徴をサーバ200にセットしてもよい。たとえば、父親の特徴として、ひげが生えていること、早起きであること、身長が170センチメートルであること、喫煙者であること、などの情報をサーバ200の個人データ格納部218に教師データとして与えてもよい。サーバ200は、これらの特徴情報に基づいて、ディープラーニング等の既知の手法によりユーザ検出を行ってもよい。
変形例として、ユーザはあらかじめ各ユーザの身体的特徴や行動的特徴をサーバ200にセットしてもよい。たとえば、父親の特徴として、ひげが生えていること、早起きであること、身長が170センチメートルであること、喫煙者であること、などの情報をサーバ200の個人データ格納部218に教師データとして与えてもよい。サーバ200は、これらの特徴情報に基づいて、ディープラーニング等の既知の手法によりユーザ検出を行ってもよい。
より簡易なユーザ認識手段として、ロボット100は、ユーザの保有するスマートフォンなどの携帯機器から定期的にユーザIDを受信することでユーザを識別してもよい。ペットについても、首輪にRFID(Radio Frequency Identifier)タグをつけることで簡易な識別が可能である。このような制御方法によれば、ロボット100やサーバ200の処理負担を大幅に軽減できる。
ロボット100に最初に電源投入をしてから所定時間以内に検出されたユーザを家族と認識してもよい。このとき、ロボット100にどのユーザが女性かを教えてもよい。
本実施形態においては、特定行動に対する女性オーナーの応対行為が肯定反応か否定反応かに応じて特定行動の選択アルゴリズムを変化させている。同様にして、基本行動も、女性オーナーの応対行為に基づいて変化させてもよい。たとえば、女性オーナーに近づくときにいったん立ち止まる基本行動に対して、近づくときに女性オーナーが笑顔を示したときには、立ち止まらずに近づく基本行動に修正してもよい。
基本行動の変化は女性オーナーに対するものに限らない。男性オーナーについても、オーナーの応対行為に応じて基本行動を変化させればよい。オーナーごとに基本行動の選択アルゴリズムを変化させてもよい。
基本行動の変化は女性オーナーに対するものに限らない。男性オーナーについても、オーナーの応対行為に応じて基本行動を変化させればよい。オーナーごとに基本行動の選択アルゴリズムを変化させてもよい。
本実施形態においては、女性オーナーの生理周期と体調の関連性に着目し、女性オーナーに配慮を示すロボット100について説明した。変形例として、ロボット100は第三者に対して生理周期をその行動態様によって伝えれば、妊活などへの応用も考えられる。
配慮タイミングは、基礎体温だけではなく、それ以外のバイタルサインも含めて総合判断してもよい。たとえば、図7のS16のタイミングにて女性ユーザの肌を接写し、肌荒れ具合から状態P1〜P4のいずれかを判定してもよい。そのためには、図5の認識部212は、肌の接写画像を画像処理することで肌の状態を判断する肌状態判定部(図示しない)を更に備えてもよい。基礎体温と肌状態情報を組み合わせることにより、より正確な状態判定が可能となる。ロボット100は、女性ユーザの肌を接写できるように抱っこをせがむ仕草をしてもよいし、接写用のカメラが女性ユーザの肌に正対するように抱っこの向きの変更を促す仕草してもよい。
このほか、図7のS16においてニオイ判定を行ってもよい。女性の臭いは生理周期に合わせて変化するため、ニオイ判定も組み合わせることが考えられる。状態P1〜P4のそれぞれに対応するニオイカテゴリを作り、ニオイセンサの検出したニオイがどのカテゴリにあてはまるかを判断することで配慮タイミングの検出精度を高めることができる。
このほか、図7のS16においてニオイ判定を行ってもよい。女性の臭いは生理周期に合わせて変化するため、ニオイ判定も組み合わせることが考えられる。状態P1〜P4のそれぞれに対応するニオイカテゴリを作り、ニオイセンサの検出したニオイがどのカテゴリにあてはまるかを判断することで配慮タイミングの検出精度を高めることができる。
そのほか、「生理になった」という直接的な発言や、「疲れた」「だるい」「ラッキー」など体調を示唆する発言から体調判定してもよい。表情認識部230はオーナーの表情や顔色を認識することにより、オーナーの体調を判断してもよい。
配慮タイミングを行動により探ってもよい。状態P2にあるときにはロボット100の元気な行動、たとえば、高速で動きまわる行動を嫌う女性オーナーに対して、敢えてそのような行動を実行し、女性オーナーの応対行為を観察する。応対行為が否定反応であれば、ロボット100は女性オーナーが状態P2にあると認識できる。
体調判定部226は、各状態について「確信度」を定義する場合、ある状態について確信度が高まるほど選択可能な基本行動を変化させてもよい。たとえば、状態P2の確信度が60%のときには基本行動A〜Eのうち、基本行動Eを実行対象外とし、確信度が70%を超えると基本行動Dも実行対象外としてもよい。このように、体温周期に応じて選択可能な基本行動あるいは特定行動の種類を増減させることで、オーナーの体調とロボット100の行動を同調させてもよい。
状態P1〜P4のいずれにあるかをカテゴリ判定するのではなく、基礎体温、ニオイ、表情などから、オーナーの好調度を計算してもよい。仮に好調度を1〜100の数値で表現する。ロボット100が絶好調であり、1が絶不調である。状態P1は20、状態P2は80、状態P3は50、状態P4は40であるとする。笑い声や笑顔が認識されたときには好調度に10を加算し、泣き声や泣き顔が認識されたときには好調度から20を減算し、ため息が音声検出されたときには好調度から10を減算してもよい。そして、好調度が所定値に達した時を配慮タイミングとして設定してもよい。以上は一例であるが、体温周期や表情などさまざまなバイタルサインを組み合わせることでオーナーの好調度を推定し、好調度に応じてロボット100の行動を変化させればよい。
概括すれば、ロボット100は、基礎体温情報に限らず、オーナーのバイタルサインに基づいて動作選択すればよい。体温周期はオーナーの体調を判断する上では有用な情報であるが、一般的には体調良好とされる状態P2であっても実際に体調がよいとは限らない。状態P2にあるときでも、顔色が悪い、表情が険しい、ネガティブな発言やため息が検出されたときには、オーナーの不調に配慮した行動選択をしてもよい。基礎体温に限らずオーナーのバイタルサインに基づいて動作選択することで、生理不順、妊娠期、授乳期、閉経前などの様々なケースにおいても、オーナーの体調に配慮した行動が可能となる。また、女性オーナーの基礎体温の蓄積が無い場合でも、オーナーの体調に配慮した行動ができる。
図11は、眼画像174の外観図である。
第1の変形例として、ロボット100のデータ処理部136は、眼生成部および眼表示部を備えてもよい。この場合、ロボット100の目110は、眼画像174を表示させるディスプレイとして形成される。
第1の変形例として、ロボット100のデータ処理部136は、眼生成部および眼表示部を備えてもよい。この場合、ロボット100の目110は、眼画像174を表示させるディスプレイとして形成される。
眼生成部は、瞳画像164と周縁画像168を含む眼画像174を生成する。眼生成部は、眼画像174を動画表示させる。具体的には、瞳画像164を動かすことでロボット100の視線を表現する。また、所定のタイミングで瞬き動作を実行する。眼生成部は、さまざまな動作パターンにしたがって眼画像174の多様な動きを表現する。眼表示部は、目110のモニタに眼画像174を表示させる。モニタは、人間の眼球と同様、曲面形状を有することが望ましい。
瞳画像164は、瞳孔領域160と角膜領域162を含む。また、瞳画像164には、外光の映り込みを表現するためのキャッチライト166も表示される。眼画像174のキャッチライト166は、外光の反射によって輝いているのではなく、眼生成部により高輝度領域として表現される画像領域である。
眼生成部は、モニタにおいて、瞳画像164を上下左右に移動させることができる。ロボット100の認識部156が移動物体を認識したときには、眼生成部は瞳画像164を移動物体の存在方向に向けるような動作パターン(動画データ)を生成する。眼表示部は、この動作パターンにしたがって眼画像174の表示を変化させることにより、ロボット100の「注視」を表現する。
眼表示部は、配慮タイミングに至ったとき、眼画像174の表示形態を変化させてもよい。たとえば、キャッチライト166の形状をハート型に変化させてもよいし、瞳孔領域160のサイズや色彩を変化させてもよい。このように、眼表示部(配慮表示部)は、配慮タイミングに至ったことを認識したこと、あるいは、それにともなって特定行動(配慮行動)を実行中である旨を眼画像174に表示してもよい。眼表示部は、配慮中であることを文字情報として目110に直接的に表示してもよい。変形例において眼表示部として形成される配慮表示部は、目110に限らず、ロボット100が備える他の表示装置に配慮中である旨を示す画像情報あるいは文字情報を表示してもよい。配慮表示部は、配慮タイミングに至ったときに外部装置、たとえば、サーバ200にその旨を通知し、外部装置が配慮行動中である旨を画面表示させてもよい。
配慮タイミングに至ったときに限らず、ユーザが所定の状態にあること、たとえば、ユーザが状態P4にあること、状態P4にあることについての確信度が所定値以上となったことなど、報知の契機については任意に設定可能である。
図12は、第2の変形例における行動選択テーブル250のデータ構造図である。
以下においては、いつ、どのモーションを選ぶか、モーションを実現する上での各アクチュエータの出力調整など、ロボット100の行動制御に関わる設定のことを「行動特性」と総称する。ロボット100の行動特性は、モーション選択アルゴリズム、モーションの選択確率、モーションファイル等により定義される。
以下においては、いつ、どのモーションを選ぶか、モーションを実現する上での各アクチュエータの出力調整など、ロボット100の行動制御に関わる設定のことを「行動特性」と総称する。ロボット100の行動特性は、モーション選択アルゴリズム、モーションの選択確率、モーションファイル等により定義される。
ロボット100の動作判断部150は、行動選択テーブル250を参照して、各種のイベントに応じた行動(以下、「反応行動」とよぶ)を選択する。ここでいうイベントとは、たとえば、ユーザが朝になっても布団から出てこないこと、ユーザが不機嫌な表情をしていることなど、任意に定義可能である。行動選択テーブル250は、ロボット100の動作パターン格納部224に格納される。図12を参照すると、イベントE1に対しては、反応行動Y1〜Ymが対応づけられており、それぞれに選択確率が設定されている。ユーザが状態P1にあるときにイベントE1が発生したとき、動作判断部150は3%の確率で反応行動Y1を選択し、2%の確率で反応行動Y2を選択する。一方、状態P2においてイベントE2が発生したとき、動作判断部150は10%の確率で反応行動Y1を選択し、1%の確率で反応行動Y2を選択する。複数のユーザがいるときには、動作判断部150はもっとも親密度の高いユーザの状態に応じて反応行動を選択してもよいし、配慮すべきユーザの近くでは、そのユーザの状態に応じて反応行動を選択し、そのユーザから離れている場合は普段の反応行動を選択してもよい。
体調判定部226は、ユーザが状態P1〜P4のいずれの状態にあるかを判定する。動作判断部150は状態に応じてイベントに対する反応行動の選択確率を変化させる。このような制御方法によれば、ユーザの状態(体調)に応じてロボット100の行動特性を変化させることができる。このため、ユーザは、自分の体調にあわせてロボット100の行動全体が変化することを感じ取ることができる。ユーザの体調の変化にともなってロボット100の行動特性、特に、イベントに対する反応行動を変化させることにより、さりげなく「配慮」を示すことができる。たとえば、リビングでボールが転がると高い確率でボールを追いかけるという反応行動を示すロボット100であっても、ユーザが状態P4にあるとき、寝ているとき、発熱しているときにはボールを追いかけるという反応行動の選択確率を抑制してもよい。
図13は、第3の変形例における行動選択テーブル260のデータ構造図である。
第3変形例においては、ロボット100は、ユーザの種別および体調に応じて、行動選択を行う。人物認識部214は、ユーザの顔画像情報から既知の画像認識技術により、ユーザの年齢層、性別などのユーザ属性を判定する。図13に示す行動選択テーブル260は、ユーザが男児であるときのユーザの体調に応じた行動を定義する。図13を参照すると、男児の体調が状態C1のときには、動作判断部150は2%の確率で行動Z1を選択し、1.2%の確率で行動Z2を選択する。一方、体調が状態C2にあるときには、動作判断部150は3.2%の確率で行動Z1を選択し、4%の確率で行動Z2を選択する。
第3変形例においては、ロボット100は、ユーザの種別および体調に応じて、行動選択を行う。人物認識部214は、ユーザの顔画像情報から既知の画像認識技術により、ユーザの年齢層、性別などのユーザ属性を判定する。図13に示す行動選択テーブル260は、ユーザが男児であるときのユーザの体調に応じた行動を定義する。図13を参照すると、男児の体調が状態C1のときには、動作判断部150は2%の確率で行動Z1を選択し、1.2%の確率で行動Z2を選択する。一方、体調が状態C2にあるときには、動作判断部150は3.2%の確率で行動Z1を選択し、4%の確率で行動Z2を選択する。
体調判定部226は、画像認識おおび温度認識により、不機嫌な表情をしている、発熱しているなどの状態認識を行い、ユーザの体調と「好調」「不調」「発熱」「倦怠」「不機嫌」などの複数のカテゴリに分類する。たとえば、体調判定部226は、ユーザP1の行動を追跡し、就寝時刻と起床時刻を検出してユーザP1の就寝時間を判定してもよい。就寝時間が所定時間以下のときであって、ユーザP1が不快表情を見せた時、体調判定部226はユーザP1が睡眠不足で不機嫌な状態(第1の体調)にあると判定する。このときには、ユーザP1に近づく行動の選択確率が低くなるように設定しておけば、ロボット100が不機嫌なユーザP1を慮って行動を慎むという行動表現が可能となる。
また、ユーザP2が発熱しているとき、ユーザP2に近づいて見守る行動の選択確率が高くなるように行動選択テーブル260を設定してもよい。
行動選択テーブル260は、体調だけでなくユーザの種別によっても行動選択が変化するように定義されている。たとえば、老年女性が発熱しているときには、ロボット100はユーザの近くに着座して見つめる行動を高い確率にて選択し、男児が発熱しているときには男児を興奮させないように男児に近づく行動を控えるとしてもよい。このように、ユーザの体調だけではなく、ユーザの属性に応じて行動特性を変化させることにより、ユーザの状況に合わせた配慮行動が可能となる。また、動作選択だけではなく、男児が発熱しているときには、移動速度を低下させる、アクチュエータの駆動速度を低下させるなどの処理により、ロボット100の動作速度を抑制してもよい。
行動判断部140は、ユーザに触れられる距離(第1距離)までロボット100が接近するときには、最終的な接近地点に到達する前であって、ユーザがロボット100を意識できる距離、かつ、ユーザが触れられない距離(第1距離よりも長い第2距離)でいったん停止してユーザを見つめる仕草を実行してもよい。このように通常時であれば、連続して実行される一連の行動の中に、ためらいを感じさせる行動を加えることで、ロボット100は、ユーザの体調不良を理解し、心配し、配慮している様を表現する。また、このときに、認識部156はユーザの顔画像を取得し、表情認識部230は顔画像からユーザの表情確認をしてもよい。表情認識部230は、ユーザの表情を既知の表情認識技術により分類する。ユーザの表情が不快に対応づけられるカテゴリに分類されるときには、移動判断部138はユーザへの接近動作を停止する。あるいは、移動判断部138はユーザへの接近停止後、ユーザから離れるように移動方向を選択してもよい。ユーザの表情が上記カテゴリに分類されるときでも、ユーザが所定の接近許容行動を示したときには、移動判断部138はユーザへの接近を継続してもよい。ここでいう接近許容行動とは、たとえば、ユーザが(不快表情のあとに)笑顔を示すこと、「おいで」のような接近を許容する発話をすること(親愛用語の発話など)、手招きなどの接近を許容する仕草を示すこと、などである。
特定行動中は、上述したように特定行動中であることを画像または信号により外部通知をしてもよい。また、特定行動に際しては、たとえば、複合動作の一部として手106を揺らすなどの単位動作を含ませることにより、特定行動中であること、いいかえれば、配慮中であることを行動や仕草により示唆してもよい。ユーザが状態P4等の所定状態にあるときにも、動作判断部150はこのような動作変更をしてもよい。
上述したように、ロボット100は、ユーザの体調に応じて、イベントに対する反応行動の選択確率を変化させてもよい。また、イベントに関わらず、ユーザの体調に応じて行動特性を変化させてもよい。たとえば、サーバ200のデータ処理部202は、動作判断部150により選択されたロボット100の行動履歴を記録する履歴記録部、を備えてもよい。そして、ユーザが状態P4にあるときには、動作判断部150は、行動履歴において選択確率が所定値以下の「普段はしない動作」を所定値以上の確率にて選択し、あるいは、選択確率が所定値以上の「よくやる動作」を所定値以下の確率にて選択することにより「普段とは違う行動特性」を表現してもよい。
たとえば、ロボット100の動作判断部150は、朝の8時にリビングを3周するというルーティン行動(ジョギング)を実行してもよい。しかし、ユーザが状態P4にあるときにはこのルーティン行動を1周に短縮する、回転半径を小さくする、移動速度を下げる、ルーティン行動自体を実行しない、のように行動特性を変更してもよい。普段やっていることをやらないことでも行動特性の変化を表現可能である。
体調判定部226は、基礎体温の絶対値、生理周期以外のパラメータに基づいて上述の確信度を計算してもよい。たとえば、ユーザの動きが緩慢である、不機嫌な表情をしている、などさまざまな身体的特徴や行動的特徴についての条件が成立するとき確信度を加算または減算してもよい。
配慮タイミングは生理周期に限らず、体温が所定値を超えた、ユーザが不機嫌な表情をしているなどさまざまな条件に対応づけられてもよい。
認識部212は、ユーザが所定時間以上継続して移動していないことを検出したとき、移動判断部138はユーザへの接近を指示し、体温検出部152は安静状態にあるユーザの体温(基礎体温)を計測してもよい。
体調判定部226が女性オーナーは状態P4にあると判定したとき、移動判断部138は女性オーナーから所定距離だけ離れた地点を移動目標地点として設定し、行動判断部140は移動目標地点に到着後に着座を指示してもよい。また、女性オーナーが状態P4などの特定状態にあるときには、移動判断部138は女性オーナーのストレス源となる子どもにロボット100を近づけることで、子どもが女性オーナーに興味を持つのを防止してもよい。あるいは、部屋が散らかっているときには、移動判断部138は子どもを散乱物の場所に誘導し、手106で散乱物を示すことにより女性オーナーが怒る前に「片付け」をするように促してもよい。
図12を用いて説明した行動選択テーブル第2の変形例における行動選択テーブル250では、イベントに対応付けて反応行動を管理していたが、それぞれの反応行動に関連付けて、その行動による活動量を示す値を保持してもよい。更に、動作パターン格納部224には、体調判定部226に判定される各状態に対応付けて、許可される活動量の範囲を示す値が保持された活動量テーブルが格納される。動作判断部150は、体調判定部226により判定されたユーザの状態に応じた活動量の範囲を、活動量テーブルを参照して特定し、その活動量の範囲に収まる反応行動を選択してもよい。これにより、ユーザの体調が好調の場合には、活動量が高い反応行動を選択し、ユーザの体調が不調の場合には、好調時より活動量の低い反応行動を選択できる。
Claims (21)
- ロボットの動作を選択する動作判断部と、
前記動作判断部により選択された動作を実行する駆動機構と、
ユーザの体温を検出する体温検出部と、
ユーザの体温周期に基づいて、ユーザの体調を判定する体調判定部と、を備えることを特徴とする自律行動型ロボット。 - 前記動作判断部は、ユーザの体温が体温周期における所定タイミングに至ったとき、動作量を変化させることを特徴とする請求項1に記載の自律行動型ロボット。
- 前記動作判断部により選択される動作には、複数の単位動作から構成される複合動作が含まれ、
前記動作判断部は、ユーザの体温が体温周期における所定タイミングに至ったとき、複合動作に含まれる単位動作構成を変化させることを特徴とする請求項2に記載の自律行動型ロボット。 - 前記動作判断部により選択される動作には、複数の単位動作から構成される複合動作が含まれ、
前記動作判断部は、ユーザの体温が体温周期における所定タイミングに至ったとき、複合動作に含まれる第1の単位動作から第2の単位動作への移行時間を変化させることを特徴とする請求項2に記載の自律行動型ロボット。 - 前記所定タイミングに至ったとき、配慮行動中であることを表示させる配慮表示部、を更に備えることを特徴とする請求項2に記載の自律行動型ロボット。
- 前記体温検出部は、
非接触型温度センサにより体温検出する遠隔検出部と、
接触型温度センサにより体温検出する近接検出部と、を含むことを特徴とする請求項1から5のいずれかに記載の自律行動型ロボット。 - 前記動作判断部は、前記接触型温度センサによる体温検出のあと所定時間が経過したとき、ユーザへの接近行動を選択することを特徴とする請求項6に記載の自律行動型ロボット。
- 前記動作判断部は、前記非接触型温度センサにより検出されたユーザの体温が体温周期における所定タイミングに至ったとき、ユーザへの接近行動を選択することを特徴とする請求項6または7に記載の自律行動型ロボット。
- ユーザの表情を画像認識する表情認識部、を更に備え、
前記体調判定部は、ユーザの体温周期および表情に基づいて、ユーザの体調を判定することを特徴とする請求項1から8のいずれかに記載の自律行動型ロボット。 - 前記動作判断部は、ユーザの体温が体温周期における所定タイミングに至ったとき、あらかじめ定められた特定行動を選択することを特徴とする請求項1から9のいずれかに記載の自律行動型ロボット。
- ユーザの応対行動を認識する応対認識部、を更に備え、
前記動作判断部は、ユーザの体温が体温周期における所定タイミングに至ったとき複数種類の特定行動からいずれかの特定行動を選択し、前記選択された特定行動の実行後に認識される応対行動に応じて特定行動の選択確率を変化させることを特徴とする請求項10に記載の自律行動型ロボット。 - 前記動作判断部は、イベントと前記イベントに対して選択可能な複数の反応行動を定義する行動選択テーブルを参照してイベント成立時の反応行動を選択し、前記体温周期が所定期間にあるときとそれ以外の期間においては、異なる行動選択基準に基づいて反応行動を選択することを特徴とする請求項1から11のいずれかに記載の自律行動型ロボット。
- ロボットの動作を選択する動作判断部と、
前記動作判断部により選択された動作を実行する駆動機構と、
ユーザの生理周期に基づいて、ユーザの体調を判定する体調判定部と、を備えることを特徴とする自律行動型ロボット。 - ユーザのバイタルサインに基づいて動作を選択する動作判断部と、
前記動作判断部により選択された動作を実行する駆動機構と、を備え、
前記動作判断部は、選択された行動後におけるユーザの応対行動に応じて動作選択方法を変更することを特徴とする自律行動型ロボット。 - ユーザのバイタルサインに基づいて、前記ユーザの体調を判定する体調判定部と、
体調と前記体調に対して選択可能な1以上の反応行動を定義する行動選択テーブルを参照し、前記判定された体調に対応する反応行動を選択する動作判断部と、
前記選択された反応行動を実行する駆動機構と、を備えることを特徴とする自律行動型ロボット。 - ユーザの種別を判定する認識部、を更に備え、
前記行動選択テーブルにおいては、ユーザの種別および前記ユーザの体調に対して、選択可能な1以上の反応行動が定義され、
前記動作判断部は、前記ユーザの種別と前記判定された体調に対応する反応行動を選択することを特徴とする請求項15に記載の自律行動型ロボット。 - ユーザの種別を判定する認識部と、
ユーザの体温を検出する体温検出部と、
ロボットの動作を選択する動作判断部と、
前記動作判断部により選択された動作を実行する駆動機構と、を備え、
前記動作判断部は、前記ユーザが未成年の身体的特徴を備え、かつ、前記ユーザの発熱が検出されたとき、ロボットの動作速度を抑制することを特徴とする自律行動型ロボット。 - ユーザのバイタルサインに基づいて、前記ユーザの体調を判定する体調判定部と、
前記体調判定部により、ユーザが体調不良と判定された場合、ロボットの活動量を抑制する動作を選択する動作判断部と、
前記動作判断部による指示に応じてロボットを駆動する駆動機構と、を備えることを特徴とする自律行動型ロボット。 - ロボットの動作を選択する機能と、
前記選択された動作の実行を駆動機構に指示する機能と、
ユーザの体温を検出する機能と、
ユーザの体温周期に基づいて、ユーザの体調を判定する機能と、を自律行動型ロボットに発揮させることを特徴とするコンピュータプログラム。 - ロボットの動作を選択する機能と、
前記選択された動作の実行を駆動機構に指示する機能と、
ユーザの生理周期に基づいて、ユーザの体調を判定する機能と、を自律行動型ロボットに発揮させることを特徴とするコンピュータプログラム。 - ユーザのバイタルサインに基づいて動作を選択する機能と、
前記選択された動作の実行を駆動機構に指示する機能と、
選択された行動後におけるユーザの応対行動に応じて動作選択方法を変更する機能と、を自律行動型ロボットに発揮させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016101681 | 2016-05-20 | ||
JP2016101681 | 2016-05-20 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017568467A Division JP6495486B2 (ja) | 2016-05-20 | 2017-04-18 | 自律行動型ロボット及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019135078A true JP2019135078A (ja) | 2019-08-15 |
Family
ID=60325022
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017568467A Active JP6495486B2 (ja) | 2016-05-20 | 2017-04-18 | 自律行動型ロボット及びコンピュータプログラム |
JP2019040395A Pending JP2019135078A (ja) | 2016-05-20 | 2019-03-06 | 自律行動型ロボット及びコンピュータプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017568467A Active JP6495486B2 (ja) | 2016-05-20 | 2017-04-18 | 自律行動型ロボット及びコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11230014B2 (ja) |
JP (2) | JP6495486B2 (ja) |
CN (1) | CN109070332A (ja) |
DE (1) | DE112017002589T5 (ja) |
GB (1) | GB2564821A (ja) |
WO (1) | WO2017199662A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022102060A (ja) * | 2020-12-25 | 2022-07-07 | トヨタ自動車株式会社 | 制御装置、タスクシステム、制御方法及び制御プログラム |
WO2024071171A1 (ja) * | 2022-09-29 | 2024-04-04 | 日東電工株式会社 | ロボット、学習装置、制御方法およびプログラム |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016072116A1 (ja) * | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 制御システム、制御方法、および記憶媒体 |
JP6515899B2 (ja) * | 2016-10-04 | 2019-05-22 | トヨタ自動車株式会社 | 音声対話装置及びその制御方法 |
WO2019211932A1 (ja) * | 2018-05-01 | 2019-11-07 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム |
JP2021154393A (ja) * | 2018-07-12 | 2021-10-07 | ソニーグループ株式会社 | 制御装置、制御方法、及びプログラム |
US20220049947A1 (en) * | 2019-03-26 | 2022-02-17 | Sony Group Corporation | Information processing apparatus, information processing method, and recording medium |
CN110405794A (zh) * | 2019-08-28 | 2019-11-05 | 重庆科技学院 | 一种用于儿童的拥抱机器人及其控制方法 |
CN110664440A (zh) * | 2019-09-17 | 2020-01-10 | 深圳市启蒙智慧医疗科技有限公司 | 女性排卵检测方法及测温仪 |
US20210364363A1 (en) * | 2020-05-21 | 2021-11-25 | PackThermo Technologies, LLC | Telescanning |
CN111557649A (zh) * | 2020-05-22 | 2020-08-21 | 云知声智能科技股份有限公司 | 体温监测数据处理方法及装置 |
JP2021193511A (ja) * | 2020-06-08 | 2021-12-23 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US20220134544A1 (en) * | 2020-10-30 | 2022-05-05 | Honda Research Institute Europe Gmbh | System and method for continuously sharing behavioral states of a creature |
CN115427126B (zh) | 2020-12-10 | 2023-12-26 | 松下知识产权经营株式会社 | 机器人控制方法以及信息提供方法 |
WO2024071165A1 (ja) * | 2022-09-29 | 2024-04-04 | 日東電工株式会社 | ロボット、学習装置、制御方法およびプログラム |
WO2024071164A1 (ja) * | 2022-09-29 | 2024-04-04 | 日東電工株式会社 | ロボット、学習装置、制御方法およびプログラム |
WO2024071169A1 (ja) * | 2022-09-29 | 2024-04-04 | 日東電工株式会社 | ロボット、制御方法およびプログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001246580A (ja) * | 2000-03-03 | 2001-09-11 | Sony Corp | 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム |
US6650965B2 (en) * | 2000-03-24 | 2003-11-18 | Sony Corporation | Robot apparatus and behavior deciding method |
JP2002127059A (ja) * | 2000-10-20 | 2002-05-08 | Sony Corp | 行動制御装置および方法、ペットロボットおよび制御方法、ロボット制御システム、並びに記録媒体 |
EP1542101A1 (en) | 2002-09-20 | 2005-06-15 | Matsushita Electric Industrial Co., Ltd. | Interactive device |
JP4595436B2 (ja) * | 2004-03-25 | 2010-12-08 | 日本電気株式会社 | ロボット、その制御方法及び制御用プログラム |
JP2006039760A (ja) | 2004-07-23 | 2006-02-09 | Victor Co Of Japan Ltd | 移動ロボット |
US8909370B2 (en) * | 2007-05-08 | 2014-12-09 | Massachusetts Institute Of Technology | Interactive systems employing robotic companions |
US20110118870A1 (en) * | 2007-09-06 | 2011-05-19 | Olympus Corporation | Robot control system, robot, program, and information storage medium |
JP2009061547A (ja) * | 2007-09-06 | 2009-03-26 | Olympus Corp | ロボット制御システム、ロボット、プログラム及び情報記憶媒体 |
CN201304244Y (zh) * | 2008-11-14 | 2009-09-09 | 成都绿芽科技发展有限公司 | 多功能机器人 |
JP5688574B2 (ja) * | 2009-11-04 | 2015-03-25 | 株式会社国際電気通信基礎技術研究所 | 触覚提示付ロボット |
US8483873B2 (en) * | 2010-07-20 | 2013-07-09 | Innvo Labs Limited | Autonomous robotic life form |
JP2014145569A (ja) * | 2013-01-30 | 2014-08-14 | Daiwa House Industry Co Ltd | エネルギー消費機器制御システム、エネルギー消費機器制御方法及び制御装置 |
JP6127249B2 (ja) * | 2013-02-12 | 2017-05-17 | キューオーエル株式会社 | ホルモンバランス推定装置およびホルモンバランス推定方法 |
IL229370A (en) * | 2013-11-11 | 2015-01-29 | Mera Software Services Inc | Interface system and method for providing user interaction with network entities |
US20160193733A1 (en) * | 2014-03-27 | 2016-07-07 | Fatemah A.J.A. Abdullah | Robot for medical assistance |
JP6731227B2 (ja) * | 2015-10-02 | 2020-07-29 | シャープ株式会社 | 制御システム、動作決定装置、機器、制御方法、及び制御プログラム |
JP6726388B2 (ja) * | 2016-03-16 | 2020-07-22 | 富士ゼロックス株式会社 | ロボット制御システム |
CN106003089A (zh) * | 2016-07-03 | 2016-10-12 | 深圳市中幼国际教育科技有限公司 | 一种儿童智能陪伴机器人 |
-
2017
- 2017-04-18 DE DE112017002589.3T patent/DE112017002589T5/de not_active Ceased
- 2017-04-18 CN CN201780023392.5A patent/CN109070332A/zh not_active Withdrawn
- 2017-04-18 GB GB1818886.2A patent/GB2564821A/en not_active Withdrawn
- 2017-04-18 JP JP2017568467A patent/JP6495486B2/ja active Active
- 2017-04-18 WO PCT/JP2017/015525 patent/WO2017199662A1/ja active Application Filing
-
2018
- 2018-11-13 US US16/190,130 patent/US11230014B2/en active Active
-
2019
- 2019-03-06 JP JP2019040395A patent/JP2019135078A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022102060A (ja) * | 2020-12-25 | 2022-07-07 | トヨタ自動車株式会社 | 制御装置、タスクシステム、制御方法及び制御プログラム |
JP7452409B2 (ja) | 2020-12-25 | 2024-03-19 | トヨタ自動車株式会社 | タスクシステム、制御方法及び制御プログラム |
WO2024071171A1 (ja) * | 2022-09-29 | 2024-04-04 | 日東電工株式会社 | ロボット、学習装置、制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112017002589T5 (de) | 2019-04-25 |
US11230014B2 (en) | 2022-01-25 |
CN109070332A (zh) | 2018-12-21 |
JPWO2017199662A1 (ja) | 2018-07-05 |
JP6495486B2 (ja) | 2019-04-03 |
US20190077021A1 (en) | 2019-03-14 |
GB2564821A (en) | 2019-01-23 |
GB201818886D0 (en) | 2019-01-02 |
WO2017199662A1 (ja) | 2017-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6495486B2 (ja) | 自律行動型ロボット及びコンピュータプログラム | |
JP6467674B2 (ja) | スキンシップを理解する自律行動型ロボット | |
JP6475872B2 (ja) | 活動量をコントロールされる自律行動型ロボット | |
JP6402320B2 (ja) | 人見知りする自律行動型ロボット | |
JP6409206B2 (ja) | お出迎え行動する自律行動型ロボット | |
JP6472106B2 (ja) | 涼しさを求める自律行動型ロボット | |
JP2019149181A (ja) | 瞳を変化させる自律行動型ロボット | |
JP2019162714A (ja) | 音源の方向を認識するロボット | |
JP2019022935A (ja) | 服を着る自律行動型ロボット | |
JP6557840B2 (ja) | ロボット、サーバ及び行動制御プログラム | |
JP6671577B2 (ja) | 人を識別する自律行動型ロボット | |
JP2018192559A (ja) | 曲面形状のボディに対するタッチを検出する自律行動型ロボット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200309 |