JP2016198850A - 自律移動装置および自律移動装置の制御方法 - Google Patents

自律移動装置および自律移動装置の制御方法 Download PDF

Info

Publication number
JP2016198850A
JP2016198850A JP2015080337A JP2015080337A JP2016198850A JP 2016198850 A JP2016198850 A JP 2016198850A JP 2015080337 A JP2015080337 A JP 2015080337A JP 2015080337 A JP2015080337 A JP 2015080337A JP 2016198850 A JP2016198850 A JP 2016198850A
Authority
JP
Japan
Prior art keywords
attention
unit
person
situation
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015080337A
Other languages
English (en)
Other versions
JP6497185B2 (ja
Inventor
慶久 大原
Yoshihisa Ohara
慶久 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2015080337A priority Critical patent/JP6497185B2/ja
Priority to US15/078,726 priority patent/US9682482B2/en
Publication of JP2016198850A publication Critical patent/JP2016198850A/ja
Application granted granted Critical
Publication of JP6497185B2 publication Critical patent/JP6497185B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)

Abstract

【課題】観客の対象物への注目度を変化させることができる自律移動装置および自律移動装置の制御方法を提供することを目的とする。【解決手段】自律移動装置は、所定領域内に存在している人の位置と姿勢とを計測する計測部と、計測部によって計測された人の位置と姿勢とを示す情報に基づいて、人の第1注目状況を推定する注目状況推定部と、推定された第1注目状況と予め設定された第2注目状況とに基づいて、第1注目状況の補正を行う補正方針を決定する状況分析部と、決定された補正方針に対応する行動を決定する行動計画部と、を備える。【選択図】図2

Description

本発明は、自律移動装置および自律移動装置の制御方法に関する。
近年、ステージや会場等において、展示物の説明をロボットが行うことがある。ロボットが見学者の状況に応じて移動しながら展示物の説明をしていく場合、大型のスクリーンでの図表および文章の表示を用いて説明する状況や、展示物そのものを説明する状況がある。
ロボットが展示物の説明を行う場合、展示物を説明することが目的であるため、展示物に対して向けられた見物人の視線を遮ることなく、展示物と見学人の位置に応じてロボットが移動することで、展示物の説明を行うことが提案されている(例えば、特許文献1参照)。
また、ロボットの接客する人物が多数の場合、画像情報に基づいて各人物のロボットに対する関心度を判定し、この関心度を考慮して接客順を決定するシステムが提案されている(例えば、特許文献2参照)。
また、見学者が展示物やスクリーンの説明より、ロボットに注目してしまうことがあることが、知見として得られている。
特開2009−285818号公報 特開2009−248193号公報
しかしながら、特許文献1に記載の技術では、展示物に対して向けられた見物人の視線を遮ることを防ぐことができても、見物人の視線がロボットに注目することを防ぐことができなかった。
また、特許文献2に記載の技術では、ロボットに対する関心度の高い順に接客を行う。このため、特許文献2に記載の技術では、展示会のように複数の見学者に対して同時に対応したり説明物に対して説明しても、説明対象物に見物人を注目させることができず、見物人の視線がロボットに注目することを防ぐことができなかった。
本発明は、上記の問題点に鑑みてなされたものであって、観客の対象物への注目度を変化させることができる自律移動装置および自律移動装置の制御方法を提供することを目的とする。
(1)上記目的を達成するため、本発明の一態様に係る自律移動装置は、所定領域内に存在している人の位置と姿勢とを計測する計測部と、前記計測部によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定する注目状況推定部と、推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定する状況分析部と、決定された前記補正方針に対応する行動を決定する行動計画部と、を備える。
(2)また、本発明の一態様に係る自律移動装置において、前記注目状況推定部は、前記計測部によって計測された前記姿勢を示す情報に基づいて、前記所定領域内に存在している人が注目している注目方向を前記第1注目状況として推定するようにしてもよい。
(3)また、本発明の一態様に係る自律移動装置において、前記第2注目状況は、前記人に注目して欲しい対象物である着目物の位置及び前記着目物を示す情報を含み、前記注目状況推定部は、推定された前記注目方向と、前記人から前記着目物までの着目方向とを比較し、比較した結果に応じて前記人が前記着目物を注目しているか否かを判別するようにしてもよい。
(4)また、本発明の一態様に係る自律移動装置において、前記注目状況推定部は、複数の前記対象物がある場合、前記人から複数の前記対象物それぞれまでの着目方向それぞれを推定し、前記注目方向と、前記着目方向それぞれとの角度の差それぞれを算出し、算出したそれぞれの前記角度の差の中で最も値が小さい前記着目方向に対応する前記対象物を、前記人が注目している対象物であると推定するようにしてもよい。
(5)また、本発明の一態様に係る自律移動装置において、前記注目状況推定部は、算出したそれぞれの前記角度の差の中で最も値が小さい前記対象物の位置が、人の有効視野角以内である場合に、前記人が前記対象物を注目していると推定するようにしてもよい。
(6)また、本発明の一態様に係る自律移動装置において、前記注目状況推定部は、前記所定領域内に存在している複数の人それぞれについて、当該人が注目している前記対象物を前記第1注目状況として推定し、前記対象物それぞれについて、前記複数の人の中で、当該対象物を注目している人の割合を算出し、算出した前記割合に応じて、前記所定領域内に存在している前記複数の人が注目している前記対象物を推定するようにしてもよい。
(7)また、本発明の一態様に係る自律移動装置において、前記状況分析部は、前記注目状況推定部が推定した前記対象物と前記着目物とを比較して、前記所定領域内に存在している前記複数の人にうち所定の割合以上の人が、前記着目物を注目しているか否かを判別するようにしてもよい。
(8)また、本発明の一態様に係る自律移動装置において、前記状況分析部は、前記着目物を注目していない人が所定の割合以上と判別した場合に、前記注目方向を変化させるように注目状況の補正を行う補正方針を決定するようにしてもよい。
(9)また、本発明の一態様に係る自律移動装置において、前記状況分析部は、前記人が前記対象物を注目していないと判別した場合に、前記所定領域内に存在している前記複数の人のうち、前記自律移動装置を注目している人の割合を上げるか、当該自律移動装置を注目している人の割合を下げるかを、前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて決定するようにしてもよい。
(10)また、本発明の一態様に係る自律移動装置において、前記状況分析部は、前記自律移動装置へ注目している人の割合を上げると判別した場合、前記自律移動装置を経由して前記着目物への注目する人の割合を変化させるか、当該自律移動装置が着目物であり当該自律移動装置に注目する人の割合を変化させるかを、前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて前記補正方針として決定するようにしてもよい。
(11)また、本発明の一態様に係る自律移動装置において、前記状況分析部は、前記自律移動装置を注目している人の割合を下げると判別した場合、着目して欲しい前記対象物が設定されている場合に前記着目物を注目する人の割合を変化させるか、着目して欲しい前記着目物が設定されていない場合に前記対象物を注目する人の割合を変化させるかを、前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて前記補正方針として決定するようにしてもよい。
(12)また、本発明の一態様に係る自律移動装置は、前記補正方針に応じた行動候補が予め格納されている行動記憶部、を備え、前記行動計画部は、前記状況分析部によって決定された前記補正方針に応じて、前記行動記憶部に記憶されている前記行動候補の中から選択するようにしてもよい。
(13)また、本発明の一態様に係る自律移動装置において、前記行動計画部は、前記自律移動装置の予め定められている行動の妨げにならない前記行動候補を優先して選択するようにしてもよい。
(14)また、本発明の一態様に係る自律移動装置において、前記行動計画部は、前記自律移動装置の移動を伴わない前記行動候補を優先して選択するようにしてもよい。
(15)また、本発明の一態様に係る自律移動装置は、前記所定領域の画像を撮像する撮像部、を備え、前記計測部は、前記撮像部によって撮像された画像に基づいて、所定領域内に存在している人の前記注目方向を示す情報を計測するようにしてもよい。
(16)また、本発明の一態様に係る自律移動装置は、前記所定領域を、2つ以上の分割領域に分割する領域分割部、を備え、前記注目状況推定部は、前記分割領域毎に、前記計測部によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定し、前記状況分析部は、前記分割領域毎に、推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定し、前記行動計画部は、前記分割領域毎に、決定された前記補正方針に対応する行動を決定するようにしてもよい。
(17)また、本発明の一態様に係る自律移動装置において、前記行動計画部は、比較した結果、前記第1注目状況と前記第2注目状況とが異なっている前記分割領域がある場合、当該分割領域を、前記補正方針に基づいて前記自律移動装置を移動させる終点とするようにしてもよい。
(18)上記目的を達成するため、本発明の一態様に係る自律移動装置の制御方法は、計測部が、所定領域内に存在している人の位置と姿勢とを計測する計測手順と、注目状況推定部が、前記計測手順によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定する推定手順と、状況分析部が、前記推定手順によって推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定する状況分析手順と、行動計画部が、前記状況分析手順によって決定された前記補正方針に対応する行動を決定する行動決定手順と、を含む。
本発明の態様(1)および(18)の構成によれば、自律移動装置は、対象物に対する人の第1注目状況を推定し、推定された第1注目状況と予め設定された第2注目状況とに基づいて第1注目状況を第2注目状況になるように補正させ、この補正内容に対応する行動を決定するようにしたので、観客の対象物への注目度を変化させることができる。
また、上述した(2)の構成によれば、所定領域に複数の人が存在している場合であっても、少ない計算量で、各人の注目方向を推定することができる。
また、上述した(3)の構成によれば、人が注目している対象物が着目点と一致しているか否かを判別することができる。
また、上述した(4)の構成によれば、注目方向と着目方向との偏差に基づいて人が注目している対象物を推定することができる。
また、上述した(5)の構成によれば、人の視覚特性に基づいているので、人が注目している対象物を精度良く推定することができる。
また、上述した(6)の構成によれば、所定領域に存在している複数の人が、別々の対象物を注目している場合であっても、所定領域に存在している複数の人が注目している対象物を推定することができる。
また、上述した(7)の構成によれば、所定領域に存在している多数の人達が注目している対象物が着目点と一致していない場合に、注目方向を変化させるように注目状況の補正を行う補正方針を決定することができる。
また、上述した(8)の構成によれば、所定領域に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目点とに応じて、自律移動装置を注目している人の割合を上げるか、自律移動装置を注目している人の割合を下げるかを決定することができる。
また、上述した(9)の構成によれば、所定領域に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目点とに応じて、自律移動装置を経由して着目点への注目する人の割合を変化させるか、自律移動装置が着目して欲しい着目点であるかを補正方針として決定することができる。
また、上述した(10)の構成によれば、所定領域に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目点とに応じて、着目して欲しい対象物があるか、着目して欲しい着目物がないかを補正方針として決定することができる。
また、上述した(11)の構成によれば、所定領域に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目点とに応じて、着目して欲しい対象物があるか、着目して欲しい着目物がないかを補正方針として決定することができる。
また、上述した(12)の構成によれば、自律移動装置は、状況分析部によって選択された決定された行動候補に応じた行動を行うことができる。
また、上述した(13)の構成によれば、進行の妨げや、自律移動装置の行動の妨げにならないように行動候補を選択することができる。
また、上述した(14)の構成によれば、動作コストの高い移動を伴う行動候補を低い選択順位にすることができるので、ロボット1が有している電源の電力(電池の電気容量)を有効に利用することができる。
また、上述した(15)の構成によれば、撮像部で撮像した画像を用いて、各人の注目方向を検出するようにしたので、各人のz軸方向の注目方向を精度良く推定することができる。
また、上述した(16)の構成によれば、複数の分割領域毎に存在している人達が注目している状況と、予め定められている分割領域毎の着目点とが異なっている場合、異なっている領域に存在している人達が注目している状況を変化させることができる。
また、上述した(17)の構成によれば、複数の分割領域毎に存在している人達が注目している状況と、予め定められている分割領域毎の着目点とが異なっている場合、異なっている領域を移動の終点とすることで、運動量を低減することができる。
第1実施形態に係る会場の概略を説明する図である。 第1実施形態に係るロボットの概略のブロック図である。 第1実施形態に係る記憶部に記憶される情報の一例を説明する図である。 第1実施形態に係る記憶部に記憶される情報の一例を説明する図である。 第1実施形態に係るスクリーンの位置情報の一例を説明する図である。 第1実施形態に係る展示物の位置情報の一例を説明する図である。 第1実施形態に係るシナリオ記憶部に記憶されている情報の一例を説明する図である。 第1実施形態に係るシナリオ記憶部に記憶されているロボットへの注目度を変更する行動に関する情報の一例を説明する図である。 第1実施形態に係るセンサによる測定と計測部による処理を説明する図である。 第1実施形態に係る測距点をxy平面に投影した例を説明する図である。 第1実施形態に係るクラスタリング処理および人クラスタデータを生成する処理の手順のフローチャートである。 第1実施形態に係るステージ上の対象物の座標、人の位置、向き、注目方向の一例を説明する図である。 第1実施形態に係る人が注目しているxy平面における範囲を説明する図である。 第1実施形態に係る注目状況推定部が行う処理の手順のフローチャートである。 第1実施形態に係る状況分析部が行う処理の手順のフローチャートである。 時刻t0〜t6におけるシナリオ記憶部に記憶されている着目点と、領域6内に存在している観客が注目している対象物の一例を説明する図である。 時刻t1における領域内に存在している人の注目度を説明する図である。 第1実施形態に係る注目度の変更処理、行動候補の選択処理の手順を説明するフローチャートである。 第1実施形態に係る各ベクトルと人の有効視野角に基づく視野の範囲の一例を説明する図である。 第2実施形態に係るロボットの概略のブロック図である。 第2実施形態に係る記憶部に記憶される情報の一例を説明する図である。 第2実施形態に係る撮像部によって撮像された画像と有効視野角および人が注目している方向の一例を説明する図である。 第2実施形態に係るクラスタリング処理および人クラスタデータを生成する処理の手順のフローチャートである。 第3実施形態に係るロボットの概略のブロック図である。 第3実施形態に係るシナリオ記憶部に記憶されている情報の一例を説明する図である。 第3実施形態に係る領域を第1領域と第2領域との2つに分割した例を説明する図である。 第3実施形態に係る注目状況推定部が行う処理の手順のフローチャートである。 第3実施形態に係る本実施形態に係る状況分析部が行う処理の手順のフローチャートである。 時刻t0〜t6における第1領域に存在している人達が注目している対象物と、第2領域に存在している人達が注目している対象物の一例を説明する図である。 第3実施形態に係る領域を分割する他の例を説明する図である。 第3実施形態に係るロボットの移動経路を説明する図である。
まず、本発明の概要を説明する。
例えば、イベント会場において、人型のロボットがステージ上で司会進行を行う場合がある。このような状況では、予めロボットに、シナリオ、動作、及び音声信号などを記憶させておき、記憶させた動作を行わせながら、シナリオに応じたタイミングで記憶されている音声信号を再生させる場合がある。しかしながら、自律型のロボットは、まだ珍しいため、会場に存在している人(以下、観客ともいう)は展示物やスクリーンの説明より、ロボットに注目してしまうことがある。なお、シナリオとは、例えばイベント等で、時刻毎に説明文やロボットの行動、スクリーンに表示される映像などが予め定められているものである。
このため、本実施形態では、観客が注目している対象物が、説明の目的としている対象物と一致しているか否かを判別する。一致していない場合、ロボットは、ロボットへの注目度を上げ、または下げることで、観客の注目度を変更するように制御される。なお、本発明において注目度とは、所定の領域に存在している観客のうち、対象物を注目している人数の割合である。
以下、図面を参照しながら本発明の実施形態について説明する。また、以下の説明では、自律移動装置の一例として人型の自律型ロボットを例に説明を行うが、自律移動装置は、車輪がついていて自律的に移動できる装置等であってもよい。
[第1実施形態]
図1は、本実施形態に係る会場の概略を説明する図である。図1において、床に平行な面をxy平面、ステージ3の長手方向(左右方向)をx軸方向、ステージ3の奥行き方向をy軸方向、床からの高さ方向をz軸方向と定義する。
図1に示すように、会場にはステージ3があり、ステージ3の前方は、観客が存在する領域である。また、ステージ3上の左前方には、展示物4(対象物)が例えば展示台の上に展示され、ステージ3の後方には、スクリーン5(対象物)が設置されている。そして、ロボット1(対象物)が、状況に応じて自律的にステージ3上を移動しながら観客に対して説明を行う。
領域6(所定領域)は、後述するセンサによって観客が計測される領域である。図1に示す例では、領域6内に、11人の観客である人p1〜p11が存在している。以下、観客を特定しない場合は、単に人pという。
なお、図1に示した展示物4、スクリーン5の位置は一例であり、他の位置であってもよい。領域6も一例であり、領域の広さはセンサの特性、センサの個数等に応じた大きさであってもよい。
図2は、本実施形態に係るロボット1の概略のブロック図である。なお、図2においては、ロボット1の一般的な動作を制御する制御部、モータ、モータ駆動部、および電源部を省略して示している。
図2に示すように、ロボット1は、計時部10、計測部20、記憶部30、注目状況推定部40、シナリオ記憶部50(行動記憶部)、状況分析部60、注目度変更設定部70(状況分析部)、行動計画部80、行動制御部90、および音声出力部95を含んで構成される。また、ロボット1には、センサ2が接続されている。
センサ2は、距離センサであり、例えばLRF(Laser Range Finder;レーザレンジファインダー)センサ(距離測定部)である。n(nは1以上の整数)個のセンサ2は、検出した距離に関する距離情報を、ロボット1に送信する。ロボット1とn個のセンサ2とは、無線または有線で接続されている。
LRFセンサは、レーザ光を照射しながら、検知対象の空間を所定のピッチでスキャンして、レーザ光が物体に反射して戻ってくるまでの時間を測定することで、物体との距離と方向を測距点として検出する3次元の測域センサである。複数のLRFセンサそれぞれは、検出した測距点の情報(以下、測距点情報という)を、ロボット1に無線または有線によって送信する。なお、測距点情報には、測距点の番号(例えばステップ数)、x方向の単位ベクトル、y方向の単位ベクトル、センサ2と測距点との距離、及び測距点が正常であるか異常であるかを示す情報が対応付けられている。なお、xyの各軸方向は、センサ2を原点とした座標系である。LRFセンサそれぞれは、検知対象の空間の一部が重なるように人を俯瞰できる位置、例えば検知対象の空間の天井や壁などに設置される。なお、本実施形態では、センサの例として、LRFセンサを用いる例を説明するが、これに限られず、他のセンサであってもよい。
計時部10は、計時した時刻を示す時刻情報を状況分析部60、注目度変更設定部70、および行動計画部80に出力する。計時部10は、例えばロボット1が説明を開始するとき、初期化してカウントアップを開始するようにしてもよい。
計測部20は、センサ2から入力された測距点情報を用いて、測距点毎のxyzそれぞれの成分を算出する。具体的には、計測部20は、x方向の単位ベクトルとy方向の単位ベクトルとに、センサ2と測距点との距離を乗じることで、測距点のxyzそれぞれの成分を算出する。計測部20は、周知の座標変換手法によって、算出したxyz成分を、センサ2の座標系から例えばロボット1の座標系に変換する。なお、計測部20は、異常であることを示す情報が含まれている測距点については、xyz成分を算出しない。なお、本実施形態では、計測部20が、センサ2から入力された測距点情報を用いて、測距点毎のxyzそれぞれの成分を算出する例を説明したが、これに限られない。センサ2が、測距点毎のxyzそれぞれの成分を算出し、算出した測距点毎のxyzそれぞれの成分を計測部20に出力するようにしてもよい。
計測部20は、算出した測距点毎のx方向の成分とy方向の成分とを用いて、測距点をxy平面に投影する。投影された測距点を、投影点という。そして、計測部20は、xy平面に投影した複数の投影点を周知の手法を用いてクラスタに分類する(クラスタリングするともいう)。計測部20は、測距点を、例えば最短距離法などの階層的手法を用いて、分類を行う。なお、分類されたクラスタは、人毎の測距点の集合に相当する。クラスタに含まれる情報は、投影点のxy座標に、z成分が対応付けられている。そして、計測部20は、クラスタ毎に、クラスタの重心位置を人クラスタデータ位置として算出し、クラスタの向きを人pの向きとして算出する。ここで、人pの向きとは、図10を用いて後述するように、x軸方向に対する人pの体の角度である。また、計測部20は、算出した人pの向きに基づいて、人pが注目している方向を推定することで算出し、クラスタに含まれる投影点のうち、z成分が最も大きな値を人クラスタデータ高さとして算出する。なお、人pが注目している方向とは、人pの視線の方向であり、人pの高さ情報とは、例えば人pの床から鼻尖までの高さを示す情報である。さらに、計測部20は、領域6内のクラスタの総数を領域6内に存在している人pの総数Nとして算出する。計測部20は、クラスタ毎に算出した人クラスタデータ位置、人pの向き、人pが注目している方向、および人クラスタデータ高さを関連付けて人クラスタデータを生成し、生成した人クラスタデータを記憶部30に記憶させる。また、計測部20は、算出した領域6に存在している人pの総数Nを記憶部30に記憶させる。なお、人クラスタデータ、人pの総数Nを示す情報の算出方法、および人クラスタデータ位置の算出方法については後述する。
さらに、計測部20は、分類したクラスタ毎に識別子(ID)を付与し、識別子を付与したクラスタに対して所定のサンプリングタイミング毎にトラッキング処理を行う。計測部20は、例えば、トラッキング処理が失敗したクラスタを領域6に存在しなくなったと判別し、トラッキング処理が失敗した識別子が付与されたクラスタに関する情報を記憶部30から消去する。
なお、本実施形態では、人クラスタデータ位置、人pの向き、人pが注目している方向、人クラスタデータ高さ、および領域6に存在している人pの総数を示す情報を記憶部30に記憶させる例を説明したが、これらの情報を注目状況推定部40に出力するようにしてもよい。
記憶部30には、図3に示すように、各対象物の位置情報が記憶されている。なお、対象物とは、ロボット1、展示物4、またはスクリーン5のうち、少なくとも1つである。位置情報とは、スクリーン5が配置されている位置を示す情報、展示物4が配置されている位置を示す情報、およびロボット1の位置を示す情報である。図3は、本実施形態に係る記憶部30に記憶される情報の一例を説明する図である。図3に示す例では、スクリーン5の位置情報として、スクリーン5の四隅(図5参照)の座標((x11、y11、z11)、(x13、y11、z11)、(x11、y11、z13)、(x13、y11、z13))と重心の座標(x12、y11、z12)とが記憶されている。また、展示物4の位置情報として、展示物4の正面の四隅(図6参照)の座標((x21、y21、z21)、(x23、y21、z21)、(x21、y21、z23)、(x23、y21、z23))と重心の座標((x22、y21、z22))とが記憶されている。さらに、ロボット1の位置情報として、ロボット1の四隅の座標((x31、y31、z31)、(x33、y31、z31)、(x31、y31、z33)、(x33、y31、z33))と重心の座標((x32、y31、z32))とが記憶されている。なお、ロボット1は、自律的に移動するため、初期状態では、シナリオ記憶部50に記憶されているシナリオに従った初期の位置情報が記憶部30に記憶されていてもよい。また、座標の原点は、予め定められた点であり、例えば、ステージ3(図1参照)の左上の床面であってもよい。なお、記憶部30に記憶される情報は、例えば各対象物の重心の座標とxy平面における大きさを示す情報であってもよい。この場合、注目状況推定部40は、記憶されている情報を用いて、各対象物の四隅の座標を算出するようにしてもよい。または、記憶部30に記憶される情報は、各対象物の四隅の座標のみであってもよい。この場合、注目状況推定部40は、記憶されている情報を用いて、各対象物の重心の座標を算出するようにしてもよい。
また、記憶部30には、図4に示すように、領域6に存在している人p毎に、識別子、xy平面内の位置を示す情報(人クラスタデータ位置)、人pの向きを示す情報、人pの注目方向を示す注目方向情報、および高さ情報(人クラスタデータ高さ)が関連づけられた人クラスタデータとして記憶される。さらに、記憶部30には、図4に示すように、領域6に存在している人pの総数Nが記憶される。図4は、本実施形態に係る記憶部30に記憶される情報の一例を説明する図である。図4に示すように、例えば、識別子(ID)が1である人クラスタデータには、xy平面内の位置情報が(x41、y41)と、人の向き情報がA1−1と、注目方向情報がV−1と、高さ情報がz41とが関連付けられている。
図5は、本実施形態に係るスクリーン5の位置情報の一例を説明する図である。図5に示す例では、スクリーン5が平面スクリーンの例である。スクリーン5の位置情報は、スクリーン5の四隅の座標(x11、y11、z11)、(x13、y11、z11)、(x11、y11、z13)、(x13、y11、z13)と、重心の座標(x12、y11、z12)とである。
図6は、本実施形態に係る展示物4の位置情報の一例を説明する図である。図6に示す例では、展示物4は、テーブル7の上に展示されている。図6に示す例では、展示物4の位置情報は、観客から見て展示物4の正面の四隅の座標(x21、y21、z21)、(x23、y21、z21)、(x21、y21、z23)、(x23、y21、z23)と、重心の座標(x22、y21、z22)とである。なお、図5および図6の座標系は、図1と同じである。
図2に戻って、ロボット1の説明を続ける。
注目状況推定部40は、記憶部30に記憶されている対象物の位置情報と、人クラスタデータと、領域6に存在している人の総数Nとを読み出す。注目状況推定部40は、読み出した情報を用いて、人p毎の最も注目している対象物(第1注目状況)を推定して、推定した人p毎の推定結果(第1注目状況)を状況分析部60に出力する。なお、注目状況推定部40は、ロボット1が有する各種センサ(不図示)の検出値に基づいて、ロボット1の位置を推定する。ここで、推定結果には、ロボット1を注目していることを示す情報とロボット1を注目している観客の割合、着目して欲しい対象物を注目していることを示す情報と着目して欲しい対象物を注目している観客の割合、その他を注目している(含む注目している対象物がない)ことを示す情報とその他を注目している観客の割合のうち、少なくとも1つの情報と観客の割合とが含まれる。ここで、その他を注目している(含む注目している対象物がない)とは、観客が、対象物(ロボット1、着目して欲しい対象物)以外を注目している状況である。また、観客の割合と、人pが注目している対象物を推定する方法については、後述する。
シナリオ記憶部50には、図7に示すように、時刻と、その時刻に人pの着目して欲しい対象物(以下、着目点(第2注目状況)という)を示す情報と、説明文を示す情報と、ロボット1の移動予定位置を示す情報とが関連づけられて記憶されている。なお、着目点を示す情報には、着目して欲しい対象がないことを示す情報(第1注目状況)も含まれている。
図7は、本実施形態に係るシナリオ記憶部50に記憶されている情報の一例を説明する図である。図7に示す例では、時刻t0およびt1の時の着目点はスクリーン5であり、時刻t2およびt5の時の着目点はロボット1であり、時刻t3、t4、およびt6の時の着目点は展示物4である。また、図7に示す例では、シナリオの時刻t0において、ロボット1は、位置(x101、y101)に移動しながら、スクリーン5に投影されている画像についての説明文1の音声信号を出力することを表している。
また、シナリオ記憶部50には、図8に示すように、ロボット1への注目度を上げる行動に関する情報と、ロボット1への注目度を下げる行動に関する情報とが記憶されている。
図8は、本実施形態に係るシナリオ記憶部50に記憶されているロボット1への注目度を変更する行動に関する情報の一例を説明する図である。
図8に示すように、シナリオ記憶部50には、ロボット1への注目度を上げる行動に対して、着目して欲しい対象、脚部の動作の有り無し、行動候補、および条件が関連付けられて記憶されている。また、シナリオ記憶部50には、ロボット1への注目度を下げる行動に対して、着目して欲しい対象の有り無し、脚部の動作、行動候補、および条件が関連付けられて記憶されている。ここで、脚部の動作とは、ロボット1の脚部の動作を伴う行動であり、ロボット1が、歩行する動作、走る動作、ケンケン(片足跳び)する動作等である。脚部の動作を伴わない動作とは、観客に対して手を振る、観客を見る、観客に呼びかける、着目して欲しい対象を手で指す、着目して欲しい対象の名前を呼ぶ、着目して欲しい対象を持ってみせる、観客から視線をそらす(視線を切るともいう)等である。また、図8において、丸(○)印は、脚部の動作を伴う行動候補であることを表し、バツ(×)印は、脚部の動作を伴わない行動候補であることを表している。
また、図8に示すように、ロボットへの注目度を上げる行動としては、ロボット1が経由点である行動と、ロボット1が着目して欲しい対象そのものである場合の行動とに分類される。ロボット1が経由点である行動とは、一度、ロボット1に注目を集め、その後、着目して欲しい対象である展示物4に対する説明を行う等して観客が注目している対象物を、現在注目されている対象物から他の対象物へ変更する行動である。ロボット1が経由点の場合の行動とは、観客、展示物4、またはスクリーン5に対して衝突しない程度に適度に近づく、観客に手を振る、観客を見る、観客に呼びかける行動である。
ロボット1が着目して欲しい対象である場合の行動とは、走る、ケンケンする、観客を見る、観客に呼びかける、観客に近づく行動である。
また、図8に示すように、ロボットへの注目度を下げる行動としては、ロボット1以外に着目して欲しい対象がある場合の行動と、着目して欲しい対象が無い場合の行動とに分類される。ロボット1以外に着目して欲しい対象がある場合の行動は、展示物4またはスクリーン5などの対象物を指す、対象物の名前(または名称)を呼ぶ、対象物に近づく、対象物を持って見せる、対象物を持ってステージ上において領域中心に近づく行動である。着目して欲しい対象が無い場合の行動は、観客への視線を切る、観客から遠ざかる行動である。
また、ロボット1の動作や人間の動きを説明する場合は、説明を途中で妨げないように説明内容と関連していない動作を行わない必要があるため、行動候補として、走る、ケンケンするが選択される。
なお、本発明において、補正方針とは、シナリオ記憶部50に記憶されている時刻毎の予め定められている行動予定を変更しない方針、行動予定を変更する方針が含まれている。また、行動予定を変更する方針には、上述したようにロボット1への注目度を上げる行動の方針と、ロボット1への注目度を下げる行動の方針とが含まれている。そして、ロボット1への注目度を上げる行動の方針には、ロボット1を経由点とする行動の方針と、ロボット1が着目して欲しい対象そのものである場合の行動の方針とが含まれている。さらに、ロボット1への注目度を下げる行動の方針には、ロボット1以外に着目して欲しい対象がある場合の行動の方針と、着目して欲しい対象が無い場合の行動の方針とが含まれている。
図2に戻って、ロボット1の説明を続ける。
状況分析部60は、計時部10から入力される時刻情報に応じて、シナリオ記憶部50に記憶されている対応する時刻の着目点を示す情報を読み出す。状況分析部60は、読み出した着目点を示す情報と、注目状況推定部40から入力された推定結果とに基づいて、観客が注目している対象物がシナリオ記憶部50に記憶されている着目点と一致しているか否かを時刻毎に判別する。そして、状況分析部60は、時刻毎に判別した判別結果と着目点を示す情報とを、注目度変更設定部70に出力する。なお、判別結果は、人pが注目している対象物が着目点と一致していることを示す情報(判定結果1)、人pが注目している対象物が着目点と不一致であることを示す情報(判定結果2)のいずれか1つである。また、判定結果2には、人pが注目している対象物を示す情報が含まれている。
なお、観客が注目している対象物が着目点と一致しているか否かの判別方法については後述する。
注目度変更設定部70には、計時部10から時刻情報が入力され、状況分析部60から判定結果と着目点を示す情報とが入力される。注目度変更設定部70は、人pが注目している対象物が着目点と一致していることを示す情報が入力された場合、注目度に対する変更を行わないように設定(以下、無変更設定という)する。一方、注目度変更設定部70は、状況分析部60から人pが注目している対象物が着目点と不一致であることを示す情報が入力された場合、ロボット1への注目度を上げるか、ロボット1への注目度を下げるかを判別する。さらに、注目度変更設定部70は、入力された着目点を示す情報に基づいて、着目して欲しい対象が、ロボット1を経由して人pが注目している対象物への注目を変化させるか(以下、ロボット1が経由点という)、ロボット1が着目して欲しい対象であるのか、着目して欲しい対象物がロボット1以外であるのか、着目して欲しい対象がないのかを判別する。注目度変更設定部70は、無変更設定を示す情報、ロボット1が経由点であることを示す情報、ロボット1が着目して欲しい対象であることを示す情報、着目して欲しい対象物がロボット1以外であることを示す情報、着目して欲しい対象がないことを示す情報のうち、いずれか1つの設定を行動計画部80に出力する。
行動計画部80は、注目度変更設定部70から無変更設定が入力された場合、シナリオ記憶部50に記憶されているその時刻のシナリオ(説明文の発生、行動等)を継続、すなわち行動を補正しない補正方針を選択する。この場合、行動計画部80は、計時部10から入力された時刻情報に応じた説明分を示す情報、ロボット1の移動予定位置を示す情報を読み出し、読み出した情報を行動候補として、行動制御部90に出力する。
一方、行動計画部80は、注目度変更設定部70からロボット1が経由点であることを示す情報、ロボット1が着目して欲しい対象であることを示す情報、着目して欲しい対象物がロボット1以外であることを示す情報、着目して欲しい対象がないことを示す情報のうち、いずれか1つが入力された場合、シナリオ記憶部50から対応する行動候補を選択する。そして、行動計画部80は、選択した行動候補を行動計画に決定する。なお、行動候補の選択方法については後述する。行動計画部80は、選択した行動候補を示す情報を行動制御部90に出力する。
行動制御部90は、行動計画部80から入力された行動候補を示す情報と、前述したロボット1が備える各種センサの検出値とに応じて、ロボット1の発話、行動等を制御する。行動制御部90は、行動計画部80から説明分を示す情報が入力された場合、文字情報を周知の手法を用いて音声信号に変換し、変換した音声信号を、音声出力部95を介して出力する。
音声出力部95は、行動制御部90から入力された音声信号を出力し、例えばスピーカーである。
<人クラスタデータの生成>
次に、計測部20が行う人クラスタデータの生成方法の一例を説明する。
図9は、本実施形態に係るセンサ2による測定と計測部20による処理を説明する図である。図9における座標系は図1と同じである。図9に示す例では、人p1と人p2が、存在している。
また、図9に示す例では、検出対象の空間の天井に2つのセンサ2−1とセンサ2−2が、距離L1の間隔で設置されている。領域111は、センサ2−1の検出可能な領域(以下、検出領域という)を示し、領域112は、センサ2−2の検出領域を示している。また、図9に示した例では、所定の高さ以上の測距点(121〜126、131〜136)を示している。
図9に示す例では、センサ2−1の検出領域111及びセンサ2−2の検出領域112に人p1と人p2がいる。
測距点121〜126は、人p1に対する測距点であり、測距点131〜136は、人p2に対する測距点である。測距点は、例えば、人の頭頂部、耳、鼻尖、肩などに対応する点である。
測距点122〜125がセンサ2−1によって測定された測距点であり、測距点126および測距点131〜136がセンサ2−2によって測定された測距点である。
計測部20は、センサ2−1および2−2から取得した測距点に含まれている情報を用いて、x、y、zの各軸成分を算出する。計測部20は、測距点の算出したxyz軸成分のうち、z軸成分の値が所定の値以上の測距点を、各測距点の情報に含まれるx軸成分とy軸成分を用いて、点141〜146、点151〜156に示すようにxy平面に投影する。図9において、点141〜146は、人p1の測距点121〜126をxy平面に投影した点である。点151〜156は、人p2の測距点131〜136をxy平面に投影した点である。計測部20は、xy平面に投影した投影点をクラスタに分類するクラスタリング処理を行う。クラスタリング処理により、測距点121〜126が、人p1の人クラスタデータとして生成され、測距点131〜136が、人p2の人クラスタデータとして生成される。
図10は、本実施形態に係る測距点をxy平面に投影した例を説明する図である。図10に示す例では、測距点121が頭頂部、測距点124が鼻尖、測距点125が左肩、および測距点126が右肩に対応する。また、図10において、線分L11は、左右の肩に対応する測距点を結んだ線分、線分L12は、測距点124を通り線分L11と垂直な線分である。また、角度A1は、線分L11のx軸に対する角度、角度Vfは、線分L12のx軸に対する角度(=90度+A1)である。
計測部20は、角度A1(姿勢)、角度Vf(姿勢)を用いて、人pの向き(第1注目状況)を検出する。
なお、図10に示した例では、鼻尖に対応する測距点も用いて人pの向きを検出する例を説明したが、これに限られない。一般的に、会場では、ステージに背を向けている(姿勢)人は少ない。このため、観客が前方を向いていると仮定し、頭頂部に対応する測距点121と、左肩に対応する測距点125と、右肩に対応する測距点126とを用いて、人pの向きを検出するようにしてもよい。
次に、クラスタリング処理、および人クラスタデータの生成の処理の手順を説明する。
図11は、本実施形態に係るクラスタリング処理および人クラスタデータを生成する処理の手順のフローチャートである。
(ステップS101)計測部20は、各センサ2から入力され測距点に含まれている情報を用いて、x、y、zの各軸成分を算出する。続けて、計測部20は、算出したz軸成分の値が所定の値以上の測距点を、各測距点の情報に含まれるx軸成分とy軸成分を用いて、xy平面に投影する。計測部20は、処理をステップS102に進める。
(ステップS102)計測部20は、xy平面に投影した投影点をクラスタに分類する。計測部20は、処理をステップS103に進める。
(ステップS103)計測部20は、分類したクラスタ毎に、クラスタに含まれる投影点に対応する測距点のうち、鼻尖に対応する測距点のz軸成分を抽出し、抽出したz軸成分をそのクラスタの人クラスタデータ高さとする。計測部20は、処理をステップS104に進める。
(ステップS104)計測部20は、分類したクラスタ毎に、クラスタに含まれる投影点の重心位置を算出し、算出した重心位置を人クラスタデータ位置とする。なお、計測部20は、人クラスタデータに含まれる測距点の重心点を人クラスタデータ位置としてもよく、または、頭頂に相当する測距点を人クラスタデータ位置としてもよい。なお、各人クラスタデータ位置には、x軸方向およびy軸方向の値が少なくとも含まれている。計測部20は、処理をステップS105に進める。
(ステップS105)計測部20は、分類したクラスタ毎に、各人の向きを推定する。例えば、計測部20は、左右の肩に対応する測距点を結んだ線分L11(図9参照)のx軸に対する角度を、人pのx軸方向に対する向き(以下、単に向きという)であると推定する。このとき、鼻尖に対応する測距点がある方向を人pの前方であると推定する。計測部20は、処理をステップS106に進める。
(ステップS106)計測部20は、クラスタ毎の人クラスタデータ位置と、人クラスタデータ高さと、クラスタに含まれるxy平面に投影した測距点の情報と、人pの向きを示す情報(第1注目状況)とを関連づけてクラスタ毎の人クラスタデータを生成し、生成したクラスタ毎の人クラスタデータを記憶部30に記憶させる。以上のように、人クラスタデータには、人クラスタデータ位置、人クラスタデータ高さ、クラスタに含まれるxy平面に投影した測距点の情報、及び人pの向きを示す情報が含まれている。計測部20は、処理をステップS107に進める。
(ステップS107)計測部20は、作成した人クラスタデータの個数を、領域6(図1参照)に存在している人の総数Nとして算出し、算出した領域6に存在している人の総数Nを記憶部30に記憶させる。
以上で、クラスタリング処理及び人クラスタデータを生成する処理を終了する。
なお、センサ2が複数の場合、計測部20は、例えば、複数のセンサ2から入力された距離情報(測距点)を統合した後、ステップS101〜S107の処理を行う。または、計測部20は、センサ2の距離情報毎にステップS101〜S103の処理を行った後、処理した情報を統合して、統合した情報を用いてステップS104以降の処理を行うようにしてもよい。なお、統合とは、異なるセンサ2の距離情報を用いて分類された1人の人に対する複数のクラスタを、クラスタの重心位置を示す情報に基づいて、1つのクラスタに統合することである。
<着目点、人が注目している範囲>
次に、ステージ3上のロボット1、展示物4、スクリーン5、及び人pの位置(人クラスタデータ位置)、人が向いている向き等の関係について説明する。
図12は、本実施形態に係るステージ3上の対象物の座標、人pの位置、向き、注目方向の一例を説明する図である。なお、図12の座標系は、図1と同じである。図12に示す例において、スクリーン5のx軸方向の範囲は(x11)〜(x13)であり、重心のx軸方向の座標は(x12)である。展示物4のx軸方向の範囲は(x21)〜(x23)であり、重心のx軸方向の座標は(x22)である。ロボット1のx軸方向の範囲は(x31)〜(x33)であり、重心のx軸方向の座標は(x32)である。
また、図12において、ステージ3の後方にはスクリーン5があり、ステージ3の左側前方には展示物4が置かれており、ステージ3の右側前方にはロボット1が存在し、ステージ3を人pが注目している。なお、図12の説明では、説明を簡単にするために、所定の領域6内に存在している人のうち、1人のみを例に示している。
図12に示す例において、人pは、座標(x41、y41)の位置に存在している。また、人pの向きであるx軸方向に対する角度はφであり、人pが注目している方向と距離を示すベクトルはVである。図12に示す例では、ベクトルVの終点は、スクリーン5上である。
線分L2は、人pのxy平面(水平)における有効視野角A3の範囲を示している。すなわち、注目状況推定部40は、人pが注目しているxy平面の範囲を、有効視野角A3の範囲内であると見なす。なお、本実施形態において、有効視野角とは、人間が情報を得られる視野の範囲で有り、例えば水平方向(xy平面)が約30度、垂直方向(yz平面)が約20度である。なお、有効視野角の各角度は一例で有り、これに限られず任意の角度に設定するようにしてもよい。なお、xy平面の有効視野角を平面有効視野角ともいい、垂直方向の有効視野角を、鉛直有効視野角ともいう。
また、図12において、符号Vexは、人pから展示物4への方向と距離とを表すベクトルを示している。ベクトルVexは、例えば、人pの位置の座標(x41、y41)を基点とし、展示物4のxy平面における重心の座標(x22、y21)を終点とするベクトルである。符号Vsrは、人pからスクリーン5への方向と距離とを表すベクトルを示している。ベクトルVsrは、例えば、人pの位置の座標(x41、y41)を基点とし、スクリーン5のxy平面における重心の座標(x12、y11)を終点とするベクトルである。符号Vroは、人pからロボット1への方向と距離とを表すベクトルを示している。ベクトルVroは、例えば、人pの位置の座標(x41、y41)を基点とし、ロボット1のxy平面における重心の座標(x32、y31)を終点とするベクトルである。
人pが注目している範囲について、さらに説明する。
図13は、本実施形態に係る人が注目しているxy平面における範囲を説明する図である。
図13において、角度φは、人pのx軸に対する角度である。このため、人pがスクリーン5に対して正面を向いている場合の角度は0度であり、人pがスクリーン5に対して真横を向いている場合の角度は90度である。
図13に示す例において、人pから対象物の重心(対象物重心ともいう)までの距離をLとする。人pが正面を向いている場合、xy平面において人pが注目していると推定される範囲は、前述した水平方向(xy平面)の有効視野角に基づいて、次式(1)のように表される。
[数1](注目している範囲)=2L×tan((有効視野角)/2) …(1)
また、人pがx軸に対して角度φの向きの場合、人pが向いている角度において注目していると推定される範囲は、式(1)である。このため、この範囲をy軸方向に換算すると、次式(2)のように表される。
[数2](注目している範囲)=2L×tan((有効視野角)/2)×sinφ …(2)
本実施形態では、式(1)または式(2)に基づいて、人pがxy平面で注目している範囲を注目状況推定部40が推定する。
なお、注目状況推定部40は、垂直方向においても、前述した垂直方向の有効視野角を用いて、式(1)または式(2)における人pがyz平面で注目している範囲を注目状況推定部40が推定するようにしてもよい。
<注目の割合の算出>
まず、本実施形態において、領域6内に存在する観客が注目している対象物がある、注目している対象物がない、と判断する際の閾値について説明する。本実施形態では、以下のように、ロボット1が着目して欲しい対象物(または何れも着目して欲しくない)の場合と、その他の場合とで使い分ける。
・(場合1)ロボット1が着目して欲しい対象物(または何れも着目して欲しくない)
1−(ロボット1を注目している人の割合)=(その他を注目している人の割合) …(3)
場合(1)では、式(3)より、対象物を注目しているか否かの判別に用いる閾値を50%とする。そして、注目状況推定部40は、“その他を着目している人の割合”が50%以上のとき、観客が注目しているものがないと推定し、“その他を着目している人の割合”が50%未満のとき、観客がロボット1に注目しているものと推定する。
・(場合2;その他の場合)ロボット1以外の対象物が着目して欲しい対象物である
1−(着目して欲しい対象物を注目している割合)−(ロボット1を注目している割合)=(その他を着目している割合) …(4)
場合(2)では、式(4)より、対象物を注目しているか否かの判別に用いる閾値を33%とする。そして、注目状況推定部40は、“その他を着目している人の割合”が33%以上のとき、観客が注目しているものがないと推定する。また、注目状況推定部40は、“その他を着目している人の割合”が33%未満のとき、着目して欲しい対象物を注目している割合とロボット1を注目している割合とを比較し、割合が大きい方を観客が注目しているものとして推定する。
次に、注目状況推定部40及び状況分析部60が行う処理について説明する。
図14は、本実施形態に係る注目状況推定部40が行う処理の手順のフローチャートである。
(ステップS201)注目状況推定部40は、記憶部30から人p毎に人クラスタデータ位置と人pの向きを示す情報を読み出す。次に、注目状況推定部40は、記憶部30から各対象物の位置情報を読み出す。次に、注目状況推定部40は、各対象物それぞれのxy平面における重心の座標を抽出する。注目状況推定部40は、処理をステップS202に進める。
(ステップS202)注目状況推定部40は、記憶部30から着目点を示す情報を読み出す。注目状況推定部40は、処理をステップS203に進める。
(ステップS203)注目状況推定部40は、記憶部30から領域6内の人数Nを示す情報を読み出す。注目状況推定部40は、処理をステップS204に進める。
(ステップS204)注目状況推定部40は、読み出した情報を用いて、人pが注目している方向を表すベクトルVを人p毎に推定する。注目状況推定部40は、処理をステップS205に進める。
(ステップS205)注目状況推定部40は、各人pの人クラスタデータ位置と人pの向きを示す情報、および各対象物の位置情報を用いて、人p毎に、ベクトルVsr、ベクトルVex、およびベクトルVroを算出する。注目状況推定部40は、処理をステップS206に進める。
(ステップS206)注目状況推定部40は、人pが注目している方向を表すベクトルVと、対象物へのベクトル(Vsr、Vex、およびVro)との各偏差を、人p毎に算出する。注目状況推定部40は、処理をステップS207に進める。
(ステップS207)注目状況推定部40は、ステップS206で算出した水平方向の偏差が15度未満のものを人p毎に抽出する。具体的には、注目状況推定部40は、ベクトルVとベクトルVroとの角度の差(偏差ともいう)を算出した値が、15度(=30度/2)未満である場合、人pがロボット1を最も注目していると推定する。または、注目状況推定部40は、ベクトルVとベクトルVexとの角度の偏差が、15度未満である場合、人pが展示物4を最も注目していると推定する。または、注目状況推定部40は、ベクトルVとベクトルVsrとの角度の偏差が、15度未満である場合、人pがスクリーン5を最も注目していると推定する。次に、注目状況推定部40は、注目していると推定された対象物のうち、最も偏差が少ない対象物を、人pが最も注目している対象物であると推定する。なお、偏差が同じ対象物が所定の範囲内に複数ある場合、注目状況推定部40は、人pから距離が近い方を注目している対象物であると推定する。次に、注目状況推定部40は、推定した結果に基づいて、ロボット1を注目している人数Nrob_seeと、ロボット1以外の着目して欲しい対象物を注目している人数Nex_seeとを算出する。注目状況推定部40は、処理をステップS208に進める。
(ステップS208)注目状況推定部40は、記憶部30から読み出した着目点を示す情報が、ロボット1が着目点であるかまたは着目して欲しい対象物がないであるか否かを判別する。注目状況推定部40は、ロボット1が着目点または着目して欲しい対象物がないと判別した場合(ステップS208;YES)、ステップS209に処理を進め、その他の場合であると判別した場合(ステップS209;NO)、ステップS211に処理を進める。
(ステップS209)注目状況推定部40は、領域6に存在している人の総数Nに対する人数Nrob_seeとの割合(注目度)であるNrob割合を算出する。注目状況推定部40は、ステップS210に処理を進める。
(ステップS210)注目状況推定部40は、前述した式(3)にNrob割合を代入して、その他を注目している人の割合を算出する。次に、注目状況推定部40は、算出したその他を注目している人の割合が50%以上であるか否かを判別する。注目状況推定部40は、その他を注目している人の割合が50%以上であると判別した場合(ステップS210;YES)、ステップS213に処理を進め、その他を注目している人の割合が50%未満であると判別した場合(ステップS210;NO)、ステップS214に処理を進める。
(ステップS211)注目状況推定部40は、領域6に存在している人の総数Nに対する人数Nrob_seeとの割合であるNrob割合と、領域6に存在している人の総数Nに対する人数Nex_seeの割合であるNex割合と、を算出する。注目状況推定部40は、ステップS212に処理を進める。
(ステップS212)注目状況推定部40は、前述した式(4)にNrob割合及びNex割合を代入して、その他を注目している人の割合を算出する。次に、注目状況推定部40は、算出したその他を注目している人の割合が33%以上であるか否かを判別する。注目状況推定部40は、その他を注目している人の割合が33%以上であると判別した場合(ステップS212;YES)、ステップS213に処理を進め、その他を注目している人の割合が33%未満であると判別した場合(ステップS211;NO)、ステップS214に処理を進める。
(ステップS213)注目状況推定部40は、領域6内の観客が、注目しているものがないと判別し、処理を終了する。
(ステップS214)注目状況推定部40は、ステップS210で判別した結果が50%未満の場合、観客がロボット1を注目していると推定する。
また、注目状況推定部40は、ステップS212で判別した結果が33%未満の場合、Nrob割合とNex割合とを比較する。次に、比較した結果、Nrob割合がNex割合より大きい場合に、注目状況推定部40は、観客がロボット1を注目していると推定する。または、比較した結果、Nex割合がNrob割合より大きい場合に、注目状況推定部40は、観客がロボット1以外の着目点を注目していると推定する。観客がロボット1以外の着目点を注目していると推定した場合、注目状況推定部40は、ステップS207で算出した偏差に基づいて、観客が注目している対象物が展示物4であるか、スクリーン5であるかを推定する。本実施形態では、注目状況推定部40によって推定された推定結果を、観客が最も注目している対象物という。次に、注目状況推定部40は、推定した推定結果を状況分析部60に出力する。
なお、注目状況推定部40は、ステップS201〜S214の処理を、所定の時間毎に行う。所定の時間毎とは、例えば100[msec]毎である。
以上で、注目状況推定部40が行う推定処理を終了する。
また、ステップS210において用いる50%、及びステップS212で用いる33%は一例であり、これに限られない。値は50%または33%に限られず、実験等によって求めた値であってもよく、予め定められた他の値であってもよい。例えば、この比較する値は、説明分が選択形式の場合、設問の数に応じた値や、領域6に存在している人数に応じたものであってもよい。
<状況分析の説明>
次に、状況分析部60が行う処理について説明する。
図15は、本実施形態に係る状況分析部60が行う処理の手順のフローチャートである。
(ステップS301)状況分析部60は、計時部10から入力される時刻情報を取得する。状況分析部60は、処理をステップS302に進める。
(ステップS302)状況分析部60は、取得した時刻情報に応じた時刻と関連づけられている着目点を示す情報を、シナリオ記憶部50から読み出す。状況分析部60は、処理をステップS303に進める。
(ステップS303)状況分析部60は、シナリオ記憶部50から読み出した着目点を示す情報と、注目状況推定部40から入力された推定結果とを比較する。状況分析部60は、処理をステップS304に進める。
(ステップS304)状況分析部60は、推定結果に含まれる最も注目されている対象物と着目点とが一致するか否かを判別する。状況分析部60は、最も注目されている対象物と着目点とが一致すると判別した場合(ステップS304;YES)、ステップS305に進み、最も注目されている対象物と着目点とが一致していないと判別した場合(ステップS304;NO)、ステップS306に進む。
(ステップS305)状況分析部60は、最も注目されている対象物と着目点とが一致していると判別する。次に、状況分析部60は、判別した判別結果を注目度変更設定部70に出力し、一連の処理を終了する。
(ステップS306)状況分析部60は、最も注目されている対象物と着目点とが一致していないと判別する。次に、状況分析部60は、判別した判別結果を注目度変更設定部70に出力し、一連の処理を終了する。
なお、状況分析部60は、ステップS301〜S306の処理を、所定の時間毎に行う。所定の時間毎とは、例えば100[msec]毎である。
なお、図15に示した例では、ロボット1を注目している人の割合であるNrob割合と、その他の対象物を注目している人の割合であるNex割合とを用いる例を説明したが、これに限られない。状況分析部60は、展示物4を注目している人数Nobj_see及び展示物4を注目している人の割合であるNobj割合、スクリーン5を注目している人数Nsr_see及びスクリーン5を注目している人の割合であるNsr割合、対象物を注目していない人数Nnon_see及び対象物を注目していない人の割合であるNnonも用いて、観客が注目している対象物を推定するようにしてもよい。
<注目度変更設定、行動計画の説明>
次に、注目度変更設定部70、行動計画部80、および行動制御部90が行う処理の一例について説明する。
図16は、時刻t0〜t6におけるシナリオ記憶部50に記憶されている着目点と、領域6内に存在している観客が注目している対象物の一例を説明する図である。なお、図16に示す例は、領域6内に存在している観客が注目している対象物は、領域6内に存在している観客のうち50%以上の観客が注目している対象物である例である。なお、時刻t0と時刻t1との間隔は、例えば10秒である。
図17は、時刻t1における領域6内に存在している人の注目度を説明する図である。
図16に示す例において、符号201が示す領域の列の情報は、図7で説明したシナリオ記憶部50に記憶されている各時刻の着目点の情報である。また、符号202が示す領域の列の情報は、領域6内の観客が注目している各時刻の対象物を示す情報である。この例では、時刻t0、t2、t3、t5、およびt6のとき、シナリオの着目点と、観客が注目している対象物とが一致している。そして、時刻t1およびt4のとき、シナリオの着目点と、観客が注目している対象物とが一致していない。
図17に示す例では、時刻t1において、領域6内に人p1〜p11の11人が存在している例である。そして、領域6内に存在している人のうちスクリーン5を最も注目している人数Nsr_seeが3人(人p1、人p2、人p6)、展示物4を最も注目している人数Nobj_seeが1人(人p4)、ロボット1を最も注目している人数Nrob_seeが7人(人p3、人p5、人p7〜人p11)である。このため、時刻t1において、ロボット1を最も注目しているNrob割合が約63.6%(=7/11×100)、展示物4を最も注目しているNobj割合が約9.1%(1/11×100)、スクリーン5を最も注目しているNsr割合が約27.3%(3/11×100)である。また、いずれの対象物も注目していない人数Nnon_seeが0人であり、対象物を注目していないNnon割合が0%である。ロボット1を最も注目しているNrob割合は、割合が最も大きく且つ割合が50%を越えているため、状況分析部60は、観客が最も注目している対象物がロボット1であり、着目点と一致していないと判別する。すなわち、Nrob割合、Nex割合、Nsr割合、およびNrob割合それぞれは、各対象物に対する注目度である。
なお、本実施形態では、割合を百分率で算出する例を説明したが、単に比であってもよい。
時刻t1において、注目して欲しい着目点と、注目している対象物とが一致していないため、注目度変更設定部70は、時刻t1から時刻t2の間に、人が注目している対象物をロボット1からスクリーン5に変更する必要がある。
このため、注目度変更設定部70は、ロボット1への注目度を上げるか、ロボット1への注目度を下げるかを判別する。さらに、注目度変更設定部70は、入力された着目点を示す情報に基づいて、注目して欲しい対象について、ロボット1が経由点であるのか、ロボット1が見て欲しい対象であるのか、見て欲しい対象物がロボット1以外であるのか、見て欲しい対象がないのかを判別する。
行動計画部80は、注目度変更設定部70からロボット1が経由点であることを示す情報、ロボット1が見て欲しい対象であることを示す情報、見て欲しい対象物がロボット1以外であることを示す情報、見て欲しい対象がないことを示す情報のうち、いずれか1つが入力された場合、シナリオ記憶部50から対応する行動候補を選択する。そして、行動計画部80は、選択した行動候補を行動計画に決定する。
時刻t1において、行動計画部80は、ロボット1への注目度を下げる行動の中から、見て欲しい対象があるため、展示物4またはスクリーン5などの対象物を指す、対象物の名前(または名称)を呼ぶ、対象物に近づく、対象物を持って見せる、対象物を持って観客に近づく行動の中から選択する。なお、行動計画部80は、説明の腰を折らない条件に合う行動候補を選択する。説明の腰を折る行動とは、例えば、展示物4の説明を行っているときに、急に走り出したり、ケンケンを行ったりすると、説明が中断されてしまう場合がある。
そして、行動計画部80は、候補となる行動候補が複数有る場合、ロボット1の脚部の動作を伴わない行動を優先する。また、同列の行動候補が複数ある場合、行動計画部80は、その候補の中からランダムに選択する。または、注目度変更設定部70は、シナリオ記憶部50に記憶されている順番に選択するようにしてもよい。
図18は、本実施形態に係る注目度の変更処理、行動候補の選択処理の手順を説明するフローチャートである。
(ステップS401)注目度変更設定部70は、計時部10から入力される時刻情報を取得する。注目度変更設定部70は、処理をステップS402に進める。
(ステップS402)注目度変更設定部70は、状況分析部60から入力された判別結果が、判定結果1であるか判定結果2であるかを判別する。注目度変更設定部70は、判別結果が判定結果1であると判別した場合(ステップS402;判定結果1)、ステップS403に進み、判別結果が判定結果2であると判別した場合(ステップS402;判定結果2)、ステップS405に進む。
(ステップS403)注目度変更設定部70は、シナリオの着目点と観客が最も注目している対象物とが一致しているため、行動計画に対する変更を行わない。次に、注目度変更設定部70は、行動計画の変更を行わないことを示す変更無し情報を行動計画部80に出力し、処理をステップS404に進める。
(ステップS404)行動計画部80には、注目度変更設定部70から注目度に対する変更を行わないことを示す情報が入力される。次に、行動計画部80は、シナリオ記憶部50に記憶されているその時刻のシナリオ(説明文の発生、行動等)を継続する。行動計画部80は、処理を終了する。
(ステップS405)注目度変更設定部70は、シナリオの着目点と観客が最も注目している対象物とが一致していないため、行動計画の変更を行う決定をする。注目度変更設定部70は、処理をステップS406に進める。
(ステップS406)注目度変更設定部70は、観客が最も注目している対象物がロボット1であるか否かを判別する。注目度変更設定部70は、観客が最も注目している対象物がロボット1であると判定した場合(ステップS406;YES)、ステップS407に進み、観客が最も注目している対象物がロボット1以外であると判定した場合(ステップS406;NO)、ステップS410に進む。
(ステップS407)注目度変更設定部70は、ロボット1への注目度を下げる行動の中から、行動候補を選択するために、シナリオ記憶部50に記憶されている情報に基づいて、ロボット1以外に注目して欲しい対象があるか、注目して欲しい対象がないかを判別する。注目度変更設定部70は、ロボット1以外に注目して欲しい対象があると判別した場合(ステップS407;ロボット以外に注目して欲しい対象がある)、判別した結果を行動計画部80に出力し、処理をステップS408に進める。または、注目度変更設定部70は、注目して欲しい対象がないと判別した場合(ステップS407;注目して欲しい対象がない)、判別した結果を行動計画部80に出力し、処理をステップS409に進める。
(ステップS408)行動計画部80は、ロボット1以外に注目して欲しい対象がある場合の行動候補の中から行動候補を選択し、処理をステップS413に進める。
(ステップS409)行動計画部80は、注目して欲しい対象がない場合の行動候補の中から行動候補を選択し、処理をステップS413に進める。
(ステップS410)注目度変更設定部70は、ロボット1への注目度を上げる行動の中から、行動候補を選択するために、シナリオ記憶部50に記憶されている情報に基づいて、ロボット1を経由点とするか、ロボット1が注目して欲しい対象であるかを判別する。注目度変更設定部70は、ロボット1を経由点とすると判別した場合(ステップS410;ロボットを経由点)、判別した結果を行動計画部80に出力し、処理をステップS411に進める。または、注目度変更設定部70は、ロボット1が注目して欲しい対象であると判別した場合(ステップS410;ロボットが注目して欲しい対象)、判別した結果を行動計画部80に出力し、処理をステップS412に進める。
(ステップS411)行動計画部80は、ロボット1を経由点とする場合の行動候補の中から行動候補を選択し、処理をステップS413に進める。
(ステップS412)行動計画部80は、ロボット1が注目して欲しい対象である場合の行動候補の中から行動候補を選択し、処理をステップS413に進める。
(ステップS413)行動計画部80は、ステップS408、S409、S411、またはS412で選択した行動候補に、シナリオ記憶部50に記憶されている行動計画を変更する。次に、行動制御部90は、行動計画部80から入力された行動候補を示す情報に応じて、ロボット1の発話、行動等を制御する。行動制御部90は、処理を終了する。
なお、注目度変更設定部70および行動計画部80は、以上の処理を所定の時刻毎に行う。また、シナリオ記憶部50に記憶されている行動計画を変更するとは、図7に示した例のようにシナリオ記憶部50に記憶されている時刻毎の説明分とロボット1の移動予定位置である行動計画を、選択された行動候補に応じた説明分やロボット1の移動予定位置に変更することである。
以上のように、本実施形態の自律移動装置(例えばロボット1)は、所定領域(例えば領域6)内に存在している人の位置と姿勢とを計測する計測部(例えばセンサ2、計測部20)と、計測部によって計測された人の位置と姿勢とを示す情報に基づいて、人の第1注目状況(例えば人が対象物を注目している状況、人のxy平面における向き)を推定する注目状況推定部(例えば注目状況推定部40)と、推定された第1注目状況と予め設定された第2注目状況(例えば着目点)とに基づいて、第1注目状況の補正を行う補正方針を決定する状況分析部(例えば状況分析部60、注目度変更設定部70)と、決定された補正方針に対応する行動を決定する行動計画部(例えば行動計画部80)と、を備える。
この構成によって、本実施形態のロボット1は、観客が対象物を注目している状況を推定し、推定した対象物と予め定められている着目点に注目して欲しい状況とを比較する。そして、ロボット1は、着目点と対象物が一致しない場合、着目点と、状況分析部60から入力された判別結果とに基づいて、行動計画の補正を行うか否かの補正方針を決定する。なお、補正方針には、前述したように、行動計画を補正しない方針も含まれる。
これにより、ロボット1は、着目点と観客が注目している対象物が一致しない場合、観客が注目している対象物への注目を変化させる補正方針に対応する行動をすることで、観客の注目を対象物から変化させることができる。この結果、本実施形態によれば、観客が注目している対象を変化させることができる。
また、本実施形態の自律移動装置(例えばロボット1)において、注目状況推定部(例えば注目状況推定部40)は、計測部(例えばセンサ2、計測部20)によって計測された姿勢を示す情報に基づいて、所定領域(例えば領域6)内に存在している人が注目している注目方向(例えば人が注目している対象物、人のxy平面における向き)を第1注目状況として推定する。
この構成によって、本実施形態のロボット1は、姿勢に基づいて、人が注目している注目方向を推定するので、観客が注目している方向を少ない計算量で推定することができる。これにより、本実施形態のロボット1は、所定領域に複数の人が存在している場合であっても、少ない計算量で、各人の注目方向を推定することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、第2注目状況は、人に注目して欲しい対象物である着目物の位置及び着目物(例えば着目点)を示す情報を含み、注目状況推定部(例えば注目状況推定部40)は、推定された注目方向(例えばベクトルV)と、人から着目物までの着目方向(例えばベクトルVrob、ベクトルVex、ベクトルVsr)とを比較し、比較した結果に応じて人が着目物を注目しているか否かを推定する。
この構成によって、本実施形態のロボット1は、注目方向と、人から着目物までの着目方向とを比較し、比較した結果に応じて人が着目点を注目しているか否かを判別するので、人が注目している対象物が着目点と一致しているか否かを判別することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、注目状況推定部(例えば注目状況推定部40)は、複数の対象物(例えばロボット1、展示物4、スクリーン5、またはいずれの対象物でもない)がある場合、人から複数の対象物それぞれまでの着目方向(例えばベクトルVrob、ベクトルVex、ベクトルVsr)それぞれを推定し、注目方向(例えばベクトルV)と、着目方向それぞれと角度の差それぞれを算出し、算出したそれぞれの角度の差の中で最も値が小さい着目方向に対応する対象物を、人が注目している対象物であると推定する。
この構成によって、本実施形態のロボット1は、複数の対象物がステージ3上にある場合、ベクトルVとベクトルVrobとの偏差、ベクトルVとベクトルVexとの偏差、ベクトルVとベクトルVexとの偏差を算出する。このように、本実施形態によれば、人の注目方向を表すベクトルVと、各対象物へのベクトルVrob、ベクトルVex、ベクトルVsrとの各偏差を算出して、最も偏差が小さい対象物を、人が注目している対象物であると推定する。この結果、本実施形態によれば、ベクトル間の偏差に基づいて人が最も注目している対象物を推定することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、注目状況推定部(例えば注目状況推定部40)は、算出したそれぞれの角度の差の中で最も値が小さい対象物の位置が、人の有効視野角(例えば水平方向が±15度、垂直方向が±10度)以内である場合に、人が対象物を注目していると推定する。
この構成によって、本実施形態のロボット1は、人の視覚特性に基づいているので、人が最も注目している対象物を精度良く推定することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、注目状況推定部(例えば注目状況推定部40)は、所定領域(例えば領域6)内に存在している複数の人それぞれについて、当該人が注目している対象物(例えばロボット1、展示物4、スクリーン5、またはいずれの対象物でもない)を第1注目状況として推定し、対象物それぞれについて、複数の人の中で、当該対象物を注目している人の割合(例えばNrob割合、Nobj割合、Nex割合、Nsr割合)を算出し、算出した割合に応じて、所定領域内に存在している複数の人が注目している対象物を推定する。
この構成によって、本実施形態のロボット1は、領域6に存在している複数の人が、別々の対象物を注目している場合であっても、領域6に存在している複数の人が最も注目している対象物を推定することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、状況分析部(例えば状況分析部60、注目度変更設定部70)は、注目状況推定部(例えば注目状況推定部40)が推定した対象物(例えばロボット1、展示物4、スクリーン5、またはいずれの対象物でもない)と着目物(例えば着目点)とを比較して、所定領域(例えば領域6)内に存在している複数の人にうち所定の割合(例えば33%または50%)以上の人が、着目物を注目しているか否かを判別する。
この構成によって、本実施形態のロボット1は、領域6に存在している複数の人が別々の対象物を見ている場合であっても、その領域に存在している人達の多くが注目している対象物が着目点と一致しているか否かを判別することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、状況分析部(例えば状況分析部60、注目度変更設定部70)は、着目物(例えば着目点)を注目していない人が所定の割合以上と判別した場合に、注目方向(例えばベクトルV)を変化させるように注目状況の補正を行う補正方針を決定する。
この構成によって、本実施形態のロボット1は、領域6に存在している多数の人達が注目している対象物が着目点と一致していない場合に、注目方向を変化させるように注目状況の補正を行う補正方針を決定することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、状況分析部(例えば状況分析部60、注目度変更設定部70)は、人が対象物(例えばロボット1、展示物4、スクリーン5、またはいずれの対象物でもない)を注目していないと判別した場合に、所定領域(例えば領域6)内に存在している複数の人のうち、自律移動装置を注目している人の割合を上げるか、当該自律移動装置を注目している人の割合を下げるかを、前記所定の割合以上の人が注目している対象物と、着目物(例えば着目点)とに応じて決定する。
この構成によって、本実施形態のロボット1は、領域6に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目物とに応じて、ロボット1を注目している人の割合を上げるか、ロボット1を注目している人の割合を下げるかを決定することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、状況分析部(例えば状況分析部60、注目度変更設定部70)は、自律移動装置を注目している人の割合を上げると判別した場合、自律移動装置を経由して着目物への注目する人の割合を変化させるか、当該自律移動装置が着目物であり当該自律移動装置を注目する人の割合を変化させるかを、所定の割合以上の人が注目している対象物(例えばロボット1、展示物4、スクリーン5、またはいずれの対象物でもない)と、着目物(例えば着目点)とに応じて前記補正方針として決定する。
この構成によって、本実施形態のロボット1は、領域6に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目物とに応じて、ロボット1を経由して着目物への注目する人の割合を変化させるか、ロボット1が着目して欲しい着目物であるかを補正方針として決定することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、状況分析部(例えば状況分析部60、注目度変更設定部70)は、自律移動装置を注目している人の割合を下げると判別した場合、着目して欲しい対象物が設定されている場合に着目物を注目する人の割合を変化させるか、着目して欲しい着目物が設定されていない場合に対象物を注目する人の割合を変化させるかを、所定の割合以上の人が注目している対象物と、着目物とに応じて補正方針として決定する。
この構成によって、本実施形態のロボット1は、領域6に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目点とに応じて、着目して欲しい対象物があるか、着目して欲しい着目物がないかを補正方針として決定することができる。
また、本実施形態の自律移動装置(例えばロボット1)は、補正方針に応じた行動候補が予め格納されている行動記憶部(例えばシナリオ記憶部50)、を備え、行動計画部(例えば行動計画部80)は、状況分析部(例えば状況分析部60、注目度変更設定部70)によって決定された補正方針に応じて、行動記憶部に記憶されている行動候補の中から1つを選択する。
この構成によって、本実施形態のロボット1は、シナリオ記憶部50に記憶されている行動候補の中から、行動候補を選択する。そして、ロボット1は、行動計画部80によって選択された行動候補に応じた行動を行動計画として決定することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、行動計画部(例えば行動計画部80)は、自律移動装置の予め定められている行動の妨げにならない行動候補を優先して選択する。
この構成によって、本実施形態のロボット1は、進行の妨げや、ロボット1の行動の妨げにならないように行動候補を選択することができる。
また、本実施形態の自律移動装置(例えばロボット1)において、行動計画部(例えば行動計画部80)は、自律移動装置の移動を伴わない行動候補を優先して選択する。
この構成によって、本実施形態のロボット1は、動作コストの高い移動を伴う行動候補を低い選択順位にすることができるので、ロボット1が有している電源の電力を有効に利用することができる。
なお、本実施形態では、図12のように観客が注目している対象物のベクトルをxy平面において生成する例を説明したが、これに限られない。
図19は、本実施形態に係る各ベクトルと人の有効視野角に基づく視野の範囲の一例を説明する図である。図19における座標系は、図1と同じである。
図19において、符号g201が示す領域は、人pの視野範囲の領域であり、符号g211が示す領域は、ロボット1が存在する領域である。また、符号g214が示す領域は、展示物4が置かれている領域であり、符号g215が示す領域は、スクリーン5が設置されている領域である。また、人pは、xy平面内の位置(x41、y41)に存在し、人pの鼻尖の位置が(x41、y41、z41)であるとする。
この場合、ベクトルVexは、例えば、人pの位置の座標(x41、y41、z41)を基点とし、展示物4のxy平面における重心の座標(x22、y21、z21)を終点とするベクトルである。ベクトルVsrは、例えば、人pの位置の座標(x41、y41、z41)を基点とし、スクリーン5の重心の座標(x12、y11、z12)を終点とするベクトルである。ベクトルVroは、例えば、人pの位置の座標(x41、y41、z41)を基点とし、ロボット1の心の座標(x32、y31、z31)を終点とするベクトルである。
例えば、ステージ3の高さと床の高さが同じ場合、観客は床に平行な方向を見ていると仮定して、垂直方向(yz平面)における有効視野角を床に水平な20度とする。注目状況推定部40は、人pが注目している方向を表すベクトルVを、人pが水平方向を見ていると仮定して算出する。そして、注目状況推定部40は、対象物へのベクトル(Vsr、Vex、およびVro)との各偏差を人p毎に算出する。そして、注目状況推定部40は、ステップS206(図13)で算出した水平方向の偏差が30度未満且つ垂直方向の偏差が20度未満のものを抽出する。具体的には、注目状況推定部40は、ベクトルVとベクトルVroとの水平方向の角度の偏差の値が、15度(=30度/2)未満であり且つ垂直方向の偏差が10度(=20度/2)未満である場合、人pがロボット1を注目していると推定する。または、ベクトルVとベクトルVexとの水平方向の角度の偏差の値が15度未満であり且つ垂直方向の角度の偏差が10度未満である場合、人pが展示物4を注目していると推定する。または、注目状況推定部40は、ベクトルVからベクトルVsrを除算した水平方向の偏差の値が15度未満であり且つ垂直方向の偏差が10度未満である場合、人pがスクリーン5を注目していると推定する。次に、注目状況推定部40は、注目していると推定された対象物のうち、最も偏差が少ない対象物を、人pが最も注目している対象物であると推定する。なお、偏差が同じ対象物が所定の範囲内に複数ある場合、注目状況推定部40は、人pから距離が近い方を注目している対象物であると推定する。
また、例えばステージ3の高さが床の高さより高い場合、観客はステージ3上の対象物(ロボット1、展示物4、およびスクリーン5)を見上げることになる。このため、予め観客がステージ3上の対象物を見上げる角度を実測しておき、記憶部30に記憶させておくようにしてもよい。そして、注目状況推定部40は、記憶部30に記憶されている見上げる角度を垂直方向における有効視野角に加算して、この加算された値を用いて人pが注目している方向を表すベクトルVを推定するようにしてもよい。
逆に、ステージ3の高さが床の高さより低い場合、予め観客がステージ3上の対象物を見下ろす角度を実測しておき、記憶部30に記憶させておくようにしてもよい。そして、注目状況推定部40は、記憶部30に記憶されている見下ろす角度を垂直方向における有効視野角に加算して、この加算された値を用いて人pが注目している方向を表すベクトルVを推定するようにしてもよい。
また、本実施形態では、注目状況推定部40が、人pが注目している方向を表すベクトルVと、各対象物へのベクトル(Vsr、Vex、およびVro)との偏差に基づいて、人pが注目している対象物を推定する例を説明したが、これに限られない。
注目状況推定部40は、記憶部30に記憶されている各対象物の四隅の座標と重心の座標に基づいて、図19の符号g211、g214、およびg215に示した各対象物の領域を算出するようにしてもよい。また、仮に、人pの視点の終点を、ステージ3の最も奥に配置されているスクリーン5上のy軸方向の位置の座標値(y11)とする。これにより、注目状況推定部40は、人pの視点の終点の座標を(x412、y11、z412)であると推定する。次に、注目状況推定部40は、人の有効視野角に基づいて、符号g201に示した人pの視野範囲の領域を算出するようにしてもよい。次に、注目状況推定部40は、算出した各領域を比較して、領域が重なっている対象物を、人pが注目している対象物であると推定するようにしてもよい。この場合も、偏差が同じ対象物が所定の範囲内に複数ある場合、注目状況推定部40は、人pから距離が近い方を注目している対象物であると推定する。
また、図19に示した例では、視野範囲および各対象物の領域がxz平面の例を説明したが、x軸方向において上述した処理によって、人pが注目している対象物であると推定するようにしてもよい。
注目状況推定部40は、記憶部30に記憶されている各対象物の四隅の座標と重心の座標に基づいて、図12に示した例のように、ロボット1の存在するx軸方向の領域を(x31)〜(x33)であると算出する。注目状況推定部40は、展示物4が置かれているx軸方向の領域を(x21)〜(x23)であると算出し、スクリーン5が設置されているx軸方向の領域を(x11)〜(x13)であると算出するようにしてもよい。そして、注目状況推定部40は、人pのx軸方向の領域の範囲を、水平方向の有効視野角も基づいて、(x12+α)〜(x12−α)(ただしαは、水平方向の有効視野角±15度に基づいて算出した値)であると算出するようにしてもよい。次に、注目状況推定部40は、算出した各領域を比較して、領域が重なっている対象物を、人pが注目している対象物であると推定するようにしてもよい。この場合も、偏差が同じ対象物が所定の範囲内に複数ある場合、注目状況推定部40は、人pから距離が近い方を注目している対象物であると推定する。
また、本実施形態では、ロボット1が記憶部30とシナリオ記憶部50の2つを備える例を説明したが、どちらか一方に両方の情報を記憶させておくことで、1つの記憶部を備えるようにしてもよい。
また、本実施形態では、ステージ3上に注目して欲しい対象物として、ロボット1、展示物4、およびスクリーン5が存在している例を説明したが、これに限られない。例えば、展示物4やスクリーン5それぞれの個数は、複数でもよく、他の対象物がステージ3上にあってもよい。この場合、記憶部30には、対象物毎に位置情報が記憶され、注目状況推定部40が対象物毎のベクトルを算出するようにしてもよい。
なお、本実施形態では、注目状況推定部40が、ベクトルVsr、ベクトルVex、およびベクトルVroを算出する例を説明したが、これに限られない。注目状況推定部40は、着目点に対応する対象物を判別し、判別した対象物へのベクトルのみを算出するようにしてもよい。この場合、注目状況推定部40は、ステップS204において、人pが注目している方向を表すベクトルVと、着目点である対象物へのベクトルとの偏差を、人p毎に算出するようにしてもよい。そして、注目状況推定部40は、ステップS205において、ステップS204で算出した水平方向の偏差が30度未満であるか否かを判別する。次に、注目状況推定部40は、偏差が30度未満であれば人pが着目点を注目していると判別し、偏差が30度以上であれば人pが着目点を注目していないと判別するようにしてもよい。そして、着目点を注目していないと判別された場合、行動計画部80は、着目点がロボット1であるか、着目点がロボット1を経由して注目度を上げる対象物であるか、着目点がロボット1以外であるか、見て欲しい対象がないかに応じて、行動候補を選択するようにしてもよい。
<第2実施形態>
第1実施形態では、ロボット1がセンサ2の計測情報を用いて観客が注目している方向を推定する例を説明したが、本実施形態では、さらに撮像部によって撮像された画像情報も用いて、観客が注目している方向を推定する例を説明する。
図20は、本実施形態に係るロボット1Aの概略のブロック図である。図20に示すように、ロボット1Aは、計時部10、計測部20A、記憶部30A、注目状況推定部40A、シナリオ記憶部50、状況分析部60、注目度変更設定部70、行動計画部80、行動制御部90、および音声出力部95を含んで構成される。また、ロボット1には、センサ2と撮像部8が接続されている。また、計測部20Aは、画像処理部21を備えている。なお、第1実施形態のロボット1と同じ機能を有する機能部には同じ符号を用いて、説明を省略する。
撮像部8は、所定の間隔毎に画像を撮像し、撮像した画像信号をロボット1Aに送信する。撮像部8は、撮像された画像信号を無線で送信してもよいし、有線で送信してもよい。撮像部8が複数台の場合には、送信の際にチャネル間で画像信号が同期していればよい。なお、画像は静止画であってもよく、動画であってもよい。また、撮像部8は、人を俯瞰できる位置、例えば検知対象の空間の天井や壁などに設置される。撮像部8は、少なくとも1つ以上であればよい。撮像部8が複数の場合、撮像部8は、それぞれが撮像する画像の一部が重なるように設置されている。
計測部20Aは、センサ2および撮像部8から入力された情報を用いて、人クラスタデータを生成する。計測部20Aは、センサ2から入力された測距点の情報のうち、z軸成分の値が所定の値以上の測距点を、各測距点の情報に含まれるx軸成分とy軸成分を用いて、xy平面に投影する。計測部20Aは、xy平面に投影した投影点を第1実施形態と同様に周知の手法を用いてクラスタに分類する。計測部20Aは、分類したクラスタ毎に、クラスタに含まれる投影点の重心位置を算出し、算出した重心位置をそのクラスタの人クラスタデータ位置とする。計測部20Aは、クラスタ毎に人クラスタデータ高さを検出する。計測部20Aは、クラスタ毎に人pの向き、および人pが注目している方向を算出する。計測部20Aは、クラスタ毎に算出した人クラスタデータ位置、人pの向き、および人pが注目している方向と、画像処理部21が人p毎検出した人のz軸方向の向きと、人クラスタデータ高さとを関連付けて人クラスタデータを生成し、生成した人クラスタデータを記憶部30に記憶させる。計測部20Aは、作成した人クラスタデータの個数を、領域6(図1参照)に存在している人の総数Nとして算出し、算出した領域6に存在している人の総数Nを記憶部30Aに記憶させる。さらに、計測部20Aは、分類したクラスタ毎に識別子(ID)を付与し、識別子を付与したクラスタに対して所定のサンプリングタイミング毎にトラッキング処理を行う。
画像処理部21は、周知の画像認識技術を用いて、領域6に存在している観客の顔を含む領域を観客毎に抽出する。そして、画像処理部21は、抽出した顔を含む領域の画像を用いて、各人pの顔のz軸方向の向きを検出する。画像処理部21は、抽出した画像から目、鼻、口などのパーツを抽出して、抽出したパーツの形状、傾き、配置等に応じて周知技術を用いて、顔のz軸方向の向きを検出する。なお、画像処理部21は、目、鼻、口などのパーツを抽出できない場合、その人がステージ3に対して後ろを向いていると検出するようにしてもよい。
このように、本実施形態では、画像処理部21は、画像情報に基づいて、人がステージ3の方を向いているか、ステージ3に対して後ろを向いているかを判別する。また、画像処理部21は、画像情報に基づいて、人のz軸方向における視線方向を検出する。
そして、計測部20Aは、センサ2から得られた測距点の情報に基づいて、人の位置と、人のxy平面における向きと、人pが注目している方向とを検出する。
記憶部30Aには、対象物であるスクリーン5が配置されている位置情報、展示物4が配置されている位置情報、およびロボット1Aの位置情報が記憶される。また、記憶部30Aには、図21に示すように、領域6に存在している人p毎に、識別子、xy平面内の位置を示す情報、人pの向きを示す情報、人pの注目方向を示す注目方向情報(xy平面における視線方向)、z軸方向の視線方向、および高さ情報が関連づけられて記憶される。さらに、記憶部30Aには、領域6に存在している人pの総数Nが記憶される。図21は、本実施形態に係る記憶部30Aに記憶される情報の一例を説明する図である。図21に示すように、例えば、識別子が2である人クラスタデータには、xy平面内の位置情報が(x42、y42)と、人の向き情報がA1−2と、人のz軸方向の視線方向Z1−2と、注目方向情報がV−2と、高さ情報がz42とが関連付けられている。
注目状況推定部40Aは、記憶部30Aに記憶されている対象物の位置情報と、人クラスタデータと、領域6に存在している人pの総数Nとを読み出す。注目状況推定部40Aは、読み出した情報を用いて、各人pの注目状況を推定し、推定した各人pの推定結果を状況分析部60に出力する。推定結果には、第1実施形態と同様に、ロボット1を注目していることを示す情報とロボット1を注目している観客の割合、展示物4を注目していることを示す情報と展示物4を注目している観客の割合、スクリーン5を注目していることを示す情報とスクリーン5を注目している観客の割合、注目している対象物がないことを示す情報と注目している対象物がない観客の割合、その他の対象物を注目していることを示す情報とその他の対象物を注目している観客の割合のうち、少なくとも1つの情報と観客の割合とが含まれる。
<有効視野角および人pが注目している方向>
図22は、本実施形態に係る撮像部8によって撮像された画像と有効視野角および人pが注目している方向の一例を説明する図である。なお、図22の座標系は、図1と同じである。
図22に示す例は、人pが右斜め前方の対象物を注目している例である。図22において、符号g251が示す領域は、撮像部8によって撮像された人pの顔を含む領域の画像である。符号L2に示す鎖線は、水平方向(xy平面)の有効視野角の範囲を表し、符号L3に示す破線は、垂直方向(z軸方向)の有効視野角の範囲を表す。また、角度A3は、水平方向の視野角を表し、角度A4は、z軸方向の視野角を表している。
<クラスタリング処理および人クラスタデータを生成する処理>
次に、クラスタリング処理および人クラスタデータを生成する処理の手順について、図23を用いて説明する。図23は、本実施形態に係るクラスタリング処理および人クラスタデータを生成する処理の手順のフローチャートである。なお、第1実施形態の図11と同じ処理には、同じ符号を用いて説明を省略する。
(ステップS101〜S105)計測部20Aは、ステップS101〜S105の処理を、図11のステップS101〜S105と同様に行う。計測部20Aは、処理をステップS501に進める。
(ステップS501)画像処理部21は、周知の画像認識技術を用いて、領域6(図1参照)に存在している観客の顔を含む領域を観客毎に抽出する。次に、画像処理部21は、抽出した顔を含む領域の画像を用いて、各人pの顔のz軸方向の向きを検出する。画像処理部21は、処理をステップS502に進める。
(ステップS502)計測部20Aは、クラスタ毎に算出した人クラスタデータ位置、人pの向き、および人pが注目している方向と、画像処理部21が人p毎検出した人のz軸方向の向きと、人クラスタデータ高さとを関連付けて人クラスタデータを生成し、生成した人クラスタデータを記憶部30に記憶させる。計測部20Aは、処理をステップS508に進める。
(ステップS503)計測部20Aは、ステップS503の処理を、図11のステップS107と同様に行う。
以上で、クラスタリング処理及び人クラスタデータを生成する処理を終了する。
次に、注目状況推定部40Aが行う推定処理について、図14を用いて説明する。
(ステップS201)注目状況推定部40Aは、記憶部30Aから人p毎に人クラスタデータ位置を示す情報とxy平面における向きを示す情報とz軸方向の向きを示す情報とを読み出す。次に、注目状況推定部40Aは、各対象物の位置情報を読み出す。次に、注目状況推定部40Aは、各対象物それぞれのxy平面における重心の座標を抽出する。注目状況推定部40Aは、処理をステップS202に進める。
(ステップS202〜S203)注目状況推定部40Aは、ステップS202〜S203の処理を行う。
(ステップS204)注目状況推定部40Aは、読み出した位置情報を始点とし、xy平面における向きを示す情報とz軸方向の向きを示す情報とを用いて、人pが注目している方向を表すベクトルVを人p毎に推定する。注目状況推定部40Aは、処理をステップS205に進める。
(ステップS205〜S214)注目状況推定部40Aは、ステップS205〜S214の処理を行う。
以上で、注目状況推定部40Aが行う推定処理を終了する。
状況分析部60が行う処理は、第1実施形態の図15と同様である。また、注目度変更設定部70および行動計画部80が行う処理は、第1実施形態の図18と同様である。
なお、本実施形態においても状況分析部60は、展示物4を注目している人数Nobj_see及び展示物4を注目している人の割合であるNobj割合、スクリーン5を注目している人数Nsr_see及びスクリーン5を注目している人の割合であるNsr割合、対象物を注目していない人数Nnon_see及び対象物を注目していない人の割合であるNnonも用いて、観客が注目している対象物を推定するようにしてもよい。
以上のように、本実施形態の自律移動装置(例えばロボット1A)において、所定領域(例えば領域6)の画像を撮像する撮像部(例えば撮像部8)、を備え、計測部(例えばセンサ2、計測部20A)は、撮像部によって撮像された画像に基づいて、所定領域内に存在している人の注目方向を示す情報を計測する。
この構成によって、本実施形態によれば、撮像部8で撮像した画像を用いて、各人pの視線方向を検出するようにしたので、各人pのz軸方向の注目方向を精度良く推定することができる。
本実施形態においても、ロボット1Aは、着目点と観客が注目している対象物が一致しない場合、観客が注目している対象物への注目を変化させるように行動することで、観客の注目を対象物から変化させることができる。この結果、本実施形態によれば、観客が注目している対象を変化させることができる。
なお、本実施形態では、画像処理部21が、抽出した顔を含む領域の画像を用いて、各人pの顔のz軸方向の角度を検出する例を説明したが、これに限られない。画像処理部21は、抽出した顔を含む領域の画像を用いて、各人pの顔のxy平面(図1)における向きを検出するようにしてもよい。
また、本実施形態では、撮像部8によって撮像された画像を用いて、人pの視線方向を計測部20Aが検出する例を説明したが、これに限られない。計測部20Aは、撮像された画像に周知技術を用いて、所定の領域に存在している人の総数Nを検出するようにしてもよい。
<第3実施形態>
第1実施形態および第2実施形態では、領域6を1つの領域として扱ったが、本実施形態では、領域6を2つ以上の領域に分割して処理を行う例を説明する。
図24は、本実施形態に係るロボット1Bの概略のブロック図である。
図24に示すように、ロボット1Bは、計時部10、計測部20、領域分割部25、記憶部30B、注目状況推定部40B、シナリオ記憶部50B、状況分析部60B、注目度変更設定部70B、行動計画部80B、行動制御部90、および音声出力部95を含んで構成される。また、ロボット1Bには、センサ2が接続されている。なお、第1実施形態の図2で説明したロボット1と同じ機能を有する機能部には、同じ符号を用いて説明を省略する。
領域分割部25は、分割情報と、領域6に存在している人pの総数Nとを記憶部30Bから読み出す。なお、分割情報には、領域6を分割する数、各領域の位置や範囲を示す情報が含まれている。また、領域分割部25は、領域6に存在している人p毎の識別子、人p毎のxy平面内の位置を記憶部30Bから読み出す。
領域分割部25は、読み出した分割情報に基づいて、領域6(図1)を分割する。ここで、分割された領域を、分割領域ともいう。領域分割部25は、人p毎のxy平面内の位置に基づいて、分割領域毎に存在している人pを検出する。領域分割部25は、人p毎に、分割領域を示す情報と人pの識別子とを関連付けた領域情報を、注目状況推定部40Bに出力する。
記憶部30Bには、スクリーン5が配置されている位置情報、展示物4が配置されている位置情報、ロボット1Bの位置情報、および領域6の分割情報が記憶される。また、記憶部30Bには、領域6に存在している人p毎に、識別子、xy平面内の人クラスタデータ位置、人pの向きを示す情報、人pの注目方向を示す注目方向情報、および人クラスタデータ高さが人クラスタデータとして関連づけられて記憶される。さらに、記憶部30Bには、領域6に存在している人pの総数Nが記憶される。
注目状況推定部40Bは、記憶部30Bに記憶されている対象物の位置情報と、人クラスタデータを読み出す。注目状況推定部40Bには、領域分割部25から領域を示す情報と人pの識別子とが関連付けられた領域情報が入力される。注目状況推定部40Bは、読み出した情報と入力された情報とを用いて、人p毎の注目している対象物を第1実施形態と同様に推定する。そして、注目状況推定部40Bは、各分割領域に存在している人達が最も注目している対象物を推定し、分割領域毎に推定した推定結果を状況分析部60Bに出力する。なお、ここで、推定結果には、ロボット1Bを最も注目していることを示す情報とロボット1Bを最も注目している観客の割合、展示物4を最も注目していることを示す情報と展示物4を最も注目している観客の割合、スクリーン5を最も注目していることを示す情報とスクリーン5を最も注目している観客の割合、注目している対象物がないことを示す情報と注目している対象物がない観客の割合、ロボット1B以外の着目点を注目していることを示す情報とロボット1B以外の着目点を注目している観客の割合のうち、少なくとも1つの情報と観客の割合とが含まれる。
シナリオ記憶部50Bには、図25に示すように、時刻と、各時刻の着目点を示す情報と、説明文を示す情報と、ロボット1Bの移動予定位置を示す情報とが関連づけられて記憶されている。また、図25に示す例では、領域6が第1領域と第2領域との分割領域に分割された例であり、分割領域毎に着目点が記憶されている。
図25は、本実施形態に係るシナリオ記憶部50Bに記憶されている情報の一例を説明する図である。図25に示す例では、時刻t0およびt1のとき、第1領域における着目点はスクリーン5(図1)であり、第2領域における着目点はロボット1Bである。時刻t2およびt5のとき、第1領域と第2領域との着目点はロボット1Bである。時刻t3のとき、第1領域の着目点は展示物4(図1)であり、第2領域の着目点は見て欲しい対象がない。時刻t4のとき、第1領域の着目点は見て欲しい対象がなく、第2領域の着目点は展示物4である。時刻t6のとき、第1領域における着目点は展示物4であり、第2領域における着目点はロボット1Bである。
また、シナリオ記憶部50Bには、第1実施形態と同様に図8に示すように、ロボット1Bへの注目度を上げる行動に関する情報と、ロボット1Bへの注目度を下げる行動に関する情報とが記憶されている。
図24に戻って、ロボット1Bの説明を続ける。
状況分析部60Bは、計時部10から入力される時刻情報に応じて、シナリオ記憶部50Bに記憶されている対応する時刻の各領域の着目点を示す情報を読み出す。状況分析部60Bは、読み出した情報と、注目状況推定部40Bから入力された分割領域毎の推定情報とを用いて、各分割領域の観客が注目している対象物がシナリオ記憶部50Bに記憶されている着目点と一致しているか否かを時刻毎に判定する。そして、状況分析部60Bは、時刻毎かつ分割領域毎に判定した判定結果(判定結果1、または判定結果2)を、注目度変更設定部70Bに出力する。
注目度変更設定部70Bには、計時部10から時刻情報が入力され、状況分析部60Bから時刻毎かつ分割領域毎の判定結果が入力される。注目度変更設定部70は、各分割領域の観客が注目している対象物と着目点と一致していることを示す情報が入力された場合、対応する領域の注目度に対する変更を行わないように設定(以下、無変更設定という)する。一方、注目度変更設定部70は、状況分析部60から各分割領域の観客が注目している対象物と着目点と不一致であることを示す情報が入力された場合、ロボット1Bへの注目度を上げるか、ロボット1Bへの注目度を下げるかを判別する。注目度変更設定部70は、時刻毎かつ分割領域毎に、無変更設定、ロボット1Bへの注目度を上げる設定、およびロボット1Bへの注目度を下げる設定のうち、いずれか1つの設定を行動計画部80Bに出力する。
行動計画部80Bは、注目度変更設定部70Bから無変更設定が入力された場合、シナリオ記憶部50Bに記憶されているその時刻のシナリオ(説明文の発生、行動等)を継続するように補正方針を選択する。この場合、行動計画部80Bは、計時部10から入力された時刻情報に応じた説明分を示す情報、ロボット1Bの移動予定位置を示す情報を読み出し、読み出した情報を行動候補として、行動制御部90に出力する。
一方、行動計画部80Bは、注目度変更設定部70Bからロボット1Bが経由点であることを示す情報、ロボット1Bが着目して欲しい対象であることを示す情報、着目して欲しい対象物がロボット1B以外であることを示す情報、着目して欲しい対象がないことを示す情報のうち、いずれか1つが入力された場合、対応する領域に対して、シナリオ記憶部50Bから対応する行動候補を選択する。そして、行動計画部80Bは、選択した行動候補を、対応する領域の行動計画に決定する。行動計画部80Bは、選択した分割領域毎の行動候補を示す情報を行動制御部90に出力する。
行動計画部80Bは、選択した分割領域毎の行動候補を示す情報を行動制御部90に出力する。また、行動計画部80Bは、ロボット1Bの位置を算出し、算出したロボット1Bの位置を計測部20に出力する。
<領域の分割例>
次に、領域6の分割の例を説明する。
図26は、本実施形態に係る領域6を第1領域と第2領域との2つに分割した例を説明する図である。図26において、座標系は、図17と同じである。また、図17と同様に、会場にはステージ3があり、ステージ3上の左前方には、展示物4が例えば展示台の上に展示されている。また、ステージ3の後方には、スクリーン5が設置されている。そして、ロボット1Bが、ステージ3上を、状況に応じて自律的に移動しながら観客に対して説明を行う。
図26において、符号6Aの領域は、第1領域を表し、符号6Bの領域は、第2領域を表している。図26に示す例において、符号6Aが示す第1領域には、6人の観客である人p1〜p6が存在し、符号6Bが示す第2領域には、5人の観客である人p7〜p11が存在している。
また、図26に示す例において、第1領域に存在している人p1、人p2、および人p6は、スクリーン5を注目している。また、人p4は、展示物4を注目し、人p3および人p5は、ロボット1Bを注目している。
さらに、図26に示す例において、第2領域に存在している4人の観客の人p8〜人p11は、展示物4を注目している。また、人p7は、ロボット1Bを注目している。
<注目の割合の算出>
計測部20が行うクラスタリング処理および人クラスタデータを生成する処理の手順は、第1実施形態の図11と同様である。
次に、注目状況推定部40Bが行う処理について説明する。図27は、本実施形態に係る注目状況推定部40Bが行う処理の手順のフローチャートである。なお、図13と同じ処理については同じ符号を用いて説明を省略する。
(ステップS201〜S206)注目状況推定部40Bは、ステップS201〜S206の処理を、図13のステップS201〜206と同様に行う。注目状況推定部40Bは、処理をステップS601に進める。
(ステップS601)注目状況推定部40Bは、ステップS604で算出した人pが注目している方向を示すベクトルVと、人pから対象物へのベクトル(Vsr、Vex、Vro)との水平方向の角度の偏差が30度未満のものを人p毎に抽出する。次に、注目状況推定部40Bは、注目していると推定された対象物のうち、最も角度の偏差が少ない対象物を、人pが最も注目している対象物であると推定する。なお、偏差が同じ対象物が所定の範囲内に複数ある場合、注目状況推定部40Bは、人pから距離が近い方を最も注目している対象物であると推定する。注目状況推定部40Bは、処理をステップS602に進める。
(ステップS602)注目状況推定部40Bは、分割領域の中から1つの領域を選択する。続けて、注目状況推定部40Bは、選択した分割領域毎に、ステップS208〜S213の処理を行う。
(ステップS603)注目状況推定部40Bは、全ての分割領域に対する処理が終了した後、処理を終了する。
なお、注目状況推定部40Bは、ステップS201〜S603の処理を、所定の時間毎、例えば100[msec]毎に行うようにしてもよい。
なお、本実施形態においても、各人pが水平方向を見ているとして、水平方向の有効視野角に加えて垂直方向の有効視野角が20度以内にある対象物を、人pが注目している対象物であると注目状況推定部40Bが推定するようにしてもよい。
また、ロボット1Bが撮像部8と画像処理部21とを備える場合、注目状況推定部40Bは、撮像された画像に基づいて、各人pのz軸方向の視線方向を推定する、またはxy平面の人の向きとz軸方向の視線方向を推定するようにしてもよい。
<状況分析の説明>
次に、状況分析部60Bが行う処理について説明する。
図28は、本実施形態に係る本実施形態に係る状況分析部60Bが行う処理の手順のフローチャートである。なお、図15と同じ処理については同じ符号を用いて説明を省略する。
(ステップS301)状況分析部60Bは、ステップS301の処理を、図15のステップS301と同様に行う。状況分析部60Bは、処理をステップS701に進める。
(ステップS701)状況分析部60Bは、取得した時刻情報に応じた時刻と関連づけられている分割領域毎の着目点を示す情報を、シナリオ記憶部50Bから読み出す。状況分析部60Bは、処理をステップS702に進める。
(ステップS702)状況分析部60Bは、分割領域の中から1つの領域を選択する。続けて、状況分析部60Bは、選択した分割領域毎に、ステップS703〜S706の処理を行う。
(ステップS703)状況分析部60Bは、シナリオ記憶部50Bから読み出した分割領域毎の着目点を示す情報と、注目状況推定部40Bから入力された分割領域毎の推定結果とを比較する。状況分析部60Bは、処理をステップS704に進める。
(ステップS704)状況分析部60Bは、推定結果に含まれる最も注目されている対象物と着目点とが一致するか否かを分割領域毎に判別する。状況分析部60Bは、最も注目されている対象物と着目点とが一致すると判別した場合(ステップS704;YES)、ステップS705に進み、最も注目されている対象物と着目点とが一致していないと判別した場合(ステップS704;NO)、ステップS706に進む。
(ステップS705)状況分析部60Bは、選択した分割領域の最も注目されている対象物と着目点とが一致していると判別する。次に、状況分析部60Bは、判別した判別結果を注目度変更設定部70Bに出力する。なお、判別結果には、判別した分割領域を示す情報が含まれている。
(ステップS706)状況分析部60Bは、選択した分割領域の最も注目されている対象物と着目点とが一致していないと判別する。次に、状況分析部60は、判別した判別結果を注目度変更設定部70Bに出力する。
(ステップS707)状況分析部60Bは、全ての分割領域に対する処理が終了した後、処理を終了する。
なお、状況分析部60Bは、ステップS301〜S707の処理を、所定の時間間隔、例えば100[msec]毎に行うようにしてもよい。
なお、本実施形態においても状況分析部60は、展示物4を注目している人数Nobj_see及び展示物4を注目している人の割合であるNobj割合、スクリーン5を注目している人数Nsr_see及びスクリーン5を注目している人の割合であるNsr割合、対象物を注目していない人数Nnon_see及び対象物を注目していない人の割合であるNnonも用いて、観客が注目している対象物を推定するようにしてもよい。
<注目度変更設定、行動計画の説明>
次に、注目度変更設定部70B、行動計画部80B、および行動制御部90が行う処理の一例について説明する。
図29は、時刻t0〜t6における第1領域(図26参照)に存在している人達が注目している対象物と、第2領域(図26参照)に存在している人達が注目している対象物の一例を説明する図である。なお、時刻t0〜t6における第1領域および第2領域それぞれにおける着目点は、図25に示したものである。
図25と図29に示すように、時刻t0、t2、t5、およびt6のとき、第1領域および第2領域の着目点と、各領域に存在している人達が最も注目している対象物とが一致している。
一方、時刻t1のとき、第1領域において、着目点(スクリーン5)と、その領域に存在している人達が最も注目している対象物(スクリーン5)とが一致し、第2領域において、着目点(ロボット1B)と、その領域に存在している人達が最も注目している対象物(スクリーン5)とが一致していない。また、時刻t3のとき、第1領域において、着目点(展示物4)と、その領域に存在している人達が最も注目している対象物(展示物4)とが一致し、第2領域において、着目点(着目して欲しい対象がない)と、その領域に存在している人達が最も注目している対象物(ロボット1B)とが一致していない。さらに、時刻t4のとき、第1領域において、着目点(着目して欲しい対象がない)と、その領域に存在している人達が最も注目している対象物(展示物4)とが一致していず、第2領域において、着目点(展示物4)と、その領域に存在している人達が最も注目している対象物(展示物4)とが一致している。
注目度変更設定部70B、行動計画部80B、および行動制御部90は、図18のステップS401〜S413の処理を、分割領域毎に行う。
この処理によって、注目度変更設定部70Bおよび行動計画部80Bは、各分割領域に対する行動を変更するか、継続するかを決定する。
例えば、図25の時刻t1のときのように、第2領域において、着目点(ロボット1B)と、その分割領域に存在している人達が最も注目している対象物(スクリーン5)とが一致していない場合、注目度変更設定部70Bは、注目している対象物への注目を変化させたい分割領域に存在している観客に対して、選択された行動を行うように、行動候補を選択する。この場合、ロボット1Bへの注目度を上げたいので、行動計画部80Bは、例えば、第2領域に存在している観客に対して手を振る行動候補か、第2領域に存在している観客を見る行動候補を選択する。
なお、図29に示した例では、各分割領域に存在している人達が最も注目している対象物と、各領域に設定されている着目点とが、1つの領域のみ異なる例を説明したが、これに限られない。例えば、図25、図26、および図29に示したように分割領域が2つであり、この2つの分割領域ともに、各分割領域に存在している人達が最も注目している対象物と、各領域に設定されている着目点とが異なる場合もあり得る。このような場合、行動計画部80Bは、注目している対象物への注目を変化させたい分割領域の観客に対して、選択された行動を行うように、行動候補を分割領域毎に選択する。なお、行動計画部80Bは、例えば、ロボット1Bの脚部を伴わない動作を優先して、第1領域または第2領域に存在している人達が最も注目している対象物への注目を順次、変化させるようにしてもよい。例えば、行動計画部80Bは、ロボット1Bが、第1領域の近い位置に存在している場合、まず、第1領域に存在している人達が最も注目している対象物への注目を変化させるようにロボット1Bを行動させるようにしてもよい。その後、行動計画部80Bは、第2領域に存在している人達が注目している対象物への注目を変化させるようにロボット1Bを行動させるようにしてもよい。なお、注目している対象物への注目を変化させるとは、例えば、観客が展示物4を最も注目している場合、着目点に設定されているスクリーン5へ注目を変化させることである。
ここで、本実施形態においてロボット1Bが行う処理の具体例について、図26を参照して説明する。なお、人p1〜p11それぞれには、識別子としてID1〜ID11が割り当てられているとする。
領域分割部25は、図26に示したように、領域6を符号6Aに示す第1領域と、符号6Bに示す第2領域との2つの分割領域に分割する。そして、領域分割部25は、第1領域に存在している識別子ID1〜ID6と、第1領域に存在している人数(6人)と、第1領域を示す情報を関連付けて、第1の領域情報を生成する。また、領域分割部25は、第2領域に存在している識別子ID7〜ID11と、第2領域に存在している人数(5人)と、第2領域を示す情報を関連付けて、第2の領域情報を生成する。また、領域分割部25は、生成した第1の領域情報および第2の領域情報を、注目状況推定部40Bに出力する。
注目状況推定部40Bは、第1領域の存在している識別子がID1〜ID6に対応する人p毎に、各人pが注目している方向を表すベクトルV(図12)を推定する。また、注目状況推定部40Bは、第1領域について、識別子がID1〜ID6に対応する各人pの位置と向きを示す情報、および各対象物の位置情報を用いて、人p毎に、ベクトルVsr、ベクトルVex、およびベクトルVroを算出する。次に、注目状況推定部40Bは、第1領域について、人pが注目している方向を表すベクトルVと、対象物へのベクトル(Vsr、Vex、およびVro)との各角度の偏差を人p毎に算出する。次に、注目状況推定部40Bは、水平方向の角度の偏差が30度未満、垂直方向の角度の偏差が20度未満のものを抽出し、抽出できた対象物を人pが最も注目している対象物であると推定する。次に、注目状況推定部40Bは、第1領域について、各対象物を最も注目している人pの割合を算出する。次に、注目状況推定部40Bは、第1領域について、算出した割合の中で値が最大の物を、第1領域に存在している人達が最も注目している対象物であると推定する。図26に示す例では、第1領域に存在している人数は6人、スクリーン5を最も注目している人数Nsr_seeが3人、展示物4を最も注目している人数Nobj_seeが1人、ロボット1Bを最も注目している人数Nrob_seeが2人である。このため、注目状況推定部40Bは、第1領域に存在している人達が最も注目している対象物を、スクリーン5であると推定する。
注目状況推定部40Bは、第2領域の存在している識別子がID7〜ID11に対応する人pについても第1領域と同様の処理を行って、第2領域に存在している人達が最も注目している対象物を推定する。図26に示す例では、第2領域に存在している人数は5人、スクリーン5を最も注目している人数Nsr_seeが0人、展示物4を最も注目している人数Nobj_seeが4人、ロボット1Bを最も注目している人数Nrob_seeが1人である。このため、注目状況推定部40Bは、第2領域に存在している人達が最も注目している対象物を、展示物4であると推定する。
状況分析部60Bは、シナリオ記憶部50Bに記憶されている第1領域の着目点と、第2領域の着目点とを読み出す。次に、状況分析部60Bは、第1領域について、注目状況推定部40Bによって推定された観客が最も注目している対象物と、着目点とが一致しているか否かを判別する。また、状況分析部60Bは、第2領域について、注目状況推定部40Bによって推定された観客が最も注目している対象物と、着目点とが一致しているか否かを判別する。例えば、第1領域に設定されている着目点がスクリーン5であり、第2領域に設定されている着目点がロボット1Bであるとする。この例では、第1領域に存在している人達が最も注目している対象物と着目点とが一致し、第2領域に存在している人達が最も注目している対象物と着目点とが一致していない。
注目度変更設定部70Bは、推定された観客が最も注目している対象物と、着目点とが一致していない第2領域について、その領域の観客が最も注目している対象物への注目度を変更する行動候補を選択する。この場合、注目して欲しい対象物がロボット1Bであるため、行動計画部80Bは、図8に示した例において、ロボット1Bへの注目度を上げる行動のうち、ロボット1Bが見て欲しい対象の行動候補の中から、行動候補を選択する。
行動制御部90は、選択された行動候補に基づいて、ロボット1Bの行動をシナリオ記憶部50Bに記憶されている行動から変更して行動させるように制御する。
図30は、本実施形態に係る領域を分割する他の例を説明する図である。
図30において、符号g300が示す図は、領域6を符号g301に示すように、所定の大きさ(広さ)の格子(グリッド)の分割領域に分割する例を説明する図である。符号g301に示す格子の大きさは、会場の広さに応じて予め定められた値である。または、領域6に存在している人の密集度に応じて、設定するようにしてもよい。密集度は、人クラスタデータから領域分割部25が算出するようにしてもよい。また、第2実施形態で説明したように、ロボット1Bが撮像部8を備えている場合、領域分割部25は、撮像された画像に基づいて密集度を算出し、算出した結果に応じて、格子の大きさを設定するようにしてもよい。図26に示した例では、格子(分割領域)が2つの例である。なお、複数の格子の大きさ同士は、異なっていてもよい。領域分割部25は、例えば、密集度の高い領域の格子の大きさを小さく設定し、密集度の低い領域の格子の大きさを密集度の高い領域の格子より大きくするようにしてもよい。また、格子の形状は、四角形に限られず、丸、楕円形、多角形等であってもよい。さらに、格子の境界線は、図26のように、1人の人pのクラスタを分断しないように設定するようにしてもよい。
図30において、符号g310が示す図は、領域をステージ3の形状を拡大していった領域の例を説明する図である。符号g310が示す領域の図において、符号g311とg312それぞれは、ステージ3の形状を拡大して設定された分割領域の例である。
図30において、符号g320が示す図は、ステージ3上最奥のスクリーン5中心を原点g321として、ステージ3の形状を拡大させた線g322とg333と、スクリーン5の中心を通る等間隔の角度の線g324−1〜g324−9によって区切られた格子g325−m(mは1以上の整数)の例を説明する図である。符号g320が示す領域の図の例では、格子(分割領域)が20個ある例を示している。なお、符号g320が示す図では、スクリーン5の中心を通る線が等間隔の角度の例を説明したが、角度は会場の形状や広さ、ステージ3の形状や広さに応じて、予め設定された角度であってもよい。例えば、スクリーン5の中心の線g324−5に近い領域の角度を、線g324−1やg324−9のようにステージ3の外側の角度より小さく設定するようにしてもよい。
次に、注目度を変更するときに、ロボット1Bが移動する経路について説明する。
図31は、本実施形態に係るロボット1Bの移動経路を説明する図である。図31に示す例では、図30の符号g320に示す図のように、領域を分割した一例である。図31において、角度は60度である。すなわち、スクリーン5の中心点g321を通る垂線g351−2に対して、線g351−1の角度が−60度であり、線g351−3の角度が+60度である。
また、図31において、曲線g361は、ロボット1Bの移動経路を表している。図31に示すように、行動計画部80Bは、分割領域の形状に合わせて移動経路の形状を決定する。また、点g362は、線g351−1とg351−2との中間かつ、曲線g361上の点であり、始点または終点でもある。すなわち、点g362は、線g251−2から角度−30度の位置にある。さらに、点g363は、線g351−2とg351−3との中間かつ、曲線g361上の点であり、始点または終点でもある。すなわち、点g363は、線g251−2から角度+30度の位置にある。
行動計画部80Bは、行動候補がロボット1Bを観客に最接近させて移動させる場合に、曲線g361上の点362〜g363の間を移動するように行動計画を決定する。これにより、ロボット1Bは、注目されている対象を変化させるための移動経路を簡便に算出して、行動を制御することができる。
また行動計画部80Bは、最も注目されている対象物と着目点とが一致していない領域に含まれる点g362またはg363を終点とする。これにより、ロボット1Bは、注目度を変更するための移動距離を少なくすることができる。
なお、上述したそれぞれの角度は一例であり、分割されている角度や、ステージ3上の展示物4の配置、会場の人の分布等に応じて、行動計画部80Bが角度を設定するようにしてもよい。
また、行動計画部80Bは、ロボット1Bの移動速度を、最も注目している対象物に注目している分割領域に存在している人数の割合に応じて、変化させるようにしてもよい。例えば、着目点が展示物4であり、図26に示したように、第1領域の6人のうち、1人しか展示物4を見ていないため、着目点に注目している人数の割合が約16.7%と低い。このように着目点に対する割合が所定の値より小さい場合、行動計画部80Bは、図26のようにロボット1Bを、第2領域から第1領域へ移動させる速度を、着目点に対する割合が所定の値より大きい場合より速くするようにしてもよい。ここで、所定の値は、実験によって予め定められた値であり、例えば20%である。なお、行動計画部80Bは、所定の値を、領域に存在している人数やシナリオに応じて設定するようにしてもよい。
なお、図25、図26、および図29に示した例では、分割領域が2つの例を示したが、分割領域は第1実施形態で説明したように1つであっても、3つ以上であってもよい。分割領域が3つ以上の場合、ロボット1Bは、上述した処理によって、分割領域毎にその分割領域に存在している人達が最も注目している対象物とその分割領域の着目点とを比較する。そして、一致していない場合に、ロボット1Bは、その分割領域に存在している人達が最も注目している対象物への注目を変化させる行動候補を選択するようにするようにしてもよい。そして、複数の分割領域に対して、ロボット1Bは、順次、その分割領域に存在している人達が注目している対象物への注目を変化させるようにロボット1Bを行動させるようにしてもよい。また、全ての分割領域の注目度を変化させる場合、ロボット1Bは、全ての分割領域に沿った経路を移動するようにしてもよい。
以上のように、本実施形態の自律移動装置(例えばロボット1B)は、所定領域(例えば領域6)を、2つ以上の分割領域(例えば第1領域と第2領域)に分割する領域分割部(例えば領域分割部25)、を備え、注目状況推定部(例えば注目状況推定部40)は、分割領域毎に、計測部(例えばセンサ2、計測部20)によって計測された人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定し、状況分析部(例えば状況分析部60、注目度変更設定部70)は、分割領域毎に、推定された第1注目状況と予め設定された第2注目状況とに基づいて、第1注目状況の補正を行う補正方針を決定し、行動計画部(例えば行動計画部80B)は、分割領域毎に、決定された補正方針に対応する行動を決定する。
この構成によって、本実施形態のロボット1は、複数の分割領域毎に存在している人達が最も注目している状況と、予め定められている分割領域毎の着目点とが異なっている場合、異なっている領域に存在している人達が注目している状況を変化させることができる。
また、本実施形態の自律移動装置(例えばロボット1)において、行動計画部(例えば行動計画部80B)は、比較した結果、第1注目状況と第2注目状況とが異なっている分割領域がある場合、当該分割領域を、補正方針に基づいて自律移動装置を移動させる終点とする。
この構成によって、本実施形態のロボット1において、複数の分割領域毎に存在している人達が最も注目している状況と、予め定められている分割領域毎の着目点とが異なっている場合、異なっている領域を移動の終点とすることで、運動量を低減することができる。
なお、本発明におけるロボット(1、1Aまたは1B)の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1、1A、1B…ロボット、2…センサ、3…ステージ、4…展示物、5…スクリーン、8…撮像部、10…計時部、20、20A…計測部、21…画像処理部、25…領域分割部、30、30A、30B…記憶部、40、40B…注目状況推定部、50、50B…シナリオ記憶部、60、60B…状況分析部、70、70B…注目度変更設定部、80、80B…行動計画部、90…行動制御部、95…音声出力部、V…人が注目している方向を示すベクトル、Vex…人から展示物への方向を表すベクトル、Vsr…人からスクリーンへの方向を表すベクトル、Vro…人からロボットへの方向を表すベクトル、人数Nrob_see…ロボットを注目している人数、人数Nobj_see…展示物を注目している人数、人数Nsr_see…スクリーンを注目している人数、人数Nnon_see…いずれの対象物も注目していない人数、Nrob割合…ロボットを注目している人の割合、Nobj割合…展示物を注目している人の割合、Nsr割合…スクリーンを注目している人の割合、Nnon割合…いずれの対象物も注目していない人の割合、人数Nex_see…ロボット以外の着目点を注目している人数、Nex割合…ロボット以外の着目点を注目している人の割合

Claims (18)

  1. 所定領域内に存在している人の位置と姿勢とを計測する計測部と、
    前記計測部によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定する注目状況推定部と、
    推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定する状況分析部と、
    決定された前記補正方針に対応する行動を決定する行動計画部と、
    を備える自律移動装置。
  2. 前記注目状況推定部は、
    前記計測部によって計測された前記姿勢を示す情報に基づいて、前記所定領域内に存在している人が注目している注目方向を前記第1注目状況として推定する請求項1に記載の自律移動装置。
  3. 前記第2注目状況は、
    前記人に注目して欲しい対象物である着目物の位置及び前記着目物を示す情報を含み、
    前記注目状況推定部は、
    推定された前記注目方向と、前記人から前記着目物までの着目方向とを比較し、比較した結果に応じて前記人が前記着目物を注目しているか否かを判別する請求項2に記載の自律移動装置。
  4. 前記注目状況推定部は、
    複数の前記対象物がある場合、前記人から複数の前記対象物それぞれまでの着目方向それぞれを推定し、前記注目方向と、前記着目方向それぞれとの角度の差それぞれを算出し、算出したそれぞれの前記角度の差の中で最も値が小さい前記着目方向に対応する前記対象物を、前記人が注目している対象物であると推定する請求項3に記載の自律移動装置。
  5. 前記注目状況推定部は、
    算出したそれぞれの前記角度の差の中で最も値が小さい前記対象物の位置が、人の有効視野角以内である場合に、前記人が前記対象物を注目していると推定する請求項4に記載の自律移動装置。
  6. 前記注目状況推定部は、
    前記所定領域内に存在している複数の人それぞれについて、当該人が注目している前記対象物を前記第1注目状況として推定し、
    前記対象物それぞれについて、前記複数の人の中で、当該対象物を注目している人の割合を算出し、算出した前記割合に応じて、前記所定領域内に存在している前記複数の人が注目している前記対象物を推定する請求項4または請求項5に記載の自律移動装置。
  7. 前記状況分析部は、
    前記注目状況推定部が推定した前記対象物と前記着目物とを比較して、前記所定領域内に存在している前記複数の人にうち所定の割合以上の人が、前記着目物を注目しているか否かを判別する請求項6に記載の自律移動装置。
  8. 前記状況分析部は、
    前記着目物を注目していない人が所定の割合以上と判別した場合に、前記注目方向を変化させるように注目状況の補正を行う補正方針を決定する請求項7に記載の自律移動装置。
  9. 前記状況分析部は、
    前記人が前記対象物を注目していないと判別した場合に、前記所定領域内に存在している前記複数の人のうち、前記自律移動装置を注目している人の割合を上げるか、当該自律移動装置を注目している人の割合を下げるかを、前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて決定する請求項7または請求項8に記載の自律移動装置。
  10. 前記状況分析部は、
    前記自律移動装置を注目している人の割合を上げると判別した場合、前記自律移動装置を経由して前記着目物への注目する人の割合を変化させるか、当該自律移動装置が着目物であり当該自律移動装置を注目する人の割合を変化させるかを、前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて前記補正方針として決定する請求項9に記載の自律移動装置。
  11. 前記状況分析部は、
    前記自律移動装置を注目している人の割合を下げると判別した場合、
    着目して欲しい前記対象物が設定されている場合に前記着目物を注目する人の割合を変化させるか、
    着目して欲しい前記着目物が設定されていない場合に前記対象物を注目する人の割合を変化させるかを、
    前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて前記補正方針として決定する請求項9に記載の自律移動装置。
  12. 前記補正方針に応じた行動候補が予め格納されている行動記憶部、を備え、
    前記行動計画部は、
    前記状況分析部によって決定された前記補正方針に応じて、前記行動記憶部に記憶されている前記行動候補の中から1つを選択する請求項2から請求項11のいずれか1項に記載の自律移動装置。
  13. 前記行動計画部は、
    前記自律移動装置の予め定められている行動の妨げにならない前記行動候補を優先して選択する請求項12に記載の自律移動装置。
  14. 前記行動計画部は、
    前記自律移動装置の移動を伴わない前記行動候補を優先して選択する請求項12または請求項13に記載の自律移動装置。
  15. 前記所定領域の画像を撮像する撮像部、を備え、
    前記計測部は、
    前記撮像部によって撮像された画像に基づいて、前記所定領域内に存在している前記人の前記注目方向を示す情報を計測する請求項2から請求項14のいずれか1項に記載の自律移動装置。
  16. 前記所定領域を、2つ以上の分割領域に分割する領域分割部、を備え、
    前記注目状況推定部は、
    前記分割領域毎に、前記計測部によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定し、
    前記状況分析部は、
    前記分割領域毎に、推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定し、
    前記行動計画部は、
    前記分割領域毎に、決定された前記補正方針に対応する行動を決定する請求項1から請求項15のいずれか1項に記載の自律移動装置。
  17. 前記行動計画部は、
    比較した結果、前記第1注目状況と前記第2注目状況とが異なっている前記分割領域がある場合、当該分割領域を、前記補正方針に基づいて前記自律移動装置を移動させる終点とする請求項16に記載の自律移動装置。
  18. 計測部が、所定領域内に存在している人の位置と姿勢とを計測する計測手順と、
    注目状況推定部が、前記計測手順によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定する推定手順と、
    状況分析部が、前記推定手順によって推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定する状況分析手順と、
    行動計画部が、前記状況分析手順によって決定された前記補正方針に対応する行動を決定する行動決定手順と、
    を含む自律移動装置の制御方法。
JP2015080337A 2015-04-09 2015-04-09 自律移動装置および自律移動装置の制御方法 Active JP6497185B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015080337A JP6497185B2 (ja) 2015-04-09 2015-04-09 自律移動装置および自律移動装置の制御方法
US15/078,726 US9682482B2 (en) 2015-04-09 2016-03-23 Autonomous moving device and control method of autonomous moving device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015080337A JP6497185B2 (ja) 2015-04-09 2015-04-09 自律移動装置および自律移動装置の制御方法

Publications (2)

Publication Number Publication Date
JP2016198850A true JP2016198850A (ja) 2016-12-01
JP6497185B2 JP6497185B2 (ja) 2019-04-10

Family

ID=57112645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015080337A Active JP6497185B2 (ja) 2015-04-09 2015-04-09 自律移動装置および自律移動装置の制御方法

Country Status (2)

Country Link
US (1) US9682482B2 (ja)
JP (1) JP6497185B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066304A1 (ja) 2016-10-07 2018-04-12 株式会社神戸製鋼所 スクリュ式押出機
CN113126877A (zh) * 2021-05-18 2021-07-16 中国银行股份有限公司 界面使用情况分析方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317861B2 (en) 2013-08-13 2022-05-03 Sync-Think, Inc. Vestibular-ocular reflex test and training system
US9958939B2 (en) 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
US10643485B2 (en) * 2017-03-30 2020-05-05 International Business Machines Corporation Gaze based classroom notes generator
US10970527B2 (en) * 2017-09-01 2021-04-06 Digital Dream Labs, Llc Robot attention detection
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
WO2021149336A1 (ja) * 2020-01-22 2021-07-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US11488047B2 (en) * 2020-04-23 2022-11-01 Raytheon Company Autonomous correction of course of action
US11423674B2 (en) * 2020-10-22 2022-08-23 Ford Global Technologies, Llc Vehicle occupant gaze detection
CN113253748B (zh) * 2021-06-08 2022-02-22 深圳市优必选科技股份有限公司 并联构型仿人机器人的状态估计方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006123102A (ja) * 2004-10-29 2006-05-18 Advanced Telecommunication Research Institute International 眼球制御装置、眼球制御方法および眼球制御プログラム
JP2006231497A (ja) * 2005-02-28 2006-09-07 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007050461A (ja) * 2005-08-17 2007-03-01 Nec Corp ロボット制御システム、ロボット装置、およびロボット制御方法
JP2007336445A (ja) * 2006-06-19 2007-12-27 Nippon Telegr & Teleph Corp <Ntt> 会話支援システム
JP2008272019A (ja) * 2007-04-25 2008-11-13 Oki Electric Ind Co Ltd 集団感情認識支援システム
JP2009285818A (ja) * 2008-05-30 2009-12-10 Fujitsu Ltd 移動説明装置、および、移動説明プログラム
US20100048300A1 (en) * 2008-08-19 2010-02-25 Capio Oliver R Audience-condition based media selection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293052A (ja) * 2004-03-31 2005-10-20 Honda Motor Co Ltd 顧客応対ロボット
JP4459735B2 (ja) * 2004-06-30 2010-04-28 本田技研工業株式会社 商品説明ロボット
JP5157595B2 (ja) 2008-04-01 2013-03-06 トヨタ自動車株式会社 接客システム及び接客方法
US9440356B2 (en) * 2012-12-21 2016-09-13 Crosswing Inc. Customizable robotic system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006123102A (ja) * 2004-10-29 2006-05-18 Advanced Telecommunication Research Institute International 眼球制御装置、眼球制御方法および眼球制御プログラム
JP2006231497A (ja) * 2005-02-28 2006-09-07 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007050461A (ja) * 2005-08-17 2007-03-01 Nec Corp ロボット制御システム、ロボット装置、およびロボット制御方法
JP2007336445A (ja) * 2006-06-19 2007-12-27 Nippon Telegr & Teleph Corp <Ntt> 会話支援システム
JP2008272019A (ja) * 2007-04-25 2008-11-13 Oki Electric Ind Co Ltd 集団感情認識支援システム
JP2009285818A (ja) * 2008-05-30 2009-12-10 Fujitsu Ltd 移動説明装置、および、移動説明プログラム
US20100048300A1 (en) * 2008-08-19 2010-02-25 Capio Oliver R Audience-condition based media selection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066304A1 (ja) 2016-10-07 2018-04-12 株式会社神戸製鋼所 スクリュ式押出機
CN113126877A (zh) * 2021-05-18 2021-07-16 中国银行股份有限公司 界面使用情况分析方法及装置
CN113126877B (zh) * 2021-05-18 2022-07-05 中国银行股份有限公司 界面使用情况分析方法及装置

Also Published As

Publication number Publication date
JP6497185B2 (ja) 2019-04-10
US20160299505A1 (en) 2016-10-13
US9682482B2 (en) 2017-06-20

Similar Documents

Publication Publication Date Title
JP6497185B2 (ja) 自律移動装置および自律移動装置の制御方法
JP7120002B2 (ja) 飛行装置
EP3400705B1 (en) Active speaker location detection
EP3460615A1 (en) Spherical robot
US10409292B2 (en) Movement control method, autonomous mobile robot, and recording medium storing program
US11750789B2 (en) Image display system
JP2018148422A (ja) 情報処理システム、情報処理装置、情報処理方法ならびに情報処理方法をコンピュータに実行させるプログラム
JP2017529521A (ja) 社会的且つ環境的認識を提供する装用可能イヤピース
JP2016045874A (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2017213070A1 (ja) 情報処理装置および方法、並びに記録媒体
JP2017111790A (ja) 移動制御方法、自律移動ロボット及びプログラム
US20160368602A1 (en) Camera drone systems and methods for maintaining captured real-time images vertical
JPWO2018216342A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014215755A (ja) 画像処理システム、画像処理装置及び画像処理方法
EP4246281A1 (en) Information display system, information display method, and carrier means
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
US10911658B2 (en) Method for generating direction information of omnidirectional image and device for performing the method
WO2021177471A1 (ja) 検出装置、追跡装置、検出プログラム、及び追跡プログラム
JP2015162886A (ja) 障害物監視システム及びプログラム
JP2019066196A (ja) 傾き測定装置及び傾き測定方法
KR20180102482A (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
JP6488946B2 (ja) 制御方法、プログラム及び制御装置
JP2021103410A (ja) 移動体及び撮像システム
US20240054749A1 (en) Information processing device and information processing method
JP2020087061A (ja) 無人移動体及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171129

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190225

R150 Certificate of patent or registration of utility model

Ref document number: 6497185

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150