JP2016198850A - 自律移動装置および自律移動装置の制御方法 - Google Patents
自律移動装置および自律移動装置の制御方法 Download PDFInfo
- Publication number
- JP2016198850A JP2016198850A JP2015080337A JP2015080337A JP2016198850A JP 2016198850 A JP2016198850 A JP 2016198850A JP 2015080337 A JP2015080337 A JP 2015080337A JP 2015080337 A JP2015080337 A JP 2015080337A JP 2016198850 A JP2016198850 A JP 2016198850A
- Authority
- JP
- Japan
- Prior art keywords
- attention
- unit
- person
- situation
- mobile device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
Abstract
Description
また、特許文献2に記載の技術では、ロボットに対する関心度の高い順に接客を行う。このため、特許文献2に記載の技術では、展示会のように複数の見学者に対して同時に対応したり説明物に対して説明しても、説明対象物に見物人を注目させることができず、見物人の視線がロボットに注目することを防ぐことができなかった。
また、上述した(3)の構成によれば、人が注目している対象物が着目点と一致しているか否かを判別することができる。
また、上述した(5)の構成によれば、人の視覚特性に基づいているので、人が注目している対象物を精度良く推定することができる。
また、上述した(6)の構成によれば、所定領域に存在している複数の人が、別々の対象物を注目している場合であっても、所定領域に存在している複数の人が注目している対象物を推定することができる。
また、上述した(8)の構成によれば、所定領域に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目点とに応じて、自律移動装置を注目している人の割合を上げるか、自律移動装置を注目している人の割合を下げるかを決定することができる。
また、上述した(10)の構成によれば、所定領域に存在している多数の人達が注目している対象物が着目点と一致していない場合に、複数の人が注目している対象物と着目点とに応じて、着目して欲しい対象物があるか、着目して欲しい着目物がないかを補正方針として決定することができる。
また、上述した(12)の構成によれば、自律移動装置は、状況分析部によって選択された決定された行動候補に応じた行動を行うことができる。
また、上述した(13)の構成によれば、進行の妨げや、自律移動装置の行動の妨げにならないように行動候補を選択することができる。
また、上述した(15)の構成によれば、撮像部で撮像した画像を用いて、各人の注目方向を検出するようにしたので、各人のz軸方向の注目方向を精度良く推定することができる。
また、上述した(17)の構成によれば、複数の分割領域毎に存在している人達が注目している状況と、予め定められている分割領域毎の着目点とが異なっている場合、異なっている領域を移動の終点とすることで、運動量を低減することができる。
例えば、イベント会場において、人型のロボットがステージ上で司会進行を行う場合がある。このような状況では、予めロボットに、シナリオ、動作、及び音声信号などを記憶させておき、記憶させた動作を行わせながら、シナリオに応じたタイミングで記憶されている音声信号を再生させる場合がある。しかしながら、自律型のロボットは、まだ珍しいため、会場に存在している人(以下、観客ともいう)は展示物やスクリーンの説明より、ロボットに注目してしまうことがある。なお、シナリオとは、例えばイベント等で、時刻毎に説明文やロボットの行動、スクリーンに表示される映像などが予め定められているものである。
このため、本実施形態では、観客が注目している対象物が、説明の目的としている対象物と一致しているか否かを判別する。一致していない場合、ロボットは、ロボットへの注目度を上げ、または下げることで、観客の注目度を変更するように制御される。なお、本発明において注目度とは、所定の領域に存在している観客のうち、対象物を注目している人数の割合である。
図1は、本実施形態に係る会場の概略を説明する図である。図1において、床に平行な面をxy平面、ステージ3の長手方向(左右方向)をx軸方向、ステージ3の奥行き方向をy軸方向、床からの高さ方向をz軸方向と定義する。
図1に示すように、会場にはステージ3があり、ステージ3の前方は、観客が存在する領域である。また、ステージ3上の左前方には、展示物4(対象物)が例えば展示台の上に展示され、ステージ3の後方には、スクリーン5(対象物)が設置されている。そして、ロボット1(対象物)が、状況に応じて自律的にステージ3上を移動しながら観客に対して説明を行う。
領域6(所定領域)は、後述するセンサによって観客が計測される領域である。図1に示す例では、領域6内に、11人の観客である人p1〜p11が存在している。以下、観客を特定しない場合は、単に人pという。
なお、図1に示した展示物4、スクリーン5の位置は一例であり、他の位置であってもよい。領域6も一例であり、領域の広さはセンサの特性、センサの個数等に応じた大きさであってもよい。
図2に示すように、ロボット1は、計時部10、計測部20、記憶部30、注目状況推定部40、シナリオ記憶部50(行動記憶部)、状況分析部60、注目度変更設定部70(状況分析部)、行動計画部80、行動制御部90、および音声出力部95を含んで構成される。また、ロボット1には、センサ2が接続されている。
なお、本実施形態では、人クラスタデータ位置、人pの向き、人pが注目している方向、人クラスタデータ高さ、および領域6に存在している人pの総数を示す情報を記憶部30に記憶させる例を説明したが、これらの情報を注目状況推定部40に出力するようにしてもよい。
図6は、本実施形態に係る展示物4の位置情報の一例を説明する図である。図6に示す例では、展示物4は、テーブル7の上に展示されている。図6に示す例では、展示物4の位置情報は、観客から見て展示物4の正面の四隅の座標(x21、y21、z21)、(x23、y21、z21)、(x21、y21、z23)、(x23、y21、z23)と、重心の座標(x22、y21、z22)とである。なお、図5および図6の座標系は、図1と同じである。
注目状況推定部40は、記憶部30に記憶されている対象物の位置情報と、人クラスタデータと、領域6に存在している人の総数Nとを読み出す。注目状況推定部40は、読み出した情報を用いて、人p毎の最も注目している対象物(第1注目状況)を推定して、推定した人p毎の推定結果(第1注目状況)を状況分析部60に出力する。なお、注目状況推定部40は、ロボット1が有する各種センサ(不図示)の検出値に基づいて、ロボット1の位置を推定する。ここで、推定結果には、ロボット1を注目していることを示す情報とロボット1を注目している観客の割合、着目して欲しい対象物を注目していることを示す情報と着目して欲しい対象物を注目している観客の割合、その他を注目している(含む注目している対象物がない)ことを示す情報とその他を注目している観客の割合のうち、少なくとも1つの情報と観客の割合とが含まれる。ここで、その他を注目している(含む注目している対象物がない)とは、観客が、対象物(ロボット1、着目して欲しい対象物)以外を注目している状況である。また、観客の割合と、人pが注目している対象物を推定する方法については、後述する。
図7は、本実施形態に係るシナリオ記憶部50に記憶されている情報の一例を説明する図である。図7に示す例では、時刻t0およびt1の時の着目点はスクリーン5であり、時刻t2およびt5の時の着目点はロボット1であり、時刻t3、t4、およびt6の時の着目点は展示物4である。また、図7に示す例では、シナリオの時刻t0において、ロボット1は、位置(x101、y101)に移動しながら、スクリーン5に投影されている画像についての説明文1の音声信号を出力することを表している。
図8は、本実施形態に係るシナリオ記憶部50に記憶されているロボット1への注目度を変更する行動に関する情報の一例を説明する図である。
図8に示すように、シナリオ記憶部50には、ロボット1への注目度を上げる行動に対して、着目して欲しい対象、脚部の動作の有り無し、行動候補、および条件が関連付けられて記憶されている。また、シナリオ記憶部50には、ロボット1への注目度を下げる行動に対して、着目して欲しい対象の有り無し、脚部の動作、行動候補、および条件が関連付けられて記憶されている。ここで、脚部の動作とは、ロボット1の脚部の動作を伴う行動であり、ロボット1が、歩行する動作、走る動作、ケンケン(片足跳び)する動作等である。脚部の動作を伴わない動作とは、観客に対して手を振る、観客を見る、観客に呼びかける、着目して欲しい対象を手で指す、着目して欲しい対象の名前を呼ぶ、着目して欲しい対象を持ってみせる、観客から視線をそらす(視線を切るともいう)等である。また、図8において、丸(○)印は、脚部の動作を伴う行動候補であることを表し、バツ(×)印は、脚部の動作を伴わない行動候補であることを表している。
ロボット1が着目して欲しい対象である場合の行動とは、走る、ケンケンする、観客を見る、観客に呼びかける、観客に近づく行動である。
また、ロボット1の動作や人間の動きを説明する場合は、説明を途中で妨げないように説明内容と関連していない動作を行わない必要があるため、行動候補として、走る、ケンケンするが選択される。
状況分析部60は、計時部10から入力される時刻情報に応じて、シナリオ記憶部50に記憶されている対応する時刻の着目点を示す情報を読み出す。状況分析部60は、読み出した着目点を示す情報と、注目状況推定部40から入力された推定結果とに基づいて、観客が注目している対象物がシナリオ記憶部50に記憶されている着目点と一致しているか否かを時刻毎に判別する。そして、状況分析部60は、時刻毎に判別した判別結果と着目点を示す情報とを、注目度変更設定部70に出力する。なお、判別結果は、人pが注目している対象物が着目点と一致していることを示す情報(判定結果1)、人pが注目している対象物が着目点と不一致であることを示す情報(判定結果2)のいずれか1つである。また、判定結果2には、人pが注目している対象物を示す情報が含まれている。
なお、観客が注目している対象物が着目点と一致しているか否かの判別方法については後述する。
一方、行動計画部80は、注目度変更設定部70からロボット1が経由点であることを示す情報、ロボット1が着目して欲しい対象であることを示す情報、着目して欲しい対象物がロボット1以外であることを示す情報、着目して欲しい対象がないことを示す情報のうち、いずれか1つが入力された場合、シナリオ記憶部50から対応する行動候補を選択する。そして、行動計画部80は、選択した行動候補を行動計画に決定する。なお、行動候補の選択方法については後述する。行動計画部80は、選択した行動候補を示す情報を行動制御部90に出力する。
音声出力部95は、行動制御部90から入力された音声信号を出力し、例えばスピーカーである。
次に、計測部20が行う人クラスタデータの生成方法の一例を説明する。
図9は、本実施形態に係るセンサ2による測定と計測部20による処理を説明する図である。図9における座標系は図1と同じである。図9に示す例では、人p1と人p2が、存在している。
また、図9に示す例では、検出対象の空間の天井に2つのセンサ2−1とセンサ2−2が、距離L1の間隔で設置されている。領域111は、センサ2−1の検出可能な領域(以下、検出領域という)を示し、領域112は、センサ2−2の検出領域を示している。また、図9に示した例では、所定の高さ以上の測距点(121〜126、131〜136)を示している。
測距点121〜126は、人p1に対する測距点であり、測距点131〜136は、人p2に対する測距点である。測距点は、例えば、人の頭頂部、耳、鼻尖、肩などに対応する点である。
測距点122〜125がセンサ2−1によって測定された測距点であり、測距点126および測距点131〜136がセンサ2−2によって測定された測距点である。
計測部20は、角度A1(姿勢)、角度Vf(姿勢)を用いて、人pの向き(第1注目状況)を検出する。
図11は、本実施形態に係るクラスタリング処理および人クラスタデータを生成する処理の手順のフローチャートである。
(ステップS102)計測部20は、xy平面に投影した投影点をクラスタに分類する。計測部20は、処理をステップS103に進める。
以上で、クラスタリング処理及び人クラスタデータを生成する処理を終了する。
次に、ステージ3上のロボット1、展示物4、スクリーン5、及び人pの位置(人クラスタデータ位置)、人が向いている向き等の関係について説明する。
図12は、本実施形態に係るステージ3上の対象物の座標、人pの位置、向き、注目方向の一例を説明する図である。なお、図12の座標系は、図1と同じである。図12に示す例において、スクリーン5のx軸方向の範囲は(x11)〜(x13)であり、重心のx軸方向の座標は(x12)である。展示物4のx軸方向の範囲は(x21)〜(x23)であり、重心のx軸方向の座標は(x22)である。ロボット1のx軸方向の範囲は(x31)〜(x33)であり、重心のx軸方向の座標は(x32)である。
図12に示す例において、人pは、座標(x41、y41)の位置に存在している。また、人pの向きであるx軸方向に対する角度はφであり、人pが注目している方向と距離を示すベクトルはVである。図12に示す例では、ベクトルVの終点は、スクリーン5上である。
図13は、本実施形態に係る人が注目しているxy平面における範囲を説明する図である。
図13において、角度φは、人pのx軸に対する角度である。このため、人pがスクリーン5に対して正面を向いている場合の角度は0度であり、人pがスクリーン5に対して真横を向いている場合の角度は90度である。
図13に示す例において、人pから対象物の重心(対象物重心ともいう)までの距離をLとする。人pが正面を向いている場合、xy平面において人pが注目していると推定される範囲は、前述した水平方向(xy平面)の有効視野角に基づいて、次式(1)のように表される。
なお、注目状況推定部40は、垂直方向においても、前述した垂直方向の有効視野角を用いて、式(1)または式(2)における人pがyz平面で注目している範囲を注目状況推定部40が推定するようにしてもよい。
まず、本実施形態において、領域6内に存在する観客が注目している対象物がある、注目している対象物がない、と判断する際の閾値について説明する。本実施形態では、以下のように、ロボット1が着目して欲しい対象物(または何れも着目して欲しくない)の場合と、その他の場合とで使い分ける。
1−(ロボット1を注目している人の割合)=(その他を注目している人の割合) …(3)
場合(1)では、式(3)より、対象物を注目しているか否かの判別に用いる閾値を50%とする。そして、注目状況推定部40は、“その他を着目している人の割合”が50%以上のとき、観客が注目しているものがないと推定し、“その他を着目している人の割合”が50%未満のとき、観客がロボット1に注目しているものと推定する。
1−(着目して欲しい対象物を注目している割合)−(ロボット1を注目している割合)=(その他を着目している割合) …(4)
場合(2)では、式(4)より、対象物を注目しているか否かの判別に用いる閾値を33%とする。そして、注目状況推定部40は、“その他を着目している人の割合”が33%以上のとき、観客が注目しているものがないと推定する。また、注目状況推定部40は、“その他を着目している人の割合”が33%未満のとき、着目して欲しい対象物を注目している割合とロボット1を注目している割合とを比較し、割合が大きい方を観客が注目しているものとして推定する。
図14は、本実施形態に係る注目状況推定部40が行う処理の手順のフローチャートである。
(ステップS203)注目状況推定部40は、記憶部30から領域6内の人数Nを示す情報を読み出す。注目状況推定部40は、処理をステップS204に進める。
(ステップS206)注目状況推定部40は、人pが注目している方向を表すベクトルVと、対象物へのベクトル(Vsr、Vex、およびVro)との各偏差を、人p毎に算出する。注目状況推定部40は、処理をステップS207に進める。
(ステップS210)注目状況推定部40は、前述した式(3)にNrob割合を代入して、その他を注目している人の割合を算出する。次に、注目状況推定部40は、算出したその他を注目している人の割合が50%以上であるか否かを判別する。注目状況推定部40は、その他を注目している人の割合が50%以上であると判別した場合(ステップS210;YES)、ステップS213に処理を進め、その他を注目している人の割合が50%未満であると判別した場合(ステップS210;NO)、ステップS214に処理を進める。
(ステップS212)注目状況推定部40は、前述した式(4)にNrob割合及びNex割合を代入して、その他を注目している人の割合を算出する。次に、注目状況推定部40は、算出したその他を注目している人の割合が33%以上であるか否かを判別する。注目状況推定部40は、その他を注目している人の割合が33%以上であると判別した場合(ステップS212;YES)、ステップS213に処理を進め、その他を注目している人の割合が33%未満であると判別した場合(ステップS211;NO)、ステップS214に処理を進める。
(ステップS214)注目状況推定部40は、ステップS210で判別した結果が50%未満の場合、観客がロボット1を注目していると推定する。
また、注目状況推定部40は、ステップS212で判別した結果が33%未満の場合、Nrob割合とNex割合とを比較する。次に、比較した結果、Nrob割合がNex割合より大きい場合に、注目状況推定部40は、観客がロボット1を注目していると推定する。または、比較した結果、Nex割合がNrob割合より大きい場合に、注目状況推定部40は、観客がロボット1以外の着目点を注目していると推定する。観客がロボット1以外の着目点を注目していると推定した場合、注目状況推定部40は、ステップS207で算出した偏差に基づいて、観客が注目している対象物が展示物4であるか、スクリーン5であるかを推定する。本実施形態では、注目状況推定部40によって推定された推定結果を、観客が最も注目している対象物という。次に、注目状況推定部40は、推定した推定結果を状況分析部60に出力する。
なお、注目状況推定部40は、ステップS201〜S214の処理を、所定の時間毎に行う。所定の時間毎とは、例えば100[msec]毎である。
以上で、注目状況推定部40が行う推定処理を終了する。
次に、状況分析部60が行う処理について説明する。
図15は、本実施形態に係る状況分析部60が行う処理の手順のフローチャートである。
(ステップS301)状況分析部60は、計時部10から入力される時刻情報を取得する。状況分析部60は、処理をステップS302に進める。
(ステップS302)状況分析部60は、取得した時刻情報に応じた時刻と関連づけられている着目点を示す情報を、シナリオ記憶部50から読み出す。状況分析部60は、処理をステップS303に進める。
(ステップS306)状況分析部60は、最も注目されている対象物と着目点とが一致していないと判別する。次に、状況分析部60は、判別した判別結果を注目度変更設定部70に出力し、一連の処理を終了する。
なお、状況分析部60は、ステップS301〜S306の処理を、所定の時間毎に行う。所定の時間毎とは、例えば100[msec]毎である。
次に、注目度変更設定部70、行動計画部80、および行動制御部90が行う処理の一例について説明する。
図16は、時刻t0〜t6におけるシナリオ記憶部50に記憶されている着目点と、領域6内に存在している観客が注目している対象物の一例を説明する図である。なお、図16に示す例は、領域6内に存在している観客が注目している対象物は、領域6内に存在している観客のうち50%以上の観客が注目している対象物である例である。なお、時刻t0と時刻t1との間隔は、例えば10秒である。
図17は、時刻t1における領域6内に存在している人の注目度を説明する図である。
なお、本実施形態では、割合を百分率で算出する例を説明したが、単に比であってもよい。
このため、注目度変更設定部70は、ロボット1への注目度を上げるか、ロボット1への注目度を下げるかを判別する。さらに、注目度変更設定部70は、入力された着目点を示す情報に基づいて、注目して欲しい対象について、ロボット1が経由点であるのか、ロボット1が見て欲しい対象であるのか、見て欲しい対象物がロボット1以外であるのか、見て欲しい対象がないのかを判別する。
(ステップS401)注目度変更設定部70は、計時部10から入力される時刻情報を取得する。注目度変更設定部70は、処理をステップS402に進める。
(ステップS402)注目度変更設定部70は、状況分析部60から入力された判別結果が、判定結果1であるか判定結果2であるかを判別する。注目度変更設定部70は、判別結果が判定結果1であると判別した場合(ステップS402;判定結果1)、ステップS403に進み、判別結果が判定結果2であると判別した場合(ステップS402;判定結果2)、ステップS405に進む。
(ステップS406)注目度変更設定部70は、観客が最も注目している対象物がロボット1であるか否かを判別する。注目度変更設定部70は、観客が最も注目している対象物がロボット1であると判定した場合(ステップS406;YES)、ステップS407に進み、観客が最も注目している対象物がロボット1以外であると判定した場合(ステップS406;NO)、ステップS410に進む。
(ステップS409)行動計画部80は、注目して欲しい対象がない場合の行動候補の中から行動候補を選択し、処理をステップS413に進める。
(ステップS412)行動計画部80は、ロボット1が注目して欲しい対象である場合の行動候補の中から行動候補を選択し、処理をステップS413に進める。
なお、注目度変更設定部70および行動計画部80は、以上の処理を所定の時刻毎に行う。また、シナリオ記憶部50に記憶されている行動計画を変更するとは、図7に示した例のようにシナリオ記憶部50に記憶されている時刻毎の説明分とロボット1の移動予定位置である行動計画を、選択された行動候補に応じた説明分やロボット1の移動予定位置に変更することである。
これにより、ロボット1は、着目点と観客が注目している対象物が一致しない場合、観客が注目している対象物への注目を変化させる補正方針に対応する行動をすることで、観客の注目を対象物から変化させることができる。この結果、本実施形態によれば、観客が注目している対象を変化させることができる。
この構成によって、本実施形態のロボット1は、進行の妨げや、ロボット1の行動の妨げにならないように行動候補を選択することができる。
この構成によって、本実施形態のロボット1は、動作コストの高い移動を伴う行動候補を低い選択順位にすることができるので、ロボット1が有している電源の電力を有効に利用することができる。
図19は、本実施形態に係る各ベクトルと人の有効視野角に基づく視野の範囲の一例を説明する図である。図19における座標系は、図1と同じである。
図19において、符号g201が示す領域は、人pの視野範囲の領域であり、符号g211が示す領域は、ロボット1が存在する領域である。また、符号g214が示す領域は、展示物4が置かれている領域であり、符号g215が示す領域は、スクリーン5が設置されている領域である。また、人pは、xy平面内の位置(x41、y41)に存在し、人pの鼻尖の位置が(x41、y41、z41)であるとする。
逆に、ステージ3の高さが床の高さより低い場合、予め観客がステージ3上の対象物を見下ろす角度を実測しておき、記憶部30に記憶させておくようにしてもよい。そして、注目状況推定部40は、記憶部30に記憶されている見下ろす角度を垂直方向における有効視野角に加算して、この加算された値を用いて人pが注目している方向を表すベクトルVを推定するようにしてもよい。
注目状況推定部40は、記憶部30に記憶されている各対象物の四隅の座標と重心の座標に基づいて、図19の符号g211、g214、およびg215に示した各対象物の領域を算出するようにしてもよい。また、仮に、人pの視点の終点を、ステージ3の最も奥に配置されているスクリーン5上のy軸方向の位置の座標値(y11)とする。これにより、注目状況推定部40は、人pの視点の終点の座標を(x412、y11、z412)であると推定する。次に、注目状況推定部40は、人の有効視野角に基づいて、符号g201に示した人pの視野範囲の領域を算出するようにしてもよい。次に、注目状況推定部40は、算出した各領域を比較して、領域が重なっている対象物を、人pが注目している対象物であると推定するようにしてもよい。この場合も、偏差が同じ対象物が所定の範囲内に複数ある場合、注目状況推定部40は、人pから距離が近い方を注目している対象物であると推定する。
注目状況推定部40は、記憶部30に記憶されている各対象物の四隅の座標と重心の座標に基づいて、図12に示した例のように、ロボット1の存在するx軸方向の領域を(x31)〜(x33)であると算出する。注目状況推定部40は、展示物4が置かれているx軸方向の領域を(x21)〜(x23)であると算出し、スクリーン5が設置されているx軸方向の領域を(x11)〜(x13)であると算出するようにしてもよい。そして、注目状況推定部40は、人pのx軸方向の領域の範囲を、水平方向の有効視野角も基づいて、(x12+α)〜(x12−α)(ただしαは、水平方向の有効視野角±15度に基づいて算出した値)であると算出するようにしてもよい。次に、注目状況推定部40は、算出した各領域を比較して、領域が重なっている対象物を、人pが注目している対象物であると推定するようにしてもよい。この場合も、偏差が同じ対象物が所定の範囲内に複数ある場合、注目状況推定部40は、人pから距離が近い方を注目している対象物であると推定する。
第1実施形態では、ロボット1がセンサ2の計測情報を用いて観客が注目している方向を推定する例を説明したが、本実施形態では、さらに撮像部によって撮像された画像情報も用いて、観客が注目している方向を推定する例を説明する。
そして、計測部20Aは、センサ2から得られた測距点の情報に基づいて、人の位置と、人のxy平面における向きと、人pが注目している方向とを検出する。
図22は、本実施形態に係る撮像部8によって撮像された画像と有効視野角および人pが注目している方向の一例を説明する図である。なお、図22の座標系は、図1と同じである。
図22に示す例は、人pが右斜め前方の対象物を注目している例である。図22において、符号g251が示す領域は、撮像部8によって撮像された人pの顔を含む領域の画像である。符号L2に示す鎖線は、水平方向(xy平面)の有効視野角の範囲を表し、符号L3に示す破線は、垂直方向(z軸方向)の有効視野角の範囲を表す。また、角度A3は、水平方向の視野角を表し、角度A4は、z軸方向の視野角を表している。
次に、クラスタリング処理および人クラスタデータを生成する処理の手順について、図23を用いて説明する。図23は、本実施形態に係るクラスタリング処理および人クラスタデータを生成する処理の手順のフローチャートである。なお、第1実施形態の図11と同じ処理には、同じ符号を用いて説明を省略する。
(ステップS101〜S105)計測部20Aは、ステップS101〜S105の処理を、図11のステップS101〜S105と同様に行う。計測部20Aは、処理をステップS501に進める。
以上で、クラスタリング処理及び人クラスタデータを生成する処理を終了する。
(ステップS201)注目状況推定部40Aは、記憶部30Aから人p毎に人クラスタデータ位置を示す情報とxy平面における向きを示す情報とz軸方向の向きを示す情報とを読み出す。次に、注目状況推定部40Aは、各対象物の位置情報を読み出す。次に、注目状況推定部40Aは、各対象物それぞれのxy平面における重心の座標を抽出する。注目状況推定部40Aは、処理をステップS202に進める。
(ステップS204)注目状況推定部40Aは、読み出した位置情報を始点とし、xy平面における向きを示す情報とz軸方向の向きを示す情報とを用いて、人pが注目している方向を表すベクトルVを人p毎に推定する。注目状況推定部40Aは、処理をステップS205に進める。
以上で、注目状況推定部40Aが行う推定処理を終了する。
本実施形態においても、ロボット1Aは、着目点と観客が注目している対象物が一致しない場合、観客が注目している対象物への注目を変化させるように行動することで、観客の注目を対象物から変化させることができる。この結果、本実施形態によれば、観客が注目している対象を変化させることができる。
第1実施形態および第2実施形態では、領域6を1つの領域として扱ったが、本実施形態では、領域6を2つ以上の領域に分割して処理を行う例を説明する。
図24に示すように、ロボット1Bは、計時部10、計測部20、領域分割部25、記憶部30B、注目状況推定部40B、シナリオ記憶部50B、状況分析部60B、注目度変更設定部70B、行動計画部80B、行動制御部90、および音声出力部95を含んで構成される。また、ロボット1Bには、センサ2が接続されている。なお、第1実施形態の図2で説明したロボット1と同じ機能を有する機能部には、同じ符号を用いて説明を省略する。
領域分割部25は、読み出した分割情報に基づいて、領域6(図1)を分割する。ここで、分割された領域を、分割領域ともいう。領域分割部25は、人p毎のxy平面内の位置に基づいて、分割領域毎に存在している人pを検出する。領域分割部25は、人p毎に、分割領域を示す情報と人pの識別子とを関連付けた領域情報を、注目状況推定部40Bに出力する。
また、シナリオ記憶部50Bには、第1実施形態と同様に図8に示すように、ロボット1Bへの注目度を上げる行動に関する情報と、ロボット1Bへの注目度を下げる行動に関する情報とが記憶されている。
状況分析部60Bは、計時部10から入力される時刻情報に応じて、シナリオ記憶部50Bに記憶されている対応する時刻の各領域の着目点を示す情報を読み出す。状況分析部60Bは、読み出した情報と、注目状況推定部40Bから入力された分割領域毎の推定情報とを用いて、各分割領域の観客が注目している対象物がシナリオ記憶部50Bに記憶されている着目点と一致しているか否かを時刻毎に判定する。そして、状況分析部60Bは、時刻毎かつ分割領域毎に判定した判定結果(判定結果1、または判定結果2)を、注目度変更設定部70Bに出力する。
行動計画部80Bは、選択した分割領域毎の行動候補を示す情報を行動制御部90に出力する。また、行動計画部80Bは、ロボット1Bの位置を算出し、算出したロボット1Bの位置を計測部20に出力する。
次に、領域6の分割の例を説明する。
図26は、本実施形態に係る領域6を第1領域と第2領域との2つに分割した例を説明する図である。図26において、座標系は、図17と同じである。また、図17と同様に、会場にはステージ3があり、ステージ3上の左前方には、展示物4が例えば展示台の上に展示されている。また、ステージ3の後方には、スクリーン5が設置されている。そして、ロボット1Bが、ステージ3上を、状況に応じて自律的に移動しながら観客に対して説明を行う。
また、図26に示す例において、第1領域に存在している人p1、人p2、および人p6は、スクリーン5を注目している。また、人p4は、展示物4を注目し、人p3および人p5は、ロボット1Bを注目している。
さらに、図26に示す例において、第2領域に存在している4人の観客の人p8〜人p11は、展示物4を注目している。また、人p7は、ロボット1Bを注目している。
計測部20が行うクラスタリング処理および人クラスタデータを生成する処理の手順は、第1実施形態の図11と同様である。
次に、注目状況推定部40Bが行う処理について説明する。図27は、本実施形態に係る注目状況推定部40Bが行う処理の手順のフローチャートである。なお、図13と同じ処理については同じ符号を用いて説明を省略する。
(ステップS603)注目状況推定部40Bは、全ての分割領域に対する処理が終了した後、処理を終了する。
なお、注目状況推定部40Bは、ステップS201〜S603の処理を、所定の時間毎、例えば100[msec]毎に行うようにしてもよい。
また、ロボット1Bが撮像部8と画像処理部21とを備える場合、注目状況推定部40Bは、撮像された画像に基づいて、各人pのz軸方向の視線方向を推定する、またはxy平面の人の向きとz軸方向の視線方向を推定するようにしてもよい。
次に、状況分析部60Bが行う処理について説明する。
図28は、本実施形態に係る本実施形態に係る状況分析部60Bが行う処理の手順のフローチャートである。なお、図15と同じ処理については同じ符号を用いて説明を省略する。
(ステップS701)状況分析部60Bは、取得した時刻情報に応じた時刻と関連づけられている分割領域毎の着目点を示す情報を、シナリオ記憶部50Bから読み出す。状況分析部60Bは、処理をステップS702に進める。
(ステップS703)状況分析部60Bは、シナリオ記憶部50Bから読み出した分割領域毎の着目点を示す情報と、注目状況推定部40Bから入力された分割領域毎の推定結果とを比較する。状況分析部60Bは、処理をステップS704に進める。
(ステップS706)状況分析部60Bは、選択した分割領域の最も注目されている対象物と着目点とが一致していないと判別する。次に、状況分析部60は、判別した判別結果を注目度変更設定部70Bに出力する。
なお、状況分析部60Bは、ステップS301〜S707の処理を、所定の時間間隔、例えば100[msec]毎に行うようにしてもよい。
次に、注目度変更設定部70B、行動計画部80B、および行動制御部90が行う処理の一例について説明する。
図29は、時刻t0〜t6における第1領域(図26参照)に存在している人達が注目している対象物と、第2領域(図26参照)に存在している人達が注目している対象物の一例を説明する図である。なお、時刻t0〜t6における第1領域および第2領域それぞれにおける着目点は、図25に示したものである。
一方、時刻t1のとき、第1領域において、着目点(スクリーン5)と、その領域に存在している人達が最も注目している対象物(スクリーン5)とが一致し、第2領域において、着目点(ロボット1B)と、その領域に存在している人達が最も注目している対象物(スクリーン5)とが一致していない。また、時刻t3のとき、第1領域において、着目点(展示物4)と、その領域に存在している人達が最も注目している対象物(展示物4)とが一致し、第2領域において、着目点(着目して欲しい対象がない)と、その領域に存在している人達が最も注目している対象物(ロボット1B)とが一致していない。さらに、時刻t4のとき、第1領域において、着目点(着目して欲しい対象がない)と、その領域に存在している人達が最も注目している対象物(展示物4)とが一致していず、第2領域において、着目点(展示物4)と、その領域に存在している人達が最も注目している対象物(展示物4)とが一致している。
この処理によって、注目度変更設定部70Bおよび行動計画部80Bは、各分割領域に対する行動を変更するか、継続するかを決定する。
例えば、図25の時刻t1のときのように、第2領域において、着目点(ロボット1B)と、その分割領域に存在している人達が最も注目している対象物(スクリーン5)とが一致していない場合、注目度変更設定部70Bは、注目している対象物への注目を変化させたい分割領域に存在している観客に対して、選択された行動を行うように、行動候補を選択する。この場合、ロボット1Bへの注目度を上げたいので、行動計画部80Bは、例えば、第2領域に存在している観客に対して手を振る行動候補か、第2領域に存在している観客を見る行動候補を選択する。
領域分割部25は、図26に示したように、領域6を符号6Aに示す第1領域と、符号6Bに示す第2領域との2つの分割領域に分割する。そして、領域分割部25は、第1領域に存在している識別子ID1〜ID6と、第1領域に存在している人数(6人)と、第1領域を示す情報を関連付けて、第1の領域情報を生成する。また、領域分割部25は、第2領域に存在している識別子ID7〜ID11と、第2領域に存在している人数(5人)と、第2領域を示す情報を関連付けて、第2の領域情報を生成する。また、領域分割部25は、生成した第1の領域情報および第2の領域情報を、注目状況推定部40Bに出力する。
行動制御部90は、選択された行動候補に基づいて、ロボット1Bの行動をシナリオ記憶部50Bに記憶されている行動から変更して行動させるように制御する。
図30において、符号g300が示す図は、領域6を符号g301に示すように、所定の大きさ(広さ)の格子(グリッド)の分割領域に分割する例を説明する図である。符号g301に示す格子の大きさは、会場の広さに応じて予め定められた値である。または、領域6に存在している人の密集度に応じて、設定するようにしてもよい。密集度は、人クラスタデータから領域分割部25が算出するようにしてもよい。また、第2実施形態で説明したように、ロボット1Bが撮像部8を備えている場合、領域分割部25は、撮像された画像に基づいて密集度を算出し、算出した結果に応じて、格子の大きさを設定するようにしてもよい。図26に示した例では、格子(分割領域)が2つの例である。なお、複数の格子の大きさ同士は、異なっていてもよい。領域分割部25は、例えば、密集度の高い領域の格子の大きさを小さく設定し、密集度の低い領域の格子の大きさを密集度の高い領域の格子より大きくするようにしてもよい。また、格子の形状は、四角形に限られず、丸、楕円形、多角形等であってもよい。さらに、格子の境界線は、図26のように、1人の人pのクラスタを分断しないように設定するようにしてもよい。
図31は、本実施形態に係るロボット1Bの移動経路を説明する図である。図31に示す例では、図30の符号g320に示す図のように、領域を分割した一例である。図31において、角度は60度である。すなわち、スクリーン5の中心点g321を通る垂線g351−2に対して、線g351−1の角度が−60度であり、線g351−3の角度が+60度である。
また行動計画部80Bは、最も注目されている対象物と着目点とが一致していない領域に含まれる点g362またはg363を終点とする。これにより、ロボット1Bは、注目度を変更するための移動距離を少なくすることができる。
なお、上述したそれぞれの角度は一例であり、分割されている角度や、ステージ3上の展示物4の配置、会場の人の分布等に応じて、行動計画部80Bが角度を設定するようにしてもよい。
Claims (18)
- 所定領域内に存在している人の位置と姿勢とを計測する計測部と、
前記計測部によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定する注目状況推定部と、
推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定する状況分析部と、
決定された前記補正方針に対応する行動を決定する行動計画部と、
を備える自律移動装置。 - 前記注目状況推定部は、
前記計測部によって計測された前記姿勢を示す情報に基づいて、前記所定領域内に存在している人が注目している注目方向を前記第1注目状況として推定する請求項1に記載の自律移動装置。 - 前記第2注目状況は、
前記人に注目して欲しい対象物である着目物の位置及び前記着目物を示す情報を含み、
前記注目状況推定部は、
推定された前記注目方向と、前記人から前記着目物までの着目方向とを比較し、比較した結果に応じて前記人が前記着目物を注目しているか否かを判別する請求項2に記載の自律移動装置。 - 前記注目状況推定部は、
複数の前記対象物がある場合、前記人から複数の前記対象物それぞれまでの着目方向それぞれを推定し、前記注目方向と、前記着目方向それぞれとの角度の差それぞれを算出し、算出したそれぞれの前記角度の差の中で最も値が小さい前記着目方向に対応する前記対象物を、前記人が注目している対象物であると推定する請求項3に記載の自律移動装置。 - 前記注目状況推定部は、
算出したそれぞれの前記角度の差の中で最も値が小さい前記対象物の位置が、人の有効視野角以内である場合に、前記人が前記対象物を注目していると推定する請求項4に記載の自律移動装置。 - 前記注目状況推定部は、
前記所定領域内に存在している複数の人それぞれについて、当該人が注目している前記対象物を前記第1注目状況として推定し、
前記対象物それぞれについて、前記複数の人の中で、当該対象物を注目している人の割合を算出し、算出した前記割合に応じて、前記所定領域内に存在している前記複数の人が注目している前記対象物を推定する請求項4または請求項5に記載の自律移動装置。 - 前記状況分析部は、
前記注目状況推定部が推定した前記対象物と前記着目物とを比較して、前記所定領域内に存在している前記複数の人にうち所定の割合以上の人が、前記着目物を注目しているか否かを判別する請求項6に記載の自律移動装置。 - 前記状況分析部は、
前記着目物を注目していない人が所定の割合以上と判別した場合に、前記注目方向を変化させるように注目状況の補正を行う補正方針を決定する請求項7に記載の自律移動装置。 - 前記状況分析部は、
前記人が前記対象物を注目していないと判別した場合に、前記所定領域内に存在している前記複数の人のうち、前記自律移動装置を注目している人の割合を上げるか、当該自律移動装置を注目している人の割合を下げるかを、前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて決定する請求項7または請求項8に記載の自律移動装置。 - 前記状況分析部は、
前記自律移動装置を注目している人の割合を上げると判別した場合、前記自律移動装置を経由して前記着目物への注目する人の割合を変化させるか、当該自律移動装置が着目物であり当該自律移動装置を注目する人の割合を変化させるかを、前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて前記補正方針として決定する請求項9に記載の自律移動装置。 - 前記状況分析部は、
前記自律移動装置を注目している人の割合を下げると判別した場合、
着目して欲しい前記対象物が設定されている場合に前記着目物を注目する人の割合を変化させるか、
着目して欲しい前記着目物が設定されていない場合に前記対象物を注目する人の割合を変化させるかを、
前記所定の割合以上の人が注目している前記対象物と、前記着目物とに応じて前記補正方針として決定する請求項9に記載の自律移動装置。 - 前記補正方針に応じた行動候補が予め格納されている行動記憶部、を備え、
前記行動計画部は、
前記状況分析部によって決定された前記補正方針に応じて、前記行動記憶部に記憶されている前記行動候補の中から1つを選択する請求項2から請求項11のいずれか1項に記載の自律移動装置。 - 前記行動計画部は、
前記自律移動装置の予め定められている行動の妨げにならない前記行動候補を優先して選択する請求項12に記載の自律移動装置。 - 前記行動計画部は、
前記自律移動装置の移動を伴わない前記行動候補を優先して選択する請求項12または請求項13に記載の自律移動装置。 - 前記所定領域の画像を撮像する撮像部、を備え、
前記計測部は、
前記撮像部によって撮像された画像に基づいて、前記所定領域内に存在している前記人の前記注目方向を示す情報を計測する請求項2から請求項14のいずれか1項に記載の自律移動装置。 - 前記所定領域を、2つ以上の分割領域に分割する領域分割部、を備え、
前記注目状況推定部は、
前記分割領域毎に、前記計測部によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定し、
前記状況分析部は、
前記分割領域毎に、推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定し、
前記行動計画部は、
前記分割領域毎に、決定された前記補正方針に対応する行動を決定する請求項1から請求項15のいずれか1項に記載の自律移動装置。 - 前記行動計画部は、
比較した結果、前記第1注目状況と前記第2注目状況とが異なっている前記分割領域がある場合、当該分割領域を、前記補正方針に基づいて前記自律移動装置を移動させる終点とする請求項16に記載の自律移動装置。 - 計測部が、所定領域内に存在している人の位置と姿勢とを計測する計測手順と、
注目状況推定部が、前記計測手順によって計測された前記人の位置と姿勢とを示す情報に基づいて、前記人の第1注目状況を推定する推定手順と、
状況分析部が、前記推定手順によって推定された前記第1注目状況と予め設定された第2注目状況とに基づいて、前記第1注目状況の補正を行う補正方針を決定する状況分析手順と、
行動計画部が、前記状況分析手順によって決定された前記補正方針に対応する行動を決定する行動決定手順と、
を含む自律移動装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015080337A JP6497185B2 (ja) | 2015-04-09 | 2015-04-09 | 自律移動装置および自律移動装置の制御方法 |
US15/078,726 US9682482B2 (en) | 2015-04-09 | 2016-03-23 | Autonomous moving device and control method of autonomous moving device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015080337A JP6497185B2 (ja) | 2015-04-09 | 2015-04-09 | 自律移動装置および自律移動装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016198850A true JP2016198850A (ja) | 2016-12-01 |
JP6497185B2 JP6497185B2 (ja) | 2019-04-10 |
Family
ID=57112645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015080337A Active JP6497185B2 (ja) | 2015-04-09 | 2015-04-09 | 自律移動装置および自律移動装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9682482B2 (ja) |
JP (1) | JP6497185B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018066304A1 (ja) | 2016-10-07 | 2018-04-12 | 株式会社神戸製鋼所 | スクリュ式押出機 |
CN113126877A (zh) * | 2021-05-18 | 2021-07-16 | 中国银行股份有限公司 | 界面使用情况分析方法及装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11317861B2 (en) | 2013-08-13 | 2022-05-03 | Sync-Think, Inc. | Vestibular-ocular reflex test and training system |
US20150051508A1 (en) | 2013-08-13 | 2015-02-19 | Sync-Think, Inc. | System and Method for Cognition and Oculomotor Impairment Diagnosis Using Binocular Coordination Analysis |
US9958939B2 (en) * | 2013-10-31 | 2018-05-01 | Sync-Think, Inc. | System and method for dynamic content delivery based on gaze analytics |
US10643485B2 (en) * | 2017-03-30 | 2020-05-05 | International Business Machines Corporation | Gaze based classroom notes generator |
US10970527B2 (en) * | 2017-09-01 | 2021-04-06 | Digital Dream Labs, Llc | Robot attention detection |
US11032607B2 (en) * | 2018-12-07 | 2021-06-08 | At&T Intellectual Property I, L.P. | Methods, devices, and systems for embedding visual advertisements in video content |
WO2021149336A1 (ja) * | 2020-01-22 | 2021-07-29 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11488047B2 (en) * | 2020-04-23 | 2022-11-01 | Raytheon Company | Autonomous correction of course of action |
US11423674B2 (en) * | 2020-10-22 | 2022-08-23 | Ford Global Technologies, Llc | Vehicle occupant gaze detection |
CN113253748B (zh) * | 2021-06-08 | 2022-02-22 | 深圳市优必选科技股份有限公司 | 并联构型仿人机器人的状态估计方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006123102A (ja) * | 2004-10-29 | 2006-05-18 | Advanced Telecommunication Research Institute International | 眼球制御装置、眼球制御方法および眼球制御プログラム |
JP2006231497A (ja) * | 2005-02-28 | 2006-09-07 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
JP2007050461A (ja) * | 2005-08-17 | 2007-03-01 | Nec Corp | ロボット制御システム、ロボット装置、およびロボット制御方法 |
JP2007336445A (ja) * | 2006-06-19 | 2007-12-27 | Nippon Telegr & Teleph Corp <Ntt> | 会話支援システム |
JP2008272019A (ja) * | 2007-04-25 | 2008-11-13 | Oki Electric Ind Co Ltd | 集団感情認識支援システム |
JP2009285818A (ja) * | 2008-05-30 | 2009-12-10 | Fujitsu Ltd | 移動説明装置、および、移動説明プログラム |
US20100048300A1 (en) * | 2008-08-19 | 2010-02-25 | Capio Oliver R | Audience-condition based media selection |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293052A (ja) * | 2004-03-31 | 2005-10-20 | Honda Motor Co Ltd | 顧客応対ロボット |
JP4459735B2 (ja) * | 2004-06-30 | 2010-04-28 | 本田技研工業株式会社 | 商品説明ロボット |
JP5157595B2 (ja) | 2008-04-01 | 2013-03-06 | トヨタ自動車株式会社 | 接客システム及び接客方法 |
US9440356B2 (en) * | 2012-12-21 | 2016-09-13 | Crosswing Inc. | Customizable robotic system |
-
2015
- 2015-04-09 JP JP2015080337A patent/JP6497185B2/ja active Active
-
2016
- 2016-03-23 US US15/078,726 patent/US9682482B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006123102A (ja) * | 2004-10-29 | 2006-05-18 | Advanced Telecommunication Research Institute International | 眼球制御装置、眼球制御方法および眼球制御プログラム |
JP2006231497A (ja) * | 2005-02-28 | 2006-09-07 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
JP2007050461A (ja) * | 2005-08-17 | 2007-03-01 | Nec Corp | ロボット制御システム、ロボット装置、およびロボット制御方法 |
JP2007336445A (ja) * | 2006-06-19 | 2007-12-27 | Nippon Telegr & Teleph Corp <Ntt> | 会話支援システム |
JP2008272019A (ja) * | 2007-04-25 | 2008-11-13 | Oki Electric Ind Co Ltd | 集団感情認識支援システム |
JP2009285818A (ja) * | 2008-05-30 | 2009-12-10 | Fujitsu Ltd | 移動説明装置、および、移動説明プログラム |
US20100048300A1 (en) * | 2008-08-19 | 2010-02-25 | Capio Oliver R | Audience-condition based media selection |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018066304A1 (ja) | 2016-10-07 | 2018-04-12 | 株式会社神戸製鋼所 | スクリュ式押出機 |
CN113126877A (zh) * | 2021-05-18 | 2021-07-16 | 中国银行股份有限公司 | 界面使用情况分析方法及装置 |
CN113126877B (zh) * | 2021-05-18 | 2022-07-05 | 中国银行股份有限公司 | 界面使用情况分析方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20160299505A1 (en) | 2016-10-13 |
US9682482B2 (en) | 2017-06-20 |
JP6497185B2 (ja) | 2019-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6497185B2 (ja) | 自律移動装置および自律移動装置の制御方法 | |
JP7120002B2 (ja) | 飛行装置 | |
EP3400705B1 (en) | Active speaker location detection | |
US10409292B2 (en) | Movement control method, autonomous mobile robot, and recording medium storing program | |
JP2018148422A (ja) | 情報処理システム、情報処理装置、情報処理方法ならびに情報処理方法をコンピュータに実行させるプログラム | |
US11750789B2 (en) | Image display system | |
JP2017529521A (ja) | 社会的且つ環境的認識を提供する装用可能イヤピース | |
JPWO2017213070A1 (ja) | 情報処理装置および方法、並びに記録媒体 | |
JP2017111790A (ja) | 移動制御方法、自律移動ロボット及びプログラム | |
JP2014192776A (ja) | 映像監視システム、映像処理サーバ及び監視映像の閲覧・配信方法 | |
EP3422145A1 (en) | Provision of virtual reality content | |
JPWO2018216342A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2014215755A (ja) | 画像処理システム、画像処理装置及び画像処理方法 | |
US20160368602A1 (en) | Camera drone systems and methods for maintaining captured real-time images vertical | |
US10911658B2 (en) | Method for generating direction information of omnidirectional image and device for performing the method | |
EP4246281A1 (en) | Information display system, information display method, and carrier means | |
JP2019096062A (ja) | 物体追跡装置、物体追跡方法、および、物体追跡プログラム | |
JP6368503B2 (ja) | 障害物監視システム及びプログラム | |
KR102178990B1 (ko) | 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치 | |
JP2020087061A (ja) | 無人移動体及び制御方法 | |
WO2021177471A1 (ja) | 検出装置、追跡装置、検出プログラム、及び追跡プログラム | |
JP2019066196A (ja) | 傾き測定装置及び傾き測定方法 | |
JP6981340B2 (ja) | 表示制御プログラム、装置、及び方法 | |
JP6488946B2 (ja) | 制御方法、プログラム及び制御装置 | |
JP2021103410A (ja) | 移動体及び撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171129 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6497185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |