JP2008142876A - ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム - Google Patents

ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム Download PDF

Info

Publication number
JP2008142876A
JP2008142876A JP2006336418A JP2006336418A JP2008142876A JP 2008142876 A JP2008142876 A JP 2008142876A JP 2006336418 A JP2006336418 A JP 2006336418A JP 2006336418 A JP2006336418 A JP 2006336418A JP 2008142876 A JP2008142876 A JP 2008142876A
Authority
JP
Japan
Prior art keywords
robot
service
service target
person
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006336418A
Other languages
English (en)
Other versions
JP4786516B2 (ja
Inventor
Yoshihiro Furuyui
義浩 古結
Masahito Takuhara
雅人 宅原
Hideaki Murata
英明 村田
Eitetsu Takeda
英哲 竹田
Shigetoshi Kameo
成寿 亀尾
Ryota Hiura
亮太 日浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2006336418A priority Critical patent/JP4786516B2/ja
Publication of JP2008142876A publication Critical patent/JP2008142876A/ja
Application granted granted Critical
Publication of JP4786516B2 publication Critical patent/JP4786516B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】不特定多数の人が来場する場所において、ロボットによるサービスを行う対象となる人を的確に認識し、状況に応じて来場者への情報提供、支援、さらには警備、火災などに対する避難誘導などのサービスを行えるようにした、ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステムを提供することが課題である。
【解決手段】撮像装置、発話装置、音声認識手段等を備えたヒューマノイド型ロボットと、撮像装置、床センサ、音声認識手段などからなる不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とで構成され、不特定多数の人間から行動認識センサで選択したサービス対象候補者に対し、ロボットをサービス対象候補者の能動的行為を判別できる位置に移動させ、前記ロボットセンサによって能動的行為の判別用データを取得して、予め用意したサービス対象者の行動パターンデータと比較し、サービス対象候補者がサービス対象者か否かを判別してサービスを行うようにした。
【選択図】図１

Description

本発明は、ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステムに係り、特に、不特定多数の人が来場するショールームや美術館、銀行、ショッピングセンター等において、サービス対象者を的確に判別し、ロボットが状況に応じて来場者への情報提供、支援、さらには警備、火災などに対する避難誘導などのサービスを行えるようにした、ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステムに関するものである。
ロボットを用い、不特定多数の人が来場する例えばショールームや美術館、及び銀行、ショッピングセンター等において、情報提供、来場者に対する案内や機器の使い方などの支援、さらには警備、火災などに対する避難誘導などのサービスを行おうとした場合、問題となるのはサービスを行う対象となる人の認識である。すなわち、不特定多数の人が来場するショールームや美術館、銀行等では、見学やお金の出し入れで来場したサービスを行う対象となる人と、単にそこに立ち寄った人、あるいは悪意のある人（宝石や美術品を持ち去ろうとしている人、あるいは他人の暗証番号を盗もうとカメラなどを設置しようとしている人など）を見分けることができないと、効果的にサービスを行うことができない。
こういった不特定多数の人が来場する場所でロボットによるサービスを行う対象となる人を認識するためには、例えば天井にカメラを設置し、エリアの中を動く人を認識して展示物の前で立ち止まっている人がいたら、それを見学者とみなしてロボットに指示し、説明や案内を行わせる方法がある。
このような方法の先行技術としては、例えば本件出願人の出願になる特許文献１がある。この特許文献１では、駅構内のように、場所毎に人の移動状況が異なるようなサービスエリアを人の移動状況に応じた複数のエリアに分割し、ブロック毎の大多数の人の行動パターンの特徴を行動パターン統計情報として予め記録しておく。そして、カメラで人の動きを監視して得られたセンシングデータにより、行動パターンデータ抽出装置で人の位置変化を求めて位置変化を行動パターンデータとする。また、行動・状況認識装置でブロック毎に行動パターンデータと行動パターン統計情報とを比較し、人の行動を判定して行動認識結果として出力して、「急いでいる」人、「困っている」人、「（道に）迷っている」人、「（お店）で商品を見回っている」人、「（案内所で）案内を求めている」人などに分け、それぞれに対応したサービスを行えるようにしている。
また、ロボットを用いた方法ではないが、画像処理技術を有効利用して火災などの際、危険領域への人物進入の監視や避難ルートの決定を迅速且つ的確に実行できるようにし、都市防災の支援の向上を図るため、予め監視対象区域の基準画像データを用意し、災害発生時にカメラから得られる監視対象区域の現画像データとこの基準画像データとの比較をおこない、進入物体の大きさ、移動速度および移動方向を検出する。そして、それら情報で進入物体が人物であるか否かを人物判定部によって判定して、進入禁止領域などへの人物進入を自動的に判断して現地の担当員により人物の誘導を行うようにすると共に、避難ルート候補それぞれの道路状態を判断し、一次集合場所から広域避難場所への避難ルートとして最適な避難ルートを自動的に決定して導くようにした、避難誘導支援装置が特許文献２に示されている。
また、ロボットにカメラなどのセンサを設け、得られた画像を用いてサービスを行う方法もあり、例えば特許文献３に示されている。この特許文献３においては、ＣＣＤカメラや赤外線カメラ、マイク、赤外線タグ、及び生体センサや触覚センサなどのセンサ類を用い、環境内の周囲の状況を天井などに設置された周囲状況観測装置により、来場者等の視点からの状況が当該来場者に装着された人間用観測装置により、そしてロボットの視点からの状況がロボット本体に設けられたセンサ類によってそれぞれ観測できるようにされ、また、複数の展示物や前記人間用観測装置等にも赤外線タグ等が取り付けられて、これら観測装置で識別情報を含むデータが取得され、人間や展示物等の間のインタラクションが観測されて、環境内における人間の行動履歴を記録される。そして、対話相手についての過去に蓄積された行動データを解析し、その状態に基づいて対話相手に提示すべき案内や推薦等の行動を決定し、ロボット本体が当該行動を実行するようにしたコミュニケーションロボットが開示されている。
また、ロボットを用いた方法ではないが、レストラン等において顧客の要望に迅速に対応できるよう、各テーブルに設けられた撮影装置により撮影された顧客画像を、静止状態画像、注文時動作画像、注文時類似動作画像の各々と比較し、注文時動作であると認識した場合は注文用端末及び厨房内モニタに注文が発生したことを報知し、また、顧客画像から顧客が食べている料理画像を抽出し、この料理画像の残量を測定して残量が残量閾値Ｘ以下である場合、注文用端末及び厨房内モニタに顧客が食べ終わった旨を報知するなどし、顧客サービスの向上を図るとともに、レストラン側の業務の円滑化及び簡略化を実現するようにした、画像処理方法が特許文献４に示されている。
特開２００６−２２１３７９号公報 特開平７−２９６０６８号公報 特開２００５−１３１７１３号公報 特開２００４−２１３１２１号公報
しかしながら特許文献１に示された行動認識方法は、単に移動状況だけでその人の状態を判断しているため、例えば特定エリアを出たり入ったりして通常は「困っている」人、「（道に）迷っている」人と判断されるような人でも、携帯電話で電話しながらうろうろしているような場合、「困っている」でも「（道に）迷っている」わけでもないわけで、このような場合は誤判断となってしまう。
また、特許文献２に示された方法では、監視対象区域の基準画像データを記憶し、それを現在の画像と比較することで進入禁止領域などへの人物進入を認識しているが、侵入した人物への誘導は現地の担当員が行っており、例えばビルの中における火災などの場合、担当員の身の安全を考えるとサービスを提供できない場合が生じる。また、ショールームや美術館、及び銀行等における火災などに対する避難誘導は、係員（人間）が火災を発見した場合、その係員は日常の避難訓練などによってどのようにお客を誘導すればよいかがわかっても、それを他の係員に伝えないと効果的な誘導ができない場合があり、そういった場合に無線・電話等で状況を伝えていると、タイムラグが生じて効果的な避難誘導ができない場合がある。
一方、銀行のＡＴＭは、休日・夜間に運用される場合が増えており、防犯上の必要性から何らかの監視が必要であるが、夜間休日には人員を直接配置する代わりにカメラにより監視することが一般化している。しかしながら監視カメラは、映像・音声による一方的な監視であることから、機器の破壊、不正カメラの取り付け等の物理的な脅威に対し、音声による警告や警備員による対応となって行為を直接制止する等の対応ができない。
そのため、こうした行為を発見するために操作パネル付近を重点的に監視する方法があるが、この場合暗証番号操作等も撮影することになり、利用者にプライバシー上の不安を与え、さらに監視者が映像から得た情報による不正行為を働く要因となる可能性がある。一方、こういったＡＴＭ端末に不慣れな利用者（例えば高齢者）の場合、平日・昼間であれば人間による操作のアシストが可能であるが、休日・夜間では上記したようにこういったアシストがなく、利便性が低下すると共に、操作にまごつく行動が監視者からみれば不審行動となり、誤認識を起こすおそれもある。
さらに特許文献３に示されたコミュニケーションロボットは、訪問者や説明者を認識したり説明や案内を行うため、各人に人間用観測装置や赤外線タグを付ける必要があり、それらを装着していない人に対してはサービスを行うことができないから、不特定多数の人が集まる場所におけるサービスに応用することができない。またサービスは、対話相手の過去の行動に対応したものだけであり、初めて来たお客に対しては単純に行動履歴が記憶されるだけに止まる。
また、特許文献４に示された方法では、顧客の動作を予測するため注文時動作などの画像を記憶し、それを現在の画像と比較することでサービスを計っているが、これはレストラン等における注文動作等、顧客の動作が比較的分かり易い場所でのみ適用できる方法であり、不特定多数の人が集まる場所におけるサービスに応用することはできない。
すなわち、特定多数の人が来場する場所で、ロボットに行わせるサービスを行う対象となる人の認識を天井に設けたカメラを用いて行う方法では、見学しているように見えながら実際には電話しながら単にうろうろしているだけという人を見分けることができず、また、ロボットに設けられたカメラなどのセンサだけを用いると、センシングできる範囲が限定されているから見学している人とその他の人とを見分けることができない。
そのため本発明においては、不特定多数の人が来場する場所において、ロボットによるサービスを行う対象となる人を的確に認識し、状況に応じて来場者への情報提供、支援、さらには警備、火災などに対する避難誘導などのサービスを行えるようにした、ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステムを提供することが課題である。
上記課題を解決するため本発明になるロボットによるサービスシステムにおけるサービス対象者判別方法は、
ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムにおけるサービス対象者判別方法であって、
前記ロボットを前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと予め用意したサービス対象者の行動パターンデータとを前記データ処理装置で比較し、該比較結果に基づき、サービス対象候補者がサービス対象者か否かを判別する第３のステップとからなり、
前記行動認識センサで選択したサービス対象候補者から、前記ロボットにより行う前記第１と第２のステップからなる確認動作に基づいて第３のステップでサービス対象者を判別することを特徴とする。
このように、行動認識センサで選んだサービス対象候補者に対し、自律移動手段とロボットセンサとを有するロボットによる確認動作を行わせ、それによってサービス対象者を判別することで、不特定多数の人が来場する場所においてもサービスを行う対象となる人を的確に認識することができ、さらに、この確認動作によって、サービス対象者の状況に応じた例えば情報提供、支援、火災などに対する避難誘導、警備、迷子保護などのサービスを的確に行うことができる、ロボットによるサービスシステムにおけるサービス対象者判別方法を提供することができる。
そして、前記サービス対象候補者の選択は、前記行動認識センサを構成する撮像装置で前記不特定多数の人間の人物領域を抽出し、該人物領域の移動軌跡と、予め用意した前記サービス対象者の移動パターンデータとを前記データ処理装置で比較して行うことで、サービス対象候補者を確実に選択することができる。
さらに、前記サービス対象候補者の選択は、前記不特定多数の人間の行動エリアに置かれた前記ロボットのサービス対象物周囲の複数のエリアのそれぞれに人間が滞在した時間と、予め用意した前記複数のエリアのそれぞれに人間が滞在した時間に関する統計データとを前記データ処理装置で比較し、前記複数エリアのそれぞれにおける滞在時間が前記統計データにおける標準時間を超えた人間を前記サービス対象候補者とすることで、例えば展示物などのサービス対象物がある場合、普通の人は或る程度の時間がたてば次の展示物などに向かうが、滞留時間が長い人は説明をしてもらいたい可能性があり、うろうろしている人は不審者である可能性があるから、サービス対象候補者を確実に選択することができる。
そしてサービス対象候補者確認のため、前記第１のステップにおける前記ロボットの移動を、前記不特定多数の人間の行動エリアに置かれた前記ロボットのサービス対象物と前記サービス対象候補者との間の方向に向けておこなうことで、サービス対象者の能動的行為の判別用データを取得することが容易になって、不審者かも知れないと認定した人の行為を確実に確認することができ、例えばその人が何か食べたり電話しながらうろうろしていれば、不審者としてのレベルを下げることができ、確実にサービス対象者を確認することができる。
また、前記第１のステップにおける前記ロボットの移動は、前記不特定多数の人間の行動エリアに複数のサービス対象物が有る場合、前記サービス対象候補者に最も近いサービス対象物とサービス対象候補者との間の方向に向けておこなわせたり、前記第１のステップにおける前記ロボットの移動は、前記不特定多数の人間の行動エリアに壁や柱とサービス対象物がある場合、前記壁や柱を背にサービス対象物と前記サービス対象候補者との間の方向に向けておこなわせたり、前記第１のステップにおける前記ロボットの移動は、前記不特定多数の人間の行動エリアに複数のサービス対象物が有る場合、前記統計データにおける人の滞在時間が最も長いサービス対象物と前記サービス対象候補者との間の方向に向けておこなわせることで、通常、歩きながら何かを見ている人は進行方向と視線の方向が異なる場合があり、それも、複数の対象物がある場合や、多くの人が注目する対象物が有る場合、さらに、壁や柱が有る場合は、それぞれ視線、すなわち顔の方向が進行方向と異なってくるから、このようにそれぞれに対応してロボットを移動させることで、サービス対象者の能動的行為の判別用データを取得することが容易になって、人の顔、動作を確実に撮像してサービス対象者を確認することができる。
そして、上記課題を解決するため本発明になるロボットによるサービスシステムは、
ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムであって、
前記不特定多数の人間の行動エリアに前記ロボットのサービス対象物があり、前記ロボットを前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと予め用意したサービス対象者の行動パターンデータとを前記データ処理装置で比較し、前記サービス対象候補者が能動的行為をしていないことが確認されたとき、前記ロボットを前記サービス対象物とサービス対象候補者の間に移動させて発話による質問動作を行わせ、該質問動作で不審者と認定したとき、前記サービス対象候補者がサービス対象物へ接近しようとした場合は前記ロボットに制止動作を行わせることを特徴とする。
このようにロボットのサービス対象物があるエリアで、サービス対象候補者が能動的行為をしていないことが確認されたとき、ロボットに質問動作を行わせることで不審者を判別することが容易にでき、不審者がサービス対象物へ接近しようとした場合は制止動作を行わせることで、不審者による盗難等に対する対策も可能となり、ロボットによる警備が可能となるから夜間などにおいても効果的に警備を行うことができる。
また、上記課題を解決するため本発明になるロボットによるサービスシステムは、
ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムであって、
前記不特定多数の人間の行動エリアにある、前記サービス対象者により操作される操作盤と該操作盤が操作されたという信号を前記データ処理装置に送るセンサ手段とを有するサービス対象物があり、前記行動認識センサで前記サービス対象物に対向してサービス対象候補者を確認した場合に前記ロボットを、前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと予め用意したサービス対象者の行動パターンデータとを前記データ処理装置で比較し、前記サービス対象候補者による前記操作盤の操作が行われていないか前記センサ手段からの信号がないことを確認したとき、前記ロボットに、サービス対象者に対する発話を含む説明動作を行わせることを特徴とする。
このように、サービス対象者により操作される操作盤と操作盤の操作情報を送るセンサ手段を有するサービス対象物に対し、サービス対象候補者を確認すると共にセンサ手段からの信号がないか確認動作によってサービス対象候補者による前記操作盤の操作が行われていないことが確認された場合、通常、サービス対象候補者は操作に困っている人であると判断できるから、ロボットによりサービス対象者に発話を含む説明動作を行わせることで、ＡＴＭなどの前で操作方法が判らずに困っている人を確実に判別して情報提供、支援を効果的に行うことができる。
さらに、前記第２のステップで前記サービス対象者が前記サービス対象物の操作盤に向かっていないことを確認するか、前記サービス対象物に振動を加えていることを確認したとき、前記サービス対象候補者を不審者として前記ロボットに、前記サービス対象物とサービス対象候補者の間に移動させて制止動作を行わせることで、ＡＴＭなどを破壊して盗難等を行うことに対する対策も可能となり、夜間などにおいても効果的に警備を行うことができる。
また、上記課題を解決するため本発明になるロボットによるサービスシステムは、
ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムであって、
前記データ処理装置または前記ロボットは火災情報取得手段を有し、予め用意した前記不特定多数の人間の行動エリアにおける災害時の避難経路判断用地図情報を前記データ処理装置により取得して避難経路を算出し、前記データ処理装置は前記ロボットに、不特定多数の人間に対する火災発生情報の発話による通知と避難路の指示を行わせ、
前記行動認識センサによって避難しようとしない人、または避難経路外に移動しようとする人をサービス対象候補者として選択し、前記ロボットを、前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと予め用意したサービス対象者の行動パターンデータとを前記データ処理装置で比較し、前記火災発生情報の発話による通知と避難路の指示に気づいていない人への避難喚起、または避難路外へ行く人への制止動作を含む避難誘導動作をおこなわせることを特徴とする。
このように火災情報を取得したとき、データ処理装置により避難経路を算出し、ロボットに火災発生情報の通知と避難路の指示をおこなわせ、それでも避難しようとしない人や避難経路外に移動しようとする人に対して避難喚起や避難路外へ行く人への制止動作を含む避難誘導動作をおこなわせることで、建物などにおける火災によって人がいては危険となる場所に於いても、ロボットなら避難路外へ行く人への誘導も可能であるから効果的な避難誘導を行うことができる。
さらに、上記課題を解決するため本発明になるロボットによるサービスシステムは、
ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムであって、
前記ロボットを前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと、予め用意した前記サービス対象者の年齢判断用の身長、服装、及び音声のいずれかまたは複数に関するデータとを前記データ処理装置で比較し、前記サービス対象候補者が低年齢児であって周囲に保護者がいないとき、前記サービス対象者が迷子であると判断して前記ロボットにサービス対象候補者を保護させることを特徴とする。
このように第２のステップで取得した撮像データと音声データとを、年齢判断用データと比較してサービス対象候補者が低年齢児であって周囲に保護者がいないとき、サービス対象者が迷子であると判断することで確実に迷子を判断することができ、保護を効果的に行うことができる。
以上記載のごとく本発明になるロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステムは、行動認識センサで選んだサービス対象候補者に対し、自律移動手段とロボットセンサとを有するロボットによる確認動作によってサービス対象者を確定することで、不特定多数の人が来場する場所においてもサービスを行う対象となる人を的確に認識することができ、さらに、この確認動作によって、サービス対象者の状況に応じた例えば情報提供、支援、火災などに対する避難誘導、警備、迷子保護などのサービスを、的確に行うことができる。
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
図１は本発明になるロボットによるサービスシステムの概略ブロック図であり、図２は本発明によるロボットサービスシステムに用いるロボットの一例の正面図、図３は本発明になるロボットによるサービスシステムのサービス対象者判別方法とロボットによるサービス作業の概略フロー図である。
図１に示した本発明のロボットによるサービスシステムにおいては、例えば不特定多数の人間１１（ここでは一例として１人だけ示した）が通るショールームや美術館、銀行、ショッピングセンター等のエリアに、上から、または斜め上方から、これら不特定多数の人間１１の通過状態を撮像したり音声を取得する撮像装置やマイク１２１、１２２、１２３、１２４、……、及び、同じくこれら不特定多数の人間１１の通過状態を圧力（人の体重）や超音波などにより検知する床センサ１３などからなる行動認識センサと、撮像装置、発話装置、音声認識手段のいずれか１つ、もしくは複数からなるロボットセンサと自律移動手段とを有し、ヒューマノイド型としてサービス対象者に情報提供、支援、さらには警備、火災などに対する避難誘導などのサービスを行うロボット１０（複数でも良い）が配置されてなる。
図２はこのロボット１０の一例の正面図である。このロボット１０の頭部１００には、頭頂カメラ１０１と左右１対の正面カメラ１０２と、額下部の人間の眉の位置に１対のマイクロフォン１０３が配置されている。胸部１０４には、縦中心線から離れて左右１対のスピーカ１０５が配置され、両腕１０６の肘や肩は、関節構造を有して手先１０７で物を把持することができるようになっていて、首も関節構造を有している。このロボット１０の下肢部はスカート状のカバーとなっていて、電気回路などが収められ、下肢最下部の左右２つの車輪１０８により、自律移動することができるようになっていると共に、下肢上部に設けられた左右１対の障害物センサ（赤外線検知又は超音波検知）１０９により、障害物を自動的に回避して目的地へ移動できるようになっている。
再度図１を参照して、このロボット１０は例えば無線による通信機能を有し、行動認識部１４や中央サーバ１５へロボットセンサで取得した信号を送ったり、行動認識部１４や中央サーバ１５からの指示を受けてサービス対象候補者への確認動作やサービス対象者へのサービス行動を行えるようになっている。
行動認識部１４は、前記した行動認識センサからの信号やロボットセンサからの信号を処理するデータ処理部１４１、人間１１の移動軌跡を認識するための移動軌跡認識部１４２、人間１１を撮像したデータによって人間１１の動作の認識や年齢判断を行う動作、年齢認識部１４３、これら移動軌跡認識部１４２、動作、年齢認識部１４３が人間１１の移動軌跡や能動的動作、年齢などを判断するため、移動軌跡パターンや、移動速度、静止時間等の統計データ、電話している、何か食べているなどの能動動作パターン、年齢判断のための身長、服装、性別、泣いている動作などの判断データなどを記憶した移動軌跡、動作、年齢データベース１４４、移動軌跡認識部１４２の認識結果や中央サーバ１５からの指示で人間１１がサービス対象者であるかどうかを判断するための確認動作をロボット１０に行わせる確認動作指示部１４５等で構成されている。
また、中央サーバ１５には、行動認識部１４の移動軌跡、動作、年齢データベース１４４に記憶されたデータを補うためのデータや、ロボット１０に行わせるサービス内容などを記憶したデータベース１６が接続され、行動認識部１４の移動軌跡認識部１４２、動作、年齢認識部１４３から送られてきたデータを元に、行動認識部１４だけではサービス対象者を確定できなかった場合に確認用データを補ったりすると共に、サービス対象者が選定されたら、ロボット１０にサービス内容を指示してサービスを行わせる。なお、人間１１がサービス対象候補者であるかどうかの判断は、行動認識部１４で行っても中央サーバ１５で行っても良く、また、サービス対象地域が大きい場合、ロボット１０の行動範囲毎に行動認識部１４を設置してエリア毎にサービス対象者の選択を行わせ、中央サーバ１５はそれを統括するように設置しても良い。
次に図３のフロー図も参照して、本発明になるロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステムの概略を説明する。まずステップＳ３１で、図１に示した不特定多数の人間１１を撮像したり集音する撮像装置やマイク１２１、１２２、１２３、１２４、……、同じくこれら不特定多数の人間１１の通過状態を圧力や超音波などにより検知する床センサ１３などからなる行動認識センサにより、不特定多数の人間１１の移動状態の画像や床センサ１３からの信号が行動認識部１４に送られる。
この信号は、ステップＳ３２で行動認識部１４におけるデータ処理部１４１で、後述する抽出方法で処理されて移動軌跡や特定位置での滞在時間などが抽出される。そして次のステップＳ３３で、この抽出した移動軌跡や滞在時間が移動軌跡認識部１４２によって、ステップＳ３４に示した、データベース１４４に予め記憶された人間１１の移動軌跡パターンや移動速度・静止時間等の統計データや、サービスエリアにおけるサービス対象物や周囲の構造物などの地図情報と比較され、サービス対象者と一致するか否かが判断される。一致しない場合はステップＳ４０に進み、一致した場合はこの人間がサービス対象候補者として処理が次のステップＳ３５に進む。
ステップＳ３５では、行動認識センサを構成する撮像装置やマイク１２１、１２２、１２３、１２４、……からの信号で、例えば幼児の迷子のようにうろうろしていると共に泣いている、など、明らかにサービス対象者（この場合は迷子）である、と認められるか否かが判断され、サービス対象者であると判断される場合は確認動作が不要として処理がステップＳ３９にすすむ。そうではなくて、サービス対象者として確認動作が必要、すなわち不審者らしいが、展示物などに近づくこともせずに単にうろうろしていて、なにをしているかわからない場合などは、次のステップＳ３６に進んでロボット１０による確認動作を行う。
このステップＳ３６で、移動軌跡、動作、年齢データベース１４４や中央サーバ１５のデータベース１６から、現在の人間１１の行動軌跡にマッチしたロボット１０の確認動作が選択され、確認動作指示部１４５に指示が送られてロボット１０に確認動作を行わせる。この現在の人間１１の行動軌跡にマッチしたロボット１０の確認動作とは、例えばショールームや美術館などにおいては、展示品の回りをうろうろしている人や展示品をいつまでも見ている人に対し、不審者ではないかを確認するため、ロボット１０を人間１１の顔を検出したり能動的行為を判別できる位置に移動させ、顔や動作を撮像する動作や、銀行におけるＡＴＭの前でいつまでもいる人の横に移動し、その人の動作状態を撮像して操作盤を操作しているか、通常の操作以外の動作をしていないか等を確認するための動作であり、発話による質問動作も含む。
こうしてロボット１０による確認動作が行われると、次のステップＳ３７で確認動作の結果サービス対象候補者がサービス対象者かどうかが判断される。これは、データベース１４４に記憶されて、ステップＳ３８に示したサービス対象物の動作パターン、年齢判断データなどの能動的行為判断用データを用い、例えばショールームや美術館、あるいはショッピングセンターなどにおいて、展示品の回りをうろうろしている人の前に回り込んで顔や動作を撮像したら、電話しながらうろうろしているため不審者ではないと判断したり、また、展示品をいつまでも見ている人に対し、「この美術品の説明をしましょうか？」と発話したら「お願いします」と返事された場合や、ショッピングセンターにおいて婦人が特定展示物を長時間見ている行為であり、さらに、銀行におけるＡＴＭの前でいつまでもいる人が操作盤を操作しておらず、年齢も高齢者で、操作方法がわからずに立ちすくんでいるような場合である。
すなわち、電話しながらうろうろしている人はサービス対象者ではなく、美術品の説明をお願いしますと返事した人や、ショッピングセンターにおいて特定展示物を長時間見ている婦人、銀行におけるＡＴＭの操作方法がわからないと見なされた人などはサービス対象者である。また、ＡＴＭの横で何かしていて、「何をしているのですか」等の質問をしたら、ロボット１０に向かってきたとかＡＴＭを壊そうとした、などの場合は不審者としてのサービス対象者と判断する。そしてこの場合、中央サーバ１５は、サービス対象者の状況に応じ、ショッピングセンターなどにおいては売れ筋商品の紹介などや機械の操作方法などの情報提供、支援、火災などに対する避難誘導などのサービスや、不審者とＡＴＭの間に入ってＡＴＭの破壊を防ぐなどの警備行動を選択し、ステップＳ３９でロボット１０に指示して対応するサービスを行わせる。
そして次のステップＳ４０で、エリアの中にサービス対象者か否かの判断をすべき人がまだいるかどうかを判断し、いる場合はステップＳ３１に戻って同様のことを繰り返し、いない場合はステップＳ４１に行って処理を終了する。
このように、行動認識センサで選んだサービス対象候補者に対し、自律移動手段とロボットセンサとを有するロボット１０による確認動作を行わせてサービス対象者を確定することで、不特定多数の人が来場する場所においてもサービスを行う対象となる人を的確に認識することができ、さらに、この確認動作によって、サービス対象者の状況に応じた例えば情報提供、支援、火災などに対する避難誘導、警備などのサービスを的確に行うことができる。
以上が本発明になるロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステムの概略説明であるが、以下、図４乃至図６を用い、さらに本発明を詳細に説明する。
まず図４は、撮像装置やマイク１２１、１２２、１２３、１２４、……、及び床センサ１３等で構成される行動認識センサからのデータにより、サービス対象候補者を選択する行動認識部１４における、データ処理部１４１の具体例の一例である。図中１４６はデータ処理部１４１を構成する位置計測部、１４７は同じく移動パターンデータ抽出部であり、それぞれのブロックの下にそれぞれのブロックで行う処理をＡ、Ｂ、……Ｆとして示してある。以下の説明では、行動認識センサを撮像装置の場合を例に説明するが、人物領域の抽出に対して人のいる位置を床センサ１３などで検出しても同じように構成できる。１４２、１４４は前記図１に示した移動軌跡認識部、移動軌跡、動作、年齢データベースである。
まず撮像装置で構成される行動認識センサからのデータは、この図４における位置認識部１４６に送られ、この位置認識部１４６のブロックの下部のＡに記したように、例えば、画像データにおける色情報及び輝度変化情報に基づいて人物と推測される領域を人物領域として抽出する。そして次にＢにおいて、人物領域の重心座標を抽出し、さらにＣで、撮像エリアの地図データ、撮像装置１２１、１２２、１２３、１２４、……、毎にその設置位置、撮像方向（向き）、及びレンズパラメータデータ等を用い、算出された人物重心座標と撮像装置に関する上記データを元に、人間１１の３次元座標計算を実行して人位置情報を得る。なお、人の３次元座標計算においては、例えば、ステレオ視等の原理が用いられる。
そして算出された人位置情報は、連続的に移動パターンデータ抽出部１４７に与えられ、この移動パターンデータ抽出部１４７の下に記したように、Ｄにおいて所定の時間（一定時間）、時系列的に人位置時系列保存メモリ（図示せず）に保存され、さらにＥにおいて所定の時間毎に人位置時系列データとして読み出され、その位置・移動ベクトルが抽出されて、例えば、現時点と５秒後との位置変化及び速度ベクトル等が抽出される。
そして、この抽出された位置・速度ベクトルに基づき、当該人の静止回数・時間を計数し、例えば速度ベクトルから移動速度がゼロ及びゼロに近い場合に静止としてカウントし、連続する静止を静止時間として計数する。さらに、この移動パターンデータ抽出部１４７において、速度ベクトルに応じて平均移動速度分布を計数し、Ｆにおいて静止回数・時間、移動速度の平均・分散、移動軌跡などの頻度分布を行動パターンデータとして抽出し、この行動パターンデータを移動軌跡認識部１４２に与える。
そのため前記したように、移動軌跡認識部１４２はこの行動パターンデータをデータベース１４４に記憶された移動軌跡パターンと比較し、結果を中央サーバ１５に送って移動軌跡がサービス対象者と一致するか否かを判断したり、移動軌跡、動作、年齢データベース１４４にサービス対象候補者を選択するための例えば移動速度、静止時間等の統計データが記憶されている場合は移動軌跡認識部１４２自体で判断しても良い。この場合、Ｅの位置・速度ベクトル抽出とＦにおいて算出された静止回数・時間、移動速度の平均・分散、移動軌跡などの頻度分布などを用い、例えば展示物のある特定エリアにおけるエリア滞在時間とデータベース１４４に記憶されたエリア滞在時間の統計データとをと比較し、それによってサービス対象者と一致するか否かを判断する。
このようにして前記図３にステップＳ３３示した移動軌跡パターンと比較して、サービス対象者と一致するか否かの判断が行われるわけであるが、次に、同じく前記図３にステップＳ３６で示した、現在の人間１１の行動軌跡にマッチしたロボット１０の確認動作について、図５を用いて説明する。
ロボット１０による確認動作は、これも前記したように、例えばショールームや美術館、ショッピングセンターなどにおいて、展示品の回りをうろうろしている人や展示品をいつまでも見ている人などが不審者ではないかを確認するため、サービス対象候補者の前に回り込んで顔や動作を撮像する動作や、銀行におけるＡＴＭの前でいつまでもいる人の横に移動し、その人の動作状態を撮像して操作盤を操作しているか、通常の操作以外の動作をしていないか等を確認するための動作で、発話による質問動作も含む。
この動作は当然のことながら、サービス対象候補者の能動的行為を判別できる位置、例えば人物の正面方向を推定し、その方向がよく見える例えば斜め前の位置、正面の位置などに回りこんで行うことで、対象人物の状況・行動をより正確に、精度良く認識することができる。なお、ＡＴＭなどの場合は人間１１の前にＡＴＭがあるわけで、この場合はＡＴＭの横が対応する位置になる。人間１１の移動軌跡については、前記したステップＳ３２で、行動認識センサからの信号によって図４の位置認識部１４６で人物領域の抽出、人物領域の重心座標の抽出、人位置情報の取得等が行われ、さらに移動パターンデータ抽出部１４７で位置変化及び速度ベクトル等が抽出されて、移動軌跡認識部１４２で移動軌跡がサービス対象者と一致するか否かが判断されるから、このとき判明する。
この軌跡が今、図５（Ａ）に５０で示したような軌跡であった場合、この人の正面に５１のように移動しながらロボット１０が回り込むためには、例えば軌跡５０から推定される人間１１のその後の移動方向５２が顔の方向と推定し、その方向に対向するようロボット１０が回り込めばよいと考えられる。しかしながら実際には、人間１１が５３で示す方向に移動したとすると、前記した行動認識センサによってそれを確認し、ロボット１０は、さらに５１１のような軌跡に移動方向を修正する必要がある。
この場合、ロボット１０が人間１１の正面に回り込むためには、行動認識センサによる人間１１の移動方向を推定し、該移動方向を正面と推定してロボット１０がその方向に移動して行う。その間に人間１１の移動方向が変化した場合、胴体、顔の方向から正面方向を再推定し、その再推定した方向に移動する、という具合に移動方向の確認動作に多くの時間を要することになり、また、同様にサービスを提供する場合も、時間が掛かることになる。
しかしながら、人が向く方向は通常全くランダムではなく、何か対象物が有る場合はその対象物の方向を向いていることが多い。つまり、対象物が有る場合は、位置が決まれば人の向く方向はある程度推定できる。例えば、駅の自動券売機の周辺では運賃表の方を向いていることが多く、駅の通路であれば広告やポスターの方向を向いていることが多い。また、全く何もない壁の前であれば壁に背を向けていることが多い。
そのため、予め対象とするエリア中に存在する対象物をデータベース化し、特定位置にいる人物の正面や能動的行為を判別できる位置の推定にそのデータベースの情報を利用することで、より正確な正面方向や能動的行為を判別できる位置の推定ができる。すなわち、不特定多数の人間の行動エリアに、例えば図５（Ｂ）に示したように５４、５５、５６で示した対象物Ａ、Ｂ、Ｃが有るとした場合、５０で示したような軌跡で移動してきた人が立ち止まったとすると、その後の移動方向は軌跡５０から推定される５２で示した方向ではなく、最も近い対象物Ｃの有る５７で示した方向である可能性が大きく、ロボット１０を５１２で示した方向に回り込ませた方が、人間１１の正面や能動的行為を判別できる位置を撮像できる確率が高いと考えられる。
また、対象物の中に、大きさや高さ等で非常に目立つものや注目を集めるものがある場合、人が例えその対象物から遠くにいても、人はその対象物に目を奪われることが多く、その方向に進む確率も高くなる。そのため、不特定多数の人間の行動エリアに図５（Ｃ）に示したように５４、５５、５６で示した対象物Ａ、Ｂ、Ｃが有り、５５で示したＢの対象物の目立つ度合いが大きかった場合、人が立ち止まる時間の統計データをデータベースに登録し、５０で示したような軌跡で移動してきた人が立ち止まった時、その後の移動方向は軌跡５０から推定される５２で示した方向ではなく、統計データ上、最も立ち止まる時間の長い目立つ対象物Ｂの有る５８で示した方向である可能性が大きいと考え、ロボット１０を５１３で示した方向に回り込ませた方が、人間１１の正面を撮像できる確率が高くなると考えられる。
また、不特定多数の人間の行動エリアに壁、柱等の通常、そちらを向いて立つことが少ない対象物が有る場合、人はそれらを背に立つことが多いから、例えば図５（Ｄ）に示したように、５５、５６で示した対象物Ｂ、Ｃが有ると共に、５９で示した壁がある場合、その壁５９を負の注目度としてデータベースに登録する。そしてこの場合、５０で示したような軌跡で移動してきた人が壁５９の前で立ち止まったとき、その後の移動方向は軌跡５０から推定される５２で示した方向ではなく、壁５９を背にした対象物Ｂの有る５８で示した方向である可能性が大きく、ロボット１０を５１４で示した方向に回り込ませた方が、人間１１の正面を撮像できる確率が高いと考えられる。
このようにして人間１１の正面にロボット１０を回り込ませたら、撮像装置、発話装置、音声認識手段のいずれか１つ、もしくは複数からなるロボットセンサにより、サービス対象候補者を撮像し、予め移動軌跡、動作、年齢データベース１４４に記憶させてあるサービス対象者の行動パターンとパターンマッチングなどの手法を用いて比較を行い、また、サービス対象候補者への質問、質問に対する回答を含む音声認識のいずれか若しくは複数により、サービス対象者か否かの確認を行う。
このようにすることにより、例えばうろうろして不審者かと思われた人が、携帯電話で電話していたり何か食べていたりすればそれだけ不審度が下がり、不特定多数の人が来場する場所においてもサービスを行う対象となる人を的確に認識することができ、さらに、この確認動作によって、サービス対象者の状況に応じた例えば情報提供、支援、火災などに対する避難誘導、警備などのサービスを行えば、サービス対象物への適切なサービスを行うことができる。
図６はこのような考え方に従って、ショールームや美術館などにおいて警備などを行う場合のブロック図であり、図７は、その場合の動作フロー図で、以下この図６、図７を用い、ショールームや美術館などにおける警備動作について説明する。なお、以下の説明では、前記図１に示した構成要素と同一の構成要素には同一番号を付してあり、図６において１７はショールームや美術館などにおける宝石や美術品などのサービス対象物、１８は例えば盗難予防などのために設置された超音波センサなどのその他のセンサであり、サービス対象候補者（人間１１）は見学する人や不審者である。
図７において処理がスタートすると、ステップＳ７１で前記図３で説明したステップＳ３１からステップＳ３３の動作が行われ、展示物（サービス対象物）１７の前にいる人１１が検出される。そして次のステップＳ７２で、その人１１とサービス対象物との位置関係、一定範囲内の滞在時間などの移動の仕方が、前記図４で説明した位置認識部１４６、移動パターンデータ抽出部１４７、移動軌跡認識部１４２により確認され、展示物１７の周辺滞在時間が長い人、展示物１７の周辺で行ったり来たりしている人などがサービス対象候補者（不審者）として抽出される。
そしてステップＳ７３で、この抽出したサービス対象候補者（人間１１）が不審者かどうか判断され、展示物１７の周辺滞在時間が短くて出口に向かう人は除外されてその場合は処理がステップＳ７１に戻り、上記した展示物１７の周辺滞在時間が長い人、展示物１７の周辺で行ったり来たりしている人などの場合はサービス対象候補者（不審者）として次のステップＳ７４、で確認動作指示がロボット１０に送られる。
この確認動作は前記したように、まずロボット１０を前記図５で説明したような方法で人間１１の正面、または人間１１の能動的行為を判別できる位置に移動させ、撮像装置を用いたサービス対象候補者の撮像、サービス対象候補者への質問、質問に対する回答を含む音声認識のいずれか若しくは複数を行う。そして次のステップＳ７５で、サービス対象候補者の撮像画像と予め前記図１に１４４で示したデータベースに記憶させたサービス対象者の行動パターンデータとを比較し、例えば手の動きによってサービス対象候補者が電話していたり何か食べている、等を確認する。
そして次のステップＳ７６で、例えば上記したサービス対象候補者が電話していたり何か食べている、等の場合は不審者でないと判断して処理がステップＳ７１に戻る。何もしていない場合はステップＳ７７において不審者と展示物１７との位置関係を計測し、行動認識センサやその他のセンサ１８から、不審者１１が展示物１７に近づいたという信号が来た場合は、ステップＳ７９においてロボット１０が不審者１１と展示物１７の間に割り込んで不審者１１が展示物１７に近づくのを制止し、不審者１１と展示物１７との距離が変化しない場合は、ステップＳ７８に行って不審者１１と展示物１７の間に移動し、例えば顔の方向の延長線上に回り込んで、不審者１１が展示物１７に近づけないようにする。
このようにすることにより、ショールームや美術館などにおいて不審者１１がいた場合でも展示物１７を守ることができ、例えば対象物が大きくて特定の位置では守りきれない場合は不審者１１における顔の方向の延長線上に回り込むことで、展示物１７に近づけないようにすることができ、より高い強制力が得られるから、犯罪を未然に防ぐことができる。
図８はＡＴＭ装置が設置された銀行などにおいて操作方法の説明や警備などを行う場合のブロック図であり、図９はその場合の動作フロー図である。図８において１９はサービス対象物としてのＡＴＭ、１８は例えばＡＴＭを操作したときの操作信号や、ＡＴＭを壊そうと振動を与えた場合にそれを検知する振動センサなどを含むその他のセンサであり、このケースにおけるサービス対象候補者（人間１１）は、預金出し入れのために来場したが操作方法が良くわからなくて迷っている人や、ＡＴＭの近辺に暗証番号などの入力情報を盗むためのカメラを設置したり、ＡＴＭを壊して中の現金を盗もうとしている不審者が対象となる。
図９において処理がスタートすると、ステップＳ９１で前記図３で説明したステップＳ３１からステップＳ３３の動作が行われ、ＡＴＭ１９の前への人１１の到着が認識される。そして次のステップＳ９２で、その人１１がＡＴＭ１９の前で一定時間以上滞在しているかどうかが判断される。この判断は、前記図４で説明した位置認識部１４６、移動パターンデータ抽出部１４７、移動軌跡認識部１４２等の処理結果により滞在時間を計測し、滞在時間の統計データとの比較を行って実施する。次のステップＳ９３では、ＡＴＭ１９の操作信号、振動センサなどのその他のセンサ２０からの信号が確認され、さらにステップＳ９４で確認動作指示がロボット１０に送られる。
この確認動作は、ロボット１０を人間１１の能動的行為を判別できる位置（この場合はＡＴＭ１９の横になる）に移動させ、撮像装置を用いてサービス対象候補者１１の手の位置、動き量を撮像する動作である。そして次のステップＳ９５で、撮像した手の位置、動き量を、予め前記図１に１４４で示したデータベースに記憶させた、ＡＴＭ１９を操作する人の手の位置、動き量の行動パターンデータとパターン認識などの技術を用いて比較し、サービス対象候補者１１が実際にＡＴＭ１９を操作しているかどうかを確認する。
そして次のステップＳ９６で、ＡＴＭ１９の操作信号、振動センサなどのその他のセンサ２０からの信号と、ステップＳ９５で確認した手の位置、動き量とにより、ＡＴＭ１９が操作されているかどうかが確認される。そしてここでＡＴＭ１９の操作がなされていない場合はステップＳ９７に進み、サービス対象候補者１１を不審者（すなわちサービス対象者）と判断し、ロボット１０に指示してＡＴＭ１９と不審者１１との間に割り込ませる。そして、ステップＳ９８で不審者１１がＡＴＭ１９の操作や破壊ができないようにする。なお、サービス対象者１１がＡＴＭ１９の前にいない場合（すなわちＡＴＭ１９を操作していない）も不審者と判断される。
また、ステップＳ９６でＡＴＭ１９が操作されていると判断された場合はステップＳ９９に進み、さらに撮像画像から操作する手の動きが早いか遅いかを判断する。そして遅い場合は操作が判らなくて困っていると判断し、ステップＳ１０１に進んで、カードや通帳のＡＴＭ１９への挿入方法などを含めた操作方法を発話や身振り手振りを交えて教える。また、手の動きが早い場合は、お金の出し入れがたくさんある場合としてステップＳ１００で様子を見る。
通常、ＡＴＭ装置が設置された銀行などにおいては、夜間は警備員や説明員を置くことが少なく、また、人の集まる駅などに設置されたＡＴＭでは夜間でなくても警備員や説明員がいない場合が多いが、このようにロボットにより操作のわからない人に対する操作説明や警備を行うことで、利用者の操作を支援して利便性を向上させることができる。また、操作状態が判るような位置に撮像装置を設置する場合に比較し、暗証番号等のプライバシーを維持することができるから、セキュリティ侵害を未然に防止することができ、さらに、警備行動を行わせることで、夜間などにおいてもＡＴＭからの盗難や破壊を防ぐことができる。
図１０は、ショールーム、美術館等、不特定多数の来場者が想定される環境において、火災や地震等の災害時における来場者に対する避難誘導サービスのブロック図であり、図１１はその場合の動作フロー図である。図１０において２１は火災を示したものであり、２２は例えばビル管理システムなどからの火災情報や火災報知器などのビルなどに設けられたセンサ、ロボット自体による火災の発見などを含むその他のセンサで、このケースにおけるサービス対象候補者（人間１１）は、ショールームや美術館等に来場して火災に遭い、避難する人であるが、サービス対象候補者は１人とは限らず、大勢に対する一括的な避難誘導の場合も含まれる。
図１１においてステップＳ１１１で、ビル管理システムなどからの火災情報や火災報知器などのその他のセンサ２２、及び火災を発見したロボット１０から、火災、地震などの災害発生とその発生位置、状況などが中央サーバ１５に伝えられる。この中央サーバ１５に接続されたデータベース１６には、ショールームや美術館等の内部の地図と災害発生の場合の避難路などが記憶されており、そのため中央サーバ１５はステップＳ１１２でそれらを読み出し、火災などの災害状況から、各場所における来場者の避難経路を算出してステップＳ１１３で算出した避難経路をロボット１０に通知する。そのため各ロボット１０は、来場者に対して音声や身振りを交え、避難経路を指示する。
一方、ステップＳ１１４で前記図３で説明したステップＳ３１からステップＳ３３の動作により、来場者が災害発生の報に接して各ロボット１０による避難経路の指示に気づいているかどうかが判断される。避難経路の指示に気づいていない人とは、ロボット１０により中央サーバ１５が算出した避難経路を指示したにもかかわらず全く避難しようとしない人、すなわち動こうとしないで展示されたものを見ているような人であり、また避難経路の指示に気づいている人とは、避難しようと移動を開始している人である。
そのため避難経路の指示に気づいていない人に対しては、ステップＳ１１５でロボット１０が人の正面に回り込み、ステップＳ１１６で人に注意を喚起して避難誘導を行う。また、避難経路の指示に気づいて動き始めた人に対しては、ステップＳ１１７で避難経路が正しいか否かが判断され、正しい場合はステップＳ１１８で避難方向にいる他のロボット１０に、来場者が避難のためにそちらに向かったことが伝えられる。また、避難経路以外の経路へ行こうとする人に対しては、前記したステップＳ１１５に進んでロボット１０が通路にふさがるように人の正面に回り込み、ステップＳ１１６で人に注意して避難誘導を行う。
このようにすることにより、局所的な状況ではなく、全体的な状況からベストの避難方向を人が気づくよりも前に指示し、来場者を安全に避難させることができる。また、ロボットに気がついていない人に対する誘導も可能であると共に、複数の分岐がある等、経路が複雑な場所や、間違った方向に避難する人も正しい方向に誘導でき、場合によっては、意識のないような人がいた場合でも、行動認識センサでそれを検出し、ロボット１０が起こして誘導することも可能となる。更にこの避難誘導は、人間が行わないから、建物などにおける火災によって危険となる場所に於いても可能であり、効果的な避難誘導を行うことができる。
図１２は、ショールーム、美術館等、不特定多数の来場者が想定される環境において、迅速に迷子案内を行うサービスのブロック図であり、図１３はその場合の動作フロー図である。図中２３は迷子、２４はその保護者である。
図１３においてステップＳ１３１で、撮像装置やマイクなどを備えた行動認識センサ１２を用い、前記図３で説明したステップＳ３１からステップＳ３３の動作が行われ、一定範囲内の滞在時間などの移動の仕方が、前記図４で説明した位置認識部１４６、移動パターンデータ抽出部１４７、移動軌跡認識部１４２などにより確認され、うろうろしていたり泣いている人２３が検出される。
そして次のステップＳ１３２で、うろうろしていたり泣いている人２３に対する確認動作指示がロボット１０１に送られる。この確認動作は前記したように、まずロボット１０１を前記図５で説明したような方法で人間１１の正面、または人間１１の能動的行為を判別できる位置に移動させ、撮像装置を用いたサービス対象候補者の撮像、サービス対象候補者２３への質問、質問に対する回答を含む音声認識のいずれか若しくは複数を行う。そして次のステップＳ１３３で、サービス対象候補者の撮像画像と、予め前記図１に１４４で示したデータベースに記憶させた、身長、服装、泣いている声の周波数、顔画像などの迷子としてのパターン画像とをパターンマッチング法などで比較し、まず、幼児であるかどうかが確認される。そして幼児である場合、行動認識センサ１２からの信号とロボット１０１に備えられた撮像装置で、保護者と考えられる大人が一緒に動いているかどうかが確認される。
その結果、サービス対象候補者２３が幼児ではないと判断された場合は、処理をステップＳ１４３に進めて終了するか、前記図７に示したステップＳ７２に進んで不審者対応の処理を行う。そして幼児であり、保護者が周囲にいないと認められた場合は迷子と判断し、ステップＳ１３４でロボット１０１が取得した身長、顔画像、服装、性別などの迷子データを中央サーバ１５に送る。
すると中央サーバ１５は、ステップＳ１３５でデータベース１６に迷子届けがあるかどうか調べ、有る場合はステップＳ１４０に行って保護者２４近くのロボット１０２に通知し、保護者２４に迷子情報を提示して確認し、保護者２４を迷子の位置に誘導する。
また、迷子届けがない場合は、ステップＳ１３６で他のロボット１０２に迷子情報を通知し、それによってステップＳ１３７のように保護者２４に迷子を捜している旨話しかけられたロボット１０２は、迷子情報を検索する。そしてステップＳ１３８で、該当する迷子情報があるかどうか判断し、ない場合はステップＳ１４２で中央サーバ１５へ迷子捜し情報を迷子届けとして通知する。また、該当する迷子情報がある場合はステップＳ１３９に進み、迷子２３と対応しているロボットの現在位置を通知あるいは案内する。
このように、ショールームや美術館などにおいて１人でいたり泣いている子供を認識し、迷子２３として保護者が見つかるまで対話、対応し、名前・特徴等の情報を取得すると共に、迷子２３を捜す保護者に対し、該当する迷子を検索して提示することで、迷子の不安を軽減すると共に、放送の聞こえにくい場所等でも確実に迷子案内を可能として、迅速な迷子案内を行うことができる。
本発明によれば、ロボットがサービスを行う対象者を確実に認識できるから、サービス対象物に効果的なサービスを提供することができる。
本発明になるロボットによるサービスシステムの概略ブロック図である。 本発明のロボットによるサービスシステムに用いるロボットの一例の正面図である。 本発明になるロボットによるサービスシステムのサービス対象者判別方法とロボットによるサービス作業の概略フロー図である。 行動認識センサからのデータにより、サービス対象候補者を選択する行動認識部１４における、データ処理部１４１の具体例の一例である。 人間の行動軌跡にマッチしたロボットの効率的な確認動作について説明するための図である。 ショールームや美術館などにおいて警備などを行う場合のブロック図である。 ショールームや美術館などにおいて警備などを行う場合のフロー図である。 ＡＴＭ装置が設置された銀行などにおいて操作方法の説明や警備などを行う場合のブロック図である。 ＡＴＭ装置が設置された銀行などにおいて操作方法の説明や警備などを行う場合のフロー図である。 ショールーム、美術館等、不特定多数の来場者が想定される環境において、火災や地震等の災害時における来場者に対する避難誘導サービスのブロック図である。 ショールーム、美術館等、不特定多数の来場者が想定される環境において、火災や地震等の災害時における来場者に対する避難誘導サービスのフロー図である。 ショールーム、美術館等、不特定多数の来場者が想定される環境において、迅速に迷子案内を行うサービスのブロック図である。 ショールーム、美術館等、不特定多数の来場者が想定される環境において、迅速に迷子案内を行うサービスのフロー図である。
符号の説明
１０ ロボット
１１ 人間
１２１、１２２、１２３、１２４、…… 撮像装置やマイク
１３ 床センサ
１４ 行動認識部
１５ 中央サーバ
１６ サービス対象者選択用データ、サービス内容データデータベース
１７ サービス対象物
１８ その他のセンサ（超音波センサなど）
１９ ＡＴＭ
２０ その他のセンサ（振動センサなど）
２１ 火事などの災害
２２ その他のセンサ（ビル管理システムなど）
２３ 迷子
２４ 保護者
１４１ データ処理部
１４２ 移動軌跡認識部
１４３ 動作、年齢認識部
１４４ 移動軌跡、動作、年齢データベース
１４５ 確認動作指示部
１４６ 位置認識部
１４７ 移動パターンデータ抽出部

Claims (12)

  1. ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムにおけるサービス対象者判別方法であって、
    前記ロボットを前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと予め用意したサービス対象者の行動パターンデータとを前記データ処理装置で比較し、該比較結果に基づき、サービス対象候補者がサービス対象者か否かを判別する第３のステップとからなり、
    前記行動認識センサで選択したサービス対象候補者から、前記ロボットにより行う前記第１と第２のステップからなる確認動作に基づいて第３のステップでサービス対象者を判別することを特徴とするロボットによるサービスシステムにおけるサービス対象者判別方法。
  2. 前記サービス対象候補者の選択は、前記行動認識センサを構成する撮像装置で前記不特定多数の人間の人物領域を抽出し、該人物領域の移動軌跡と、予め用意した前記サービス対象者の移動パターンデータとを前記データ処理装置で比較して行うことを特徴とする請求項１に記載したロボットによるサービスシステムにおけるサービス対象者判別方法。
  3. 前記サービス対象候補者の選択は、前記不特定多数の人間の行動エリアに置かれた前記ロボットのサービス対象物周囲の複数のエリアのそれぞれに人間が滞在した時間と、予め用意した前記複数のエリアのそれぞれに人間が滞在した時間に関する統計データとを前記データ処理装置で比較し、前記複数エリアのそれぞれにおける滞在時間が前記統計データにおける標準時間を超えた人間を前記サービス対象候補者とすることを特徴とする請求項１または２に記載したロボットによるサービスシステムにおけるサービス対象者判別方法。
  4. 前記第１のステップにおける前記ロボットの移動を、前記不特定多数の人間の行動エリアに置かれた前記ロボットのサービス対象物と前記サービス対象候補者との間の方向に向けておこなうことを特徴とする請求項１乃至３のいずれかに記載したロボットによるサービスシステムにおけるサービス対象者判別方法。
  5. 前記第１のステップにおける前記ロボットの移動は、前記不特定多数の人間の行動エリアに複数のサービス対象物が有る場合、前記サービス対象候補者に最も近いサービス対象物とサービス対象候補者との間の方向に向けておこなうことを特徴とする請求項１乃至３のいずれかに記載したロボットによるサービスシステムにおけるサービス対象者判別方法。
  6. 前記第１のステップにおける前記ロボットの移動は、前記不特定多数の人間の行動エリアに壁や柱とサービス対象物がある場合、前記壁や柱を背にサービス対象物と前記サービス対象候補者との間の方向に向けておこなうことを特徴とする請求項１乃至３のいずれかに記載したロボットによるサービスシステムにおけるサービス対象者判別方法。
  7. 前記第１のステップにおける前記ロボットの移動は、前記不特定多数の人間の行動エリアに複数のサービス対象物が有る場合、前記統計データにおける人の滞在時間が最も長いサービス対象物と前記サービス対象候補者との間の方向に向けておこなうことを特徴とする請求項３に記載したロボットによるサービスシステムにおけるサービス対象者判別方法。
  8. ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムであって、
    前記不特定多数の人間の行動エリアに前記ロボットのサービス対象物があり、前記ロボットを前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと予め用意したサービス対象者の行動パターンデータとを前記データ処理装置で比較し、前記サービス対象候補者が能動的行為をしていないことが確認されたとき、前記ロボットを前記サービス対象物とサービス対象候補者の間に移動させて発話による質問動作を行わせ、該質問動作で不審者と認定したとき、前記サービス対象候補者がサービス対象物へ接近しようとした場合は前記ロボットに制止動作を行わせることを特徴とするロボットによるサービスシステム。
  9. ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムであって、
    前記不特定多数の人間の行動エリアにある、前記サービス対象者により操作される操作盤と該操作盤が操作されたという信号を前記データ処理装置に送るセンサ手段とを有するサービス対象物があり、前記行動認識センサで前記サービス対象物に対向してサービス対象候補者を確認した場合に前記ロボットを、前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと予め用意したサービス対象者の行動パターンデータとを前記データ処理装置で比較し、前記サービス対象候補者による前記操作盤の操作が行われていないか前記センサ手段からの信号がないことを確認したとき、前記ロボットに、サービス対象者に対する発話を含む説明動作を行わせることを特徴とするロボットによるサービスシステム。
  10. 前記第２のステップで前記サービス対象者が前記サービス対象物の操作盤に向かっていないことを確認するか、前記サービス対象物に振動を加えていることを確認したとき、前記サービス対象候補者を不審者として前記ロボットに、前記サービス対象物とサービス対象候補者の間に移動させて制止動作を行わせることを特徴とする請求項９に記載したロボットによるサービスシステム。
  11. ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムであって、
    前記データ処理装置または前記ロボットは火災情報取得手段を有し、予め用意した前記不特定多数の人間の行動エリアにおける災害時の避難経路判断用地図情報を前記データ処理装置により取得して避難経路を算出し、前記データ処理装置は前記ロボットに、不特定多数の人間に対する火災発生情報の発話による通知と避難路の指示を行わせ、
    前記行動認識センサによって避難しようとしない人、または避難経路外に移動しようとする人をサービス対象候補者として選択し、前記ロボットを、前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと予め用意したサービス対象者の行動パターンデータとを前記データ処理装置で比較し、前記火災発生情報の発話による通知と避難路の指示に気づいていない人への避難喚起、または避難路外へ行く人への制止動作を含む避難誘導動作をおこなわせることを特徴とするロボットによるサービスシステム。
  12. ヒューマノイド型のロボットと、１以上の不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とを備え、撮像手段、床センサ、音声認識手段のいずれか１つ、もしくは複数で構成された前記行動認識センサで不特定多数の人間の行動を認識してサービスを実施するサービス対象候補者を選択し、撮像手段、発話手段、音声認識手段のいずれか１つもしくは複数からなるロボットセンサと自律移動手段とを有した前記ロボットにより、前記サービス対象候補者にサービスを行う、ロボットによるサービスシステムであって、
    前記ロボットを前記自律移動手段によって前記サービス対象候補者の能動的行為を判別できる位置に移動させる第１のステップと、移動したロボットに備えられた前記ロボットセンサにより、サービス対象候補者の撮像データを含む能動的行為の判別用データを取得させる第２のステップと、該第２のステップで取得した判別用データと、予め用意した前記サービス対象者の年齢判断用の身長、服装、及び音声のいずれかまたは複数に関するデータとを前記データ処理装置で比較し、前記サービス対象候補者が低年齢児であって周囲に保護者がいないとき、前記サービス対象者が迷子であると判断して前記ロボットにサービス対象候補者を保護させることを特徴とするロボットによるサービスシステム。
JP2006336418A 2006-12-13 2006-12-13 ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム Expired - Fee Related JP4786516B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006336418A JP4786516B2 (ja) 2006-12-13 2006-12-13 ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006336418A JP4786516B2 (ja) 2006-12-13 2006-12-13 ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム

Publications (2)

Publication Number Publication Date
JP2008142876A true JP2008142876A (ja) 2008-06-26
JP4786516B2 JP4786516B2 (ja) 2011-10-05

Family

ID=39603599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006336418A Expired - Fee Related JP4786516B2 (ja) 2006-12-13 2006-12-13 ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム

Country Status (1)

Country Link
JP (1) JP4786516B2 (ja)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072831A (ja) * 2008-09-17 2010-04-02 Fuji Security Systems Co Ltd 警備用ロボット
JP2010238182A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 自律移動体及び不審者検知方法
JP2011194507A (ja) * 2010-03-18 2011-10-06 Fujitsu Ltd サービス提供装置、サービス提供プログラム及びサービスロボット
JP2011201001A (ja) * 2010-03-26 2011-10-13 Sony Corp ロボット装置及びロボット装置による情報提供方法
JP2012098771A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
CN103736231A (zh) * 2014-01-24 2014-04-23 成都万先自动化科技有限责任公司 火灾救援服务机器人
CN104985599A (zh) * 2015-07-20 2015-10-21 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制方法、系统及智能机器人
KR20150136917A (ko) * 2014-05-28 2015-12-08 김명규 재난구조로봇을 이용한 재난구조시스템
JP2017087411A (ja) * 2015-11-11 2017-05-25 グローリー株式会社 操作ガイダンスシステム、及び、ロボット
CN106737744A (zh) * 2016-12-30 2017-05-31 南充市鹰派科技有限公司 一种安防机器人
CN106970630A (zh) * 2017-05-23 2017-07-21 上海棠棣信息科技股份有限公司 一种机器人主动提供服务的方法及装置、机器人
JP2017159396A (ja) * 2016-03-09 2017-09-14 大日本印刷株式会社 案内ロボット制御システム、プログラム及び案内ロボット
EP3279754A1 (en) 2016-07-15 2018-02-07 Hitachi, Ltd. Control apparatus, control system, and control method
JP2018077599A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理装置
JP2018109986A (ja) * 2016-12-28 2018-07-12 本田技研工業株式会社 自律移動体の運用方法
JP2018109987A (ja) * 2016-12-28 2018-07-12 本田技研工業株式会社 自律移動体の運用方法
JP2018109990A (ja) * 2016-12-28 2018-07-12 本田技研工業株式会社 自律移動体の運用方法
JP2018136710A (ja) * 2017-02-21 2018-08-30 沖電気工業株式会社 音声取引システムおよび連携制御装置
JP2018171696A (ja) * 2017-03-31 2018-11-08 大日本印刷株式会社 案内装置、案内方法、案内システム及びプログラム
JP2018181159A (ja) * 2017-04-19 2018-11-15 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
JP2018176384A (ja) * 2017-04-19 2018-11-15 パナソニックＩｐマネジメント株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
JP2018198081A (ja) * 2014-06-17 2018-12-13 ナント ホールディングス アイピー， エルエルシー 行動認識ロボット装置
JP2018197731A (ja) * 2017-05-25 2018-12-13 ホーチキ株式会社 防災連携システム
JP2019000970A (ja) * 2017-06-20 2019-01-10 株式会社日立ビルシステム ロボット管理システム及びロボット管理方法
CN109465818A (zh) * 2017-09-08 2019-03-15 株式会社日立大厦系统 机器人管理系统以及商品推荐方法
JP2019053650A (ja) * 2017-09-19 2019-04-04 富士ゼロックス株式会社 自走式装置
WO2019073550A1 (ja) * 2017-10-11 2019-04-18 三菱電機株式会社 エレベーターの防犯システム
CN109709947A (zh) * 2017-10-26 2019-05-03 株式会社日立大厦系统 机器人管理系统
JP2020145648A (ja) * 2019-03-08 2020-09-10 本田技研工業株式会社 迷子予防支援システム
CN111687863A (zh) * 2020-06-24 2020-09-22 中国银行股份有限公司 网点机器人自调节方法及装置
WO2020241425A1 (ja) * 2019-05-31 2020-12-03 ソニー株式会社 ロボット装置
CN112750062A (zh) * 2019-10-31 2021-05-04 比亚迪股份有限公司 车站的乘客服务控制方法、系统和终端设备
WO2021153885A1 (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2021128678A (ja) * 2020-02-17 2021-09-02 株式会社東芝 画像センサ、計算装置、および画像センサシステム
JPWO2020075290A1 (ja) * 2018-10-12 2021-10-28 株式会社ユニキャスト 顧客対応システム
US11185998B2 (en) 2016-06-14 2021-11-30 Sony Corporation Information processing device and storage medium
WO2023026587A1 (ja) * 2021-08-26 2023-03-02 三菱造船株式会社 避難誘導システム及び避難誘導方法
JP7532620B1 (ja) 2023-09-12 2024-08-13 東芝エレベータ株式会社 移動体および移動体制御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230040708A (ko) 2021-09-16 2023-03-23 현대자동차주식회사 행위 인식 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58181588A (ja) * 1982-04-13 1983-10-24 ニツタン株式会社 避難誘導用ロボツト
JPH10285581A (ja) * 1997-04-04 1998-10-23 Fujitsu Ltd 自動監視装置
JP2004005511A (ja) * 2002-03-26 2004-01-08 Toshiba Corp 監視システム、監視方法および監視プログラム
JP2004298988A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
JP2005329515A (ja) * 2004-05-21 2005-12-02 Hitachi Ltd サービスロボットシステム
JP2006015435A (ja) * 2004-06-30 2006-01-19 Honda Motor Co Ltd 警備ロボット
JP2006202062A (ja) * 2005-01-20 2006-08-03 Toshiba Corp 施設監視システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58181588A (ja) * 1982-04-13 1983-10-24 ニツタン株式会社 避難誘導用ロボツト
JPH10285581A (ja) * 1997-04-04 1998-10-23 Fujitsu Ltd 自動監視装置
JP2004005511A (ja) * 2002-03-26 2004-01-08 Toshiba Corp 監視システム、監視方法および監視プログラム
JP2004298988A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
JP2005329515A (ja) * 2004-05-21 2005-12-02 Hitachi Ltd サービスロボットシステム
JP2006015435A (ja) * 2004-06-30 2006-01-19 Honda Motor Co Ltd 警備ロボット
JP2006202062A (ja) * 2005-01-20 2006-08-03 Toshiba Corp 施設監視システム

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010072831A (ja) * 2008-09-17 2010-04-02 Fuji Security Systems Co Ltd 警備用ロボット
JP2010238182A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 自律移動体及び不審者検知方法
JP2011194507A (ja) * 2010-03-18 2011-10-06 Fujitsu Ltd サービス提供装置、サービス提供プログラム及びサービスロボット
US8972054B2 (en) 2010-03-26 2015-03-03 Sony Corporation Robot apparatus, information providing method carried out by the robot apparatus and computer storage media
JP2011201001A (ja) * 2010-03-26 2011-10-13 Sony Corp ロボット装置及びロボット装置による情報提供方法
JP2012098771A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
CN103736231A (zh) * 2014-01-24 2014-04-23 成都万先自动化科技有限责任公司 火灾救援服务机器人
KR20150136917A (ko) * 2014-05-28 2015-12-08 김명규 재난구조로봇을 이용한 재난구조시스템
KR101589133B1 (ko) * 2014-05-28 2016-01-27 김명규 재난구조로봇을 이용한 재난구조시스템
US11837027B2 (en) 2014-06-17 2023-12-05 Nant Holdings Ip, Llc Activity recognition systems and methods
JP2018198081A (ja) * 2014-06-17 2018-12-13 ナント ホールディングス アイピー， エルエルシー 行動認識ロボット装置
US11232292B2 (en) 2014-06-17 2022-01-25 Nant Holdings Ip, Llc Activity recognition systems and methods
US10572724B2 (en) 2014-06-17 2020-02-25 Nant Holdings Ip, Llc Activity recognition systems and methods
CN104985599A (zh) * 2015-07-20 2015-10-21 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制方法、系统及智能机器人
JP2017087411A (ja) * 2015-11-11 2017-05-25 グローリー株式会社 操作ガイダンスシステム、及び、ロボット
JP2017159396A (ja) * 2016-03-09 2017-09-14 大日本印刷株式会社 案内ロボット制御システム、プログラム及び案内ロボット
US11185998B2 (en) 2016-06-14 2021-11-30 Sony Corporation Information processing device and storage medium
US10339381B2 (en) 2016-07-15 2019-07-02 Hitachi, Ltd. Control apparatus, control system, and control method
EP3279754A1 (en) 2016-07-15 2018-02-07 Hitachi, Ltd. Control apparatus, control system, and control method
JP2018077599A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理装置
JP2018109986A (ja) * 2016-12-28 2018-07-12 本田技研工業株式会社 自律移動体の運用方法
JP2018109987A (ja) * 2016-12-28 2018-07-12 本田技研工業株式会社 自律移動体の運用方法
JP7016696B2 (ja) 2016-12-28 2022-02-07 本田技研工業株式会社 自律移動体の運用方法
JP2018109990A (ja) * 2016-12-28 2018-07-12 本田技研工業株式会社 自律移動体の運用方法
CN106737744A (zh) * 2016-12-30 2017-05-31 南充市鹰派科技有限公司 一种安防机器人
JP2018136710A (ja) * 2017-02-21 2018-08-30 沖電気工業株式会社 音声取引システムおよび連携制御装置
JP7013667B2 (ja) 2017-03-31 2022-02-01 大日本印刷株式会社 案内装置及び案内システム
JP2018171696A (ja) * 2017-03-31 2018-11-08 大日本印刷株式会社 案内装置、案内方法、案内システム及びプログラム
JP2018181159A (ja) * 2017-04-19 2018-11-15 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
JP2018176384A (ja) * 2017-04-19 2018-11-15 パナソニックＩｐマネジメント株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
CN106970630A (zh) * 2017-05-23 2017-07-21 上海棠棣信息科技股份有限公司 一种机器人主动提供服务的方法及装置、机器人
JP7054323B2 (ja) 2017-05-25 2022-04-13 ホーチキ株式会社 防災連携システム
JP2018197731A (ja) * 2017-05-25 2018-12-13 ホーチキ株式会社 防災連携システム
JP2019000970A (ja) * 2017-06-20 2019-01-10 株式会社日立ビルシステム ロボット管理システム及びロボット管理方法
CN109465818A (zh) * 2017-09-08 2019-03-15 株式会社日立大厦系统 机器人管理系统以及商品推荐方法
JP2019049785A (ja) * 2017-09-08 2019-03-28 株式会社日立ビルシステム ロボット管理システム及び商品提案方法
JP2019053650A (ja) * 2017-09-19 2019-04-04 富士ゼロックス株式会社 自走式装置
WO2019073550A1 (ja) * 2017-10-11 2019-04-18 三菱電機株式会社 エレベーターの防犯システム
JPWO2019073550A1 (ja) * 2017-10-11 2020-04-02 三菱電機株式会社 エレベーターの防犯システム
CN109709947B (zh) * 2017-10-26 2021-11-16 株式会社日立大厦系统 机器人管理系统
CN109709947A (zh) * 2017-10-26 2019-05-03 株式会社日立大厦系统 机器人管理系统
JPWO2020075290A1 (ja) * 2018-10-12 2021-10-28 株式会社ユニキャスト 顧客対応システム
JP2020145648A (ja) * 2019-03-08 2020-09-10 本田技研工業株式会社 迷子予防支援システム
JP7215936B2 (ja) 2019-03-08 2023-01-31 本田技研工業株式会社 迷子予防支援システム
WO2020241425A1 (ja) * 2019-05-31 2020-12-03 ソニー株式会社 ロボット装置
CN112750062A (zh) * 2019-10-31 2021-05-04 比亚迪股份有限公司 车站的乘客服务控制方法、系统和终端设备
WO2021153885A1 (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2021128678A (ja) * 2020-02-17 2021-09-02 株式会社東芝 画像センサ、計算装置、および画像センサシステム
JP7419095B2 (ja) 2020-02-17 2024-01-22 株式会社東芝 画像センサ、計算装置、および画像センサシステム
CN111687863A (zh) * 2020-06-24 2020-09-22 中国银行股份有限公司 网点机器人自调节方法及装置
CN111687863B (zh) * 2020-06-24 2021-10-01 中国银行股份有限公司 网点机器人自调节方法及装置
WO2023026587A1 (ja) * 2021-08-26 2023-03-02 三菱造船株式会社 避難誘導システム及び避難誘導方法
JP7532620B1 (ja) 2023-09-12 2024-08-13 東芝エレベータ株式会社 移動体および移動体制御方法

Also Published As

Publication number Publication date
JP4786516B2 (ja) 2011-10-05

Similar Documents

Publication Publication Date Title
JP4786516B2 (ja) ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム
JP6525229B1 (ja) デジタルサーチ・セキュリティシステム、方法及びプログラム
JP5871296B1 (ja) スマートセキュリティ・デジタルシステム、方法及びプログラム
ES2749675T3 (es) Plataforma de sensor de inteligencia de tienda para mejorar la experiencia de cliente y analíticas de datos
US20160210829A1 (en) Security system, security method, and non-transitory computer readable medium
JP6529062B1 (ja) デジタルアキュレート・セキュリティシステム、方法及びプログラム
WO2018096787A1 (ja) 人物行動監視装置および人物行動監視システム
US20160381537A1 (en) Method of notification of fire evacuation plan in floating crowd premises
KR101698500B1 (ko) 지능형 감시카메라를 이용한 감시 시스템
KR101858396B1 (ko) 지능형 침입 탐지 시스템
WO2018025492A1 (ja) 接客モニタリング装置、接客モニタリングシステム、及び接客モニタリング方法
JP5114924B2 (ja) 防犯ロボットシステムによる警告方法及び防犯ロボットシステム
JP5780569B1 (ja) デジタルロス・デフェンスセキュリティシステム、方法及びプログラム
KR101692688B1 (ko) 모드 변경 로봇 및 그 제어방법
JP2007152442A (ja) ロボット案内システム
JP2007060528A (ja) 施設における利用者管理システムおよび利用者管理方法
JP2018181159A (ja) 防犯システム、防犯方法、及びロボット
US20210142045A1 (en) Method Of And System For Recognising A Human Face
WO2018029193A1 (en) Device, system and method for fall detection
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
CN107657687A (zh) 一种基于图像处理技术的门禁管理方法及门禁管理服务器
JP2011192157A (ja) 非常通報装置
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
US11756406B2 (en) Systems and methods for providing evacuation monitoring and assistance
JPWO2020213058A1 (ja) デジタルスマート・ディフェンスセキュリティシステム、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110225

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110713

R151 Written notification of patent or utility model registration

Ref document number: 4786516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees