JP2005329515A - サービスロボットシステム - Google Patents

Abstract

【課題】ロボットの周囲に存在する複数人物を対象とするサービス業務を効率的に行うことを可能とするサービスロボットシステムの提供。
【解決手段】サービスロボットシステムは、自律移動可能な１台以上のロボット３ａ〜３ｃを備えるとともに、各ロボットの周囲における複数のサービス対象人物４の各ロボットに対する位置関係を同時的に同定することのできる位置同定装置１を備え、位置同定装置で同定した位置関係情報をサービス動作制御用情報としてロボットが人物に対するサービスを行うようにされている。
【選択図】図１

Description

本発明は、ロボットが人と共存する環境で自律移動しながら人に対してサービスを提供するサービスロボットシステムに関し、特に商業ビルやオフィスビル等のように多くの人の出入がある建物における入退出管理や受付案内等のサービスを行うのに好適なサービスロボットシステムに関する。

人と共存する環境で対人サービスを行う目的のロボットないしシステムとしては、例えば特許文献１や特許文献２に記載される例が知られている。これらのロボットないしシステムは、自律移動機能をベースにロボットが当該ロボットと対面している人物に対してコミュニケーションを行いつつ所定のサービスを実施するものである。

特開２００１−３００８７６号公報 特開２００３−２８０７３９号公報

ロボットに行わせるのが有効であるサービス業務の一つとして、例えば商業ビルやオフィスビル等のように多くの人の出入がある建物における入退出管理や受付案内等のサービスがある。このようなサービス業務では、ロボットの周辺に存在する複数の人物の移動挙動やそれに伴う各人物のロボットに対する位置関係を網羅的に把握しつつ各人物の挙動等に対応してサービス業務を行う必要があり、さらにこれらのサービス業務を複数のロボットが協調して行う必要がある。

しかし、上記のような従来のロボットないしシステムではこうした複数人物を対象とするサービス業務に対応するのが困難である。すなわち従来のロボットないしシステムは、基本的に単独のロボットが当該ロボットに対面した人物に対してのみサービスを行うことをコンセプトとしており、ロボットの周囲に存在する複数人物を対象とするサービス業務に対応することが難しい。

本発明は、以上のような事情を背景になされたものであり、ロボットの周囲に存在する複数人物を対象とするサービス業務を効率的に行うことを可能とするサービスロボットシステムの提供を目的としている。

上記目的のために本発明では、人に対してサービスを行うためのサービスロボットシステムにおいて、自律移動可能な１台以上のロボットを備えるとともに、前記各ロボットの周囲における複数のサービス対象人物の前記各ロボットに対する位置関係を同時的に同定することのできる位置同定装置を備え、前記位置同定装置で同定した位置関係情報をサービス動作制御用情報として前記ロボットが前記サービス対象人物に対するサービスを行うようにされていることを特徴としている。

また本発明では上記のようなサービスロボットシステムについて、前記位置同定装置は、前記ロボットの周囲の俯瞰画像を捉える俯瞰テレビカメラと、前記俯瞰画像に基づいて前記位置関係の同定処理をなす位置同定処理手段を含むものとしている。

また本発明では上記のようなサービスロボットシステムについて、前記俯瞰テレビカメラとしてステレオテレビカメラを設けるようにしている。

また本発明では上記のようなサービスロボットシステムについて、前記俯瞰テレビカメラを複数台設け、前記複数の俯瞰テレビカメラで得られる複数の俯瞰画像を結合させて仮想的な広視野の俯瞰画像を形成し、この広視野俯瞰画像に基づいて前記位置関係同定をなすか、または前記複数の俯瞰画像のそれぞれについて前記位置関係同定をなし、これによる位置関係情報を統合して前記サービス動作制御用情報に用いるようにしている。

また本発明では上記のようなサービスロボットシステムについて、前記人物の顔の画像に基づいて当該人物の個人認証を行う顔認証方式個人認証手段と前記人物が提示するＩＤカードを読み取ることで当該人物の個人認証を行うＩＤカード認証方式個人認証手段のいずれか一つまたは両方を備えるものとしている。

また本発明では上記のようなサービスロボットシステムについて、前記ロボットによるサービス業務の管理を行うサービスオペレータが前記ロボットに搭載の搭載テレビカメラで得られる前記人物の画像を見ながら当該人物と対話できるようにした、サービス対象人物・サービスオペレータ間コミュニケーション手段を備えるものとしている。

また本発明では上記のようなサービスロボットシステムについて、前記俯瞰テレビカメラにおける視野領域に、前記俯瞰テレビカメラの設置位置側に最も寄った領域である受入領域、前記受入領域に引き続く領域である認証領域、および前記認証領域以降の領域である警告領域の３領域を設定し、そして前記同定された位置関係に基づいて前記３領域のいずれに前記人物が存在するのかを判定し、前記人物の存在する領域に応じて前記人物に対する前記ロボットのサービス動作を決めるものとし、前記受入領域では前記人物の登場を最初に捕捉し、前記認証領域では前記受入領域で捕捉された人物の個人認証を行い、前記警告領域では、前記個人認証が終了していない人物がそこに存在した場合に当該人物を不審者として前記ロボットが追尾するなどの対処をなすようにしている。

また本発明では上記のようなサービスロボットシステムについて、前記サービス動作制御用情報は、前記人物ごとに設定される個人識別コード、認証コード、領域コードおよび不審者コードの各項目を含んでおり、前記個人識別コードには、前記受入領域で新たな登場人物を捕捉するごとに当該人物に対して割り当てられる識別コードが記録され、前記認証コードには、前記識別コードを割り当てられた人物について前記認証領域での認証がなされた場合にはそのことが記録され、一方、前記認証領域での認証が未了の場合にはそのことが記録され、前記領域コードには、前記人物が前記３領域のいずれに存在するかが記録され、前記不審者コードには、前記不審者について前記ロボットによる追尾がなされているか否かが記録されるように構成するものとしている。

また本発明では上記のようなサービスロボットシステムについて、前記不審者について画像を取得し、前記不審者が前記個人認証未了のまま前記視野領域から離脱した場合に、前記不審者の画像を保存するようにしている。

また本発明では上記のようなサービスロボットシステムについて、前記不審者の追尾は、その時点で追尾を行っておらず、かつ前記追尾対象の不審者に最も近い位置に位置するロボットがなすようにしている。

また本発明では上記のようなサービスロボットシステムについて、前記ロボットによる不審者の追尾中に前記不審者が停止したことを確認した場合に、その停止した場所で前記ロボットが前記不審者に個人認証を求め、前記不審者がこれに応じなかった場合には警告を発するようにしている。

また本発明では上記のようなサービスロボットシステムについて、前記俯瞰テレビカメラにおける視野領域に新たな人物が登場したことを補足すると、前記位置関係情報を基に当該人物の近傍に前記ロボットが自律移動で接近し、前記ロボットに設けられているサービス対象人物・ロボット間コミュニケーション手段により前記人物に対してコミュニケーションをとりながら受付案内サービスを実行するようにしている。

また本発明では上記のようなサービスロボットシステムについて、前記俯瞰テレビカメラにおける視野領域に新たな人物が登場したことを補足すると、前記位置関係情報を基に当該人物の近傍に前記ロボットが自律移動で接近し、前記ロボットに設けられているサービス対象人物・ロボット間コミュニケーション手段により前記人物に対してコミュニケーションをとりながら受付案内サービスを実行するようにされ、そして前記受付案内サービスとして、前記ロボットが前記人物を案内先に誘導案内するようにされており、その誘導案内を実行するにあたって、前記人物の近傍への接近状態で前記人物に個人認証を求め、前記個人認証ができた場合には、予め設定されている案内メニューに基づいた案内先に前記人物を前記ロボットが誘導案内し、前記個人認証ができなかった場合には、前記サービスオペレータと前記人物との対話により決められる案内先に前記人物を前記ロボットが誘導案内するようにしている。

また本発明では上記のようなサービスロボットシステムについて、スケジュール管理機能を備え、時間帯に応じて入退出管理サービスと受付案内サービスを前記スケジュール管理機能による管理の下で切替えて実行できるようにしている。

本発明では、位置同定装置によりロボットとその周辺に存在する複数の人物の位置関係を同時的に同定できるようにし、そしてこの位置関係情報に基づく制御によりロボットにサービス業務を実行させるようにしている。このため本発明のサービスロボットシステムによれば、１台以上のロボットの周囲における複数の人物の移動挙動やそれに伴う各人物のロボットに対する位置関係をロボットに網羅的に把握させつつ各人物の挙動に対応したサービス業務を、１台以上のロボットに各ロボットを適切に協調させながら行わせることができるようになり、したがって複数人物を対象とする入退出管理サービスや受付案内サービス等のサービス業務を効率的に行うことが可能となる。

以下、本発明を実施する上で好ましい形態について説明する。図１に第１の実施形態によるサービスロボットシステムの全体構成を模式化して示し、図２にロボットの構成を模式化して示す。本実施形態におけるサービスロボットシステムは、例えばオフィスビルやデパート等での従業員の入退出管理サービス、あるいはオフィスビルやデパート等を訪れる人物については受付案内サービス等を行えるようにした例で、図１に示すように、位置同定装置１、複数のロボット（サービスロボット）３ａ〜３ｃおよび遠隔管理装置５を含んでなる。

位置同定装置１は、ロボット３（３ａ〜３ｃ）とその周辺に存在する複数の人物４それぞれの位置関係を同時的に同定し、その情報をロボット３に提供する。そのために位置同定装置１は、ロボット３ａ〜３ｃの作業領域を高所から俯瞰的に撮像することでロボット３ａ〜３ｃとその周辺に存在する複数の人物４を網羅的に捉える俯瞰画像を取得できるように設置された俯瞰テレビカメラ１ｔと、この俯瞰テレビカメラ１ｔからの俯瞰画像を基にした画像処理によりロボット３ａ〜３ｃとその周辺に存在する複数の人物４それぞれの位置関係を求める位置同定処理部１ｃを備えている。

位置同定処理部１ｃは、図２に示すように、画像処理装置２４、全体統括制御装置２５および無線通信装置２６を備えている。画像処理装置２４は、位置関係導出手段であり、俯瞰テレビカメラ１ｔから俯瞰画像を処理してロボット３ａ〜３ｃとその周辺の人物４それぞれの位置関係を求める。全体統括制御装置２５は、サービス動作制御用情報管理手段であり、画像処理装置２４により得られる位置情報、それに後述のような個人認証情報やロボット３ａ〜３ｃとその周辺の人物４に関する挙動属性情報等、ロボット３によるサービス動作の制御に必要な情報つまりサービス動作制御用情報を蓄積し、それらをロボット３ａ〜３ｃそれぞれに共有データとして配信する。無線通信装置２６は、全体統括制御装置２５とロボット３ａ〜３ｃの間の情報交換に用いられる。

遠隔管理装置５、ロボット３ａ〜３ｃによるサービス業務の管理に従事しているサービスオペレータ６とロボット３ａ〜３ｃとの共同作業の実施に際して用いられるもので、画像記録装置２７、対話インターフェース２８および無線通信装置２９を備え、上記の共有データの管理およびロボットが行う各種サービス作業の起動と終了に関するスケジュール管理の各機能等を有している。

ロボット３ａ〜３ｃの構成は、個々の識別のための要素以外については全て同一である。ロボット３ａ〜３ｃについてはそれぞれの位置関係およびそれぞれの周囲にいる人物４との位置関係を位置同定装置１により同定する。その位置同定の際にロボット３ａ〜３ｃを個々を識別するための識別手段としてロボット３にはその頭部に位置検出ターゲット８が設けられている。すなわち位置同定装置１は、位置検出ターゲット８を検出することでロボット３ａ〜３ｃを個々に識別して位置同定を行う。このような位置検出ターゲット８は、例えば光学的に識別する構成とすることが好ましい。光学的な識別の場合であれば、例えば位置検出ターゲット８をロボット３ａ〜３ｃごとに異なる色で着色し、その色相を位置同定装置１で検出して個々のロボットの識別をなすような構成、あるいは位置検出ターゲット８を発光素子で形成し、その発光変調パターンを位置同定装置１で検出して個々のロボットの識別をなすような構成等、ロボット３ａ〜３ｃそれぞれの位置検出ターゲット８に光学的差異性を与え、それを位置同定装置１で検出する構成を適宜に用いることができる。

またロボット３は、その頭部に搭載テレビカメラ９が設けられている。搭載テレビカメラ９は、サービス対象の人物の画像、特に顔の画像を取得する機能を負っており、雲台機構１０により視線方向を制御可能とされている。この搭載テレビカメラ９で得られる画像データは、ロボット内蔵制御装置１８のコンポーネントである顔認証装置１９とロボット統括制御装置２１に提供され、個人認証、サービスオペレータ６による人物４の視認や人物４との双方向対話、あるいは人物４に関する記録等に用いられる。すなわち搭載テレビカメラ９は、個人認証に関して、顔認証装置１９とともに顔認証方式の個人認証手段を構成し、またサービスオペレータ６による双方向対話に関し、後述のようなコミュニケーション手段の一部を構成している。

搭載テレビカメラ９とともに顔認証方式個人認証手段を構成する顔認証装置１９は、搭載テレビカメラ９の視野に人物４の顔を捕捉した場合、人物４の顔のカメラ画像上の座標情報をロボット統括制御装置２１に伝達する。これに応じてロボット統括制御装置２１は、良好な顔認証処理のために、座標情報に基づき搭載テレビカメラ９の視野の適正位置に人物４の顔を捕捉できるように、雲台制御装置２０を介して雲台機構１０を制御する。また顔認証装置１９は、搭載テレビカメラ９で捕捉した人物４の顔の特徴パラメータを既登録の人物の顔特徴パラメータと比較する。そして捕捉した人物の顔特徴パラメータと一致する既登録人物の顔特徴パラメータがあれば、捕捉した人物をその既登録人物と判定し、そうでない場合には捕捉した人物を未登録人物と判定し、その結果をロボット統括制御装置２１に伝送する。ロボット統括制御装置２１は、顔認証装置１９からの個人認証結果を位置同定装置１の全体統括制御装置２５に伝送し、全体統括制御装置２５は、人物４の個人データとしてその個人認証結果を蓄積する。

ロボット３は、以上のような顔認証方式個人認証手段の他に、ＩＤカード方式の個人認証手段を備えている。具体的にはロボット３のボディーに組み込まれているＩＤカードリーダ１３により、人物４が提示するＩＤカード７（図１）から個人識別情報を読み取って認証をなす方式の認証手段である。ＩＤカード認証による個人認証結果は、顔認証の場合と同様に、全体統括制御装置２５に伝送され、さらに全体統括制御装置２５から全体統括制御装置２５に伝送されて蓄積される。

ロボット統括制御装置２１は、後述する入退出管理作業のプロセスで、人物４を不審者と判定した場合、搭載テレビカメラ９で捕捉した人物４の画像データを一時蓄積する。一時蓄積した人物４の画像データは、不審者である人物４の取り逃がしが発生したとロボット統括制御装置２１が判断した場合、遠隔管理装置５の画像記録装置２７に転送され蓄積される。これらについては後にも説明する。

またロボット３は、サービス対象の人物４とのコミュニケーションのための手段を備えている。そのコミュニケーション手段の一つは、搭載テレビカメラ９で得られる人物４の画像を見ながらサービスオペレータ６が人物４と双方向画像音声対話をできるように構成された、サービス対象人物・サービスオペレータ間コミュニケーション手段である。すなわちサービスオペレータ６は、ボット統括制御装置２１を介して遠隔管理装置５の対話インターフェース２８に伝送される搭載テレビカメラ９からの画像で人物４を遠隔的に確認しながら、ロボット３の頭部に設けられているマイク１１およびロボット３のボディーに設けられているスピーカ１４を通じて人物４と対話を行う。このコミュニケーションにおいてはロボット統括制御装置２１に設けられている無線通信装置２３と遠隔管理装置５に設けられている無線通信装置２９により通信がなされる。コミュニケーション手段については、この他に、ロボット３が人物４と対話するためのサービス対象人物・ロボット間コミュニケーション手段も設けられている。具体的には、ロボットのボディーに設けられているタッチパネルディスプレイ１２がそのハード要素であり、タッチパネルディスプレイ１２は、ロボット統括制御装置２１に内蔵するプログラムにより例えば案内メッセージ等のサービスコンテンツを画像や音声で提示し、またそのサービスコンテンツに関する操作を行うことができるようにされている。

またロボット３は、自律移動手段として車輪駆動型の移動機構１７を備えるとともに、移動時において人物４や障害物との衝突回避のための走行環境情報を取得する環境センシング手段として、ボディーの周囲に配置される超音波センサ１５とボディーの下部に設置されるバンパセンサ１６を備えている。ロボット統括制御装置２１は、位置同定装置１から得たロボット３と人物４の位置関係情報に基づいてロボット３の移動目標位置を決定する。そして移動制御装置２２がロボット統括制御装置２１からの移動目標位置の指令と超音波センサ１５やバンパセンサ１６により検出される走行環境情報とに基づいて移動軌跡を決定し、その移動軌跡を実現するように移動機構１７を駆動することで、ロボット３の自律走行移動がなされる。

次に、図３と図４を用いて、位置同定装置１によるロボット３ａ〜３ｃと人物４の位置関係を同定するプロセスについて説明する。図３は、画像処理装置２４による画像処理の説明図である。俯瞰テレビカメラ１ｔでは、ロボット３ａ〜３ｃと人物４を斜め上方から見下ろした状態の俯瞰画像が得られる。この俯瞰テレビカメラ１ｔで取得の俯瞰画像には、画像の中心を原点とした座標（ｘｃ，ｙｃ）が定義される。画像処理装置２４は、この座標（ｘｃ，ｙｃ）上でロボット３ａ〜３ｃと人物４それぞれの頭部の位置を特定する。すなわちロボット３ａ〜３ｃに関しては、画像処理装置２４は、まずロボット３ａ〜３ｃそれぞれの位置検出ターゲット８ａ〜８ｃのパターンを背景画像から色相分別で抽出し、それから抽出した位置検出ターゲット８ａ〜８ｃのパターンの重心位置をロボット３ａ〜３ｃの座標として検出する。一方、人物４に関しては、画像処理装置２４は、まず色や外観形状等を手がかりに人物４の頭部４ｈのパターンを背景画像から抽出し、新規の画像取り込みごとに移動する頭部４ｈのパターンの重なりを判定し追跡することで、複数の人物４の個々の座標を検出する。

このようにして画像処理装置２４で検出されたロボット３ａ〜３ｃと人物４の位置は、床面上に投影された平面座標に変換され、全体統括制御装置２５に蓄積される。図４を用いて座標変換のプロセスを説明する。図４は、画像座標（ｘｃ，ｙｃ）から床面座標（ｘ，ｙ）への座標変換モデルである。床面座標上の計測点位置（Ｘ，Ｙ，Ｚ）は、カメラ受光面上での座標（Ｘｃ，Ｙｃ，０）に投影される。ロボット３ａ〜３ｃと人物４の床面座標上での位置（Ｘ，Ｙ）は、各々の計測点、すなわち頭頂部の床面からの高さＺを規定することにより、次の(１)式と(２)式から算出される。

ここで、Ａはカメラ受光面からカメラレンズの中心までの距離、Ｚｂはカメラ受光面中心の床面からの高さ、Ｙｂはカメラ受光面中心の床面座標ｙ軸方向位置、θは俯瞰カメラの俯角であり、中間値ＢとＬ／Ｂは下記の(３)式と(４)式で計算される。

以上説明したシステム構成においてロボット３は所定のサービス業務を行う。以下では、サービス業務として例えばオフィスビルやデパートにおける従業員の入退出管理を行う場合を例にしたプロセスについて説明する。図５は、入退出管理サービス動作制御のベースになる、俯瞰テレビカメラ１ｔの視野領域３０の分割に関する説明図である。視野領域３０は、人物４の頭頂部の高さで規定した床面座標上での視野範囲、つまり人の頭頂部の平均高さまで俯瞰テレビカメラ１ｔで捉えられるように設定した視野における視野範囲を表す。入退出管理サービスコンテンツでは、俯瞰テレビカメラ１ｔの存在する方向を例えばビルの玄関として、この側から入ってくる人物４を待受けるように、視野領域３０内でロボット３ａ〜３ｃを整列させて入退出管理ゲートを形成し、この入退出管理ゲートにおけるロボット３ａ〜３ｃに接近した人物４の個人認証を行い、未認証の人物がゲートを通過した場合、不審者として追尾するものである。

このような一連の作業の生成基準として、視野領域３０は、サービス対象の人物４の流れの方向に順に、受入領域３１、認証領域３２ａ〜３２ｃ、警告領域３３の３種類の領域に分割される。そして人物４がどの領域に存在するかによりロボット３ａ〜３ｃの行動が決定される。受入領域３１は、俯瞰テレビカメラ１ｔの設置位置側に最も寄った領域として設定され、サービス対象人物を最初に捕捉する領域であり、ここで新たな人物の出現を監視する。認証領域３２（３２ａ〜３２ｃ）は、受入領域３１に引き続く領域としてロボット３ａ〜３ｃごとに設定され、ロボット３ａ〜３ｃが顔認証もしくはＩＤカード認証により人物４を個人認証するための領域である。警告領域３３は、認証領域３２以降の領域として設定され、個人認証が終了していない人物４がそこに存在した場合に不審者として対処するように規定した領域である。

入退出管理サービスを実施するためには、上記のような視野領域３０の領域分割の規定の他に、視野領域３０に存在する複数の人物４ごとの位置及び個人認証等の状況を確認するための個人属性の把握が必要である。サービス動作制御用情報管理手段を構成する全体統括制御装置２５は、これらの個人情報をサービス動作制御用情報として次の表１のような形で蓄積している。

この表に見られるように、サービス動作制御用情報は、個人識別コード、認証コード、領域コード、不審者コード、録画コード、人物座標、人物速度、人物移動方向の各項目を含んでいる。そして人物４には、それぞれ個別に識別コード（図の例ではｎ、ｎ＋１、ｎ＋２など）が割り当てられて個人識別コードの項目欄に記録され、全ての処理での個人の識別はこの識別コードにより管理される。認証コードには、個人認証手続きで身元が明らかになった人物４に対しては「認証」が記録され、認証未了の人物に対しては「未認証」が記録される。領域コードには、人物座標の現在値に基づき、３種の領域のいずれに人物４が存在するかが記録される。不審者コードには、現在、ロボット３ａ〜３ｃのいずれかの追尾対照となっているか否かが「追尾」または「非追尾」として記録される。録画コードには、人物４の画像の取り扱いの状況が記録される。すなわち認証未了のままで警告領域３３に存在する人物４、つまり不審者が視野領域３０の外に離脱した場合に録画登録対象となり、「録画」が記録され、そうでない場合には「非録画」が記録される。そして「録画」が記録された場合には、警戒すべき人物の侵入の証拠として、遠隔管理装置５の画像記録装置２７に録画画像が保存される。人物座標、人物速度および人物移動方向の各項目欄には、ロボットの移動戦略のベースとなる人物４の移動状態に関する情報が記録される。すなわち人物座標には、上記のようにして求められる人物の位置の座標値が記録され、人物速度には、人物座標の経時変化から演算して求まる人物の移動速度の推定値が順次更新しながら記録され、人物移動方向には、同じく人物座標の経時変化から演算して求まる人物の移動方向の推定値が順次更新しながら記録される。以上のような人物４の個人情報は全体統括制御装置２５にサービス動作制御用情報として蓄積され、ロボット３ａ〜３ｃはこれを共有情報として参照できる。さらに、全体統括制御装置２５には、ロボット３ａ〜３ｃの現在位置と現在実施中の作業項目の情報もサービス動作制御用情報として登録されており、この情報もロボット３ａ〜３ｃが共有情報として参照できる。

次に、図６を用い、ロボット３ａ〜３ｃによる入退出管理サービスでの動作を説明する。まず、ロボット３ａによる人物４の認証作業のプロセスを説明する。ロボット３ａは、不審者であり不審者コードが非追尾に記録された人物が存在しない場合、つまり後述のような追尾を必要としない状況では、認証領域３２ａで待機し、人物が受入領域３１に登場するのを待つ。

受入領域３１に人物４ａが登場すると、その人物４ａは位置同定装置１によって捕捉され、全体統括制御装置２５に登録される。そしてロボット３ａは、全体統括制御装置２５からの情報により人物４ａが受入領域３１に登場したことを把握すると、その人物４ａに対して音声出力にて認証手続きを促す。この間に人物４ａが認証領域３２ａまで進み、これを検出すると、ロボット３ａは、顔認証もしくはＩＤカード認証により人物４ａの認証を行う。認証領域３２ａでの人物４ａの存在の判断は、位置同定装置１での人物位置検出結果とロボット３ａにおける超音波センサ１５ｂによる人物探査結果のいずれかで行う。ここで、人物４ａの身元が顔認証やＩＤカード認証で確認された場合は、認証済みとしてゲートの通過を許す。一方、人物４ａが全体統括制御装置２５に未登録の人物である場合、ロボット３ａは、サービスオペレータ６を呼び出し、サービスオペレータ６の指示を得て、人物４ａの認証を行うかもしくは認証を拒絶する。また、人物４ａが認証未了のまま警告領域３３に移動した場合は、人物４ａを不審者として登録するとともに、俯瞰テレビカメラ１ｔと搭載テレビカメラ９で捉えた人物４ａの画像を録画する。上記のような認証作業は、ロボット３ｂと３ｃでも同様に実施される。

認証未了のまま警告領域３３に移動した人物つまり不審者がさらにロボットから遠ざかろうとした場合は、ロボットはこの不審者を追尾する行動に移る。この場合のロボット３ｂや３ｃの行動状態を図６に併せて示す。ロボット３ｃは不審者４ｃの位置を位置同定装置１からの情報により把握し、不審者４ｃの位置がロボット３ｃから離れることを確認した場合、不審者４ｃの不審者コードを「非追尾」から「追尾」に記録を切り替える。またそれとともに不審者４ｃに向けて音声出力により停止と認証手続きの実行を促しながら不審者４ｃの存在する方向に回頭し、不審者４ｃの現在位置に向けて移動軌跡を修正しながら接近する。この時、ロボット３ｃは、超音波センサ１５ｂにより不審者４ｃとの相対距離を検出し、不審者４ｃとの衝突を回避するため所定の相対距離を維持するように移動軌跡を修正する。この追尾動作は、不審者４ｃの停止を確認するまで実行する。ロボット３ｃは、不審者４ｃの停止を確認すると停止し、不審者４ｃがＩＤカードの提示等の認証手続きを実施した場合、不審者４ｃの認証コードを「認証」に、不審者コードの記録を「非追尾」に切り替えて、追尾動作を終了し、認証領域３２ｃに戻る。なお不審者４ｃが一旦停止した後に認証手続きをなすことなく、再度、ロボット３ｃから離れる挙動をした場合には、上記のような追尾動作を再開する。

ロボット３ｂは、ロボット３ｃと並行して不審者４ｂの追尾を実行するが、図６に示すように、不審者４ｂが視野領域３０の外に離脱した場合は、追尾動作を中断し、音声出力により、不審者４ｂに対し、立ち戻って認証手続きを実行することを促すとともに、不審者４ｂの画像が登録された由などの警告を発する。ロボット３ｂは、警告作業を終了すると、認証領域３２ｂに戻る。上記ようなの追尾動作に際して、追尾動作中のロボット３ｂや３ｃは、超音波センサ１５により進行方向に人物４や障害物を検出した場合、これを回避するように移動軌跡を修正し、バンパセンサにより人物４や障害物との衝突が検出された場合、急停止し、所定距離逆走して衝突状態を解除した後、衝突を回避する方向に移動軌跡を修正し追尾動作を続行する。また追尾動作中のロボット３ｂや３ｃは、他のロボットや追尾対象の不審者以外の人物の位置を位置同定装置１に蓄積情報から把握し、これらとの衝突を回避するように、移動軌跡を生成する。ロボット３ｂや３ｃは、追尾動作を終了し各々の認証領域に戻る途中で、不審者コードが非追尾とされている不審者を新たに確認した場合、該当不審者に対し追尾動作を開始する。上記のような追尾動作は、ロボット３ａでも同様に実施される。ロボット３ａ〜３ｃによる不審者の追尾は、不審者コードが非追尾である不審者、つまりロボットによる追尾動作を現在受けていない不審者であり、かつ自身に最も近い位置に位置する不審者を追尾対象として選択し、該当不審者の不審者コードを追尾に登録してから開始される。このようにすることでロボット３ａ〜３ｃが重複して一人の不審者を追尾することを有効に回避することができる。

以上のような入退出管理サービスは、従業員の出社時間帯と退社時間帯に時間を合わせて実施されるもので、その実施開始時間や終了時間は、全体統括制御装置２５に設けてあるスケジュール管理機能により管理される。

次に、上でのシステム構成においてロボット３がサービス業務として受付案内サービスを行う場合について説明する。図７に、受付案内サービスにおける動作のようす示す。ロボット３ａは、視野領域３０の内の所定の位置に待機し、受入領域３１に人物４が登場するのを待つ（図７中の「待機」の状態）。全体統括制御装置２５に蓄積される人物の位置情報から受入領域３１に新規の人物４が登場したことが確認された場合、ロボット３ａは、全体統括制御装置２５に蓄積の人物４に関する情報を参照し、ロボット３ａと人物４の現在における位置関係、および人物４の移動速度と移動方向の現在値を把握し、これらの情報とロボット３ａの許容移動速度情報から、人物４とロボット３ａそれぞれの推定移動軌跡が交差する位置を推定し、この推定交差位置に向けて移動を開始する。移動を開始した後、ロボット３ａは、全体統括制御装置２５に蓄積の人物４に関する現在位置情報とロボット３ａの前面における超音波センサ１５ａで人物４を検出した結果とに基づき、人物４とロボット３ａの間の距離を把握する。そしてその距離が所定の値に達したことを確認すると、ロボット３ａは、人物４の方向に対面するよう方向修正して停止する（図７中の「接近／個人認証」の状態）。それからこの状態で、顔認証もしくはＩＤカード認証により人物４の個人認証を実施する。

個人認証により人物４の身元が確認されたらロボット３ａは、音声出力やタッチパネルディスプレイ１２のコンテンツ表示により、人物４に対して挨拶のメッセージを発生し、人物４に対応した案内サービスメニューを起動して案内作業を実行する。人物４に関する情報が未登録で個人認証が成立しない場合は、ロボット３ａもしくは人物４による選択により、サービスオペレータ６を呼び出し、人物４とサービスオペレータ６の双方向通話により、案内サービスの選択を行う。これで案内先が確定すれば、それを受けてロボット３ａは案内作業を実行する。すなわちロボット３ａは、案内先の目的地に向け人物４を誘導しながら移動する（図７中の「誘導」の状態）。この案内作業に際しロボット３ａは、全体統括制御装置２５に蓄積の人物４やロボット３ａの位置情報とロボット３ａの背面における超音波センサ１５ｃによる計測とで人物４とロボット３ａとの相対距離を把握し、この相対距離が所定の値になるように、移動軌跡と移動速度を制御しながら誘導移動を実施する。また案内作業に際しロボット３ａは、超音波センサ１５ｂにより進行方向に他の人物や障害物があるかを検出し、もし検出された場合にはそれを回避するように移動軌跡を修正する。さらにその回避をなせずに人物や障害物とに衝突してしまうと、それがバンパセンサ１６（図１）により検出され、これに応じてロボット３ａは、急停止し、所定距離逆走して衝突状態から解除した後、衝突を回避する方向に移動軌跡を修正してから誘導移動を続行する。

以上のような受付案内サービスは、必要な時間帯に合わせて上記の入退出管理サービスと切り替えて行わせるようにすることができる。その場合には、入退出管理サービスの場合と同様に、全体統括制御装置２５に設けてあるスケジュール管理機能により受付案内サービスの実施開始時間や終了時間を管理することになる。

以上では１台のロボットが受付案内サービスを行う場合について説明したが、複数のロボットが同様な受付案内サービスを並行的に行うようにする形態も勿論可能である。

以上の実施形態におけるように本発明では、位置同定装置１によりロボット３とその周辺に存在する複数の人物４の位置関係を同時的に同定できるようにし、そしてこの位置関係情報に基づく制御によりロボット３にサービス業務を実行させるようにしている。このため本発明のサービスロボットシステムによれば、１台以上のロボットの周囲における複数の人物の移動挙動やそれに伴う各人物のロボットに対する位置関係をロボットに網羅的に把握させつつ各人物の挙動に対応したサービス業務を、１台以上のロボットに各ロボットを適切に協調させながら行わせることができるようになり、したがって複数人物を対象とする入退出管理サービスや受付案内サービス等のサービス業務を効率的に行うことが可能となる。

また以上の実施形態におけるように本発明では、入退出管理サービスと受付案内サービスをそれぞれが必要な時間帯に合わせて切り替えて行わせることが可能であり、そのようにすることで、サービスロボットシステムを無駄なく運用することができるようになる。

以下では他の実施形態について説明する。図８に、第２の実施形態によるサービスロボットシステムの全体構成を模式化して示す。本実施形態は第１の実施形態と基本的には同様である。したがって本実施形態については第１の実施形態と相違する構成を説明するだけとする。なお図８において図１と同じ構成要素については同じ符号を付してある。

本実施形態のサービスロボットシステムは、図１における位置同定装置１に対応する要素として位置同定装置３５を備えている。この位置同定装置３５は、図１における俯瞰テレビカメラ１ｔに対応する要素として俯瞰テレビカメラ３５ｔを備えるとともに、俯瞰テレビカメラ３５ｔからの俯瞰画像を基にした画像処理によりロボット３ａ〜３ｃとその周辺に存在する複数の人物４の位置関係を求める位置同定処理部３５ｃを備えており、その俯瞰テレビカメラ３５ｔがステレオテレビカメラとされていること、つまり一定範囲の視差を有した画像の組み合わせによる３次元的情報を含んだ俯瞰画像を得られるようにされている点に特徴がある。またこれに応じて、位置同定処理部３５ｃに、図１における画像処理装置２４に対応する要素として、立体画像処理によりロボット３ａ〜３ｃや人物４の３次元位置を検出できる画像処理装置３７を設けている点にも特徴がある。

第１の実施形態の場合、俯瞰テレビカメラ１ｔで得られる俯瞰画像が２次元的情報だけしか含んでいないため、（１）式から（４）式に示したように、位置計測対象の床面座標位置は、計測対象の身長すなわちＺの値に依存しており、したがって身長のばらつきにより人物４の位置計測に誤差を発生する。これに対し、本実施形態によれば、位置計測対象の頭部の３次元座標位置を直接計測することができ、より正確に人物の床面座標位置を検出することが可能となる。

図９に示すのは、第３の実施形態によるサービスロボットシステムの全体構成である。本実施形態も基本的には第１の実施形態と同様である。したがって本実施形態については第１の実施形態と相違する構成を説明するだけとする。なお図９において図１と同じ構成要素については同じ符号を付してある。

本実施形態のサービスロボットシステムは、図１における位置同定装置１に対応する要素として位置同定装置３８を備えている。この位置同定装置３８は、図１における俯瞰テレビカメラ１ｔに対応する要素として、設置位置を異ならせた複数台の俯瞰テレビカメラ３８ｔ（図の例では２台の俯瞰テレビカメラ３８ｔａと３８ｔｂ）を備える。またこれら俯瞰テレビカメラ３８ｔａ、３８ｔｂからの複数の俯瞰画像を処理できるようにした画像処理装置４０を、図１における画像処理装置２４に対応する要素として、位置同定処理部３８ｃに設けている。

俯瞰テレビカメラ３８ｔａ、３８ｔｂからの複数の俯瞰画像を用いる画像処理装置４０での処理にはいくつかの構成が可能である。その一つは、複数の俯瞰画像を結合させて仮想的な広視野の俯瞰画像を形成し、この広視野俯瞰画像に基づきロボット３ａ〜３ｃや人物４の位置を検出するような構成である。この他に、例えば複数の俯瞰画像のそれぞれについてロボット３ａ〜３ｃや人物４の位置を検出できるようにした画像処理ユニットを画像処理装置４０に設け、それらの画像処理ユニットで検出したロボット３ａ〜３ｃや人物４の位置情報を統合することで、複数の俯瞰テレビカメラ３８ｔａ、３８ｔｂの視野範囲にまたがる位置検出をなすようにする構成も可能である。

本実施形態によれば、複数の俯瞰テレビカメラにより、画像解像度を低下させることなく広い視野領域を確保できる。このため広い領域にわたり精度のよくロボットや人物の位置を検出することが可能となる。

本発明は、ロボットによる複数人物を対象とする入退出管理サービスや受付案内サービス等のサービス業務を効率的に行うことが可能とするものであり、ロボットによるサービス業務分野に有用なものとして広く利用することができる。

第１の実施形態によるサービスロボットシステムの構成を模式化して示す図である。 図１のサービスロボットシステムにおけるロボットの構成を模式化して示す図である。 位置同定装置における位置同定のための画像処理の内容を説明する図である。 画像座標から床面座標への座標変換モデルを説明する図である。 視野領域の分割を説明する図である。 入退出管理サービスにおけるロボットの動作を説明する図である。 受付案内サービスにおけるロボットの動作を説明する図である。 第２の実施形態によるサービスロボットシステムの構成を模式化して示す図である。 第３の実施形態によるサービスロボットシステムの構成を模式化して示す図である。

符号の説明

１、３５、３８ 位置同定装置
１ｔ、３５ｔ、３８ｔ 俯瞰テレビカメラ、
３ａ、３ｂ、３ｃ ロボット
４ 人物、
６ サービスオペレータ
７ ＩＤカード、
９ 搭載テレビカメラ
１３ ＩＤカードリーダ
２４、３７、４０ 画像処理装置（位置同定処理手段）
３０ 視野領域
３１ 受入領域
３２ 認証領域
３３ 警告領域

Claims (10)

1. 人に対してサービスを行うためのサービスロボットシステムにおいて、
   自律移動可能な１台以上のロボットを備えるとともに、前記各ロボットの周囲における複数のサービス対象人物の前記各ロボットに対する位置関係を同時的に同定することのできる位置同定装置を備え、前記位置同定装置で同定した位置関係情報をサービス動作制御用情報として前記ロボットが前記サービス対象人物に対するサービスを行うようにされていることを特徴とするサービスロボットシステム。
2. 前記位置同定装置は、前記ロボットの周囲の俯瞰画像を捉える俯瞰テレビカメラと、前記俯瞰画像に基づいて前記位置関係の同定処理をなす位置同定処理手段を含んでいる請求項１に記載のサービスロボットシステム。
3. 前記俯瞰テレビカメラを複数台設け、前記複数の俯瞰テレビカメラで得られる複数の俯瞰画像を結合させて仮想的な広視野の俯瞰画像を形成し、この広視野俯瞰画像に基づいて前記位置関係同定をなすか、または前記複数の俯瞰画像のそれぞれについて前記位置関係同定をなし、これによる位置関係情報を統合して前記サービス動作制御用情報に用いるようにされている請求項２に記載のサービスロボットシステム。
4. 前記人物の顔の画像に基づいて当該人物の個人認証を行う顔認証方式個人認証手段と前記人物が提示するＩＤカードを読み取ることで当該人物の個人認証を行うＩＤカード認証方式個人認証手段のいずれか一つまたは両方を備えている請求項１〜請求項４のいずれか１項に記載のサービスロボットシステム。
5. 前記ロボットによるサービス業務の管理を行うサービスオペレータが前記ロボットに搭載の搭載テレビカメラで得られる前記人物の画像を見ながら当該人物と対話できるようにした、サービス対象人物・サービスオペレータ間コミュニケーション手段を備えている請求項１〜請求項４のいずれか１項に記載のサービスロボットシステム。
6. 前記俯瞰テレビカメラにおける視野領域に、前記俯瞰テレビカメラの設置位置側に最も寄った領域である受入領域、前記受入領域に引き続く領域である認証領域、および前記認証領域以降の領域である警告領域の３領域を設定し、そして前記同定された位置関係に基づいて前記３領域のいずれに前記人物が存在するのかを判定し、前記人物の存在する領域に応じて前記人物に対する前記ロボットのサービス動作を決めるものとし、前記受入領域では前記人物の登場を最初に捕捉し、前記認証領域では前記受入領域で捕捉された人物の個人認証を行い、前記警告領域では、前記個人認証が終了していない人物がそこに存在した場合に当該人物を不審者として前記ロボットが追尾するなどの対処をなすようにされている請求項１〜請求項５のいずれか１項に記載のサービスロボットシステム。
7. 前記サービス動作制御用情報は、前記人物ごとに設定される個人識別コード、認証コード、領域コードおよび不審者コードの各項目を含んでおり、前記個人識別コードには、前記受入領域で新たな登場人物を捕捉するごとに当該人物に対して割り当てられる識別コードが記録され、前記認証コードには、前記識別コードを割り当てられた人物について前記認証領域での認証がなされた場合にはそのことが記録され、一方、前記認証領域での認証が未了の場合にはそのことが記録され、前記領域コードには、前記人物が前記３領域のいずれに存在するかが記録され、前記不審者コードには、前記不審者について前記ロボットによる追尾がなされているか否かが記録されるようにされている請求項６に記載のサービスロボットシステム。
8. 前記俯瞰テレビカメラにおける視野領域に新たな人物が登場したことを補足すると、前記位置関係情報を基に当該人物の近傍に前記ロボットが自律移動で接近し、前記ロボットに設けられているサービス対象人物・ロボット間コミュニケーション手段により前記人物に対してコミュニケーションをとりながら受付案内サービスを実行するようにされている請求項１〜請求項５のいずれか１項に記載のサービスロボットシステム。
9. 前記俯瞰テレビカメラにおける視野領域に新たな人物が登場したことを補足すると、前記位置関係情報を基に当該人物の近傍に前記ロボットが自律移動で接近し、前記ロボットに設けられているサービス対象人物・ロボット間コミュニケーション手段により前記人物に対してコミュニケーションをとりながら受付案内サービスを実行するようにされ、そして前記受付案内サービスとして、前記ロボットが前記人物を案内先に誘導案内するようにされており、その誘導案内を実行するにあたって、前記人物の近傍への接近状態で前記人物に個人認証を求め、前記個人認証ができた場合には、予め設定されている案内メニューに基づいた案内先に前記人物を前記ロボットが誘導案内し、前記個人認証ができなかった場合には、前記サービスオペレータと前記人物との対話により決められる案内先に前記人物を前記ロボットが誘導案内するようにされている請求項８に記載のサービスロボットシステム。
10. スケジュール管理機能を備え、時間帯に応じて入退出管理サービスと受付案内サービスを前記スケジュール管理機能による管理の下で切替えて実行できるようにされている請求項１〜請求項９のいずれか１項に記載のサービスロボットシステム。
    

Images