JP2009248193A - 接客システム及び接客方法 - Google Patents

Abstract

【課題】ロボットを利用した接客システム又は方法において、接客すべき人物が複数存在する場合に、各人物のロボットに対する関心度を考慮して、接客順を決定できるようにする。
【解決手段】所定の領域内を自律的に移動可能なロボットにより、該領域内に存在する人物に接客を行う接客システム１であって、前記領域内の画像情報を収集する撮像手段２０と、前記撮像手段２０により収集された画像情報に基づいて、前記領域内に存在する人物の前記ロボットに対する関心度を判定する関心度判定手段２３と、前記関心度判定手段２３により判定された関心度に基づいて、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定する接客スケジューリング手段２５とを備える。
【選択図】 図２

Description

本発明は、ロボットを利用した接客システム及び方法に関し、特に接客すべき人物が複数存在する場合において、接客順を適切に決定するための制御に関するものである。

近年、展示施設、企業ビル等において、来訪者に対し挨拶、誘導、案内情報の発話等の接客行為を行うロボットが開発されている。このようなロボットを利用した接客システムにおいては、ロボットが遭遇する様々な事態を想定し、これに対処し得る制御を構築しなければならない。例えば、施設内に接客すべき人物が複数存在する場合に、ロボットがこれらの人物に対してどのような順番で接客を行うかを決定しなければならない。

上記のようなロボットを利用した接客システムにおいて接客順を決定するための処理に関して、次のような従来発明が開示されている。この従来発明に係るシステムは、自律的に移動するロボットと前記ロボットの案内動作を制御する案内動作制御手段とからなる受付案内システムであって、前記案内動作制御手段は、前記ロボットが移動する環境の地図情報を保持する地図情報データベースと、前記ロボットの位置を特定するロボット位置情報を取得するロボット位置取得手段と、来訪者の位置を特定して来訪者位置情報を取得する来訪者検出手段と、前記地図情報、前記ロボット位置情報及び前記来訪者位置情報に基づいて、前記来訪者の案内情報を作成し管理する案内情報管理手段と、前記案内情報に基づいて、前記ロボットに案内動作を指示する案内動作指示手段を備えるものであり、これによりロボットが来訪者を案内中に別の来訪者が訪れた場合や、未案内の来訪者が複数いる場合であっても、ロボットに効率のよい案内動作を指示することができるとされている（特許文献１参照）。

また、他の従来発明として、伝達された販売推進情報セグメントに対する人物の関心度を特定する段階を具備する対話型販売促進情報通信システム（特許文献２参照）、複数の視聴者の興味が集まる映像を視聴者の視線情報と顔画像の位置情報とに基づいて検出する映像表示装置(特許文献３参照)、被撮影者のモニタに表示されている映像コンテンツへの集中度を判定してモニタに表示させる映像コンテンツを選択する映像表示システム（特許文献４参照）、作業と作業に対する実行順位の優先度とを対応付けた対応関係を記憶し、作業を実行する順番を優先度テーブルから得られた作業の優先度に基づいて決める対人サービスロボット（特許文献５参照）が開示されている。
特開２００４−２９９０２６号公報 特表２００３−５１７６４２号公報 特開２００６−１１９４０８号公報 特開２００６−２７７１９２号公報 特開２００４−２１６５２８号公報

しかしながら、上記特許文献１に開示されるシステムにおいては、複数の人物に対する接客順は、主にロボットが移動する環境（領域）の地図情報と、ロボットの位置情報と、来訪者の位置情報とに基づいて決定されるため、単にロボットから近い来訪者から順に接客するといった順番付けがなされる場合が多く、関心の高い人物が、関心の低い人物よりも後に接客されるといった不具合があった。また、この従来システムにおいては、来訪者の位置情報等を検出するために、ロボット以外の場所に複数のカメラを設置しなければならず、設置費用が過大となるといった問題があった。

そこで、本発明は、ロボットを利用した接客システム又は方法において、接客すべき人物が複数存在する場合に、各人物のロボットに対する関心度を考慮して接客順を決定できるようにすることを目的とする。

上記課題の解決を図る本発明は、所定の領域内を自律的に移動可能なロボットにより、該領域内に存在する人物に接客を行う接客システムであって、前記領域内の画像情報を収集する撮像手段と、前記撮像手段により収集された画像情報に基づいて、前記領域内に存在する人物の前記ロボットに対する関心度を判定する関心度判定手段と、前記関心度判定手段により判定された関心度に基づいて、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定する接客スケジューリング手段とを備えるものである。

このように、本発明においては、複数の人物に対する接客順を決定する際に、各人物の関心度が考慮されるので、関心度の高い人物が、関心度の低い人物より後に接客されるといった不具合をふせぐことができ、来訪者にとって満足度の高いサービスを提供することが可能となる。

また、前記撮像手段により収集された画像情報に基づいて、前記領域内に存在する人物の顔に関する情報を検出する顔検出手段を備え、前記関心度判定手段は、前記顔検出手段により検出された情報に基づいて、前記関心度を判定するものであることが好ましい。

また、前記関心度判定手段は、前記顔検出手段により検出された前記人物の顔向き又は視線向きに基づいて、前記関心度を判定するものであることが好ましい。

また、前記撮像手段により収集された画像情報に基づいて、前記領域内に存在する人物の動作を認識する動作認識手段を備え、前記関心度判定手段は、前記動作認識手段により認識された情報に基づいて、前記関心度を判定するものであることが好ましい。

ここで認識の対象となる動作としては、例えば手を挙げる動作、手を振る動作等が考えられる。

また、前記領域内の音声情報を収集する集音手段と、前記集音手段により収集された音声情報に基づいて、該領域内に存在する人物の発する音声を認識する音声認識手段とを備え、前記関心度判定手段は、前記音声認識手段により認識された情報に基づいて、前記関心度を判定するものであることが好ましい。

ここで認識の対象となる音声としては、例えば「すみません」等の言葉が考えられる。

また、前記顔検出手段により検出された情報に基づいて、前記領域内に存在する人物が特定の人物であるか否かを判定する顔認証手段を備え、前記接客スケジューリング手段は、前記顔認証手段により認証された情報に基づいて、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定するものであることが好ましい。

これにより、重要な顧客に対しては特別な対応をとる等の対処が可能となる。例えば、重要な顧客の顔情報をデータベースに記録しておき、前記領域内の人物の顔情報と比較することにより、領域内の人物が重要な顧客であるか否かを判定することができる。また、前記領域内に存在する人物は、時々刻々変化するものであるが、このような人物の流動的な変化も、前記顔認証手段及び前記領域内の人物の顔情報を一時的に蓄積するデータベースを利用することにより、領域内の人物の入れ替わりを把握することができる。

また、本発明は、所定の領域内を自律的に移動可能なロボットにより、該領域内に存在する人物に接客を行う接客方法であって、撮像手段により前記領域内の画像情報を収集するステップと、前記撮像手段により収集された画像情報に基づいて、関心度判定手段により、前記領域内に存在する人物の前記ロボットに対する関心度を判定するステップと、前記関心度判定手段により判定された関心度に基づいて、接客スケジューリング手段により、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定するステップとを有するものである。

このように、本発明においては、複数の人物に対する接客順を決定する際に、各人物の関心度が考慮されるので、関心度の高い人物が、関心度の低い人物より後に接客されるといった不具合をふせぐことができ、来訪者にとって満足度の高いサービスを提供することが可能となる。

また、前記撮像手段により収集された画像情報に基づいて、顔検出手段により、前記領域内に存在する人物の顔に関する情報を検出するステップを有し、前記関心度判定手段は、前記顔検出手段により検出された情報に基づいて、前記関心度を判定するものであることが好ましい。

また、前記関心度判定手段は、前記顔検出手段により検出された前記人物の顔向き又は視線向きに基づいて、前記関心度を判定するものであることが好ましい。

また、前記撮像手段により収集された画像情報に基づいて、動作認識手段により、前記領域内に存在する人物の動作を認識するステップを有し、前記関心度判定手段は、前記動作認識手段により認識された情報に基づいて、前記関心度を判定するものであることが好ましい。

ここで認識の対象となる動作としては、例えば手を挙げる動作、手を振る動作等が考えられる。

また、集音手段により、前記領域内の音声情報を収集するステップと、前記集音手段により収集された音声情報に基づいて、音声認識手段により、前記領域内に存在する人物の発する音声を認識するステップとを有し、前記関心度判定手段は、前記音声認識手段により認識された情報に基づいて、前記関心度を判定するものであることが好ましい。

ここで認識の対象となる音声としては、例えば「すみません」等の言葉が考えられる。

また、前記顔検出手段により検出された情報に基づいて、顔認証手段により、前記領域内に存在する人物が特定の人物であるか否かを判定するステップを有し、前記接客スケジューリング手段は、前記顔認証手段により認証された情報に基づいて、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定するものであることが好ましい。

これにより、重要な顧客に対しては特別な対応をとる等の対処が可能となる。例えば、重要な顧客の顔情報をデータベースに記録しておき、前記領域内の人物の顔情報と比較することにより、領域内の人物が重要な顧客であるか否かを判定することができる。また、前記領域内に存在する人物は、時々刻々変化するものであるが、このような人物の流動的な変化も、前記顔認証手段及び前記領域内の人物の顔情報を一時的に蓄積するデータベースを利用することにより、領域内の人物の入れ替わりを把握することができる。

尚、前記関心度判定手段、前記接客スケジューリング手段、前記顔検出手段、前記動作認識手段、前記音声認識手段、前記顔認証手段は、中央演算処理装置（ＣＰＵ）、記憶手段（ＲＯＭ、ＲＡＭ、ＨＤＤ等）、入出力ポート（Ｉ／Ｏ）等から構成され、各手段の上述した特有の作用を実現させるべく所定のプログラムを前記記憶手段に記憶させたコンピュータ、又はこれと同様の装置からなるものである。また、撮像手段とは、動画を含む画像情報を収集可能な周知のビデオカメラ等の装置であり、集音手段とは、音圧変化等を検出し音声情報として収集する周知のマイクロホン等の装置である。

以上のように、本発明によれば、接客すべき人物が複数存在する場合に、各人物のロボットに対する関心度が考慮された接客順が決定されるので、来訪者にとって満足度の高いサービスを提供することが可能となる。また、本発明は、複数の撮像手段（カメラ）を設置しなくても実現することができるので、コストの面に関して有利である。

以下に、添付した図面を参照して、本発明の実施の形態を説明する。図１において、本発明に係る接客システム１の使用状態例が示されている。本接客システム１は、ロボット２、コントロールサーバ３、オペレータ端末４等を有して構成されている。

ロボット２は、展示施設、企業ビル等において、本システム１が接客サービスを実施する領域である接客領域内にいる人物ａ，ｂ，ｃ，ｄ，ｅ，ｆに対し、各種の接客行為を実施するものであり、本実施の形態においては、自律動作機構１０、カメラ１１、マイク１２、スピーカ１３、ＥＣＵ１４等を備えて構成される。自律動作機構１０は、車輪駆動、二足歩行等の形式によりロボット２本体を移動可能にする手段や、手腕部、胴部、頸部等に設けられた関節部、アクチュエータ等により様々な人間らしい所作を可能にする手段等を含んで構成され、現在周知となっている様々な技術を適宜利用して構成することができる。カメラ１１は、画像情報を収集するための周知の装置であり、ロボット２本体に設置される。尚、カメラ１１の設置位置はロボット２の目に相当する部分に限られる必要はなく、例えば胴部等であってもよい。マイク１２は、音声情報を収集するための周知の装置であり、ロボット２本体に設置される。スピーカ１３は、合成された所定の音声を外部へ向けて発信する周知の装置であり、ロボット２本体に設置されている。ＥＣＵ１４は、中央演算処理装置（ＣＰＵ）、記憶手段（ＲＯＭ、ＲＡＭ、ＨＤＤ等）、入出力ポート（Ｉ／Ｏ）等を有して構成され、記憶手段に記憶された各種プログラムに従って、前記自律動作機構１０、カメラ１１、マイク１２、スピーカ１３、その他の必要なデバイスを制御するものである。

コントロールサーバ３は、中央演算処理装置（ＣＰＵ）、記憶手段（ＲＯＭ、ＲＡＭ、ＨＤＤ等）、入出力ポート（Ｉ／Ｏ）等から構成されるコンピュータシステムであって、例えば無線又は有線ＬＡＮによって前記ロボット２のＥＣＵ１４及びオペレータ端末４と信号の送受が可能な状態となっている。このコントロールサーバ３には、ロボット２を制御するための各種プログラム及びデータベースが記録されており、このコントロールサーバ３からロボット２のＥＣＵ１４に対してロボット２の制御に必要な各種信号が送信されると共に、オペレータ端末４になされる操作によって、コントロールサーバ３内のプログラム及びデータベースに適宜な変更を加えることが可能となっている。

図２において、本実施の形態に係る接客システム１の構成が機能的な単位によって示されている。本接客システム１は、撮像手段２０、集音手段２１、関心度判定手段２３、顔認証手段２４、接客スケジューリング手段２５、ロボット動作制御手段２６、データベース２７を備えて構成されている。

撮像手段２０は、前記カメラ１１を含んで構成され、ロボット２の周囲の状況を画像情報として収集するものであり、ここで収集した画像情報は、後述する関心度判定手段２３に送信される。

集音手段２１は、前記マイクを含んで構成され、ロボット２の周囲の状況を音声情報として収集するものであり、ここで収集した音声情報は、後述する関心度判定手段２３に送信される。

関心度判定手段２３は、前記撮像手段２０及び集音手段２１により収集された情報に基づいて、接客領域内にいる各人物ａ，ｂ，ｃ，ｄ，ｅ，ｆのロボット２（又は接客サービスそのもの）に対する関心度を判定するものである（関心度の具体的な判定方法については後述する）。この関心度判定手段２３は、顔検出手段３０、動作認識手段３１、音声認識手段３２を有して構成されている。

顔検出手段３０は、前記撮像手段２０により収集された画像情報の中に、人間の顔が存在するか否かを判定するものである。この顔検出手段３０によって顔と認識された情報（顔情報）は、後述する関心度判定手段２３による関心度判定処理に利用されると共に、後述する顔認証手段２４に送信される。顔検出処理は、現在周知のものとなっており、その詳細な説明は省略するが、例えば人の顔の二次元的、三次元的、色彩的等の特徴を予め設定しておき、この設定値と実際の検出値とを比較する等の方法があり、本発明においてもこのような周知技術を適宜利用することができる。また、この顔検出処理により、各人物の視線や顔向きの検出も可能であり、その検出結果は、後述する関心度判定手段２３による関心度判定処理に利用される。尚、視線や顔向きの検出方法についても、現在周知となっており、例えば上記特許文献３に開示された技術を利用することができる。

動作認識手段３１は、前記撮像手段２０により収集された画像情報に基づいて、前記人物ａ，ｂ，ｃ，ｄ，ｅ，ｆがどのような動作（ジェスチャ）をしているかを認識するものである。この動作認識手段３１によって認識された動作は、後述する関心度判定手段２３による関心度判定処理に利用される。動作認識処理は、現在周知のものとなっており、その詳細な説明は省略するが、例えば人が手を挙げたり振ったりする動作に特有の信号変化を予め設定しておき、この設定値と実際の検出値とを比較する等の方法があり、本発明においてもこのような周知技術を適宜利用することができる。

音声認識手段３２は、前記集音手段２１により収集された音声情報に基づいて、前記人物ａ，ｂ，ｃ，ｄ，ｅ，ｆが音声を発しているか、又発している場合はその音声はどのような内容か等を判定するものである。この音声認識手段３２によって検出された音声及びその内容は、後述する関心度判定手段２３による関心度判定処理に利用される。音声認識処理は、現在周知のものとなっており、その詳細な説明は省略するが、例えば、「すみません」等の特定の言葉の発音の音圧変化等を予め設定しておき、この設定値と実際の検出値とを比較する等の方法があり、本発明においてもこのような周知技術を適宜利用することができる。

顔認証手段２４は、前記顔検出手段３０によって検出された個々の顔情報をデータベース２７に記録された情報と比較して、接客領域内の人物の入れ替わりを把握したり、特定の人物を発見したりするものである。顔認証処理は、現在周知のものとなっており、その詳細な説明は省略するが、例えばデータベースに記録された顔情報と実際に検出された顔情報の二次元的、三次元的、色彩的等の特徴を比較することによってそれらの異同を判断する等の方法があり、本発明においてはこのような周知技術を適宜利用することができる。

接客スケジューリング手段２５は、前記関心度判定手段２３及び前記顔認証手段２４の判定結果に基づいて、各人物ａ，ｂ，ｃ，ｄ，ｅ，ｆに対する接客の順番を決定するものである。この具体的処理についても後述する。

ロボット動作制御手段２６は、前記接客スケジューリング手段２５による処理結果を含む様々な条件に基づいて、ロボット２の最終的な動作を決定し実行させるものであり、例えばロボット２の自立動作機構１０やスピーカ１３に対し制御信号を出力し、ある人物ａ，ｂ，ｃ，ｄ，ｅ，ｆへの接近、身振り手振り、案内の発話、所定場所への誘導等の動作を実行させる。

データベース２７は、本システム１の稼動に必要な様々な情報を蓄積するものであり、特に本発明の特徴部分に関わるものとして、一時データベース３５及び固定データベース３６を有している。一時データベース３５は、本システム１の接客領域内に関する流動的な情報を記憶するものであり、後述するが、この接客領域内に存在する接客対象としての人物ａ，ｂ，ｃ，ｄ，ｅ，ｆに関する情報を一時的に記憶するものである。固定データベース３６は、例えば重要な顧客の顔情報、個人情報、接客方法等に関する情報を記憶するものである。

図３において、上記構成の接客システム１全体の処理がフローチャートにより示されている。先ず、前記撮像手段２０（カメラ１１）により収集された画像情報に基づいて、前記顔検出手段３０により顔検出処理が行われる（Ｓ１０１）。この顔検出処理において、検出された画像情報の中に顔画像が存在するか否かが判定され、存在する場合にはそれらの顔画像を個別に収集する。

次いで、前記ステップＳ１０１において検出された顔画像が、前記一時データベース３５にない場合、この顔画像を一時データベース３５に新規に記憶させる（Ｓ１０２）。また、この一時データベース３５に記憶された顔画像のうち、前記ステップＳ１０１において検出された顔画像にないものを、一時データベース３５から削除する（Ｓ１０３）。

次いで、後述する関心度判定処理（Ｓ１０４）において、各顔情報に対応する人物ａ，ｂ，ｃ，ｄ，ｅ，ｆについて個別に関心度が判定される。そして、後述する接客スケジューリング処理（Ｓ１０５）において、前記関心度に基づいて接客領域内の人物ａ，ｂ，ｃ，ｄ，ｅ，ｆに対する接客順が決定される。そして、前記接客スケジューリング処理（Ｓ１０５）において決定された接客順、及びここでは記載しない所定の処理により決定された条件に基づいて、ロボット２の動作を決定する処理が実行される（Ｓ１０６）。更に、上記のようにして接客行為が終了した人物の顔情報を、前記一時データベース３５から削除し（Ｓ１０７）、このルーチンから出る（Ｓ１０１に戻る）。

図４において、前記関心度判定処理Ｓ１０４が示されている。先ず、前記一時データベース３５に登録された、即ち接客領域内に存在する顔画像（人物１，２，・・，ｎ）について、それぞれ関心度Ｃ1，Ｃ2，・・，Ｃnを割り当てる（Ｓ２０１）。

次いで、各人物１，２，・・，ｎについてそれぞれ関心度Ｃ1，Ｃ2，・・，Ｃnを決定するための関心度判定ループ（Ｓ２０２）が実行される。このループはすべての人物１，２，・・，ｎについて完了するまで実行される。先ず、ある人物ｎが一定領域Ｓ（図１参照）内にいるか否かが判定され（Ｓ２０３）、一定領域Ｓ内にいないと判定された場合（Ｎ）には、この人物ｎ（図１中ｆに示す状態にある者）の関心度Ｃnを０とし（Ｓ２０４）、一定領域Ｓ内にいると判定された場合（Ｙ）には、次いでこの人物ｎの顔がロボット２へ向いているか否かが判定される（Ｓ２０５）。

前記ステップＳ２０５において、顔がロボット２を向いていないと判定された場合（Ｎ）には、この人物ｎ（図１中ｄに示す状態にある者）の関心度Ｃnを１とし（Ｓ２０６）、顔がロボット２を向いていると判定された場合（Ｙ）には、次いでこの人物ｎの視線がロボット２へ向いているか否かが判定される（Ｓ２０７）。

前記ステップＳ２０７において、視線がロボット２を向いていないと判定された場合（Ｎ）には、この人物ｎ（図１中ｅに示す状態にある者）の関心度Ｃnを２とし（Ｓ２０８）、視線がロボット２を向いていると判定された場合（Ｙ）には、次いでこの人物ｎが所定のジェスチャ（例えば手を挙げる、手を振る等の動作）又は発話（例えば「すみません」等の発声）を行っているか否かが判定される（Ｓ２０９）。

前記ステップＳ２０９において、所定のジェスチャ又は発話が行われていないと判定された場合（Ｎ）には、この人物ｎ（図１中ｂ及びｃに示す状態にある者）の関心度Ｃnを３とする（Ｓ２１０）と共に、この時（視線がロボット２に向いていると判定された時）の時刻を登録し（Ｓ２１１）、所定のジェスチャ又は発話が行われていると判定された場合（Ｙ）には、この人物ｎ（図１中ａに示す状態にある者）の関心度Ｃnを４とする（Ｓ２１２）。

上記関心度判定処理Ｓ１０４によれば、人物ｎがロボット２（接客サービス）に対する関心が高いと思われる行動をとる程、高い関心度Ｃnが設定される。即ち、人物ｎが一定領域Ｓ内にいない場合は関心度Ｃn＝０、一定領域Ｓ内にいて且つ顔がロボット２へ向いていない場合は関心度Ｃn＝１、一定領域Ｓ内にいて且つ顔がロボット２へ向いていて且つ視線がロボット２へ向いていない場合は関心度Ｃn＝２、一定領域Ｓ内にいて且つ顔がロボット２へ向いていて且つ視線がロボット２へ向いていて且つ所定のジェスチャ又は発話をしていない場合は関心度Ｃn＝３、一定領域Ｓ内にいて且つ顔がロボット２へ向いていて且つ視線がロボット２へ向いていて且つ所定のジェスチャ又は発話をしている場合は場合は関心度Ｃn＝４となる。そして、この関心度Ｃnは後述する接客スケジューリング処理（Ｓ１０５）に影響を与える。

図５において、前記接客スケジューリング処理（Ｓ１０５）が示されている。このルーチンにおいては全ての人物１，２，・・，ｎについて完了するまで、次のような接客スケジューリングループ（Ｓ３０１）が実行される。先ず、人物ｎが前記固定データベース３６に登録された特別な人物であるか否かを判定する（Ｓ３０２）。この判定は、この人物ｎの顔情報が固定データベース３６に記録された特別な人物の顔情報と一致するか否かを判定することによりなすことができる。

前記ステップＳ３０２において、人物ｎが特別な人物であると判定された場合（Ｙ）には、固定データベース３６に記録された所定の登録事項に基づいて、この人物ｎの接客順及び接客方法を決定する（Ｓ３０３）。例えば、この人物ｎが重要な顧客である場合には、接客順を第１番目とし、特別な部屋へ誘導する等の処理を行うようにする。一方、前記ステップＳ３０２において、人物ｎが特別な人物ではないと判定された場合（Ｎ）には、前記関心度判定処理Ｓ１０４において設定された関心度Ｃnが大きい順（降順）にソートされ、この人物ｎの接客順が決定される（Ｓ３０４）。

次いで、この人物ｎに設定された関心度Ｃnが３であるか否かが判定され（Ｓ３０５）、関心度Ｃnが３であると判定された場合（Ｙ）には、前記関心度判定処理Ｓ１０４のステップＳ２１１において設定された時刻Ｔnが早い順（昇順）にソートされる（Ｓ３０６）。関心度Ｃn＝３である場合には、時刻Ｔn、即ち人物ｎがロボット２へ視線を向けた時刻が早い順に接客順が決定される。

上記接客スケジューリング処理Ｓ１０５によれば、関心度Ｃnが高い人物ｎから先に接客を受けることができるようになる。

図６に示す接客順テーブル５０は、上記処理により各人物ａ，ｂ，ｃ，ｄ，ｅ，ｆ（図１参照）に付けられる接客順を示すものである。この接客順テーブル５０において、顔位置欄５１は、前記顔検出手段３０（図２参照）により検出される顔情報の位置を、接客領域に設定した三次元座標軸の座標点として示すものである。距離欄５２は、各人物ａ，ｂ，ｃ，ｄ，ｅ，ｆがロボット２から一定領域Ｓ内にいるか否かを示すものであり、前記顔位置欄５１に示される情報及びロボット２の位置情報に基づいて判定される。この例では、人物ｆが一定領域Ｓ外にいることが示されている（図1参照）。顔向き欄５３は、一定領域Ｓ内にいる人物ａ，ｂ，ｃ，ｄ，ｅのうちロボット２の方向に（おおよそ）顔が向いている者を示すものであり、前記顔検出手段３０により検出される各人物ａ，ｂ，ｃ，ｄ，ｅの顔情報に基づいて判定される。この例では、人物ｄがロボット２の方向に顔を向けていないと判定されている。視線向き欄５４は、ロボット２の方向に（おおよそ）顔が向いていると判定された人物ａ，ｂ，ｃ，ｅのうちロボット２に視線を向けている者を示すものであり、前記顔検出手段３０により検出される各人物ａ，ｂ，ｃ，ｅの顔情報に基づいて判定される。この例では、人物ｅがロボット２に視線を向けていないと判定されている。時刻欄５５は、ロボット２に視線を向けている各人物ａ，ｂ，ｃの、ロボット２に視線を向け始めた時刻を示すものであり、前記顔検出手段３０により検出される各人物ａ，ｂ，ｃの顔情報及び所定の時計手段に基づいて決定される。この例では、人物ｂが人物ａ，ｃよりも視線を向け始めた時間が１分遅いことが示されている。ジェスチャ欄５６は、ロボット２に視線を向けている各人物ａ，ｂ，ｃのうち所定のジェスチャ、即ち手を挙げる動作や手を振る動作をしているか否かを示すものであり、前記動作認識手段３１により判定される。この例では、人物ａのみが手を挙げる動作をしていることが示されている。そして、接客順欄５７は、上記各欄５１〜５６に示された情報に基づいて決定された各人物ａ，ｂ，ｃ，ｄ，ｅ，ｆの接客順を示すものであり、前記接客スケジューリング手段２５により決定される。この例では、人物ａ→ｃ→ｂ→ｅ→ｄ→ｆの順番で接客が行われることが示されている。

以上のように、本実施の形態に示す接客システム１によれば、接客領域に複数の人物が存在しても、各人物の関心度に応じて接客順が決定される。これにより、関心度の高い人物から優先的に接客を受けることができるようになる。また、本システム１においては、環境に複数のカメラを設置する必要がないので、設置費用等を低く抑えることができる。

本発明に係る接客システムの設置状態の例を示す概略図である。 本発明に係る接客システムの機能的な構造を示すブロック図である。 本発明に係る接客システムの全体的な制御の流れを示すフローチャートである。 関心度判定処理の流れを示すフローチャートである。 接客スケジューリング処理の流れを示すフローチャートである。 本発明に係る接客システムによって決定された複数の人物に対する接客順の例を示す図である。

符号の説明

１ 接客システム
２ ロボット
３ コントロールサーバ
４ オペレータ端末
２０ 撮像手段
２１ 集音手段
２３ 関心度判定手段
２４ 顔認証手段
２５ 接客スケジューリング手段
２６ ロボット動作制御手段
２７ データベース
３０ 顔検出手段
３１ 動作認識手段
３２ 音声認識手段
３５ 一時データベース
３６ 固定データベース

Claims (12)

1. 所定の領域内を自律的に移動可能なロボットにより、該領域内に存在する人物に接客を行う接客システムであって、
   前記領域内の画像情報を収集する撮像手段と、
   前記撮像手段により収集された画像情報に基づいて、前記領域内に存在する人物の前記ロボットに対する関心度を判定する関心度判定手段と、
   前記関心度判定手段により判定された関心度に基づいて、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定する接客スケジューリング手段と、
   を備える接客システム。
2. 前記撮像手段により収集された画像情報に基づいて、前記領域内に存在する人物の顔に関する情報を検出する顔検出手段を備え、
   前記関心度判定手段は、前記顔検出手段により検出された情報に基づいて、前記関心度を判定するものである、
   請求項１記載の接客システム。
3. 前記関心度判定手段は、前記顔検出手段により検出された前記人物の顔向き又は視線向きに基づいて、前記関心度を判定するものである、
   請求項２記載の接客システム。
4. 前記撮像手段により収集された画像情報に基づいて、前記領域内に存在する人物の動作を認識する動作認識手段を備え、
   前記関心度判定手段は、前記動作認識手段により認識された情報に基づいて、前記関心度を判定するものである、
   請求項２又は３記載の接客システム。
5. 前記領域内の音声情報を収集する集音手段と、
   前記集音手段により収集された音声情報に基づいて、該領域内に存在する人物の発する音声を認識する音声認識手段と、
   を備え、
   前記関心度判定手段は、前記音声認識手段により認識された情報に基づいて、前記関心度を判定するものである、
   請求項２〜４のいずれか１つに記載の接客システム。
6. 前記顔検出手段により検出された情報に基づいて、前記領域内に存在する人物が特定の人物であるか否かを判定する顔認証手段を備え、
   前記接客スケジューリング手段は、前記顔認証手段により認証された情報に基づいて、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定する、
   請求項２〜５のいずれか１つに記載の接客システム。
7. 所定の領域内を自律的に移動可能なロボットにより、該領域内に存在する人物に接客を行う接客方法であって、
   撮像手段により前記領域内の画像情報を収集するステップと、
   前記撮像手段により収集された画像情報に基づいて、関心度判定手段により、前記領域内に存在する人物の前記ロボットに対する関心度を判定するステップと、
   前記関心度判定手段により判定された関心度に基づいて、接客スケジューリング手段により、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定するステップと、
   を有する接客方法。
8. 前記撮像手段により収集された画像情報に基づいて、顔検出手段により、前記領域内に存在する人物の顔に関する情報を検出するステップを有し、
   前記関心度判定手段は、前記顔検出手段により検出された情報に基づいて、前記関心度を判定するものである、
   請求項７記載の接客方法。
9. 前記関心度判定手段は、前記顔検出手段により検出された前記人物の顔向き又は視線向きに基づいて、前記関心度を判定するものである、
   請求項８記載の接客方法。
10. 前記撮像手段により収集された画像情報に基づいて、動作認識手段により、前記領域内に存在する人物の動作を認識するステップを有し、
    前記関心度判定手段は、前記動作認識手段により認識された情報に基づいて、前記関心度を判定するものである、
    請求項８又は９記載の接客方法。
11. 集音手段により、前記領域内の音声情報を収集するステップと、
    前記集音手段により収集された音声情報に基づいて、音声認識手段により、前記領域内に存在する人物の発する音声を認識するステップと、
    を有し、
    前記関心度判定手段は、前記音声認識手段により認識された情報に基づいて、前記関心度を判定するものである、
    請求項８〜１０のいずれか１つに記載の接客方法。
12. 前記顔検出手段により検出された情報に基づいて、顔認証手段により、前記領域内に存在する人物が特定の人物であるか否かを判定するステップを有し、
    前記接客スケジューリング手段は、前記顔認証手段により認証された情報に基づいて、前記ロボットが前記領域内に存在する人物に対して接客を行う順番を決定する、
    請求項８〜１１のいずれか１つに記載の接客方法。

Images