以下に、添付図面を参照して、本発明に係る店舗受付システムの好適な実施形態を詳細に説明する。
まず、本実施形態に係るコミュニケーションロボットによる顧客とのコミュニケーションおよび顧客の誘導案内について、図1〜図3を用いて説明する。なお本実施形態は、店舗受付システムが銀行等の金融機関の店舗に適用された場合を例として説明する。
図1に示すように、銀行等の店舗に来店した顧客Pは、ロビーに設置されたコミュニケーションロボット10に出迎えられ、来店目的を尋ねられる。顧客Pが来店目的を音声でコミュニケーションロボット10に話すと、コミュニケーションロボット10はマイク11への音声入力から顧客Pの来店目的を認識して、コントローラ90へ送信する。またコミュニケーションロボット10は、カメラ13で顧客Pの顔写真(顧客画像)を撮影し、受付番号(95番)を発行し、それらのデータをコントローラ90へ送信する。そして受付番号を記した番号札Tがプリンタ20にて印刷されると、コミュニケーションロボット10は顧客Pに、番号札Tを受け取ってロビーで待機するよう促す。
受付番号95番の顧客Pの順番が到来すると、窓口の係員Qはテラー操作端末60にて顧客Pを呼び出す操作を行う。するとコミュニケーションロボット10は、図2に示すように、受付番号95番の顧客Pの近くまで車輪16を用いて自走移動し、顧客Pに順番が到来した旨を伝え、対応を行う3番窓口67への誘導案内を行う。具体的には、移動目的地が3番窓口67である旨をスピーカ14から音声にて発話し、3番窓口67の方向を手15を用いた手振りにて示し、自らの後についてくるよう顧客Pに伝えた上で車輪16を用いて3番窓口67まで自走移動する。
またコミュニケーションロボット10は、図3に示すように、顧客Pからの推定待ち時間の問い合わせに対する応対を行う。顧客Pが番号札Tをコミュニケーションロボット10に示すと、コミュニケーションロボット10はカメラ13を用いて番号札Tを撮影して、画像認識により番号札Tに記載された受付番号(95番)を取得する。そしてコミュニケーションロボット10は、取得した受付番号をコントローラ90へ送信して、対応する推定待ち時間(15分)と現在呼出中の番号(89番)とをコントローラ90から取得する。コミュニケーションロボット10は、顧客Pに対して長時間待たせていることへの謝罪を発話し、推定待ち時間および現在呼出中の番号を表示入力部12に表示して顧客Pに伝達する。
以上述べたように、コミュニケーションロボット10は顧客Pとコミュニケーションを行い、顧客Pに対して誘導案内を行う。本実施形態ではコミュニケーションロボット10と顧客Pとの間のコミュニケーション、すなわち情報・意思・指示の伝達は、以下に例示する方法で行われる。すなわち、顧客Pが発話した音声をコミュニケーションロボット10がマイク11で聞き取って音声認識にて意味を把握すること、顧客Pから示された番号札T等をコミュニケーションロボット10のカメラ13で撮影して画像認識にて情報を取得すること、顧客Pがコミュニケーションロボット10の表示入力部12に触れて入力し、コミュニケーションロボット10がその入力を検知して情報を取得すること、コミュニケーションロボット10が情報等を表示入力部12に表示して、顧客Pがその情報を視認すること、コミュニケーションロボット10がスピーカ14から音声を発話して、顧客Pがその音声を聞き取ること、により行われる。
また本実施形態では、コミュニケーションロボット10による顧客Pの誘導案内は、コミュニケーションロボット10が情報等を表示入力部12に表示して、顧客Pがその情報を視認すること、コミュニケーションロボット10が手15を用いて方向を指し示すこと、コミュニケーションロボット10が車輪16を用いて自走移動して、顧客Pを移動目的地まで連れて行くこと、により行われる。
次に、図4を用いて、本実施形態に係る店舗受付システム100のシステム構成を説明する。店舗受付システム100は、受付手段Aと、コミュニケーションロボット10と、プリンタ20(番号表示提供手段C)と、電子記帳台30と、ATM40、41と、呼出番号表示装置50と、テラー操作端末60と、店内カメラ70(呼出検知手段D)と、出口カメラ80(退店客撮影手段E)と、コントローラ90とを有する。なお本実施形態では、コミュニケーションロボット10が、店舗に来店した顧客Pから来店目的を取得する受付手段Aとしても機能する。これらの各装置は、有線LAN(Local Area Network)もしくは無線LAN等のネットワーク経由で接続されている。
図5に示すように、店舗受付システム100を構成する各機器と、通常記帳台35と、1番窓口65と、2番窓口66と、3番窓口67とが、銀行の店舗に配置される。
コミュニケーションロボット10は、人型を模して作られた自走可能なロボットであり、マイク11(呼出検知手段D)と、表示入力部12(接触入力受付手段B)と、カメラ13と、スピーカ14と、手15と、車輪16とを有している。
マイク11は、コミュニケーションロボット10の頭部の耳の位置に設けられており、外部の音を音声データとして取得する。表示入力部12は、コミュニケーションロボット10の胴体に設けられており、画像や文字、表などを表示し、顧客Pからの手指を用いた接触による情報入力を受け付ける。カメラ13は、コミュニケーションロボット10の頭部の目の位置に設けられており、顧客Pの顔写真や店内状況を撮影し画像データとして取得する。スピーカ14は、コミュニケーションロボット10の頭部の口の位置に設けられており、音(音声や案内音など)を発する。コミュニケーションロボット10は、これらの構成を用いて顧客Pとコミュニケーションを行い、取得した顧客情報をコントローラ90へ送信する。
手15は、コミュニケーションロボット10の胴体の両側面に設けられており、顧客Pの誘導案内の際に目的地を指し示したり、顧客Pとのコミュニケーションの際に動かして情報伝達や感情表現の補助を行う。車輪16は、コミュニケーションロボット10の胴体の下部に設けられており、コミュニケーションロボット10の移動や姿勢変化に用いられる。
コミュニケーションロボット10は、図5に示すように、店舗の出入口Hの正面に配置されて、顧客Pの来店を出迎え、顧客Pの来店受付を行う。そしてコミュニケーションロボット10は、店舗の内部を移動して、顧客Pを店舗内の電子記帳台30や各窓口、ATM等へ誘導案内したり、順番が到来した顧客Pの近傍へ移動して顧客Pの呼び出しを行う。
プリンタ20は、顧客Pの受付番号を表示する番号札Tを印刷する。プリンタ20は、図5に示すように、店舗の出入口Hの正面に配置されている。そしてコミュニケーションロボット10が顧客Pの来店受付を行うと、その顧客Pに対応する案内番号をコントローラ90から受信して、番号札Tを印刷する。なお番号札Tとしては、薄い紙やカード状のものが可能であるが、案内番号が識別できればよく、その材質や形状は問わない。
電子記帳台30は、顧客Pの伝票作成をサポートする機器である。電子記帳台30は、タッチペン等による顧客Pからの顧客情報の入力を受け付けて、コントローラ90へ送信する。そしてコントローラ90から必要な情報が各窓口のプリンタへ送信され、手続に必要な伝票が印刷される。電子記帳台30と、手書きでの伝票作成を行う通常記帳台35とは、図5に示すように、店舗の出入口Hを入って左手に配置されている。
コミュニケーションロボット10は、顧客Pの来店目的に応じて、伝票の作成が必要な場合には、顧客Pに電子記帳台30を使用することを勧める(後述する電子記帳台勧め処理)。顧客Pが電子記帳台30を使う旨をコミュニケーションロボット10に伝えると、コミュニケーションロボット10は顧客Pを電子記帳台30へ誘導案内し、併せて電子記帳台30の操作説明を行う。顧客Pが電子記帳台30を使わない旨をコミュニケーションロボット10に伝えると、コミュニケーションロボット10は顧客Pを手書きでの伝票作成を行う通常記帳台35へ誘導案内する。
ATM40およびATM41は、顧客Pからの現金の預け入れや、現金の払い出し等を取り扱う現金自動預払機である。ATM40、41は、図5に示すように、店舗の出入口Hを入って右手に配置されている。ATM40、41は、コントローラ90に対し、自らの稼働状況(稼働中/停止中など)を送信する。コミュニケーションロボット10は、ATM40(またはATM41)で手続を行う顧客Pに対して、操作説明や、装置不具合の際の対応を行う。
例えば、ATM40で万券が不足して装置が停止した際、顧客Pが装置が停止したことが分からずATM40の前で暫く待っているとする。コミュニケーションロボット10は、ATM40の停止と顧客Pの待機を検知すると、ATM40の近傍に移動して顧客Pへ声かけを行う。そしてATM40の停止の説明および謝罪を行い、稼働しているATM41への顧客Pの誘導案内を行う。
呼出番号表示装置50は、受付札に印字された受付番号を表示する装置であり、順番がきた顧客Pの呼び出しに用いられる。なお、この呼出番号表示装置50は、窓口で業務を行う係員(テラー)がテラー操作端末60を操作したことをトリガーとして順番がきた顧客Pに対応する受付番号を表示する。なお、この呼出番号表示装置50は、各窓口に設置されるが(図5参照)、同じ業務を行う複数の窓口からなるグループごとに設置することとしてもよい。
テラー操作端末60は、窓口で業務を行う係員(テラー)によって操作される端末であり、コントローラ90から提供された受付情報を表示するとともに、受付情報から所定の情報を抽出したり受付情報の並べ替えをしたりするための検索条件の入力を受け付けるとともに、顧客Pの呼び出しや、再呼び出し等に用いられる。また、このテラー操作端末60は、呼出時刻や取引終了時刻を受付番号と対応付けてコントローラ90へ送信する処理を行う。なお、このテラー操作端末60は、各窓口に設置される(図5参照)。
1番窓口65、2番窓口66および3番窓口67は、顧客Pと対面して振込みや預け入れ、引出し等の取引を行う窓口であり、図5に示すように、店舗の出入口Hの正面奥に横に並んで配置されている。そして出入口Hと各窓口との間に、顧客Pが取引を待つため待合スペースが設けられ、ソファ等が配置されている。
店内カメラ70は、店舗の出入口Hから向かって右手に配置されており、店舗内を撮影して、その撮像データをコントローラ90へ送信する。コントローラ90は、店内カメラ70からの店舗内の撮像データを解析して、来店受付を行った後の顧客Pの現在位置を特定したり、顧客Pからの挙手等によるコミュニケーションロボット10の呼び出しを検知したりする。すなわち店内カメラ70は、顧客Pからのコミュニケーションロボット10の呼び出しを検知する呼出検知手段Dとして機能する。
出口カメラ80は、店舗の出入口Hの近傍に配置されており、店舗を退店する顧客Pを撮影して、その撮像データをコントローラ90へ送信する。
コントローラ90は、コミュニケーションロボット10や店内カメラ70、出口カメラ80等から送信された画像等のデータや、後述する受付情報データ93a、VIP顧客データ93b、要注意顧客データ93cおよび退店顧客データ93d等を管理する。またコントローラ90は、各窓口への顧客Pの呼び出しを行う旨や、顧客Pからコミュニケーションロボット10の呼び出しが行われている旨をコミュニケーションロボット10へ指示したり、VIP顧客や要注意顧客が来店した旨をテラー操作端末60に通知する。
次に、図6のブロック図を用いて、コミュニケーションロボット10の内部構成を説明する。コミュニケーションロボット10は、上述したマイク11、表示入力部12、カメラ13、スピーカ14、手15および車輪16に加えて、通信部17および制御部18を有する。通信部17は、無線LANを介してコントローラ90とのデータ通信を行なうためのインタフェース部である。
制御部18は、コミュニケーションロボット10の全体を制御する制御部であり、移動制御部18a、方向制御部18b、コミュニケーション制御部18c、顧客情報取得部18d、来店目的取得部18eおよび受付番号発行部18fを有する。実際には、これらの機能部に対応するプログラムを図示しないROMや不揮発性メモリに記憶しておき、それらプログラムをCPU(Central Processing Unit)にロードして実行することにより、それぞれに対応するプロセスが実行される。
移動制御部18aは、車輪16を制御してコミュニケーションロボット10を自走移動させる。移動制御部18aは、コントローラ90からの指示を受けて、呼び出しを行う対象の顧客Pの近傍への移動、顧客Pの誘導案内に際しての移動目的地への移動、コミュニケーションロボット10を呼び出した顧客の近傍への移動などを制御する。
また移動制御部18aは、上述したコントローラ90からの指示による移動に際して障害物等の接触を避けるよう、コミュニケーションロボット10の移動を制御する。また移動制御部18aは、現在コミュニケーションをとっている顧客Pとの距離が一定となるようにコミュニケーションロボット10を移動させたり、移動目的地に向けて一緒に移動する顧客との距離が一定となるようコミュニケーションロボット10の移動を制御する。このような制御を実現するため、コミュニケーションロボット10は、障害物や顧客Pとの距離を計測するセンサを有し、当該センサの出力に基づいて移動制御部18aがコミュニケーションロボット10の移動を制御する。
方向制御部18bは、車輪16を制御してコミュニケーションロボット10が向く方向を制御する。方向制御部18bは、コントローラ90からの指示により顧客Pに対して呼び出しを行う際に、コミュニケーションロボット10が呼び出しの対象の顧客Pの方を向くように、コミュニケーションロボット10の向く方向、すなわち姿勢を変化させる。具体的には、方向制御部18bは、コントローラ90の顧客情報記憶部93から呼び出し対象の顧客Pの現在位置を取得し、コミュニケーションロボット10の現在位置から、呼び出し対象の顧客Pの位置する方向である顧客方向を算出する。そしてコミュニケーションロボット10が顧客方向を向くように、コミュニケーションロボット10が向く方向を制御する。
また方向制御部18bは、顧客Pからの呼び出しを受けた際、コミュニケーションロボット10が当該顧客Pの方向を向くように、コミュニケーションロボット10が向く方向を変化させる。このとき方向制御部18bは、上述の場合と同様にして顧客方向を算出する。
また方向制御部18bは、順番が到来した顧客Pを呼び出す際、当該顧客Pの方向を向くようにコミュニケーションロボット10の向く方向を変化させる。また移動制御部18aは、顧客Pの移動目的地への誘導案内に際して、顧客Pが移動目的地の方向を理解しやすくなるように、コミュニケーションロボット10の方向を変化させる。例えば、移動目的地がコミュニケーションロボット10の正面方向となるように、コミュニケーションロボット10の方向を変化させる。
コミュニケーション制御部18cは、上述したマイク11、表示入力部12、カメラ13、スピーカ14および手15を制御して、顧客Pとのコミュニケーションを制御する。
例えばコミュニケーション制御部18cは、マイク11を通じて顧客Pの発言を録音し、その録音データに対して言語認識処理を行い、顧客Pの発言内容を把握する。またコミュニケーション制御部18cは、表示入力部12を通じて顧客Pからの情報入力を受け付ける。またコミュニケーション制御部18cは、カメラ13を通じて顧客Pの顔を撮影し、その撮像データに対して画像認識処理を行い、顧客Pの感情を把握する。
これら顧客Pからの入力と、コントローラ90からの指示に基づいて、コミュニケーション制御部18cは顧客Pへの応答を決定する。例えば、顧客Pからの来店目的の入力(音声または表示入力部12からの情報入力)に対して、コミュニケーション制御部18cは、スピーカ14を制御して「承知しました」と発話し、表示入力部12を制御して入力された来店目的を表示する。
例えば、顧客Pからの「順番はまだかな」との発言と、顧客Pの顔写真から把握された怒りの感情に対して、コミュニケーション制御部18cは、スピーカ14を制御して「お待たせして大変申し訳ありません。もう少々お待ちください」と発話し、表示入力部12を制御してコントローラ90から取得した推定待ち時間を表示し、手15を制御して左右の手を前で合わせて謝罪の意思を表現する。このようにしてコミュニケーションロボット10は、コミュニケーション制御部18cの制御によって、顧客Pとコミュニケーションを行う。
顧客情報取得部18dは、マイク11、表示入力部12およびカメラ13を用いて顧客Pから顧客情報を取得する。例えば顧客情報取得部18dは、マイク11を通じて顧客Pの発言(例えば「95番」との発言)を録音し、その録音データに対して言語認識処理を行い、受付番号(例えば95番)等を顧客情報として取得する。例えば顧客情報取得部18dは、表示入力部12への顧客Pからの情報入力により、来店目的や受付番号、氏名等を顧客情報として取得する。例えば顧客情報取得部18dは、カメラ13での撮影により、顧客Pの顔写真、番号札Tの受付番号等を顧客情報として取得する。取得した顧客情報は、コントローラ90へ送信され、コントローラ90の顧客情報記憶部93に記憶される。
来店目的取得部18eは、マイク11および表示入力部12を用いて顧客Pから来店目的を取得する。例えば来店目的取得部18eは、マイク11を通じて顧客Pの発言(例えば「税金の支払いを」との発言)を録音し、その録音データに対して言語認識処理を行い、来店目的(「税金」)を取得する。例えば来店目的取得部18eは、表示入力部12での顧客Pからの「税金」ボタンの押下を検知して、来店目的(「税金」)を取得する。取得した来店目的は、コントローラ90へ送信され、コントローラ90の顧客情報記憶部93に記憶される。
受付番号発行部18fは、コントローラ90の顧客情報記憶部93に記憶された受付情報データ93aを参照し、来店目的取得部18eが取得した顧客Pの来店目的に応じた受付番号を発行する。発行された受付番号は、コントローラ90に送信されて顧客情報記憶部93に記憶され、プリンタ20に送信されて番号札Tに印刷される。
以上述べた来店目的取得部18eおよび受付番号発行部18fが、受付手段Aとして機能している。受付手段Aは、店舗に来店した顧客Pから来店目的を取得し、その際に顧客Pに対して受付番号を発行する。本実施形態では受付手段Aはコミュニケーションロボット10に備えられているが、受付手段Aを備える受付装置をコミュニケーションロボット10とは別に設けることも可能である。その場合、受付装置がプリンタ20を備えていてもよい。
次に、図7のブロック図を用いて、コントローラ90の内部構成を説明する。コントローラ90は、通信部91、制御部92および顧客情報記憶部93を有する。通信部91は、無線LANを介してコントローラ90とのデータ通信を行なうためのインタフェース部である。
顧客情報記憶部93は、HDD(Hard Disk Drive)や不揮発性RAM(Random Access
Memory)といった記憶デバイスで構成され、受付情報データ93a、VIP顧客データ93b、要注意顧客データ93cおよび退店顧客データ93dを記憶する。
受付情報データ93aは、来店受付した顧客Pに係る情報を含むデータである。図8に示すように、受付情報データ93aは、「顧客画像」と、「受付番号」と、「来店目的」と、「発行時刻」と、「位置」と、「呼び出し」と、「顧客種別」と、「退店時刻」と、「再来店時刻」とを含んだ情報である。
「顧客画像」は、コミュニケーションロボット10が顧客Pの来店を受け付けた際にカメラ13で撮影された撮像データであり、コミュニケーションロボット10から送信されて受付情報データ93aに記憶される。「受付番号」は、コミュニケーションロボット10が顧客Pの来店を受け付けた際に受付番号発行部18fにより発行された番号であり、コミュニケーションロボット10から送信されて受付情報データ93aに記録される。
「来店目的」は、コミュニケーションロボット10が顧客Pの来店を受け付けた際にマイク11や表示入力部12を通じて来店目的取得部18eが取得したデータであり、コミュニケーションロボット10から送信されて受付情報データ93aに記憶される。「発行時刻」は、受付番号発行部18fが受付番号を発行した時刻であり、コミュニケーションロボット10から送信されて受付情報データ93aに記録される。
「位置」は、後述する顧客位置追跡部92dが店内カメラ70を通じて把握する顧客Pの位置に係るデータであり、店舗内の座標の形式で受付情報データ93aに記録される。
「呼び出し」は、顧客Pが窓口等への呼び出しが済んだか未だかを示すデータであり、窓口の係員がテラー操作端末60を操作して顧客Pを呼び出した際に更新される。
「顧客種別」は、顧客Pの種別を示すデータである。後述するVIP顧客判定部92eと要注意顧客判定部92fとによって、来店した顧客PがVIP顧客であるか否か、要注意顧客であるか否かが判定され、その結果が受付情報データ93aに記録される。「退店時刻」は、顧客Pが退店した時刻を示すデータであり、後述する退店顧客判定部92gが決定して、受付情報データ93aに記録する。「再来店時刻」は、退店した顧客Pが再来店した時刻を示すデータであり、後述する再来店顧客判定部92hが決定して、受付情報データ93aに記録する。
VIP顧客データ93bは、高額預金者等の、予め登録されているVIP顧客に関する情報を含むデータである。図9に示すように、VIP顧客データ93bは、顧客Pの顔写真である「顧客画像」と、「氏名」と、「顧客番号」と、前回来店の日付である「前回来店」とを含んだ情報である。VIP顧客データ93bは、後述するVIP顧客判定部92eにより参照されて、来店した顧客PがVIP顧客であるか否かの判定に用いられる。
要注意顧客データ93cは、過去にクレーム問題が生じた等の、予め登録されている要注意顧客に関する情報を含むデータである。図10に示すように、要注意顧客データ93cは、顧客Pの顔写真である「顧客画像」と、「氏名」と、「顧客番号」と、前回来店の日付である「前回来店」とを含んだ情報である。要注意顧客データ93cは、後述する要注意顧客判定部92fにより参照されて、来店した顧客Pが要注意顧客であるか否かの判定に用いられる。
退店顧客データ93dは、店舗から退出した顧客Pに関する情報を含むデータである。
図11に示すように、退店顧客データ93dは、「顧客画像」と、「退店時刻」と、「再来店時刻」とを含んだ情報である。「顧客画像」は、出口カメラ80が撮影した退店する顧客Pの顔写真である。「退店時刻」は、出口カメラ80が退店する顧客Pを撮影した時刻を示すデータである。「再来店時刻」は、退店していた顧客Pが再び来店した時刻を示すデータであり、後述する再来店顧客判定部92hが決定して、退店顧客データ93dに記録する。
制御部92は、店舗受付システム100の全体を制御する制御部であり、移動目的地決定部92a、待ち時間推定部92b、呼出検知部92c、顧客位置追跡部92d、VIP顧客判定部92e、要注意顧客判定部92f、退店顧客判定部92gおよび再来店顧客判定部92hを有する。実際には、これらの機能部に対応するプログラムを図示しないROMや不揮発性メモリに記憶しておき、それらプログラムをCPU(Central Processing Unit)にロードして実行することにより、それぞれに対応するプロセスが実行される。
移動目的地決定部92aは、顧客情報記憶部93に記憶された顧客Pの来店目的または顧客情報に基づいて、顧客Pの移動先である移動目的地を決定する。例えば顧客Pの来店目的が税金納付の場合には、移動目的地を各窓口(呼び出しを行った窓口)か、電子記帳台30または通常記帳台35に決定する。なお電子記帳台30と通常記帳台35とのどちらで伝票作成を行うかは、後述する電子記帳台勧め処理にて顧客Pの選択により決定する。例えば顧客Pがコミュニケーションロボット10に対してATM40へ誘導案内するよう依頼した場合には、その旨が顧客情報記憶部93に顧客情報として記憶され、移動目的地決定部92aが移動目的地をATM40に決定する。移動目的地決定部92aが決定した移動目的地は、コミュニケーションロボット10へ送信され、コミュニケーションロボット10は、顧客Pを当該移動目的地へ誘導案内する。
待ち時間推定部92bは、コミュニケーションロボット10から送信された受付番号に係る顧客Pの、順番が到来するまでの推定待ち時間を算出する。例えば来店目的が税金支払いである顧客Pの推定待ち時間を算出する場合、窓口の待ち人数Wを算出し、窓口での平均応対時間tと窓口の数nを用いて、推定待ち時間TwをTw=W×t/nとして算出する。待ち時間推定部92bが計算した推定待ち時間は、コミュニケーションロボット10へ送信され、コミュニケーションロボット10から顧客へ伝達される。
呼出検知部92cは、コミュニケーションロボット10のマイク11と店内カメラ70とを用いて、顧客Pからのコミュニケーションロボット10の呼び出しを検知する。呼出検知部92cは、店内カメラ70から継続的に店舗内の撮像データを取得する。そして当該データに画像認識処理を施して、顧客Pの挙手や、コミュニケーションロボット10に向けた手招き等を検出すると、顧客Pからのコミュニケーションロボット10の呼び出しが行われたと判断する。
呼出検知部92cは、コミュニケーションロボット10のマイク11から継続的に店舗内の音声データを取得する。そして当該データに言語認識処理を行い、顧客Pから「すいません」や「ちょっとロボットくん」など、コミュニケーションロボット10を呼び出す意味の発言を検出すると、顧客Pからのコミュニケーションロボット10の呼び出しが行われたと判断する。呼出検知部92cが顧客Pからのコミュニケーションロボット10の呼び出しを検出すると、後述する呼出対応処理を行い、コミュニケーションロボット10が顧客Pに返答したり、顧客Pの近傍へ移動する等の対応を行う。
顧客位置追跡部92dは、店内カメラ70を用いて、受付を行った顧客の現在位置を検出し、顧客情報記憶部93に記憶させる。顧客位置追跡部92dは、店内カメラ70から継続的に店舗内の撮像データを取得する。そして当該データに画像認識処理を施して、顧客Pの移動を検出すると、顧客情報記憶部93の受付情報データ93aに記録されている顧客の位置データ(受付情報データ93aの「位置」)を、移動後のデータへと更新する。
VIP顧客判定部92eは、顧客情報記憶部93に予め記憶されたVIP顧客の顔写真(VIP顧客データ93b)と、コミュニケーションロボット10のカメラ13が撮影した顧客Pの顔写真とを比較して、来店した顧客Pが優先対応を行うべきVIP顧客であるか否かを判定する。VIP顧客データ93bには、複数のVIP顧客の顔写真が記録されており、それらの顔写真データと、来店した顧客Pの顔写真データを比較する。来店した顧客Pの顔写真との一致度が所定の閾値より高いVIP顧客が存在しない場合、来店した顧客PはVIP顧客ではないと判断する。来店した顧客Pの顔写真との一致度が所定の閾値より高いVIP顧客が存在する場合、最も一致度が高いVIP顧客を決定し、来店した顧客PはそのVIP顧客であると判定する。そして受付情報データ93aの「顧客種別」に、その顧客PがVIP顧客である旨が記録される。
要注意顧客判定部92fは、顧客情報記憶部93に予め記憶された要注意顧客の顔写真(要注意顧客データ93c)と、コミュニケーションロボット10のカメラ13が撮影した顧客Pの顔写真とを比較して、来店した顧客Pが対応に注意を要する要注意顧客であるか否かを判定する。要注意顧客データ93cには、複数の要注意顧客の顔写真が記録されており、それらの顔写真データと、来店した顧客Pの顔写真データとを比較する。来店した顧客Pの顔写真との一致度が所定の閾値より高い要注意顧客が存在しない場合、来店した顧客Pは要注意顧客ではないと判断する。来店した顧客Pの顔写真との一致度が所定の閾値より高い要注意顧客が存在する場合、最も一致度が高い要注意顧客を決定し、来店した顧客Pはその要注意顧客であると判定する。そして受付情報データ93aの「顧客種別」に、その顧客Pが要注意顧客である旨が記録される。
退店顧客判定部92gは、退店した顧客Pが受付済み顧客の何れに該当するかを判定する。退店顧客判定部92gは、出口カメラ80が撮影した退店する顧客Pの顔写真データと、受付情報データ93aに記録されている受付済み顧客の「顧客画像」とを比較する。
そして退店した顧客Pの顔写真との一致度が、所定の閾値より高い受付済み顧客が存在する場合、最も一致度が高い受付済み顧客を決定し、その受付済み顧客が退店したと判定する。そして退店する顧客Pの顔写真を撮影した時刻を顧客Pの退店時刻と決定して、受付情報データ93aの「退店時刻」に記録する。
再来店顧客判定部92hは、顧客情報記憶部93に記憶された退店した顧客Pの顔写真と、コミュニケーションロボット10のカメラ13が撮影した顧客Pの顔写真とを比較して、今般来店した顧客Pが、退店の後に再び来店した再来店顧客であるか否かを判定する。受付情報データ93aには、複数の受付済み顧客の顔写真が記録されており、それらの顔写真データと、来店した顧客Pの顔写真データとを比較する。来店した顧客Pの顔写真との一致度が所定の閾値より高い受付済み顧客が存在しない場合、来店した顧客Pは再来店した顧客ではなく、新規に来店した顧客であると判断する。来店した顧客Pの顔写真との一致度が所定の閾値より高い受付済み顧客が存在する場合、最も一致度が高い受付済み顧客を決定し、来店した顧客Pはその受付済み顧客であると判定する。そして来店した顧客Pの顔写真を撮影した時刻を当該顧客Pの再来店時刻と決定して、受付情報データ93aの「再来店時刻」に記録する。
次に、店舗受付システム100で行われる各種の処理について、図12〜図20のフローチャートを参照して説明する。
まず図12を参照して、来店した顧客PがVIP顧客であるか否か、要注意顧客であるか否か、および再来店顧客であるか否かを判定する顧客判定処理について説明する。
顧客Pが店舗の出入口Hから来店すると、コミュニケーションロボット10の顧客情報取得部18dがカメラ13を用いて当該顧客Pの顔写真を撮影する(ステップ#101)。撮影された顔写真の画像データは、コントローラ90に送信される。
続いて、制御部92のVIP顧客判定部92e、要注意顧客判定部92fおよび再来店顧客判定部92hにより、来店した顧客Pの顔写真の画像データと、顧客情報記憶部93に記憶されている顧客の顔写真の画像データとの比較処理が行われる(ステップ#102)。
再来店顧客判定部92hが、来店した顧客Pの顔写真の画像データと、受付情報データ93aの「顧客画像」とを比較して、再来店顧客か否かの判定を行う(ステップ#103)。来店した顧客Pが再来店顧客であると判定されると(ステップ#103:Yes)、再来店登録処理が行われる(ステップ#104)。具体的には、再来店顧客の顔写真を撮影した時刻を、受付情報データ93aの「再来店時刻」と、退店顧客データ93dの「再来店時刻」とに記録し、新規来店した顧客としての受付(後述する来店受付処理)は行わず、再来店顧客としての対応を行う。例えば、コミュニケーションロボット10のスピーカ14から「受付番号413番のお客様で間違いないでしょうか。再来店ありがとうございます。順次お呼出しいたしますので、少々お待ちください。」と発話し、顧客Pに対して、店舗受付システム100が再来店顧客であると認識している旨を伝達する。そして顧客判定処理を終了する。
来店した顧客Pが再来店顧客ではないと判定されると(ステップ#103:No)、次のステップに進み、VIP顧客判定部92eが、来店した顧客Pの顔写真の画像データと、VIP顧客データ93bの「顧客画像」とを比較して、VIP顧客か否かの判定を行う(ステップ#105)。来店した顧客PがVIP顧客であると判定されると(ステップ#105:Yes)、VIP顧客対応処理が行われる(ステップ#106)。具体的には、受付情報データ93aの「顧客種別」にVIP顧客である旨が記録される。コントローラ90からコミュニケーションロボット10のコミュニケーション制御部18cに対して、当該顧客PがVIP顧客である旨を報知し、通常顧客とは異なる特別に丁寧なコミュニケーションを行うよう指示してもよい。コントローラ90から店舗の係員Qに対してVIP顧客が来店した旨を報知して、係員Qが当該顧客Pの応対を行ってもよい。コントローラ90が、当該顧客Pの誘導案内や呼び出しの優先度が高くなるよう、受付情報データ93aを変更してもよい。そして顧客判定処理を終了する。
来店した顧客PがVIP顧客ではないと判定されると(ステップ#105:No)、次のステップに進み、要注意顧客判定部92fが、来店した顧客Pの顔写真の画像データと、要注意顧客データ93cの「顧客画像」とを比較して、要注意顧客か否かの判定を行う(ステップ#107)。来店した顧客Pが要注意顧客であると判定されると(ステップ#107:Yes)、要注意顧客対応処理が行われる(ステップ#108)。コントローラ90からコミュニケーションロボット10のコミュニケーション制御部18cに対して、当該顧客Pが要注意顧客である旨を報知し、通常顧客とは異なる慎重なコミュニケーションを行うよう指示してもよい。コントローラ90から店舗の係員Qに対して要注意顧客が来店した旨を報知して、係員Qが当該顧客Pの応対を行ってもよい。そして顧客判定処理を終了する。
次に図13を参照して、来店した顧客Pの受付を行う来店受付処理について説明する。
まずコミュニケーションロボット10が来店した顧客Pに接近して、来店の挨拶を行う(ステップ#201)。例えばスピーカ14から顧客Pに向けて「いらっしゃいませ。ご来店ありがとうございます。」と発話する。
続いてコミュニケーションロボット10が来店した顧客Pに対して、来店受付の操作の説明を行う(ステップ#202)。例えばスピーカ14から顧客Pに向けて「ご用件をうかがいます。ご希望のお取引をおっしゃってください。または、画面にタッチして選んでください。」と発話する。表示入力部12に「ご要望のボタンを押してください。」と表示してもよい。
そして所定の時間の間、顧客Pからの来店目的の入力を待機する(ステップ#203)。この間、マイク11および表示入力部12は顧客Pからの入力を受け付けられる状態に保つ。
顧客Pから来店目的の入力を受けると(ステップ#204:Yes)、来店目的取得部18eが来店目的を取得する。例えば、顧客Pの「税金の支払いを」との発話をマイク11が録音し、言語認識処理により来店目的「税金」を取得する。例えば、顧客Pによる表示入力部12の「税金」ボタンへの接触を検知して、来店目的「税金」を取得する。顧客Pの発話が不明瞭で来店目的を取得できなかった場合、スピーカ14から顧客Pに対して「申し訳ありませんが、もう一度おっしゃってください。」と発話して、入力待機処理(ステップ#203)に戻ってもよい。
続いてコミュニケーションロボット10の顧客情報取得部18dが、カメラ13を用いて顧客Pの顔写真を撮影し、顧客画像データを取得する(ステップ#207)。
続いてコミュニケーションロボット10の受付番号発行部18fが、来店した顧客Pの受付番号を発行する(ステップ#208)。詳しくは、受付番号発行部18fが、コントローラ90の顧客情報記憶部93に記憶された受付情報データ93aを参照して、来店目的取得部18eが取得した顧客Pの来店目的に応じた受付番号を発行する。
続いてプリンタ20が、発行された受付番号を表示する番号札Tを印刷する(ステップ#209)。そしてコミュニケーションロボット10からコントローラ90へ、顧客Pの来店目的と、顧客Pの顔写真の画像データと、顧客Pの受付番号とが送付されて、顧客情報記憶部93の受付情報データ93aに記憶される(ステップ#210)。そして来店受付処理を終了する。なおこのとき、コミュニケーションロボット10が顧客Pに対して「番号札を取ってしばらくお待ちください。」など、待機を促す発話を行ってもよい。
顧客Pから来店目的の入力がない場合(ステップ#204:No)、所定の時間(例えば30秒間)が経過していないならば(ステップ#205:No)、入力待機を継続する(ステップ#203)。所定の時間(例えば30秒)が経過している場合(ステップ#205:Yes)、再び来店受付の操作の説明を行う(ステップ#206)。ここでコミュニケーションロボット10が「何かお困りですか?」と発話して、顧客Pから不明な点を聞き出してもよい。また、顧客Pから来店目的の入力がない場合に(ステップ#204:No)、カメラ13で顧客Pの顔写真を撮像して、その画像から顧客の感情を推定してもよい。顧客Pが困っていると判断した場合には、所定の時間の経過を待たず即座に、コミュニケーションロボット10が「何かお困りでしょうか?」と発話して、顧客Pから不明な店を聞き出したり、より易しい操作説明を行ってもよい。その後、入力待機を継続する(ステップ#203)。
次に図14を参照して、店舗内の顧客の状態を確認する顧客状態確認処理について説明する。この顧客状態確認処理では、店舗内の顧客Pの位置情報の更新と、顧客Pからのコミュニケーションロボット10の呼び出しの有無の確認を行う。この処理は、所定の時間間隔(例えば、10秒)で常時行うと好適である。
まずコントローラ90の顧客位置追跡部92dが、店内カメラ70を用いて店舗内の全景を撮影し、画像データとして取得する(ステップ#301)。そして前回の顧客状態確認処理で撮影した画像データと比較して、顧客Pの移動を検出する。顧客Pの移動が検出された場合には(ステップ#302:Yes)、その顧客Pについて、受付情報データ93aの「位置」を新しいデータに更新する(ステップ#303)。顧客Pの移動が検出されない場合には(ステップ#302:No)、次の処理(ステップ#304)に進む。この顧客状態確認処理を常時繰り返し行うことで、顧客Pの店舗内での位置を把握して受付情報データ93aに記録し、順番が到来した顧客Pを呼び出す際に、その顧客Pの近傍までコミュニケーションロボット10を移動させて、顧客Pの近くから呼び出しを行うことが可能となる。
続いて、顧客Pからのコミュニケーションロボット10の呼び出しの有無の確認処理を行う(ステップ#304)。コントローラ90の呼出検知部92cが、店内カメラ70から店舗内の撮像データを取得し、コミュニケーションロボット10のマイク11から店舗内の音声データを取得する。そしてこれら撮像データ・音声データから上述の手法にて、顧客Pからのコミュニケーションロボット10の呼び出しの有無を確認する。呼び出しがあった場合には(ステップ#305:Yes)、後述する呼出対応処理を行う(ステップ#306)。呼び出しがなかった場合には(ステップ#305:No)、顧客状態確認処理を終了する。
次に図15を参照して、順番が到来した顧客Pに対して呼び出しを行う顧客呼出処理について説明する。
受付番号95番の顧客Pの順番が到来したとする。窓口の係員がテラー操作端末60を操作して、受付番号95番の顧客Pを呼び出す旨を入力する。そうするとコントローラ90の制御部92は、受付情報データ93aの「位置」を参照して、受付番号95番の顧客Pの位置を確認する(ステップ#401)。
受付番号95番の「位置」の欄に位置データが記録されており、顧客Pの位置が確認できた場合は(ステップ#402:Yes)、コントローラ90の制御部92は、コミュニケーションロボット10が受付番号95番の顧客Pの近傍まで移動可能か否かを判断する(ステップ#403)。移動可能か否かの判断は、例えば、コミュニケーションロボット10の現在位置と顧客Pの位置とからコミュニケーションロボット10の移動経路を検討し、店内カメラ70による店舗内の撮像データから障害物を確認して、移動経路上に障害物が存在しない場合に移動可能と判断する(ステップ#404:Yes)。
そうするとコントローラ90の制御部92は、コミュニケーションロボット10の移動制御部18aに対して、受付番号95番の顧客Pの位置までコミュニケーションロボット10を自走移動させるよう指示する。この指示に基づき、移動制御部18aが車輪16を制御し、コミュニケーションロボット10が受付番号95番の顧客Pの位置まで自走移動する(ステップ#405)。
続いてコミュニケーションロボット10の方向制御部18bが、コミュニケーションロボット10が受付番号95番の顧客Pの方を向くように、車輪16を制御してコミュニケーションロボット10の向く方向を変化させる(ステップ#406)。続いて、コミュニケーションロボット10のコミュニケーション制御部18cが、マイク11を用いて音声を発し、受付番号95番の顧客Pの呼び出しを行う。例えば、マイク11から「95番のお客様、3番の窓口までどうぞ!」と発話して、顧客Pの呼び出しを行う(ステップ#407)。このとき、3番窓口67の呼出番号表示装置50に「95」と表示させてもよい。そして顧客呼出処理を終了する。
受付番号95番の「位置」の欄に位置データが記録されておらず、顧客Pの位置が確認できない場合は(ステップ#402:No)、呼び出し対象の顧客Pの近傍への自走移動処理、および顧客Pの方を向く姿勢変化処理は実行できないから、上述の音声呼出処理(ステップ#407)を行って、顧客呼出処理を終了する。
移動経路上に障害物が存在する場合など、受付番号95番の顧客Pの近傍まで移動することが不可能と判断した場合には(ステップ#404:No)、自走移動処理(ステップ#405)を行わず、上述の姿勢変化処理(ステップ#406)および音声呼出処理(ステップ#407)を行って、顧客呼出処理を終了する。
次に図16を参照して、顧客Pに対して誘導案内を行う誘導案内処理について説明する。この誘導案内処理は、順番が到来して呼び出された顧客Pを窓口等へ誘導案内する場合や、来店受付処理の後に顧客Pを電子記帳台30や通常記帳台35へ誘導案内する場合に行われる。
まず、コントローラ90の移動目的地決定部92aが、主として受付情報データ93aの「来店目的」を参照して、顧客Pの移動先である移動目的地を決定する(ステップ#501)。例えば、来店目的が「税金」や「お預け入れ」など窓口で取引を行う場合で、窓口の係員から呼び出しが行われている場合には、呼び出し先の窓口(例えば3番窓口67)を移動目的地として決定する。例えば、後述する電子記帳台勧め処理にて顧客Pが電子記帳台30を使う旨の回答を行った場合には、電子記帳台30を移動目的地として決定する。例えば、顧客Pがコミュニケーションロボット10に、ATM40へ案内するよう指示した場合には、ATM40を移動目的地として決定する。そして、移動目的地決定部92aが決定した移動目的地が、コミュニケーションロボット10の移動制御部18aに送信される。
続いてコントローラ90の制御部92は、決定された移動目的地までコミュニケーションロボット10が移動可能か否かを判断する(ステップ#502)。移動可能か否かの判断は、例えば、コミュニケーションロボット10の現在位置と移動目的地とからコミュニケーションロボット10の移動経路を検討し、店内カメラ70による店舗内の撮像データから障害物を確認して、移動経路上に障害物が存在しない場合に移動可能と判断する(ステップ#503:Yes)。
そうするとコントローラ90の制御部92は、コミュニケーションロボット10の移動制御部18aに対して、移動目的地までコミュニケーションロボット10を自走移動させるよう指示する。そうすると移動制御部18aが車輪16を制御し、コミュニケーションロボット10は受付番号95番の顧客Pの位置まで自走移動する(ステップ#504)。
なお自走移動に先立って、コミュニケーション制御部18cがスピーカ14を制御し、コミュニケーションロボット10が移動目的地まで自走移動して誘導案内する旨を顧客Pに対して伝達してもよい。例えば「95番のお客様、3番の窓口までご案内いたします。こちらへどうぞ。」と発話してから、自走移動を開始してもよい。
コミュニケーションロボット10が移動目的地に到達したら、コミュニケーション制御部18cがスピーカ14を制御し、移動目的地まで到達した旨を顧客Pに対して宣言する(ステップ#505)。例えば「こちらでございます。3番窓口です。」と発話する。この際、コミュニケーション制御部18cが手15を制御して、移動目的地である3番窓口67を指し示すとより好適である。そして誘導案内処理を終了する。
移動経路上に障害物が存在する場合など、移動目的地まで移動することが不可能と判断した場合には(ステップ#503:No)、自走移動処理(ステップ#504)を行わず、姿勢変化処理(ステップ#506)および音声案内処理(ステップ#507)を行う。
姿勢変化処理(ステップ#506)では、コミュニケーション制御部18cが手15を制御して、手15が移動目的地である3番窓口67を指し示すようにする。このとき、コミュニケーションロボット10が移動目的地である3番窓口67の方を向くように、方向制御部18bがコミュニケーションロボット10の向く方向を制御するとより好適である。
すなわち誘導案内処理における姿勢変化処理(ステップ#506)では、コミュニケーションロボット10が自らの姿勢を変化させる身振り・手振りを行うことにより、顧客Pに対して移動目的地への誘導案内を行う。なお上述の姿勢変化処理(ステップ#506)は、移動目的地への移動が不可能と判断された場合に限らず、店舗が混雑している場合や、すぐに他の顧客Pの呼び出しを行う必要がある場合や、顧客Pが若いため自走移動による誘導案内の必要性が低い場合に行ってもよい。
音声案内処理(ステップ#507)では、コミュニケーション制御部18cがスピーカ14を制御して、コミュニケーションロボット10が姿勢変化処理により移動目的地への誘導案内を行っている旨を顧客Pへ伝達する。例えば「95番のお客様、3番の窓口までおいでください。3番窓口はあちらになります。」と顧客Pに対して発話する。そして誘導案内処理を終了する。
このとき、加えて「3番窓口の場所はお分かりになりますか?」と発話して、顧客Pが移動目的地を認識したか否かを問い合わせてもよい。そのように顧客Pとコミュニケーションを行うことにより、顧客の不安を解消してより良いサービスを提供することができる。
次に図17を参照して、顧客Pに対して電子記帳台30の利用を勧める電子記帳台勧め処理について説明する。例えば顧客Pがコミュニケーションロボット10に入力した来店目的が、入金、出金、振り込み、税公金納付など、伝票の作成が必要なものである場合には、以下の処理を行う。
まずコミュニケーションロボット10のコミュニケーション制御部18cが、スピーカ14および表示入力部12を用いて、電子記帳台についての説明を行う(ステップ#601)。例えばスピーカ14で「伝票への記入が必要です。電子記帳台を利用してみませんか?タッチペンによる簡単な操作で、すぐに伝票を作成できますよ。」と発話し、表示入力部12に電子記帳台の説明映像を表示する。
続いてコミュニケーション制御部18cが、顧客Pに対して、電子記帳台30を使うか否かの問い合わせを行う(ステップ#602)。例えばスピーカ14で「電子記帳台を使いますか?」と発話し、表示入力部12に「はい」「いいえ」のボタンを表示して、顧客Pからの音声または入力による回答を待機する。
顧客Pから電子記帳台30を使用する旨の回答があった場合には(ステップ#603:Yes)、コミュニケーションロボット10のコミュニケーション制御部18cが、コントローラ90の移動目的地決定部92aにその旨を報知する。そうすると移動目的地決定部92aが、移動目的地を電子記帳台30に設定し、その旨をコミュニケーションロボット10の移動制御部18aに通知する(ステップ#604)。そして移動目的地である電子記帳台30へ向けて、上述した誘導案内処理を行い(ステップ#605)、電子記帳台勧め処理を終了する。
顧客Pから電子記帳台30を使用しない旨の回答があった場合には(ステップ#603:No)、コミュニケーションロボット10のコミュニケーション制御部18cが、コントローラ90の移動目的地決定部92aにその旨を報知する。そうすると移動目的地決定部92aが、移動目的地を通常記帳台35に設定し、その旨をコミュニケーションロボット10の移動制御部18aに通知する(ステップ#606)。そして移動目的地である通常記帳台35へ向けて、上述した誘導案内処理を行い(ステップ#605)、電子記帳台勧め処理を終了する。
次に図18を参照して、顧客Pがコミュニケーションロボット10を呼び出した場合に行う呼出対応処理について説明する。例えば顧客Pが待ち時間を知りたくなったり、他の来店目的を思い出したりして、コミュニケーションロボット10を挙手や発話で呼び出す場合がある。上述した顧客状態確認処理にて、顧客Pからのコミュニケーションロボット10の呼び出しを検知した場合、以下の処理を行う。
コントローラ90の呼出検知部92cが、コミュニケーションロボット10を呼び出した顧客Pの位置を確認する(ステップ#701)。例えば、呼び出しを店内カメラ70の撮像した画像から検知した場合には、当該画像から顧客Pの位置を確認する。
コミュニケーションロボット10を呼び出した顧客Pの位置が確認できた場合には(ステップ#702:Yes)、当該顧客Pに向けて以下の処理を行う。まず、コミュニケーションロボット10の方向制御部18bが、コミュニケーションロボット10が当該顧客Pの方向を向くように、コミュニケーションロボット10の姿勢を変化させる(ステップ#704)。この処理は、上述した顧客呼出処理の姿勢変化処理(ステップ#406)と同様である。続いて、コミュニケーション制御部18cが、スピーカ14を使用して、当該顧客Pに対して呼び出しに対応する旨の音声による返答を行う(ステップ#706)。
例えば「お客様、そちらへ参りますので少々お待ちください。」と発話する。そして移動制御部18aが、呼出検知部92cから当該顧客Pの位置を取得して、当該顧客Pの近傍までコミュニケーションロボット10を自走移動させて(ステップ#706)、呼出対応処理を終了する。
呼出検知部92cが、コミュニケーションロボット10を呼び出した顧客Pの位置を確認できない場合、例えば、音声による呼び出しのみ検知した場合には(ステップ#702:No)、当該顧客Pの位置を確認すべく、顧客Pに対する位置の問い合わせを行う(ステップ#703)。例えば、コミュニケーションロボット10のコミュニケーション制御部18cが、スピーカ14を制御して「私を呼んでくださったお客様、どちらにおられますでしょうか?手を挙げて頂けると助かります。」と発話する。そして再び、顧客Pの位置の確認処理(ステップ#701)を行う。
次に図19を参照して、顧客Pがコミュニケーションロボット10に自分の待ち時間を問い合わせた場合に行う推定待ち時間回答処理について説明する。
まずコミュニケーションロボット10のコミュニケーション制御部18cが、顧客Pに対して、推定待ち時間を問い合わせる際の操作についての説明を行う(ステップ#801)。例えば、スピーカ14を用いて「番号札Tを私に見せてください。または、受付番号をタッチパネルで入力するか、私に話してください。」と発話し、表示入力部12に同様の文章を表示する。
そして所定の時間の間、顧客Pからの受付番号の入力を待機する(ステップ#802)。この間、マイク11、表示入力部12およびカメラ13は顧客Pからの入力を受け付けられる状態に保つ。
顧客Pから受付番号の入力を受けると(ステップ#803:Yes)、顧客情報取得部18dが受付番号を取得する。例えば、顧客Pの「95番です」との発話をマイク11が録音し、言語認識処理により受付番号「95」を取得する。例えば、顧客Pによる表示入力部12への「95」の入力を検知して、受付番号「95」を取得する。例えば、顧客Pが番号札Tをカメラ13の前に示し、カメラ13が番号札Tを撮像して、画像認識処理により受付番号「95」を取得する。なお顧客Pの発話が不明瞭で来店目的を取得できなかった場合等には、スピーカ14から顧客Pに対して「申し訳ありませんが、もう一度おっしゃってください。」と発話して、入力待機処理(ステップ#802)に戻ってもよい。
続いて、顧客Pから入力され顧客情報取得部18dが取得した受付番号が正しいか否かを、顧客Pに確認する処理を行う(ステップ#806)。例えば、コミュニケーション制御部18cがスピーカ14で「受付番号はこの番号で間違いないでしょうか?」と発話し、表示入力部12に「95」を表示する。そして番号が正しい旨の顧客Pからの入力をマイク11や表示入力部12から受け付けると、次の処理(ステップ#807)に進む。番号が間違っている旨の顧客Pからの入力を受け付けると、正しい番号の入力を待機する。
コントローラ90の待ち時間推定部92bは、顧客情報取得部18dから受付番号(「95」)を取得し、受付情報データ93aを参照して、窓口の待ち人数等から推定待ち時間を算出し、コミュニケーションロボット10のコミュニケーション制御部18cへ通知する。コミュニケーション制御部18cは、表示入力部12に推定待ち時間を表示して、推定待ち時間を顧客Pに伝達し(ステップ#807)、推定待ち時間回答処理を終了する。このとき、スピーカ14から例えば「お待たせして申し訳ありません。もう少々お待ちください。」と発話してもよい。また推定待ち時間の伝達を、スピーカ14から音声にて行ってもよい。
顧客Pから受付番号の入力がない場合(ステップ#803:No)、所定の時間(例えば30秒間)が経過していないなら(ステップ#804:No)、入力待機を継続する(ステップ#802)。所定の時間(例えば30秒)が経過している場合(ステップ#804:Yes)、再び受付番号入力の操作の説明を行う(ステップ#805)。ここでコミュニケーションロボット10が「何かお困りですか?」と発話して、顧客Pから不明な点を聞き出してもよい。また、顧客Pから受付番号の入力がない場合に(ステップ#803:No)、カメラ13で顧客Pの顔写真を撮像して、その画像から顧客の感情を推定してもよい。顧客Pが困っていると判断した場合には、所定の時間の経過を待たず即座に、コミュニケーションロボット10が「何かお困りでしょうか?」と発話して、顧客Pから不明な店を聞き出したり、より易しい操作説明を行ってもよい。その後、入力待機を継続する(ステップ#802)。
次に図20を参照して、退店する顧客Pを撮影する退店客撮影処理について説明する。
顧客Pが店舗の出入口Hを通って退店する際、出口カメラ80が当該顧客Pの顔写真を撮影する(ステップ#901)。顧客Pの退店の検知は、例えば、出入口Hの自動ドアが開いたことにより行うことができる。
撮影された画像データは、コントローラ90の顧客情報記憶部93に送られて、退店顧客データ93dの「顧客画像」に記録される(ステップ#902)。このとき、画像データの撮影時刻が、退店顧客データ93dの「退店時刻」に記録される。
続いて、コントローラ90の退店顧客判定部92gが、退店顧客データ93dの「顧客画像」と、受付情報データ93aの「顧客画像」とを比較する。両者が一致した場合、退店顧客データ93dの「退店時刻」が、受付情報データ93aの「退店時刻」に記録される(ステップ#903)。このようにして、受付している顧客Pが退店しているか否かが、受付情報データ93aに反映される。
<他の実施形態>
以下に、添付図面を参照して、本発明に係る店舗受付システムの他の実施形態を詳細に説明する。この実施形態に係る店舗受付システムは特に、視覚障害者が利用し易い店舗を実現することを意図して構成されている。ちなみに本実施形態の店舗受付システムは、視覚障害者ではない顧客に対しても有用である。なお以下の他の実施形態の説明では、上述の実施形態と同様の構成については同じ符号を付し、説明を省略する場合がある。
まず、視覚障害者が店舗に来店した場合の、コミュニケーションロボットおよび来店受付機によるコミュニケーションと受付について、図21〜図22を用いて説明する。なお本実施形態は、店舗受付システムが銀行等の金融機関の店舗に適用された場合を例として説明する。
図21に示すように、銀行等の店舗に来店した視覚障害者である顧客Pは、ロビーに設置されたコミュニケーションロボット10に出迎えられる。このときコミュニケーションロボット10は、カメラ13にて白杖Rを持った顧客Pを撮影して、その撮影画像から来店した顧客Pが視覚障害者であると判定している。そして以下の顧客Pとのコミュニケーションでは、顧客Pが視覚障害者である点を考慮した対応がなされるよう、本実施形態の店舗受付システムが構成されている。
コミュニケーションロボット10は、自分がコミュニケーションロボットである旨を顧客Pへ告げた上で、来店目的を尋ねる。顧客Pが来店目的を音声でコミュニケーションロボット10に話すと、コミュニケーションロボット10はマイク11への音声入力から顧客Pの来店目的を認識して、コントローラ90へ送信する。またコミュニケーションロボット10は、カメラ13(受付写真撮影手段F)で顧客Pの顔写真(顧客画像)を撮影し、受付番号(例えば102番)を発行し、それらのデータをコントローラ90へ送信する。そしてコミュニケーションロボット10は顧客Pに、店内で待機するよう促す。
図22は、銀行等の店舗に来店した視覚障害者である顧客Pが、窓口受付機110で受付を行う例を示している。このとき窓口受付機110は、カメラ113にて白杖Rを持ち盲導犬Sを伴った顧客Pを撮影して、その撮影画像から来店した顧客Pが視覚障害者であると判定している。そして以下の顧客Pとのコミュニケーションでは、顧客Pが視覚障害者である点を考慮した対応がなされるよう、本実施形態の店舗受付システムが構成されている。
窓口受付機110は、顧客Pの前にあるのが窓口受付機である旨を顧客Pへ告げた上で、来店目的を発話するよう顧客Pを促す。顧客Pが来店目的を窓口受付機110へ向けて発話すると、窓口受付機110はマイク111への音声入力から顧客Pの来店目的を認識して、コントローラ90へ送信する。また窓口受付機110は、カメラ113(受付写真撮影手段F)で顧客Pの顔写真(顧客画像)を撮影し、受付番号(例えば102番)を発行し、それらのデータをコントローラ90へ送信する。そして窓口受付機110は顧客Pに、店内で待機するよう促す。
このように顧客Pが視覚障害者である場合、プリンタ20による番号札Tの印刷は行われず、受付番号は顧客Pへ伝達されない。そして順番が到来した際の顧客Pの呼び出しは、受付写真撮影手段Fにより撮影された顧客Pの顔写真に基づいて行われる。
以上述べた様に、本実施形態の店舗受付システム100は、上述の実施形態に係る店舗受付システム100の構成に加えて、窓口受付機110を有する。本実施形態では、コミュニケーションロボット10と窓口受付機110の両方が、店舗に来店した顧客Pから来店目的を取得する受付手段Aとして機能する。そしてコミュニケーションロボット10のカメラ13と、窓口受付機110のカメラ113の両方が、受付写真撮影手段Fとして機能する。
図22に示すように、窓口受付機110は据え置き型の機器であって、マイク111(呼出検知手段D)と、表示入力部112(接触入力受付手段B)と、カメラ113(受付写真撮影手段F)と、スピーカ114とを有している。窓口受付機110は、店舗の入口付近に配置されて、顧客Pの来店受付を行う。
マイク111は、窓口受付機110の前面に設けられており、外部の音を音声データとして取得する。表示入力部112は、窓口受付機110の上部に設けられており、画像や文字、表などを表示し、顧客Pからの手指を用いた接触による情報入力を受け付ける。カメラ113は、表示入力部112の上側に設けられており、顧客Pの顔写真や全体写真を撮影し画像データとして取得する。スピーカ114は、表示入力部112の下側に設けられており、音(音声や案内音など)を発する。窓口受付機110は、これらの構成を用いて顧客Pとコミュニケーションを行い、取得した顧客情報をコントローラ90へ送信する。
次に、図23のブロック図を用いて、窓口受付機110の内部構成を説明する。窓口受付機110は、上述したマイク111、表示入力部112、カメラ113、スピーカ114に加えて、通信部117および制御部118を有する。通信部117は、無線LANを介してコントローラ90とのデータ通信を行なうためのインタフェース部である。
制御部118は、窓口受付機110の全体を制御する制御部であり、コミュニケーション制御部118c、顧客情報取得部118d、来店目的取得部118eおよび受付番号発行部118fを有する。実際には、これらの機能部に対応するプログラムを図示しないROMや不揮発性メモリに記憶しておき、それらプログラムをCPU(Central Processing Unit)にロードして実行することにより、それぞれに対応するプロセスが実行される。なお窓口受付機110のコミュニケーション制御部118c、顧客情報取得部118d、来店目的取得部118eおよび受付番号発行部118fの機能・動作は、コミュニケーションロボット10のコミュニケーション制御部18c、顧客情報取得部18d、来店目的取得部18eおよび受付番号発行部18fの機能・動作と同様であるため説明を省略する。
次に、図24のブロック図を用いて、コントローラ90の内部構成を説明する。本実施形態のコントローラ90は、上述の実施形態と同様に、通信部91、制御部92および顧客情報記憶部93を有する。そして通信部91には窓口受付機110が接続され、制御部92は視覚障害者判定部92jを有する。
視覚障害者判定部92jは、受付写真撮影手段F(カメラ13またはカメラ113)が撮影した顧客Pの写真に基づいて、店舗に来店した顧客Pが視覚障害者であるか否かを判定する。例えば視覚障害者判定部92jは、顧客Pの写真に対して画像認識を行い、顧客Pが白杖Rを持っていると認識された場合や、顧客Pが盲導犬Sを連れていると認識された場合に、店舗に来店した顧客Pが視覚障害者であると判定する。そして受付情報データ93aの「顧客種別」に、その顧客Pが視覚障害者である旨が記録される。
図25に示すように、本実施形態の受付情報データ93aは、上述の実施形態と同様、「顧客画像」と、「受付番号」と、「来店目的」と、「発行時刻」と、「位置」と、「呼び出し」と、「顧客種別」と、「退店時刻」と、「再来店時刻」とを含んだ情報である。「顧客種別」は、顧客Pの種別を示すデータである。上述のVIP顧客判定部92e、要注意顧客判定部92fおよび視覚障害者判定部92jによって、来店した顧客PがVIP顧客であるか否か、要注意顧客であるか否か、視覚障害者であるか否かが判定され、その結果が受付情報データ93aに記録される。なお受付情報データ93aでは、図25に示すように、顧客Pの受付番号と顔写真(顧客画像)とが関連づけて記憶されている。
次に、本実施形態に係る店舗受付システム100で行われる各種の処理のうち、本実施形態に特有の処理について、図26〜図28のフローチャートを参照して説明する。
まず図26を参照して、来店した顧客PがVIP顧客であるか否か、要注意顧客であるか否か、再来店顧客であるか否か、および視覚障害者であるか否かを判定する、本実施形態の顧客判定処理について説明する。
顧客Pが店舗の出入口Hから来店すると、コミュニケーションロボット10の顧客情報取得部18dがカメラ13を用いて当該顧客Pの顔写真と全身写真とを撮影する。または窓口受付機110の顧客情報取得部118dがカメラ113を用いて当該顧客Pの顔写真と全身写真とを撮影する(ステップ#1001)。撮影された写真の画像データは、コントローラ90に送信される。
以降の顔写真比較処理(ステップ#1002)から要注意顧客対応処理(ステップ#1008)までの処理は、上述の実施形態の顔写真比較処理(ステップ#102)から要注意顧客対応処理(ステップ#108)までの処理と同様に行われる。
来店した顧客Pが要注意顧客ではないと判定されると(ステップ#1007:No)、次のステップに進み、視覚障害者判定部92jは、受付写真撮影手段F(カメラ13またはカメラ113)が撮影した顧客Pの写真に基づいて、店舗に来店した顧客Pが視覚障害者であるか否かの判定を行う(ステップ#1009)。来店した顧客Pが視覚障害者であると判定されると(ステップ#1009:Yes)、受付情報データ93aの「顧客種別」に視覚障害者である旨が記録され、後述する視覚障害者受付処理を行う。来店した顧客Pが視覚障害者ではないと判定されると(ステップ#1009:No)、顧客判定処理を終了する。
次に図27を参照して、視覚障害者である顧客Pの受付を行う視覚障害者受付処理について説明する。視覚障害者受付処理では、上述の実施形態に係る来店受付処理と異なり、番号札Tの印刷を行わず、受付番号の顧客Pへの伝達も行われない。なお視覚障害者である顧客Pの受付は、受付手段Aであるコミュニケーションロボット10と窓口受付機110のどちらでも行い得るが、以下の説明ではコミュニケーションロボット10が受付を行う例を説明する。
まずコミュニケーションロボット10が来店した顧客Pに接近して、来店の挨拶を行う(ステップ#1101)。このとき視覚障害者である顧客Pが、自分に対して何が話しかけているのか視認できない場合がある。そこで顧客Pに対して、コミュニケーションロボット10(あるいは窓口受付機110)が話しかけていることを伝えると好適である。例えばスピーカ14から顧客Pに向けて「いらっしゃいませ。私はコミュニケーションロボットです。ご来店ありがとうございます。」と発話する。
続いてコミュニケーションロボット10が来店した顧客Pに対して、来店受付の操作の説明を行う(ステップ#1102)。例えばスピーカ14から顧客Pに向けて「ご用件をうかがいます。ご希望のお取引をおっしゃってください。」と発話する。
そして所定の時間の間、顧客Pからの来店目的の音声による入力を待機する(ステップ#1103)。この間、マイク11を顧客Pからの入力を受け付けられる状態に保つ。
顧客Pから来店目的の入力を受けると(ステップ#1104:Yes)、来店目的取得部18eが来店目的を取得する。例えば、顧客Pの「振込をお願いします」との発話をマイク11が録音し、言語認識処理により来店目的「振込」を取得する。顧客Pの発話が不明瞭で来店目的を取得できなかった場合、スピーカ14から顧客Pに対して「申し訳ありませんが、もう一度おっしゃってください。」と発話して、入力待機処理(ステップ#1103)に戻ってもよい。
続いてコミュニケーションロボット10の顧客情報取得部18dが、カメラ13(受付写真撮影手段F)を用いて顧客Pの顔写真を撮影し、顧客画像データを取得する(ステップ#1107)。
続いてコミュニケーションロボット10の受付番号発行部18fが、来店した顧客Pの受付番号を発行する(ステップ#1108)。詳しくは、受付番号発行部18fが、コントローラ90の顧客情報記憶部93に記憶された受付情報データ93aを参照して、来店目的取得部18eが取得した顧客Pの来店目的に応じた受付番号を発行する。
そしてコミュニケーションロボット10からコントローラ90へ、顧客Pの来店目的と、顧客Pの顔写真の画像データと、顧客Pの受付番号とが送付されて、顧客情報記憶部93の受付情報データ93aに記憶される(ステップ#1109)。そして視覚障害者受付処理を終了する。なおこのとき、コミュニケーションロボット10が顧客Pに対して「受付が完了しました。順番が来ましたらお呼び出ししますので、店内でしばらくお待ちください。」など、待機を促す発話を行ってもよい。
顧客Pから来店目的の入力がない場合(ステップ#1104:No)、所定の時間(例えば30秒間)が経過していないならば(ステップ#1105:No)、入力待機を継続する(ステップ#1103)。所定の時間(例えば30秒)が経過している場合(ステップ#1105:Yes)、再び来店受付の操作の説明を行う(ステップ#1106)。ここでコミュニケーションロボット10が「何かお困りですか?」と発話して、顧客Pから不明な点を聞き出してもよい。また、顧客Pから来店目的の入力がない場合に(ステップ#1104:No)、カメラ13で顧客Pの顔写真を撮像して、その画像から顧客の感情を推定してもよい。顧客Pが困っていると判断した場合には、所定の時間の経過を待たず即座に、コミュニケーションロボット10が「何かお困りでしょうか?」と発話して、顧客Pから不明な店を聞き出したり、より易しい操作説明を行ってもよい。その後、入力待機を継続する(ステップ#1103)。
次に図28を参照して、順番が到来した顧客Pに対して呼び出しを行う顧客呼出・案内処理について説明する。本実施形態の店舗受付システム100では、顧客を呼び出す際、呼び出し対象の顧客が視覚障害者判定部92jによって視覚障害者であると判定された顧客である場合には、以下の顧客呼出・案内処理を行い、コミュニケーションロボット10が呼び出し対象の顧客の近傍まで移動する。そして顧客の顔写真を用いて呼び出し対象の顧客であることを確認し、顧客を移動目的地まで案内する。
なお、呼び出し対象の顧客が視覚障害者判定部92jによって視覚障害者ではないと判定された顧客である場合には、上述の実施形態の顧客呼出処理(図15)と誘導案内処理(図16)とを行ってもよいし、本実施形態の顧客呼出・案内処理を行ってもよい。また、視覚障害者であるか否かにかかわらず、受付番号を伝えていない顧客の呼び出しを行う場合には、本実施形態の顧客呼出・案内処理を行うと好適である。
受付番号102番の顧客Pの順番が到来したとする。窓口の係員がテラー操作端末60を操作して、受付番号102番の顧客Pを呼び出す旨を入力する。そうするとコントローラ90の制御部92は、受付情報データ93aの「位置」を参照して、受付番号102番の顧客Pの位置を確認する(ステップ#1201)。
コントローラ90の制御部92は、コミュニケーションロボット10の移動制御部18aに対して、受付番号102番の顧客Pの位置までコミュニケーションロボット10を自走移動させるよう指示する。この指示に基づき、移動制御部18aが車輪16を制御し、コミュニケーションロボット10が受付番号102番の顧客Pの位置まで自走移動する(ステップ#1202)。
コミュニケーションロボット10が受付番号102番の顧客Pの位置まで移動した後、コミュニケーションロボット10の顧客情報取得部18dがカメラ13を用いて当該顧客Pの顔写真を撮影する(ステップ#1203)。撮影された顔写真の画像データは、コントローラ90に送信される。
コントローラ90の制御部92は、受付情報データ93aを参照して、受付番号102番の顧客画像と、コミュニケーションロボット10から送信された顔写真とを比較して、コミュニケーションロボット10の前の顧客Pが呼び出し対象の顧客、すなわち受付番号102番の顧客であるか否かを確認する(ステップ#1204)。
コミュニケーションロボット10の前の顧客Pが呼び出し対象の顧客であると判定されると(ステップ#1204:Yes)、次のステップに進み、コミュニケーションロボット10のコミュニケーション制御部18cが、マイク11を用いて音声を発し、受付番号102番の顧客Pの呼び出しを行う。例えば、マイク11から「お客様、お待たせしました。振込の手続を承りますので、ご案内いたします。」と発話して、顧客Pの呼び出しを行う(ステップ#1205)。この呼び出しの際の発話の内容には、受付番号を含めないようにすると好適である。なおこのとき、3番窓口67の呼出番号表示装置50に「102」と表示させてもよい。
続いて呼び出し対象の顧客Pを3窓口67へと案内する処理を行う。まず、コントローラ90の移動目的地決定部92aが、主として受付情報データ93aの「来店目的」を参照して、顧客Pの移動先である移動目的地を決定する。例えば、受付番号102番の顧客に対して、呼び出し先の窓口(例えば3番窓口67)を移動目的地として決定する。そして、移動目的地決定部92aが決定した移動目的地が、コミュニケーションロボット10の移動制御部18aに送信される。
コントローラ90の制御部92は、コミュニケーションロボット10の移動制御部18aに対して、移動目的地までコミュニケーションロボット10を自走移動させるよう指示する。そうすると移動制御部18aが車輪16を制御し、コミュニケーションロボット10は移動目的地、すなわち呼び出し先の窓口(例えば3番窓口67)まで自走移動する(ステップ#1206)。
なお自走移動に先立って、コミュニケーション制御部18cがスピーカ14を制御し、コミュニケーションロボット10が移動目的地まで自走移動して誘導案内する旨を顧客Pに対して伝達してもよい。例えば「それでは、3番の窓口までご案内いたします。私の後についてきてください。」と発話してから、自走移動を開始してもよい。
コミュニケーションロボット10が移動目的地に到達したら、コミュニケーション制御部18cがスピーカ14を制御し、移動目的地まで到達した旨を顧客Pに対して宣言する(ステップ#1207)。例えば「3番窓口に到着しました。窓口係員にご用件をお申し付けください。」と発話する。この際、コミュニケーション制御部18cが手15を制御して、移動目的地である3番窓口67を指し示すとより好適である。そして顧客呼出・案内処理を終了する。
コミュニケーションロボット10の前の顧客Pが呼び出し対象の顧客ではないと判定されると(ステップ#1204:No)、顧客呼出・案内処理を終了する。なおこの場合、受付番号102番の顧客を呼び出すために、店内カメラ70を用いて受付番号102番の顧客を探したり、受付情報データ93aの顧客画像に基づいて係員が受付番号102番の顧客を探してもよい。
<別実施形態>
(1)上述の実施形態では、店舗受付システム100に対して1台のコミュニケーションロボット10が連携されていた。コミュニケーションロボット10は、複数台が店舗受付システム100に連携運用されてもよい。その場合、コミュニケーションロボット10が順番が到来した顧客Pの近傍に移動して呼び出しを行った後、移動目的地への誘導案内を別のコミュニケーションロボット10で行ってもよい。そうすると、コミュニケーションロボット10の移動距離を抑制したり、顧客Pの誘導案内を迅速に行うことができる利点がある。
(2)上述の実施形態では、受付番号を表示する番号札Tをプリンタ20が印刷していたが、受付番号は数字による表示の他、バーコードや二次元コードなどコード化された形態での表示・発行も可能である。また番号札Tに代えて、電子データによる提供も可能であるし、画像情報としての提供も可能である。この場合、コントローラ90の制御部92や、コミュニケーションロボット10の制御部18が電子メール等により受付番号の表示を顧客Pに提供することが可能である。すなわち、受付番号を表示する番号札または画像情報を顧客に対して提供する番号表示提供手段Cとして、プリンタ20やコントローラ90の制御部92、コミュニケーションロボット10の制御部18等の形態が可能である。
(3)上述の実施形態では、顧客Pからの手指を用いた接触による情報入力を受け付ける接触入力受付手段Bとして、表示入力部12を例に挙げて説明したが、メカニカルキーボードやテンキー等により接触入力受付手段Bを構成することも可能である。
(4)上述の実施形態では、顧客Pからのコミュニケーションロボット10の呼び出しを検知する呼出検知手段Dとして、店内カメラ70と、コミュニケーションロボット10のマイク11を例として説明した。呼出検知手段Dとして、コミュニケーションロボット10のカメラ13を用いてもよいし、店舗内にマイクを設けてもよい。
(5)上述の実施形態では、退店する顧客の顔写真を撮影する退店客撮影手段Eとして、出口カメラ80を例として説明した。退店客撮影手段Eとして、コミュニケーションロボット10のカメラ13を用いてもよい。
(6)上述の実施形態では、店舗受付システム100を銀行の店舗に用いる場合を説明したが、店舗受付システム100の適用対象としてはこれに限られず、携帯電話ショップや保険店舗等においても適用可能である。
また、上述の実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。