JP2019003360A - 案内ロボット、席管理装置及びプログラム - Google Patents

案内ロボット、席管理装置及びプログラム Download PDF

Info

Publication number
JP2019003360A
JP2019003360A JP2017116515A JP2017116515A JP2019003360A JP 2019003360 A JP2019003360 A JP 2019003360A JP 2017116515 A JP2017116515 A JP 2017116515A JP 2017116515 A JP2017116515 A JP 2017116515A JP 2019003360 A JP2019003360 A JP 2019003360A
Authority
JP
Japan
Prior art keywords
seat
unit
reservation
face image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017116515A
Other languages
English (en)
Inventor
ジュリアン ピアテック
Peertech Julianne
ジュリアン ピアテック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2017116515A priority Critical patent/JP2019003360A/ja
Publication of JP2019003360A publication Critical patent/JP2019003360A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】人による作業負担を低減し、店員の代わりに顧客を順番に席に案内するための案内ロボット、席管理装置及びプログラムを提供する。【解決手段】案内ロボット1は、被写体を撮影するカメラ41と、席を予約するユーザによる予約人数を受け付ける条件受付部14aと、席が空いていない場合に、カメラ41によって得られた席の予約をするユーザの顔画像と予約人数とを予約DB62に記憶させる予約処理部14bと、予約人数を収容可能な席が空いた場合であって、予約処理部14bにより顔画像が記憶されている場合に、カメラ41によって得られた撮影画像に対して顔認識処理を行い、予約DB62に記憶された顔画像に一致するユーザを特定するユーザ特定部15と、ユーザ特定部15により特定したユーザを、空いた席に案内する案内処理部17と、を備える。【選択図】図1

Description

本発明は、案内ロボット、席管理装置及びプログラムに関する。
従来、レストラン等の飲食店の店舗では、店員が、来店した顧客に挨拶をし、その顧客を空いている席まで案内する。店員は、注文を受けたり、配膳をしたりすることに加えて、来店した顧客への対応等も行わなければならない。しかし、店員が少なかったり、繁盛したりしている店舗では、顧客が来店しても、店員がすぐに対応できない場合がある。
そこで、例えば、来店した顧客の受付処理と案内処理とを行う受付案内処理装置が開示されている(例えば、特許文献1)。
特開2003−216765号公報
特許文献1に記載の装置は、受付処理と案内処理とをする店員の代わりを担っている。しかし、特許文献1は、あくまでも顧客が使用する端末が備えられているものにすぎなかった。
本発明は、人による作業負担を低減し、店員の代わりに顧客を順番に席に案内するための案内ロボット、席管理装置及びプログラムを提供することを目的とする。
本発明は、以下のような解決手段により、前記課題を解決する。
第1の発明は、被写体を撮影する撮影部と、席を予約するユーザによる予約人数を受け付ける人数受付手段と、席が空いていない場合に、前記撮影部によって得られた席の予約をするユーザの顔画像と、前記人数受付手段が受け付けた予約人数とを予約記憶部に記憶させる予約処理手段と、前記人数受付手段による予約人数を収容可能な席が空いた場合であって、前記予約処理手段により前記顔画像が記憶されている場合に、前記撮影部によって得られた撮影画像に対して顔認識処理を行い、前記予約記憶部に記憶された前記顔画像に一致するユーザを特定するユーザ特定手段と、前記ユーザ特定手段により特定した前記ユーザを、空いた席に案内する案内手段と、を備える案内ロボットである。
第2の発明は、第1の発明の案内ロボットにおいて、予約する席に関する条件を受け付ける席条件受付手段を備え、前記ユーザ特定手段は、さらに、前記席条件受付手段による前記条件を満たした席が空いた場合に、前記撮影部によって得られた撮影画像に対して顔認識処理を行い、前記予約記憶部に記憶された前記顔画像に一致するユーザを特定すること、を特徴とする案内ロボットである。
第3の発明は、第1の発明又は第2の発明の案内ロボットにおいて、席に関する情報を、表示部及び音声出力部の少なくとも一方に出力する席情報出力手段を備えること、を特徴とする案内ロボットである。
第4の発明は、第3の発明の案内ロボットにおいて、前記撮影部による撮影画像から顔画像を認識する顔画像認識手段と、前記顔画像認識手段により認識した顔画像を確認記憶部に記憶させる顔画像記憶手段と、を備え、前記席情報出力手段は、前記顔画像認識手段による認識結果と、前記確認記憶部に記憶されている顔画像との照合結果に応じて、席に関する情報を出力すること、を特徴とする案内ロボットである。
第5の発明は、第4の発明の案内ロボットにおいて、前記顔画像認識手段は、顔画像を認識した時刻を取得し、前記顔画像記憶手段は、前記顔画像認識手段により認識した顔画像と、取得した認識時刻とを対応付けて前記確認記憶部に記憶し、前記席情報出力手段は、最新の認識時刻と前記確認記憶部に記憶されている認識時刻とが一定時間経過しているか否かを判断して、席に関する情報を出力すること、を特徴とする案内ロボットである。
第6の発明は、第4の発明又は第5の発明の案内ロボットにおいて、前記顔画像認識手段は、前記撮影部による撮影画像から、店舗の入口から入店してきたユーザの顔画像を認識すること、を特徴とする案内ロボットである。
第7の発明は、第3の発明から第6の発明までのいずれかの案内ロボットにおいて、前記席情報出力手段は、席が空いており、前記顔画像が前記予約記憶部に記憶されていない場合に、空いている席に関する情報を出力すること、を特徴とする案内ロボットである。
第8の発明は、第3の発明から第6の発明までのいずれかの案内ロボットにおいて、前記予約処理手段により前記予約記憶部に記憶された予約人数から空き時間を予測する空き予測手段を備え、前記席情報出力手段は、前記空き予測手段による予測結果を出力すること、を特徴とする案内ロボットである。
第9の発明は、第1の発明から第8の発明までのいずれかの案内ロボットにおいて、前記案内手段は、前記ユーザ特定手段により特定した前記ユーザに対して、空いた席に関する情報を、表示部及び音声出力部の少なくとも一方に出力するものであること、を特徴とする案内ロボットである。
第10の発明は、第9の発明の案内ロボットにおいて、前記ユーザ特定手段により特定した前記ユーザの位置を確認するユーザ位置確認手段を備え、前記案内手段は、前記ユーザ位置確認手段によって確認した前記ユーザの位置の近傍に、この案内ロボットを移動させること、を特徴とする案内ロボットである。
第11の発明は、第1の発明から第10の発明までのいずれかの案内ロボットにおいて、対象領域内におけるこの案内ロボットの位置データを取得する位置取得手段と、前記対象領域内の席の配置位置を示す地図データを取得する地図取得手段と、を備え、前記案内手段は、前記位置取得手段により取得した前記位置データと、前記地図取得手段により取得した前記地図データとに基づいて、空いた席の近傍に、この案内ロボットを移動させること、を特徴とする案内ロボットである。
第12の発明は、第1の発明から第11の発明までのいずれかの案内ロボットにおいて、前記ユーザの属性データを取得する属性取得手段と、前記属性取得手段により取得した前記属性データに基づくレコメンド情報を取得する情報取得手段と、前記情報取得手段により取得した前記レコメンド情報を、表示部及び音声出力部の少なくとも一方に出力する情報出力手段と、を備えること、を特徴とする案内ロボットである。
第13の発明は、第12の発明の案内ロボットにおいて、前記属性取得手段は、前記予約記憶部に記憶された前記顔画像を分析した結果として得られる前記ユーザの属性データを取得すること、を特徴とする案内ロボットである。
第14の発明は、第12の発明又は第13の発明の案内ロボットにおいて、前記情報取得手段により取得した前記レコメンド情報を、通信ネットワークを介して接続された端末に送信する端末送信手段を備えること、を特徴とする案内ロボットである。
第15の発明は、第1の発明から第14の発明までのいずれかの案内ロボットにおいて、入力部を介して前記ユーザを特定するユーザ特定データの入力を受け付ける入力受付手段を備え、前記予約処理手段は、前記入力受付手段により受け付けた前記ユーザ特定データを、前記顔画像に対応付けて前記予約記憶部に記憶させること、を特徴とする案内ロボットである。
第16の発明は、第1の発明から第15の発明までのいずれかの案内ロボットとしてコンピュータを機能させるためのプログラムである。
第17の発明は、第1の発明から第15の発明までのいずれかの案内ロボットに対して通信可能に接続された席管理装置であって、席の利用状況を示すデータを取得する利用状況取得手段と、前記利用状況取得手段により取得した前記データに基づいて、席が空いているか否かを判断する空席判断手段と、前記空席判断手段により判断された結果データを、前記案内ロボットに送信する判断結果出力手段と、を備えること、を特徴とする席管理装置である。
第18の発明は、第17の発明の席管理装置において、前記利用状況取得手段は、席及びその周辺の画像を取得し、前記空席判断手段は、前記席及びその周辺の画像を分析して席が空いているか否かを判断すること、を特徴とする席管理装置である。
第19の発明は、第17の発明又は第18の発明の席管理装置において、前記席管理装置は、前記案内ロボットであること、を特徴とする席管理装置である。
第20の発明は、第17の発明から第19の発明までのいずれかの席管理装置としてコンピュータを機能させるためのプログラムである。
本発明によれば、人による作業負担を低減し、店員の代わりに顧客を順番に席に案内するための案内ロボット、席管理装置及びプログラムを提供することができる。
本実施形態に係る案内ロボットシステムの全体概要を示す図である。 本実施形態に係る案内ロボットの機能ブロック図である。 本実施形態に係る管理サーバの機能ブロック図である。 本実施形態に係る管理サーバの記憶部の例を示す図である。 本実施形態に係る案内ロボットの接客処理を示すフローチャートである。 本実施形態に係る案内ロボットの順番案内処理を示すフローチャートである。 本実施形態に係る案内ロボットの呼び込み処理を示すフローチャートである。 本実施形態に係る案内ロボットシステムの予約案内処理を示すフローチャートである。 本実施形態に係る管理サーバの待ち予測処理を示すフローチャートである。 本実施形態に係る管理サーバの学習処理を示すフローチャートである。
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
(実施形態)
図1は、本実施形態に係る案内ロボットシステム100の全体概要を示す図である。
図2は、本実施形態に係る案内ロボット1の機能ブロック図である。
図3は、本実施形態に係る管理サーバ5の機能ブロック図である。
図4は、本実施形態に係る管理サーバ5の記憶部60の例を示す図である。
図1に示す案内ロボットシステム100は、例えば、レストランや居酒屋等の飲食店で用いるシステムである。そして、案内ロボットシステム100は、店舗Sにおいて、案内ロボット1(ロボット)が店員に代わって顧客(ユーザ)に対する接客業務と、案内業務とを行う。
案内ロボットシステム100は、案内ロボット1と、管理サーバ5(席管理装置)と、POS端末7と、店内カメラ8とを備える。案内ロボット1と、店内カメラ8とは、基地局Bを介して通信ネットワークNに接続されている。また、管理サーバ5と、POS端末7とは、通信ネットワークNに直接接続されている。
基地局Bは、無線通信の基地局であって、案内ロボット1や店内カメラ8が管理サーバ5との間の通信をするための中継を行う。基地局Bは、例えば、無線LAN(Local Area Network)の基地局や、通信事業者の携帯端末通信網用の基地局である。
通信ネットワークNは、管理サーバ5と基地局Bとの間や、管理サーバ5とPOS端末7との間でのネットワークであり、例えば、インターネット回線や携帯端末通信網等である。
図1に示す例では、店舗Sは、席利用エリアUと、席待ちエリアWとを有する。
席利用エリアUは、顧客が食事を行う部分であり、4つのテーブルTa〜Tdが図のように配置されている。以降の説明において、テーブルTa〜Tdを区別しない場合には、単に、テーブルTという。そして、席利用エリアUには、上部からテーブルTを含む周辺を撮影するための店内カメラ8が設置されている。この例では、各テーブルTを撮影するために、各テーブルの近傍に店内カメラ8を備えるものになっているが、1つの店内カメラ8が、各テーブルTを撮影するように、撮影対象を切り替えて、テーブルTを順番に撮影するものであってもよい。
席待ちエリアWは、席利用エリアUの全てのテーブルTが利用中である場合に、顧客が待機する場所である。
案内ロボット1は、例えば、店舗Sの入口に近い位置であって、席利用エリアUと、席待ちエリアWとの境部分付近に配置する。そして、案内ロボット1は、顧客に対して、主に席の予約や席の案内等の業務を行う。そのため、案内ロボット1は、入口と、席待ちエリアWとを、案内ロボット1の頭部を動かすことで見渡すことができる向きに配置するのが望ましい。案内ロボット1は、高さが1m程度の人型のロボットである。
図2に示すように、案内ロボット1は、制御部10と、記憶部30と、カメラ41(撮影部)と、タッチパネルディスプレイ42(表示部、入力部)と、マイク43(入力部)と、スピーカ44(音声出力部)と、モータ部45と、通信インタフェース部49とを備える。
制御部10は、案内ロボット1の全体を制御する中央処理装置(CPU)である。制御部10は、記憶部30に記憶されているオペレーティングシステム(OS)やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部10は、画像取得部11と、画像認識部12(顔画像認識手段、顔画像記憶手段)と、空き状況取得部13と、条件受付部14a(人数受付手段、席条件受付手段)と、予約処理部14b(予約処理手段)と、ユーザ特定部15(ユーザ特定手段)と、ユーザ位置確認部16(ユーザ位置確認手段)と、案内処理部17(案内手段)と、情報出力部18(席情報出力手段、情報出力手段、空席出力手段、時間出力手段)と、属性取得部20(属性取得手段)とを備える。
画像取得部11は、カメラ41から撮影画像を取得する。案内ロボット1は、主に、席待ちエリアWと、店舗Sの入口付近との撮影画像を、カメラ41を介して取得する。
画像認識部12は、取得した撮影画像に対して画像認識を行って、顧客の顔画像を取得する。また、画像認識部12は、画像認識をした時刻を取得する。そして、画像認識部12は、取得した顧客の顔画像を、取得した時刻(認識時刻)に対応付けて確認画像記憶部34に記憶する。さらに、画像認識部12は、画像認識処理によって取得した顧客の顔画像から、顧客の顔画像の特徴データを取得してもよい。ここで、取得した特徴データは、顧客の属性データを取得する際に使用できる。
空き状況取得部13は、後述する空席フラグ32aによって、席利用エリアUのテーブルT(席)が空いているか否かを確認する。以降の説明において、空き状況取得部13は、席が空いているか否かの確認を、テーブルTの単位で空いているか否かを確認するものであるとして説明する。例えば、4人掛けのテーブルに3人着席しており、1つの席が空いていても、次の顧客は、相席をする以外には待たなければならないからである。なお、店舗Sの形態によっては、例えば、カウンタのみの場合等の場合には、席が空いているかの確認を、テーブルの単位ではなく、イスの単位で確認するものであっても、もちろんよい。
条件受付部14aは、空き状況取得部13によりテーブルTが空いていないことを確認した場合に、テーブルTの予約をする顧客から、予約人数や、席に関する希望(例えば、喫煙席を希望等)を含む席条件を受け付ける。条件受付部14aは、席条件を、例えば、タッチパネルディスプレイ42や、マイク43を介して受け付けることができる。
予約処理部14bは、空き状況取得部13によりテーブルTが空いていないことを確認した場合に、カメラ41を介して予約をする顧客の顔画像を取得し、管理サーバ5に対して出力する。これを受けて、管理サーバ5では、受け付けた顔画像を、予約DB(データベース)62に登録する。また、予約処理部14bは、タッチパネルディスプレイ42や、マイク43を介して受け付けた顧客の氏名(ユーザ特定データ)を取得し、条件受付部14aが受け付けた席条件のデータである付随データと共に管理サーバ5に対して出力する。これを受けて、管理サーバ5では、受け付けた顧客の氏名や付随データを、予約DB62に登録する。
ユーザ特定部15は、空き状況取得部13によりテーブルTが空いていることを確認した場合であって、後述する登録フラグ32bによって、予約DB62に予約中の顧客が存在する場合に、顧客を特定する処理を行う。具体的には、ユーザ特定部15は、カメラ41を介して席待ちエリアWを撮影し、席待ちエリアWにいる顧客の顔画像を取得して管理サーバ5に対して出力する。これを受けて、管理サーバ5では、受け付けた顔画像に一致する予約DB62の顔画像を特定して、特定した顔画像や氏名のデータを、案内ロボット1に出力する。これらの処理により、ユーザ特定部15は、次に案内をする顧客を特定できる。
ユーザ位置確認部16は、ユーザ特定部15によって特定した顧客がいる位置を確認する。
案内処理部17は、例えば、モータ部45を制御して、ユーザ位置確認部16により確認した顧客の位置に、この案内ロボット1を移動させる。そして、案内処理部17は、氏名や、案内対象のテーブルTに関するデータを、タッチパネルディスプレイ42及びスピーカ44の少なくとも一方に出力させる。そのようにすることで、席待ちエリアWにいる顧客は、自分の順番が来たことと、利用可能なテーブルTの情報とを確認できる。
情報出力部18は、店舗の入口から入店してきた顧客の顔画像と、確認画像記憶部34に記憶された顔画像とを照合し、照合結果に応じて、席に関する情報を、タッチパネルディスプレイ42及びスピーカ44の少なくとも一方に出力させる。
具体的には、例えば、照合結果として一致する顔画像が確認画像記憶部34にない場合に、その顧客が初めて入店したものとして、情報出力部18は、席に関する情報を出力させる。また、照合結果として一致する顔画像が確認画像記憶部34にある場合に、時刻が一定時間(例えば、3時間等)を経過していれば、その顧客がまた来店したものとして、情報出力部18は、席に関する情報を出力させる。
席に関する情報としては、例えば、空き状況取得部13によりテーブルTが空いていることを確認した場合であって、登録フラグ32bによって、予約DB62に予約中の顧客が存在しない場合、つまり、テーブルTが空いていて、待っている顧客もいない場合に、情報出力部18は、空いているテーブルTに関する情報を出力させる。
また、例えば、登録フラグ32bによって、予約DB62に予約中の顧客が存在する場合、つまり、既にテーブルTが空くのを待っている顧客がいる場合には、情報出力部18は、管理サーバ5から受信したテーブルTが空くまでの待ち予測時間情報を出力させる。
さらに、情報出力部18は、後述で説明する属性取得部20が取得した顧客の属性データに基づくレコメンド情報を出力する。顧客の属性データに基づくレコメンド情報とは、例えば、メニューの中のおすすめ料理をいう。
属性取得部20は、顧客の顔画像に対して画像処理をした結果に基づいて、顧客の性別、年齢等の属性データを取得する。また、属性取得部20は、テーブルTの予約時に顧客が入力した顧客自身に関するデータや、来店人数等のデータを、属性データとして取得してもよい。
記憶部30は、制御部10が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部30は、プログラム記憶部31と、フラグ記憶部32と、属性DB33と、確認画像記憶部34(確認記憶部)とを備える。
プログラム記憶部31は、プログラムを記憶する記憶領域である。プログラム記憶部31は、上述した制御部10の各種機能を実行するためのロボットプログラム31aを記憶している。
フラグ記憶部32は、案内ロボット1の制御部10が実行する処理で用いるフラグを記憶する記憶領域である。フラグ記憶部32は、管理サーバ5から受信したデータに基づいて、対象のフラグを更新する。
フラグ記憶部32は、空席フラグ32aと、登録フラグ32bとを備える。
空席フラグ32aは、テーブルTが空いているか否かを示すフラグである。空席フラグ32aは、テーブルTが1つでも空いている場合に「1」が設定され、テーブルTが全て空いていない場合に「0」が設定される。
登録フラグ32bは、管理サーバ5の予約DB62に、案内済ではない予約データが登録されているか否かを示すフラグである。登録フラグ32bは、予約データが登録されている場合に「1」が設定され、予約データが登録されていない場合に「0」が設定される。
属性DB33は、属性データと、例えば、その店舗Sでのおすすめの情報とを対応付けて記憶するデータベースである。なお、属性DB33は、属性データに対応付けて、その属性に合った顧客に提示する情報が記憶されていれば、おすすめの情報に限定されるものではない。
確認画像記憶部34は、画像認識部12により取得した顧客の顔画像を記憶する記憶領域である。確認画像記憶部34は、例えば、1日や1週間等のサイクルで、データを削除するようにしてもよい。
カメラ41は、撮影装置である。カメラ41は、例えば、案内ロボット1の目の部分に対応する位置に設けられている。そして、カメラ41は、案内ロボット1の顔が向いた方向の被写体を撮影する。カメラ41により撮影される画像は、静止画像であっても、動画であってもよい。
タッチパネルディスプレイ42は、液晶パネル等で構成される表示部としての機能と、顧客からの指等によるタッチ入力を検出する入力部としての機能とを有する。タッチパネルディスプレイ42は、例えば、案内ロボット1の胸の部分に対応する位置に設けられている。そして、タッチパネルディスプレイ42は、文字等により各種の情報を表示し、顧客からの手入力を可能にしている。
マイク43は、音声入力装置である。マイク43は、例えば、案内ロボット1の耳の部分に対応する位置に設けられている。そして、マイク43は、制御部10の指示に基づいて集音する。
スピーカ44は、音声出力装置である。スピーカ44は、例えば、案内ロボット1の口の部分に対応する位置に設けられている。そして、スピーカ44は、制御部10の指示に基づいて音声を出力する。
モータ部45は、案内ロボット1に動作をさせるためのモータである。モータ部45は、頭部モータ45aと、腕部モータ45bと、足部モータ45cとを備える。
頭部モータ45aは、案内ロボット1の頭部を動作させるためのモータである。頭部モータ45aは、制御部10によって制御され、頭部を上下左右に動かす。
腕部モータ45bは、案内ロボット1の腕部を動作させるためのモータである。腕部モータ45bは、制御部10によって制御され、腕部を上下等に動かす。
足部モータ45cは、案内ロボット1の足部を動作させるためのモータである。足部モータ45cは、制御部10によって制御され、例えば、案内ロボット1の位置を移動させる。
なお、モータ部45が備える上述した各モータは、例示であって、例えば、これ以外のモータを備えてもよいし、一部のモータがなくてもよい。
通信インタフェース部49は、管理サーバ5との間の通信を行うためのインタフェースである。
<管理サーバ5>
管理サーバ5は、例えば、サーバであり、顧客によるテーブルTの利用を管理し、テーブルTが利用できるまでの時間である待ち時間を予測するための学習を行う。
図3に示すように、管理サーバ5は、制御部50と、記憶部60と、通信インタフェース部69とを備える。
制御部50は、管理サーバ5の全体を制御するCPUである。制御部50は、記憶部60に記憶されているOSやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部50は、利用状況取得部51(利用状況取得手段、画像処理手段、属性取得手段、注文取得手段)と、空席判断部52(空席判断手段)と、判断結果出力部53(判断結果出力手段)と、利用時間予測部54(利用予測手段)と、待ち時間予測部55(待ち予測手段)と、予測出力部56(予測出力手段)と、実利用時間取得部57(利用時間取得手段)と、学習部59(学習手段)とを備える。
利用状況取得部51は、テーブルTの利用状況を示す利用状況データを取得する。ここで、利用状況取得部51は、例えば、店内カメラ8を介して取得したテーブルT周辺の画像を解析した結果に基づく利用状況データを取得する。この場合は、利用状況データは、例えば、テーブルTに顧客が着席しているか否かに関するデータや、テーブルT上の食べ物の残り具合に関するデータである。
また、利用状況データは、例えば、人数、子供の有無等の属性データを含んでもよい。
さらに、利用状況データは、例えば、注文データを含んでもよい。注文データは、例えば、POS端末7から受信した顧客が利用したテーブルTの番号と、どのような注文をしたかである注文内容とを含んでもよい。
さらにまた、利用状況データは、例えば、テーブルTに顧客が着席しているか否かを検知するセンサ(図示せず)からの信号に基づくものであってもよいし、POS端末7から受信したテーブルTの番号と、会計済のデータとであってもよい。
空席判断部52は、上述した利用状況データに基づいて、テーブルTが空いているか否かを判断する。
判断結果出力部53は、空席判断部52による判断結果を、案内ロボット1に対して送信する。なお、案内ロボット1では、判断結果出力部53からの判断結果を受けて、空席フラグ32aを更新する。
利用時間予測部54は、上述した利用状況データと、後述する学習部59による学習結果である学習モデルとを用いて、各テーブルTの利用予測時間を算出する。
待ち時間予測部55は、利用時間予測部54により算出した各テーブルTの利用予測時間に基づいて、テーブルTが空くまでの待ち予測時間を算出する。
ここで、待ち時間予測部55は、次の予約データの人数を考慮して、待ち予測時間を算出してもよい。店舗Sによっては、来店した順番に顧客を案内する場合がある。その場合には、次の予約データの人数に対応可能なテーブルTの利用予測時間のみを用いて、待ち予測時間を算出すればよい。
また、店舗Sによって、空いたテーブルの収容人数に合う予約データを優先させて案内する場合がある。その場合には、全てのテーブルTの利用予測時間を用いて、待ち予測時間を算出すればよい。
予測出力部56は、待ち時間予測部55が算出した待ち予測時間を、案内ロボット1に対して送信する。
実利用時間取得部57は、各顧客によるテーブルTの実際の利用時間を取得する。実利用時間取得部57は、例えば、案内ロボット1がテーブルTの案内をした時点に計時を開始し、着席しているか否かを検知するセンサ(図示せず)からの信号が所定時間を越えて着席を検知しなかった場合に、計時を終了することで、実利用時間を取得してもよい。また、実利用時間取得部57は、例えば、案内ロボット1がテーブルTの案内をした時点に計時を開始し、POS端末7から受信した該当のテーブルTの番号と、会計済のデータを受信した場合に、計時を終了することで、実利用時間を取得してもよい。
学習部59は、例えば、実利用時間と、利用状況データとを組にした学習を行うことにより、学習モデルを構築する。ここで、利用状況データを与えた場合に、利用予測時間を出力する学習モデルが構築できるのであれば、どのような技術を用いてもよく、例えば、公知の機械学習や、ディープラーニングの技術を用いるものであってよい。
記憶部60は、制御部50が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部60は、プログラム記憶部61と、予約DB62(予約記憶部)と、テーブル管理DB63と、利用履歴DB64と、学習モデル記憶部65とを備える。
プログラム記憶部61は、各種のプログラムを記憶する記憶領域である。プログラム記憶部61は、上述した制御部50の各種機能を実行するための処理プログラム61aを記憶している。
予約DB62は、テーブルTを使用するための予約データを記憶するデータベースである。
図4(A)に示す例では、予約DB62は、予約ID(IDentification)と、予約日時と、氏名と、画像データと、付随データと、案内済フラグとの各項目を有する。
予約IDは、予約DB62のレコードである予約データを特定するための識別情報である。
予約日時は、予約DB62に登録した日時である。
氏名は、予約した顧客の氏名である。氏名は、顧客が手入力した文字データであっても、顧客が発した音声データであってもよい。また、今回のテーブルTの予約に関して、氏名の入力は、任意である。
画像データは、予約時に案内ロボット1のカメラ41が撮影した画像から、顔を検出してその部分を抽出したデータである。なお、画像データは、カメラ41が撮影した画像そのものであってもよいし、顔画像を解析した特徴データであってもよい。
付随データは、顧客が手入力や音声による入力をした、テーブルTを使用する人数や、喫煙有無、個室やカウンタ希望等の要望データである。
案内済フラグは、このレコードが示す予約データが案内済である場合に、「1」が設定され、案内していない場合には、「0」が設定される。なお、案内済フラグは、予約時点では「0」である。
テーブル管理DB63は、テーブルTに関するデータを記憶するデータベースである。
図4(B)に示す例では、テーブル管理DB63は、テーブルIDと、テーブル情報と、使用中フラグとの各項目を有する。
テーブルIDは、テーブルTを識別する識別情報である。
テーブル情報は、最大着席可能人数や、喫煙席であるか等、テーブルTの内容に関する情報である。
使用中フラグは、テーブルTを使用中であるか否かを示すフラグである。使用中フラグは、テーブルTが使用中である場合に「1」が設定され、未使用である場合に「0」が設定される。
ここで、使用中フラグと、案内ロボット1の空席フラグ32aとの関係について説明する。テーブル管理DB63の全てのテーブルIDに対応する使用中フラグが「1」(使用中)の場合には、案内ロボット1の空席フラグ32aを「0」(空席なし)になり、テーブルIDに対応する使用中フラグが「0」(未使用)が1つでもある場合には、案内ロボット1の空席フラグ32aを「1」(空席あり)になる。
利用履歴DB64は、テーブルTの利用履歴を記憶する記憶領域である。
図4(C)に示す例では、利用履歴DB64は、案内日時と、テーブルIDと、画像データと、付随データと、予約IDと、注文データとの各項目を有する。
案内日時は、案内ロボット1が顧客を案内した日時である。
テーブルIDは、案内ロボット1が顧客を案内したテーブルTの識別情報である。
画像データ及び付随データは、予約DB62の該当項目のデータをコピーする。画像データは、予約DB62の画像の他、テーブルTを利用中に店内カメラ8が取得した画像をも含む。
予約IDは、テーブルTを利用している顧客が予約者であった場合に、予約DB62の予約IDを記憶する。
注文データは、POS端末7から取得した注文内容のデータを記憶する。
図3に戻り、学習モデル記憶部65は、学習部59によって構築した学習モデルを記憶する。
通信インタフェース部69は、案内ロボット1、POS端末7及び店内カメラ8との間の通信を行うためのインタフェースである。
<POS端末7>
図1に戻り、POS端末7は、店舗S内で顧客が会計を行う位置に設けられ、決済処理を行う端末である。POS端末7は、テーブルIDに対応付けて、注文データや会計済データを、管理サーバ5に対して送信する。注文データは、例えば、図示しない店員が所持する携帯端末からPOS端末7に対して送信され、さらに管理サーバ5に対して送信されてもよい。また、店員の携帯端末から、管理サーバ5に対して注文データを直接送信してもよい。POS端末7は、図示していないが、制御部、記憶部、表示部、入力部、リーダライタ、通信インタフェース部等を備える。
<店内カメラ8>
店内カメラ8は、店舗Sの席利用エリアUを撮影する撮影装置である。店内カメラ8は、席利用エリアUの各テーブルTの周辺を常に、又は、一定周期で撮影し、取得した画像を、管理サーバ5に対して送信する。
<案内ロボット1の処理>
次に、案内ロボット1の処理について説明する。
図5は、本実施形態に係る案内ロボット1の接客処理を示すフローチャートである。
ここで、案内ロボット1の電源が投入されると、案内ロボット1は、この接客処理を実行するものとする。
ステップS(以下、「S」という。)1において、案内ロボット1の制御部10は、順番案内処理を行う。順番案内処理については、後述する。なお、順番案内処理は、予約している顧客を順番にテーブルTに案内するための処理である。
S2において、制御部10は、モータ部45を制御して、案内ロボット1の頭部を、店舗Sの入口方向に向ける。
S3において、制御部10は、呼び込み処理を行う。呼び込み処理については、後述する。なお、呼び込み処理は、入口付近の顧客に対して入店を促すための声掛けをする。また、呼び込み処理は、テーブルTに空きがない場合には、予約案内を行う。
S4において、制御部10は、タッチパネルディスプレイ42のタッチ操作を受け付けたか否かを判断する。タッチパネルディスプレイ42のタッチ操作を受け付けた場合(S4:YES)には、制御部10は、処理をS5に移す。他方、タッチパネルディスプレイ42のタッチ操作を受け付けない場合(S4:NO)には、制御部10は、処理をS1に移す。
S5において、制御部10は、タッチパネルディスプレイ42に、メニュー画面(図示せず)を表示させる。ここで、タッチパネルディスプレイ42は、メニュー画面を表示する前は、例えば、コマーシャル等の映像を出力していてもよい。メニュー画面は、例えば、待ち人数や、待ち予測時間や、各テーブルTの利用状態を表示させたり、予約画面(図示せず)を表示して、予約受付を行わせたりするためのものである。そして、制御部10は、顧客による選択操作にしたがって、各種処理を行う。その後、制御部10は、処理をS1に移す。
そして、制御部10は、案内ロボット1の電源が投入されている限りにおいて、S1からS5までの処理を繰り返す。
次に、順番案内処理について説明する。
図6は、本実施形態に係る案内ロボット1の順番案内処理を示すフローチャートである。
S10において、制御部10(空き状況取得部13)は、空席フラグ32aを参照し、テーブルTが空いているか否かを判断する。ここで、テーブルTが空いている場合には、空席フラグ32aは「1」であり、テーブルTが空いていない場合には、空席フラグ32aは「0」である。テーブルTが空いている場合(S10:YES)には、制御部10は、処理をS11に移す。他方、テーブルTが空いていない場合(S10:NO)には、制御部10は、本処理を終了し、処理を図5に移す。つまり、テーブルTが空いていない場合には、案内ロボット1は、席の案内を行わない。
S11において、制御部10は、登録フラグ32bを参照し、予約DB62に予約データが登録されているか否かを判断する。ここで、予約データが登録されている場合には、登録フラグ32bは「1」であり、予約データが登録されていない場合には、登録フラグ32bは「0」である。予約データが登録されている場合(S11:YES)には、制御部10は、処理をS12に移す。他方、予約データが登録されていない場合(S11:NO)には、制御部10は、本処理を終了し、処理を図5に移す。
S12において、制御部10は、次に案内する顧客の予約データに条件が合致したテーブルTが空いているか否かを判断する。この処理は、制御部10が、管理サーバ5に該当のテーブルTの空きを問合せて、問合せ結果を受信してもよいし、管理サーバ5から次の予約データと、空いているテーブルTのデータとを受信して、制御部10による処理に基づいて判断してもよい。ここで、条件は、付随データに対応する。例えば、禁煙席を希望する顧客に対して、空いたテーブルTが喫煙席であれば、制御部10は、顧客の予約データに条件が合致したテーブルTが空いていないと判断する。
次の予約データに条件が合致したテーブルTが空いている場合(S12:YES)には、制御部10は、処理をS13に移す。他方、次の予約データに条件が合致したテーブルTが空いていない場合(S12:NO)には、制御部10は、本処理を終了し、処理を図5に移す。
S13において、制御部10は、次の予約データを管理サーバ5から受信する。
S14において、制御部10(ユーザ特定部15)は、受信した予約データに含まれる画像と、カメラ41を介して取得した画像とが一致する顧客を特定する。この処理は、上述で説明したように、管理サーバ5で行ってもよい。
S15において、制御部10(案内処理部17)は、特定した顧客を、空いているテーブルTに案内する。
例えば、制御部10(案内処理部17)は、例えば、「○○様、お待たせしました。○○テーブルへどうぞ。」のように、音声をスピーカ44から出力してもよい。ここで、氏名(名前)は、予約時に顧客が入力したデータを、文字認識処理をすることで音声に変換して、音声出力してもよいし、顧客が音声入力した部分を再生してもよい。このように、氏名を呼んで案内をすることで、顧客は、自分が呼ばれたことを認識でき、店員と遜色ない案内を、案内ロボット1によって実現できる。
また、例えば、制御部10(ユーザ位置確認部16、案内処理部17)は、足部モータ45cを制御して、特定した顧客の近傍に移動させる。そして、制御部10は、例えば、「ご案内します。○○テーブルです。」のように、音声をスピーカ44から出力してもよい。このようにすることで、案内する顧客を特定し、場所を伝えるので、必要な案内を、案内ロボット1で実現できる。また、この場合には、氏名等を呼ばないので、予約時に顧客による氏名の入力が不要である。また、他人に氏名が知られることがない。
さらに、制御部10は、対象の顧客に対して声掛けをした後に、足部モータ45cを制御して、案内するテーブルTの近傍まで移動させてもよい。
さらにまた、制御部10(属性取得部20)は、顔画像から属性データを取得する。属性データは、例えば、性別や、年齢等に関するものである。そして、制御部10(情報出力部18)は、属性DB33を参照し、取得した属性データに対応するおすすめ料理を、タッチパネルディスプレイ42に出力させてもよい。
S16において、制御部10は、データ更新依頼を行う。具体的には、制御部10は、案内日時とテーブルIDとを、管理サーバ5に送信する。これにより、管理サーバ5では、制御部50が、予約DB62を更新し、テーブル管理DB63の該当のテーブルIDの使用中フラグを「0」から「1」に更新する。さらに、制御部50は、利用履歴DB64に、レコードを追加して、各項目に該当するデータを登録する。
そして、テーブル管理DB63の全ての使用中フラグが「1」になっていれば、制御部50は、空席フラグ32aを「0」にする信号を案内ロボット1に送信する。そして、信号を受信した案内ロボット1の制御部10は、空席フラグ32aを「0」(空きなし)に更新する。
その後、制御部10は、本処理を終了し、処理を図5に移す。
次に、呼び込み処理について説明する。
図7は、本実施形態に係る案内ロボット1の呼び込み処理を示すフローチャートである。
図8は、本実施形態に係る案内ロボットシステム100の予約案内処理を示すフローチャートである。
図9は、本実施形態に係る管理サーバ5の待ち予測処理を示すフローチャートである。
図7のS20において、案内ロボット1の制御部10(画像取得部11)は、カメラ41を介して画像を取得する。
S21において、制御部10(画像認識部12)は、取得した画像を分析して、人を検出する。ここで、制御部10は、公知の人検出や顔検出等の技術によって、人を検出することができる。
S22において、制御部10(画像認識部12)は、人を検出できたか否かを判断する。人を検出できた場合(S22:YES)には、制御部10は、処理をS23に移す。他方、人を検出できなかった場合(S22:NO)には、制御部10は、本処理を終了し、処理を図5に移す。
S23において、制御部10(画像認識部12)は、検出した人が、入口から入ってきた人であるか否かを判断する。制御部10は、入口から入ってきたか否かを、画像に含まれる人の背景によって判断してもよい。また、制御部10は、案内ロボット1の向きと、検出した人の向きとによって、入口から入ってきたか否かを判断してもよい。入口から入ってきた人である場合(S23:YES)には、制御部10は、処理をS24に移す。他方、入口から入ってきた人ではない場合(S23:NO)には、制御部10は、本処理を終了し、処理を図5に移す。
S24において、制御部10(画像認識部12)は、画像を認識し、認識した人の顔画像を、認識した時刻に対応付けて確認画像記憶部34に記憶させる。
S25において、制御部10(画像認識部12)は、情報出力対象であるか否かを判断する。具体的には、制御部10は、認識した人の顔画像と、確認画像記憶部34に既に記憶されている顔画像とを照合した結果、不一致である場合、つまり、認識した顔画像が確認画像記憶部34に記憶されていなかった場合に、情報出力対象であると判断する。また、制御部10は、認識した人の顔画像と、確認画像記憶部34に既に記憶されている顔画像とを照合した結果、一致するものがあった場合でも、一致したレコードの時刻が一定時間を経過していれば、情報出力対象であると判断する。これは、その人が店舗Sの入口を出たり入ったりしている場合に、情報出力対象外にする一方、再度来店した顧客に対しては、声掛けをすることを示す。情報出力対象である場合(S25:YES)には、制御部10は、処理をS26に移す。他方、情報出力対象ではない場合(S25:NO)には、制御部10は、本処理を終了し、処理を図5に移す。
S26において、制御部10(空き状況取得部13)は、空席フラグ32aを参照し、テーブルTが空いているか否かを判断する。テーブルTが空いている場合(S26:YES)には、制御部10は、処理をS27に移す。他方、テーブルTが空いていない場合(S26:NO)には、制御部10は、処理をS29aに移す。
S27において、制御部10(情報出力部18)は、声掛け処理を行う。具体的には、制御部10は、例えば、スピーカ44から「いらっしゃいませ。ご来店ありがとうございます。今ならすぐにご案内ができます。」等と音声出力する。ここで、制御部10は、タッチパネルディスプレイ42に、空いているテーブルTの情報を表示させてもよい。そして、顧客が希望するテーブルTを、顧客に選択させてもよい。
S28において、制御部10は、テーブルTの申込を受け付けたか否かを判断する。ここで、申込の受付は、顧客によるテーブルTの選択操作であってもよい。また、顧客が空いているテーブルTに着席したことを、画像やセンサによって検出したことで、申込を受け付けたと判断してもよい。テーブルTの申込を受け付けた場合(S28:YES)には、制御部10は、処理をS29に移す。他方、テーブルTの申込を受け付けない場合(S28:NO)には、制御部10は、本処理を終了し、処理を図5に移す。
S29において、制御部10は、データ更新依頼を行う。具体的には、制御部10は、案内日時と申込を受け付けたテーブルTのテーブルIDとを、管理サーバ5に送信する。これにより、管理サーバ5では、制御部50は、テーブル管理DB63の該当のテーブルIDの使用中フラグを「0」から「1」に更新する。また、制御部50は、利用履歴DB64に、レコードを追加して、案内日時及びテーブルIDを記憶する。
そして、テーブル管理DB63の全ての使用中フラグが「1」になっていれば、制御部50は、空席フラグ32aを「0」にする信号を案内ロボット1に送信するので、案内ロボット1の制御部10は、空席フラグ32aを「0」に更新する。
その後、制御部10は、本処理を終了し、処理を図5に移す。
他方、S29aにおいて、制御部10は、予約案内処理を行う。
ここで、予約案内処理について、図8に基づき説明する。
図8のS30において、案内ロボット1の制御部10は、管理サーバ5に待ち予測を依頼する。
S31において、管理サーバ5の制御部50は、待ち予測処理を行う。
ここで、管理サーバ5が行う待ち予測処理について、図9に基づき説明する。
図9のS40において、管理サーバ5の制御部50(利用状況取得部51)は、各テーブルTの利用状況を確認し、利用状況データを取得する。具体的には、制御部50は、例えば、店内カメラ8から取得した画像を分析して、テーブルTの食事の進捗状況(食べ物の残量)を確認し、食べ終わりを100%とした場合の画像による進捗度合をデータにしてもよい。また、制御部50は、例えば、注文データと、着席してからの時間とに基づいて、注文による進捗度合をデータにする。さらに、制御部50は、例えば、テーブルTを使用する顧客の属性データに基づいて、属性による進捗度合をデータにする。この場合、属性データは、例えば、男女に関するものであり、進捗度合のデータとしては、顧客が男性だけの方が、女性がいる場合よりも進捗度合が早いものになる。
S41において、制御部50(利用時間予測部54)は、学習モデル記憶部65に記憶された学習モデルを用いて、利用状況データに基づいて、各テーブルTにおける利用時間を予測する。
S42において、制御部50(待ち時間予測部55)は、各テーブルTの予測利用時間に基づいて、待ち時間を予測した待ち予測時間を算出する。その後、制御部50は、処理を図8に移す。
図8に戻り、S32において、制御部50(予測出力部56)は、待ち予測処理での処理結果として算出した待ち予測時間を、案内ロボット1に送信する。その後、管理サーバ5の制御部50は、本処理を終了する。
S33において、案内ロボット1の制御部10(情報出力部18)は、受信した待ち予測時間を、例えば、タッチパネルディスプレイ42に出力する。また、制御部10は、待ち予測時間を、例えば、スピーカ44から出力してもよい。これにより、案内ロボット1の近くにいる顧客は、待ち予測時間を見たり聞いたりして、予約をするか否かを考えることができる。
S34において、制御部10は、予約をするための情報を、例えば、タッチパネルディスプレイ42に出力する。また、制御部10は、音声によって予約をするための情報を出力してもよい。顧客は、予約をするための情報を見たり聞いたりして、予約をする場合には、その指示にしたがってタッチ操作によって入力をしたり、音声によって入力したりする。そして、制御部10(条件受付部14a)は、予約人数や、テーブルTの希望等のテーブルTに関する条件を受け付ける。また、制御部10(画像取得部11)は、カメラ41を介して顧客の顔画像を取得する。
S35において、制御部10は、S34による出力後、一定期間内に予約を受け付けたか否かを判断する。予約を受け付けた場合(S35:YES)には、制御部10は、処理をS36に移す。他方、予約を受け付けなかった場合(S35:NO)には、制御部10は、本処理を終了し、処理を図7に移す。
S36において、制御部10(予約処理部14b)は、受け付けた内容に基づいて、予約登録依頼を管理サーバ5に対して行う。具体的には、制御部10は、顔画像と、人数等の付随データと、氏名とを、管理サーバ5に対して送信する。これにより、管理サーバ5では、制御部50は、予約DB62にレコードを作成し、予約ID、予約日時の他、受信したデータを、該当する各項目に対応付けて記憶する。
その後、制御部10は、本処理を終了し、処理を図7に移す。
図7に戻り、制御部10は、本処理を終了し、処理を図5に移す。
このようにすることで、テーブルTが空いていない場合には、案内ロボット1がテーブルTの予約案内を顧客に対して行うことができる。また、予約の方法として、顧客がタッチパネルディスプレイ42を操作することなく、予約を行うことを可能にしている。そのため、顧客による操作を不要にするため、店員が聞き取るのと同じものにできる。
次に、管理サーバ5で行う学習処理について説明する。
図10は、本実施形態に係る管理サーバ5の学習処理を示すフローチャートである。
ここで、管理サーバ5の電源が投入されている場合に、管理サーバ5は、この学習処理を実行するものとする。
S50において、制御部50は、テーブルTの利用が終了したことを検出したか否かを判断する。制御部50は、例えば、POS端末7から会計済データを受信したことによって、テーブルTの利用が終了したことを検出できる。テーブルTの利用が終了したことの検出は、その他、様々な方法によって行うことができる。利用終了を検出した場合(S50:YES)には、制御部50は、処理をS51に移す。他方、利用終了を検出していない場合(S50:NO)には、制御部50は、利用終了を検出するまで、本処理を繰り返す。
S51において、制御部50は、テーブル管理DB63の該当のテーブルIDに対応した使用中フラグを、「0」(未使用)に更新する。
S52において、制御部50(実利用時間取得部57)は、利用履歴DB64を参照して、該当のテーブルIDの案内日時と、利用終了を検出した日時とに基づいて、テーブルTの実際の利用時間を取得する。
S53において、制御部50(利用状況取得部51)は、該当のテーブルIDに対応する利用状況データを取得する。ここで、制御部50は、利用状況データを、一定のタイミングで取得し、時系列に記憶部60の一時記憶領域に記憶しておく。
S54において、制御部50(学習部59)は、利用状況データと、実際の利用時間とに基づいて、学習処理を行う。その後、制御部50は、処理をS50に移す。
なお、このフローチャートにおいては、制御部50は、学習処理を、テーブルTの利用終了を検出したタイミングで行うものとして説明した。しかし、制御部50は、利用状況データの取得までを、テーブルTの利用終了を検出したタイミングで行っておき、取得した各種のデータを一時記憶させて、夜間等にバッチ処理として一括して学習処理を行うようにしてもよい。
このように、本実施形態の案内ロボットシステム100によれば、以下のような効果がある。
(1)席の予約時に、案内ロボット1が顧客の画像を撮影して予約DB62に記憶しておき、席が空いたことを確認した際には、予約DB62に記憶された画像に基づいて案内ロボット1が取得した画像から予約した顧客を特定して案内する。よって、案内ロボット1は、顧客の顔画像を認識して判断することで、予約した顧客を特定することができる。その結果、店員が行う場合と同じように、自然な接客を、案内ロボット1に行わせることができる。
(2)席の予約時に、人数や予約する席に関する条件を受け付けて、予約DB62に記憶するので、条件に合った席が空いた場合に、顧客を特定して案内できる。
(3)店舗Sの入口から入店した顧客の顔画像を認識し、確認画像記憶部34に一致する顔画像がない場合には、席に関する情報を出力する。よって、初めて店舗Sの入口から入店した顧客に対して、声掛けができると共に、何度も店舗Sの入口を出入りしている顧客には、声掛けをしない、という人が行うものと同等の接客を案内ロボット1に行わせることができる。
また、店舗Sの入口から入店した顧客の顔画像を認識し、確認画像記憶部34に一致する顔画像がある場合であっても、一定時間が経過している場合には、席に関する情報を出力する。よって、同じ顧客であっても、店舗Sの入口から再度入店した場合には、案内ロボット1に適切に声掛けをさせることができる。
(4)席が空いており、予約DB62に予約データが登録されていない場合に、案内ロボット1が店舗Sの入口付近に人を検出すると、空いている席に関する情報を出力する。よって、通りすがりの人に、席が空いていることを知らせることができ、集客力の向上に寄与し得る。
(5)席に案内する顧客に対して、空いた席に関する情報を、案内ロボット1のタッチパネルディスプレイ42及びスピーカ44の少なくとも一方から出力するので、席待ちをしている顧客に対して、どこの席が空いたのかを、画像又は音声によって知らせることができる。その際、案内ロボット1は、特定した顧客の近傍に移動して出力することで、席待ちをしている顧客に対しての出力であることを、より明確に示すことができる。
(6)案内ロボット1が取得した画像から顧客の属性データを取得して、属性データに基づくレコメンド情報として、例えば、おすすめ料理等を、案内ロボット1のタッチパネルディスプレイ42に出力する。よって、顧客ごとにその顧客に合ったレコメンド情報を提供できる。
(7)予約時に、案内ロボット1が顧客の氏名の入力を受け付けることで、案内時には、顧客の氏名を用いた案内を行うことができる。
(8)管理サーバ5は、席の利用状況を、席周辺の画像を用いて判断することができる。よって、店員等による入力を行う必要がなく、席を利用しているか否かの判断を、画像処理によって行うことができる。
(9)管理サーバ5は、席の利用状況を示す利用状況データに基づいて、席の利用予測時間を算出し、席が空くまでの時間を予測して出力できる。よって、利用状況データから、席が空くまでの時間を予測できる。
(10)利用状況データを、席周辺を撮影した画像に基づいて取得することで、例えば、食事の進捗状況を、画像によって把握できる。
(11)利用状況データを、顧客の属性データを含むものにすることで、属性データを考慮したものにできる。
(12)利用状況データを、注文データを含むものにすることで、注文データを考慮したものにできる。
(13)管理サーバ5は、顧客による実際の席の利用時間と、利用状況データとを用いて学習を行い、学習結果を用いて、顧客の利用予測時間を算出できる。よって、学習によって、より正確な利用予測時間を算出できる。
(14)管理サーバ5は、実際の席の利用時間を、座っている状態を検出するセンサや、POS端末7からのデータを用いることで、自動的に算出できる。
(15)案内ロボット1は、算出した待ち予測時間を出力するので、顧客がどれくらい待てばよいかの指標を得ることができ、安心感を与えることができる。また、案内ロボット1は、顧客が初めて店舗Sの入口から入店した際に、待ち予測時間を出力するので、店舗Sを利用するか否かの判断を、顧客に早期に与えることができる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
(変形形態)
(1)本実施形態では、案内ロボットと、管理サーバとを連携させて処理をするものとして説明したが、これに限定されない。管理サーバの各機能を、案内ロボットに有するようにすれば、案内ロボットによって行うことができる。
また、管理サーバの機能の一部を、案内ロボットに有するようにしてもよい。
さらに、本実施形態では、POS端末からのデータや、店内カメラからの画像を用いるものとして説明したが、これに限定されない。同様のデータを取得できれば他の装置でもよく、例えば、案内ロボットが適宜撮影した画像を使用することで行うことができる。
(2)本実施形態では、案内ロボットが顧客の近傍の位置に移動して、空いた席に関する情報を出力するものを例に説明したが、これに限定されない。案内ロボットが、店舗内における案内ロボットの位置データを、例えば、GPSやビーコン等によって取得し、席の配置位置を示す地図データを取得して、顧客の近傍に移動した案内ロボットを、さらに空いた席の近傍に移動させてもよい。そのようにすることで、案内ロボットに、顧客を席まで誘導させることができる。
(3)本実施形態では、顧客の属性データを、顔画像を分析して得られる結果によるものとして説明したが、これに限定されない。属性データは、例えば、予約の際に、顧客に入力してもらったものにしてもよい。
(4)本実施形態では、レコメンド情報として、おすすめの料理に関する情報を出力するものを例に説明したが、これに限定されない。例えば、席の案内の際に必要と思われる子供イスの情報や、カップル席の情報等を出力してもよい。
(5)本実施形態では、案内ロボットのタッチパネルディスプレイに、顧客の属性データに基づくレコメンド情報を出力するものを例に説明したが、これに限定されない。例えば、各テーブルにタブレット端末を有し、顧客を所定のテーブルに案内した後に、タブレット端末に、顧客の属性に基づく情報を出力してもよい。そして、その情報を、例えば、おすすめの料理にすることで、顧客が料理を選ぶ際に参考にすることができる。
(6)本実施形態では、席の利用状況を、店内カメラからの画像を用いるものを例に説明したが、これに限定されない。案内ロボットが店内を巡回して、各テーブル周辺の画像を取得し、その画像を用いてもよい。そのようにすることで、店内カメラを不要にして、店内カメラがあるのと同様の処理を行うことができる。
(7)本実施形態では、席の利用終了を、座っている状態を検出するセンサからの検出や、画像処理に基づくもの、POS端末からのデータを用いるものを例に説明したが、これに限定されない。店員が管理サーバに接続可能な端末から手入力しても、もちろんよい。
(8)本実施形態では、注文データを、利用状況データに用いるものを例に説明したが、これに限定されない。注文データを、調理開始時間に活用してもよい。例えば、席待ち時に予め注文を行うスタイルの店舗において、顧客を席に案内後にすぐに注文した料理が提供されるように、待ち予測時間と、注文データに対する調理時間とを用いて、調理開始時間を厨房にいるスタッフに報知するような仕組みを構築してもよい。そのようにすることで、席の回転率の向上を図ることができる。
(9)本実施形態では、予約の際に顧客の顔画像を取得して記憶しておき、案内する際に画像を取得して、記憶した顔画像に一致する顧客を特定するものとして説明したが、これに限定されない。例えば、画像による一致確認に加えて、予約の際に顧客の音声を取得して記憶しておき、案内する際に記憶した音声に一致する顧客を特定してもよい。そのようにすることで、より正確に予約した顧客を特定できる。
1 案内ロボット
5 管理サーバ
7 POS端末
8 店内カメラ
10,50 制御部
12 画像認識部
14a 条件受付部
14b 予約処理部
15 ユーザ特定部
16 ユーザ位置確認部
17 案内処理部
18 情報出力部
20 属性取得部
30,60 記憶部
31a ロボットプログラム
33 属性DB
34 確認画像記憶部
41 カメラ
42 タッチパネルディスプレイ
43 マイク
44 スピーカ
45 モータ部
51 利用状況取得部
52 空席判断部
53 判断結果出力部
54 利用時間予測部
55 待ち時間予測部
56 予測出力部
57 実利用時間取得部
59 学習部
61a 処理プログラム
62 予約DB
63 テーブル管理DB
64 利用履歴DB
65 学習モデル記憶部
100 案内ロボットシステム

Claims (20)

  1. 被写体を撮影する撮影部と、
    席を予約するユーザによる予約人数を受け付ける人数受付手段と、
    席が空いていない場合に、前記撮影部によって得られた席の予約をするユーザの顔画像と、前記人数受付手段が受け付けた予約人数とを予約記憶部に記憶させる予約処理手段と、
    前記人数受付手段による予約人数を収容可能な席が空いた場合であって、前記予約処理手段により前記顔画像が記憶されている場合に、前記撮影部によって得られた撮影画像に対して顔認識処理を行い、前記予約記憶部に記憶された前記顔画像に一致するユーザを特定するユーザ特定手段と、
    前記ユーザ特定手段により特定した前記ユーザを、空いた席に案内する案内手段と、
    を備える案内ロボット。
  2. 請求項1に記載の案内ロボットにおいて、
    予約する席に関する条件を受け付ける席条件受付手段を備え、
    前記ユーザ特定手段は、さらに、前記席条件受付手段による前記条件を満たした席が空いた場合に、前記撮影部によって得られた撮影画像に対して顔認識処理を行い、前記予約記憶部に記憶された前記顔画像に一致するユーザを特定すること、
    を特徴とする案内ロボット。
  3. 請求項1又は請求項2に記載の案内ロボットにおいて、
    席に関する情報を、表示部及び音声出力部の少なくとも一方に出力する席情報出力手段を備えること、
    を特徴とする案内ロボット。
  4. 請求項3に記載の案内ロボットにおいて、
    前記撮影部による撮影画像から顔画像を認識する顔画像認識手段と、
    前記顔画像認識手段により認識した顔画像を確認記憶部に記憶させる顔画像記憶手段と、
    を備え、
    前記席情報出力手段は、前記顔画像認識手段による認識結果と、前記確認記憶部に記憶されている顔画像との照合結果に応じて、席に関する情報を出力すること、
    を特徴とする案内ロボット。
  5. 請求項4に記載の案内ロボットにおいて、
    前記顔画像認識手段は、顔画像を認識した時刻を取得し、
    前記顔画像記憶手段は、前記顔画像認識手段により認識した顔画像と、取得した認識時刻とを対応付けて前記確認記憶部に記憶し、
    前記席情報出力手段は、最新の認識時刻と前記確認記憶部に記憶されている認識時刻とが一定時間経過しているか否かを判断して、席に関する情報を出力すること、
    を特徴とする案内ロボット。
  6. 請求項4又は請求項5に記載の案内ロボットにおいて、
    前記顔画像認識手段は、前記撮影部による撮影画像から、店舗の入口から入店してきたユーザの顔画像を認識すること、
    を特徴とする案内ロボット。
  7. 請求項3から請求項6までのいずれかに記載の案内ロボットにおいて、
    前記席情報出力手段は、席が空いており、前記顔画像が前記予約記憶部に記憶されていない場合に、空いている席に関する情報を出力すること、
    を特徴とする案内ロボット。
  8. 請求項3から請求項6までのいずれかに記載の案内ロボットにおいて、
    前記予約処理手段により前記予約記憶部に記憶された予約人数から空き時間を予測する空き予測手段を備え、
    前記席情報出力手段は、前記空き予測手段による予測結果を出力すること、
    を特徴とする案内ロボット。
  9. 請求項1から請求項8までのいずれかに記載の案内ロボットにおいて、
    前記案内手段は、前記ユーザ特定手段により特定した前記ユーザに対して、空いた席に関する情報を、表示部及び音声出力部の少なくとも一方に出力するものであること、
    を特徴とする案内ロボット。
  10. 請求項9に記載の案内ロボットにおいて、
    前記ユーザ特定手段により特定した前記ユーザの位置を確認するユーザ位置確認手段を備え、
    前記案内手段は、前記ユーザ位置確認手段によって確認した前記ユーザの位置の近傍に、この案内ロボットを移動させること、
    を特徴とする案内ロボット。
  11. 請求項1から請求項10までのいずれかに記載の案内ロボットにおいて、
    対象領域内におけるこの案内ロボットの位置データを取得する位置取得手段と、
    前記対象領域内の席の配置位置を示す地図データを取得する地図取得手段と、
    を備え、
    前記案内手段は、前記位置取得手段により取得した前記位置データと、前記地図取得手段により取得した前記地図データとに基づいて、空いた席の近傍に、この案内ロボットを移動させること、
    を特徴とする案内ロボット。
  12. 請求項1から請求項11までのいずれかに記載の案内ロボットにおいて、
    前記ユーザの属性データを取得する属性取得手段と、
    前記属性取得手段により取得した前記属性データに基づくレコメンド情報を取得する情報取得手段と、
    前記情報取得手段により取得した前記レコメンド情報を、表示部及び音声出力部の少なくとも一方に出力する情報出力手段と、
    を備えること、
    を特徴とする案内ロボット。
  13. 請求項12に記載の案内ロボットにおいて、
    前記属性取得手段は、前記予約記憶部に記憶された前記顔画像を分析した結果として得られる前記ユーザの属性データを取得すること、
    を特徴とする案内ロボット。
  14. 請求項12又は請求項13に記載の案内ロボットにおいて、
    前記情報取得手段により取得した前記レコメンド情報を、通信ネットワークを介して接続された端末に送信する端末送信手段を備えること、
    を特徴とする案内ロボット。
  15. 請求項1から請求項14までのいずれかに記載の案内ロボットにおいて、
    入力部を介して前記ユーザを特定するユーザ特定データの入力を受け付ける入力受付手段を備え、
    前記予約処理手段は、前記入力受付手段により受け付けた前記ユーザ特定データを、前記顔画像に対応付けて前記予約記憶部に記憶させること、
    を特徴とする案内ロボット。
  16. 請求項1から請求項15までのいずれかに記載の案内ロボットとしてコンピュータを機能させるためのプログラム。
  17. 請求項1から請求項15までのいずれかに記載の案内ロボットに対して通信可能に接続された席管理装置であって、
    席の利用状況を示すデータを取得する利用状況取得手段と、
    前記利用状況取得手段により取得した前記データに基づいて、席が空いているか否かを判断する空席判断手段と、
    前記空席判断手段により判断された結果データを、前記案内ロボットに送信する判断結果出力手段と、
    を備えること、
    を特徴とする席管理装置。
  18. 請求項17に記載の席管理装置において、
    前記利用状況取得手段は、席及びその周辺の画像を取得し、
    前記空席判断手段は、前記席及びその周辺の画像を分析して席が空いているか否かを判断すること、
    を特徴とする席管理装置。
  19. 請求項17又は請求項18に記載の席管理装置において、
    前記席管理装置は、前記案内ロボットであること、
    を特徴とする席管理装置。
  20. 請求項17から請求項19までのいずれかに記載の席管理装置としてコンピュータを機能させるためのプログラム。
JP2017116515A 2017-06-14 2017-06-14 案内ロボット、席管理装置及びプログラム Pending JP2019003360A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017116515A JP2019003360A (ja) 2017-06-14 2017-06-14 案内ロボット、席管理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017116515A JP2019003360A (ja) 2017-06-14 2017-06-14 案内ロボット、席管理装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2019003360A true JP2019003360A (ja) 2019-01-10

Family

ID=65006937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017116515A Pending JP2019003360A (ja) 2017-06-14 2017-06-14 案内ロボット、席管理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2019003360A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032982A (zh) * 2019-04-22 2019-07-19 广东博智林机器人有限公司 机器人引路方法、装置、机器人和存储介质
CN111210264A (zh) * 2019-12-27 2020-05-29 福建凯米网络科技有限公司 一种基于自移动设备交互的管理方法和系统
US20210174370A1 (en) * 2019-12-09 2021-06-10 Lg Electronics Inc. Method and system of providing service by controlling robot in service area, and robot implementing thereof
US20210342573A1 (en) * 2019-09-18 2021-11-04 Lounge'lab Inc. In-store food and beverage transfer and collection system using image recognition and method of transferring and collecting food and beverage in store using the same
WO2022004863A1 (ja) * 2020-07-01 2022-01-06 くら寿司株式会社 飲食物の提供システム
JP2022021923A (ja) * 2020-07-22 2022-02-03 株式会社ぐるなび 予約管理システム、予約管理方法、及び予約管理プログラム
JP7096941B1 (ja) 2021-09-21 2022-07-06 プロパティエージェント株式会社 飲食店システムおよび情報処理方法
EP4060448A1 (en) * 2021-03-15 2022-09-21 Blue Ocean Robotics Aps Methods of controlling a mobile robot device to follow or guide a person
JP2022170623A (ja) * 2021-04-28 2022-11-10 ベア ロボティクス インク ロボットを利用してサービスを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080074768A (ko) * 2007-02-09 2008-08-13 주식회사 이디 도우미 로봇을 이용한 고객 서비스 방법 및 시스템
KR20110004015A (ko) * 2009-07-07 2011-01-13 송세경 식당의 고객 서비스 및 계산 가능한 지능형 주행로봇
KR20110011235A (ko) * 2009-07-28 2011-02-08 송세경 식당 홀의 모니터링 카메라를 이용한 영상처리 시스템 및 식당 통합 관리 시스템 그리고 그 영상처리 방법 및 그 식당 통합 관리 방법
JP6055944B1 (ja) * 2016-03-14 2016-12-27 株式会社リクルートホールディングス 順番管理システム、通知装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080074768A (ko) * 2007-02-09 2008-08-13 주식회사 이디 도우미 로봇을 이용한 고객 서비스 방법 및 시스템
KR20110004015A (ko) * 2009-07-07 2011-01-13 송세경 식당의 고객 서비스 및 계산 가능한 지능형 주행로봇
KR20110011235A (ko) * 2009-07-28 2011-02-08 송세경 식당 홀의 모니터링 카메라를 이용한 영상처리 시스템 및 식당 통합 관리 시스템 그리고 그 영상처리 방법 및 그 식당 통합 관리 방법
JP6055944B1 (ja) * 2016-03-14 2016-12-27 株式会社リクルートホールディングス 順番管理システム、通知装置およびプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032982A (zh) * 2019-04-22 2019-07-19 广东博智林机器人有限公司 机器人引路方法、装置、机器人和存储介质
US20210342573A1 (en) * 2019-09-18 2021-11-04 Lounge'lab Inc. In-store food and beverage transfer and collection system using image recognition and method of transferring and collecting food and beverage in store using the same
US20210174370A1 (en) * 2019-12-09 2021-06-10 Lg Electronics Inc. Method and system of providing service by controlling robot in service area, and robot implementing thereof
US11775983B2 (en) * 2019-12-09 2023-10-03 Lg Electronics Inc. Method and system of providing service by controlling robot in service area, and robot implementing thereof
CN111210264B (zh) * 2019-12-27 2023-11-28 福建凯米网络科技有限公司 一种基于自移动设备交互的管理方法、系统和自移动设备
CN111210264A (zh) * 2019-12-27 2020-05-29 福建凯米网络科技有限公司 一种基于自移动设备交互的管理方法和系统
WO2022004863A1 (ja) * 2020-07-01 2022-01-06 くら寿司株式会社 飲食物の提供システム
JP2022021923A (ja) * 2020-07-22 2022-02-03 株式会社ぐるなび 予約管理システム、予約管理方法、及び予約管理プログラム
JP7256404B2 (ja) 2020-07-22 2023-04-12 株式会社ぐるなび 予約管理システム、予約管理方法、及び予約管理プログラム
EP4060448A1 (en) * 2021-03-15 2022-09-21 Blue Ocean Robotics Aps Methods of controlling a mobile robot device to follow or guide a person
JP2022170623A (ja) * 2021-04-28 2022-11-10 ベア ロボティクス インク ロボットを利用してサービスを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
US11911890B2 (en) 2021-04-28 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing a service using a robot
JP7321212B2 (ja) 2021-04-28 2023-08-04 ベア ロボティクス インク ロボットを利用してサービスを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
JP7096941B1 (ja) 2021-09-21 2022-07-06 プロパティエージェント株式会社 飲食店システムおよび情報処理方法
JP2023044870A (ja) * 2021-09-21 2023-04-03 プロパティエージェント株式会社 飲食店システムおよび情報処理方法

Similar Documents

Publication Publication Date Title
JP2019003360A (ja) 案内ロボット、席管理装置及びプログラム
JP2019003361A (ja) 席管理装置、プログラム及びロボット
TWI729289B (zh) 就餐結算方法、智慧點餐設備以及智慧餐廳支付系統
JP5852082B2 (ja) オーダー管理システム、オーダー管理方法及びプログラム
KR101155949B1 (ko) 병원안내시스템 및 병원안내서비스 제공방법
US20060186197A1 (en) Method and apparatus for wireless customer interaction with the attendants working in a restaurant
US11093995B2 (en) Monitoring of customer consumption activity and management based on monitoring
US20140214622A1 (en) Product information providing system, product information providing device, and product information outputting device
US11911905B2 (en) Robot control apparatus, robot control method, and robot control system
JP6535783B1 (ja) 接客支援システム
JP6952453B2 (ja) 接客システム及び接客方法
JP6589076B1 (ja) 情報管理装置、情報管理方法及びプログラム
CN106447433B (zh) 用于选择桌位的方法及装置
JP5220953B1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
WO2016152122A1 (ja) 注文端末装置、注文システム、客情報生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN112837186A (zh) 一种智能点餐系统
JP6589062B2 (ja) 空席管理システム、空席管理方法及びプログラム
EP3940619A1 (en) Device, program, and system for providing point services
JP2019053650A (ja) 自走式装置
JP6852934B2 (ja) プログラム、情報処理方法および情報処理装置
JP2014096080A (ja) 予約情報処理装置、予約情報処理方法、およびプログラム
CN113807910A (zh) 减少餐馆的服务错误的系统、方法和介质
JP2016009309A (ja) サービス支援装置、サービス支援方法及びプログラム
JP6877676B1 (ja) 給仕管理装置及びプログラム
JP7241439B1 (ja) 情報処理装置、情報処理プログラム、及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210914