JP2015138452A - 料理残量検出装置及びプログラム - Google Patents

Abstract

【課題】本発明が解決しようとする課題は、各料理の終了を正しく把握し、適切なタイミングで次の料理を提供できる料理残量検出置及びプログラムを提供することである。
【解決手段】実施形態の料理残量検出装置は、カメラが撮像した料理を収容する食事に用いる容器と当該容器に収容された料理の画像を入力する入力手段と、前記入力手段によって入力された前記画像から、前記容器内に残された前記料理の残量を検出する残量検出手段と、前記残量検出手段が検出した料理の残量から、当該料理の食事が終了したか否かを判断する終了判断手段と、前記終了判断手段が前記料理の食事が終了したと判断した場合、当該料理の食事を終了したことを示す情報を出力する情報出力手段と、を備える。
【選択図】図９

Description

本発明の実施形態は、料理残量検出装置及びプログラムに関する。

レストラン等の飲食店においてコース料理を注文した場合や複数の料理を注文した場合、配膳係り等が次の料理を出すタイミング、あるいは調理人が次の料理を作るタイミングは、前の料理を配膳してからの時間からの経験によって判断していた。あるいは、配膳係り等が客席を巡回して、顧客Ｐが料理を食べる進行状況を確認して判断していた。

しかしながら、食事をする早さは、人によって異なるため、配膳してからの時間で一律に終了を判断することは難しい。また、料理の進行状況を見ても、食事の途中なのか食べ残して終了しているのかの判断ができない。このようなことから、各料理の終了を正しく判断することができず、次の料理を適切なタイミングで配膳することができなかった。

本発明が解決しようとする課題は、各料理の終了を正しく把握し、適切なタイミングで次の料理を提供できる料理残量検出置及びプログラムを提供することである。

実施形態の料理残量検出装置は、カメラが撮像した食事に用いる器具の画像を入力する入力手段と、前記入力手段によって入力された前記器具の画像から、食事が終了したか否かを判断する終了判断手段と、前記終了判断手段が前記料理の食事が終了したと判断した場合、当該料理の食事を終了したことを示す情報を出力する情報出力手段と、を備える。

図１は、実施形態に係る料理管理システムの各装置の接続関係を示すシステム図である。 図２は、レストランにおけるテーブル付近を現す斜視図である。 図３は、図２のカメラの撮像画像の一例を上方から見た概念図である。 図４は、図２のカメラの撮像画像の他の一例を上方から見た概念図である。 図５は、料理残量検出装置のハードウェア構成を示すブロック図である。 図６は、食事進行テーブルのテーブルマップである。 図７は、料理残量検出装置の機能構成を示す機能ブロック図である。 図８は、料理残量検出装置の制御処理を示すフローチャートである。 図９は、料理残量検出装置の制御処理を示すフローチャートである。 図１０は、ナイフとフォークが容器内で平行に置かれた状態を示す図である。 図１１は、ナイフとフォークが容器内で非平行に置かれた状態を示す図である。 図１２は、容器と料理との画像例を示す図である。 図１３は、容器と料理との他の画像例を示す図である。 図１４は、容器と料理との他の画像例を示す図である。 図１５は、食事の進行状態の一例を表示するモニターを示す図である。

以下、図１〜図１５を参照して、実施形態の料理残量検出装置およびプログラムを詳細に説明する。なお、以下に説明する実施形態では、ステーションを料理残量検出装置の一例として説明するが、実施形態によりこの発明が限定されるものではない。

図１は、実施形態に係る料理管理システムの各装置の接続関係を示すシステム図である。図１において、料理管理システムは、ステーション１、ＰＯＳ（Point of Sales）端末２、複数台のモニター３、キッチンプリンタ４、無線基地局６、複数台のカメラ８を備えており、これらの装置は、ＬＡＮ（Local Area Network）５を介して互いに接続されている。また、料理管理システムは、ハンディターミナル７を備えている。ハンディターミナル７は、無線ＬＡＮ９を介して無線基地局６と接続されている。
ステーション１は、料理管理システムの中枢装置であり、ハンディターミナル７から無線基地局６を介して受信したオーダーを管理する。また、ステーション１は、厨房に備えられたキッチンプリンタ４に、オーダー情報を送信する。また、ステーション１は、カメラ８からの映像に基づいて料理の進行状況を管理するとともに、モニター３に進行状況を表示する。また、ステーション１は、オーダー情報に基づく決済情報をＰＯＳ端末２に送信する。

ＰＯＳ端末２は、飲食店での顧客Ｐの飲食についての飲食料金の決済処理を実行する。モニター３は、調理を行う調理場や接客係りが待機する場所に設置されており、顧客Ｐに配膳する料理および顧客Ｐの食事の進行具合を表示する。キッチンプリンタ４は、ハンディターミナル７から受信した料理のオーダーに係る料理を印字して、調理人に知らせる。

無線基地局６は、無線を送受信するアンテナを有し、無線基地局６は、無線ＬＡＮ９によってハンディターミナル７との間で電気的接続を確立し、当該無線ＬＡＮ９を介して相互に情報の送受信を行う。無線基地局６は、ハンディターミナル７から受信したオーダーを、ＬＡＮ５を介してステーション１に送信する。

ハンディターミナル７は、顧客Ｐが希望する料理のオーダーを入力する。またハンディターミナル７は、入力したオーダーを、無線ＬＡＮ９を介して無線基地局６に送信する。

カメラ８は、顧客Ｐが食事をする各テーブルの略真上の天井にそれぞれ設置されている。カメラ８は、真下のテーブル全体を写すように下方に向けて設置されている。カメラ８は、所定時間（例えば３０秒）毎にテーブル全体の画像を撮像する。カメラ８は、撮像した画像を撮像した都度、ＬＡＮ５を介してステーション１に送信する。

図２は、飲食店における、カメラ８とテーブルとの設置関係を示す斜視図である。図２において、店舗には、複数台のテーブルＴが並べられて設置されている。各テーブルＴ上には、テーブルクロスＥが敷いてあってもよい。テーブルＴの色やテーブルクロスＥの色は、テーブルＴやテーブルクロスＥに載せる容器Ｄの色と対照的な色が好ましい。各テーブルＴには、複数台の椅子Ｃが備えられている。図２の例では、１台のテーブルＴに２台または４台の椅子Ｃが備えられている。

また、各テーブルＴの略真上には、それぞれカメラ８が天井に設置されている。１台のカメラ８は、真下に設置されたテーブルＴ、テーブルクロスＥ、椅子Ｃを撮像することができる。図３は、カメラ８によって撮像された撮像画像である。図３において、カメラ８は、テーブルＴと、テーブルクロスＥと、４台の椅子Ｃを撮像している。図３のカメラ８は、４台の椅子Ｃに一人の顧客Ｐも着席していない状態を撮像している。

また、図４も、カメラ８によって撮像された撮像画像である。図４において、カメラ８は、テーブルＴと、テーブルクロスＥと、４台の椅子Ｃを撮像している。また、カメラ８は、４台の椅子Ｃのうち２台に顧客Ｐが一人ずつ着席している状態を撮像している。カメラ８は、顧客Ｐが着席した位置の椅子Ｃをほとんど写しておらず、その代わりに顧客Ｐの頭部を写している。

図５は、ステーション１のハードウェア構成を示すブロック図である。図５において、ステーション１は、制御主体となるＣＰＵ（Central Processing Unit）１１、各種プログラムを記憶するＲＯＭ（Read Only Memory）１２、各種データを展開するＲＡＭ（Random Access Memory）１３、各種プログラムを記憶するメモリ部１４等を備えており、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラム１４１に従って動作することによって、後述する制御処理を実行する。

ＲＡＭ１３は、制御プログラム１４１を初めとする各種プログラムを展開する他、カメラ８で撮像された画像を記憶する。また、ＲＡＭ１３は、後述する食事進行テーブル１３１を記憶する。

メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリであって、制御プログラム１４１を含むプログラム等を記憶する。また、メモリ部１４は、飲食店で販売する料理のメニューの情報を記憶したメニュー記憶部１４２を有している。

また、データバス１５には、操作部１７と表示部１８が、コントローラ１６を介して接続されている。

操作部１７は、数字を置数するテンキーや各種ファンクションキー等を備えている。表示部１８は、各種情報を表示する他、図１５で後述する、顧客Ｐによる食事の進行状況を示す情報を表示する。

また、データバス１５は、ＬＡＮＩ／Ｆ（Interface）１９を接続している。ＬＡＮＩ／Ｆ１９は、ＬＡＮ５と接続している。ＬＡＮＩ／Ｆ１９は、カメラ８で撮像された画像やハンディターミナル７からのオーダーを受信する。

図６は、ＲＡＭ１３の食事進行テーブル１３１を示すメモリマップである。食事進行テーブル１３１は、顧客Ｐが配膳された料理を食べ終わったか否かを判断するために、顧客Ｐ毎に食事の進行状況を表示する。具体的には、食事進行テーブル１３１は、テーブルＮｏ.部１３１１、料理名部１３１２、人数部１３１３、着席フラグ部１３１４、テーブル画像部１３１５、容器面積部１３１６、料理面積部１３１７、面積比部１３１８、タイマー部１３１９、経過状況部１３２０を備えている。

テーブルＮｏ.部１３１１は、店舗に設置されているテーブルに付されたテーブルを個別に特定する番号を記憶している。料理名部１３１２は、テーブルＮｏ.毎に、着席した顧客Ｐがオーダーした料理名を、メニュー記憶部１４２から読み出して記憶する。人数部１３１３は、テーブルＮｏ.毎に、着席した顧客Ｐの人数を記憶している。

着席フラグ部１３１４は、顧客Ｐがどの席に着いたかを着席フラグで記憶している。着席フラグが「１」の席は、顧客Ｐが着席していることを示す。着席フラグが「０」の席は、顧客Ｐが着席しておらず、空席であることを示す。

顧客Ｐが着席したか否かは、後述する制御部が、カメラ８が撮像した画像に基づいて、椅子Ｃの画像が撮像されているかいないかで判断する。椅子Ｃの画像がほとんど撮像されていない場合は、当該椅子Ｃに人が着席していると判断する。なお、カメラ８が、椅子Ｃの配置位置に人の髪の毛や髪の毛の色を撮像した場合に、当該椅子Ｃに人が着席したと判断してもよい。

そして制御部は、それぞれの椅子Ｃの配置位置に対して個別に人の着席を判断する。たとえば図４の場合、右側の２個の椅子Ｃに顧客Ｐが着席していると判断し、人が着席している席の着席フラグを「１」にセットする。また、左側の２個の椅子Ｃには顧客Ｐが着席していないと判断し、人が着席していない席の着席フラグを「０」にセットする。

テーブル画像部１３１５は、カメラ８が撮像した画像をテーブル単位で記憶する。容器面積部１３１６は、テーブル画像部１３１５に記憶した画像に基づいて、当該顧客Ｐに配膳された料理が入った容器Ｄの面積を椅子Ｃに着席した人単位で記憶する。容器Ｄの面積は、後述する制御部が算出するが、容器Ｄの色をテーブルＴの色やテーブルクロスＥの色と対照的な色とすることで、容器Ｄの外周である境界Ｌ１（図１２を参照）が明確となり、容器Ｄの面積を算出し易くしている。また、外周を縁取りした容器Ｄを用いることで、容器Ｄの境界Ｌ１を明確にしてもよい。容器Ｄの面積は、カメラ８が容器Ｄを撮像する度に計算され、容器面積部１３１６に記憶される。

料理面積部１３１７は、テーブル画像部１３１５に記憶した画像に基づいて、容器Ｄ内に盛り付けられている料理の面積を椅子Ｃに着席した人の単位で記憶する。容器Ｄ内に盛り付けられた料理の面積は、後述する制御部が算出するが、容器Ｄの色と当該容器Ｄに盛り付けられた料理の色とを対照的にすることで、容器Ｄと料理の境界Ｌ２（図１２を参照）が明確になり、料理の面積を計算し易くなる。料理の面積は、カメラ８が料理を撮像する度に計算され、料理面積部１３１７に記憶される。

面積比部１３１８は、同じタイミングで、容器面積部１３１６に記憶された容器Ｄの面積と料理面積部１３１７に記憶された料理の面積とに基づいて、容器Ｄの面積に対する料理が占める面積の比率を記憶する。配膳された状態では、食事が進行した状態と比較し、容器Ｄに対して料理が占める割合が高いため、面積比は大きい。その後、顧客Ｐが料理を食して食事が進行すると、容器の面積に対して料理が占める面積が減少するため、面積比は小さくなる。顧客Ｐが容器Ｄ内の料理をほぼすべて食して終了した場合は、料理が占める面積が「０」となり、面積比も「０」となる。面積比は、カメラ８が容器Ｄと料理を撮像する度に計算される。

タイマー部１３１９は、上記面積比が変動しない時間、すなわち、顧客Ｐが料理に手をつけていない時間を計測して記憶する。顧客Ｐが食事を進行させて面積比が変動した場合は、タイマーをリセットする。このようにすることで、タイマー部１３１９は、顧客Ｐが料理を食することなく経過した時間を計測する。

経過状況部１３２０は、オーダーがコース料理の場合、顧客Ｐがコースのどの料理まで食したかの進行状況を記憶する。具体的には、例えば、コースに前菜、サラダ、スープ、メイン料理、デザートの各料理が含まれる場合、直近に終了した料理名を記憶している。

続いて、図７〜図１５を用いて、ステーション１の制御処理について説明する。図７は、ステーション１の機能構成を示す機能ブロック図である。制御部１００が、ＲＯＭ１２やメモリ部１４に記憶された制御プログラム１４１を含む各種プログラムに従うことで、入力手段１０１、終了判断手段１０２、情報出力手段１０３、残量検出手段１０４を機能させる。

入力手段１０１は、カメラ８が撮像した食事に用いる器具の画像を入力する機能を有する。

終了判断手段１０２は、入力手段１０１によって入力された器具の画像から、食事が終了したか否かを判断する機能を有する。

情報出力手段１０３は、終了判断手段１０３が料理の食事が終了したと判断した場合、当該料理の食事を終了したことを示す情報を出力する機能を有する。

残量検出手段１０４は、入力手段１０１によって入力された器具としての容器の画像から、容器内に残された料理の残量を検出する機能を有する。

図８は、ステーション１の制御処理の流れを示すフローチャートである。各テーブルの上方に設置されたカメラ８から、所定時間間隔毎に画像情報が入力されると、当該カメラ８から入力されたテーブルＮｏ.について、制御部１００は、入力された画像情報に基づいて以下の制御を独立して実行する。以下、その中の一つのテーブルについて、制御部１００の制御を説明する。制御部１００は、他のテーブルについても、並行して同様の制御を実行する。

図８において、カメラ８から所定時間毎にカメラ８が撮像した画像をＬＡＮＩ／Ｆ１９がＬＡＮ５を介して受信し、制御部１００（入力手段１０１）は、ＬＡＮＩ／Ｆ１９が受信した撮像画像をＬＡＮＩ／Ｆ１９から入力する（ステップＳ１１）。そして制御部１００は、入力した撮像画像を、撮像したテーブルＮｏ.に対応したテーブル画像部１３１５に記憶する（ステップＳ１２）。次に制御部１００は、記憶した撮像画像に基づいて、当該テーブルＮｏ.に対応したいずれかの着席フラグ部１３１４の着席フラグが「１」であるか否かを判断する（ステップＳ１３）。

いずれの着席フラグも「０」であると判断した場合（ステップＳ１３のＮｏ）、制御部１００は、ステップＳ１２で記憶した撮像画像に基づいて、前述のように椅子Ｃに着席した人を検出したか否かを判断する（ステップＳ１４）。人を検出したと判断した場合は（ステップＳ１４のＹｅｓ）、制御部１００は、人を検出した椅子Ｃに対応した着席フラグを「１」にセットする（ステップＳ１５）。例えば、図６のテーブルＮｏ.１の場合、４つの椅子Ｃ（椅子Ｃ１〜Ｃ４）のうち、人を検出した椅子Ｃに対応した着席フラグを「１」にセットする。そして制御部１００は、ステップＳ１１に戻って次の撮像画像の入力を待機する。一方人を検出していないと判断した場合は（ステップＳ１４のＮｏ）、制御部１００は、ステップＳ１１に戻って待機する。

また、ステップＳ１３において、いずれかの着席フラグ部１３１４の着席フラグが「１」であると判断した場合は（ステップＳ１３のＹｅｓ）、次に制御部１００は、着席した顧客Ｐの注文に応じてハンディターミナル７から、ＬＡＮ５を介してオーダーが入力されたか否かを判断する（ステップＳ２１）。オーダーが入力されたと判断した場合は（ステップＳ２１のＹｅｓ）、制御部１００は、対応する料理名部１３１２に、入力されたオーダーを記憶する（ステップＳ２２）。そして制御部１００は、ステップＳ１１に戻って待機する。

また、ステップＳ２１において、ＬＡＮ５を介してオーダーが入力されていないと判断した場合は（ステップＳ２１のＮｏ）、制御部１００は、ステップＳ１２でテーブル画像部１３１５に記憶した撮像画像から容器Ｄを検出したか否かを判断する（ステップＳ３１）。

テーブルに配膳された容器Ｄの色は、テーブルＴの色やテーブルクロスＥの色と色彩が大きく異なる色となっているか、容器Ｄの最外周に縁取りが形成されており、この縁取りの色がテーブルＴの色やテーブルクロスＥの色と対照的な色となっている。制御部１００は、この色の違いを検出してテーブルに配膳された物体の形状を認識する。そして制御部１００は、認識した形状を予めメモリ部１４に記憶した複数の容器Ｄの形状と比較して、認識した物体の形状がメモリ部１４に記憶している容器Ｄの形状の一つと略一致する形状であると判断した場合、当該物体を形状が略一致した容器Ｄを検出したと認識する。このような認識手法は、すでに公知となっており、外形認識という。なお、外形認識技術による容器Ｄの認識は一例であり、外形認識技術以外の手法によって容器Ｄを認識してもよい。制御部１００は、容器Ｄを認識した場合、当該容器Ｄを検出したと判断する。

制御部１００が、上記外形認識技術によって容器Ｄを検出したと判断した場合（ステップＳ３１のＹｅｓ）、制御部１００は、図９で後述する残量検出処理を実行する（ステップＳ３２）。そして制御部１００は、ステップＳ１１に戻って待機する。

また、制御部１００が容器Ｄを検出していないと判断した場合は（ステップＳ３１のＮｏ）、次に制御部１００は、顧客Ｐがすべての料理を食して食事が終了したか否かを判断する（ステップＳ４１）。食事が終了したか否かは、料理名部１３１２に記憶されたオーダーの種類と経過状況部１３２０の記憶状況で判断し、同一テーブルの席に着いたすべての顧客Ｐがオーダーした料理の最後の料理の食事が終了したことが、経過状況部１３２０に記憶されている場合は、制御部１００は、ステップＳ４１において、食事が終了したと判断する。

食事が終了したと判断した場合は（ステップＳ４１のＹｅｓ）、制御部１００は、会計情報をＰＯＳ端末２に送信する（ステップＳ４２）。そして制御部１００は、食事進行テーブル１３１の該当するテーブルＮｏ.の記憶情報をすべてクリアする（ステップＳ４３）。そして制御部１００は、ステップＳ１１に戻って待機する。

次に、図９を用いて、制御部１００が実行するステップＳ３２の残量検出処理について詳細に説明する。図９において、まず制御部１００（器具検出手段１０５）は、前述の外形認識技術を用いて、ナイフ・フォーク・スプーン・箸等の、食事の際に手に持って使用する器具が、容器Ｄ内にあることを検出したか否かを判断する（ステップＳ５１）。検出したと判断した場合は（ステップＳ５１のＹｅｓ）、制御部１００は、検出した器具はナイフとフォークであるか否かを判断する（ステップＳ５２）。ナイフとフォークであると判断した場合は（ステップＳ５２のＹｅｓ）、制御部１００は、検出したナイフとフォークが、容器Ｄ内で平行に置かれているか否かを判断する（ステップＳ５３）。

ナイフとフォークが、容器Ｄ内で平行に置かれている状態を、図１０（ａ）および（ｂ）に例示する。図１０（ａ）は、容器Ｄの内部で、ナイフＫとフォークＦが左右に平行な状態で置かれている状態を示す。図１０（ｂ）は、容器Ｄの内部で、ナイフＫとフォークＦが斜めの状態で平行に置かれている状態を示す。図１０（ｂ）では、ナイフＫとフォークＦの一部は、容器Ｄからはみ出している。このように、ナイフＫとフォークＦが、並列しており、かつナイフＫとフォークＦが互いに接触しているか、接触はしていないが互いに近接して置かれている場合に、制御部１００は、ステップＳ５３において、ナイフＫとフォークＦが平行に置かれていると判断する。

また、図１１は、ナイフＫとフォークＦが、容器Ｄの内部で略ハの字型に置かれた状態を示す。図１１の状態に置かれている場合は、制御部１００は、ステップＳ５３において、ナイフＫとフォークＦが平行に置かれていないと判断する。なお、図１１は、ナイフＫとフォークＦが平行に置かれていない一例であり、ナイフＫとフォークＦが、並列して置かれておりかつナイフＫとフォークＦが互いに接触しているか接触はしていないが互いに近接している場合以外は、制御部１００は、ナイフＫとフォークＦが平行に置かれていないと判断する。

図９の説明に戻る。ナイフＫとフォークＦが平行に置かれていると判断した場合は（ステップＳ５３のＹｅｓ）、制御部１００（終了判断手段１０２）は、顧客Ｐは、当該容器Ｄに収容された料理の食事を終了したことを認識する（ステップＳ６８）。当該食事の終了を認識したら、制御部１００は、食事を終了したことを示す三角印４３（図１５を参照）を、ステーション１の表示部１８とモニター３に表示する（ステップＳ６９）。

図１５に、モニター３の表示例を示す。図１５において、モニター３は、テーブルＮｏ.部３１、料理名部３２、人数部３３、料理の進行部３４〜４２を表示する。テーブルＮｏ.部３１は、飲食店に設置されているテーブルに付されたテーブルを個別に特定する番号を表示している。料理名部３２は、テーブルＮｏ.毎に、着席した顧客Ｐがオーダーした料理名を表示している。人数部３３は、テーブルＮｏ.毎に、着席した顧客Ｐの人数を表示している。料理の進行部３４〜４２は、料理名部３２に表示されたオーダーに含まれる料理を料理毎に表示する。図１５の例では、進行部３４〜４２に含まれる料理の種類として、前菜３４、サラダ３５、スープ３６、魚料理３７、ソルベ３８、肉料理３９、チーズ４０、デザート４１、コーヒー４２の各料理が表示されている。なお、料理の種類や順番は図１５に示すものに限らない。

図１５の例では、テーブルＮｏ.１のテーブルは、４名の顧客Ｐが着席しており、コース１のコース料理がオーダーされている。テーブルＮｏ.２のテーブルは、３名が着席しており、コース２のコース料理がオーダーされている。テーブルＮｏ.３のテーブルは、空席である。テーブルＮｏ４．のテーブルは、２名着席しており、コース３のコース料理がオーダーされている。テーブルＮｏ．５のテーブルは、空席である。

また、図１５において、右側に向けた三角印４３は、上記当該料理の食事が終了したことを示す印である。テーブルＮｏ.１の顧客Ｐは、全員が前菜３４〜ソルベ３８の食事まで終了している。席Ｃ２の顧客Ｐは、肉料理３９の食事まで終了していることを表示している。テーブルＮｏ.２の顧客Ｐは、全員が前菜３４〜スープ３６の食事まで終了していることを表示している。

図９の説明に戻る。次いで制御部１００は、依然として容器Ｄが検出されているか否かを判断する（ステップＳ７０）。検出されている間は待機し（ステップＳ７０のＹｅｓ）、検出されないと判断した場合は（ステップＳ７０のＮｏ）、制御部１００は、図８のステップＳ１１に戻って待機する。また、ステップＳ５３において、ナイフＫとフォークＦが平行には置かれていないと判断した場合は（ステップＳ５３のＮｏ）、ステップＳ５１に戻って待機する。

一方、ステップＳ５２において、ナイフＫとフォークＦが検出されないと判断した場合は（ステップＳ５２のＮｏ）、制御部１００は、タイマーをオンする（ステップＳ５４）。このタイマーは、１秒単位で更新し、更新したタイマー情報を、該当するタイマー部１３１９に都度記憶する。そして制御部１００は、検出したナイフＫとフォークＦ以外の器具の位置が、前回カメラ８が撮像した器具の位置から変化したか否かを判断する（ステップＳ５５）。

変化していないと判断した場合は（ステップＳ５５のＮｏ）、器具の位置が変化しない時間が所定時間（例えば１０分間）経過したか否かを判断する（ステップＳ５６）。所定時間経過していないと判断した場合は（ステップＳ５６のＮｏ）、制御部１００はステップＳ５５に戻って待機する。一方、所定時間経過したと判断した場合は（ステップＳ５６のＹｅｓ）、制御部１００は、タイマーをオフする（ステップＳ５７）。このことは、顧客Ｐが、器具に触れることなく所定時間経過したことを示し、制御部１００は、当該料理の食事が終了したと判断し、ステップＳ６８を実行する。

また、ステップＳ５５において、器具の位置が変化したと判断した場合は（ステップＳ５５のＹｅｓ）、制御部１００は、まだ食事中であると判断して、ステップＳ５１に戻って待機する。

一方、ステップＳ５１において、器具を容器Ｄ内で検出していないと判断した場合は（ステップＳ５１のＮｏ）、制御部１００は、容器Ｄ内の料理の状態から、当該食事が終了したかを判断する。具体的には、制御部１００は、まず、前述の外形認識技術を用いて、容器Ｄの外形を認識する（ステップＳ６１）。次いで制御部１００は、認識した容器Ｄの外形から当該容器Ｄの面積を計算する（ステップＳ６２）。そして制御部１００は、算出した容器Ｄの面積を、該当する容器面積部１３１６に記憶する。このとき、制御部１００は、容器面積部１３１６に記憶している前回までの面積を消去しない。

次に制御部１００は、容器Ｄ内にある料理の境界Ｌ２を認識する（ステップＳ６３）。ここで、図１２〜図１４を用いて、容器Ｄ内にある料理の境界Ｌ２の認識について説明する。図１２〜図１４において、料理は、容器Ｄに収容されて配膳されるが、容器Ｄの色と料理の色は、色彩が異なる色とされており、制御部１００は、カメラ８が撮像した画像に基づいて、対照的な色となっており、この色の境を容器Ｄと料理との境界Ｌ２として認識される。

図１２は、料理が配膳されたばかりでまだ顧客Ｐが食事をしていない状態の容器Ｄに収容された料理を示し、容器Ｄに対して所定の割合で料理が収容されている。また、図１３は、図１２の状態から食事が進行し、料理の量が減った状態を示す。図１２の状態と比べ、容器Ｄに対して、料理の割合が減少している。また、図１４は、さらに食事が進行し、容器Ｄにほとんど料理が残っていない状態（食事終了の状態）を示す。

図９の説明に戻る。制御部１００は、認識した境界Ｌ２に基づいて、料理の占める面積を計算する（ステップＳ６４）。そして制御部１００は、算出した料理の面積を、該当する料理面積部１３１７に記憶する。制御部１００は、カメラ８が撮像する都度面積比を計算し、料理面積部１３１７に新たに記憶する。このとき、制御部１００は、料理面積部１３１７に記憶している前回までの面積を消去しない。

次に制御部１００（残量検出手段１０４）は、容器面積部１３１６に記憶した容器Ｄの面積と、料理面積部１３１７に記憶した料理の面積とに基づいて、容器Ｄの面積に占める料理の面積の割合である面積比を計算する（ステップＳ６５）。そして制御部１００は、算出した面積比を面積比部１３１８に記憶する（ステップＳ６６）。このとき、制御部１００は、面積比部１３１８に記憶している前回までの面積比を消去しない。

次に制御部１００は、面積比部１３１８に記憶した面積比に基づいて、料理の残量がほぼ「０」（例えば５％以下）であるか否かを判断する（ステップＳ６７）。面積比部１３１８に記憶した直近の面積比がほぼ「０」の場合は、容器Ｄにほとんど料理が残っていない、図１４のような状態を意味する。

料理の残量がほぼ「０」であると判断した場合は（ステップＳ６７のＹｅｓ）、制御部１００は、食事が終了したと判断して、ステップＳ６８を実行する。また、料理の残量がほぼ「０」ではないと判断した場合は（ステップＳ６７のＮｏ）、次に制御部１００は、容器Ｄに収容された料理の残量が所定量以下（例えば図１３のような状態）あるか否かを判断する（ステップＳ８１）。料理を全部食事することなく残す顧客がいるため、料理の量が所定量以下の状態が所定時間継続した場合には、当該料理の食事終了の判断をする。

容器Ｄに収容された料理の残量が所定量以下であると判断した場合は（ステップＳ８１のＹｅｓ）、制御部１００は、タイマーをオンする（ステップＳ８２）。そして制御部１００は、面積比部１３１８に、前回記憶した面積比と今回記憶した面積比とを比較し、面積比に変化があったか否かを判断する（ステップＳ８３）。面積比に変化があったことは、さらに食事が進んだことを意味する。

面積に変化がないと判断した場合は（ステップＳ８３のＮｏ）、次に制御部１００は、面積比に変化がないまま所定時間（例えば１０分）経過したか否かを判断する（ステップＳ８４）。経過していないと判断した場合は（ステップＳ８４のＮｏ）、制御部１００はステップＳ８３に戻って待機する。所定時間を経過したと判断した場合は（ステップＳ８４のＹｅｓ）、制御部１００は、タイマーをオフにする（ステップＳ８５）。そして制御部１００は、当該料理の食事が終了したと判断して、ステップＳ６８を実行する。

また、ステップＳ８３において、面積比が変化したと判断した場合は（ステップＳ８３のＹｅｓ）、制御部１００は、まだ食事が進行中であると判断して、タイマーをオフして（ステップＳ８６）、面積比部１３１８に最初に記憶された面積比と直近に記憶された面積比の変化率（どれだけ食事が進行したか）を、ステーション１の表示部１８とモニター３に表示する（ステップＳ８７）。そして制御部１００は、図８のステップＳ１１に戻って待機する。また、ステップＳ８１において、容器Ｄに収容された料理の残量が所定量以下ではないと判断した場合は（ステップＳ８１のＮｏ）、制御部１００は、ステップＳ８７を実行する。

図１５において、料理の進行部３４〜４２に表示された数字４４は、面積比部１３１８に最初に記憶された面積比と直近に記憶された面積比の変化率を表す数字である。例えば、数字４４が「５０」は、面積比部１３１８に最初に記憶された面積比に対して直近に記憶された面積比が５０％であること、すなわち、顧客Ｐは、当該料理を半分ほど食したことを示す。また、数字が「１００」は、面積比部１３１８に最初に記憶された面積比に対して直近に記憶された面積比が同じであること、すなわち、顧客Ｐは、当該料理をまだ食していないことを示す。

なお、料理の進行部３４〜４２に表示された「−」の表示４５は、当該コースには含まれていない料理を表している。図１５の例では、コース２には、肉料理３９とチーズ４０が含まれていないことを表している。また、コース３には、魚料理３７とデザート４１が含まれていないことを表している。

このような実施形態では、料理の残量から各料理の進行と終了状況から顧客Ｐの料理の進行状況を正しく把握できるため、顧客Ｐに対して適切なタイミングで次の料理を提供できる。

また、実施形態では、容器Ｄと料理との面積比に基づく料理の残量から各料理の進行と終了状況から顧客Ｐの料理の進行状況を正しく把握できるため、顧客Ｐに対して適切なタイミングで次の料理を提供できる。

また、実施形態では、食事の際に手に持って用いる器具の状態に基づいて、顧客Ｐの料理の進行程度を正しく把握できるため、顧客Ｐに対して、より適切なタイミングで次の料理を提供できる。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施形態では、ナイフＫとフォークＦが平行であることを検出したが、ナイフＫとフォークＦとスプーンのうちいずれか２種類あるいは２種類以上の器具が平行であることを検出してもよい。

また、実施形態では、料理の進行状況に加えて器具の状態に基づいて食事の終了を判断したが、器具の状態による食事の終了の判断は必須ではない。

また、実施形態では、器具として、ナイフＫ、フォークＦ、スプーン、箸等を例示したが、これ以外に食事をする際に手に持って用いるものであれば何でもよい。

また、実施形態において、面積比の変化率で食事の進行状況を判断したが、面積比そのもので食事の進行状況を判断してもよい。

また、実施形態では、料理の順番が決められたコース料理の残量検出を例示したが、これに限らず、料理の順番が決められていない複数の料理を注文した場合にも適用することができる。

なお、実施形態のステーション１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態のステーション１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態のステーション１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態のステーション１で実行されるプログラムを、ＲＯＭ１２等に予め組み込んで提供するように構成してもよい。

１ ステーション
３ モニター
８ カメラ
１１ ＣＰＵ
１３ ＲＡＭ
１４ メモリ部
１８ 表示部
１００ 制御部
１０１ 入力手段
１０２ 終了判断手段
１０３ 情報出力手段
１０４ 残量検出手段
１３１ 食事進行テーブル
Ｄ 容器

特開２００８−３０５００１号公報

Claims (6)

1. カメラが撮像した食事に用いる器具の画像を入力する入力手段と、
   前記入力手段によって入力された前記器具の画像から、食事が終了したか否かを判断する終了判断手段と、
   前記終了判断手段が前記料理の食事が終了したと判断した場合、当該料理の食事を終了したことを示す情報を出力する情報出力手段と、
   を備える料理残量検出装置。
2. 前記入力手段は、前記器具として料理を収容した容器の画像を入力し、
   前記入力手段によって入力された容器の画像から、前記容器内に残された前記料理の残量を検出する残量検出手段をさらに備え、
   前記終了判断手段は、前記残量検出手段が検出した料理の残量から前記食事を終了したか否かを判断する、
   請求項１に記載の料理残量検出装置。
3. 前記残量検出手段は、前記容器の面積と前記容器内に占める前記料理の面積との面積比から前記料理の残量を検出し、
   前記終了判断手段は、前記面積比が所定値以下となったか否かで前記料理の食事が終了したか否かを判断する、
   請求項２に記載の料理残量検出装置。
4. 前記入力手段は、前記器具として食事の際に手に持って用いる器具の画像を入力し、
   前記終了判断手段は、前記入力した前記食事の際に手に持って用いる器具が所定の状態である場合に前記料理の食事が終了したと判断する、
   請求項１乃至３のいずれか一に記載の料理残量検出装置。
5. 前記終了判断手段は、前記入力手段が入力した画像が前記食事の際に手に持って用いる器具が２種類以上であって互いに並行である場合に、前記所定の状態であるとして前記料理の食事が終了したと判断する、
   請求項４に記載の料理残量検出装置。
6. コンピュータを、
   カメラが撮像した食事に用いる器具の画像を入力する入力手段と、
   前記入力手段によって入力された前記器具の画像から、食事が終了したか否かを判断する終了判断手段と、
   前記終了判断手段が前記料理の食事が終了したと判断した場合、当該料理の食事を終了したことを示す情報を出力する情報出力手段と、
   して機能させるためのプログラム。

Images