JP2004206393A - 画像データ処理装置及びプログラム - Google Patents

Abstract

【課題】配膳された食器内の飲食物の残量を判定し、残量が所定量に達した場合に残量が所定量に達したことを報知する。
【解決手段】画像データ処理装置１０は、テーブル上に配膳された食器画像を撮影し、撮影された食器画像と判定基準画像とを比較判定して判定基準画像と相似している食器画像が有れば、食器内の飲食物の残量が所定量に達したと判別して、その食器内の残量が所定量に達したことを報知する判定結果画面を表示する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、テーブル上に配膳された食器画像を撮影し、撮影された食器画像を用いて食器内の飲食物の残量を判定する画像データ処理装置及びプログラムに関する。
【０００２】
【従来の技術】
回転すし店や学校の食堂のような飲食店では、調理済みの飲食物を予め準備しておき、客に好きな飲食物を取らせるという注文方法が採用されている。この注文方法では店員が客の元へ注文を取りに行く必要がないため、販売効率が良い。また、準備された飲食物が実際に客の目前に並べられるため、客の購買意欲をかきたてるという販売促進効果が生じる。
【０００３】
また、上記注文方法では、各種飲食物を入れる食器を予め決めておき、飲食物の価格を食器の種類毎に設定して、料金精算時には食器の種類を判別することにより精算を行うことが多い。従来から、料金精算時に食器画像を撮影してその画像データから３次元情報を得て、食器の種類を自動判別する技術が考案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−０６９５７９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述したような従来の注文方法では、飲食物を陳列するようなシステムが必要となり、通常のレストランでは適用することができない。また、調理済みの飲食物を予め準備しなければならないため、熱い料理や冷たい飲み物のように短時間で商品価値が下がってしまう飲食物の場合には適用することができない。そのため、テーブルに着いた客に注文を取りに行くような通常の注文方法を採用しているレストランでも販売促進効果が得られるようなシステムの開発が求められていた。
【０００６】
本発明の課題は、配膳された食器内の飲食物の残量を判定し、残量が所定量に達した場合に残量が所定量に達したことを報知することである。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、画像データ処理装置において、
各種飲食物のそれぞれに対応する各種食器の空状態に応じた画像を判定基準画像として記憶する判定基準画像記憶手段と、
テーブル上に配膳された食器の画像を撮影する撮影手段と、
前記撮影された食器画像と、前記記憶された判定基準画像とを比較し、相似するか否かを判定する判定手段と、
前記判定手段により食器画像と判定基準画像とが相似すると判定された場合、食器内の飲食物の残量が所定量に達したことを報知する報知手段と、
を備えることを特徴としている。
【０００８】
この請求項１に記載の発明によれば、撮影された食器画像と判定基準画像とを比較して相似すると判定された場合、その食器内の飲食物の残量が所定量に達したことを報知するので、どのテーブルのどの食器内の飲食物の残量が所定量に達したのかを容易に把握することができる。
【０００９】
請求項２に記載の発明は、画像データ処理装置において、
食器を飲食物の種類に応じてグループ分類し、各種飲食物のそれぞれに対応する各種食器の空状態に応じた画像を判定基準画像として、分類された食器のグループ毎に記憶する判定基準画像記憶手段と、
テーブル上に配膳された食器の画像を撮影する撮影手段と、
前記撮影された食器画像と、前記記憶された判定基準画像とを比較し、相似するか否かをグループ毎に判定する判定手段と、
前記判定手段により食器画像と判定基準画像とが相似すると判定された場合、食器内の飲食物の残量が所定量に達したことをグループ単位で報知する報知手段と、
を備えることを特徴としている。
【００１０】
この請求項２に記載の発明によれば、食器をグループ分類し、撮影された食器画像と判定基準画像とをグループ毎に比較して相似すると判定された場合、その食器内の飲食物の残量が所定量に達したことをグループ単位で報知するので、どのテーブルのどの食器内の飲食物の残量が所定量に達したのかを食器のグループ単位で把握することができる。
【００１１】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。
【００１２】
〈第１の実施の形態〉
第１の実施の形態では、飲食店内にカメラを設置し、この撮影装置により客のテーブル上に配膳された飲食物の食器を撮影し、その食器画像と食器の空状態の判定基準画像とを比較して相似か否かを判定し、相似すると判定された場合、飲食物の残量が所定量に達した食器が有ることを店員に報知する例を説明する。
【００１３】
まず、構成を説明する。
図１に、第１の実施の形態における画像データ処理装置１０の構成を示す。
図１に示すように、画像データ処理装置１０は、撮影手段であるカメラ１ａ、１ｂ〜ｎａ、ｎｂと、本体部１０ａとから構成される。カメラ１ａ、１ｂ〜ｎａ、ｎｂと、本体部１０ａとは本体部１０ａのカメラ接続部１４を介して接続される。
【００１４】
まず、カメラ１ａ、１ｂ〜ｎａ、ｎｂについて説明する。
カメラ１ａ、１ｂ〜ｎａ、ｎｂは、飲食店内の客用の各テーブルに設置される撮影装置である。各テーブルには、テーブルを識別するためのテーブル番号Ｎが付与されており、１台のテーブルに対して２台のカメラが設置される。この２台のカメラには１つのカメラ番号Ｃが付与され、このカメラ番号Ｃにより同じテーブルを撮影したカメラとして識別される。
【００１５】
以下、カメラｎａ、ｎｂを代表として詳細を説明する。
カメラｎａは、食器の立体的な画像を撮影するために、テーブル番号Ｎのテーブルをその上斜め方向から撮影する。カメラｎｂは、テーブル上に配膳された食器の座標位置を特定するために、テーブル番号Ｎのテーブルをその真上から撮影する。カメラｎａ、ｎｂは、撮影により取得したテーブル画像の画像データを、カメラ接続部１４を介して本体部１０ａに出力する。
【００１６】
次に、本体部１０ａについて説明する。
本体部１０ａは、ＣＰＵ（Central Processing Unit）１１、入力部１２、表示部１３、カメラ接続部１４、通信部１５、ＲＡＭ（Random Access Memory）１６、記憶部１７、印刷部１８から構成され、各部はバス１９により接続される。
【００１７】
ＣＰＵ１１は、記憶部１７に格納されている基本動作制御プログラムの他、本発明に係る第１の表示処理プログラム（図５参照）をＲＡＭ１３に展開し、当該プログラムとの協働により処理動作を統括的に制御し、各テーブルにおける食器内の飲食物の残量を判定する。
【００１８】
入力部１２は、カーソルキーや数字キー、各種機能キーを備えて構成され、押下されたキーに対応する押下信号をＣＰＵ１１に出力する。なお、入力部１２は、必要に応じてマウス、タッチパネル等のポインティングディバイスを含むこととしてもよい。
【００１９】
表示部１３は、報知手段であり、ＬＣＤ（Liquid Crystal Display）等の表示ディスプレイを備えて、各テーブルにおける食器内の飲食物の残量の判定結果を報知する結果画面を表示する。
【００２０】
カメラ接続部１４は、本体部１０ａに各カメラ１ａ、１ｂ〜ｎａ、ｎｂを接続するためのインターフェイスである。
【００２１】
通信部１５は、ネットワークインターフェイスカード、モデム、ターミナルアダプタ等により構成され、通信ネットワーク上の外部機器と各種情報の送受信を行う。例えば、料金を精算する精算システムや厨房内の注文管理システム等に通信ネットワークを介して接続することが可能である。
【００２２】
ＲＡＭ１６は、ＣＰＵ１１によって実行される各種プログラムやこれら各種プログラムによって処理されたデータ等を一時的に記憶するワークエリアを形成する。
【００２３】
ＲＡＭ１６は、位置テーブル１６１を格納する。
位置テーブル１６１は、カメラｎｂによって撮影されたテーブル画像に含まれる各食器画像の位置情報を管理するためのテーブルである。例えば、撮影により得られたテーブル画像が図２に示すような画像であった場合、テーブル上の各食器に対し、左上の食器から時計回りの順に、各食器を識別するための器番号Ｄが付与される。同時に、各食器の画像領域がその食器を含む矩形領域で認識され、各食器画像の位置情報として、その矩形領域を特定する２点の座標値Ｚ１［Ｄ］（ｘ１、ｙ１）、Ｚ２［Ｄ］（ｘ２、ｙ２）が検出される。
【００２４】
位置テーブル１６１には、図３に示すように、撮影されたテーブルのテーブル番号Ｔ（例えば、“１”）、そのテーブルを撮影したカメラの番号Ｃ（例えば、“１”）、テーブル画像に含まれる食器画像を特定する器番号（例えば、“１”）、その食器画像の位置情報である座標Ｚ１［Ｄ］（例えば、（ｘ１、ｙ１）＝（５５、７７））、座標Ｚ２［Ｄ］（例えば、（ｘ２、ｙ２）＝（６５、８６））の各情報が対応付けられて格納される。
【００２５】
記憶部１７は、プログラムやデータが予め記憶されている記憶媒体（図示せず）を有しており、この記憶媒体に、基本動作プログラム、本発明に係る第１の表示処理プログラム及びこれらプログラムで処理されたデータ等を記憶する。この記憶媒体は、磁気的、光学的記憶媒体、若しくは半導体メモリで構成されており、記憶部１７に固定的に設けられるもの、若しくは着脱自在に装着するものである。
【００２６】
記憶部１７は、判定基準画像記憶手段であり、判定基準画像データ群及び判定基準画像ファイル１７１が格納される。判定基準画像データとは、食器内の飲食物の残量を判定するために予め撮影されて準備されている画像データであり、食器に飲食物が入っていない空の状態の各種食器を立体的に撮影した画像データである。なお、本実施の形態では、判定基準画像として、全く飲食物が入っていない空の状態の画像を適用して説明するが、食器内に飲食物が少量残っており、空に近い空き状態の画像も空状態の判定基準画像に含むこととする。
【００２７】
判定基準画像ファイル１７１は、判定基準画像データがどの食器の判定基準画像データなのかを特定するためのファイルであり、図４に示すように、各食器を識別するための食器ＩＤ（例えば、“１”）、その食器の名称（例えば、“グラス”）、その食器の判定基準画像データのファイル名（例えば、“glass.gif”）の各情報が対応付けられて格納されている。
【００２８】
印刷部１８は、ドットインパクト方式、熱転写方式、レーザ方式、インクジェット方式等の各種印刷方式により紙等の印刷記録媒体に印刷を行う。印刷部１８は、ＣＰＵ１１からの指示に応じて、各テーブル上の食器画像から判定された飲食物の残量の判定結果を印刷出力する。
【００２９】
次に、第１の実施の形態における動作を説明する。
第１の実施の形態では、テーブル上に配膳された食器画像を撮影し、撮影された食器画像と判定基準画像とを比較して判定基準画像と相似していると判定された食器画像が有る場合、飲食物の残量が所定量に達した食器が有ることを報知する例を説明する。
【００３０】
以下、フローチャートを参照して第１の実施の形態における動作を説明するが、後述するフローチャートに記述されている各機能を実現するためのプログラムは、コンピュータが読み取り可能なプログラムコードの形態で記憶部１７に格納されており、ＣＰＵ１１は当該プログラムコードに従った動作を逐次実行する。また、ＣＰＵ１１は、伝送媒体を介して伝送される上記プログラムコードに従った動作を逐次実行することも可能である。すなわち、記憶部１７の他、伝送媒体を介して外部供給されたプログラム又はデータを利用して第１の実施の形態特有の動作を実行することも可能である。
【００３１】
図５を参照して、画像データ処理装置１０により実行される第１の表示処理を説明する。
まず、図５のステップＳ１において、テーブル番号ＴがＴ＝１に設定され、次いでステップＳ２において、カメラ番号Ｃがテーブル番号Ｔと同一の番号、つまりＣ＝Ｔに設定される。各番号が設定されると、ステップＳ３に移行する。
【００３２】
ステップＳ３では、ステップＳ２で設定されたカメラ番号Ｃに該当するカメラｎａ、ｎｂにより、テーブル番号Ｔのテーブル上に配膳された飲食物の食器が撮影され、図２に示すようなテーブル画像が取得される。
【００３３】
次いで、ステップＳ４では、取得されたテーブル画像からテーブル上の各食器の画像領域がその食器を含む矩形領域で認識され、テーブルの左上に位置する食器から時計回りの順に器番号Ｄが付与される。
【００３４】
次いで、ステップＳ５では、器番号Ｄが付与された各食器画像の矩形領域を特定する２点の座標Ｚ１［Ｄ］（ｘ１、ｙ１）、Ｚ２［Ｄ］（ｘ２、ｙ２）が検出される。そして、検出された座標Ｚ１［Ｄ］、Ｚ２［Ｄ］が、その食器の位置情報として器番号と対応付けて位置テーブル１６１に格納され、ステップＳ６に移行する。
【００３５】
ステップＳ６では、表示部１３に表示中のテーブル番号Ｔにおける飲食物の残量の判定結果が消去される。判定結果を消去後、ステップＳ７において、器番号ＤがＤ＝１に設定され、ステップＳ８に移行する。
【００３６】
ステップＳ８では、器番号Ｄの食器画像の位置情報が位置テーブル１６１から読み出されるとともに、判定基準画像ファイル１７１から食器ＩＤ１〜Ｎの判定基準画像が順に読み出され、位置情報に基づく食器画像と、食器ＩＤ１〜Ｎの判定基準画像とが順に比較される。比較は、例えば判定対象の食器画像の中心座標と、判定基準画像の中心座標とが照合されて行われる。そして、比較する毎に、食器画像と判定基準画像とは相似しているか否か、つまり食器内の残量が所定量に達したか否かが判定される。
【００３７】
例えば、図６（ａ）に示すジョッキの食器画像と、図６（ｄ）に示すティーカップの判定基準画像とが比較された場合、非相似と判定される。また、図６（ａ）に示すような配膳されたばかりのジョッキの食器画像と、図６（ｃ）に示すジョッキの判定基準画像とが比較された場合、非相似であると判定される。また、図６（ｄ）に示すような飲料の残量が少ない食器画像と、図６（ｃ）に示すジョッキの判定基準画像とが比較された場合、相似であると判定され、食器内の飲食物の残量は所定量に達したと判定される。
【００３８】
比較した食器画像と相似する判定基準画像が無かった場合（ステップＳ８；非相似）、後述するステップＳ１０の処理に移行する。一方、相似する判定基準画像が有った場合（ステップＳ８；相似）、ステップＳ９の処理に移行する。
【００３９】
ステップＳ９では、食器画像と相似であると判定された判定基準画像の食器ＩＤ及び食器の名称が判定基準画像ファイル１７１から読み出され、食器の種類が特定される。そして、テーブル番号Ｔのテーブルにおける飲食物の残量の判定結果として、特定した食器の食器ＩＤ、食器名称を表示部１３に表示し、その食器内の飲食物の残量が所定量に達したことを報知する結果画面が表示部１３に表示される。
【００４０】
図７に、結果画面の表示例を示す。ここでは、飲食物の残量が０に達した、つまり空になった食器が有ることを報知する例を説明する。
図７に示すように、結果画面では、テーブル番号１のテーブルにおいて、空の食器が有ることを報知する「食器ＩＤ２ジョッキが空です」等のメッセージが表示される。
【００４１】
判定結果を表示後、ステップＳ１０において、撮影されたテーブル画像に含まれていた全ての食器画像について判定が行われたか否かが判別される。全ての食器画像について判定が行われていない場合（ステップＳ１０；Ｎ）、器番号Ｄがインクリメント（＋１）され（ステップＳ１１）、ステップＳ８の処理に戻る。すなわち、テーブル番号Ｔのテーブル画像に含まれる各食器画像の判定を繰り返す。
【００４２】
一方、全ての食器画像について判定が行われた場合（ステップＳ１０；Ｙ）、ステップＳ１２において、全てのテーブルについて判定が行われたか否かが判別される。全てのテーブルについて判定が行われていない場合（ステップＳ１２；Ｎ）、テーブル番号Ｔがインクリメント（＋１）され（ステップＳ１３）、ステップＳ２の処理に戻る。すなわち、テーブル番号Ｔ＋１のテーブルにおける食器画像の判定が行われる。
【００４３】
一方、全てのテーブルについて判定が行われた場合（ステップＳ１２；Ｙ）、ステップＳ１４に移行する。
ステップＳ１４では、所定時間のインターバルがおかれ、ステップＳ１の処理に戻る。すなわち、テーブル番号１〜Ｎの各テーブルにおける食器画像の判定が開始される。このようにして、繰り返し各テーブルにおける食器画像の判定が行われ、リアルタイムな判定結果が表示部１３に表示される。
【００４４】
店員は、画像データ処理装置１０に表示された判定結果を見て、例えば食器ＩＤ２に該当するビールジョッキを盆にのせて、テーブル番号１のテーブルに勧めに行く等して販売促進活動を行うことが可能である。
【００４５】
以上のように、各種食器の空状態の画像を撮影した判定基準画像を予め用意しておき、各テーブルに配膳された食器画像を撮影して、撮影された食器画像と相似する判定基準画像の有無を判別し、相似する判定基準画像が有る場合、その食器は空であると判定してその旨を報知するので、飲食店の店員は、どのテーブルのどの食器が空であるのかを容易に把握することができる。従って、追加注文を取りに行くタイミングを把握することができ、追加の飲食物を勧める等の積極的な販売活動を行うことが可能となる。
【００４６】
また、店舗面積に対して店員数が少ない場合でも、どのテーブルにどの飲食物を勧めるのかを事前に把握することができるので、効率の良い販売活動ができる。
【００４７】
なお、第１の実施の形態における記述内容は、本発明の画像データ処理装置を適用した好適な一例であり、これに限定されるものではない。
例えば、上述した例では、各テーブル上の飲食物の残量の判定結果を表示部１３に表示して報知することとしたが、これに限らず、印刷部１８により、判定結果を印刷出力して報知することとしてもよいし、スピーカ等の音出力手段を備えて報知音又は報知メッセージなどを音声出力することとしてもよい。
【００４８】
また、カメラとして、サーモカメラを適用し、飲食物の温度分布を判別して飲食物の残量を判定することとしてもよい。
【００４９】
また、カメラは、１台のテーブルに対し撮影方向が異なる２台のカメラを設置することとしたが、これに限らず、カメラの撮影位置を変更可能とし、１台のテーブル上の食器画像を複数の撮影方向から撮影することとしてもよい。これによりカメラの設置台数を減少させることができる。また、複数の撮影方向から撮影した判定基準画像を準備しておき、複数の撮影方向から撮影した食器画像と比較して判定を行うことにより、判定精度を向上させることとしてもよい。
【００５０】
また、判定基準画像として、空状態の食器を撮影した画像を準備し、この判定基準画像と相似する食器画像が有る場合は、食器内の飲食物が空になった又は空に近いと判定して空になったことを報知することとしたが、これに限らない。例えば、第１の判定基準画像として、所定量の飲食物が残った状態の食器を撮影した画像を準備し、第２の判定基準画像として、全く飲食物が残っていない空の状態の画像を準備し、食器画像の判定を行う際には、まず第１の判定基準画像と比較判定して飲食物の残量が所定量に達したことを報知し、次に第２の判定基準画像と比較判定して食器が空になったことを報知することとしてもよい。このように、段階的に飲食物の残量を判定して判定結果を報知することにより、飲食の進行状況を把握することができるとともに飲食の終了予測が可能となる。
【００５１】
さらに、画像データ処理装置として専用の装置を設置してもよいし、第１の実施の形態における画像データ処理装置の機能を電子式キャッシュレジスタ（Electronic Cash Register；以下、ＥＣＲという。）やＰＯＳ（Point Of Scales System）端末、厨房内の注文管理システム、飲食店に設置される管理用コンピュータ、注文受付用のハンディ端末等に備えるようにしてもよい。
【００５２】
その他、第１の実施の形態における画像データ処理装置１０の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００５３】
〈第２の実施の形態〉
第２の実施の形態では、各飲食物をグループ分類し、撮影装置により客のテーブル上に出された飲食物の食器を撮影し、その食器画像により飲食物の残量をグループ単位で判定し、判定の結果をグループ毎に報知する例を説明する。
【００５４】
まず、構成を説明する。
図８に、第２の実施の形態における画像データ処理装置２０の構成を示す。なお、第２の実施の形態における画像データ処理装置２０を構成する各部は、第１の実施の形態における画像データ処理装置１０の各部と同一であるので、同一の符号を付して同一機能部分についての説明は省略し、異なる機能部分についてのみ説明することとする。
【００５５】
図８に示すように、画像データ処理装置２０は、撮影手段であるカメラ１ａ、１ｂ〜ｎａ、ｎｂと、本体部１０ａとから構成され、カメラ１ａ、１ｂ〜ｎａ、ｎｂと、本体部１０ａとは、本体部１０ａのカメラ接続部１４を介して接続される。また、画像データ処理装置２０は、本体部１０ａの通信部１５により、飲食店における飲食料金の精算システム５０と通信ネットワークを介して情報の送受信が可能に接続されている。
【００５６】
カメラ１ａ、１ｂ〜ｎａ、ｎｂは、第１の実施の形態と同一の機能を有するので、その説明は省略する。
【００５７】
本体部１０ａは、ＣＰＵ１１、入力部１２、表示部１３、カメラ接続部１４、通信部１５、ＲＡＭ１６、記憶部１７、印刷部１８から構成され、各部はバス１９により接続される。なお、第１の実施の形態と同一の機能を有する構成部である入力部１２、カメラ接続部１４、印刷部１８については、その詳細な説明を省略する。
【００５８】
ＣＰＵ１１は、記憶部１６に格納されている基本動作制御プログラムの他、本発明に係る第２の表示処理プログラム（図１２参照）をＲＡＭ１６に展開し、当該プログラムとの協働により処理動作を統括的に制御し、各テーブルにおける食器内の飲食物の残量を判定する。
【００５９】
表示部１３は、報知手段であり、各テーブルにおける食器内の飲食物の残量の判定結果を食器のグループ毎に報知する結果画面を表示する。
【００６０】
通信部１５は、通信ネットワークを介して精算システム５０に接続し、各情報の送受信を行う。通信部１５は、取得手段であり、精算システム５０に、注文状況の情報を要求する要求情報を送信し、精算システム５０から注文状況の情報として、各テーブルにおける客の人数、注文金額、滞在時間の情報を取得する。
【００６１】
ＲＡＭ１６には、位置テーブル１６１及び現在状況テーブル１６２が格納される。位置テーブル１６１は、第１の実施の形態における位置テーブル１６１と同一であるので、その詳細な説明は省略する。
【００６２】
現在状況テーブル１６２は、飲食物の残量の判定結果を食器のグループ毎に管理するためのテーブルである。食器のグループとは、例えばグループ１がアルコール飲料用の食器、グループ２が非アルコール飲料用の食器等のように、食器に入れられる飲食物の種類によって分類されるものである。グループ分類の設定は、上記例に限定されず店員が適宜設定可能とする。
【００６３】
図９に示すように、現在状況テーブル１６２は、各テーブルにおける判定結果データから構成される。判定結果データには、テーブル番号と、そのテーブルにおいて食器が空になったと判定された食器数をグループ毎にカウントしたカウンタ値（例えば、テーブル番号１において、食器が空になったと判定された食器数が、グループ１は３、グループ２は０、…、グループＭは３であることを示す。）、そのテーブルにおける客の人数（例えば、“２”人）、注文金額（例えば、“３０００”円）、滞在時間（例えば、“２”時間）の各情報が含まれる。
【００６４】
記憶部１７は、プログラムやデータが予め記憶されている記憶媒体（図示せず）を有しており、この記憶媒体に、基本動作プログラム、本発明に係る第２の表示処理プログラム及びこれらプログラムで処理されたデータ等を記憶する。この記憶媒体は、磁気的、光学的記憶媒体、若しくは半導体メモリで構成されており、記憶部１７に固定的に設けられるもの、若しくは着脱自在に装着するものである。
【００６５】
記憶部１７は、判定基準画像記憶手段であり、判定基準画像データ群及び判定基準画像ファイル１７２が格納される。判定基準画像データとは、食器内の飲食物の残量を判定するために予め撮影されて準備されている画像データであり、食器に飲食物が入っていない空の状態の各種食器を立体的に撮影した画像データである。なお、本実施の形態では、判定基準画像として、全く飲食物が入っていない空の状態の画像を適用して説明するが、食器内に飲食物が少量残っており、空に近い空き状態の画像も空状態の判定基準画像に含むこととする。
【００６６】
判定基準画像ファイル１７２は、判定基準画像データがどのグループの食器の判定基準画像データなのかを特定するためのファイルである。図１０に示すように、判定基準画像ファイル１７２には、食器が属するグループの番号（例えば、“１”）、食器ＩＤ（例えば、“１”）、食器の名称（例えば、“ジョッキ”）、その食器の判定基準画像データのファイル名（例えば、“glass.gif”）が対応付けて格納される。
【００６７】
次に、画像データ処理装置２０と通信ネットワークを介して接続される精算システム５０について説明する。
精算システム５０は、ＲＦＩＤ（Radio Frequency IDentification）と呼ばれる、無線通信を利用した自動識別技術を用いたシステムであり、各食器に無線ＩＣタグを設けてこの無線ＩＣタグに食器ＩＤを記憶させておき、配膳された食器の無線ＩＣタグから食器ＩＤを読み出してその食器に設定されている料金を精算するシステムである。
【００６８】
精算システム５０は、図１１に示すように、各食器に設けられた無線ＩＣタグ５１、注文受付用のハンディ端末５２、ＥＣＲ５３から構成される。
【００６９】
無線ＩＣタグ５１は、各食器に埋め込まれる、貼付される等して各食器に設けられる。無線ＩＣタグ５１は、送受信回路、メモリ、制御回路等を備えて構成され、このメモリに無線ＩＣタグ５１が設けられた食器のＩＤを記憶する。無線ＩＣタグ５１は、ハンディ端末５２からの食器ＩＤの要求に応じて、メモリに記憶している食器ＩＤの情報をハンディ端末５２に送信する。
【００７０】
ハンディ端末５２は、注文情報を入力するための情報処理端末であり、通信機能を備えている。客が入店した際に、店員により客の人数、入店時間が入力されると、入力された各情報をＥＣＲ５３に送信する。また、飲食物の注文情報が入力されると、入力された注文情報を厨房の注文管理システムに送信する。また、注文された飲食物の食器がテーブル上に配膳された際に、当該食器の無線ＩＣタグ５１から食器ＩＤを読み出し、読み出した食器ＩＤをＥＣＲ５３に送信する。
【００７１】
ＥＣＲ５３は、通信機能を備え、ハンディ端末５２から各テーブルにおける客の人数、客の入店時間の各情報を受信して、客の滞在時間を算出し、テーブル毎に客の人数及び滞在時間を管理する。また、客の出店時に精算を行うため、ハンディ端末５２からテーブルに配膳された食器のＩＤを受信し、当該食器ＩＤに応じた注文金額をテーブル毎に管理する。ＥＣＲ５３は、画像データ処理装置２０からの注文状況の情報要求に応じて、テーブル毎の客の人数、注文金額、滞在時間の情報を画像データ処理装置２０に送信する。
【００７２】
次に、第２の実施の形態における動作を説明する。
第２の実施の形態では、テーブル上に配膳された食器の画像を撮影し、撮影された食器画像と、判定基準画像とを比較して相似しているか否かをグループ毎に判定し、相似の判定基準画像が有る食器は空であると判定してグループ毎に空の食器数をカウントしてそのカウント数を報知する例を説明する。
【００７３】
以下、フローチャートを参照して第２の実施の形態における動作を説明するが、後述するフローチャートに記述されている各機能を実現するためのプログラムは、コンピュータが読み取り可能なプログラムコードの形態で記憶部１７に格納されており、ＣＰＵ１１は当該プログラムコードに従った動作を逐次実行する。また、ＣＰＵ１１は、伝送媒体を介して伝送される上記プログラムコードに従った動作を逐次実行することも可能である。すなわち、記憶部１７の他、伝送媒体を介して外部供給されたプログラム又はデータを利用して第２の実施の形態特有の動作を実行することも可能である。
【００７４】
図１２を参照して、画像データ処理装置２０により実行される第２の表示処理を説明する。説明の前提として、精算システム５０では、テーブル毎に客の人数、注文金額及び滞在時間の注文状況情報が管理されていることとする。
【００７５】
まず、図１２のステップＳ１０１において、テーブル番号ＴがＴ＝１に設定され、次いでステップＳ１０２において、カメラ番号Ｃがテーブル番号Ｔと同一の番号に設定される。各番号が設定されると、ステップＳ１０３に移行する。
【００７６】
ステップＳ１０３では、ステップＳ１０２で設定されたカメラ番号Ｃに該当するカメラｎａ、ｎｂによりテーブル番号Ｔのテーブル上に配膳された食器が撮影され、図２に示すようなテーブル画像が取得される。次いで、ステップＳ１０４に移行する。
【００７７】
ステップＳ１０４では、取得されたテーブル画像からテーブル上の各食器の画像領域がその食器を含む矩形領域で認識され、左上に位置する食器から時計回りの順に器番号Ｄが付与される。
【００７８】
次いで、ステップＳ１０５では、器番号Ｄが付与された各食器画像の矩形領域を特定する２点の座標Ｚ１［Ｄ］（ｘ１、ｙ１）、Ｚ２［Ｄ］（ｘ２、ｙ２）が検出される。そして、検出された座標Ｚ１［Ｄ］、Ｚ２［Ｄ］が、その食器の位置情報として器番号と対応付けて位置テーブル１６１に格納される。
【００７９】
各食器画像の認識が終了すると、ステップＳ１０６において、グループ番号ＧがＧ＝１に設定され、ステップＳ１０７において、器番号ＤがＤ＝１に設定される。各番号が設定されると、ステップＳ１０８に移行する。
【００８０】
ステップＳ１０８では、現在状況テーブル１７２のテーブル番号Ｔにおけるグループ番号Ｇの食器のカウンタ値が消去され、ステップＳ１０９の処理に移行する。
【００８１】
ステップＳ１０９では、器番号Ｄの食器画像の位置情報が位置テーブル１６１から読み出されるとともに、判定基準画像ファイル１７２からグループ番号Ｇのグループに属する判定基準画像が順に読み出され、位置情報に基づく食器画像と、グループ番号Ｇに属する判定基準画像とが順次比較される。比較は、例えば判定対象の食器画像の中心座標と、判定基準画像の中心座標とが照合されて行われる。そして、比較する毎に食器画像と判定基準画像とは相似しているか否か、つまり食器が空に近いか否かが判定される。
【００８２】
食器画像と相似する判定基準画像が無かった場合（ステップＳ１０９；非相似）、後述するステップＳ１１１の処理に移行し、相似する判定基準画像が有った場合（ステップＳ１０９；相似）、ステップＳ１１０の処理に移行する。
【００８３】
ステップＳ１１０では、現在状況テーブル１６２のテーブル番号Ｔにおけるグループ番号Ｇのカウンタ値がインクリメント（＋１）される。つまり、テーブル番号Ｔのテーブルにおいて、グループ番号Ｇに属する食器が１つ空になったことが記憶される。
【００８４】
次いで、ステップＳ１１１において、テーブル番号Ｔのテーブル画像に含まれていた全ての食器画像について判定が行われたか否かが判別される。全ての食器画像について判定が行われていない場合（ステップＳ１１１；Ｎ）、器番号Ｄの値がインクリメント（＋１）され（ステップＳ１１２）、ステップＳ１０９の処理に戻る。すなわち、グループ番号Ｇの判定基準画像を用いて器番号Ｄ＋１の食器画像の判定が行われる。一方、全ての食器画像について判定が行われた場合（ステップＳ１１１；Ｙ）、ステップＳ１１３に移行する。
【００８５】
ステップＳ１１３では、全てのグループについて判定が行われたか否かが判別される。全てのグループについて判定が行われていない場合（ステップＳ１１３；Ｎ）、グループ番号Ｇの値がインクリメント（＋１）され（ステップＳ１１４）、ステップＳ１０７の処理に戻る。すなわち、グループ番号Ｇ＋１の判定基準画像を用いて器番号Ｄの食器画像の判定が行われる。一方、全てのグループについて判定が行われた場合（ステップＳ１１３；Ｙ）、ステップＳ１１５の処理に移行する。
【００８６】
ステップＳ１１５では、テーブル番号Ｔのテーブルに着いている客の人数、注文金額、滞在時間等の注文状況の問い合わせを要求する要求情報が精算システム５０に送信される。
【００８７】
精算システム５０では、画像データ処理装置２０から問い合わせの要求情報が送信されると、精算システム５０で管理しているテーブル番号Ｔの客の人数、注文金額、滞在時間の各情報が読み出されて画像データ処理装置２０に送信される。
【００８８】
画像データ処理装置２０では、精算システム５０から注文状況の情報が受信されると、現在状況テーブル１６２のテーブル番号Ｔにおける客の人数、注文金額、滞在時間の各情報が、受信された注文状況の情報に基づいて更新される。
【００８９】
次いで、ステップＳ１１６において、全てのテーブルについて判定が行われたか否かが判別される。全てのテーブルについて判定がまだ行われていない場合（ステップＳ１１６；Ｎ）、テーブル番号Ｔの値がインクリメント（＋１）され（ステップＳ１１７）、ステップＳ１０２の処理に戻る。すなわち、テーブル番号Ｔ＋１における食器画像の判定が行われる。一方、全てのテーブルについて判定が行われた場合（ステップＳ１１６；Ｙ）、ステップＳ１１８の処理に移行する。
【００９０】
ステップＳ１１８では、取得された注文状況の情報及び現在状況テーブル１６２に格納される各テーブルの判定結果データに基づいて、受注機会の可能性が高いテーブルが判定され、その受注機会の可能性が高いテーブル順に判定結果データがソートされる。受注機会の可能性が高い順とは、例えば、滞在時間が短い順、客単価（一人あたりの注文金額）が低い順等であり、さらに受注する可能性が高い順であり、客の注文状況の情報が所定状況になっている場合である。このソート方法は、上記例に限定されず店員が適宜設定可能とする。ソートが終了すると、受注機会の可能性が高い順番でソートされた各テーブル番号Ｔの判定結果データが、各テーブルにおける飲食物の残量の判定結果を示す結果画面として表示部１３に表示される。
【００９１】
図１３に、判定結果の表示例を示す。ここでは、滞在時間が短い順にソートされた例を説明する。
図１３に示すように、判定結果の表示画面では、最上部に客の滞在時間が最短であるテーブル番号３の判定結果データが表示され、その下部には客の滞在時間が短い順に各テーブルの判定結果データが表示される。各テーブルの判定結果データとしては、テーブル番号、客の人数、注文金額、滞在時間が表示され、その下部に、「グループ１（アルコール飲料）の食器が１つ空です」のようなメッセージが表示され、グループ毎に空になった食器数が報知される。
【００９２】
判定結果を表示後、ステップＳ１１９において、所定時間のインターバルを経ると、ステップＳ１０１に戻る。すなわち、テーブル番号１〜Ｎの各テーブルにおける食器画像の判定が開始される。このようにして、繰り返し各テーブルの食器画像の判定が行われ、リアルタイムな判定結果が表示部１３に表示される。
【００９３】
店員は、画像データ処理装置１０に表示された判定結果を見て、例えばグループ１の食器が１つ空になっているテーブルに、グループ１に該当する各種アルコール飲料を盆にのせて勧めて回る等して販売促進活動を行うことが可能である。
【００９４】
以上のように、各種食器をグループ分類してグループ毎に判定基準画像を予め準備しておき、各テーブルに出された食器画像を撮影して、撮影された食器画像と相似する判定基準画像の有無をグループ毎に判別し、相似する判定基準画像が有る場合、その食器は空であると判別して空の食器数をグループ毎に報知するので、飲食店の店員は、どのテーブルのどのグループの食器がいくつ空になっているのかを容易に把握することができる。従って、追加注文を取りに行くタイミングを把握することができ、食器が空になったグループの飲食物を勧める等の積極的な販売活動を行うことが可能となる。
【００９５】
また、精算システム５０から客の人数、注文金額、滞在時間等の各情報を取得し、これらの情報に基づいて受注機会の可能性が高いテーブルが判定され、各テーブルにおける判定結果が、受注機会の可能性が高いテーブルから順に表示されるので、販売活動を行う優先度を把握することができ効率の良い販売活動を行うことができる。
【００９６】
さらに、店舗面積に対して店員数が少ない場合でも、どのテーブルにどのグループの飲食物を勧めるのかを事前に把握することができるので、効率の良い販売活動ができる。なお、図示はしないが、客の出店時に精算システム５０でテーブル番号を入力すれば、テーブル毎に食器ＩＤに応じて管理された注文金額によって精算を行なうことができる。
【００９７】
なお、第２の実施の形態における記述内容は、本発明の画像データ処理装置を適用した好適な一例であり、これに限定されるものではない。
例えば、現在状況テーブル１６２において、さらに客の性別、子供の人数等のデータ構成を増やすこととしてもよい。これにより、より詳細な注文状況を把握することができ、販売活動の参考情報とすることができる。
【００９８】
また、注文状況の取得は、通信部１５により精算システム５０から取得することとして説明したが、これに限らず、画像データ処理装置１０に直接、客の人数、注文金額、入店時間を入力することとしてもよい。
【００９９】
また、上述した例では、グループ毎の判定結果を表示部１３に表示して報知することとしたが、これに限らず、印刷部１８により、判定結果を印刷出力して報知することとしてもよいし、スピーカ等の音出力手段を備えて報知音又は報知メッセージなどを音声出力することとしてもよい。
【０１００】
また、カメラとして、サーモカメラを適用し、飲食物の温度分布を判別して飲食物の残量を判定することとしてもよい。
【０１０１】
また、カメラは、１台のテーブルに対し撮影方向が異なる２台のカメラを設置することとしたが、これに限らず、カメラの撮影位置を変更可能とし、１台のテーブル上の食器画像を複数の撮影方向から撮影することとしてもよい。これによりカメラの設置台数を減少させることができる。また、複数の撮影方向から撮影した判定基準画像を準備しておき、複数の撮影方向から撮影した食器画像と比較して判定を行うことにより、判定精度を向上させることとしてもよい。
【０１０２】
また、判定基準画像として、空状態の食器を撮影した画像を準備し、この判定基準画像と相似する食器画像が有る場合は、食器内の飲食物が空になった又は空に近いと判定して空になったことを報知することとしたが、これに限らない。例えば、第１の判定基準画像として所定量の飲食物が残った状態の食器を撮影した画像を準備し、第２の判定基準画像として全く飲食物が残っていない空の状態の画像を準備し、食器画像の判定を行う際には、まず第１の判定基準画像と比較判定して飲食物の残量が所定量に達したことを報知し、次に第２の判定基準画像と比較判定して食器が空になったことを報知することとしてもよい。このように、段階的に飲食物の残量を判定して判定結果を報知することにより、飲食の進行状況を把握することができるとともに飲食の終了予測が可能となる。
【０１０３】
さらに、画像データ処理装置として専用の装置を設置することとしてもよいし、第２の実施の形態における画像データ処理装置１０の機能を、精算システム５０のＥＣＲ５３又はハンディ端末５２、ＰＯＳ端末、厨房内の注文管理システム、飲食店に設置される管理用コンピュータ等に備えるようにしてもよい。
【０１０４】
その他、第２の実施の形態における画像データ処理装置２０の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【０１０５】
【発明の効果】
請求項１に記載の発明によれば、撮影された食器画像と判定基準画像とを比較して相似すると判定された場合、その食器内の飲食物の残量が所定量に達したことを報知するので、どのテーブルのどの食器内の飲食物の残量が所定量に達したのかを容易に把握することができる。
【０１０６】
請求項２に記載の発明によれば、食器をグループ分類し、撮影された食器画像と判定基準画像とをグループ毎に比較して相似すると判定された場合、その食器内の飲食物の残量が所定量に達したことをグループ単位で報知するので、どのテーブルのどの食器内の飲食物の残量が所定量に達したのかを食器のグループ単位で把握することができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態における画像データ処理装置１０の機能的構成を示す図である。
【図２】カメラｎｂにより真上から撮影されたテーブル画像を示す図である。
【図３】ＲＡＭ１６に格納される位置テーブル１６１のデータ構成例を示す図である。
【図４】記憶部１７に格納される判定基準画ファイル１７１のデータ構成例を示す図である。
【図５】画像データ処理装置１０により実行される第１の表示処理を説明するフローチャートである。
【図６】撮影された食器画像と、判定基準画像との比較判定例を示す図である。
【図７】各テーブルにおける判定結果の表示例を示す図である。
【図８】本発明を適用した第２の実施の形態における画像データ処理装置２０の機能的構成を示す図である。
【図９】ＲＡＭ１６に格納される現在状況テーブル１６２のデータ構成例を示す図である。
【図１０】記憶部１７に格納される判定基準画像ファイル１７２のデータ構成例を示す図である。
【図１１】精算システム５０のシステム構成図である。
【図１２】画像データ処理装置２０により実行される第２の表示処理を説明するフローチャートである。
【図１３】各テーブルにおける判定結果の表示例を示す図である。
【符号の説明】
１ａ、１ｂ〜ｎａ、ｎｂ カメラ
１０ 画像データ処理装置（第１の実施の形態）
１０ａ 本体部
１１ ＣＰＵ
１２ 入力部
１３ 表示部
１４ カメラ接続部
１５ 通信部
１６ ＲＡＭ
１６１ 位置テーブル
１７ 記憶部
１７１ 判定基準画像ファイル
１８ 印刷部
２０ 画像データ処理装置（第２の実施の形態）
１６２ 現在状況テーブル
１７２ 判定基準画像ファイル
５０ 精算システム

Claims (6)

1. 各種飲食物のそれぞれに対応する各種食器の空状態に応じた画像を判定基準画像として記憶する判定基準画像記憶手段と、
   テーブル上に配膳された食器の画像を撮影する撮影手段と、
   前記撮影された食器画像と、前記記憶された判定基準画像とを比較し、相似するか否かを判定する判定手段と、
   前記判定手段により食器画像と判定基準画像とが相似すると判定された場合、食器内の飲食物の残量が所定量に達したことを報知する報知手段と、
   を備えることを特徴とする画像データ処理装置。
2. 食器を飲食物の種類に応じてグループ分類し、各種飲食物のそれぞれに対応する各種食器の空状態に応じた画像を判定基準画像として、分類された食器のグループ毎に記憶する判定基準画像記憶手段と、
   テーブル上に配膳された食器の画像を撮影する撮影手段と、
   前記撮影された食器画像と、前記記憶された判定基準画像とを比較し、相似するか否かをグループ毎に判定する判定手段と、
   前記判定手段により食器画像と判定基準画像とが相似すると判定された場合、食器内の飲食物の残量が所定量に達したことをグループ単位で報知する報知手段と、
   を備えることを特徴とする画像データ処理装置。
3. 前記報知手段は、食器内の飲食物の残量が所定量に達したことをテーブル単位で報知することを特徴とする請求項１又は２に記載の画像データ処理装置。
4. 客の注文状況の情報を取得する取得手段を備え、
   前記判定手段は、前記取得された注文状況が所定状況となっている場合に、受注機会の可能性が高いテーブルとして判定し、
   前記報知手段は、前記判定された受注機会の可能性が高いテーブル順に、食器内の飲食物の残量が所定量に達したことを報知することを特徴とする請求項３に記載の画像データ処理装置。
5. コンピュータに、
   各種飲食物のそれぞれに対応する各種食器の空状態に応じた画像を判定基準画像として判定基準画像記憶手段に記憶させる機能と、
   テーブル上に配膳された食器の画像を撮影させる撮影機能と、
   前記撮影された食器画像と、前記記憶された判定基準画像とを比較し、相似するか否かを判定させる判定機能と、
   前記判定機能により食器画像と判定基準画像とが相似すると判定された場合、食器内の飲食物の残量が所定量に達したことを報知させる報知機能と、
   を実現させるためのプログラム。
6. コンピュータに、
   食器を飲食物の種類に応じてグループ分類し、各種飲食物のそれぞれに対応する各種食器の空状態に応じた画像を判定基準画像として、分類された食器のグループ毎に判定基準画像記憶手段に記憶させる機能と、
   テーブル上に配膳された食器の画像を撮影させる機能と、
   前記撮影された食器画像と、前記記憶された判定基準画像とを比較し、相似するか否かをグループ毎に判定させる判定機能と、
   前記判定機能により食器画像と判定基準画像とが相似すると判定された場合、食器内の飲食物の残量が所定量に達したことをグループ単位で報知させる報知機能と、
   を実現させるためのプログラム。

Images