JP2004213121A - 画像処理システム及びプログラム - Google Patents
画像処理システム及びプログラム Download PDFInfo
- Publication number
- JP2004213121A JP2004213121A JP2002378914A JP2002378914A JP2004213121A JP 2004213121 A JP2004213121 A JP 2004213121A JP 2002378914 A JP2002378914 A JP 2002378914A JP 2002378914 A JP2002378914 A JP 2002378914A JP 2004213121 A JP2004213121 A JP 2004213121A
- Authority
- JP
- Japan
- Prior art keywords
- image
- customer
- order
- image processing
- photographed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】レストラン等のサービス提供者が迅速に顧客に対応できるようにして顧客サービスの向上を図るとともに、レストラン側の業務の円滑化及び簡略化を実現する。
【解決手段】画像処理装置１０は、撮影装置４０により撮影された顧客画像を、静止状態画像、注文時動作画像、注文時類似動作画像の各々と比較することにより、顧客が注文時の動作をしているか否かを判別する。注文時動作であると認識した場合には、注文用端末２０及び厨房内モニタ３０に注文が発生したことを報知する。また、顧客画像から顧客が食べている料理画像を抽出し、この料理画像の残量を測定して、測定した残量を残量閾値Ｘと比較する。残量が残量閾値Ｘ以下である場合には、注文用端末２０及び厨房内モニタ３０に顧客が食べ終わった旨を報知する。さらに、画像処理装置１０は、テーブル番号に基づき、顧客が支払うべき合計金額を算出して、算出結果を表示及び印刷する。
【選択図】 図１
【解決手段】画像処理装置１０は、撮影装置４０により撮影された顧客画像を、静止状態画像、注文時動作画像、注文時類似動作画像の各々と比較することにより、顧客が注文時の動作をしているか否かを判別する。注文時動作であると認識した場合には、注文用端末２０及び厨房内モニタ３０に注文が発生したことを報知する。また、顧客画像から顧客が食べている料理画像を抽出し、この料理画像の残量を測定して、測定した残量を残量閾値Ｘと比較する。残量が残量閾値Ｘ以下である場合には、注文用端末２０及び厨房内モニタ３０に顧客が食べ終わった旨を報知する。さらに、画像処理装置１０は、テーブル番号に基づき、顧客が支払うべき合計金額を算出して、算出結果を表示及び印刷する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、飲食店等における業務の効率化を図る画像処理システム及びプログラムに関する。
【０００２】
【従来の技術】
飲食店等で顧客が接客係を呼び出す際には、顧客が声を出したりテーブルに設置された呼出用のボタンを押すのが一般的である。そして、接客係が顧客のテーブルまで行き、注文を受けたり用件を聞き、顧客が要求するサービスを提供する。
【０００３】
従来、ゴルフ場の食堂等に設置される情報表示装置として、顧客のプレー開始時間を表示したり料理の注文を受け付ける情報表示装置が発明されている（例えば、特許文献１参照）。この発明によれば、係員が顧客のテーブルに赴くことなく自動的に注文を受け付けることができる。
【０００４】
【特許文献１】
特開平１０−３４００５７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来、接客係がテーブルに到着するまで飲食店側では顧客の用件を知ることができなかった。また、コース料理が注文され、接客係が順番に料理を配膳する場合には、接客係がテーブルまで行って顧客の食べ進み具合を確認する必要があった。このため、接客係は店内を巡回しなければならず、煩雑であった。また、顧客は、接客係がやって来るまで用件を申し出ることができず、接客係に気付かれない場合には気分が害されることもあった。さらに、顧客が用件を接客係に伝えた後、接客係から厨房に用件が伝達されるため、用件が満たされるまでに時間がかかり、顧客にサービスが悪いという印象を与えることがあり、改善の余地があった。
【０００６】
一方、上述した特許文献１の発明は、係員が顧客のテーブルに行かない限り注文以外の用件を知ることはできなかった。また、顧客が接客係に直接注文や用件を伝えたい場合も多く、必要な時にすぐに対応することが望まれていた。
【０００７】
そこで、本発明の課題は、飲食店等のサービス提供者が迅速に顧客に対応できるようにして顧客サービスの向上を図るとともに、店側の業務の円滑化及び簡略化を実現する画像処理システム及び画像処理装置及びプログラムを提供することである。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、
顧客の画像を撮影する撮影装置、その撮影画像を処理する画像処理装置及び通信端末を備えた画像処理システムであって、
前記画像処理装置は、
注文時における人の特徴的な動作からなる注文時動作画像を記憶する記憶手段と、
前記撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とを比較する比較判別手段と、
この比較判別手段による比較判別の結果、前記撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とが一致する場合に、当該顧客による注文が発生したことを前記通信端末に報知する制御手段と、
を備えることを特徴としている。
【０００９】
この請求項１に記載の発明によれば、飲食店等においてサービス提供者が顧客の要望に迅速に対応することが可能となる。このため、顧客サービスの向上を図ることができる。また、サービス提供者側において、業務の効率化を実現できる。
【００１０】
また、請求項４に記載の発明は、
顧客の画像を撮影する撮影装置、その撮影画像を処理する画像処理装置及び通信端末を備えた画像処理システムであって、
前記画像処理装置は、
各種料理の量の閾値を記憶する記憶手段と、
前記撮影装置により撮影され入力された画像から料理の画像を抽出する抽出手段と、
この抽出手段により抽出された料理の画像に基づき当該料理の残量を測定する測定手段と、
この測定手段により測定された料理の残量が前記閾値以下であるか否かを判別する比較判別手段と、
この比較判別手段による比較判別の結果、前記料理の残量が前記閾値以下である場合に、前記顧客の食べ終わりが近いことを前記通信端末に報知する制御手段と、
を備えることを特徴としている。
【００１１】
この請求項４に記載の発明によれば、飲食店等においてサービス提供者が顧客の要望に迅速に対応することが可能となる。このため、顧客サービスの向上を図ることができる。また、サービス提供者側において、業務の効率化を実現できる。
【００１２】
【発明の実施の形態】
図１は、本発明を適用した画像処理システム１００の全体構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置１０、注文用端末２０、厨房内モニタ３０、撮影装置４０、により構成される。画像処理システム１００は、主としてレストラン等の飲食店において構築される。
【００１３】
画像処理装置１０は、撮影装置４０により撮影された画像を処理する装置であり、例えば、電子式キャッシュレジスタ（ＥＣＲ；Electronic Cash Register；以下、ＥＣＲという。）等が適用可能である。画像処理装置１０は、ケーブルCを介して撮影装置４０に接続される。また、通信ネットワークを介して注文用端末２０及び厨房内モニタ３０に接続されている。画像処理装置１０は、撮影装置４０により撮影された顧客や料理の画像を処理することにより、顧客の状態（例えば、食べ終わりや注文等）を監視しており、顧客の状態に変化があった場合に注文用端末２０及び厨房内モニタ３０に文字や画像を送信して変化の発生を報知する。
【００１４】
注文用端末２０は、無線通信機能を備えた携帯可能な通信端末であり、レストラン等で接客係等により携帯される。注文用端末２０は、通信ネットワークを介して画像処理装置１０に注文内容を転送する。また、接客係の呼び出しメッセージや商品（例えば、料理等）の在庫情報、厨房やレジや他の接客係からのメッセージ等を、通信ネットワークを介して画像処理装置１０から受信し、受信したデータを表示画面に表示する。
【００１５】
厨房内モニタ３０は、無線通信機能を備えた通信端末であり、レストラン等の厨房内に設置される。厨房内モニタ３０は、店内の各テーブルの顧客を撮影した画像を通信ネットワークを介して画像処理装置１０から受信し、受信したデータを表示画面に表示する。また、顧客の状態の変化を示すデータ、すなわち注文の発生や食べ終わりを示すデータを画像処理装置１０から受信した場合に、表示画面に表示されたテーブルを他のテーブルとは異なった方法で表示（例えば、変化があったテーブルを点滅表示）したり、変化の内容を示すメッセージを表示する等して、厨房係に顧客の状態に変化があったことを報知する。
【００１６】
撮影装置４０は、カメラ１ａ〜ｎａ及びカメラ１ｂ〜nｂにより構成され、各カメラは、ケーブルＣを介して画像処理装置１０に接続される。カメラ１ａ〜ｎａ及びカメラ１ｂ〜ｎｂは、レストラン等の店内に設置される撮影装置である。店内の各テーブルにはテーブルを識別するためのテーブル番号Ｎが与えられ、１つのテーブルにつき２台のカメラが設置される。例えば、図１に示すように、テーブル番号「１」のテーブルには、カメラ１ａ及びカメラ１ｂが設置されている。さらに、各テーブルに設置された２台のカメラを識別するためのカメラ番号が付与されており、例えば、図１のテーブル番号「１」に設置された２台のカメラ１ａ及び１ｂのカメラ番号は「１Ｃ」である。
【００１７】
ここで、撮影装置４０の各カメラの代表として、カメラｎａ，ｎｂについて説明する。
カメラｎａは、テーブル番号Ｎのテーブルをその上斜め方向から撮影し、顧客や料理の画像を立体的に撮影する。カメラｎｂは、配膳された料理の座標位置を特定するために、テーブル番号Ｎのテーブルを真上から撮影する。そして、カメラｎａ及びｎｂは、撮影により得られたて画像をケーブルＣを介して画像処理装置１０に送信する。
【００１８】
次に、図１を参照して画像処理装置１０の機能的構成を説明する。
図１に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１、入力部１２、表示部１３、カメラ接続部１４、通信部１５、ＲＡM（Random Access Memory）１６、記憶部１７、印刷部１８、により構成され、各部は相互にデータの送受信が可能なようにバス１９により接続されている。
【００１９】
ＣＰＵ１１は、記憶部１７に格納された基本動作制御プログラムの他、本発明に係る顧客状態報知処理プログラム、動作状態判別処理プログラム、精算処理プログラムとの協働により、画像処理装置１０の処理動作を統括的に制御し、顧客状態報知処理（図１２及び図１３参照）、動作状態判別処理（図１４参照）、精算処理（図１７参照）、の各処理を実現する。
【００２０】
入力部１２は、カーソルキーや数字キー、各種機能キーを備えて構成され、押下されたキーに対応する押下信号をＣＰＵ１１に出力する。なお、入力部１２は、必要に応じてマウス、タッチパネル等のポインティングデバイスを含むこととしてもよい。
【００２１】
表示部１３は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ１１から入力される表示信号の指示に従って、ＣＰＵ１１により実行される各処理において処理中のデータや処理結果のデータ等を画面上に表示する。
【００２２】
カメラ接続部１４は、画像処理装置１０にケーブルＣを介して撮影装置４０を接続するためのインターフェイスである。
【００２３】
通信部１５は、ネットワークインターフェイスカード、モデム、ターミナルアダプタなどにより構成され、通信ネットワーク上の外部機器と各種情報の送受信を行う。通信部１５は、通信ネットワークを介して図１の注文用端末２０及び厨房内モニタ３０と接続する。
【００２４】
ＲＡＭ１６は、ＣＰＵ１１により実行される各種プログラムやこれらの各種プログラムによって処理されたデータを一時的に記憶するワークエリアを形成する。また、ＲＡＭ１６は、後述する顧客データテーブル１６１を格納する。
【００２５】
図２に顧客データテーブル１６１の一例を示す。このテーブルは、撮影装置４０により撮影されて得られた画像を管理するためのテーブルである。同図に示すように、顧客データテーブル１６１には、テーブル番号毎に、顧客を１人ずつ識別するための顧客番号と、各顧客を撮影した画像（以下、顧客画像という。）のファイル名と、この顧客画像が静止状態の画像（以下、静止状態画像という。）であるか否かをＯＮ／ＯＦＦで示す静止状態画像フラグと、各顧客が食事している料理の盛付時の画像（以下、盛付時料理画像という。）のファイル名とが対応付けて記憶されている。
【００２６】
例えば、図２において、テーブル１の顧客番号１０１の顧客については、顧客画像（ファイル名「imageA」）が撮影済みであり、この顧客画像は静止状態画像であり、顧客はチャーハンと餃子を食べている。一方、テーブル２の顧客番号１１１の顧客は、顧客画像が撮影されておらず、盛付時料理画像がないため、席についてから間もないと考えられる。
【００２７】
記憶部１７は、プログラムやデータ等が予め記憶されている、ＲＯＭやハードディスク、フラッシュメモリ等の記憶媒体（図示せず）を有している。この記憶媒体は記憶装置１４に固定的に設けたものに限らず、例えばメモリーカードのような着脱自在に装着できるものであっても良い。この記憶媒体には、画像処理装置１０を制御するための基本動作プログラム、本発明に係る顧客状態報知処理プログラム、動作状態判別処理プログラム、精算処理プログラム等が記憶されている。
【００２８】
また、記憶部１７には、図１に示すように、後述する静止状態画像ファイル１７１、盛付時料理画像ファイル１７２、注文時動作画像ファイル１７３、注文時類似動作画像ファイル１７４、顧客画像ファイル１７５、ＰＬＵ（Price Look-Up table）ファイル１７６が格納されている。この他に、記憶部１７には、顧客が食事を終了したか否かを判別するための料理の残量を示す閾値（以下、残量閾値という。）Xが記憶されている。残量閾値Ｘとしては、料理を撮影した画像の画素数や、盛付時料理画像と顧客が食事中の料理画像の画素数比率等を設定することができる。
【００２９】
印刷部１８は、ドットインパクト方式、熱転写方式、レーザ方式、インクジェット方式等の各種印刷方式により紙等の印刷記録媒体に印刷を行う。印刷部１８は、ＣＰＵ１１からの指示に応じて、精算処理において算出された合計金額等を印刷出力する。
【００３０】
以下、図１の記憶部１７に格納された各種ファイルについて説明する。
静止状態画像ファイル１７１は、顧客が静止した状態を撮影した画像を格納するファイルである。図３に静止状態画像ファイル１７１の一例を示す。同図に示すように、静止状態画像ファイル１７１には、例えば、「imageAA（手を膝に置いた画像）」、「imageAB（手をテーブルに置いた画像）」、「imageAC（肘を立てた画像）」等が格納されている。この静止状態画像ファイル１７１は、後述する顧客状態報知処理において、顧客画像に基づき顧客が静止状態であるか否かを判別する際に使用される。
【００３１】
盛付時料理画像ファイル１７２は、各種料理の盛付時の料理を撮影した画像を格納するファイルである。図４に盛付時料理画像ファイル１７２の一例を示す。同図に示すように、盛付時料理画像ファイル１７２には、例えば、「imageCH（チャーハン画像）」、「imageGZ（餃子画像）」、「imageRM（ラーメン画像）」等が格納されている。この盛付時料理画像ファイル１７２は、後述する顧客状態報知処理において、顧客画像から料理画像を抽出したり料理を特定する際に使用される。
【００３２】
注文時動作画像ファイル１７３は、顧客が注文時に行う代表的な動作を撮影した画像を格納するファイルである。図５に注文時動作画像ファイル１７３の一例を示す。同図に示すように、注文時動作画像ファイル１７３には、例えば、「imageCA（右手を挙げた画像）」、「imageCB（左手を挙げた画像）」、「imageCC（手招きの画像）」等が格納されている。この注文時動作画像ファイル１７３は、後述する動作状態判別処理において、注文の動作を認識する際に使用される。
【００３３】
注文時類似動作画像ファイル１７４は、顧客の注文時の動作と類似するものの注文動作とは異なる動作を撮影した画像を格納するファイルである。図６に注文時類似動作画像ファイル１７４の一例を示す。同図に示すように、注文時類似動作画像ファイル１７４には、例えば、「imageDA（あくびの画像）」、「imageDB（額をかく画像）」、「imageDC（額で熱を測る画像）」等が予め格納されている。この注文時類似動作画像ファイル１７４は、後述する動作状態判別処理において、注文の動作と類似した紛らわしい動作を、注文の動作であると誤認することを防ぐために使用される。
【００３４】
顧客画像ファイル１７５は、撮影装置４０により撮影された顧客画像を格納するファイルである。すなわち、この顧客画像ファイル１７５には、顧客データテーブル１６１（図２参照）に記録された「顧客画像ファイル名」に対応する画像が格納されている。
【００３５】
ＰＬＵファイル１７６は、売上を管理するためのファイルである。図７にＰＬＵファイル１７６の一例を示す。同図に示すように、ＰＬＵファイル１７６には、このレストランで提供している料理を識別するためのＰＬＵ番号、料理画像ファイル名、日本国内共通の商品コードであるＪＡＮ（Japan Article Number）コード、単価、売上累計数量が対応付けて記憶されている。
例えば、図７に示すように、ＰＬＵ番号「１」の料理は、料理画像ファイル名「imageCH」の料理であり、盛付時料理画像ファイル１７２（図４参照）に示したように、これはチャーハンの画像である。チャーハンのＪＡＮコードは、「4XXXXX1」であり、単価は「800」円、売上累計数量は「３８」である。このＰＬＵファイル１７６は、後述する精算処理において、レストラン側が顧客に請求する料金を算出する際に使用される。
【００３６】
ここで、図８〜図１１に、上記説明した静止状態画像ファイル１７１、盛付時料理画像ファイル１７２、注文時動作画像ファイル１７３、注文時類似動作画像ファイル１７４の各ファイルに格納された画像例を示す。
【００３７】
図８は、図３の静止状態画像ファイル１７１に格納された静止状態画像の一例を示す図であり、「imageAA（顧客が手をテーブルに置いた画像）」である。図９は、図４の盛付時料理画像ファイル１７２に格納された盛付時料理画像の一例を示す図であり、「imageSK（ステーキ画像）」である。図１０は、図５の注文時動作画像ファイル１７３に格納された注文時動作画像の一例を示す図であり、「imageCB（左手を挙げた画像）」である。図１１は、図６の注文時類似動作画像ファイル１７４に格納された注文時類似画像の一例を示す図であり、「imageDD（頭に手を載せた画像）」である。
後述する顧客状態報知画像及び動作状態判別処理において、上記のような予め記憶部１７に格納された画像と、実際に顧客を撮影した顧客画像とが比較され、この比較結果に応じた情報が注文用端末２０や厨房内モニタ３０に転送される。
【００３８】
次に、図１２〜図１４及び図１７のフローチャートを参照して、画像処理装置１０の動作を説明する。ここで、以下のフローチャートに記述されている各機能を実現するためのプログラムは、読取可能なプログラムコードの形態で記憶媒体に格納されており、ＣＰＵ１１はこのプログラムコードに従った動作を逐次実行する。また、ＣＰＵ１１は伝送媒体を介して伝送されてきたプログラムコードに従った動作を逐次実行することもできる。すなわち、記憶部１７の他、例えばインターネット等のネットワークを介して外部のファイルサーバ等から供給されたプログラムやデータを利用して本実施の形態に特有の動作を実行することもできる。
【００３９】
まず、図１２及び図１３を参照して、画像処理装置１０により実行される顧客状態報知処理について説明する。この処理の前提として、撮影装置４０が有するカメラのうち、注目するカメラ番号をXとする。
図１２に示すように、顧客状態報知処理において、注目するカメラ番号Ｘの値が最大のカメラ番号Ｎを超える場合に（ステップＳ１；ＹＥＳ）、Ｘが「１」に設定され（ステップＳ２）、ステップＳ３に移行する。一方、カメラ番号Ｘの値がＮ以下である場合は（ステップＳ１；ＮＯ）、そのままステップＳ３に移行する。
【００４０】
次に、テーブル番号Ｘのテーブルに着席した顧客全員がカメラ番号Ｘのカメラにより撮影され、撮影された顧客画像が受信される（ステップＳ３）。次いで、テーブル番号Ｘのテーブルについた顧客の人数分のレコード領域がＲＡＭ１６内に確保されているか否かが判別される（ステップＳ４）。このとき、人数分のレコード領域が確保されている場合には（ステップＳ４；ＹＥＳ）、ステップＳ７に移行する。一方、人数分のレコード領域が確保されていない場合には（ステップＳ４；ＮＯ）、顧客画像に基づいてテーブルＸの顧客の人数が判別される（ステップＳ５）。
【００４１】
次に、判別された人数分のレコード領域がＲＡＭ１６内に確保され、ステップＳ５において得られた顧客画像が記憶部１７内の顧客画像ファイル１７６に記録される。また、この顧客画像にファイル名が付与されて顧客データテーブル１６１に記録されるとともに、顧客画像が静止状態画像であるか否かが判別され、判別結果に応じて静止状態画像のフラグがＯＮ又はＯＦＦに設定される（ステップＳ６）。次いで、ステップＳ７に移行する。
【００４２】
ステップＳ７において、テーブル番号Ｘの全顧客の静止状態画像が撮影済みであると判別された場合に（ステップＳ７；ＹＥＳ）、テーブル番号Ｘの全顧客の顧客画像がカメラ番号Ｘのカメラから受信され（ステップＳ１１）、後述する動作状態判別処理が実行される（ステップＳ１２）。次に、テーブル番号Ｘにおいて顧客の注文時動作の有無が判別され（ステップＳ１３）、注文時動作がないと判別された場合には（ステップＳ１３；ＮＯ）、ステップＳ１５に移行する。一方、注文時動作があったと判別された場合には（ステップＳ１３；ＹＥＳ）、テーブル番号Ｘで注文が発生したことが注文用端末２０及び厨房内モニタ３０に報知され（ステップＳ１４）、ステップＳ１５へ移行する。
そして、テーブル番号Ｘに１が加算されたテーブル番号のテーブルが次に注目するテーブルに設定され（ステップＳ１５）、ステップＳ１に戻る。
【００４３】
一方、上述したステップＳ７において、テーブル番号Ｘのテーブルの全顧客の静止状態画像が撮影済みではないと判別された場合には（ステップＳ７；ＮＯ）、静止状態画像が撮影されていない顧客がカメラ番号Ｘのカメラによって撮影され、撮影された顧客画像が受信される（ステップＳ８）。次に、撮影された顧客画像と類似の顧客画像が記憶部１７の顧客画像ファイル１７５に記録済みであるか否かが判別される（ステップＳ９）。類似した画像が記録済みであると判別された場合には（ステップＳ９；ＹＥＳ）、図１３のステップＳ２０（（Ａ）として図示）に移行する。
【００４４】
一方、類似した画像が記録済みではないと判別された場合には（ステップＳ９；ＮＯ）、新たに撮影された顧客画像が顧客画像ファイル１７５に記録され、この顧客画像にファイル名が付与されて顧客データテーブル１６１に記録される。また、顧客画像が静止状態画像であるか否かに応じて、顧客データテーブル１６１の静止画像フラグがＯＮ又はＯＦＦに設定される（ステップＳ１０）。そして、ステップＳ２０（Ａ）へと移行する。
【００４５】
ステップＳ２０（Ａ）に移行した場合に、顧客画像ファイル１７５に格納された顧客画像から料理画像が抽出される（ステップＳ２０）。次に、抽出された料理画像が既に顧客データテーブル１６１に記録済みであるか否かが判別される（ステップＳ２１）。記録済みではないと判別された場合には（ステップＳ２１；ＮＯ）、抽出した料理画像が、この料理に一番近い顧客の顧客画像と対応付けて顧客データテーブル１６１に記録される。また、抽出した料理画像の料理の数量が、ＰＬＵファイル１７６に加算して記録され（ステップＳ２２）、ステップＳ１５（（Ｂ）として図示）に移行する。
【００４６】
上記ステップＳ２１において、抽出した料理画像が顧客データテーブル１６１に記録済みであると判別された場合には（ステップＳ２１；ＹＥＳ）、この料理の残量が測定された後（ステップＳ２３）、測定された残量が記憶部１７に記憶された残量閾値Ｘ以下であるか否かが判別される（ステップＳ２４）。測定された残量が残量閾値Ｘ以下ではないと判別された場合は（ステップＳ２４；ＮＯ）、（ｂ）に移行する。一方、残量閾値Ｘ以下であると判別された場合には（ステップＳ２４；ＹＥＳ）、テーブル番号Ｘにおいて食べ終わりの料理があることを注文用端末２０及び厨房内モニタ３０に報知して（ステップＳ２５）、ステップＳ１５（Ｂ）に移行する。
【００４７】
次に、図１４を参照して、図１２及び図１３の顧客状態報知処理において実行される動作状態判別処理について説明する。
図１４に示すように、動作状態判別処理において、記憶部１７内の注文時類似動作画像ファイル１７４が参照され、撮影された顧客画像が注文時類似動作画像と比較される（ステップＳ３１）。顧客画像と一致する注文時類似画像が存在すると判別された場合には（ステップＳ３２；ＹＥＳ）、動作状態判別処理が終了する。
【００４８】
一方、顧客画像と一致する注文時類似画像が存在しないと判別された場合には（ステップＳ３２；ＮＯ）、注文時動作画像ファイル１７３が参照され、撮影された顧客画像が注文時動作画像と比較される（ステップＳ３３）。顧客画像と一致する注文時動作画像が存在しないと判別された場合には（ステップＳ３４；ＮＯ）、動作状態判別処理が終了し、一致する注文時動作画像が存在すると判別された場合には（ステップＳ３４；ＹＥＳ）、注文時動作であると認識され、認識結果がＲＡＭ１６内に保持され（ステップＳ３５）、本処理が終了する。
【００４９】
次に、図１５を参照して、画像処理装置１０により実行される精算処理について説明する。
図１５に示すように、精算処理において、テーブル番号が入力され（ステップＳ４１）、顧客データテーブル１６１が参照されて、入力されたテーブル番号と対応する料理画像ファイル名が読み出される（ステップＳ４２）。次に、読み出された料理画像ファイル名に基づいて、ＰＬＵファイル１７６の売上累計数量が加算され、データが更新される（ステップＳ４３）。
【００５０】
続いて、ＰＬＵファイルが参照されて顧客により注文された各料理の単価が読み出され、顧客が支払うべき合計金額が算出される（ステップＳ４４）。次に、算出された合計金額が表示部１３に表示され、印刷部１８によりレシートに合計金額が印字されて出力される（ステップＳ４５）。このようにして精算が済んだテーブル番号のデータが顧客データテーブル１６１からクリアされ（ステップＳ４６）、精算処理が終了する。
【００５１】
以上説明したように、画像処理装置１０は、撮影装置４０により撮影された顧客画像を、静止状態画像、注文時動作画像、注文時類似動作画像の各々と比較することにより、顧客が注文時の動作をしているか否かを判別する。注文時動作であると認識した場合には、注文用端末２０及び厨房内モニタ３０に注文が発生したことを報知する。また、顧客画像から顧客が食べている料理画像を抽出し、この料理画像の残量を測定して、測定した残量を残量閾値Ｘと比較する。残量が残量閾値Ｘ以下である場合には、注文用端末２０及び厨房内モニタ３０に顧客が食べ終わった旨を報知する。さらに、画像処理装置１０は、テーブル番号に基づき、顧客が支払うべき合計金額を算出して、算出結果を表示及び印刷する。
【００５２】
したがって、飲食店等において、注文の発生や食事の終了といった顧客の状態を店側で常に把握することができ、適切なサービスを提供することができる。すなわち、飲食店等のサービス提供者が顧客の要望に迅速に対応することが可能となり、顧客サービスの向上を図ることができる。また、接客係が常にテーブル付近を巡回して顧客の様子に注意を払う作業が軽減される上、画像処理装置１０にテーブル番号を入力するだけで自動的に支払料金の精算を行うことができるため、店側の業務の効率化を実現できる。
【００５３】
なお、上記実施の形態においては、画像処理装置１０の一例としてＥＣＲを例示したが、これに限らず、専用の画像処理装置１０として専用の装置を設置してもよいし、上記画像処理装置１０の機能を、ＰＯＳ（Point Of Sales）端末や飲食店に設置される管理用コンピュータ等に搭載することも可能である。
【００５４】
また、上記実施の形態の図１において、画像処理装置１０と撮影装置４０の間を有線接続、画像処理装置１０と注文用端末２０及び厨房内モニタ３０を無線接続とする例を説明したが、各装置又は端末間の接続方法は有線、無線の何れでもよい。
【００５５】
この他、画像処理システム１００を構成する各装置又は端末の細部構成、及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００５６】
【発明の効果】
請求項１に記載の発明によれば、飲食店等においてサービス提供者が顧客の要望に迅速に対応することが可能となる。このため、顧客サービスの向上を図ることができる。また、サービス提供者側において、業務の効率化を実現できる。
【００５７】
請求項４に記載の発明によれば、飲食店等においてサービス提供者が顧客の要望に迅速に対応することが可能となる。このため、顧客サービスの向上を図ることができる。また、サービス提供者側において、業務の効率化を実現できる。
【図面の簡単な説明】
【図１】本発明を適用した一実施の形態による画像処理システムの全体構成を示す図である。
【図２】顧客データテーブルの一例を示す図である。
【図３】静止状態画像ファイルの一例を示す図である。
【図４】盛付時料理画像ファイルの一例を示す図である。
【図５】注文時動作画像ファイルの一例を示す図である。
【図６】注文時類似動作画像ファイルの一例を示す図である。
【図７】ＰＬＵファイルの一例を示す図である。
【図８】静止状態画像の一例を示す図である。
【図９】盛付時料理画像の一例を示す図である。
【図１０】注文時動作画像の一例を示す図である。
【図１１】注文時類似動作画像の一例を示す図である。
【図１２】顧客状態報知処理を示すフローチャートである。
【図１３】顧客状態報知処理を示すフローチャートである。
【図１４】動作状態判別処理を示すフローチャートである。
【図１５】精算処理を示すフローチャートである。
【符号の説明】
１０ 画像処理装置
１１ ＣＰＵ
１２ 入力部
１３ 表示部
１４ カメラ接続部
１５ 通信部
１６ ＲＡＭ
１７ 記憶部
１８ 印刷部
１９ バス
２０ 注文用端末
３０ 厨房内モニタ
４０ 撮影装置
１００ 画像処理システム
１６１ 顧客データテーブル
１７１ 静止状態画像ファイル
１７２ 盛付時料理画像ファイル
１７３ 注文時動作画像ファイル
１７４ 注文時類似動作画像ファイル
１７５ 顧客画像ファイル
１７６ ＰＬＵファイル
C ケーブル
Ｔ 残量閾値
【発明の属する技術分野】
本発明は、飲食店等における業務の効率化を図る画像処理システム及びプログラムに関する。
【０００２】
【従来の技術】
飲食店等で顧客が接客係を呼び出す際には、顧客が声を出したりテーブルに設置された呼出用のボタンを押すのが一般的である。そして、接客係が顧客のテーブルまで行き、注文を受けたり用件を聞き、顧客が要求するサービスを提供する。
【０００３】
従来、ゴルフ場の食堂等に設置される情報表示装置として、顧客のプレー開始時間を表示したり料理の注文を受け付ける情報表示装置が発明されている（例えば、特許文献１参照）。この発明によれば、係員が顧客のテーブルに赴くことなく自動的に注文を受け付けることができる。
【０００４】
【特許文献１】
特開平１０−３４００５７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来、接客係がテーブルに到着するまで飲食店側では顧客の用件を知ることができなかった。また、コース料理が注文され、接客係が順番に料理を配膳する場合には、接客係がテーブルまで行って顧客の食べ進み具合を確認する必要があった。このため、接客係は店内を巡回しなければならず、煩雑であった。また、顧客は、接客係がやって来るまで用件を申し出ることができず、接客係に気付かれない場合には気分が害されることもあった。さらに、顧客が用件を接客係に伝えた後、接客係から厨房に用件が伝達されるため、用件が満たされるまでに時間がかかり、顧客にサービスが悪いという印象を与えることがあり、改善の余地があった。
【０００６】
一方、上述した特許文献１の発明は、係員が顧客のテーブルに行かない限り注文以外の用件を知ることはできなかった。また、顧客が接客係に直接注文や用件を伝えたい場合も多く、必要な時にすぐに対応することが望まれていた。
【０００７】
そこで、本発明の課題は、飲食店等のサービス提供者が迅速に顧客に対応できるようにして顧客サービスの向上を図るとともに、店側の業務の円滑化及び簡略化を実現する画像処理システム及び画像処理装置及びプログラムを提供することである。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、
顧客の画像を撮影する撮影装置、その撮影画像を処理する画像処理装置及び通信端末を備えた画像処理システムであって、
前記画像処理装置は、
注文時における人の特徴的な動作からなる注文時動作画像を記憶する記憶手段と、
前記撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とを比較する比較判別手段と、
この比較判別手段による比較判別の結果、前記撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とが一致する場合に、当該顧客による注文が発生したことを前記通信端末に報知する制御手段と、
を備えることを特徴としている。
【０００９】
この請求項１に記載の発明によれば、飲食店等においてサービス提供者が顧客の要望に迅速に対応することが可能となる。このため、顧客サービスの向上を図ることができる。また、サービス提供者側において、業務の効率化を実現できる。
【００１０】
また、請求項４に記載の発明は、
顧客の画像を撮影する撮影装置、その撮影画像を処理する画像処理装置及び通信端末を備えた画像処理システムであって、
前記画像処理装置は、
各種料理の量の閾値を記憶する記憶手段と、
前記撮影装置により撮影され入力された画像から料理の画像を抽出する抽出手段と、
この抽出手段により抽出された料理の画像に基づき当該料理の残量を測定する測定手段と、
この測定手段により測定された料理の残量が前記閾値以下であるか否かを判別する比較判別手段と、
この比較判別手段による比較判別の結果、前記料理の残量が前記閾値以下である場合に、前記顧客の食べ終わりが近いことを前記通信端末に報知する制御手段と、
を備えることを特徴としている。
【００１１】
この請求項４に記載の発明によれば、飲食店等においてサービス提供者が顧客の要望に迅速に対応することが可能となる。このため、顧客サービスの向上を図ることができる。また、サービス提供者側において、業務の効率化を実現できる。
【００１２】
【発明の実施の形態】
図１は、本発明を適用した画像処理システム１００の全体構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置１０、注文用端末２０、厨房内モニタ３０、撮影装置４０、により構成される。画像処理システム１００は、主としてレストラン等の飲食店において構築される。
【００１３】
画像処理装置１０は、撮影装置４０により撮影された画像を処理する装置であり、例えば、電子式キャッシュレジスタ（ＥＣＲ；Electronic Cash Register；以下、ＥＣＲという。）等が適用可能である。画像処理装置１０は、ケーブルCを介して撮影装置４０に接続される。また、通信ネットワークを介して注文用端末２０及び厨房内モニタ３０に接続されている。画像処理装置１０は、撮影装置４０により撮影された顧客や料理の画像を処理することにより、顧客の状態（例えば、食べ終わりや注文等）を監視しており、顧客の状態に変化があった場合に注文用端末２０及び厨房内モニタ３０に文字や画像を送信して変化の発生を報知する。
【００１４】
注文用端末２０は、無線通信機能を備えた携帯可能な通信端末であり、レストラン等で接客係等により携帯される。注文用端末２０は、通信ネットワークを介して画像処理装置１０に注文内容を転送する。また、接客係の呼び出しメッセージや商品（例えば、料理等）の在庫情報、厨房やレジや他の接客係からのメッセージ等を、通信ネットワークを介して画像処理装置１０から受信し、受信したデータを表示画面に表示する。
【００１５】
厨房内モニタ３０は、無線通信機能を備えた通信端末であり、レストラン等の厨房内に設置される。厨房内モニタ３０は、店内の各テーブルの顧客を撮影した画像を通信ネットワークを介して画像処理装置１０から受信し、受信したデータを表示画面に表示する。また、顧客の状態の変化を示すデータ、すなわち注文の発生や食べ終わりを示すデータを画像処理装置１０から受信した場合に、表示画面に表示されたテーブルを他のテーブルとは異なった方法で表示（例えば、変化があったテーブルを点滅表示）したり、変化の内容を示すメッセージを表示する等して、厨房係に顧客の状態に変化があったことを報知する。
【００１６】
撮影装置４０は、カメラ１ａ〜ｎａ及びカメラ１ｂ〜nｂにより構成され、各カメラは、ケーブルＣを介して画像処理装置１０に接続される。カメラ１ａ〜ｎａ及びカメラ１ｂ〜ｎｂは、レストラン等の店内に設置される撮影装置である。店内の各テーブルにはテーブルを識別するためのテーブル番号Ｎが与えられ、１つのテーブルにつき２台のカメラが設置される。例えば、図１に示すように、テーブル番号「１」のテーブルには、カメラ１ａ及びカメラ１ｂが設置されている。さらに、各テーブルに設置された２台のカメラを識別するためのカメラ番号が付与されており、例えば、図１のテーブル番号「１」に設置された２台のカメラ１ａ及び１ｂのカメラ番号は「１Ｃ」である。
【００１７】
ここで、撮影装置４０の各カメラの代表として、カメラｎａ，ｎｂについて説明する。
カメラｎａは、テーブル番号Ｎのテーブルをその上斜め方向から撮影し、顧客や料理の画像を立体的に撮影する。カメラｎｂは、配膳された料理の座標位置を特定するために、テーブル番号Ｎのテーブルを真上から撮影する。そして、カメラｎａ及びｎｂは、撮影により得られたて画像をケーブルＣを介して画像処理装置１０に送信する。
【００１８】
次に、図１を参照して画像処理装置１０の機能的構成を説明する。
図１に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１、入力部１２、表示部１３、カメラ接続部１４、通信部１５、ＲＡM（Random Access Memory）１６、記憶部１７、印刷部１８、により構成され、各部は相互にデータの送受信が可能なようにバス１９により接続されている。
【００１９】
ＣＰＵ１１は、記憶部１７に格納された基本動作制御プログラムの他、本発明に係る顧客状態報知処理プログラム、動作状態判別処理プログラム、精算処理プログラムとの協働により、画像処理装置１０の処理動作を統括的に制御し、顧客状態報知処理（図１２及び図１３参照）、動作状態判別処理（図１４参照）、精算処理（図１７参照）、の各処理を実現する。
【００２０】
入力部１２は、カーソルキーや数字キー、各種機能キーを備えて構成され、押下されたキーに対応する押下信号をＣＰＵ１１に出力する。なお、入力部１２は、必要に応じてマウス、タッチパネル等のポインティングデバイスを含むこととしてもよい。
【００２１】
表示部１３は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ１１から入力される表示信号の指示に従って、ＣＰＵ１１により実行される各処理において処理中のデータや処理結果のデータ等を画面上に表示する。
【００２２】
カメラ接続部１４は、画像処理装置１０にケーブルＣを介して撮影装置４０を接続するためのインターフェイスである。
【００２３】
通信部１５は、ネットワークインターフェイスカード、モデム、ターミナルアダプタなどにより構成され、通信ネットワーク上の外部機器と各種情報の送受信を行う。通信部１５は、通信ネットワークを介して図１の注文用端末２０及び厨房内モニタ３０と接続する。
【００２４】
ＲＡＭ１６は、ＣＰＵ１１により実行される各種プログラムやこれらの各種プログラムによって処理されたデータを一時的に記憶するワークエリアを形成する。また、ＲＡＭ１６は、後述する顧客データテーブル１６１を格納する。
【００２５】
図２に顧客データテーブル１６１の一例を示す。このテーブルは、撮影装置４０により撮影されて得られた画像を管理するためのテーブルである。同図に示すように、顧客データテーブル１６１には、テーブル番号毎に、顧客を１人ずつ識別するための顧客番号と、各顧客を撮影した画像（以下、顧客画像という。）のファイル名と、この顧客画像が静止状態の画像（以下、静止状態画像という。）であるか否かをＯＮ／ＯＦＦで示す静止状態画像フラグと、各顧客が食事している料理の盛付時の画像（以下、盛付時料理画像という。）のファイル名とが対応付けて記憶されている。
【００２６】
例えば、図２において、テーブル１の顧客番号１０１の顧客については、顧客画像（ファイル名「imageA」）が撮影済みであり、この顧客画像は静止状態画像であり、顧客はチャーハンと餃子を食べている。一方、テーブル２の顧客番号１１１の顧客は、顧客画像が撮影されておらず、盛付時料理画像がないため、席についてから間もないと考えられる。
【００２７】
記憶部１７は、プログラムやデータ等が予め記憶されている、ＲＯＭやハードディスク、フラッシュメモリ等の記憶媒体（図示せず）を有している。この記憶媒体は記憶装置１４に固定的に設けたものに限らず、例えばメモリーカードのような着脱自在に装着できるものであっても良い。この記憶媒体には、画像処理装置１０を制御するための基本動作プログラム、本発明に係る顧客状態報知処理プログラム、動作状態判別処理プログラム、精算処理プログラム等が記憶されている。
【００２８】
また、記憶部１７には、図１に示すように、後述する静止状態画像ファイル１７１、盛付時料理画像ファイル１７２、注文時動作画像ファイル１７３、注文時類似動作画像ファイル１７４、顧客画像ファイル１７５、ＰＬＵ（Price Look-Up table）ファイル１７６が格納されている。この他に、記憶部１７には、顧客が食事を終了したか否かを判別するための料理の残量を示す閾値（以下、残量閾値という。）Xが記憶されている。残量閾値Ｘとしては、料理を撮影した画像の画素数や、盛付時料理画像と顧客が食事中の料理画像の画素数比率等を設定することができる。
【００２９】
印刷部１８は、ドットインパクト方式、熱転写方式、レーザ方式、インクジェット方式等の各種印刷方式により紙等の印刷記録媒体に印刷を行う。印刷部１８は、ＣＰＵ１１からの指示に応じて、精算処理において算出された合計金額等を印刷出力する。
【００３０】
以下、図１の記憶部１７に格納された各種ファイルについて説明する。
静止状態画像ファイル１７１は、顧客が静止した状態を撮影した画像を格納するファイルである。図３に静止状態画像ファイル１７１の一例を示す。同図に示すように、静止状態画像ファイル１７１には、例えば、「imageAA（手を膝に置いた画像）」、「imageAB（手をテーブルに置いた画像）」、「imageAC（肘を立てた画像）」等が格納されている。この静止状態画像ファイル１７１は、後述する顧客状態報知処理において、顧客画像に基づき顧客が静止状態であるか否かを判別する際に使用される。
【００３１】
盛付時料理画像ファイル１７２は、各種料理の盛付時の料理を撮影した画像を格納するファイルである。図４に盛付時料理画像ファイル１７２の一例を示す。同図に示すように、盛付時料理画像ファイル１７２には、例えば、「imageCH（チャーハン画像）」、「imageGZ（餃子画像）」、「imageRM（ラーメン画像）」等が格納されている。この盛付時料理画像ファイル１７２は、後述する顧客状態報知処理において、顧客画像から料理画像を抽出したり料理を特定する際に使用される。
【００３２】
注文時動作画像ファイル１７３は、顧客が注文時に行う代表的な動作を撮影した画像を格納するファイルである。図５に注文時動作画像ファイル１７３の一例を示す。同図に示すように、注文時動作画像ファイル１７３には、例えば、「imageCA（右手を挙げた画像）」、「imageCB（左手を挙げた画像）」、「imageCC（手招きの画像）」等が格納されている。この注文時動作画像ファイル１７３は、後述する動作状態判別処理において、注文の動作を認識する際に使用される。
【００３３】
注文時類似動作画像ファイル１７４は、顧客の注文時の動作と類似するものの注文動作とは異なる動作を撮影した画像を格納するファイルである。図６に注文時類似動作画像ファイル１７４の一例を示す。同図に示すように、注文時類似動作画像ファイル１７４には、例えば、「imageDA（あくびの画像）」、「imageDB（額をかく画像）」、「imageDC（額で熱を測る画像）」等が予め格納されている。この注文時類似動作画像ファイル１７４は、後述する動作状態判別処理において、注文の動作と類似した紛らわしい動作を、注文の動作であると誤認することを防ぐために使用される。
【００３４】
顧客画像ファイル１７５は、撮影装置４０により撮影された顧客画像を格納するファイルである。すなわち、この顧客画像ファイル１７５には、顧客データテーブル１６１（図２参照）に記録された「顧客画像ファイル名」に対応する画像が格納されている。
【００３５】
ＰＬＵファイル１７６は、売上を管理するためのファイルである。図７にＰＬＵファイル１７６の一例を示す。同図に示すように、ＰＬＵファイル１７６には、このレストランで提供している料理を識別するためのＰＬＵ番号、料理画像ファイル名、日本国内共通の商品コードであるＪＡＮ（Japan Article Number）コード、単価、売上累計数量が対応付けて記憶されている。
例えば、図７に示すように、ＰＬＵ番号「１」の料理は、料理画像ファイル名「imageCH」の料理であり、盛付時料理画像ファイル１７２（図４参照）に示したように、これはチャーハンの画像である。チャーハンのＪＡＮコードは、「4XXXXX1」であり、単価は「800」円、売上累計数量は「３８」である。このＰＬＵファイル１７６は、後述する精算処理において、レストラン側が顧客に請求する料金を算出する際に使用される。
【００３６】
ここで、図８〜図１１に、上記説明した静止状態画像ファイル１７１、盛付時料理画像ファイル１７２、注文時動作画像ファイル１７３、注文時類似動作画像ファイル１７４の各ファイルに格納された画像例を示す。
【００３７】
図８は、図３の静止状態画像ファイル１７１に格納された静止状態画像の一例を示す図であり、「imageAA（顧客が手をテーブルに置いた画像）」である。図９は、図４の盛付時料理画像ファイル１７２に格納された盛付時料理画像の一例を示す図であり、「imageSK（ステーキ画像）」である。図１０は、図５の注文時動作画像ファイル１７３に格納された注文時動作画像の一例を示す図であり、「imageCB（左手を挙げた画像）」である。図１１は、図６の注文時類似動作画像ファイル１７４に格納された注文時類似画像の一例を示す図であり、「imageDD（頭に手を載せた画像）」である。
後述する顧客状態報知画像及び動作状態判別処理において、上記のような予め記憶部１７に格納された画像と、実際に顧客を撮影した顧客画像とが比較され、この比較結果に応じた情報が注文用端末２０や厨房内モニタ３０に転送される。
【００３８】
次に、図１２〜図１４及び図１７のフローチャートを参照して、画像処理装置１０の動作を説明する。ここで、以下のフローチャートに記述されている各機能を実現するためのプログラムは、読取可能なプログラムコードの形態で記憶媒体に格納されており、ＣＰＵ１１はこのプログラムコードに従った動作を逐次実行する。また、ＣＰＵ１１は伝送媒体を介して伝送されてきたプログラムコードに従った動作を逐次実行することもできる。すなわち、記憶部１７の他、例えばインターネット等のネットワークを介して外部のファイルサーバ等から供給されたプログラムやデータを利用して本実施の形態に特有の動作を実行することもできる。
【００３９】
まず、図１２及び図１３を参照して、画像処理装置１０により実行される顧客状態報知処理について説明する。この処理の前提として、撮影装置４０が有するカメラのうち、注目するカメラ番号をXとする。
図１２に示すように、顧客状態報知処理において、注目するカメラ番号Ｘの値が最大のカメラ番号Ｎを超える場合に（ステップＳ１；ＹＥＳ）、Ｘが「１」に設定され（ステップＳ２）、ステップＳ３に移行する。一方、カメラ番号Ｘの値がＮ以下である場合は（ステップＳ１；ＮＯ）、そのままステップＳ３に移行する。
【００４０】
次に、テーブル番号Ｘのテーブルに着席した顧客全員がカメラ番号Ｘのカメラにより撮影され、撮影された顧客画像が受信される（ステップＳ３）。次いで、テーブル番号Ｘのテーブルについた顧客の人数分のレコード領域がＲＡＭ１６内に確保されているか否かが判別される（ステップＳ４）。このとき、人数分のレコード領域が確保されている場合には（ステップＳ４；ＹＥＳ）、ステップＳ７に移行する。一方、人数分のレコード領域が確保されていない場合には（ステップＳ４；ＮＯ）、顧客画像に基づいてテーブルＸの顧客の人数が判別される（ステップＳ５）。
【００４１】
次に、判別された人数分のレコード領域がＲＡＭ１６内に確保され、ステップＳ５において得られた顧客画像が記憶部１７内の顧客画像ファイル１７６に記録される。また、この顧客画像にファイル名が付与されて顧客データテーブル１６１に記録されるとともに、顧客画像が静止状態画像であるか否かが判別され、判別結果に応じて静止状態画像のフラグがＯＮ又はＯＦＦに設定される（ステップＳ６）。次いで、ステップＳ７に移行する。
【００４２】
ステップＳ７において、テーブル番号Ｘの全顧客の静止状態画像が撮影済みであると判別された場合に（ステップＳ７；ＹＥＳ）、テーブル番号Ｘの全顧客の顧客画像がカメラ番号Ｘのカメラから受信され（ステップＳ１１）、後述する動作状態判別処理が実行される（ステップＳ１２）。次に、テーブル番号Ｘにおいて顧客の注文時動作の有無が判別され（ステップＳ１３）、注文時動作がないと判別された場合には（ステップＳ１３；ＮＯ）、ステップＳ１５に移行する。一方、注文時動作があったと判別された場合には（ステップＳ１３；ＹＥＳ）、テーブル番号Ｘで注文が発生したことが注文用端末２０及び厨房内モニタ３０に報知され（ステップＳ１４）、ステップＳ１５へ移行する。
そして、テーブル番号Ｘに１が加算されたテーブル番号のテーブルが次に注目するテーブルに設定され（ステップＳ１５）、ステップＳ１に戻る。
【００４３】
一方、上述したステップＳ７において、テーブル番号Ｘのテーブルの全顧客の静止状態画像が撮影済みではないと判別された場合には（ステップＳ７；ＮＯ）、静止状態画像が撮影されていない顧客がカメラ番号Ｘのカメラによって撮影され、撮影された顧客画像が受信される（ステップＳ８）。次に、撮影された顧客画像と類似の顧客画像が記憶部１７の顧客画像ファイル１７５に記録済みであるか否かが判別される（ステップＳ９）。類似した画像が記録済みであると判別された場合には（ステップＳ９；ＹＥＳ）、図１３のステップＳ２０（（Ａ）として図示）に移行する。
【００４４】
一方、類似した画像が記録済みではないと判別された場合には（ステップＳ９；ＮＯ）、新たに撮影された顧客画像が顧客画像ファイル１７５に記録され、この顧客画像にファイル名が付与されて顧客データテーブル１６１に記録される。また、顧客画像が静止状態画像であるか否かに応じて、顧客データテーブル１６１の静止画像フラグがＯＮ又はＯＦＦに設定される（ステップＳ１０）。そして、ステップＳ２０（Ａ）へと移行する。
【００４５】
ステップＳ２０（Ａ）に移行した場合に、顧客画像ファイル１７５に格納された顧客画像から料理画像が抽出される（ステップＳ２０）。次に、抽出された料理画像が既に顧客データテーブル１６１に記録済みであるか否かが判別される（ステップＳ２１）。記録済みではないと判別された場合には（ステップＳ２１；ＮＯ）、抽出した料理画像が、この料理に一番近い顧客の顧客画像と対応付けて顧客データテーブル１６１に記録される。また、抽出した料理画像の料理の数量が、ＰＬＵファイル１７６に加算して記録され（ステップＳ２２）、ステップＳ１５（（Ｂ）として図示）に移行する。
【００４６】
上記ステップＳ２１において、抽出した料理画像が顧客データテーブル１６１に記録済みであると判別された場合には（ステップＳ２１；ＹＥＳ）、この料理の残量が測定された後（ステップＳ２３）、測定された残量が記憶部１７に記憶された残量閾値Ｘ以下であるか否かが判別される（ステップＳ２４）。測定された残量が残量閾値Ｘ以下ではないと判別された場合は（ステップＳ２４；ＮＯ）、（ｂ）に移行する。一方、残量閾値Ｘ以下であると判別された場合には（ステップＳ２４；ＹＥＳ）、テーブル番号Ｘにおいて食べ終わりの料理があることを注文用端末２０及び厨房内モニタ３０に報知して（ステップＳ２５）、ステップＳ１５（Ｂ）に移行する。
【００４７】
次に、図１４を参照して、図１２及び図１３の顧客状態報知処理において実行される動作状態判別処理について説明する。
図１４に示すように、動作状態判別処理において、記憶部１７内の注文時類似動作画像ファイル１７４が参照され、撮影された顧客画像が注文時類似動作画像と比較される（ステップＳ３１）。顧客画像と一致する注文時類似画像が存在すると判別された場合には（ステップＳ３２；ＹＥＳ）、動作状態判別処理が終了する。
【００４８】
一方、顧客画像と一致する注文時類似画像が存在しないと判別された場合には（ステップＳ３２；ＮＯ）、注文時動作画像ファイル１７３が参照され、撮影された顧客画像が注文時動作画像と比較される（ステップＳ３３）。顧客画像と一致する注文時動作画像が存在しないと判別された場合には（ステップＳ３４；ＮＯ）、動作状態判別処理が終了し、一致する注文時動作画像が存在すると判別された場合には（ステップＳ３４；ＹＥＳ）、注文時動作であると認識され、認識結果がＲＡＭ１６内に保持され（ステップＳ３５）、本処理が終了する。
【００４９】
次に、図１５を参照して、画像処理装置１０により実行される精算処理について説明する。
図１５に示すように、精算処理において、テーブル番号が入力され（ステップＳ４１）、顧客データテーブル１６１が参照されて、入力されたテーブル番号と対応する料理画像ファイル名が読み出される（ステップＳ４２）。次に、読み出された料理画像ファイル名に基づいて、ＰＬＵファイル１７６の売上累計数量が加算され、データが更新される（ステップＳ４３）。
【００５０】
続いて、ＰＬＵファイルが参照されて顧客により注文された各料理の単価が読み出され、顧客が支払うべき合計金額が算出される（ステップＳ４４）。次に、算出された合計金額が表示部１３に表示され、印刷部１８によりレシートに合計金額が印字されて出力される（ステップＳ４５）。このようにして精算が済んだテーブル番号のデータが顧客データテーブル１６１からクリアされ（ステップＳ４６）、精算処理が終了する。
【００５１】
以上説明したように、画像処理装置１０は、撮影装置４０により撮影された顧客画像を、静止状態画像、注文時動作画像、注文時類似動作画像の各々と比較することにより、顧客が注文時の動作をしているか否かを判別する。注文時動作であると認識した場合には、注文用端末２０及び厨房内モニタ３０に注文が発生したことを報知する。また、顧客画像から顧客が食べている料理画像を抽出し、この料理画像の残量を測定して、測定した残量を残量閾値Ｘと比較する。残量が残量閾値Ｘ以下である場合には、注文用端末２０及び厨房内モニタ３０に顧客が食べ終わった旨を報知する。さらに、画像処理装置１０は、テーブル番号に基づき、顧客が支払うべき合計金額を算出して、算出結果を表示及び印刷する。
【００５２】
したがって、飲食店等において、注文の発生や食事の終了といった顧客の状態を店側で常に把握することができ、適切なサービスを提供することができる。すなわち、飲食店等のサービス提供者が顧客の要望に迅速に対応することが可能となり、顧客サービスの向上を図ることができる。また、接客係が常にテーブル付近を巡回して顧客の様子に注意を払う作業が軽減される上、画像処理装置１０にテーブル番号を入力するだけで自動的に支払料金の精算を行うことができるため、店側の業務の効率化を実現できる。
【００５３】
なお、上記実施の形態においては、画像処理装置１０の一例としてＥＣＲを例示したが、これに限らず、専用の画像処理装置１０として専用の装置を設置してもよいし、上記画像処理装置１０の機能を、ＰＯＳ（Point Of Sales）端末や飲食店に設置される管理用コンピュータ等に搭載することも可能である。
【００５４】
また、上記実施の形態の図１において、画像処理装置１０と撮影装置４０の間を有線接続、画像処理装置１０と注文用端末２０及び厨房内モニタ３０を無線接続とする例を説明したが、各装置又は端末間の接続方法は有線、無線の何れでもよい。
【００５５】
この他、画像処理システム１００を構成する各装置又は端末の細部構成、及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００５６】
【発明の効果】
請求項１に記載の発明によれば、飲食店等においてサービス提供者が顧客の要望に迅速に対応することが可能となる。このため、顧客サービスの向上を図ることができる。また、サービス提供者側において、業務の効率化を実現できる。
【００５７】
請求項４に記載の発明によれば、飲食店等においてサービス提供者が顧客の要望に迅速に対応することが可能となる。このため、顧客サービスの向上を図ることができる。また、サービス提供者側において、業務の効率化を実現できる。
【図面の簡単な説明】
【図１】本発明を適用した一実施の形態による画像処理システムの全体構成を示す図である。
【図２】顧客データテーブルの一例を示す図である。
【図３】静止状態画像ファイルの一例を示す図である。
【図４】盛付時料理画像ファイルの一例を示す図である。
【図５】注文時動作画像ファイルの一例を示す図である。
【図６】注文時類似動作画像ファイルの一例を示す図である。
【図７】ＰＬＵファイルの一例を示す図である。
【図８】静止状態画像の一例を示す図である。
【図９】盛付時料理画像の一例を示す図である。
【図１０】注文時動作画像の一例を示す図である。
【図１１】注文時類似動作画像の一例を示す図である。
【図１２】顧客状態報知処理を示すフローチャートである。
【図１３】顧客状態報知処理を示すフローチャートである。
【図１４】動作状態判別処理を示すフローチャートである。
【図１５】精算処理を示すフローチャートである。
【符号の説明】
１０ 画像処理装置
１１ ＣＰＵ
１２ 入力部
１３ 表示部
１４ カメラ接続部
１５ 通信部
１６ ＲＡＭ
１７ 記憶部
１８ 印刷部
１９ バス
２０ 注文用端末
３０ 厨房内モニタ
４０ 撮影装置
１００ 画像処理システム
１６１ 顧客データテーブル
１７１ 静止状態画像ファイル
１７２ 盛付時料理画像ファイル
１７３ 注文時動作画像ファイル
１７４ 注文時類似動作画像ファイル
１７５ 顧客画像ファイル
１７６ ＰＬＵファイル
C ケーブル
Ｔ 残量閾値
Claims (6)
- 顧客の画像を撮影する撮影装置、その撮影画像を処理する画像処理装置及び通信端末を備えた画像処理システムであって、
前記画像処理装置は、
注文時における人の特徴的な動作からなる注文時動作画像を記憶する記憶手段と、
前記撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とを比較する比較判別手段と、
この比較判別手段による比較判別の結果、前記撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とが一致する場合に、当該顧客による注文が発生したことを前記通信端末に報知する制御手段と、
を備えることを特徴とする画像処理システム。 - 前記制御手段は、前記比較判別手段による比較判別の結果、前記撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とが不一致である場合に、前記通信端末に対する注文発生の報知を行わないことを特徴とする請求項１に記載の画像処理システム。
- 前記記憶手段は、人の非注文時における動作の画像であって前記注文時動作画像に類似した類似画像を記憶し、
前記比較判別手段は、前記撮影装置で現在撮影されている顧客の撮影画像と前記類似画像とを比較し、
前記制御手段は、前記比較判別手段による比較判別の結果、前記撮影装置から現在入力中の顧客の撮影画像と前記類似画像とが一致する場合に、前記通信端末に対する注文発生の報知を行わないことを特徴とする請求項１又は２に記載の画像処理システム。 - 顧客の画像を撮影する撮影装置、その撮影画像を処理する画像処理装置及び通信端末を備えた画像処理システムであって、
前記画像処理装置は、
各種料理の量の閾値を記憶する記憶手段と、
前記撮影装置により撮影され入力された画像から料理の画像を抽出する抽出手段と、
この抽出手段により抽出された料理の画像に基づき当該料理の残量を測定する測定手段と、
この測定手段により測定された料理の残量が前記閾値以下であるか否かを判別する比較判別手段と、
この比較判別手段による比較判別の結果、前記料理の残量が前記閾値以下である場合に、前記顧客の食べ終わりが近いことを前記通信端末に報知する制御手段と、
を備えることを特徴とする画像処理システム。 - 前記記憶手段は、各種料理の単価情報及び前記顧客による注文履歴情報を記憶し、
前記単価情報及び前記注文履歴情報に基づき、前記顧客の支払料金を算出する精算手段をさらに備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理システム。 - コンピュータに対して、
注文時における人の特徴的な動作からなる注文時動作画像を記憶する機能と、
撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とを比較する機能と、
前記比較の結果、前記撮影装置で現在撮影されている顧客の撮影画像と前記注文時動作画像とが一致する場合に、当該顧客による注文が発生したことを通信端末に報知する機能と、
を実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002378914A JP2004213121A (ja) | 2002-12-27 | 2002-12-27 | 画像処理システム及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002378914A JP2004213121A (ja) | 2002-12-27 | 2002-12-27 | 画像処理システム及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004213121A true JP2004213121A (ja) | 2004-07-29 |
Family
ID=32815585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002378914A Abandoned JP2004213121A (ja) | 2002-12-27 | 2002-12-27 | 画像処理システム及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004213121A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012014567A (ja) * | 2010-07-02 | 2012-01-19 | Ishino Seisakusho Co Ltd | 飲食店用サービスシステム |
| JP2018152114A (ja) * | 2018-05-18 | 2018-09-27 | シャープ株式会社 | 端末装置、端末装置の表示方法 |
| JP2019133437A (ja) * | 2018-01-31 | 2019-08-08 | キヤノン株式会社 | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム |
| JP2019217103A (ja) * | 2018-06-21 | 2019-12-26 | ノーリツプレシジョン株式会社 | 介助システム、介助方法及び介助プログラム |
| CN111401232A (zh) * | 2020-03-13 | 2020-07-10 | 厦门瑞为信息技术有限公司 | 一种顾客类型判断方法、系统、设备和介质 |
-
2002
- 2002-12-27 JP JP2002378914A patent/JP2004213121A/ja not_active Abandoned
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012014567A (ja) * | 2010-07-02 | 2012-01-19 | Ishino Seisakusho Co Ltd | 飲食店用サービスシステム |
| JP2019133437A (ja) * | 2018-01-31 | 2019-08-08 | キヤノン株式会社 | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム |
| JP2018152114A (ja) * | 2018-05-18 | 2018-09-27 | シャープ株式会社 | 端末装置、端末装置の表示方法 |
| JP2019217103A (ja) * | 2018-06-21 | 2019-12-26 | ノーリツプレシジョン株式会社 | 介助システム、介助方法及び介助プログラム |
| CN111401232A (zh) * | 2020-03-13 | 2020-07-10 | 厦门瑞为信息技术有限公司 | 一种顾客类型判断方法、系统、设备和介质 |
| CN111401232B (zh) * | 2020-03-13 | 2023-04-07 | 厦门瑞为信息技术有限公司 | 一种顾客类型判断方法、系统、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5521402B2 (ja) | オーダ方法及びオーダ管理システム | |
| US10740743B2 (en) | Information processing device and screen setting method | |
| US11900772B2 (en) | Mobile terminal, weighing device, POS terminal, non-transitory computer-readable medium, sales processing system, and sales processing method | |
| JP2013149185A (ja) | 情報処理システム | |
| US9754248B2 (en) | Transaction system, information processing method, and processing device | |
| JP2003044563A (ja) | 飲食店における情報管理システム | |
| JP6096524B2 (ja) | 飲食注文システム及び飲食注文プログラム | |
| JP6367055B2 (ja) | 決済システム及び年齢認証方法 | |
| JP6057933B2 (ja) | 作業管理装置及び作業管理プログラム | |
| EP3346453A1 (en) | Order processing system and order processing method | |
| JP3756483B2 (ja) | 注文端末及び注文システム | |
| JP6153738B2 (ja) | 飲食注文システム、飲食注文端末及び飲食注文プログラム | |
| JP4202536B2 (ja) | プリント注文システムおよびその方法 | |
| JP2004206393A (ja) | 画像データ処理装置及びプログラム | |
| JP2004213121A (ja) | 画像処理システム及びプログラム | |
| JP5318599B2 (ja) | 注文情報管理システム | |
| JP2023067923A (ja) | 商品登録装置、制御方法、及びプログラム | |
| JP2019125162A (ja) | 注文料理の提供支援システム | |
| JP6384274B2 (ja) | 商品販売データ処理装置 | |
| JP6368238B2 (ja) | 注文処理システム及びプログラム | |
| JP2021149623A (ja) | 情報処理装置及びプログラム | |
| JP2008287611A (ja) | 情報管理システム、および、情報管理方法 | |
| JP6204890B2 (ja) | 情報処理装置及びプログラム | |
| JP4549370B2 (ja) | 料理注文装置およびその方法 | |
| JP7136978B1 (ja) | 情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20070914 |