JP2014149687A - 商品状況分析装置、商品状況分析システムおよび商品状況分析方法 - Google Patents

Abstract

【課題】店舗に配置された物品の交換状況をユーザが簡単に把握することができるようにする。
【解決手段】商品を含む対象物が配置された対象物配置エリアを撮像するカメラ１による画像情報に基づいて、対象物配置エリアから対象物が消失したこと、および商品配置エリアに対象物が復帰したことを検知する対象物検知部６１と、この対象物検知部の検知結果に基づいて対象物の交換を検知する交換検知部６２と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部６４と、を備えたものとする。さらに、交換検知部の検知結果を集計して、所定期間単位の対象物の交換回数を取得する集計部６３を備え、出力情報生成部が、所定期間単位の対象物の交換回数を表す出力情報を生成するものとする。
【選択図】図１１

Description

本発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置、商品状況分析システムおよび商品状況分析方法に関するものである。

店舗には、ファミリーレストランなどの飲食店や、スーパーマーケットおよびコンビニエンスストアなどの小売店などの種々の業務形態があるが、いずれの業務形態でも、店舗に配置された商品の状況に関する分析に基づいて、店舗を運営する際の改善策を考えることが、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上や利益を向上させる上で有益である。

このような店舗に配置された商品の状況に関する分析に関連するものとして、従来、監視対象エリアを撮像するカメラにより得られた画像情報に基づいて、物品の持ち去りおよび置き去りを検知する技術が知られている（特許文献１参照）。

特開２０１０−２７２９４７号公報

さて、ファミリーレストランなどの飲食店では、セルフサービスでサラダなどの料理品を顧客に提供するサラダバーが設けられている。このようなサラダバーでは、顧客が自由に料理品を選び取るため、店員が顧客から１品ずつ注文を受ける料理品とは異なり、注文情報を管理するＰＯＳシステムから料理品ごとの売れ行き状況を把握することができない。また、セルフサービスで提供される料理品が、厨房で複数の食材を組み合わせて調理される場合、ＰＯＳシステムなどで食材の仕入れ情報を管理することで、食材ごとの入荷量を把握することはできるが、食材ごとの入荷量のみでは料理品ごとの売れ行き状況を把握することはできない。

一方、サラダバーでは、複数種類の料理品が別々の容器に盛りつけられた状態で顧客に提供され、店員が、料理品の補充が必要となった容器をサラダバーから持ち出して厨房で料理品を補充した上でサラダバーに戻す容器交換作業を行う。このため、容器の交換状況を取得することができれば、料理品ごとの売れ行き状況を把握することができる。

しかしながら、前記従来の技術では、商品の窃盗や不審物の置き去りといった事象に対して、都度アラームを出力するものであり、もっぱら防犯に限定した用途しか考慮されておらず、店舗において様々な目的で物品の交換作業を店員が行う場合に、その交換作業のたびに店員が端末に入力するなどの面倒な作業を行うことなく、物品の交換状況をユーザが簡単に把握することができる技術が要望されている。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、店舗に配置された物品の交換状況をユーザが簡単に把握することができるように構成された商品状況分析装置、商品状況分析システムおよび商品状況分析方法を提供することにある。

本発明の商品状況分析装置は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の商品状況分析システムは、店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の商品状況分析方法は、店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知するステップと、このステップによる検知結果に基づいて前記対象物の交換を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

本発明によれば、対象物配置エリアに配置された対象物の交換が検知されて、対象物の交換状況に関する分析結果が出力されるため、対象物の交換の際に店員が端末に入力するなどの面倒な作業を行うことなく、対象物の交換状況を店舗管理者などのユーザが簡単に把握することができる。これにより、対象物の交換状況に基づいて店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上および利益を伸ばすことができる。

本実施形態に係る分析システムの全体構成図 店舗のレイアウトの一例を示す平面図 サラダバー３１の周辺を撮像するカメラ１による撮像画像を示す説明図 店舗に設置されたＰＣ３の概略構成を示す機能ブロック図 中断人物検知情報を表示する分析結果画面の一例を示す説明図 顧客行動分析部４３の概略構成を示すブロック図 顧客行動分析部４３で行われる処理の手順を示すフロー図 中断人物判定部５７で行われる処理の要領を説明する説明図 サラダバー３１の周辺での人物の移動パターンの一例を示す模式的な平面図 容器交換情報を表示する分析結果画面の一例を示す説明図 商品状況分析部４４の概略構成を示すブロック図 サラダバー３１を撮像するカメラ１による撮像画像の一例を示す説明図

前記課題を解決するためになされた第１の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、対象物配置エリアに配置された対象物の交換が検知されて、対象物の交換状況に関する分析結果が出力されるため、対象物の交換の際に店員が端末に入力するなどの面倒な作業を行うことなく、対象物の交換状況を店舗管理者などのユーザが簡単に把握することができる。これにより、対象物の交換状況に基づいて店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上および利益を伸ばすことができる。

また、第２の発明は、前記交換検知部の検知結果を集計して、所定期間単位の前記対象物の交換回数を取得する集計部をさらに備え、前記出力情報生成部は、前記所定期間単位の前記対象物の交換回数を表す出力情報を生成する構成とする。

これによると、所定期間単位の対象物の交換回数を店舗管理者などのユーザが把握することができる。また、所定期間単位の対象物の交換回数から、対象物の交換間隔、すなわち対象物が交換されるまでの時間をユーザが把握することができる。

また、第３の発明は、前記出力情報生成部は、前記出力情報として、時系列で取得した前記所定期間単位の交換回数に基づいて、前記対象物の交換回数の変動傾向に関する情報を生成する構成とする。

これによると、時間帯に応じて対象物の交換回数がどのように変動したかを店舗管理者などのユーザが把握することができる。これにより、対象物の交換回数の変動に合うように店舗側の態勢を整えることで、顧客満足度や売上および利益の向上を図ることができる。

また、第４の発明は、前記対象物が、前記商品が収容された容器である構成とする。

これによると、所定の形態の容器に商品が収容されるため、商品が不定形のものである場合や、商品が複数の物品で構成される場合などでも、対象物検知部および交換検知部での検知精度が向上し、対象物の交換状況をより正確に店舗管理者などのユーザが把握することができる。また、商品が数量を簡単に判別することができないものである場合などでも、商品が収容された容器の交換状況から、商品の売れ行き状況をユーザが把握することができる。

また、第５の発明は、前記店舗が、セルフサービスが導入された飲食店であり、前記容器が、前記商品である料理品が収容されたものである構成とする。

これによると、料理品の売れ行き状況を店舗管理者などのユーザが把握することができる。この場合、顧客が、セルフサービスで対象物配置エリアに配置された容器から料理品を選び取り、店員が、料理品の補充が必要となった容器を対象物配置エリアから持ち出して料理品を補充した上で対象物配置エリアに戻す容器交換作業を行う。

また、第６の発明は、前記対象物配置エリアに前記対象物が複数並べて配置され、前記対象物検知部は、複数の前記対象物ごとに前記商品配置エリアにおける消失および復帰を検知し、前記交換検知部は、複数の前記対象物ごとに交換を検知する構成とする。

これによると、複数の対象物ごとの交換状況を店舗管理者などのユーザが把握することができる。これにより、店舗を運営する際の改善策を考える上で有益な情報をより詳細に得ることができる。

また、第７の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、前記の第１の発明と同様に、対象物の交換状況を店舗管理者などのユーザが簡単に把握することができる。

また、第８の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知するステップと、このステップによる検知結果に基づいて前記対象物の交換を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

これによると、前記の第１の発明と同様に、対象物の交換状況を店舗管理者などのユーザが簡単に把握することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る分析システムの全体構成図である。この分析システムは、ファミリーレストランなどの飲食チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ（撮像装置）１、レコーダ（画像記録装置）２、ＰＣ（顧客行動分析装置、商品状況分析装置、閲覧装置）３、ＰＯＳワークステーション（販売情報管理装置）４、ハンディターミナル（注文入力装置）５、およびプリンタ６と、複数の店舗を総括する本部に設けられたＰＣ（閲覧装置）７、およびＰＯＳサーバ（販売情報管理装置）８と、を備えている。

店舗では、カメラ１、レコーダ２、ＰＣ３、ＰＯＳワークステーション４、およびプリンタ６や、ハンディターミナル５の通信を中継する無線中継器１１、およびＩＰネットワークに接続するためのルータ１２などがＬＡＮ接続されている。ＰＣ３およびＰＯＳワークステーション４にはそれぞれディスプレイ（表示装置）１３，１４が接続されている。本部では、ＰＣ７およびＰＯＳサーバ８や、ＩＰネットワークに接続するためのルータ１６などがＬＡＮ接続されている。ＰＣ７およびＰＯＳサーバ８にはそれぞれディスプレイ（表示装置）１７，１８が接続されている。

店舗に設けられたカメラ１、レコーダ２、およびＰＣ３と、本部に設けられたＰＣ７とは、店舗内を監視する監視システムを構成している。カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた画像情報がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ７では、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。

店舗に設けられたハンディターミナル５、無線中継器１１およびプリンタ６は、顧客の注文を受け付けるオーダーエントリーシステムを構成している。ハンディターミナル５は、店員が携帯し、店員が顧客から注文を受けてその注文内容（注文メニュー、注文個数）をハンディターミナル５に入力する。プリンタ６は厨房に設置され、店員がハンディターミナル５で注文内容を入力すると、その注文内容がプリンタ６から出力され、これにより注文内容が調理員に伝達される。

店舗に設置されたＰＯＳワークステーション４およびオーダーエントリーシステムと、本部に設けられたＰＯＳサーバ８とは、各店舗での売上に関する販売情報を管理するＰＯＳ（point of sale）システムを構成している。このＰＯＳシステムでは、販売情報として、注文内容、注文時刻、精算時刻、注文方法、注文人数などの情報が管理される。この販売情報は、ＰＯＳワークステーション４とＰＯＳサーバ８とで共有され、ＰＯＳワークステーション４では、設置された店舗の販売情報が管理され、ＰＯＳサーバ８では、全ての店舗の販売情報が管理される。

オーダーエントリーシステムを構成するハンディターミナル５では、注文内容（注文メニュー、注文個数）の他に、テーブルに着席した顧客の人数や、テーブル番号（客席番号）などの注文情報が入力され、この注文情報がＰＯＳワークステーション４に送信される。ＰＯＳワークステーション４は、販売情報を管理する他に、精算を行うレジスタ機能を併有し、レジカウンタに設置されており、このＰＯＳワークステーション４には、図示しないキャッシュドロアやレシートプリンタが接続される。ＰＯＳワークステーション４では、ハンディターミナル５から取得した注文情報や、精算時に取得した精算情報に基づいて販売情報が生成される。

店舗に設置されたＰＣ３は、店舗内での顧客の行動に関する分析を行う顧客行動分析装置、および店舗に配置された商品の状況に関する分析を行う商品状況分析装置として構成される。また、この店舗に設置されたＰＣ３で生成した分析結果情報は、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ７に送信されて、このＰＣ７でも閲覧することができ、ＰＣ３，７が分析結果情報を閲覧する閲覧装置として構成される。

図２は、店舗のレイアウトの一例を示す平面図である。店舗には、出入口、待合コーナ、レジカウンタ、客席となるテーブル、サラダバー（セルフサービスエリア）、ドリンクバー、および厨房が設けられている。サラダバーおよびドリンクバーは、飲食物を顧客自らが選び取って配膳するセルフサービス方式で料理品やドリンクなどを顧客に提供するものである。また、店舗内には複数のカメラ１が適所に設置されており、特に図２に示す例では、出入口、客席、サラダバー、および厨房を撮像するようにカメラ１が設置されている。

図３は、サラダバー３１の周辺を撮像するカメラ１による撮像画像を示す説明図である。サラダバー３１の近傍の天井には、サラダバー３１の周辺を撮像するカメラ１が取り付けられており、サラダバー３１と、その周辺を移動する顧客や店員が撮像される。サラダバー３１では、セルフサービスの対象物である料理品が、種類ごとに別々の容器に盛りつけられた状態で陳列されており、顧客は、サラダバー３１から料理品を選んで自分の容器に取り分ける。

図４は、店舗に設置されたＰＣ３の概略構成を示す機能ブロック図である。ＰＣ３は、監視部４１と、店舗内状況分析部４２と、を備えている。監視部４１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部４１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の画像を閲覧することができるようになっている。

店舗内状況分析部４２は、顧客行動分析部４３と、商品状況分析部４４と、を備えている。顧客行動分析部４３は、店舗内、特にここではサラダバーの近傍での顧客の行動に関する分析を行うものである。商品状況分析部４４は、店舗に配置された商品、特にここではサラダバーに並べられた料理品を収容する容器の状況に関する分析を行うものである。

なお、監視部４１および店舗内状況分析部４２は、ＰＣ３のＣＰＵで監視用および店舗内状況分析用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供されることも可能である。

次に、店舗に設置されたＰＣ３の顧客行動分析部４３で行われる顧客行動分析処理について説明する。この顧客行動分析処理では、サラダバーの近傍での顧客の行動に関する分析が行われ、特にここでは、サラダバーから料理品を選び取るセルフサービス行動を途中で断念した中断人物、すなわちサラダバーに並べられた料理品を取るためにサラダバーに近づいたのに料理品を取らずに帰った人物に関する中断人物検知情報を取得する。

サラダバーでは、前記のように、料理品が種類ごとに別々の容器に盛りつけられた状態で陳列されており、顧客は、サラダバーから料理品を選び取って自分の容器に取り分けることになるが、料理品の品揃えが顧客の嗜好に合わない場合や、料理品が品切れである場合には、顧客はサラダバーから料理品を選び取るセルフサービス行動を途中で断念する。また、サラダバーの前が顧客で混雑している場合にも、顧客はセルフサービス行動を途中で断念する。顧客行動分析処理では、このようなセルフサービス行動を途中で断念する中断人物を見つけ出す。

図５は、中断人物検知情報を表示する分析結果画面の一例を示す説明図である。この分析結果画面は、店舗および本部に設置されたＰＣ３，７のディスプレイ１３，１７に表示されるものであり、この分析結果画面には、中断人物検知情報として、指定された日付の店舗営業時間（１０時〜０時）内における各時間帯の中断人物の発生回数（人数）および発生時刻が表示されている。この分析結果画面により、時間帯ごとの中断人物の発生状況を把握することができる。

また、この分析結果画面では、サラダバーから料理品を選び取るセルフサービス行動を途中で断念した中断人物の他に、サラダバーの前を素通りした通過人物の発生回数（人数）および発生時刻が時間帯ごとに表示されている。これにより、通過人数の発生状況を把握することができる。また、中断人物および通過人物の両方を合わせて、サラダバーに近づいたのにセルフサービス行動を行わなかった人物の総数を確認することができる。なお、分析結果画面に中断人物のみを表示させるようにしてもよい。

また、この分析結果画面には、日付を指定する操作部７１が表示されており、この操作部７１を操作することで日付を変更することができ、これにより異なる日付の分析結果を確認することができる。なお、本部に設置されたＰＣ７のディスプレイ１７に表示させる場合には、店舗を選択する操作部を分析結果画面に表示させるようにするとよい。

また、この分析結果画面には、中断人物および通過人物が写った画像を表示する画像表示部７２と、中断人物および通過人物を選択する操作部７３とが設けられており、この操作部７３を操作して中断人物および通過人物を選択することで、画像表示部７２に該当する中断人物および通過人物が写った画像が表示される。これにより、中断人物および通過人物の行動を詳細に確認することができる。なお、ここで表示される画像は静止画および動画のいずれでもよく、また静止画および動画の両方が表示されるようにしてもよい。

図６は、顧客行動分析部４３の概略構成を示すブロック図である。図５に示した分析結果画面は、顧客行動分析部４３で行われる中断人物検知処理により生成され、この中断人物検知処理に関するものとして、顧客行動分析部４３は、人物追跡部４６と、人物追跡情報蓄積部４７と、中断人物検知部４８と、出力情報生成部４９と、表示制御部５０と、を備えている。

人物追跡部４６では、サラダバーの周辺を撮像するカメラ１による画像情報に基づいて、サラダバーの周辺において移動する人物を追跡する処理が行われる。人物追跡情報蓄積部４７では、人物追跡部４６での追跡結果である人物追跡情報が蓄積される。中断人物検知部４８では、人物追跡情報蓄積部４７に蓄積された人物追跡情報に基づいて、セルフサービス行動を途中で断念した中断人物を検知する処理が行われる。出力情報生成部４９では、中断人物検知部４８の検知結果に基づいて分析結果となる出力情報を生成する処理が行われる。表示制御部５０では、カメラ１による画像情報を記録するレコーダ２から画像情報を取得してディスプレイ１３に出力する処理が行われる。

特に、本実施形態では、出力情報生成部４９において、出力情報として、時間帯（所定期間）ごとの中断人物の発生状況に関する中断人物検知情報を生成する処理が行われ、この中断人物検知情報に基づく分析結果画面（図５参照）がＰＣ３，７のディスプレイ１３，１７に表示される。

また、本実施形態では、表示制御部５０において、中断人物を選択する画面をディスプレイ１３，１７に表示させ、ユーザによる選択操作に応じて、該当する中断人物が写った画像をディスプレイ１３，１７に表示させる処理が行われる。すなわち、図５に示した分析結果画面内に、中断人物が写った画像を表示する画像表示部７２と、中断人物を選択する操作部７３とが設けられており、この操作部７３を操作して中断人物を選択することで、画像表示部７２に該当する中断人物が写った画像が表示される。

次に、図６に示した人物追跡部４６で行われる人物追跡処理について詳しく説明する。図７は、顧客行動分析部４３で行われる処理の手順を示すフロー図である。以下に、この図７を適宜に参照して人物追跡処理の説明を行う。

人物追跡部４６は、前記のように、サラダバーの周辺を撮像するカメラ１による画像情報に基づいて、サラダバーの周辺において移動する人物を追跡するものであり、図６に示したように、オブジェクト検出部５１と、人物認識部５２と、人物補正部５３と、を備えている。この人物追跡部４６では、公知の画像認識技術（オブジェクト追跡技術および人物認識技術など）が利用される。

人物追跡部４６では、サラダバーの周辺を撮像するカメラ１による画像が入力されると（図７のＳＴ１０１）、その画像に対して人物追跡の対象エリアを設定する処理が行われる（図７のＳＴ１０２）。この対象エリアは、図３に示したアクセスエリア３１を含む領域、すなわちアクセスエリア３１と同一の領域あるいはこれより大きな領域に設定される。

オブジェクト追跡部５１では、入力された画像から対象エリア内に存在するオブジェクト（移動体）を検出して、そのオブジェクトを追跡する処理が行われる（図７のＳＴ１０３）。このオブジェクト追跡処理では、動画のフレームごとにオブジェクトの位置情報（座標）を取得し、この位置情報が時間情報（フレームの撮像時刻）とともに人物追跡情報として人物追跡情報蓄積部４７に蓄積される。

人物認識部５２では、オブジェクト検出部５１で検出されたオブジェクトが人物か否かを認識して、オブジェクトが人物と認識された場合に、そのオブジェクトに人物ＩＤを付与する処理が行われる（図７のＳＴ１０４）。この人物認識処理では、人物ＩＤが付与されていないオブジェクトが新たに人物と認識されると、新しい人物ＩＤが付与される。

人物補正部５３では、人物認識部５２で付与された人物ＩＤを補正する処理が行われる。オブジェクト追跡処理では、サラダバーの周辺が人物で混雑していることなどが原因で、対象エリア内でのオブジェクトの追跡が失敗する、すなわち、対象エリアに進入したオブジェクトの移動経路が対象エリアから退出する前に途切れてしまうことがあり、人物補正処理では、このような追跡が失敗したオブジェクトを、そのオブジェクトの追跡が失敗した後に新たに出現したオブジェクトに結びつけて、人物の移動状況を確実に捕捉することができるようにする。

具体的には、まず、対象エリア内で追跡が失敗したオブジェクトを検索する、すなわち、人物認識処理（図７のＳＴ１０４）でオブジェクトに付与された人物ＩＤの中から、対象エリアから退出することなく対象エリア内で消失した人物ＩＤ（消失人物ＩＤ）を検索する処理が行われる（図７のＳＴ１０５）。

次に、対象エリア内でオブジェクトの追跡が失敗した後に新たに出現したオブジェクトを検索する、すなわち、人物認識処理（図７のＳＴ１０４）でオブジェクトに付与された人物ＩＤの中から、消失人物ＩＤ検索（図７のＳＴ１０５）で得られた消失人物ＩＤの消失時刻の後に新たに出現した人物ＩＤ（出現人物ＩＤ）を検索する処理が行われる（図７のＳＴ１０６）。

そして、対象エリア内で追跡が失敗したオブジェクトと、そのオブジェクトの追跡が失敗した後に新たに出現したオブジェクトとが同一人物であるか否か、すなわち、消失人物ＩＤ検索（図７のＳＴ１０５）で得られた消失人物ＩＤと、出現人物ＩＤ検索（図７のＳＴ１０６）で得られた出現人物ＩＤとが同一人物であるか否かを判断して、両者が同一人物である場合には、新たに出現されたオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物ＩＤを付与する処理が行われる（図７のＳＴ１０７）。

この同一人物の判断は、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離の双方が、所定の近接条件を満足するか否かにより行われ、経過時間および離間距離の双方が所定の近接条件を満足する場合に、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断する。

ここでは、近接条件として、経過時間および離間距離に関するしきい値を設定して、このしきい値との比較により同一人物の判断を行う、すなわち検出された経過時間が所定のしきい値より小さく、且つ離間距離が所定のしきい値より小さい場合に、同一人物であると判断する。なお、経過時間および離間距離のいずれか一方のみで判断することも可能である。

以上の処理（図７のＳＴ１０５〜ＳＴ１０７）は、対象エリア内で追跡が失敗したオブジェクト、すなわち消失人物ＩＤの全てが終了するまで繰り返される（図７のＳＴ１０８）。そして、補正された人物ＩＤが人物追跡情報として人物追跡情報蓄積部４７に蓄積され、この人物追跡情報蓄積部４７の人物追跡情報に基づいて中断人物検知処理（図７のＳＴ１０９）が行われる。

このように、本実施形態では、対象エリア内で追跡が失敗したオブジェクトと、そのオブジェクトの追跡が失敗した後に新たに出現したオブジェクトとを結びつける人物補正処理が行われるため、セルフサービスエリアの周辺が人物で混雑している場合など、人物追跡が難しい状況でも、人物の移動状況を捕捉することができるため、セルフサービス行動を途中で断念した中断人物の検知漏れを低減して、高い確率で中断人物を検知することができる。

次に、図６に示した中断人物検知部４８で行われる中断人物検知処理について詳しく説明する。

中断人物検知部４８では、人物追跡情報蓄積部４７から人物追跡部４６の追跡結果である人物追跡情報を取得して、その人物追跡情報に基づいて、サラダバーから料理品を選び取るセルフサービス行動を途中で断念した中断人物を検知する処理が行われる。

図３に示したように、サラダバー３１の周辺には、サラダバー３１から料理品を選び取るために顧客が進入するアクセスエリア３２が設定されている。このアクセスエリア３２は、サラダバー３１に接する第１エリア３２ａと、サラダバー３１から離れた第２エリア３２ｂとの２つに分割されている。第１エリア３２ａおよび第２エリア３２ｂの幅Ｗは、人物１人分に相当する寸法に設定され、第１エリア３２ａおよび第２エリア３２ｂにはそれぞれ人物が１列に並ぶ大きさに設定されている。また、第１エリア３２ａおよび第２エリア３２ｂはそれぞれＬ字形状に設定されている。

図６に示した中断人物検知部４８では、アクセスエリア３２に対する人物の移動方向およびアクセスエリア３２での人物の滞留時間を取得し、この移動方向および滞留時間に基づいて中断人物を検知する処理が行われ、この中断人物検知部４８は、移動方向検出部５５と、滞留時間検出部５６と、中断人物判定部５７と、を備えている。

移動方向検出部５５では、人物ＩＤが付与されたオブジェクトごとに、アクセスエリアへの進入方向およびアクセスエリアからの退出方向を検出する処理が行われる。滞留時間検出部５６では、人物ＩＤが付与されたオブジェクトごとに、アクセスエリアに進入してから退出するまでの滞留時間を検出する処理が行われる。中断人物判定部５７では、移動方向検出部５５および滞留時間検出部５６での検出結果に基づいて、オブジェクトがセルフサービス行動を途中で断念した中断人物か否かを判定する処理が行われる。

図８は、中断人物判定部５７で行われる処理の要領を説明する説明図である。図９は、サラダバー３１の周辺での人物の移動パターンの一例を示す模式的な平面図である。図９（Ａ）は、人物がセルフサービス行動を成し遂げた場合の移動パターンの一例を示している。図９（Ｂ）は、人物がサラダバーの前を素通りした場合の移動パターンの一例を示している。図９（Ｃ）は、人物がセルフサービス行動を途中で断念した場合の移動パターンの一例を示している。

中断人物判定部５７では、図８に示すように、アクセスエリア３２への進入方向とアクセスエリア３２からの退出方向とが同じで、且つアクセスエリア３２での滞留時間が所定のしきい値より短い場合に、サラダバーから料理品を選び取るセルフサービス行動を途中で断念した中断人物と判定する。

図９（Ａ）に示すように、顧客がセルフサービス行動を成し遂げた場合には、顧客は、客席からサラダバー３１に近づいてサラダバー３１から料理品を選び取った後、料理品を持って自席に引き返す行動をとる。また、図９（Ｃ）に示すように、顧客がセルフサービス行動を途中で断念した場合には、顧客は、客席からサラダバー３１に近づいた後に、サラダバー３１から料理品を取らずに自席に引き返す行動をとる。このように顧客がセルフサービス行動を行う意志がある場合には、顧客は客席とサラダバー３１との間を行き来するため、アクセスエリア３２への進入方向とアクセスエリア３２からの退出方向とが同じ方向となる。

一方、例えば、顧客が客席とトイレとの間を行き来する場合や、顧客が食事を終えて客席からレジカウンタや出入口に向かう場合や、店員が注文、配膳および片付けのために厨房と客席との間を行き来する場合に、その経路上にサラダバー３１があると、図９（Ｂ）に示すように、人物がサラダバー３１の近傍を素通りすることになるが、この場合、アクセスエリア３２への進入方向とアクセスエリア３２からの退出方向とが異なる方向となる。したがって、アクセスエリア３２に対する進入方向および退出方向により、セルフサービス行動を行う意志のある人物と、単にサラダバーの近傍を素通りした人物とを区別することができる。

また、図９（Ａ）に示すように、顧客がセルフサービス行動を成し遂げた場合、顧客は、サラダバーから料理品を選び取る、すなわち料理品が盛りつけられた容器から料理品を自分の容器に取り分ける給仕作業を行い、この給仕作業には時間を相応の要するため、アクセスエリア３２での滞留時間が長くなる。

一方、サラダバー３１での料理品の品揃えが顧客の嗜好に合わないため、あるいは料理品が品切れであるために、顧客がセルフサービス行動を途中で断念した場合、アクセスエリア３２内に長時間留まることはないため、アクセスエリア３２での滞留時間は短くなる。したがって、アクセスエリア３２での滞留時間により、セルフサービス行動を成し遂げた人物と、セルフサービス行動を途中で断念した中断人物とを区別することができる。

このように、本実施形態では、アクセスエリア３２に対する進入方向および退出方向の異同とアクセスエリア３２での滞留時間の長さとに基づいて、中断人物を精度よく検知することができる。

なお、この中断人物判定処理では、滞留時間に関するしきい値（例えば５秒）を設定して、このしきい値との比較により中断人物の判定を行う、すなわち検出された滞留時間が所定のしきい値より短い場合に、中断人物と判定する。

また、中断人物判定部５７では、図８に示したように、第１エリア３２ａおよび第２エリア３２ｂに対する人物の進入状況に基づいて、サラダバー３１から料理品を選び取るセルフサービス行動を途中で断念した中断人物を検知する。特に本実施形態では、アクセスエリア３２への進入方向とアクセスエリア３２からの退出方向とが同じで、且つ第１エリア３２ａに進入しなかった場合に、中断人物と判定する。

図９（Ａ）に示したように、顧客がセルフサービス行動を成し遂げた場合、顧客は、サラダバー３１から料理品を選び取るため、サラダバー３１に接した第１エリア３２ａに進入する。

一方、図９（Ｃ）に示したように、サラダバー３１の前が顧客で混雑しているために顧客がセルフサービス行動を途中で断念した場合、顧客は、第２エリア３２ｂに進入することができても、サラダバー３１に接した第１エリア３２ａが混雑していることから、第１エリア３２ａに進入することができずにそのまま引き返す。したがって、第１エリア３２ａへの進入の有無により、セルフサービス行動を成し遂げた人物と、セルフサービス行動を途中で断念した中断人物とを区別することができる。

また、図９（Ｂ）に示したように、人物がサラダバー３１の近傍を素通りする場合、第２エリア３２ｂにのみ進入する場合があるが、この場合、アクセスエリア３２への進入方向とアクセスエリア３２からの退出方向とが異なる方向となる。したがって、第１エリア３２ａへの進入の有無に加えて、アクセスエリア３２に対する進入方向および退出方向の異同を勘案することで、セルフサービス行動を途中で断念した中断人物と、サラダバー３１の近傍を素通りした人物とを区別することができる。なお、アクセスエリア３２でセルフサービスを行おうとする人物と、単にアクセスエリア３２を素通りする人物とを確実に区別するために、特定の動作や姿勢（例えば、料理品の取り分け用の皿に手を伸ばす動作、取り分け用の皿を持つ姿）などを人物区別の判断要素を加えてもよい。

このように、本実施形態では、アクセスエリア３２に対する進入方向および退出方向の異同と第１エリア３２ａへの進入の有無とに基づいて、中断人物を精度よく検知することができる。

この他、サラダバーでは、料理品の補充が必要となった容器をサラダバーから持ち出して料理品を補充した上でサラダバーに戻す容器交換作業が店員により行われ、この容器交換作業を行う店員の行動は、セルフサービス行動を中断した顧客の行動と類似するため、容器交換作業を行う店員を中断人物と誤って検知するおそれがあるが、店員の行動と顧客の行動とではアクセスエリア３２に対する人物の移動方向が異なり、進入方向および退出方向が厨房か客席かで店員の行動と顧客の行動とを区別することができる。

なお、本実施形態では、図３，９に示したようにアクセスエリア３２（第１エリア３２ａおよび第２エリア３２ｂ）を設定したが、このアクセスエリア３２は、サラダバー３１の周囲の状況に応じて適宜に設定すればよい。すなわち、サラダバー３１の周囲に壁や仕切りなどの障害物がある場合には、この障害物が存在しない側にアクセスエリアが設定される。

また、本実施形態では、図３に示したように、サラダバー３１の近傍の天井に取り付けられたカメラ１でサラダバー３１の周辺を斜め方向から撮像しており、この撮像角度による制限から、図示するようにアクセスエリア３２（第１エリア３２ａおよび第２エリア３２ｂ）を設定したが、このアクセスエリア３２は、サラダバー３１と客席との位置関係などに応じて適宜に設定すればよい。

すなわち、顧客のセルフサービス行動は、客席とサラダバー３１との間を行き来する行動を伴うため、サラダバー３１と客席との位置関係に応じて、サラダバー３１に対する顧客の移動方向が異なり、顧客の移動方向が多方向となる場合もある。この場合、１台のカメラ１による１方向からの撮像では対応することができないため、カメラ１を複数台設置したり、また、サラダバー３１の上方に全周囲カメラを設置したりするとよい。

また、第１エリア３２ａおよび第２エリア３２ｂも、サラダバー３１に対する顧客の移動方向に対応するように設定すればよいが、特に、サラダバー３１に接する領域の全体に渡って第１エリア３２ａを設定するとともに、この第１エリアを全体的に取り囲むように第２エリア３２ｂを設定するとよい。

また、以上の中断人物検知処理は、適宜なタイミングで人物追跡情報蓄積部４７から人物追跡情報を取得して行えばよく、また、人物追跡処理も適宜なタイミングで行えばよく、期間集計に必要な情報が揃った段階、例えば１時間単位で集計する場合には、１時間が経過する度に行うようにすればよく、また、これより長い期間を対象にしてまとめて行うことも可能であり、例えば日単位で集計して閉店後や翌日に１日分の中断人物の発生状況を確認するようにするとよい。

以上のように、本実施形態では、セルフサービス行動を途中で断念した中断人物が検知されて中断人物の発生状況に関する分析結果が出力されるため、中断人物の発生状況を店舗管理者などのユーザが簡単に把握することができる。これにより、セルフサービス行動を途中で断念した原因を究明することができ、苦情を訴えられる前に苦情の原因となる店舗側の不備を事前に把握して店舗側の不備を改善する対策を講じることで、苦情を未然に防ぐとともに顧客満足度の向上を図ることができる。

また、本実施形態では、ファミリーレストランなどの飲食店において、セルフサービスエリア（サラダバー）から料理品を選び取るセルフサービス行動を途中で断念した中断人物を検知するようにしており、このような飲食店の場合、セルフサービスエリアから料理品を自分の容器に取り分ける給仕作業に時間を要するため、滞留時間で給仕作業を行ったか否かを判別することができ、これによりセルフサービス行動を途中で断念した中断人物を精度よく検知することができる。

また、本実施形態では、出力情報生成部４９において、所定期間（時間帯）ごとの中断人物の発生状況に関する情報を生成して、これに基づく分析結果画面（図５参照）を表示させるようにしたため、中断人物の発生状況、特に発生件数（中断人物の人数）を所定期間ごとに店舗管理者などのユーザが把握することができる。これにより、中断人物の発生件数が多い時間帯を特定して、セルフサービス行動を途中で断念した原因を究明することができる。

また、本実施形態では、分析結果画面（図５参照）でのユーザによる選択操作に応じて、該当する中断人物が写った画像をディスプレイ１３，１７に表示させるようにしたため、中断人物が写った画像により、中断人物がセルフサービス行動を途中で断念した状況を詳細に確認することができ、これによりセルフサービス行動を途中で断念した原因を究明することができる。また、中断人物の検知に誤りがないか、すなわち中断人物として検知された人物が実際にセルフサービス行動を途中で断念したかを確認することができ、中断人物の発生状況を店舗管理者などのユーザが正確に把握することができる。なお、中断人物や通過人物の行動を詳細に確認した結果、検知結果に誤りが認められる場合には、ディスプレイ１３，１７上で、その検知結果を修正したり、削除したりする機能を設けてもよい。

次に、店舗に設置されたＰＣ３の商品状況分析部４４で行われる商品状況分析処理について説明する。この商品状況分析処理では、サラダバーに並べられた料理品を収容する容器（サラダ皿）の状況に関する分析が行われ、特にここでは、店員により行われる容器の交換状況に関する容器交換情報を取得する。

サラダバーでは、セルフサービスにより顧客が自由に料理品を選び取るため、店員が顧客から１品ずつ注文を受ける料理品とは異なり、注文情報を管理するＰＯＳシステムから料理品ごとの売れ行き状況を把握することができない。また、サラダバーに並べられる料理品は、厨房で複数の食材を組み合わせて調理され、ＰＯＳシステムなどで食材の仕入れ情報を管理することで、食材ごとの入荷量を把握することはできるものの、食材ごとの入荷量のみでは料理品ごとの売れ行き状況を把握することはできない。

一方、サラダバーでは、複数種類の料理品が別々の容器に盛りつけられた状態で顧客に提供され、店員が、料理品の補充が必要となった容器をサラダバーから持ち出して厨房で料理品を補充した上でサラダバーに戻す容器交換作業を行う。このため、容器の交換状況を取得することができれば、店員が端末に入力するなどの面倒な作業を行うことなく、料理品ごとの売れ行き状況を把握することができる。そこで、商品状況分析処理では、このような店員により行われる容器の交換状況に関する容器交換情報を取得する。

図１０は、容器交換情報を表示する分析結果画面の一例を示す説明図である。この分析結果画面は、店舗および本部に設置されたＰＣ３，７のディスプレイに表示されるものであり、この分析結果画面には、容器交換情報として、指定された日付の店舗営業時間（１０時〜０時）内における各時間帯の容器交換回数の総数に占める料理品ごとの容器交換回数が積み上げ棒グラフで表示されている。

この分析結果画面により、容器交換回数の総数とその内訳である料理品別容器交換回数の時間帯ごとの変動状況を店舗管理者などのユーザが把握することができる。また、１つの料理品に注目して容器が交換された時間帯を見ることで、料理品ごとに容器が交換される時間（交換間隔）、すなわち容器に盛られた料理品がなくなるまでの時間を把握することができる。なお、容器の交換時刻から交換間隔を詳細に表示させることも可能である。

また、この分析結果画面には、日付を指定する操作部８１が表示されており、この操作部８１を操作することで日付を変更することができ、これにより異なる日付の分析結果を確認することができる。なお、本部に設置されたＰＣ７のディスプレイ１７に表示させる場合には、店舗を選択する操作部を分析結果画面に表示させるようにするとよい。

図１１は、商品状況分析部４４の概略構成を示すブロック図である。図１０に示した分析結果画面は、商品状況分析部４４で行われる容器交換検知処理により生成され、この容器交換検知処理に関するものとして、商品状況分析部４４は、対象物検知部６１と、交換検知部６２と、集計部６３と、出力情報生成部６４と、を備えている。

対象物検知部６１では、サラダバーを撮像するカメラ１による画像情報に基づいて、サラダバーから容器が消失したこと、およびサラダバーに容器が復帰したことを検知する処理が行われる。また、この対象物検知処理では、カメラ１での撮像時刻に基づいて、サラダバーから容器が消失した時刻（消失時刻）、およびサラダバーに容器が復帰した時刻（復帰時刻）を取得する。

交換検知部６２では、対象物検知部６１の検知結果に基づいて料理品ごとの容器の交換を検知する処理が行われる。この交換検知処理では、対象物検知部６１により容器の消失が検知された後に同じ容器の復帰が検知された場合に、容器が１回交換されたものと判断する。

集計部６３では、交換検知部６２の検知結果を集計して、時間帯（所定期間）ごとの容器の交換回数を取得する処理が行われる。この集計処理では、料理品ごとの容器の交換を集計単位となる時間帯（１時間）に分けて集計して、時間帯ごとの料理品別交換回数を取得する。この期間集計では、容器の交換時刻が必要となるが、この交換時刻は、対象物検知部６１で取得した時間情報（消失時刻および復帰時刻）に基づいて決定される。

出力情報生成部６４では、交換検知部６２の検知結果に基づいて分析結果となる出力情報を生成する処理が行われる。この出力情報生成処理では、集計部６３で取得した時間帯ごとの容器の交換回数を表す出力情報を生成し、特に本実施形態では、出力情報として、時系列で取得した各時間帯の料理品別交換回数に基づいて、料理品別交換回数の変動傾向に関する情報を生成し、これに基づく分析結果画面（図１０参照）がＰＣ３，７のディスプレイ１３，１７に表示される。

図１２は、サラダバー３１を撮像するカメラ１による撮像画像の一例を示す説明図である。対象物検知部６１では、公知の画像認識技術を用いて、サラダバー３１から容器が消失したことの検知（持ち去り検知）、およびサラダバー３１に容器が復帰したことの検知（置き去り検知）が行われる。この持ち去り検知および置き去り検知は、背景差分法により、サラダバー３１に容器がない状態で撮像された背景画像と入力された画像とを比較することで容器の消失および復帰を判断する。

図１２（Ａ）は、店員がサラダバー３１から容器を持ち出した直後の撮像画像であり、図１２（Ｂ）の撮像画像において存在している容器３３がサラダバー３１から消失している。図１２（Ｂ）は、店員が容器３３をサラダバー３１に戻した直後の撮像画像であり、図１２（Ａ）の撮像画像において存在しない容器３３がサラダバー３１に復帰している。このように、容器の消失が検知された後に同じ容器の復帰が検知された場合に、容器が１回交換されたものと判断する。

以上のように、本実施形態では、セルフサービスエリア（サラダバー）に配置された対象物（料理品が収容された容器）の交換が検知されて、対象物の交換状況に関する分析結果が出力されるため、対象物の交換の際に店員が端末に入力するなどの面倒な作業を行うことなく、対象物の交換状況を店舗管理者などのユーザが簡単に把握することができる。これにより、対象物の交換状況に基づいて店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上および利益を向上させることができる。

また、本実施形態では、集計部６３において、交換検知部６２の検知結果を集計して、所定期間（時間帯）ごとの対象物の交換回数を取得するため、所定期間単位の対象物の交換回数を店舗管理者などのユーザが把握することができる。また、所定期間単位の対象物の交換回数から、対象物の交換間隔、すなわち対象物が交換されるまでの時間をユーザが把握することができる。

また、本実施形態では、出力情報生成部６４において、出力情報として、時系列で取得した所定期間単位の交換回数に基づいて、対象物の交換回数の変動傾向に関する情報を生成して、これに基づく分析結果画面（図１０参照）を表示させるようにしたため、時間帯に応じて対象物の交換回数がどのように変動したかを店舗管理者などのユーザが把握することができる。これにより、対象物の交換回数の変動に合うように店舗側の態勢を整えることで、顧客満足度や売上および利益の向上を図ることができる。

また、本実施形態では、商品が収容された容器を交換検知の対象物としたため、所定の形態の容器に商品が収容されることで、商品が不定形のものである場合や、商品が複数の物品で構成される場合などでも、対象物検知部および交換検知部での検知精度が向上し、対象物の交換状況をより正確に店舗管理者などのユーザが把握することができる。また、商品が数量を簡単に判別することができないものである場合などでも、商品が収容された容器の交換状況から、商品の売れ行き状況をユーザが把握することができる。

また、本実施形態では、交換検知の対象物となる容器に収容された商品が、サラダバーで提供されるサラダなどの料理品としており、このような料理品では、複数の食材を組み合わせて調理されることから、食材ごとの入荷量を把握することができるものの、料理品ごとの売れ行き状況を直接把握することはできない場合があり、このような場合でも、容器の交換状況を取得することで、料理品ごとの売れ行き状況を把握することができる。そして、料理品ごとの売れ行き状況を異なる店舗同士で比較したり、また、料理品ごとの売れ行き状況と来店した顧客の人数と比較することで、食材の発注をより適切に行うことができるため、経営効率の向上を図ることができる。

なお、本実施形態では、ファミリーレストランなどの飲食店の例について説明したが、スーパーマーケットやコンビニエンスストアなどの小売店など、飲食店以外の業務形態の店舗に適用することも可能である。例えば、スーパーマーケットでのワゴンセールのように、ワゴン（セルフサービスエリア）に商品を並べて顧客が選び取る場合にも適用することができる。

また、本実施形態では、図４に示したように、店舗に設けられたＰＣ３に顧客行動分析処理および商品状況分析処理の全てを行わせる例について説明したが、この顧客行動分析処理および商品状況分析処理の全てを、別の情報処理装置、例えば、図１に示したように、本部に設けられたＰＣ７や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、顧客行動分析処理および商品状況分析処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、顧客行動分析処理および商品状況分析処理を分担する複数の情報処理装置で顧客行動分析システムおよび商品状況分析システムが構成される。

この場合、店舗に設けられたＰＣ３に、少なくとも顧客行動分析処理における人物追跡処理や商品状況分析処理における対象物検知処理を行わせるようにするとよい。このように構成すると、人物追跡処理で取得した人物追跡情報や対象物検知処理で取得した対象物検知情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ７に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。

また、クラウドコンピュータ２１に、少なくとも顧客行動分析処理における人物追跡処理や商品状況分析処理における対象物検知処理を行わせるようにするとよい。このように構成すると、人物追跡処理や対象物検知処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。

また、クラウドコンピュータ２１に、顧客行動分析処理および商品状況分析処理の全部を行わせるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，７の他に、スマートフォン２２などの携帯型端末でも分析結果を閲覧することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で分析結果を閲覧することができる。

また、本実施形態では、店舗や本部に設置されたＰＣ３，７で分析結果を閲覧するようにしたが、分析結果の閲覧装置をＰＣ３，７とは別に設けることも可能であり、例えば、前記のようにスマートフォン２２を分析結果の閲覧装置とする他に、ＰＯＳワークステーション４に分析結果の閲覧装置としての機能を付加することも可能である。また、本実施形態では、分析結果を閲覧するため、ディスプレイ１３，１７に分析結果を画面表示させるようにしたが、分析結果をプリンタで出力することも可能である。

また、本実施形態では、図３に示したように、セルフサービスエリアから対象物を選び取るために顧客が進入するアクセスエリア３２を第１エリア３２ａおよび第２エリア３２ｂの２つに分割したが、これより多くのエリアにアクセスエリアを分割することも可能である。

また、本実施形態では、商品が収容された容器が交換される例について説明したが、商品そのものが交換される場合に適用することも可能である。

また、本実施形態では、サラダバーから料理品を選び取る顧客のセルフサービス行動に関する分析を行う例について説明したが、ドリンクバーなど、その他のセルフサービスで物品が顧客に提供される場合に適用することも可能である。

また、本実施形態では、集計単位となる期間を１時間単位の時間帯としているが、この集計単位となる期間はこれに限定されるものではなく、１時間〜数時間、１日〜数日、１週間〜数週間、１ヶ月〜数ヶ月など、ユーザの必要に応じて種々に設定することができる。

本発明にかかる商品状況分析装置、商品状況分析システムおよび商品状況分析方法は、店舗に配置された物品の交換状況をユーザが簡単に把握することができる効果を有し、店舗に配置された商品の状況に関する分析を行う商品状況分析装置、商品状況分析システムおよび商品状況分析方法などとして有用である。

１ カメラ（撮像装置）
２ レコーダ（画像記録装置）
３ ＰＣ（顧客行動分析装置、商品状況分析装置、閲覧装置）
４ ＰＯＳワークステーション（販売情報管理装置）
５ ハンディターミナル（注文入力装置）
７ ＰＣ（閲覧装置）
８ ＰＯＳサーバ（販売情報管理装置）
１３，１４，１７，１８ ディスプレイ（表示装置）
２１ クラウドコンピュータ
２２ スマートフォン
３１ サラダバー（セルフサービスエリア）
３２ アクセスエリア、３２ａ 第１エリア、３２ｂ 第２エリア
４２ 店舗内状況分析部
４４ 商品状況分析部
６１ 対象物検知部
６２ 交換検知部
６３ 集計部
６４ 出力情報生成部

本発明の商品状況分析装置は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の商品状況分析システムは、店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の商品状況分析方法は、店舗内または店舗外に設置された情報処理装置により、店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを検知するステップと、このステップによる検知結果に基づいて前記対象物の交換を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

前記課題を解決するためになされた第１の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、第６の発明は、前記対象物配置エリアに前記対象物が複数並べて配置され、前記対象物検知部は、複数の前記対象物ごとに前記対象物配置エリアにおける消失および復帰を検知し、前記交換検知部は、複数の前記対象物ごとに交換を検知する構成とする。

また、第７の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、第８の発明は、店舗内または店舗外に設置された情報処理装置により、店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを検知するステップと、このステップによる検知結果に基づいて前記対象物の交換を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

人物追跡部４６では、サラダバーの周辺を撮像するカメラ１による画像が入力されると（図７のＳＴ１０１）、その画像に対して人物追跡の対象エリアを設定する処理が行われる（図７のＳＴ１０２）。この対象エリアは、図３に示したアクセスエリア３２を含む領域、すなわちアクセスエリア３２と同一の領域あるいはこれより大きな領域に設定される。

本発明の商品状況分析装置は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、前記商品を含む対象物が複数並べて配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを前記対象物ごとに検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物が消失した後に同じ前記対象物が復帰した事象から前記対象物ごとに交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の商品状況分析システムは、店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、前記商品を含む対象物が複数並べて配置された対象物配置エリアを撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを前記対象物ごとに検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物が消失した後に同じ前記対象物が復帰した事象から前記対象物ごとに交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の商品状況分析方法は、店舗内または店舗外に設置された情報処理装置により、店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、前記商品を含む対象物が複数並べて配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを前記対象物ごとに検知するステップと、このステップによる検知結果に基づいて前記対象物が消失した後に同じ前記対象物が復帰した事象から前記対象物ごとに交換を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

本発明によれば、対象物配置エリアに配置された複数の対象物ごとの交換が検知されて、対象物の交換状況に関する分析結果が出力されるため、対象物の交換の際に店員が端末に入力するなどの面倒な作業を行うことなく、対象物の交換状況を店舗管理者などのユーザが簡単に把握することができる。これにより、対象物の交換状況に基づいて店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上および利益を伸ばすことができる。

前記課題を解決するためになされた第１の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、前記商品を含む対象物が複数並べて配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを前記対象物ごとに検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物が消失した後に同じ前記対象物が復帰した事象から前記対象物ごとに交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、対象物配置エリアに配置された複数の対象物ごとの交換が検知されて、対象物の交換状況に関する分析結果が出力されるため、対象物の交換の際に店員が端末に入力するなどの面倒な作業を行うことなく、対象物の交換状況を店舗管理者などのユーザが簡単に把握することができる。これにより、対象物の交換状況に基づいて店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上および利益を伸ばすことができる。

また、第２の発明は、前記交換検知部の検知結果を集計して、所定期間単位の前記対象物ごとの交換回数を取得する集計部をさらに備え、前記出力情報生成部は、前記所定期間単位の前記対象物ごとの交換回数を表す出力情報を生成する構成とする。

これによると、所定期間単位の対象物ごとの交換回数を店舗管理者などのユーザが把握することができる。また、所定期間単位の対象物の交換回数から、対象物の交換間隔、すなわち対象物が交換されるまでの時間をユーザが把握することができる。

また、第３の発明は、前記出力情報生成部は、前記出力情報として、時系列で取得した前記所定期間単位の交換回数に基づいて、前記対象物ごとの交換回数の変動傾向に関する情報を生成する構成とする。

これによると、時間帯に応じて対象物ごとの交換回数がどのように変動したかを店舗管理者などのユーザが把握することができる。これにより、対象物の交換回数の変動に合うように店舗側の態勢を整えることで、顧客満足度や売上および利益の向上を図ることができる。

また、第６の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、前記商品を含む対象物が複数並べて配置された対象物配置エリアを撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを前記対象物ごとに検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記対象物が消失した後に同じ前記対象物が復帰した事象から前記対象物ごとに交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、第７の発明は、店舗内または店舗外に設置された情報処理装置により、店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、前記商品を含む対象物が複数並べて配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記対象物配置エリアに前記対象物が復帰したことを前記対象物ごとに検知するステップと、このステップによる検知結果に基づいて前記対象物が消失した後に同じ前記対象物が復帰した事象から前記対象物ごとに交換を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

本発明の商品状況分析装置は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、前記商品を含む容器が複数並べて配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記容器が消失したこと、および前記対象物配置エリアに前記容器が復帰したことを前記容器ごとに検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記容器が消失した後に同じ前記容器が復帰した事象から前記容器ごとに交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の商品状況分析システムは、店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、前記商品を含む容器が複数並べて配置された対象物配置エリアを撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記容器が消失したこと、および前記対象物配置エリアに前記容器が復帰したことを前記容器ごとに検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記容器が消失した後に同じ前記容器が復帰した事象から前記容器ごとに交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の商品状況分析方法は、店舗内または店舗外に設置された情報処理装置により、店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、前記商品を含む容器が複数並べて配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記容器が消失したこと、および前記対象物配置エリアに前記容器が復帰したことを前記容器ごとに検知するステップと、このステップによる検知結果に基づいて前記容器が消失した後に同じ前記容器が復帰した事象から前記容器ごとに交換を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

本発明によれば、対象物配置エリアに配置された商品を含む容器を交換検知の対象物として、対象物の交換状況に関する分析結果が出力されるようにしたため、商品が不定形のものである場合や、商品が複数の物品で構成される場合などでも、対象物検知部および交換検知部での検知精度が向上し、対象物の交換状況をより正確に店舗管理者などのユーザが把握することができる。また、商品の数量を簡単に判別することができないものである場合などでも、商品が収容された容器の交換状況から、商品の売れ行き状況をユーザが把握することができる。これにより、対象物の交換状況に基づいて店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上および利益を伸ばすことができる。

前記課題を解決するためになされた第１の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、前記商品を含む容器が複数並べて配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記容器が消失したこと、および前記対象物配置エリアに前記容器が復帰したことを前記容器ごとに検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記容器が消失した後に同じ前記容器が復帰した事象から前記容器ごとに交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、対象物配置エリアに配置された商品を含む容器を交換検知の対象物として、対象物の交換状況に関する分析結果が出力されるようにしたため、商品が不定形のものである場合や、商品が複数の物品で構成される場合などでも、対象物検知部および交換検知部での検知精度が向上し、対象物の交換状況をより正確に店舗管理者などのユーザが把握することができる。また、商品の数量を簡単に判別することができないものである場合などでも、商品が収容された容器の交換状況から、商品の売れ行き状況をユーザが把握することができる。これにより、対象物の交換状況に基づいて店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上および利益を伸ばすことができる。

また、第２の発明は、前記交換検知部の検知結果を集計して、所定期間単位の前記容器ごとの交換回数を取得する集計部をさらに備え、前記出力情報生成部は、前記所定期間単位の前記容器ごとの交換回数を表す出力情報を生成する構成とする。

また、第３の発明は、前記出力情報生成部は、前記出力情報として、時系列で取得した前記所定期間単位の交換回数に基づいて、前記容器ごとの交換回数の変動傾向に関する情報を生成する構成とする。

また、第４の発明は、前記店舗が、セルフサービスが導入された飲食店であり、前記容器が、前記商品である料理品が収容されたものである構成とする。

また、第５の発明は、店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、前記商品を含む容器が複数並べて配置された対象物配置エリアを撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、
前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記容器が消失したこと、および前記対象物配置エリアに前記容器が復帰したことを前記容器ごとに検知する対象物検知部と、この対象物検知部の検知結果に基づいて前記容器が消失した後に同じ前記容器が復帰した事象から前記容器ごとに交換を検知する交換検知部と、この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、第６の発明は、店舗内または店舗外に設置された情報処理装置により、店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、前記商品を含む容器が複数並べて配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記容器が消失したこと、および前記対象物配置エリアに前記容器が復帰したことを前記容器ごとに検知するステップと、このステップによる検知結果に基づいて前記容器が消失した後に同じ前記容器が復帰した事象から前記容器ごとに交換を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

Claims (8)

1. 店舗に配置された商品の状況に関する分析を行う商品状況分析装置であって、
   前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知する対象物検知部と、
   この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、
   この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、
   を備えたことを特徴とする商品状況分析装置。
2. 前記交換検知部の検知結果を集計して、所定期間単位の前記対象物の交換回数を取得する集計部をさらに備え、
   前記出力情報生成部は、前記所定期間単位の前記対象物の交換回数を表す出力情報を生成することを特徴とする請求項１に記載の商品状況分析装置。
3. 前記出力情報生成部は、前記出力情報として、時系列で取得した前記所定期間単位の交換回数に基づいて、前記対象物の交換回数の変動傾向に関する情報を生成することを特徴とする請求項２に記載の商品状況分析装置。
4. 前記対象物が、前記商品が収容された容器であることを特徴とする請求項１から請求項３のいずれかに記載の商品状況分析装置。
5. 前記店舗が、セルフサービスが導入された飲食店であり、前記容器が、前記商品である料理品が収容されたものであることを特徴とする請求項４に記載の商品状況分析装置。
6. 前記対象物配置エリアに前記対象物が複数並べて配置され、
   前記対象物検知部は、複数の前記対象物ごとに前記商品配置エリアにおける消失および復帰を検知し、
   前記交換検知部は、複数の前記対象物ごとに交換を検知することを特徴とする請求項１から請求項５のいずれかに記載の商品状況分析装置。
7. 店舗に配置された商品の状況に関する分析を行う商品状況分析システムであって、
   前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置と、
   複数の情報処理装置と、
   を有し、
   前記複数の情報処理装置のいずれかが、
   前記撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知する対象物検知部と、
   この対象物検知部の検知結果に基づいて前記対象物の交換を検知する交換検知部と、
   この交換検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、
   を備えたことを特徴とする商品状況分析システム。
8. 店舗に配置された商品の状況に関する分析を行う商品状況分析方法であって、
   前記商品を含む対象物が配置された対象物配置エリアを撮像する撮像装置による画像情報に基づいて、前記対象物配置エリアから前記対象物が消失したこと、および前記商品配置エリアに前記対象物が復帰したことを検知するステップと、
   このステップによる検知結果に基づいて前記対象物の交換を検知するステップと、
   このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、
   を有することを特徴とする商品状況分析方法。

Images