JP2006126926A - 顧客データ作成システム、プログラムおよび方法 - Google Patents

Abstract

【課題】 ＰＯＳ端末から得られる情報とカメラから得られる映像情報とを効果的に利用できるようにする。
【解決手段】 顧客データ作成システムは、店舗に設けられたカメラ１３０によって撮影された映像に対して画像認識処理を行うことにより、顧客の行動に関する第１のデータを作成する画像処理手段１４０と、ＰＯＳ端末１１０から商品の購入に関する第２のデータを取得し、該第２のデータと第１のデータとを対応付ける処理を行うデータ処理手段１２０とを有する。
【選択図】 図１Ａ

Description

本発明は、店舗における顧客の行動および購買の有無等を示すデータベースを、ビデオカメラによる撮影映像とコンピュータとを用いて作成することにより、マーケティングやセキュリティに役立てる顧客データ作成システムに関するものである。

ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システムは、販売店舗における顧客が購入した商品の金額計算や商品、日時等を記載したレシートの発行を行うと共に、レジスターの操作者が入力した顧客の性別・年齢層・職業、会員番号などの人物特定情報等のデータベースを作成する。このデータは、売上管理や在庫管理に用いられるとともに、マーケティングにも利用されている。

例えば、このようなデータをマイニングすることで「紙おむつを買う男性は缶ビールを一緒に買うことが多い」という法則が発見された。これによれば、紙おむつの売り場からレジスターに繋がる経路上に缶ビール売り場を設置することにより、売上げの増加を図れる。

一方、店舗には、盗難防止や顧客の安全確保のため、監視カメラが設置されることが多くなっている。監視カメラにより撮影された映像は常時もしくは一定時間ごとに記録される。そして、特許文献１にて提案されているように、コンピュータによる画像処理技術を用いて店舗内での顧客の行動を分析することにも利用されている。
特開平０７−０４９９５２号公報（段落００１５〜００２４、図２〜１０等）

しかしながら、ＰＯＳシステムにおいては、顧客が最終的に購入した商品が分かるだけで、商品を選んだ順序までは分からない。上記の例でも「紙おむつを買いにきたついでに缶ビールを買った」のか「缶ビールを買ったついでに紙おむつを買った」のかは明確ではなく、どちらであるかによって望ましい売場構成が異なってくる。

一方、監視カメラを利用したシステムにおいては、顧客が店舗に足を踏み入れた時点から追跡し、どの売場をどのような順序で通ったか、どの商品の前で立ち止まったか等の情報を把握できるが、最終的にどの商品を購入したかを判別することまでは困難である。

本発明では、ＰＯＳ端末から得られる情報とカメラから得られる映像情報とを効果的に利用できるようにした顧客データ作成システム、プログラムおよび方法を提供することを例示的目的とする。

上記の目的を達成するために、１つの観点としての本発明の顧客データ作成システム（プログラムおよび方法）は、店舗に設けられたカメラによって撮影された映像に対して画像認識処理を行うことにより、顧客の行動に関する第１のデータを作成する画像処理手段（画像処理ステップ）と、ＰＯＳ端末から商品の購入に関する第２のデータを取得し、該第２のデータと第１のデータとを対応付ける処理を行うデータ処理手段（データ処理ステップ）とを有する。

本発明によれば、ＰＯＳ端末から得られたデータと、カメラによる撮影映像から把握されたデータとを対応付けることによって、より有用かつ確実な顧客の購入・行動情報が得られ、マーケティングやセキュリティに対して効果的に利用することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の顧客データ作成システムの構成を示している。該システム１００はＰＯＳ端末であるレジスター（以下、ＰＯＳレジと略す）１１０と、データベース１２０と、カメラ１３０と、映像処理部１４０とを備える。

ＰＯＳレジ１１０は、店舗内の精算所に設けられ、顧客が購入する商品の商品コードが入力されることによって合計金額の計算やレシートの発行を行う。また、ＰＯＳレジ１１０では、該顧客が会員カードを有する場合には該カード番号によって顧客の特定を行い、また会員カードを有していない場合には、ＰＯＳレジ１１０の操作者の判断により顧客の性別や年齢層の入力が行われる。これら入力されたＰＯＳデータ（第２のデータ）はデータベース１２０に送られる。

カメラ１３０は、動画を撮影するビデオカメラであり、撮影した映像情報を映像処理部１４０に出力する。図２に示すように、カメラ１３０は店舗内で顧客が移動するエリアの全体を捉えるよう複数配置され、特にＰＯＳレジ１１０の位置、すなわち会計時に顧客が立つエリアは確実に視野に入るようにする。本実施例では、カメラ１３０として、広角カメラや３６０度の視野を持つ全方位カメラ等を天井に設置する。なお、図２において、カメラ１３０に付随する点線の扇形や円は、カメラの視野を模式的に示したものであるが、視距離はこれらの扇形や円形の範囲に限られるわけではなく、十分遠方まで見通せるものとする。

映像処理部１４０は、複数のカメラ１３０から入力される映像情報に対してコンピュータを用いた画像認識処理を行い、顧客が入店してから出店するまでの移動や動作といった行動を表す追跡データ（第１のデータ）を作成し、データベース１２０に出力する。本実施例では、１人の顧客について入店から出店までの１つの追跡データを作成する。

このような画像認識処理には、パターン認識・メディア理解として知られる技術が用いられる。この画像認識処理により、映像情報から対象物の移動や動作を認識し、追跡することできる。このような画像認識処理としては、テンプレートマッチング，相関法，特徴追跡法等を用いた種々の画像認識処理手法があり、例えば、「『複数カメラ画像における複数人物追跡とカメラ間の人間同定』映像情報メディア学会誌,Ｖｏｌ５７，Ｎｏ４，ｐｐ．４９０−４９６」にて提案されている手法が好適である。

追跡データのデータベース１２０への送信タイミングは任意であるが、本実施例では、入店した顧客が出店したタイミングで該顧客の追跡データをデータベース１２０に送信する。

なお、人物としての顧客を画像認識して追跡データを作成するのではなく、顧客の付属物であるショッピングカートやバスケットを画像認識することによって追跡データを作成してもよい。様々な人物像に比べて形状が定まっているショッピングカートやバスケットであれば画像認識が容易だからである。さらに、ショッピングカートやバスケットに１次元バーコード、２次元バーコード等のタグを備えておくことにより、映像処理部１４０での処理を簡便かつ確実なものとすることができ、複数の追跡対象の混同を防ぐことができる。

データベース１２０は、ＰＯＳレジ１１０から入力されるＰＯＳデータと映像処理部１４０から入力される追跡データとを記録する。データベース１２０は、ＰＯＳデータテーブル１２１、追跡データテーブル１２２、データ結合部１２３および結合データテーブルを有する。ＰＯＳレジ１１０からのＰＯＳデータはＰＯＳデータテーブル１２１に、映像処理部１４０からの追跡データは、追跡データテーブル１２２に記録される。

また、データ結合部１２３は、ＰＯＳデータテーブル１２１および追跡データテーブル１２２に記録されたＰＯＳデータと追跡データとの対応関係を調べ、これらのデータの対応付け結果を示すデータを結合データテーブル１２４に記録する。

なお、図示および詳しい説明は省略するが、データベース１２０には、従来のＰＯＳシステムと同様に、商品コードや会員情報を格納する他のデータテーブルも備えられている。

また、データベース１２０と映像処理部１４０は別体の装置であってもよいし、単一のコンピュータを用いて双方の機能を備える装置として構成してもよい。

また、データベース１２０や映像処理部１４０をそれぞれ複数のコンピュータによって構成してもよい。

さらに、チェーンストア等の複数の販売店舗でデータベース１２０を共有してもよい。この際には、複数店舗にわたるより効率的なデータの集積が行われる。

また、カメラ１３０は通常の監視カメラシステムと共有することもでき、映像情報を映像処理部１４０に送るだけでなく、ビデオデッキ等に記録したり、監視センターに送ったりしてもよい。

次に、該システム１００の動作について、図１Ｂに示すフローチャートを用いて説明する。なお、この動作は、１台又は複数のコンピュータ上で動作するプログラム（顧客データ作成プログラム）にしたがって実行される。

ステップ（図ではＳと略す）１において、いずれかのカメラ１３０の視野に顧客が捉えられ、顧客が入店したと判断すると、ステップ２において、映像処理部１４０はその人物像又は顧客が手に取ったショッピングカートやバスケット（発信機もしくは店舗内の装置により物体ごとに各々の位置を確認することが可能な物体）を認識し、追跡データの作成を開始する。映像処理部１４０は、カメラ１３０からの映像情報に対する画像認識処理によって、刻々と変化する顧客の立ち位置や、商品を手に取ったりカートに入れたりする動作等の顧客の行動を表す追跡データを作成する。なお、映像処理部１４０は、追跡対象があるカメラ（カメラではなく、ショッピングカーとやバスケット等の位置を認識する認識装置であっても構わない）の視野から別のカメラの視野へ移動しても、同一の対象物と認識し、連続して追跡することができる機能を有する。これにより、複数の顧客が存在する場合でも、混同することなく各顧客の追跡を同時に行うことができる。

複数の顧客が入店した場合には、一人一人に対する追跡データを作成する。ショッピングカートやバスケットにそれぞれ異なるバーコードが付与されている場合には、映像処理部１４０はこれを画像認識することによって個々の顧客を識別する。

顧客が購入したい商品を持って精算所へ行き、店員がＰＯＳレジ１１０に順次商品のコードが入力されると、ＰＯＳレジ１１０はこれらのコードに対する価格を表示し、さらに合計価格を表示する。そして、顧客が代金を支払い、店員が入金処理を行うと（ステップ３）、ステップ４において、ＰＯＳレジ１１０は購入された商品コードや金額、日時を少なくとも含むＰＯＳデータを作成してＰＯＳデータテーブル１２１に送る。

顧客が会員カードを持っていれば、そのカード番号もＰＯＳデータに含める。顧客が会員カードを持っていなければ、店員によって入力された顧客の性別や年齢層等の情報をＰＯＳデータに含める。ＰＯＳデータの例を図４に示す。

なお、図４では、商品コードと括弧書きの商品名とを併記したが、商品コードのみでもよい。

こうして作成されたＰＯＳデータを受け取ったデータベース１２０は、新たなレコード番号を発行し、ＰＯＳデータテーブル１２１の新たなレコードとして図６に示すように記録する（ステップ５）。

顧客が出店し、カメラ１３０の視野から消えたと判断すると（ステップ６）、ステップ７において、映像処理部１４０はこの顧客に対する追跡データの作成を終了し、該追跡データ（図３参照）をデータベース１２０に送る。

追跡データを受けとったデータベース１２０は、ステップ８において、新たなレコード番号を発行し、追跡データテーブル１２２の新たなレコードとして図５に示すように記録する。

次に、ステップ９では、データ結合部１２３は、追跡データに対応するＰＯＳデータを検索し、対応する追跡データとＰＯＳデータのレコード番号を対にして結合データテーブル１２４に記録する。

ここで、対応するデータの検索は、追跡データに含まれる清算（購入）時刻とどのＰＯＳレジで清算したかを示す情報に注目し、その時刻にそのレジで精算されたことを示すＰＯＳデータを検索して行う。例えば、図３に示すレコード番号４３２の追跡データからは、対象となる顧客はＡのＰＯＳレジの位置に１２：３７ ４９から１２：３８ ２０までの間立っていたことが分かるので、ＰＯＳデータテーブルの中から、ＡのＰＯＳレジで１２：３７：４９より１２：３８ ２０の間に精算されたことを示すＰＯＳデータを探す。図６では、ＰＯＳデータテーブルのうちレコード番号３２１のＰＯＳデータがこの条件に適合するので、レコード番号４３２の追跡データとレコード番号３２１のＰＯＳデータとを対応付け、該対応付けデータ（対応レコード番号データ）を結合データテーブル１２４に、図７に示すように記録する。

このように追跡データとＰＯＳデータとの対応付け処理を行い、その結果を記録した結合データテーブル１２４を作成することにより、ＰＯＳデータのあるレコード番号に記録された顧客に対して、該ＰＯＳデータに対応する追跡データを容易に参照することができ、その顧客が店内でどのような行動をとったかを知ることができる。また、会員番号が利用できれば、同一顧客の来店ごとの行動も理解することができる。これにより、顧客が購入した商品だけでなく店内での行動をもマイニングすることもでき、例えば『紙おむつと缶ビールを買った男性は、雑貨棚と飲料棚のどちらに先に行ったか』ということが明確に判明し、商品配置の改善に役立てることができる。

図８Ａには、本発明の実施例２である顧客データ作成システムの構成を示している。該システム１０１は、ＰＯＳレジ１１０、データベース１２０’、カメラ１３０、映像処理部１４０および異常通知部１５０を備えている。なお、本実施例において、実施例１と共通する構成要素には実施例１と同符号を付して説明に代える。

映像処理部１４０は、実施例１と同様に、複数のカメラ１３０から入力される映像情報に対して画像認識処理を行って、顧客が入店してから出店するまでの立ち位置や動作等の行動を表す追跡データを作成し、該追跡データをデータベース１２０'に送る。

データベース１２０'は、ＰＯＳレジ１１０および映像処理部１４０からそれぞれ入力されるＰＯＳデータおよび追跡データを記録する。データベース１２０'は、追跡データテーブル１２２'およびデータ結合部１２３'により構成されており、ＰＯＳレジ１１０からのＰＯＳデータおよび映像処理部１４０'からの追跡データを追跡データテーブル１２２'に記録する。

また、データ結合部１２３'は、ＰＯＳレジ１１０から送られてきたＰＯＳデータが追跡データテーブル１２２'内のどの追跡データに対応するかを調査し、対応する追跡データに該ＰＯＳデータを記録する。

異常通知部１５０は、データベース１２０'に記録される追跡データによって示される顧客の行動を監視し、店員が応対すべき行動を示した顧客を検出する。店員が対応すべき顧客を検出すると、店内放送或いは店員が携帯する無線端末を通じて店員に通知する。

次に、本実施例におけるシステム１０１の動作について、図８Ｂに示すフローチャートを用いて説明する。なお、この動作は、１又は複数のコンピュータ上で動作するプログラム（顧客データ作成プログラム）にしたがって実行される。

ステップ２１において、いずれかのカメラ１３０の視野に顧客が捉えられ、顧客が入店したと判断すると、ステップ２２において、映像処理部１４０はその人物像を画像認識して追跡データの作成を開始するとともに、新たなレコード番号を発行し、データベース１２０'に送信する。

ステップ２３において、新たなレコード番号を受信したデータベース１２０'は、追跡データテーブル１２２'に新たなレコードを生成する。また、映像処理部１４０は、映像情報に対する画像認識処理の結果から、刻々と変化する顧客の立ち位置や動作等の行動を表す追跡データを作成し、データベース１２０'に送信する。

なお、映像処理部１４０は、顧客があるカメラ１３０の視野から異なるカメラ１３０の視野へと移動しても、同一人物として連続して認識する。これにより、同一の顧客に対してはその入店から出店まで同一のレコード番号を保持しつづけ、データベース１２０'に送信する追跡データには該顧客の行動とともに、このレコード番号が記述される。

データベース１２０'は、追跡データを受信すると、追跡データテーブル１２２'の該当するレコード番号に顧客の行動を追記する。

例えば、図９に示すような店内で、北口（ａ５）から入店した顧客が日用品売り場（ｂ５，ｂ４，ｂ３）で商品を手に取った後、精算所Ａ（ｄ４）に向かえば、図１０に示すようなレコードが追跡データテーブル１２２'に記録される。この段階では、この顧客の会員番号は入力されていない。

ＰＯＳレジ１１０において、顧客が精算を依頼し、店員により順次購入商品のコードが入力されて入金処理が行われ、顧客の会員番号が入力されると（ステップ２４）、これらの情報は図１１に示すようなＰＯＳデータとしてデータベース１２０'に送られる（ステップ２５）。なお、図１１には、商品コードに商品名を括弧で併記した場合を示しているが、商品コードのみでもよい。

ＰＯＳデータを受けとったデータベース１２０'は、ステップ２６において、精算時にデータ送信元のＰＯＳレジにいる顧客を追跡データテーブル１２２'から検索し、該当する追跡データのレコードに該ＰＯＳデータを追記する。すなわち、追跡データにＰＯＳデータを対応付ける。ＰＯＳデータに会員番号が含まれていれば、それも該当するレコードに記録することにより顧客が特定される。

図１１に示すＰＯＳデータの例では、精算時刻にＡのＰＯＳレジ１１０にいたのは図１０の追跡データレコードに記録されている顧客である。このため、図１２に示すように、図１０の追跡データレコードに図１１のＰＯＳデータを追記する。

また、この顧客が別の売り場へ移動し、再び会計を行うと、図１３に示すように、同一の追跡データレコード内に複数のＰＯＳデータがレコードされる。

このようにして、追跡データテーブル１２２'には、互いに対応付けられたＰＯＳデータと追跡データとの統合データが得られる。これにより、実施例１と同等の効果が得られる他、ショッピングセンターや百貨店など、複数の売り場を含む店舗で、会員でない顧客が複数のレジで精算を行っても、それが同一顧客によるものであることが分かる。

さらに、異常通知部１５０は、ステップ２３で作成された追跡データが追記されている追跡データテーブル１２２'内のレコードにおいて、図１４に示すように、例えば一箇所に長時間滞在していたり、同じ場所を何度も通ったりするなど、店員が個別の対応をすべき状況を検出すると、店員の携帯する無線端末に通知したり店内放送を行ったりする（ステップ３０）。このような場合は、顧客が商品の選択や購入に迷っている可能性が高いので、店員が該通知に従って顧客に声を掛けることにより、顧客サービスの向上につながる。

また、その顧客がすでにＰＯＳレジ１１０で会員カードを提示していれば、追跡データテーブル１２２'より同一会員番号に対応したレコードをリストアップすることにより、該顧客の過去の購入履歴を調べることができ、店員が声を掛ける際に適切なアドバイスを行うことができる。

また、異常通知部１５０に、盗難等の犯罪行動によく見られる行動パターンを検出させるようにしてもよい。このような行動パターンを検出して店員携帯の無線端末に通知したり店内放送をしたりすることにより、セキュリティの向上を図ることができる。さらに、顧客が各売り場や店舗から出る際に、異常通知部１５０においてその顧客がそれまでに手に取った商品と精算した商品とを比較し、不一致があれば、店員に通知して盗難に対する注意を促すようにしてもよい。

顧客が出店し、カメラ１３０の視野から消えたと判断すると（ステップ２７）、映像処理部１４０によるこの顧客に対する追跡データの作成を終了し、データベース１２０'も追跡データテーブル１２２'へのレコードを終了する。

また、前述の実施例において、顧客データを作成する際に、会員カードやPOSシステムからのデータに基づいて、一定期間（１週間、１ヶ月等）内の買い物金額の高い顧客から得られるデータを、その他の顧客のデータよりも重視してデータの処理を行っても良い。また、重視する顧客の基準は、買い物金額としても良いし、店舗内での滞在時間としても良いし、また、店舗に居た時刻としても良いし、また顧客の年齢、性別等によって選定しても構わない。

なお、上記各実施例にて説明した追跡データ、ＰＯＳデータの形態は例示にすぎず、他の形態のデータであってもよい。

本発明の実施例１である顧客データ作成システムの構成を示すブロック図。 実施例１の顧客データ作成システムの動作を示すフローチャート。 実施例１の顧客データ作成システムが使用される店舗を示す配置図。 実施例1における追跡データの例を示す図。 実施例１におけるＰＯＳデータの例を示す図。 実施例１における追跡データテーブルの例を示す図。 実施例１におけるＰＯＳデータテーブルの例を示す図。 実施例１における結合データテーブルの例を示す図。 本発明の実施例２である顧客データ作成システムの構成を示すブロック図。 実施例２の顧客データ作成システムの動作を示すフローチャート。 実施例２の顧客データ作成システムが使用される店舗を示す配置図。 実施例２における追跡データレコードの例を示す図。 実施例２における追跡データレコードの例を示す図。 実施例２における追跡データレコードの例を示す図。 実施例２における追跡データレコードの例を示す図。 実施例２における追跡データレコードの例を示す図。

符号の説明

１００，１０１ 顧客データ作成システム
１１０ ＰＯＳレジ
１２０，１２０' データベース
１３０ カメラ
１２１ ＰＯＳデータテーブル
１２２，１２２' 追跡データテーブル
１２３，１２３' データ結合部
１２４ 結合データテーブル
１４０ 映像処理部
１５０ 異常通知部

Claims (13)

1. 店舗に設けられたカメラによって撮影された映像に対して画像認識処理を行うことにより、顧客の行動に関する第１のデータを作成する画像処理手段と、
   ＰＯＳ端末から商品の購入に関する第２のデータを取得し、該第２のデータと前記第１のデータとを対応付ける処理を行うデータ処理手段とを有することを特徴とする顧客データ作成システム。
2. 前記データ処理手段は、前記第１および第２のデータを関連付けて記録することを特徴とする請求項１に記載の顧客データ作成システム。
3. 前記データ処理手段は、前記ＰＯＳ端末の位置に顧客が存在した時刻の情報に基づいて、前記第１のデータと前記第２のデータとを対応付けることを特徴とする請求項１又は２に記載の顧客データ作成システム。
4. 前記データ処理手段は、前記第2のデータを、該第2のデータの取得時に前記ＰＯＳ端末の位置に存在する顧客に対して作成された前記第1のデータに対応付けることを特徴とする請求項１又は２に記載の顧客データ作成システム。
5. 前記データ処理手段は、前記第２のデータに含まれる会員情報に基づいて顧客を特定し、該第２のデータと該特定された顧客に対する前記第１のデータとを対応付けることを特徴とする請求項１又は２に記載の顧客データ作成システム。
6. 前記画像処理手段は、前記画像認識処理により前記映像内の人物を認識することを特徴とする請求項１から５のいずれか１つに記載の顧客データ作成システム。
7. 前記画像処理手段は、前記画像認識処理により顧客の付属物を認識することを特徴とする請求項１から５のいずれか１つに記載の顧客データ作成システム。
8. 店舗内において顧客と共に移動する物体の位置を関知し、前記顧客の行動に関する第１のデータを作成するデータ作成手段と、
   ＰＯＳ端末から商品の購入に関する第２のデータを取得し、該第２のデータと前記第１のデータとを対応付ける処理を行うデータ処理手段とを有することを特徴とする顧客データ作成システム。
9. 前記第１のデータに基づいて、店員に対して顧客の情報を通知する通知手段を有することを特徴とする請求項１から８のいずれか１つに記載の顧客データ作成システム。
10. 店舗に設けられたカメラによって撮影された映像に対して画像認識処理を行うことにより、顧客の行動に関する第１のデータを作成する画像処理ステップと、
    ＰＯＳ端末から商品の購入に関する第２のデータを取得し、該第２のデータと前記第１のデータとを対応付ける処理を行うデータ処理ステップとを有することを特徴とする、コンピュータ上で動作する顧客データ作成プログラム。
11. 店舗内において顧客と共に移動する物体の位置を関知し、前記顧客の行動に関する第１のデータを作成するデータ作成ステップと、
    ＰＯＳ端末から商品の購入に関する第２のデータを取得し、該第２のデータと前記第１のデータとを対応付ける処理を行うデータ処理ステップとを有することを特徴とする、コンピュータ上で動作する顧客データ作成プログラム。
12. 店舗に設けられたカメラによって撮影された映像に対して画像認識処理を行うことにより、顧客の行動に関する第１のデータを作成するデータ作成ステップと、
    ＰＯＳ端末から商品の購入に関する第２のデータを取得し、該第２のデータと前記第１のデータとを対応付ける処理を行うデータ処理ステップとを有することを特徴とする顧客データ作成方法。
13. 店舗内において顧客と共に移動する物体の位置を関知し、前記顧客の行動に関する第１のデータを作成するデータ作成ステップと、
    ＰＯＳ端末から商品の購入に関する第２のデータを取得し、該第２のデータと前記第１のデータとを対応付ける処理を行うデータ処理ステップとを有することを特徴とする顧客データ作成方法。