JP2008015577A - 消費者行動分析装置、および消費者行動分析方法 - Google Patents

消費者行動分析装置、および消費者行動分析方法 Download PDF

Info

Publication number
JP2008015577A
JP2008015577A JP2006182982A JP2006182982A JP2008015577A JP 2008015577 A JP2008015577 A JP 2008015577A JP 2006182982 A JP2006182982 A JP 2006182982A JP 2006182982 A JP2006182982 A JP 2006182982A JP 2008015577 A JP2008015577 A JP 2008015577A
Authority
JP
Japan
Prior art keywords
person
car
person feature
database
flow line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006182982A
Other languages
English (en)
Inventor
純 ▲浅▼田
Jun Asada
Shinya Hattori
Shinichiro Hori
Masahito Osawa
Akinori Yonetani
Tadashi Yoshigai
規 吉貝
振一郎 堀
雅人 大澤
真也 服部
昭範 米谷
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd, 松下電器産業株式会社 filed Critical Matsushita Electric Ind Co Ltd
Priority to JP2006182982A priority Critical patent/JP2008015577A/ja
Publication of JP2008015577A publication Critical patent/JP2008015577A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】商品・顧客にICチップを設置することなく、潜在商品の消費動向を分析することが可能な消費者行動分析装置を実現する事を目的とする。
【解決手段】買い物かごに設置されたかごIDを記憶するRFIDタグと通信可能なRFIDリーダー装置と撮影装置とからなるシステムであって、RFIDリーダー装置がRFIDタグに対応するかごIDを検出した場合に、検出したRFIDリーダー装置に対応するリーダー装置IDとかごIDと検出時間とを対応付けて登録し、検知エリアを撮影するように撮影装置を制御し、画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報とかごIDとを対応付けて登録し、人物特徴IDとかごIDとが1対1に対応する場合があるかを判定し、かごIDに対応する人物特徴IDが一意に決定した場合にかごIDに対応する人物特徴IDを登録する。
【選択図】図1

Description

本発明は、消費者行動分析装置、および消費者行動分析方法に関するものである。

従来のPOS(Point Of Sales)システムでは、顧客が実際に商品をレジで購入しなければデータベースに記録されず、顧客が迷った末に買わなかった商品(潜在購入商品)等の潜在ニーズについて推し量ることができないという問題がある。

ここで、(特許文献1)は、顧客が商品売り場に持ち寄ったポイントカードの情報を読み取って、年齢・性別等の情報を収集し、消費性向を分析するものである。

また、(特許文献2)は、顧客毎、商品毎に付けられたICチップから情報を受信し、顧客と商品との距離を計測することで、顧客が手に取った商品の情報を収集するものである。

また、(特許文献3)は、商品毎に商品IDタグを設け、来店した顧客にはIDタグリーダを配布することで、顧客と商品との距離を計測し、顧客が手に取った商品の情報を収集するものである。
特開2004−21846号公報 特開2004−348681号公報 特開平10−269287号公報

しかしながら、上述した(特許文献1)に記載の消費性向分析方法においては、ポイントカードを発行した顧客からの情報しか収集できないという問題が生じる。

また、(特許文献2)および(特許文献3)の何れの方法を使用した場合でも、顧客毎、商品毎にICチップまたはICチップリーダを設ける必要があり、ランニングコストが高いという問題がある。

特に、上記の方法では、顧客が売り場をどのように通過したかという動線分析をすることができるが、どのような目的で立ち止まったのか、または、手を伸ばしたが買わなかった商品について、情報を収集することができないという問題がある。

本発明が解決しようとする課題には上述した問題が一例として挙げられる。

本発明は、上記に鑑みてなされたものであって、商品および顧客にICチップを設置することなく、動線分析と画像解析とを組み合わせ、潜在商品等の消費動向を分析することを可能とする消費者行動分析装置、および消費者行動分析方法を提供することを目的とするものである。

上記課題を解決するために本発明は、買い物かごに設置され当該買い物かごに対応するかごIDを記憶するRFIDタグと通信可能な複数のRFIDリーダー装置と、1つまたは複数の撮影装置と、に接続された消費者行動分析装置であって、上記RFIDリーダー装置が上記RFIDタグに対応する上記かごIDを検出した場合に、検出した当該RFIDリーダー装置に対応するリーダー装置IDと上記かごIDと検出時間とを動線分析データベースに対応付けて登録するかごID検出登録手段と、上記かごID検出登録手段にて上記かごIDを検出した場合に、当該検出した上記RFIDリーダー装置に対応する検知エリアを撮影するように上記撮影装置を制御する撮影制御手段と、上記撮影制御手段にて撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報と上記かごIDとを人物特徴データベースに対応付けて登録する人物特徴抽出登録手段と、上記人物特徴データベースに登録された上記人物特徴IDと上記かごIDとが1対1に対応する場合があるかを判定し、上記かごIDに対応する上記人物特徴IDが一意に決定した場合に上記かごIDに対応する上記人物特徴IDを上記動線分析データベースに登録する人物特定手段と、を備えたものである。

また、本発明は、買い物かごに設置され当該買い物かごに対応するかごIDを記憶するRFIDタグと通信可能な複数のRFIDリーダー装置と、1つまたは複数の撮影装置と、に接続された消費者行動分析装置において実行される消費者行動分析方法であって、上記RFIDリーダー装置が上記RFIDタグに対応する上記かごIDを検出した場合に、検出した当該RFIDリーダー装置に対応するリーダー装置IDと上記かごIDと検出時間とを動線分析データベースに対応付けて登録するかごID検出登録ステップと、上記かごID検出登録ステップにて上記かごIDを検出した場合に、当該検出した上記RFIDリーダー装置に対応する検知エリアを撮影するように上記撮影装置を制御する撮影制御ステップと、上記撮影制御ステップにて撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報と上記かごIDとを人物特徴データベースに対応付けて登録する人物特徴抽出登録ステップと、上記人物特徴データベースに登録された上記人物特徴IDと上記かごIDとが1対1に対応する場合があるかを判定し、上記かごIDに対応する上記人物特徴IDが一意に決定した場合に上記かごIDに対応する上記人物特徴IDを上記動線分析データベースに登録する人物特定ステップと、を含んだものである。

本発明によれば、商品毎、顧客毎にIDタグを設けることなく、設置カメラ等の撮像情報との組み合わせにより消費者行動の分析をすることができる消費者行動分析装置、および消費者行動分析方法が得られる。

また、本発明によれば、何の商品にどのような顧客が興味を示しているかを検出することができ、潜在的な消費性向を分析することができる消費者行動分析装置、および消費者行動分析方法が得られる。

また、本発明によれば、商品と顧客との位置関係を撮像情報から画像処理により割り出すことができ、潜在購入商品等を抽出することができる消費者行動分析装置、および消費者行動分析方法が得られる。

本発明の第1の発明の消費者行動分析装置、および消費者行動分析方法は、買い物かごに設置され当該買い物かごに対応するかごIDを記憶するRFIDタグと通信可能な複数のRFIDリーダー装置と、1つまたは複数の撮影装置と、に接続された消費者行動分析装置(において実行される消費者行動分析方法)であって、上記RFIDリーダー装置が上記RFIDタグに対応する上記かごIDを検出した場合に、検出した当該RFIDリーダー装置に対応するリーダー装置IDと上記かごIDと検出時間とを動線分析データベースに対応付けて登録するかごID検出登録手段(ステップ)と、上記かごID検出登録手段(ステップ)にて上記かごIDを検出した場合に、当該検出した上記RFIDリーダー装置に対応する検知エリアを撮影するように上記撮影装置を制御する撮影制御手段(ステップ)と、上記撮影制御手段(ステップ)にて撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報と上記かごIDとを人物特徴データベースに対応付けて登録する人物特徴抽出登録手段(ステップ)と、上記人物特徴データベースに登録された上記人物特徴IDと上記かごIDとが1対1に対応する場合があるかを判定し、上記かごIDに対応する上記人物特徴IDが一意に決定した場合に上記かごIDに対応する上記人物特徴IDを上記動線分析データベースに登録する人物特定手段(ステップ)と、を備えた(含んだ)ものであり、RFIDリーダー装置がRFIDタグに対応するかごIDを検出した場合に、検出したRFIDリーダー装置に対応するリーダー装置IDとかごIDと検出時間とを動線分析データベースに対応付けて登録し、かごIDを検出した場合に、検出したRFIDリーダー装置に対応する検知エリアを撮影するように撮影装置を制御し、撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報とかごIDとを人物特徴データベースに対応付けて登録し、人物特徴データベースに登録された人物特徴IDとかごIDとが1対1に対応する場合があるかを判定し、かごIDに対応する人物特徴IDが一意に決定した場合にかごIDに対応する人物特徴IDを動線分析データベースに登録するので、商品毎顧客毎にIDタグを設けることなく、設置カメラ等の撮像情報との組み合わせにより消費者行動の分析をすることができるという作用を有する。

本発明の第2の発明の消費者行動分析装置、および消費者行動分析方法は、上記発明において、上記RFIDタグに対応する上記かごIDが予め定めた時間以上同一の上記検知エリアで検知されているか判定することにより滞留を判定し、滞留していると判定した場合に、上記かごIDおよび滞留時間を上記動線分析データベースに対応付けて登録する滞留判定登録手段(ステップ)、をさらに備えた(含んだ)ものであり、RFIDタグに対応するかごIDが予め定めた時間以上同一の検知エリアで検知されているか判定することにより滞留を判定し、滞留していると判定した場合に、かごIDおよび滞留時間を動線分析データベースに対応付けて登録するので、商品に興味を示している顧客を検出することができ、潜在的な消費性向を分析することができるという作用を有する。

本発明の第3の発明の消費者行動分析装置、および消費者行動分析方法は、上記発明において、上記撮影制御手段(ステップ)にて撮影された画像データを画像解析技術を用いて解析することにより、撮影された各人物について、体の少なくとも一部と商品との間の距離に基づいて当該商品に対する興味指数を設定し、人物特徴IDと当該商品に対する商品IDと設定された当該興味指数とを上記人物特徴データベースに対応付けて登録する商品興味指数設定登録手段(ステップ)、をさらに備えた(含んだ)ものであり、撮影された画像データを画像解析技術を用いて解析することにより、撮影された各人物について、体の少なくとも一部と商品との間の距離に基づいて商品に対する興味指数を設定し、人物特徴IDと商品に対する商品IDと設定された興味指数とを人物特徴データベースに対応付けて登録するので、商品と顧客との位置関係を撮像情報から画像処理により割り出すことができ、潜在購入商品を抽出することができるという作用を有する。

特に、第3の発明による商品興味指数設定登録手段(ステップ)は、第2の発明において、滞留判定登録手段(ステップ)によって滞留していると判定した場合に、実行されてもよい。これにより、より正確に潜在購入商品を抽出することができるという作用を奏する。

以下に、本発明にかかる消費者行動分析装置、および消費者行動分析方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
[本発明の概要]
以下、本発明の概要について説明し、その後、本発明の構成および処理等について詳細に説明する。図1は、本発明の基本原理を示すシステム概要図である。

図1に示すように、本発明は、概略的に、以下の基本的特徴を有する。

すなわち、本発明は、(1)買い物かご5にはRFIDタグ1が設置されており、顧客が買い物かご5を持って入店すると、RFIDリーダー装置10はRFIDタグ1のIDを受信し、新たなIDを検出すると、カメラ20により撮像されたデータから人物特徴を抽出し、IDと人物特徴との関連付けを開始する。

そして、(2)買い物かご5が店内各所に設けられたRFIDリーダー装置10の検知エリアに入ると、滞留時間の計測を開始する。この際、本システムは、IDと人物特徴の関連付けが1対1に対応するよう制御する。

また、(3)顧客が長時間滞留している場合等には、カメラ20により人物の各部位を計測し、興味指数を設定する。

最後に、(4)清算時にポイントカードなどにより個人名等を特定し、POSシステムと組み合わせ、特定の商品に興味はあるが未購入である商品(潜在購入商品)を個々人毎に抽出する。

上記概略したシステムを技術的に実現するため、本発明は以下の特徴を有する。

すなわち、本発明は、買い物かご5に設置され、買い物かご5に対応するかごIDを記憶するRFIDタグ1と通信可能な複数のRFIDリーダー装置10と、1つまたは複数のカメラ20と、に接続された消費者行動分析装置であって、RFIDリーダー装置10がRFIDタグ1に対応するIDを検出した場合に、検出したカメラ20に対応するリーダー装置ID(以下「装置ID」)とかごIDと検出時間とを動線分析データベースに対応付けて登録する。

ここで、買い物かご5に設置され買い物かご5に対応するかごIDを記憶するRFIDタグ1は、例えば、図2のように、買い物かごに設置される。図2は、買い物かごに設置されたRFIDの例を示す図である。なお、図2に示すように、カート型買い物かごに設置する場合に限らず、手提げ型買い物かご等に設置してもよい。

そして、本発明は、かごIDを検出した場合に、検出したRFIDリーダー装置10に対応する検知エリアを撮影するようにカメラ20を制御する。

さらに、本発明は、撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報とかごIDとを人物特徴データベースに対応付けて登録する。

最後に、本発明は、人物特徴データベースに登録された人物特徴IDとかごIDとが1対1に対応する場合があるかを判定し、かごIDに対応する人物特徴IDが一意に決定した場合にかごIDに対応する人物特徴IDを動線分析データベースに登録する。

ここで、本発明は、RFIDタグ1に対応するかごIDが予め定めた時間以上同一の検知エリアで検知されているか判定することにより滞留を判定し、滞留していると判定した場合に、かごIDおよび滞留時間を動線分析データベースに対応付けて登録する。

また、本発明は、カメラ20によって撮影された画像データを画像解析技術を用いて解析することにより、撮影された各人物について、体の少なくとも一部と商品との間の距離に基づいて商品に対する興味指数を設定し、人物特徴IDと商品に対する商品IDと設定された興味指数とを人物特徴データベースに対応付けて登録してもよい。

これにて、本発明の概要の説明を終える。
[システム構成]
本発明の本システムの構成について説明する。図3は、本発明が適用される本システムの構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。ここで、以下の実施の形態においては、本発明に係る消費者行動分析装置は、動線分析装置100と、撮影制御装置200と、人物特徴分析装置400と、顧客データベース装置500とを少なくとも備えて構成される場合を一例として説明する。

図3に示すように、本システムは、概略的に、買い物かご5に設置され買い物かご5に対応するかごIDを記憶するRFIDタグ1と通信可能な複数のRFIDリーダー装置10と、1つまたは複数のカメラ20と、動線分析装置100と、撮影制御装置200と、人物特徴分析装置400と、顧客データベース装置500と、POSシステム600とを、ネットワーク300を介して通信可能に接続して構成されている。

このうち、RFIDタグ1は、買い物かご5に設置され、個々の買い物かご5を識別するためのIDデータを電波等により発信するよう構成される。

また、RFIDリーダー装置10は、RFIDタグ1からかごIDを電波等により受信し、かごに対応するかごIDを検知するかごID検知手段である。また、RFIDリーダー装置10は、入り口や商品棚等に設置され、所定の検知エリア内にあるRFIDタグ1を検知するよう構成される。

また、カメラ20は、店内の画像データを収集する撮影装置であり、例えば防犯カメラ等である。また、カメラ20は、撮影制御装置200からの要求に応じ、各検知エリアを撮影するよう複数台設置されてもよく、また、要求に応じて撮影角度を変更することができるよう構成してもよい。

また、動線分析装置100は、動線分析データベース106と、かごID検出登録手段102aと、動線分析定常手段102bと、滞留判定登録手段102cとを、備えて構成される。

このうち、動線分析データベース106は、RFIDリーダー装置10によって検出されたRFIDタグ1に対応するかごIDと、検出したRFIDリーダー装置10に対応する装置IDと、検出時間とを、対応付けて記憶する動線分析結果蓄積手段である。

このうち、かごID検出登録手段102aは、RFIDリーダー装置10がRFIDタグ1に対応するかごIDを検出した場合に、検出したRFIDリーダー装置10に対応する装置IDとかごIDと検出時間とを動線分析データベース106に対応付けて登録するかごID検出手段である。

また、動線分析定常手段102bは、かごID検出登録手段102aによって動線分析データベース106に記憶された情報から、所定の時間ごとに、動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、POSシステム600に処理要求を送る定常処理を行い、かごID毎の動線情報と結び付けて消費者行動を分析する動線分析定常手段である。

また、滞留判定登録手段102cは、RFIDタグ1に対応するかごIDが予め定めた時間以上同一の検知エリアで検知されているか判定することにより滞留を判定し、滞留していると判定した場合に、かごIDおよび滞留時間を動線分析データベース106に対応付けて登録する滞留判定登録手段である。

また、図3に示すように、撮影制御装置200は、撮影制御手段202aと、人物特徴抽出登録手段202bと、商品興味指数設定登録手段202cとを、備えている。

このうち、撮影制御手段202aは、かごIDを検出した場合に、検出したRFIDリーダー装置10に対応する検知エリアを撮影するようにカメラ20を制御する撮影制御手段である。

また、人物特徴抽出登録手段202bは、撮影された画像データを、画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報とかごIDとを人物特徴データベース406に対応付けて登録する人物特徴抽出登録手段である。

また、商品興味指数設定登録手段202cは、カメラ20によって撮影された画像データを画像解析技術を用いて解析することにより、撮影された各人物について、体の少なくとも一部と商品との間の距離に基づいて商品に対する興味指数を設定し、人物特徴IDと、商品に対する商品IDと、設定された興味指数とを人物特徴データベース406に対応付けて登録する。

また、図3に示すように、ネットワーク300は、RFIDリーダー装置10とカメラ20と動線分析装置100と撮影制御装置200と人物特徴分析装置400と顧客データベース装置500とPOSシステム600とを相互に接続する機能を有し、例えば、屋内LAN等である。

また、図3に示すように、人物特徴分析装置400は、人物特徴データベース406と人物特定手段402aを備えて構成される。

このうち、人物特徴データベース406は、人物特徴抽出登録手段202bの処理により抽出された各人物の特徴を、各人物について人物特徴IDと、かごIDと、を対応付けて記憶する人物特徴データベースである。また、人物特徴データベース406は、さらに、商品興味指数設定登録手段202cの処理により設定された興味指数と、人物特徴IDと、商品IDと、に対応付けて記憶する。

また、人物特定手段402aは、人物特徴データベース406に登録された人物特徴IDとかごIDとが1対1に対応する場合があるかを判定し、かごIDに対応する人物特徴IDが一意に決定した場合にかごIDに対応する人物特徴IDを動線分析データベース106に登録する人物特定手段である。

また、顧客データベース装置500は、買い物客の動線情報、商品購入情報と、興味商品情報とを記憶する顧客データベース506を備えて構成される顧客特徴蓄積装置である。

また、POSシステム600は、レジで商品を清算する際に個々の商品の販売情報を格納し、集計結果を分析し、利用者に在庫管理やマーケティング材料として用いるよう制御するPOSシステムである。

以上が、本発明の本システムの各部の詳細である。

ここで、動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500またはPOSシステム600は、WEBサーバやASPサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、またはPOSシステム600の各機能は、ハードウェア構成中のCPU、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

また、動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、またはPOSシステム600の制御部は、OS(Operating System)等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。

以上で、本発明のシステム構成の説明を終える。
[システムの処理]
次に、このように構成された本実施の形態における本システムの処理の一例について、以下に図4〜図20を参照して詳細に説明する。
[入店時人物特徴抽出登録処理]
入店時人物特徴抽出登録処理の詳細について図4を参照して説明する。図4は、本実施の形態における本システムの入店時人物特徴抽出登録処理の一例を示す制御シーケンス図である。

入店時人物特徴抽出登録処理は、動線分析定常手段102bの処理による、後述する一定時間毎に起動される人物特徴抽出登録処理とは異なり、入り口に設置されたRFIDリーダー装置10から、かごID情報を受信すると処理を開始するものである。

まず、動線分析装置100は、かごID検出登録手段102aの処理により、入り口に設置されたRFIDリーダー装置10からのかごIDを検出する(SA−1)。

処理が開始されると、図4に示すように、動線分析装置100は、かごID検出登録手段102aの処理により、撮影制御装置200に対してかごIDと人物特徴抽出要求を送信する(SA−2)。

また、動線分析装置100は、かごID検出登録手段102aの処理により、動線分析データベース106にかごIDと検出時間を登録する(SA−3)。ここで、図5は、動線分析データベース106に格納されるデータベース構造の一例を示す図である。

図5に示すように、データベース構造には、かごIDと、人物特徴IDと、装置ID(RFID)と、検出時刻と、滞留時間と、滞留フラグとを、入力する項目が設けられている。このうち、人物特徴IDは、人物特定手段402aの処理により一意に決定した場合に登録される。また、滞留時間と滞留フラグは滞留判定登録手段102cの処理により登録される。

つぎに、撮影制御装置200は、撮影制御手段202aの処理により、入り口付近を撮影するカメラ20−1に撮像要求を送る(SA−4)。

撮像要求を受けると、カメラ20−1は、撮像画像データを撮影制御装置200に送信する(SA−5)。

そして、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、特徴抽出処理を開始する(SA−6)。すなわち、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行う。

特徴抽出処理を終えると、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、人物の特徴データとかごIDを送信し(SA−7)、人物特徴データベース406に登録し(SA−8)、特徴抽出処理が終了する。ここで、図6は、人物特徴データベース406に格納されるデータベース構造の一例を示す図である。

図6に示すように、人物特徴データベース406に格納されるデータベース構造には、人物特徴IDと、かご色と、服1(色)と、服2(色)と、商品IDと、興味指数と、候補かごIDと、検出かごIDとを、入力する項目が設けられている。このうち、人物特徴ID、かご色、服1、服2の項目には、人物特徴抽出登録手段202bによる処理結果が登録される。また、商品IDと興味指数は、後述する商品興味指数設定登録手段202cによる処理結果が登録される。また、検出かごIDには、かごID検出登録手段102aの処理よるかごIDの検出結果が登録される。また、候補かごIDとして、複数の検出かごID(K001、K002)が検出された場合に、後述する人物特定手段402aの処理より、人物特徴IDと1対1に対応するように処理された結果が登録される。

これにて、入店時人物特徴抽出処理の説明を終える。
[動線分析定常処理]
まず、動線分析定常処理の詳細について図7を参照して説明する。図7は、本実施の形態における本システムの動線分析定常処理の一例を示す制御シーケンス図である。

動線分析定常処理とは、動線分析定常手段102bが、所定の時間ごとに、動線分析装置100、撮影制御装置200、人物特徴分析装置400に対し、かごID検出登録処理、人物特定処理(連鎖的に起動する撮影制御処理、人物特徴抽出登録処理から人物特定処理に至るまでの処理)、滞留判定登録処理、商品興味指数設定登録処理の各処理を起動させる処理を行うことである。

まず、動線分析装置100は、動線分析定常手段102bの処理により、タイマーT1を起動し、計測を開始する(SB−1)。ここで、T1は、例えば30秒としてもよい。

つぎに、動線分析装置100は、動線分析定常手段102bの処理により、タイマーがT1を経過するまで処理をウエイトする(SB−2)。

そして、時刻T1が経過すると(SB−3)、動線分析装置100は、動線分析定常手段102bの処理により、RFIDリーダー装置10−1〜nに対し、かごID情報要求を送る(SB−4)。

かごID情報要求を受けた各RFIDリーダー装置10は、受信したRFIDタグ1のかごID情報を動線分析装置100に応答する(SB−5)。

そして、動線分析装置100は、かごID検出登録手段102aの処理により、応答を受けたRFIDリーダー装置10の装置IDと、かごIDと、検出時間とを、対応付けて動線分析データベース106に格納する(SB−6)。

つぎに、動線分析装置100は、動線分析定常手段102bの処理により、人物特定要求を撮影制御装置200に対し送信することにより、人物特定処理を開始する(SB−7)。これにより、撮影制御装置200は、撮影制御手段202aの処理を開始し、次に、人物特徴抽出登録手段202bによる処理を行う。そして、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、人物特定要求を人物特徴分析装置400に送信し、人物特徴分析装置400は、人物特定手段402aの処理により、人物特定処理を実行し、その結果を動線分析装置100に返す。この人物特定処理の詳細は後述する。

つづいて、動線分析装置100は、滞留判定登録手段102cの処理により、滞留判定登録処理を実行する(SB−8)。

最後に、動線分析装置100は、動線分析定常手段102bの処理により、興味指数取得要求を撮影制御装置200に対し送信することにより、商品興味指数設定登録処理を開始する(SB−9)。

そして、再び動線分析装置100は、動線分析定常手段102bの処理により、タイマーT1を起動し、計測を開始し(SB−1)、以後、T1周期で上記処理を定常的に実行する。

これにて、動線分析定常処理の説明を終える。
[撮影制御処理〜人物特定処理]
動線分析定常手段102bの処理により連鎖的に起動する撮影制御処理、人物特徴抽出登録処理から人物特定処理に至るまでの処理の流れについて図8を参照して説明する。図8は、本実施の形態における本システムの人物特定処理の流れの一例を示す制御シーケンス図である。

図8に示すように、まず、動線分析装置100は、動線分析定常手段102bの処理による所定時間の処理のウエイトの後、動線分析定常手段102bの処理により、撮影制御装置200に対して、かごIDと、かごIDが検出された装置IDと、人物特徴抽出要求とを送信する(SC−1)。

ここで、送信するかごIDは、人物特徴IDが一意に決定していない人物未確定かごIDのみについて、送信するよう構成してもよく、滞留判定登録手段102cの処理による滞留フラグがついているかごIDに関してのみ、送信するよう構成してもよい。

つぎに、撮影制御装置200は、撮影制御手段202aの処理により、かごIDを検出したRFIDリーダー装置10に対応する検出エリアを撮影させるように、カメラ20に対して撮像要求を送る(SC−2)。このとき、撮影制御手段202aは、装置IDに対応するRFIDリーダー装置10の位置に基づいて撮影角度(右方向、左方向等)を制御するよう特定のカメラ20を制御してもよい。

撮像要求を受けると、対応するカメラ20は、撮像要求に基づいて撮像画像を撮影制御装置200に送信する(SC−3)。

そして、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、特徴抽出処理を開始する(SC−4)。すなわち、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行う。人物特徴抽出登録手段202bの処理による画像解析の例については、後述する。

特徴抽出処理を終えると、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、人物の特徴データと、かごIDと、人物特定要求とを、人物特徴分析装置400に送信する(SC−5)。このとき、人物特定手段402aの処理のため、カメラ20の撮像領域にあるRFIDリーダー装置10の情報を人物特徴分析装置400に送信するよう構成してもよい。

次に、人物特徴分析装置400は、人物特定手段402aの処理により、人物特定処理を開始する(SC−6)。すなわち、人物特徴分析装置400は、人物特定手段402aの処理により、人物特徴データベース406に登録された人物特徴IDとかごIDとが1対1に対応する場合があるかを判定する。

そして、人物特徴分析装置400は、人物特定手段402aの処理により、かごIDに対応する人物特徴IDが一意に決定した場合にかごIDに対応する人物特徴IDを動線分析装置100に送信し(SC−7)、動線分析データベース106に登録する(SC−8)。また、人物特徴分析装置400は、人物特定手段402aの処理により、人物特徴データベース406の情報を更新する(SC−9)。

以上が、連鎖的に起動する撮影制御処理、人物特徴抽出登録処理から人物特定処理に至るまでの処理の流れの説明である。
[人物特定処理]
ここで、人物特定手段402aの処理による人物特定処理の詳細について、図9を用いて説明する。図9は、人物特定処理の流れの一例を示すフローチャートである。

すなわち、人物特定処理は、店内が混雑した状況や、カメラ視野が広い場合などのように、複数の人物が撮像画像に含まれ、特徴抽出による人物特徴IDとかごIDが1対1に対応しない場合に、同じ人物特徴(服の色など)で、異なる時間の複数の検出かごIDを含むデータ間で、AND処理を行い、人物特徴IDとかごIDを一意に決定させる処理である。

図9に示すように、人物特徴分析装置400は、人物特定手段402aの処理により、撮影制御装置200から受信した人物特徴抽出登録手段202bの処理結果(人物特徴ID、人物特徴(かご色、服1、服2)、(複数の)装置ID、等)から、人物のカメラ位置(No)と撮像方向を判定する(SD−1)。

そして、人物特徴分析装置400は、人物特定手段402aの処理により、カメラ20−1に対応するI=1を初期設定する(SD−2)。

つぎに、人物特徴分析装置400は、人物特定手段402aの処理により、カメラ20−Iの撮像結果に人物が写っているか、判断する(SD−3)。人物が写っていない場合には(SD−3、No)、SD−8に進み、人物が写っている場合には(SD−3、Yes)、SD−4の処理に進む。

そして、人物特徴分析装置400は、人物特定手段402aの処理により、カメラ20−Iの撮像範囲に含まれるRFIDリーダー装置10の装置IDを取得する(SD−4)。

つづいて、人物特徴分析装置400は、人物特定手段402aの処理により、取得した装置IDに対応するRFIDリーダー装置10が検出したかごIDを取得する(SD−5)。

つぎに、人物特徴分析装置400は、人物特定手段402aの処理により、人物特徴と検出かごIDとを含む前回撮影の人物特徴IDと、今回の撮像結果による人物特徴IDとを、検出かごIDについて積和をとること(AND処理)により、複数の検出かごIDと人物特徴IDとを対応付けるよう制御する(SD−6)。

このとき、人物特徴IDとかごIDが一意に決定した場合は、人物特徴分析装置400は、人物特定手段402aの処理により、その人物特徴IDを動線分析装置100に送信し、動線分析データベース106の、該当するかごIDテーブルの人物特徴IDの項目に該当人物特徴IDを登録し(SD−6)人物特定処理を終了させる。

そして、人物特徴分析装置400は、人物特定手段402aの処理により、処理結果を人物特徴データベース406に反映するため更新する。すなわち、一意に決定しなかった場合でも、複数のかごIDのうち絞り込めた場合に、候補かごIDの項目に記録する(SD−7)。

つづいて、人物特徴分析装置400は、人物特定手段402aの処理により、I=m(全カメラの数)に達したか否かを判断する(SD−8)。

I=m(全カメラの数)に達していない場合には(SD−8、No)、人物特徴分析装置400は、人物特定手段402aの処理により、Iをインクリメントし、SD−3に戻る(SD−9)。

I=m(全カメラの数)に達している場合には(SD−8、Yes)、人物特徴分析装置400は、人物特定手段402aの処理により、人物特定処理を終える。ここで、検出かごIDと人物特徴からの人物特定方法の例を、図10を用いて説明する。図10は、人物特定方法の一例を示す概念図である。

図10上図に示すように、時間T1において、RFIDリーダー装置10−1は、かごID002を検出し、RFIDリーダー装置10−2は、かごID001と005を検出し、RFIDリーダー装置10−3は、かごID003と006を検出し、RFIDリーダー装置10−4は、かごID004を検出した。

このとき、人物特定手段402aは、まずカメラ20−1を選択し、カメラ20−1に対応するRFIDリーダー装置10の装置ID(10−1、10−2)を取得する。

そして、人物特定手段402aは、RFIDリーダー装置10−1、10−2で検出されたかごID(001、002、005)を取得し、人物特徴に割り当てる。

すなわち、人物特定手段402aは、人物A、B、Cにそれぞれ候補ID(001,002、005)を割り当てる。

つぎに、人物特定手段402aは、Iをインクリメントし、カメラ20−2を選択し、カメラ20−2に対応するRFIDリーダー装置10の装置ID(10−3,10−4)を取得する。

そして、人物特定手段402aは、RFIDリーダー装置10−3、10−4で検出されたかごID(003、004、006)を取得し、人物特徴に割り当てる。

すなわち、人物特定手段402aは、人物D、E、Fにそれぞれ候補ID(003,004、006)を割り当てる。

一定時間経過後、図10下図に示すように、時間T2において、RFIDリーダー装置10−1は、かごID002を検出し、RFIDリーダー装置10−2は、かごID005を検出し、RFIDリーダー装置10−3は、かごID001と006を検出し、RFIDリーダー装置10−4は、かごID003と004を検出した。

このとき、人物特定手段402aは、まずカメラ20−1を選択し、カメラ20−1に対応するRFIDリーダー装置10の装置ID(10−1、10−2)を取得する。

そして、人物特定手段402aは、RFIDリーダー装置10−1、10−2で検出されたかごID(002、005)を取得し、人物特徴に割り当てる。

すなわち、人物特定手段402aは、人物A、Cにそれぞれ候補ID(002、005)を割り当てる。

つぎに、人物特定手段402aは、Iをインクリメントし、カメラ20−2を選択し、カメラ20−2に対応するRFIDリーダー装置10の装置ID(10−3,10−4)を取得する。

そして、人物特定手段402aは、RFIDリーダー装置10−3、10−4で検出されたかごID(001、003、004、006)を取得し、人物特徴に割り当てる。

すなわち、人物特定手段402aは、人物B、D、E、Fにそれぞれ候補ID(001、003,004、006)を割り当てる。ここで、時間T1とT2で得られたデータが人物特定手段402aによって処理された結果を、図11を用いて説明する。図11は、時間T1とT2において人物特定手段402aが処理した結果を表す模式図である。

図11上図に示すように、上記人物特定手段402aの処理により、人物特徴と時間と検出されたかごIDとが対応付けられて記憶される。

次に、前回(時間T1)と今回(時間T2)との間でAND処理を実行する。すなわち、図11下図に示すように、人物AのT1における検出かごID(001,002,005)とT2における検出かごID(002,005)の積和をとると、候補かごID(002,005)という結果が得られる(網掛け部分参照)。

また、人物BのT1における検出かごID(001,002,005)とT2における検出かごID(001,003,004,006)の積和をとると、候補かごID(001)という結果が得られる。すなわち、人物BとかごID001が1対1に対応付けられる。

ここで、一意に決定しなかったその他の人物(A,C,D,E,F)については、人物特定手段402aは、人物Aおよび人物Cを、それぞれ候補ID(002、005)と絞り込み、人物D、人物Eおよび人物Fを、それぞれ候補かごID(003、004,006)と絞り込む。この絞込み処理により、一度の処理で1対1に対応しない場合でも、何回かの処理でかごIDに対応する人物特徴IDを一意に決定することができる。

ここで、人物特定処理の説明にあたっては、主に人物の色を人物特徴として説明したが、これに限られず、予めかごに着色を施しておき、かご色との組み合わせにより、人物特徴の精度を高めてもよく、また、体上部と体下部で部分わけし、認識しやすい複数パターンを設定し、認識精度を高めてもよい。

以上が、人物特定処理の詳細である。
[人物特徴抽出処理]
人物特徴抽出処理の詳細について図12と図13を参照して説明する。図12は、本実施の形態における本システムの人物特徴抽出処理の一例を示すフローチャートである。

図12に示すように、まず、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、予め開店前等の人物がいない画像データを取得する(SE−1)。

つぎに、撮影制御装置200は、撮影制御手段202aの処理により、カメラ20から画像データを受信する(SE−2)。この際、SE−1の画像データと同アングルであるとよい。

そして、SE−1の画像データと、SE−2で取得した画像データの差分を取ることにより、人物を抽出する(SE−3)。

また、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、人物のみを抽出した画像データに対し、2次元微分処理を実行し、輪郭を抽出する(SE−4)。ここで、図13は、2枚の撮像画像から人物領域を抽出する背景差分法の画像処理例を示す図である。

図13に示すように、2枚の撮像画像の差分をとると、変化のあった人物のみを抽出でき、さらに、2次元微分処理を実行することにより、図13下図に示すように、人物領域を示す輪郭を得ることができる。

図12の説明に戻って、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、抽出した輪郭情報に対して、楕円形パターン認識処理を行うことにより、頭部領域を抽出し、抽出した頭部領域の中心点の座標を求める(SE−5)。

つぎに、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、頭部領域と人物領域全体の位置関係から胴体領域を求める(SE−6)。例えば、頭部中心座標から何ピクセル下を腰部と推定することにより、胴体領域を判定する。

そして、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、SE−2で抽出した人物データと、SE−6で求めた胴体領域を重ね合わせることにより、胴体部色を判定する(SE−7)。

つぎに、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、胴体領域と人物領域全体の位置関係から足位置を求める(SE−8)。

そして、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、SE−2で抽出した人物データと、SE−6で求めた足位置を重ね合わせることにより、足色を判定する(SE−9)。

つぎに、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、多角形パターン認識処理を行うことにより、かご位置を求める(SE−10)。

そして、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、SE−2で抽出した人物データと、SE−10で求めたかご位置を重ね合わせることにより、かご色を判定する(SE−11)。

これにて、人物特徴抽出処理の一例の説明を終了する。
[滞留判定処理]
次に、滞留判定処理の詳細について図14を参照して説明する。図14は、本実施の形態における本システムの滞留判定処理の一例を示すフローチャートである。

図14に示すように、まず、動線分析装置100は、動線分析定常手段102bの処理により、所定時間T1周期ごとに、滞留判定登録手段102cの処理を起動する(SF−1)。

つぎに、動線分析装置100は、動線分析定常手段102bの処理により、店内のH番目のかごを示すHに初期値(H=0)を設定する(SF−2)。

そして、動線分析装置100は、動線分析定常手段102bの処理により、Hが連続p回同じ場所(同じRFIDリーダー装置10)で検出されたかを判定する(SF−3)。

動線分析装置100は、動線分析定常手段102bの処理により、p回同じ場所で検出されていないと判定した場合は(SF−3、No)、SF−6の処理に進める。

一方、連続p回同じ場所で検出された場合は(SF−3、Yes)、動線分析装置100は、動線分析定常手段102bの処理により、かごHを有する顧客が滞留していると判断する(SF−4)。

そして、動線分析装置100は、動線分析定常手段102bの処理により、動線分析データベース106に記憶された、かごHに対応するかごIDのテーブルを読み出し、滞留フラグを立てる(セットする)(SF−5)。ここで、図15は、動線分析データベース106に格納されるテーブルの更新情報を示す図である。

図15に示すように、所定の時間(この例では90秒)以上、同じ装置IDのRFIDリーダー装置10でRFIDタグ1を検出した場合には、表の灰色で示したように、動線分析定常手段102bにより、滞留フラグの項目にフラグ(Y)が立てられている。このフラグ(Y)は、商品興味指数設定登録手段202cによる処理のトリガーとなる。

再び図14の説明に戻って、動線分析装置100は、動線分析定常手段102bの処理により、H=q(店内にある全てのかごの数)に達したか否かを判定する(SF−6)。

H=qでない場合は(SF−6、No)、動線分析装置100は、動線分析定常手段102bの処理により、Hをインクリメントし(SF−7)、SF−3の処理に戻る。

H=qに達した場合は(SF−6、Yes)、動線分析装置100は、動線分析定常手段102bの処理により、滞留判定処理を終了する。

以上が、滞留判定処理の詳細である。
[興味指数設定処理]
次に、興味指数設定処理の詳細について図16と図17を参照して説明する。図16は、本実施の形態における本システムの興味指数設定処理の一例を示す制御シーケンス図である。

まず、動線分析装置100は、動線分析定常手段102bの処理により、周期的に動線分析データベース106を参照し、滞留フラグの立っているテーブルを抽出する(SG−1)。

そして、動線分析装置100は、動線分析定常手段102bの処理により、撮影制御装置200に対し、人物がいるRFID番号(かごID)と滞留人物特徴IDとを送信する(SG−2)。

つぎに、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、カメラ20に対し、全体画像取得要求を送信する(SG−3)。ここで、要求を送信するカメラ20は、かごIDが検出された検出エリアに対応するカメラ20に対してでもよい。

そして、カメラ20は、人物の全体画像を撮像し(SG−4)、撮影制御装置200に全体画像取得データとして、送信する(SG−5)。

つぎに、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、全体画像取得データを画像解析技術を用いて解析することにより、撮影された各人物について、体の各部位と商品の画像上の位置情報を取得する(SG−6)。

つづいて、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、人物の各部位の3次元計測要求をカメラ20に送信する(SG−7)。

3次元計測要求を受けたカメラ20は、人物の3次元計測を開始する(SG−8)。

そして、カメラ20は、撮影制御装置200に対して、人物の各部位の精密3次元計測によって得られた各部位の座標を通知する(SG−9)。ここで、全体画像は、画像上の人物の配置を取得することが主な目的であるのに対し、3次元計測は、人物の商品との位置関係(手を伸ばしているか、頭と商品との距離等)を精密に計測することが目的であるという違いがある。

つづいて、撮影制御装置200は、商品興味指数設定登録手段202cの処理による、興味指数の信頼性を高めるために、全体画像取得データと3次元計測データを複数回取得するよう、SG−3からSG−9までの処理を数回定期的(例えば数秒間隔)に繰り返し実行する(SG−10)。

つぎに、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、得られた全体画像取得データと3次元計測データとを画像解析技術を用いて解析することにより、撮影された各人物について、体の少なくとも一部と商品との間の距離に基づいて商品に対する興味指数を設定する(SG−11)。

ここで、特定された人物の興味対象である商品の商品IDを求めるための特定方法について説明する。すなわち、撮影制御装置200は、予め、商品IDと商品位置(x,y,z)を対応付けて格納した商品棚陳列情報を格納した商品棚陳列データベースを備えている。そして、撮影制御装置200は、人物特徴抽出登録手段202bの処理により、精密3次元計測で得られた商品棚位置情報(X,Y,Z)を、商品棚データベースに対し検索することにより商品IDを特定する。ここで、商品棚データベースは、POSシステム600において、記憶されていてもよく、この場合、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、POSシステム600の商品棚データベースにアクセスし、商品IDを取得する。ここで、商品興味指数の設定方法の例を、図17を用いて説明する。図17は、人物と商品の位置関係から興味指数を設定する方法例を示す概念図である。

一例として図17に示すように、店内は、両サイドの商品棚と2mの通路とから構成される。顧客である人物1〜5の位置が、カメラ20によって計測される。

人物の頭が、商品(棚)から30cm未満、離れていると計測される場合(人物1)、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、当該商品に対応する商品IDの興味指数を「B」と判定し設定する。

また、人物の頭が、商品(棚)から30cm以上60cm未満、離れていると計測される場合(人物2)、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、当該商品に対応する商品IDの興味指数を「C」と判定し設定する。

また、人物の頭が、商品(棚)から60cm以上、離れていると計測される場合(人物3)、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、当該商品に対応する商品IDの興味指数を「D」と判定し設定する。

また、図17に示すように、人物の手が、商品(棚)から30cm未満、離れていると計測される場合(人物4)、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、当該商品に対応する商品IDの興味指数を「B」と判定し設定する。

さらに、人物の手が、商品(棚)から0cm離れていると計測される場合(人物5)、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、当該商品に対応する商品IDの興味指数を「A」と判定し設定する。

このように、商品興味指数設定登録手段202cは、人物の体の少なくとも一部と商品との間の距離に基づいて商品(商品ID)に対する興味指数を設定するよう構成されている。

再び図16の説明に戻って、次に、撮影制御装置200は、商品興味指数設定登録手段202cの処理により、得られた興味指数を人物特徴分析装置400に対して通知し(SG−12)、人物特徴IDと特定した商品IDと設定した興味指数を、人物特徴データベース406に対応付けて格納する(SG−13)。ここで、402に記憶された興味指数を含むデータベースの構造を、図18を用いて説明する。図18は、商品興味指数設定登録処理により格納されたデータベース構造を示す図である。

図18上図に示すように、人物特徴IDと、候補かごIDが1対1になるよう人物特定手段402aによる処理と並行して、図18下図に示すように、人物特徴IDには、それぞれ興味指数と商品IDが格納される。例えば、人物特徴ID「T003」では、商品ID「S017」に対し興味指数「A」、商品ID「S170」に対し興味指数「A」が格納されている。このような興味商品は、レジで求められる清算商品と比較することにより、潜在ニーズのある商品を割り出すことができる。

以上で、興味指数設定処理の説明を終える。
[POS連携処理]
清算時に行われる、POSシステムとの連携処理と顧客データベースの更新処理について、図19を参照して説明する。図19は、POSシステムとの連携し顧客データベースを更新する際の制御シーケンス図である。

図19に示すように、動線分析装置100は、かごID検出登録手段102aの処理により、かごIDが清算レジに到達したことを検出すると(SH−1)、当該かごIDのテーブル情報を人物特徴分析装置400に情報を送信する(SH−2)。

一方、POSシステム600は、従業員等にレジ等を介して商品の清算を実行させ(SH−3)、顧客の使用にかかるポイントカード等から個人を特定する(SH−4)。

つぎに、POSシステム600は、購入商品情報を人物特徴分析装置400と顧客データベース装置500に送信する(SH−5、7)。

そして、人物特徴分析装置400は、動線分析装置100から送信されたかごIDのテーブル情報に基づいて、POSシステム600からの購入商品情報との差分をとり、興味はあるが購入しなかった商品(潜在購入商品)の抽出を実行する(SH−6)。

つづいて、人物特徴分析装置400は、顧客データベース装置500に得られた潜在購入商品情報を送信する(SH−9)。

また、動線分析装置100は、動線情報を顧客データベース装置500に送信する(SH−11)。

そして、顧客データベース装置500は、POSシステム600から受信した購入商品情報、人物特徴分析装置400から受信した潜在購入商品情報、動線分析装置100から受信した動線情報を対応付けて顧客データベース506に格納する(SH−8、10、12)。ここで、図21は、顧客データベース506に格納されたデータベースの一部を示す図である。

図21に示すように、顧客データベース506は、特定の顧客「例えば、F003」が、いつ入店/清算し「15:02:02/15:06:04」、どのような服を着て「灰/緑」、店内のどの場所「RFID No.6」に、どのくらいの時間滞留したか「90秒」、そして、どの商品を購入し「S100 x1」、どの商品に興味を示したか「S003 C」、等という情報をデータベースとして保持する。

これにより、例えば、動線情報により全体傾向を分析すれば、店舗内の陳列等を見直すことができる。商品購入情報や興味商品情報等の情報を、商品生産者に対して、売れ筋等のための情報分析用に提供してもよい。また、商品購入情報と興味商品情報から差分をとることにより潜在購入商品を割り出すことができるので、ポイントカードによって特定することができる顧客に対し、次回来店時に潜在購入商品の割引サービスを行うよう構成してもよい。

これにて、POS連携処理の説明を終える。

以上が、本実施の形態における本システムの処理である。これにより、商品毎、顧客毎にIDタグを設けることなく、顧客(来店者)の個々の好み(興味)情報を蓄積することができ、販売拡大・販売促進のための情報を店舗運営者や商品生産者に提供することができる。また、購買結果のみに基づいた従来のPOSシステムでは、把握できなかった潜在ニーズ情報を得ることができる。
[実施例]
ここで、図15、図18、および図20を用いて、消費者行動分析装置が、混雑した店内で、どのように人物を特定するか、即ち、いかに、かごIDに対応する人物特徴IDを一意に決定するかを、実施例を用いて説明する。図20は、時刻001〜006における、カメラ等で撮影された店内の上図を示す図である。また、図15および図18は、そのときデータベースに格納されたデータの例である。

図20に示すように、時刻001においては、人物特徴T001〜T003を持った人物がカメラ20により撮像され、この時、撮影エリアで検出されたかごIDは、K001〜K003である。以下の時刻においては、検出かごIDと人物特徴IDは図示の通りであるので、説明は省略する。

時刻003では、T001は、K002と一意に決定される。同時に、T002とT003は、人物特定手段402aにより、K001またはK003と絞り込まれる。

つぎに、時刻004では、時刻002のデータとAND処理を行うことによりT005=K006と抽出する。ここで、時刻004でデータがどのように動線分析データベースに登録されているかを図15を用いて説明する。

図15に示すように、時刻004(14:58:00)において、K002は、RFID位置「5」で検出されたことが登録され、K001とK003とK006は、同じRFID位置「3」で検出され、K004とK005は、同じRFID位置「0」で検出されたことが登録されている。

また、時刻005では、時刻004のデータとAND処理を行うことにより、T004=K004と抽出される、また、T006=K005も確定する。

最後に、時刻006では、T002=K003と、T003=T001と、が確定する。ここで、図18上図は、人物特定手段402aによりT002とT003が特定された場合の人物特徴データベース更新状況を表す図である。

図18上図で白抜きで表したように、T002(黒・黒・白)は、時刻006でK003と一意に決定したため、候補かごID(K001、K003)のうち、K003(網掛け)であることが登録され、他方、T003(赤・黒・白)は、時刻006でK001と一意に決定したため、候補かごID(K001、K003)のうち、K001(網掛け)であることが登録されている。

また、上記特定された各人物特徴IDは、対応するかごIDの人物特徴IDの項目に登録されることとなる。例えば、図15に示すように、かごID「K001」のテーブルの人物特徴IDの項目は「T003」と、かごID「K002」のテーブルの人物特徴IDの項目は「T001」と、かごID「K003」のテーブルの人物特徴IDの項目は「T002」と、かごID「K004」のテーブルの人物特徴IDの項目は「T004」と、かごID「K005」のテーブルの人物特徴IDの項目は「T006」と、かごID「K006」のテーブルの人物特徴IDの項目は「T005」と、登録されている。

これにて、実施例の説明を終える。
[他の実施の形態]
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、上記実施の形態においては、本発明に係る消費者行動分析装置は、動線分析装置100と、撮影制御装置200と、人物特徴分析装置400と、顧客データベース装置500と、POSシステム600とを少なくとも備えて構成される場合を一例として説明したが、これらが同一筐体として構成されてもよい。

また、上記本実施の形態の本システムは、スーパーなどの店舗内で用いることを想定して説明を行ったが、上記以外にも種々のシチュエーション(スキー場、老人ホーム、病院、商店街、ショッピングモール、マンション)で用いてもよい。この場合、スキー場では、怪我をした人はいないか等の安全確認や、立ち入り禁止エリアの監視の目的に用いることができ、また、老人ホームや病院では、立ち止まっているのか倒れているのかを監視するための使用することが可能である。また、商店街やショッピングモールでは、商品ごとの興味指数ではなく、テナントごとの興味指数を計測する目的で使用することができる。また、マンションでは、不審者がドアの前で滞留しているか否かを監視する目的で用いることも可能である。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データやパラメータを含む情報、データベース構成については、特記する場合を除いて任意に変更することができる。

また、動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、またはPOSシステム600に関して、図示の各構成要素は機能概略的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、またはPOSシステム600の各装置が備える各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現することができ、あるいは、ワイヤードロジックによるハードウェアとして実現することも可能である。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、またはPOSシステム600に機械的に読み取られる。すなわち、ROMまたはHDなどのストレージ手段は、OS(Operating System)として協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。

また、このコンピュータプログラムは、動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、またはPOSシステム600に対して任意のネットワーク300を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納することもできる。ここで、この「記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD等の任意の「可搬用の物理媒体」、あるいは、LAN、WAN、インターネットに代表されるネットワークを介してプログラムを送信する場合の通信回線や搬送波のように、短期にプログラムを保持する「通信媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、またはPOSシステム600の各記憶部に格納される各種のデータベース等(動線分析データベース106や人物特徴データベース406、顧客データベース506など)は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラムやテーブルやデータベースやウェブページ用ファイル等を格納する。

また、動線分析装置100、撮影制御装置200、人物特徴分析装置400、顧客データベース装置500、またはPOSシステム600は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置を接続し、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じた任意の単位で、機能的または物理的に分散・統合して構成することができる。

本発明は、特に商品管理、販売促進に関する経営分野に有用である。

本発明の基本原理を示すシステム概要図 買い物かごに設置されたRFIDの例を示す図 本発明が適用される本システムの構成の一例を示すブロック図 本実施の形態における本システムの入店時人物特徴抽出登録処理の一例を示す制御シーケンス図 動線分析データベースに格納されるデータベース構造の一例を示す図 人物特徴データベースに格納されるデータベース構造の一例を示す図 本実施の形態における本システムの動線分析定常処理の一例を示す制御シーケンス図 本実施の形態における本システムの人物特定処理の流れの一例を示す制御シーケンス図 人物特定処理の流れの一例を示すフローチャート 人物特定方法の一例を示す概念図 時間T1とT2において人物特定手段が処理した結果を表す模式図 本実施の形態における本システムの人物特徴抽出処理の一例を示すフローチャート 2枚の撮像画像から人物領域を抽出する背景差分法の画像処理例を示す図 本実施の形態における本システムの滞留判定処理の一例を示すフローチャート 動線分析データベースに格納されるテーブルの更新情報を示す図 本実施の形態における本システムの興味指数設定処理の一例を示す制御シーケンス図 人物と商品の位置関係から興味指数を設定する方法例を示す概念図 商品興味指数設定登録処理により格納されたデータベース構造を示す図 POSシステムとの連携し顧客データベースを更新する際の制御シーケンス図 時刻001〜006における、カメラ等で撮影された店内の上図を示す図 顧客データベースに格納されたデータベースの一部を示す図

符号の説明

1 RFIDタグ
5 買い物かご
10 RFIDリーダー装置
20 カメラ
100 動線分析装置
102a かごID検出登録手段
102b 動線分析定常手段
102c 滞留判定登録手段
106 動線分析データベース
200 撮影制御装置
202a 撮影制御手段
202b 人物特徴抽出登録手段
202c 商品興味指数設定登録手段
300 ネットワーク
400 人物特徴分析装置
402a 人物特定手段
406 人物特徴データベース
500 顧客データベース装置
506 顧客データベース
600 POSシステム

Claims (6)

  1. 買い物かごに設置され当該買い物かごに対応するかごIDを記憶するRFIDタグと通信可能な複数のRFIDリーダー装置と、1つまたは複数の撮影装置と、に接続された消費者行動分析装置であって、
    上記RFIDリーダー装置が上記RFIDタグに対応する上記かごIDを検出した場合に、検出した当該RFIDリーダー装置に対応するリーダー装置IDと上記かごIDと検出時間とを動線分析データベースに対応付けて登録するかごID検出登録手段と、
    上記かごID検出登録手段にて上記かごIDを検出した場合に、当該検出した上記RFIDリーダー装置に対応する検知エリアを撮影するように上記撮影装置を制御する撮影制御手段と、
    上記撮影制御手段にて撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報と上記かごIDとを人物特徴データベースに対応付けて登録する人物特徴抽出登録手段と、
    上記人物特徴データベースに登録された上記人物特徴IDと上記かごIDとが1対1に対応する場合があるかを判定し、上記かごIDに対応する上記人物特徴IDが一意に決定した場合に上記かごIDに対応する上記人物特徴IDを上記動線分析データベースに登録する人物特定手段と、
    を備えたことを特徴とする消費者行動分析装置。
  2. 請求項1に記載の消費者行動分析装置において、
    上記RFIDタグに対応する上記かごIDが予め定めた時間以上同一の上記検知エリアで検知されているか判定することにより滞留を判定し、滞留していると判定した場合に、上記かごIDおよび滞留時間を上記動線分析データベースに対応付けて登録する滞留判定登録手段、
    をさらに備えたことを特徴とする消費者行動分析装置。
  3. 請求項1または2に記載の消費者行動分析装置において、
    上記撮影制御手段にて撮影された画像データを画像解析技術を用いて解析することにより、撮影された各人物について、体の少なくとも一部と商品との間の距離に基づいて当該商品に対する興味指数を設定し、人物特徴IDと当該商品に対する商品IDと設定された当該興味指数とを上記人物特徴データベースに対応付けて登録する商品興味指数設定登録手段、
    をさらに備えたことを特徴とする消費者行動分析装置。
  4. 買い物かごに設置され当該買い物かごに対応するかごIDを記憶するRFIDタグと通信可能な複数のRFIDリーダー装置と、1つまたは複数の撮影装置と、に接続された消費者行動分析装置において実行される消費者行動分析方法であって、
    上記RFIDリーダー装置が上記RFIDタグに対応する上記かごIDを検出した場合に、検出した当該RFIDリーダー装置に対応するリーダー装置IDと上記かごIDと検出時間とを動線分析データベースに対応付けて登録するかごID検出登録ステップと、
    上記かごID検出登録ステップにて上記かごIDを検出した場合に、当該検出した上記RFIDリーダー装置に対応する検知エリアを撮影するように上記撮影装置を制御する撮影制御ステップと、
    上記撮影制御ステップにて撮影された画像データを画像解析技術を用いて解析することにより撮影された各人物の特徴抽出を行い、各人物について人物特徴IDと抽出された特徴情報と上記かごIDとを人物特徴データベースに対応付けて登録する人物特徴抽出登録ステップと、
    上記人物特徴データベースに登録された上記人物特徴IDと上記かごIDとが1対1に対応する場合があるかを判定し、上記かごIDに対応する上記人物特徴IDが一意に決定した場合に上記かごIDに対応する上記人物特徴IDを上記動線分析データベースに登録する人物特定ステップと、
    を含んだことを特徴とする消費者行動分析方法。
  5. 請求項4に記載の消費者行動分析方法において、
    上記RFIDタグに対応する上記かごIDが予め定めた時間以上同一の上記検知エリアで検知されているか判定することにより滞留を判定し、滞留していると判定した場合に、上記かごIDおよび滞留時間を上記動線分析データベースに対応付けて登録する滞留判定登録ステップ、
    をさらに含んだことを特徴とする消費者行動分析方法。
  6. 請求項4または5に記載の消費者行動分析方法において、
    上記撮影制御ステップにて撮影された画像データを画像解析技術を用いて解析することにより、撮影された各人物について、体の少なくとも一部と商品との間の距離に基づいて当該商品に対する興味指数を設定し、人物特徴IDと当該商品に対する商品IDと設定された当該興味指数とを上記人物特徴データベースに対応付けて登録する商品興味指数設定登録ステップ、
    をさらに含んだことを特徴とする消費者行動分析方法。
JP2006182982A 2006-07-03 2006-07-03 消費者行動分析装置、および消費者行動分析方法 Pending JP2008015577A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006182982A JP2008015577A (ja) 2006-07-03 2006-07-03 消費者行動分析装置、および消費者行動分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006182982A JP2008015577A (ja) 2006-07-03 2006-07-03 消費者行動分析装置、および消費者行動分析方法

Publications (1)

Publication Number Publication Date
JP2008015577A true JP2008015577A (ja) 2008-01-24

Family

ID=39072556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006182982A Pending JP2008015577A (ja) 2006-07-03 2006-07-03 消費者行動分析装置、および消費者行動分析方法

Country Status (1)

Country Link
JP (1) JP2008015577A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187217A (ja) * 2008-02-05 2009-08-20 Toshiba Tec Corp 動線認識システム
JP2010113662A (ja) * 2008-11-10 2010-05-20 Cec:Kk 購買分析システム
US8094026B1 (en) 2011-05-02 2012-01-10 Robert M Green Organized retail crime detection security system and method
US8115623B1 (en) 2011-03-28 2012-02-14 Robert M Green Method and system for hand basket theft detection
JP2012073915A (ja) * 2010-09-29 2012-04-12 Dainippon Printing Co Ltd 移動管理システム、情報処理装置、移動管理方法、プログラム
CN103971264A (zh) * 2013-02-01 2014-08-06 松下电器产业株式会社 顾客行为分析装置、顾客行为分析系统和顾客行为分析方法
JP2015026130A (ja) * 2013-07-24 2015-02-05 東芝テック株式会社 チェックアウトシステム及び撮像装置
JP5704279B1 (ja) * 2014-10-14 2015-04-22 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
KR20150131454A (ko) * 2014-05-14 2015-11-25 충남대학교산학협력단 사물 인터넷 기반의 응용행동분석 시스템 및 이를 이용한 응용행동분석 방법
JP2016081498A (ja) * 2014-12-24 2016-05-16 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
JP2016131047A (ja) * 2016-04-20 2016-07-21 株式会社ニコン 情報解析システム
JPWO2016117600A1 (ja) * 2015-01-22 2017-11-09 日本電気株式会社 商品棚割管理装置及び商品棚割管理方法
US10762467B2 (en) * 2012-08-06 2020-09-01 Nec Corporation Placement information registration device, placement information registration method, and placement information registration program

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187217A (ja) * 2008-02-05 2009-08-20 Toshiba Tec Corp 動線認識システム
JP2010113662A (ja) * 2008-11-10 2010-05-20 Cec:Kk 購買分析システム
JP2012073915A (ja) * 2010-09-29 2012-04-12 Dainippon Printing Co Ltd 移動管理システム、情報処理装置、移動管理方法、プログラム
US8115623B1 (en) 2011-03-28 2012-02-14 Robert M Green Method and system for hand basket theft detection
US8094026B1 (en) 2011-05-02 2012-01-10 Robert M Green Organized retail crime detection security system and method
US10762467B2 (en) * 2012-08-06 2020-09-01 Nec Corporation Placement information registration device, placement information registration method, and placement information registration program
CN103971264A (zh) * 2013-02-01 2014-08-06 松下电器产业株式会社 顾客行为分析装置、顾客行为分析系统和顾客行为分析方法
JP2015026130A (ja) * 2013-07-24 2015-02-05 東芝テック株式会社 チェックアウトシステム及び撮像装置
KR20150131454A (ko) * 2014-05-14 2015-11-25 충남대학교산학협력단 사물 인터넷 기반의 응용행동분석 시스템 및 이를 이용한 응용행동분석 방법
KR101643370B1 (ko) 2014-05-14 2016-08-11 충남대학교산학협력단 사물 인터넷 기반의 응용행동분석 시스템 및 이를 이용한 응용행동분석 방법
WO2016059817A1 (ja) * 2014-10-14 2016-04-21 富士ゼロックス株式会社 関連付プログラム、コンピュータ読取媒体、情報処理方法及び情報処理装置
JP5704279B1 (ja) * 2014-10-14 2015-04-22 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
JP2016081498A (ja) * 2014-12-24 2016-05-16 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
JPWO2016117600A1 (ja) * 2015-01-22 2017-11-09 日本電気株式会社 商品棚割管理装置及び商品棚割管理方法
JP2016131047A (ja) * 2016-04-20 2016-07-21 株式会社ニコン 情報解析システム

Similar Documents

Publication Publication Date Title
US10410048B2 (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US10395262B2 (en) Systems and methods for sensor data analysis through machine learning
US9785859B2 (en) Image capture and identification system and process
CN106776619B (en) Method and device for determining attribute information of target object
JP2017157216A (ja) 情報処理システム
US20140247994A1 (en) Human activity determination from video
US9870496B2 (en) Authentication systems and methods
US9217994B2 (en) System and method for managing energy
US7267277B2 (en) Method and system for targeted marketing by leveraging video-based demographic insights
US7246745B2 (en) Method of merchandising for checkout lanes
US20130304595A1 (en) Automatic learning in a merchandise checkout system with visual recognition
JP4836739B2 (ja) 商品情報提供システム及び商品情報の提供方法
US8085993B2 (en) Modular biometrics collection system architecture
US10242267B2 (en) Systems and methods for false alarm reduction during event detection
US8448858B1 (en) Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
CN102549600B (zh) 用于识别物体队列的设备、方法以及计算机程序
JP5427859B2 (ja) 画像取込及び識別のためのシステム
JP5936993B2 (ja) 商品認識装置及び商品認識プログラム
US20180276963A1 (en) Systems and methods for rfid-based retail management
US8345101B2 (en) Automatically calibrating regions of interest for video surveillance
JP4125634B2 (ja) 顧客情報収集管理方法及びそのシステム
US20080109397A1 (en) Automatic detection and aggregation of demographics and behavior of people
CN103578018A (zh) 检测由于缺货状况导致的销售损失的方法、装置和系统
CN107909443B (zh) 信息推送方法、装置及系统
JP2014021915A (ja) 商品認識装置及び認識辞書追加プログラム