JP2019211891A - 行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】顧客が商品を取ったのか、商品を元の位置に戻したのか、商品に触っただけなのかを判別して、顧客の購買行動を精度よく判定する。【解決手段】店舗内での顧客の行動を分析する行動分析装置１は、姿勢推定部１１と、商品変動情報抽出部１２と、購買行動判定部１３とを備える。姿勢推定部１１は、店舗内を撮影した画像に基づいて、店舗内の顧客の姿勢を推定して姿勢情報を取得する。商品変動情報抽出部１２は、上記画像から、店舗内の商品の陳列状態を解析して陳列状態の変動を示す商品変動情報を抽出する。購買行動判定部１３は、上記姿勢情報と上記商品変動情報とに基づいて、顧客の購買行動を判定する。【選択図】図１

Description

本発明は、店舗内での顧客の行動を分析する行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体に関する。

従来から、マーケティングや販売促進の目的で、店舗での顧客の購買行動の分析が行われている。例えば特許文献１に開示されたシステムでは、画像情報から人物を検出し、上記人物について、手および腕を除く上半身の部分に設定された注目部位（例えば頭部または肩部）を検出している。そして、上記注目部位の変位状況に基づいて、上記人物が、物品配置エリアに配置された物品を手に取る物品取得行動を行ったか否かを判定するようにしている。物品取得行動を行う際には、物品に手を伸ばす動作に応じて人物の姿勢が変化し、特に上半身が動く。したがって、注目部位の変位状況に注目することで、人物の手や腕の動きを検知することができない状況でも、物品取得行動の有無を判定することができ、これによって、物品取得行動に関する分析を精度よく行うよう試みている。

また、例えば特許文献２に開示されたシステムでは、顧客の商品取得行動に関する分析情報を取得するにあたり、陳列エリアに手を伸ばす動作の主体が店員および顧客のいずれであるかを判別し、店員の動作を排除して分析情報を生成することにより、顧客の商品取得行動に関する分析情報を精度よく取得するようにしている。

特開２０１５−１１６４９号公報（請求項１、２、段落〔０００８〕、〔００１３〕、図１等参照） 特開２０１６−２２４８００号公報（請求項１、２、段落〔０００５〕、〔０００６〕、〔００１０〕、図１等参照）

ところが、特許文献１のシステムでは、注目部位の変位状況に基づいて物品取得行動の有無を判定する構成であるため、例えば手に取った物品を元の配置エリアに戻す場合も、注目部位が変位し、物品取得行動として判定されてしまう。また、物品に手を差し出して物品と接触しただけで、物品を取らなかった場合でも、注目部位が変位すると、物品取得行動として判定されてしまう。つまり、特許文献１のシステムでは、物品を実際に手に取ったか、物品を戻したのか、物品に接触しただけなのかを区別して判定することができず、物品の購買に関する行動（購買行動）を精度よく判定することができない。

また、特許文献２のシステムでは、陳列エリアに手を伸ばす動作の主体が店員および顧客のいずれであるかを判別するに留まり、顧客が実際に商品を取ったのか、商品を戻したのか、商品に触っただけなのかを判別することはできず、やはり、顧客の購買行動を精度よく判定することができない。

本発明は、上記の問題点を解決するためになされたもので、その目的は、顧客が商品を取ったのか、商品を元の位置に戻したのか、商品に触っただけなのかを判別することができ、これによって、顧客の購買行動を精度よく判定することができる行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体を提供することにある。

本発明の一側面に係る行動分析装置は、店舗内での顧客の行動を分析する行動分析装置であって、前記店舗内を撮影した画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得する姿勢推定部と、前記画像から、前記店舗内の商品の陳列状態を解析して前記陳列状態の変動を示す商品変動情報を抽出する商品変動情報抽出部と、前記姿勢情報と前記商品変動情報とに基づいて、前記顧客の購買行動を判定する購買行動判定部とを備えている。

本発明の他の側面に係る行動分析システムは、上記の行動分析装置と、前記店舗内を撮影して前記画像を取得する撮像部とを備えている。

本発明のさらに他の側面に係る行動分析方法は、店舗内での顧客の行動を分析する行動分析方法であって、前記店舗内を撮影した画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得する姿勢推定工程と、前記画像に基づいて、前記店舗内の商品の陳列状態を解析し、前記商品の陳列状態の変動を商品変動情報として抽出する商品変動情報抽出工程と、前記姿勢情報と前記商品変動情報とに基づいて、前記顧客の購買行動を判定する購買行動判定工程とを含む。

本発明のさらに他の側面に係るプログラムは、上記行動分析方法をコンピュータに実行させるプログラムである。

本発明のさらに他の側面に係る記録媒体は、上記プログラムを記録した、コンピュータ読取可能な記録媒体である。

店舗内での顧客の姿勢情報と、店舗内の商品の陳列状態の実際の変動を示す商品変動情報とに基づいて、顧客の購買行動を判定するため、顧客が実際に商品を取ったのか、商品を元の位置に戻したのか、商品に触っただけなのかを判別することができ、これによって、顧客の購買行動を精度よく判定することができる。

本発明の実施の一形態の行動分析システムの全体の構成を模式的に示すブロック図である。 上記行動分析システムが適用される店舗内の様子を模式的に示す説明図である。 上記行動分析システムにおける処理の流れの一例を示す説明図である。 上記店舗の天井に設置された撮像部で取得された任意のフレームの画像の一例を示す説明図である。 上記画像に含まれる顧客の姿勢を模式的に示す説明図である。 顧客が棚前に滞在する前のフレームの画像を模式的に示す説明図である。 顧客が棚前に滞在した後のフレームの画像を模式的に示す説明図である。 本発明の他の実施の形態の行動分析システムの構成を模式的に示すブロック図である。 各商品の商品情報と陳列場所との対応関係を示す商品マップを模式的に示す説明図である。 上記行動分析システムにおける処理の流れの一例を示す説明図である。 商品リストの一例を模式的に示す説明図である。

＜実施の形態１＞
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。

〔行動分析システムの構成〕
図１は、本実施形態の行動分析システム５０の全体の構成を模式的に示すブロック図であり、図２は、行動分析システム５０が適用される店舗１００内の様子を模式的に示す説明図である。行動分析システム５０は、店舗１００内での顧客Ｐの行動を分析するシステムであり、行動分析装置１と、撮像部２とを有している。

撮像部２は、店舗１００内を撮影して画像を取得するカメラで構成されている。上記画像は、例えば動画であるが、静止画であってもよい。撮像部２は、図２に示すように、店舗１００内の天井１０１に設置されているが、顧客Ｐと、商品棚１０２に陳列されている商品２０１とを撮影できる場所であれば、どのような場所に（例えば撮影する商品棚１０２と向かい合う商品棚１０２の上などに）設置されていてもよい。また、本実施形態では、撮像部２の設置台数を１台とし、１台の撮像部２で店舗１００内の顧客Ｐと商品２０１とを撮影するようにしているが、撮像部２は店舗１００内に複数設置されていてもよい。そして、顧客Ｐの撮影と商品２０１の撮影とを別々の撮像部２によって行うようにしてもよい。

撮像部２は、ＬＡＮ（Local Area Network）などの通信回線を介して行動分析装置１と通信可能に接続されているが、行動分析装置１と無線通信可能な構成であってもよい。いずれにしても、撮像部２での撮影によって取得された画像のデータは、通信回線を介して行動分析装置１に送られる。

行動分析装置１は、店舗１００内での顧客Ｐの行動を分析する端末装置であり、例えばパーソナルコンピュータ（ＰＣ）で構成される。この行動分析装置１は、姿勢推定部１１と、商品変動情報抽出部１２と、購買行動判定部１３と、記憶部１４と、入力部１５と、表示部１６と、通信部１７と、読取部１８と、制御部１９とを有している。制御部１９は、行動分析装置１の各部の動作を制御する中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、後述するプログラム記憶部１４ａに記憶された動作プログラムに従って動作する。

姿勢推定部１１は、撮像部２で取得され、該行動分析装置１に入力された店舗１００内の画像に基づいて、店舗１００内の顧客Ｐの姿勢を推定して姿勢情報を取得する。姿勢推定部１１は、タイマーなどの計時部（図示せず）を内蔵しており、上記姿勢情報を店舗１００内の顧客Ｐごとに時系列で（時間的に異なるタイミングで）取得する。姿勢推定部１１は、例えばＧＰＵ（Graphics Processing Unit）で構成されている。ＧＰＵは、リアルタイムな画像処理に特化した演算装置（プロセッサ）である。姿勢推定部１１をＧＰＵで構成することにより、ＣＮＮ（Convolutional Neural Network）などの機械学習が可能なニューラルネットワークを構築し、画像入力に対して姿勢を推定することが可能となる。なお、姿勢推定部１１は、制御部１９と同一のまたは別個のＣＰＵで構成されていてもよい。

商品変動情報抽出部１２は、撮像部２で取得され、該行動分析装置１に入力された店舗１００内の上記画像から、店舗１００内の商品２０１の陳列状態を解析して上記陳列状態の変動を示す商品変動情報を抽出する。この商品変動情報抽出部１２は、制御部１９とは別個のＣＰＵで構成されているが、同一のＣＰＵで構成されていてもよい。

購買行動判定部１３は、姿勢推定部１１によって取得された姿勢情報と、商品変動情報抽出部１２によって抽出された商品変動情報とに基づいて、顧客Ｐの購買行動を判定する。この購買行動判定部１３は、制御部１９とは別個のＣＰＵで構成されているが、同一のＣＰＵで構成されていてもよい。上記の購買行動として、ここでは、顧客Ｐが商品２０１を陳列場所（例えば商品棚１０２）から取り出す行動、取り出した商品２０１を陳列場所に戻す行動、商品２０１に対して手を伸ばして接触するだけの行動（接触行動）を考えることができる。

なお、姿勢推定部１１、商品変動情報抽出部１２および購買行動判定部１３による各処理の詳細については、後述する動作説明の中で併せて行う。

記憶部１４は、各種の情報を記憶するメモリであり、例えばハードディスクで構成されるが、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。この記憶部１４は、プログラム記憶部１４ａと、姿勢情報記憶部１４ｂと、画像記憶部１４ｃと、判定結果記憶部１４ｄとを有している。

プログラム記憶部１４ａは、行動分析装置１の各部を動作させるための動作プログラムを記憶するメモリである。姿勢情報記憶部１４ｂは、姿勢推定部１１によって推定され、取得された姿勢情報を記憶する。画像記憶部１４ｃは、撮像部２で取得され、該行動分析装置１に入力された、時間的に異なる各フレームの画像情報（画像データ）を記憶する。なお、個人情報保護の観点から、撮像部２で取得された画像を永久に保存するのは妥当ではないため、画像記憶部１４ｃに記憶された画像情報は、所定期間経過後（例えば数日後、数か月後）に消去されるか、新しい画像情報によって上書きされる。判定結果記憶部１４ｄは、購買行動判定部１３によって判定された結果（購買行動の情報）を記憶する。

入力部１５は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、行動分析システム５０の管理者による各種の指示入力を受け付ける。表示部１６は、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部１７は、外部端末（例えばスマートフォンなどの携帯端末や他のＰＣ）と通信するためのインターフェースであり、入出力ポートのほか、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。読取部１８は、記録媒体Ｒに記録された情報を読み取る装置であり、例えばディスクドライブで構成される。なお、記録媒体Ｒが可搬型の不揮発性メモリである場合、上記不揮発性メモリの接続部が指し込まれる接続ポートも読取部１８に含まれるとする。

〔行動分析システムの動作〕
次に、本実施形態の行動分析システム５０の動作について説明する。図３は、本実施形態の行動分析システム５０における処理の流れの一例を示す説明図である。本実施形態の行動分析システム５０によって実現される行動分析方法は、画像取得工程（Ｓ１）、姿勢推定工程（Ｓ２）、商品変動情報抽出工程（Ｓ３）、購買行動判定工程（Ｓ４）を含む。以下、各工程について説明する。

（Ｓ１；画像取得工程）
Ｓ１では、店舗１００（図２参照）内を撮像部２により撮影することにより、時間的に異なるフレームごとの画像を取得する。図４は、撮像部２で取得された任意のフレームの画像Ｍの一例を示している。画像Ｍでは、店舗１００内で、商品棚１０２に陳列された商品２０１に向かって顧客Ｐが手を伸ばしている様子（行動）が示されている。取得された各フレームの画像のデータは、行動分析装置１に入力されて画像記憶部１４ｃに順次記憶される。

（Ｓ２；姿勢推定工程）
Ｓ２では、姿勢推定部１１が、Ｓ１で取得された画像に基づいて、店舗１００内の顧客Ｐの姿勢を推定して姿勢情報を取得するとともに、上記姿勢情報を店舗１００内の顧客Ｐごとに時系列で取得する。上記姿勢情報には、例えば、顧客Ｐが商品棚１０２の商品２０１に手を伸ばしたときの姿勢、顧客Ｐが手を商品２０１に接触させたときの姿勢、顧客Ｐが伸ばした手を元に戻したときの姿勢、顧客Ｐがしゃがみ込んだときの姿勢、顧客Ｐが歩いているときの姿勢、などの情報が含まれる。取得された姿勢情報は、姿勢情報記憶部１４ｂに記憶される。

図５は、図４で示した画像Ｍに含まれる顧客Ｐの姿勢３０１（太線参照）を示している。顧客Ｐの姿勢３０１を示す姿勢情報は、顧客Ｐの体の各関節位置の情報（例えば２次元または３次元空間内での位置座標）を含む。なお、同図では、顧客Ｐの姿勢３０１を分かりやすくするため、各関節位置を線でつなげて示しているが、このような線も上記の姿勢情報に含まれる。

姿勢情報の取得（撮影画像からの顧客Ｐの各関節位置の取得）は、例えば公知の画像処理ソフトウェアを用いることによって行うことができる。また、顧客Ｐの所定の時間内での動作範囲（例えば移動範囲）は限られるため、所定の時間内での各関節位置（または各関節位置をつなげた線）の移動量が所定範囲内であるか否かを判断することにより、時間的に異なるタイミングで取得された姿勢情報が同一の顧客Ｐについての情報であるか、別々の顧客Ｐについての情報であるかを判断することができる。これにより、顧客Ｐごとに区別して姿勢情報を取得することができる。

（Ｓ３；商品変動情報抽出工程）
Ｓ３では、商品変動情報抽出部１３が、Ｓ１で取得された各フレームの画像から、店舗１００内の商品２０１の陳列状態を解析して商品変動情報を抽出する。

図６は、撮像部２で撮影された画像であって、顧客Ｐが商品棚１０２（または商品棚１０２に陳列されている商品２０１）の前に滞在する前のフレームの画像Ｍ１を模式的に示している。また、図７は、撮像部２で撮影された画像であって、顧客Ｐが商品棚１０２の前に滞在した後のフレームの画像Ｍ２を模式的に示している。なお、図６および図７では、便宜的に、それぞれの商品２０１に“１”〜“１２”の符号を付して列ごとに区別している（各列の商品は同じ種類であるとする）。これらの画像Ｍ１・Ｍ２から、顧客Ｐが商品棚１０２の前に滞在する前に比べて、滞在した後は、符号“３”および“１０”の商品２０１が１個ずつ、商品棚１０２から減っていることがわかる。したがって、商品変動情報抽出部１２は、２つの画像Ｍ１・Ｍ２を比較して商品２０１の陳列状態を解析することにより、これらの画像Ｍ１・Ｍ２から、商品変動情報（符号“３”および“１０”の商品２０１が１個ずつ減ったという情報）を抽出することができる。

また、商品変動情報抽出部１２は、姿勢推定部１１が取得した姿勢情報に基づき、顧客Ｐが商品棚１０２（または商品棚１０２に陳列されている商品２０１）の前に滞在しているか否かを判定することができる。例えば、商品棚１０２の前で顧客Ｐの同じ姿勢３０１が数フレームにわたって続いたり、商品棚１０２に対する位置は変化せずに姿勢３０１が変化している場合には、顧客Ｐが商品棚１０２の前に滞在していると判定することができる。したがって、商品変動情報抽出部１２は、上記姿勢情報に基づいて、顧客Ｐが商品２０１の前に滞在したか否かを判定し、滞在したと判定した場合には、上記のように、画像記憶部１４ｃに記憶された滞在前のフレームの画像Ｍ１と、（将来の）滞在後のフレームの画像Ｍ２とを比較して商品２０１の陳列状態を解析することにより、商品変動情報を抽出することができる。

（Ｓ４；購買行動判定工程）
Ｓ４では、購買行動判定部１３が、Ｓ２で取得した顧客Ｐの姿勢情報と、Ｓ３で取得した商品変動情報とに基づいて、顧客Ｐの購買行動を判定する。より具体的には、購買行動判定部１３は、まず、Ｓ２で取得した姿勢情報の変化に基づいて、顧客Ｐの商品２０１へのアクセス行動（陳列している商品２０１に顧客Ｐが手を伸ばす行動）を検出する。そして、購買行動判定部１３は、上記のアクセス行動と、Ｓ３で抽出した商品変動情報とに基づいて、顧客Ｐの購買行動を判定する。

例えば、アクセス行動が１回であり、１回のアクセス行動の前後で、商品棚１０２上の商品２０１が１個減った場合には、顧客Ｐが１回のアクセス行動で商品棚１０２から商品２０１を１個取ったと判定できる。なお、「アクセス行動の前後」とは、顧客Ｐがアクセス行動を行う商品棚１０２の前に滞在する前のフレームと、滞在した後のフレームとの関係を指す。また、同じ商品棚１０２の前でアクセス行動が２回あり、２回のアクセス行動の前後で商品棚１０２上の商品２０１が２個減った場合には、顧客Ｐがそれぞれのアクセス行動において商品棚１０２から商品２０１を１個ずつ取ったと判定できる。つまり、これらの場合、顧客Ｐの購買行動として、商品２０１を陳列場所から取り出す行動があったと判定することができる。

また、アクセス行動が１回あり、１回のアクセス行動の前後で商品棚１０２上の商品２０１の増減がなかった場合には、顧客Ｐが１回のアクセス行動で商品２０１に接触しただけで、商品２０１を取らなかったと判定できる。つまり、この場合、顧客Ｐの購買行動として、商品２０１に対して接触するだけの行動（接触行動）があったと判定することができる。

さらに、同じ商品棚１０２の前でアクセス行動が２回あり、２回のアクセス行動の前後で商品棚１０２上の商品２０１の増減がなかった場合には、１回目のアクセス行動で商品棚１０２から取った商品２０１を、２回目のアクセス行動で商品棚１０２に戻した可能性が高いと判定できる。つまり、この場合、顧客Ｐの購買行動として、商品２０１を陳列場所に戻す行動があったと判定することができる。なお、顧客Ｐが２回のアクセス行動のそれぞれにおいて商品２０１に接触しただけで商品２０１を取らなかった可能性も否定できないが、２回アクセスするということは、その商品２０１に興味があることを示しているため、特に２回目のアクセスにおいて、商品２０１に触れただけで手に取らない可能性は極めて低いと考えられる。したがって、上記のように、顧客Ｐの購買行動として、商品２０１を陳列場所に戻す行動があったと判定するのが妥当である。

判定された購買行動の情報は、判定結果記憶部１４ｄに記憶される。これにより、例えばシステムの管理者は、行動分析装置１にアクセスして判定結果記憶部１４ｄに記憶された購買行動の情報を参照することにより、顧客Ｐの購買行動を把握して今後のマーケティングに活かすことが可能となる。

〔効果〕
以上のように、本実施形態では、購買行動判定部１３が、Ｓ２で取得した姿勢情報と、Ｓ３で抽出した商品変動情報とに基づいて、顧客Ｐの購買行動を判定する（Ｓ４）。顧客Ｐの姿勢を判断するだけでは（例えば顧客Ｐが商品２０１に手を伸ばしたとの判断だけでは）、顧客Ｐが陳列場所から商品２０１を取ったのか、商品２０１を元の陳列場所に戻したのか、商品２０１に触っただけなのかを判別することができない。しかし、顧客Ｐの姿勢情報に加えて、商品２０１の実際の変動を示す情報（商品変動情報）をさらに考慮することにより、顧客Ｐの姿勢による動作（行動）が、顧客Ｐが陳列場所から商品２０１を取った行動であるのか、一旦取り出した商品２０１を元の陳列場所に戻した行動であるのか、商品２０１に触っただけの行動であるのかを判別することができる。これにより、顧客Ｐの購買行動を精度よく判定することができる。

また、商品変動情報抽出部１２は、姿勢情報に基づいて、顧客Ｐが商品２０１の前に滞在したか否かを判定し、滞在したと判定した場合には、滞在する前のフレームの画像Ｍ１と、滞在した後のフレームの画像Ｍ２とを比較して、商品２０１の陳列状態を解析することにより、商品変動情報を抽出する（Ｓ３）。顧客Ｐが商品２０１の前に滞在する前後の各フレーム画像を比較することにより、商品２０１の陳列状態の変化、つまり、商品２０１の増減を明確に把握することができる。これにより、信頼性の高い商品変動情報を取得することができる。

また、例えば、顧客Ｐが商品２０１の前に滞在していると、その滞在中のフレーム画像では、顧客Ｐの手元が顧客の体に隠れて、顧客Ｐが商品２０１を取ったかどうかを判別できない場合がある。しかし、上記のように、顧客Ｐが商品２０１の前に滞在する前後の各フレーム画像を比較することにより、顧客Ｐの手元が顧客の体に隠れるか否かに関係なく、商品２０１の陳列状態の変化を把握することができる。したがって、この点でも、信頼性の高い商品変動情報を取得することができる。

また、購買行動判定部１３は、姿勢情報の変化に基づいて、顧客Ｐの商品２０１へのアクセス行動を検出する（Ｓ４）。商品２０１を購買するときには、陳列された商品２０１にアクセスして（手を伸ばして）、陳列場所から商品２０１を取り出す（カートに入れる）行動が必ず伴う。したがって、このアクセス行動を検出することにより、アクセスした商品２０１についての購買行動の判定を精度よく行うことができる。

また、購買行動判定部１３は、上記のアクセス行動と、Ｓ３で抽出した商品変動情報とに基づいて、購買行動を判定する（Ｓ４）。アクセスした商品２０１の実際の変動（個数の増減）に基づいて購買行動を判定するため、アクセスした商品２０１についての購買行動の判定を確実に精度よく行うことができる。

また、購買行動判定部１３は、購買行動として、商品２０１を陳列場所（例えば商品棚１０２）から取り出す行動、商品２０１を陳列場所に戻す行動、商品２０１に対する接触行動のいずれかを判定する（Ｓ４）。これにより、購買行動として、顧客Ｐが商品２０１を取ったのか、商品２０１を元の位置に戻したのか、商品２０１に触っただけなのかを明確に区別して判定することができる。

また、本実施形態の行動分析システム１は、上記した行動分析装置１と、店舗１００内を撮影して画像を取得する少なくとも１個の撮像部２とを備えている。この構成では、行動分析装置１が店舗１００内の撮像部２で取得される画像を利用して顧客Ｐの購買行動を判定するため、例えば、商品２０１にＩＣ（integrated circuit）タグを付けたり、商品棚１０２ごとにセンサを設けて商品２０１を管理することなく購買行動を判定することができる。したがって、ＩＣタグやセンサの設置を不要として、システム全体のコストダウンを図ることができる。

＜実施の形態２＞
本発明の他の実施の形態について、図面に基づいて説明すれば、以下の通りである。本実施形態では、実施の形態１の構成において、購買行動判定部１３によって判定された購買行動が何の商品に対して行われたかをさらに特定する例を示す。

〔行動分析システムの構成〕
図８は、本実施形態の行動分析システム５０の構成を模式的に示すブロック図である。本実施形態の行動分析システム５０は、実施の形態１で示した行動分析装置１において、記憶部１４が、商品情報記憶部１４ｅと、購買データ記憶部１４ｆとをさらに有しており、行動分析装置１が、リスト作成部２０をさらに有している点以外は、実施の形態１と同様の構成である。リスト作成部２０は、例えば制御部１９とは別個のＣＰＵで構成されているが、制御部１９と同一のＣＰＵで構成されていてもよい。なお、リスト作成部２０の機能の詳細については、後述する行動分析システム５０の動作説明の中で併せて行う。

商品情報記憶部１４ｅは、店舗１００内で陳列された各商品２０１を特定するための商品情報を、各商品２０１の陳列場所と対応付けて記憶する。本実施形態では、各商品２０１の商品情報と陳列場所との対応関係を商品マップとして表し、この商品マップを商品情報記憶部１４ｅに記憶させている。図９は、各商品２０１の商品情報と陳列場所との対応関係を示す商品マップ２０１Ｍを模式的に示している。

商品マップ２０１Ｍでは、各商品２０１を特定するための商品情報ａ〜ｐが、各商品２０１の陳列場所と対応付けて示されている。商品情報ａ〜ｐは、例えば商品２０１の具体的な名前（商品名）であってもよいし、商品２０１の種類（例えば歯ブラシ、歯磨き粉など）であってもよい。このうち、商品情報ａ〜ｄは、商品棚１０２が４段構成である場合に、上から１段目の商品棚１０２のＡ列、Ｂ列、Ｃ列、Ｄ列の各商品２０１を特定する商品情報を示す。同様に、商品情報ｅ〜ｈは、上から２段目の商品棚１０２のＡ列、Ｂ列、Ｃ列、Ｄ列の各商品２０１を特定する商品情報を示し、商品情報ｉ〜ｌは、上から３段目の商品棚１０２のＡ列、Ｂ列、Ｃ列、Ｄ列の各商品２０１を特定する商品情報を示し、商品情報ｍ〜ｐは、上か４段目の商品棚１０２のＡ列、Ｂ列、Ｃ列、Ｄ列の各商品２０１を特定する商品情報を示す。

購買データ記憶部１４ｆは、顧客Ｐが店舗１００内で実際に購入した商品２０１に関する情報（購買データ）を記憶する。上記の購買データとしては、例えばＰＯＳ（Point of Sales）データを考えることができる。ＰＯＳデータとは、商品２０１の販売時点のデータであり、「いつ」、「どの店舗で」、「どの商品が」、「いくらで」、「何個売れたのか」という情報を含む。例えば、店舗１００内のキャシュレジスタ（単にレジとも呼ばれる）において、精算時に商品２０１についているバーコードをスキャナーで読み取ることにより、ＰＯＳデータが取得され、このＰＯＳデータがほぼリアルタイムに購買データ記憶部１４ｅに転送されて記憶される。なお、上記のＰＯＳデータには、「誰が」という情報は含まれておらず、万が一、購買データが外部に漏洩したとしても、商品を購入した顧客Ｐ（例えば個人名）が特定されることはない。

なお、例えば、キャッシュレジスタで取得された購買データを一旦、記録媒体（例えば光ディスク）に記録しておき、この記録媒体から購買データを読取部１８にて読み取ることによって、上記購買データを取得してもよい。また、上記購買データは、入力部１５によって直接入力されてもよいし、通信部１７を介して外部の端末装置（例えばサーバー）から受信することによって取得されてもよい。

〔行動分析システムの動作〕
図１０は、本実施形態の行動分析システム５０における処理の流れの一例を示す説明図である。本実施形態の行動分析システム５０によって実現される行動分析方法は、実施の形態１の画像取得工程（Ｓ１）の前に、商品情報記憶工程（Ｓ１’）を含み、購買行動判定工程（Ｓ４）の後に、商品特定工程（Ｓ５）、リスト作成工程（Ｓ６）およびリスト記憶工程（Ｓ７）を含む。以下、実施の形態１と異なる部分について説明する。

（Ｓ１’；商品情報記憶工程）
Ｓ１’では、各商品２０１の陳列場所と対応付けた商品情報（例えば図９の商品マップ２０１Ｍ）を、予め商品情報記憶部１４ｅに記憶させておく。例えば、システムの管理者が入力部１５を操作して商品情報を直接入力する、上記商品情報を記憶した記憶媒体を読取部１８で読み取る、上記商品情報を外部から通信回線を介して受信する、などにより、上記商品情報を商品情報記憶部１４ｅに記憶させることができる。なお、Ｓ１’の商品情報記憶工程は、Ｓ４の購買行動判定工程までに行われれば、どのタイミングで行われてもよい。

（Ｓ５；商品特定工程）
Ｓ４の後、購買行動判定部１３は、商品変動情報抽出部１２によって抽出された商品変動情報に基づいて、陳列状態が変動した商品２０１および陳列場所を認識する。例えば、商品変動情報抽出部１２により、図９において上から１段目の商品棚１０２におけるＡ列の商品２０１について、商品変動情報（商品２０１が減ったという情報）が抽出された場合、購買行動判定部１３は、上記商品変動情報に基づいて、陳列状態が変動した商品２０１およびその陳列場所（１段目、Ａ列）を認識する。そして、購買行動判定部１３は、認識した陳列場所に対応する商品２０１の商品情報（図９では商品情報ａ）を、商品情報記憶部１４ｅから読み出し、読み出した商品情報に基づいて、購買行動の対象となる商品２０１を特定する（商品２０１が何であるかを特定する）。特定結果については、記憶部１４の例えば判定結果記憶部１４ｄに記憶される。

（Ｓ６；リスト作成工程、Ｓ７；リスト記憶工程）
Ｓ６では、リスト作成部２０は、購買行動判定部１３によって特定された商品２０１のうち、購買行動として顧客Ｐが陳列場所から取ったと判定された商品２０１についての商品情報のリスト（以下、単に「商品リスト」とも称する）を作成する。図１１は、上記商品リストＬの一例を模式的に示している。商品リストＬでは、購買行動判定部１３によって、顧客が陳列場所から取ったと判定された商品２０１の商品情報が、顧客ごとにリストとしてまとめられている。Ｓ７では、このようにして作成された商品リストＬが、記憶部１４の商品情報記憶部１４ｅに記憶される。

Ｓ７の後は、例えば制御部１９が、作成された商品リストＬに含まれる商品情報と、顧客Ｐが商品２０１を実際に購入（精算）後に購買データ記憶部１４ｆに転送されて記憶される購買データとを比較して、これらのデータがマッチングしているか否かを判定する。そして、マッチングする場合には（商品リストＬに含まれる商品と購買データとして記録された商品とが一致する場合には）、制御部１９は、上記商品情報と上記購買データとを紐付けて記憶部１４（商品情報記憶部１４ｅまたは購買データ記憶部１４ｆ）に記憶させる。

以上のように、本実施形態では、Ｓ５にて、購買行動判定部１３が、商品情報記憶部１４ｅから読み出した商品情報に基づいて、購買行動の対象となる商品２０１を特定するため、顧客Ｐが購買行動を行った商品２０１（顧客Ｐが陳列場所から取った商品、陳列場所に戻した商品、または触れただけの商品）が具体的に何であったのかがわかる。

また、リスト作成部２０が商品リストＬを作成して、商品情報記憶部１４ｅに記憶させることにより、例えばシステムの管理者は商品情報記憶部１４ｅから商品リストＬを読み出して、顧客Ｐが陳列場所から取った商品２０１を明確に把握することが可能となる。

＜プログラムおよび記録媒体＞
上述した実施の形態１および２で説明した行動分析システム５０の行動分析装置１は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部１９）が読み取って実行することにより、行動分析システム５０の各部を動作させて上述した各処理（各工程）を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されてプログラム記憶部１４ａに記憶される。また、上記プログラムは、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読取可能な記録媒体Ｒに記録され、この記録媒体Ｒから上記プログラムをコンピュータが読み取ってプログラム記憶部１４ａに記憶する形態であってもよい。

＜補足＞
上述した実施の形態１および２では、商品棚１０２に陳列された商品２０１に対する顧客Ｐの購買行動を判定する例について説明したが、商品棚１０２を利用しないで商品２０１が陳列されている場合でも、実施の形態１および２で説明した方法を採用して購買行動の判定を行うことは可能である。例えば、商品（トイレットペーパーなど）を段ボールの箱ごと床に置いて山積みしたり、上面が開口した大型のケースの中に商品（冷凍食品など）を陳列している場合であっても、顧客Ｐの姿勢情報と商品変動情報とに基づいて、顧客Ｐの購買行動を判定することができる。

また、実施の形態１および２では、顧客Ｐが商品棚１０２の前に滞在する前後の各画像を比較して、商品変動情報を抽出するようにしているが（図６、図７参照）、この例には限定されない。例えば、顧客Ｐが商品棚１０２の前に滞在しているときの画像と、顧客Ｐが商品棚１０２の前に滞在した後の画像とを比較して、商品変動情報を抽出してもよい。この場合、顧客Ｐが商品棚１０２の前に滞在している状態で、顧客Ｐで隠れている商品２０１については、その変動を抽出できないが、顧客Ｐで隠れていない商品２０１については、上記２つの画像を比較してその変動を抽出することができ、これによって顧客Ｐの購買行動を判定することが可能となる。

＜その他＞
以上の各実施の形態で説明した行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体は、以下のように表現されてもよい。

１．店舗内での顧客の行動を分析する行動分析装置であって、
前記店舗内の画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得する姿勢推定部と、
前記画像から、前記店舗内の商品の陳列状態を解析して前記陳列状態の変動を示す商品変動情報を抽出する商品変動情報抽出部と、
前記姿勢情報と前記商品変動情報とに基づいて、前記顧客の購買行動を判定する購買行動判定部とを備えていることを特徴とする行動分析装置。

２．前記商品変動情報抽出部は、前記姿勢情報に基づいて、前記顧客が前記商品の前に滞在したか否かを判定し、滞在したと判定した場合には、滞在する前のフレームの画像と、滞在した後のフレームの画像とを比較して、前記商品の陳列状態を解析することにより、前記商品変動情報を抽出することを特徴とする前記１に記載の行動分析装置。

３．前記購買行動判定部は、前記姿勢情報の変化に基づいて、前記顧客の前記商品へのアクセス行動を検出することを特徴とする前記１または２に記載の行動分析装置。

４．前記購買行動判定部は、前記顧客の前記商品への前記アクセス行動と、前記商品変動情報とに基づいて、前記購買行動を判定することを特徴とする前記３に記載の行動分析装置。

５．前記購買行動判定部は、前記購買行動として、前記商品を陳列場所から取り出す行動、前記商品を前記陳列場所に戻す行動、前記商品に対する接触行動のいずれかを判定することを特徴とする前記１から４のいずれかに記載の行動分析装置。

６．前記店舗内で陳列された各商品を特定するための商品情報を、各商品の陳列場所と対応付けて記憶する商品情報記憶部をさらに備え、
前記購買行動判定部は、前記商品変動情報抽出部によって抽出された前記商品変動情報に基づいて、陳列状態が変動した商品および陳列場所を認識するとともに、認識した前記陳列場所に対応する前記商品の商品情報を、前記商品情報記憶部から読み出し、読み出した前記商品情報に基づいて、前記購買行動の対象となる前記商品を特定することを特徴とする前記１から５のいずれかに記載の行動分析装置。

７．前記購買行動判定部によって特定された前記商品のうち、前記購買行動として前記顧客が前記陳列場所から取ったと判定された商品についての前記商品情報のリストを作成するリスト作成部をさらに備え、
前記商品情報記憶部は、前記リストをさらに記憶することを特徴とする前記６に記載の行動分析装置。

８．前記１から７のいずれかに記載の行動分析装置と、
前記店舗内を撮影して前記画像を取得する撮像部とを備えていることを特徴とする行動分析システム。

９．店舗内での顧客の行動を分析する行動分析方法であって、
前記店舗内の画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得する姿勢推定工程と、
前記画像に基づいて、前記店舗内の商品の陳列状態を解析し、前記商品の陳列状態の変動を商品変動情報として抽出する商品変動情報抽出工程と、
前記姿勢情報と前記商品変動情報とに基づいて、前記顧客の購買行動を判定する購買行動判定工程とを含むことを特徴とする行動分析方法。

１０．前記商品変動情報抽出工程では、前記姿勢情報に基づいて、前記顧客が前記商品の前に滞在したか否かを判定し、滞在したと判定した場合には、滞在する前のフレームの画像と、滞在した後のフレームの画像とを比較して、前記商品の陳列状態を解析することにより、前記商品変動情報を抽出することを特徴とする前記９に記載の行動分析方法。

１１．前記購買行動判定工程では、前記姿勢情報の変化に基づいて、前記顧客の前記商品へのアクセス行動を検出することを特徴とする前記９または１０に記載の行動分析方法。

１２．前記購買行動判定工程では、前記顧客の前記商品への前記アクセス行動と、前記商品変動情報とに基づいて、前記購買行動を判定することを特徴とする前記１１に記載の行動分析方法。

１３．前記購買行動判定工程では、前記購買行動として、前記商品を陳列場所から取り出す行動、前記商品を前記陳列場所に戻す行動、前記商品に対する接触行動のいずれかを判定することを特徴とする前記９から１２のいずれかに記載の行動分析方法。

１４．前記商品変動情報抽出工程で抽出された前記商品変動情報に基づいて、陳列状態が変動した商品および陳列場所を認識するとともに、認識した前記陳列場所に対応する前記商品の商品情報を商品情報記憶部から読み出し、読み出した前記商品情報に基づいて、前記購買行動の対象となる前記商品を特定する商品特定工程をさらに含むことを特徴とする前記９から１３のいずれかに記載の行動分析方法。

１５．前記商品特定工程で特定された前記商品のうち、前記購買行動として前記顧客が前記陳列場所から取ったと判定された商品についての前記商品情報のリストを作成するリスト作成工程と、
前記リストを前記商品情報記憶部に記憶させるリスト記憶工程とをさらに含むことを特徴とする前記１４に記載の行動分析方法。

１６．前記９から１５のいずれかに記載の行動分析方法をコンピュータに実行させるプログラム。

１７．前記１６に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。

以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。

本発明は、店舗内での顧客の行動を分析するシステムに利用可能である。

１ 行動分析装置
２ 撮像部
１１ 姿勢推定部
１２ 商品変動情報抽出部
１３ 購買行動判定部
１４ｅ 商品情報記憶部
１４ｆ 購買データ記憶部
２０ リスト作成部
５０ 行動分析システム
１００ 店舗
Ｐ 顧客

Claims (17)

1. 店舗内での顧客の行動を分析する行動分析装置であって、
   前記店舗内を撮影した画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得する姿勢推定部と、
   前記画像から、前記店舗内の商品の陳列状態を解析して前記陳列状態の変動を示す商品変動情報を抽出する商品変動情報抽出部と、
   前記姿勢情報と前記商品変動情報とに基づいて、前記顧客の購買行動を判定する購買行動判定部とを備えていることを特徴とする行動分析装置。
2. 前記商品変動情報抽出部は、前記姿勢情報に基づいて、前記顧客が前記商品の前に滞在したか否かを判定し、滞在したと判定した場合には、滞在する前のフレームの画像と、滞在した後のフレームの画像とを比較して、前記商品の陳列状態を解析することにより、前記商品変動情報を抽出することを特徴とする請求項１に記載の行動分析装置。
3. 前記購買行動判定部は、前記姿勢情報の変化に基づいて、前記顧客の前記商品へのアクセス行動を検出することを特徴とする請求項１または２に記載の行動分析装置。
4. 前記購買行動判定部は、前記顧客の前記商品への前記アクセス行動と、前記商品変動情報とに基づいて、前記購買行動を判定することを特徴とする請求項３に記載の行動分析装置。
5. 前記購買行動判定部は、前記購買行動として、前記商品を陳列場所から取り出す行動、前記商品を前記陳列場所に戻す行動、前記商品に対する接触行動のいずれかを判定することを特徴とする請求項１から４のいずれかに記載の行動分析装置。
6. 前記店舗内で陳列された各商品を特定するための商品情報を、各商品の陳列場所と対応付けて記憶する商品情報記憶部をさらに備え、
   前記購買行動判定部は、前記商品変動情報抽出部によって抽出された前記商品変動情報に基づいて、陳列状態が変動した商品および陳列場所を認識するとともに、認識した前記陳列場所に対応する前記商品の商品情報を、前記商品情報記憶部から読み出し、読み出した前記商品情報に基づいて、前記購買行動の対象となる前記商品を特定することを特徴とする請求項１から５のいずれかに記載の行動分析装置。
7. 前記購買行動判定部によって特定された前記商品のうち、前記購買行動として前記顧客が前記陳列場所から取ったと判定された商品についての前記商品情報のリストを作成するリスト作成部をさらに備え、
   前記商品情報記憶部は、前記リストをさらに記憶することを特徴とする請求項６に記載の行動分析装置。
8. 請求項１から７のいずれかに記載の行動分析装置と、
   前記店舗内を撮影して前記画像を取得する撮像部とを備えていることを特徴とする行動分析システム。
9. 店舗内での顧客の行動を分析する行動分析方法であって、
   前記店舗内を撮影した画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得する姿勢推定工程と、
   前記画像に基づいて、前記店舗内の商品の陳列状態を解析し、前記商品の陳列状態の変動を商品変動情報として抽出する商品変動情報抽出工程と、
   前記姿勢情報と前記商品変動情報とに基づいて、前記顧客の購買行動を判定する購買行動判定工程とを含むことを特徴とする行動分析方法。
10. 前記商品変動情報抽出工程では、前記姿勢情報に基づいて、前記顧客が前記商品の前に滞在したか否かを判定し、滞在したと判定した場合には、滞在する前のフレームの画像と、滞在した後のフレームの画像とを比較して、前記商品の陳列状態を解析することにより、前記商品変動情報を抽出することを特徴とする請求項９に記載の行動分析方法。
11. 前記購買行動判定工程では、前記姿勢情報の変化に基づいて、前記顧客の前記商品へのアクセス行動を検出することを特徴とする請求項９または１０に記載の行動分析方法。
12. 前記購買行動判定工程では、前記顧客の前記商品への前記アクセス行動と、前記商品変動情報とに基づいて、前記購買行動を判定することを特徴とする請求項１１に記載の行動分析方法。
13. 前記購買行動判定工程では、前記購買行動として、前記商品を陳列場所から取り出す行動、前記商品を前記陳列場所に戻す行動、前記商品に対する接触行動のいずれかを判定することを特徴とする請求項９から１２のいずれかに記載の行動分析方法。
14. 前記商品変動情報抽出工程で抽出された前記商品変動情報に基づいて、陳列状態が変動した商品および陳列場所を認識するとともに、認識した前記陳列場所に対応する前記商品の商品情報を商品情報記憶部から読み出し、読み出した前記商品情報に基づいて、前記購買行動の対象となる前記商品を特定する商品特定工程をさらに含むことを特徴とする請求項９から１３のいずれかに記載の行動分析方法。
15. 前記商品特定工程で特定された前記商品のうち、前記購買行動として前記顧客が前記陳列場所から取ったと判定された商品についての前記商品情報のリストを作成するリスト作成工程と、
    前記リストを前記商品情報記憶部に記憶させるリスト記憶工程とをさらに含むことを特徴とする請求項１４に記載の行動分析方法。
16. 請求項９から１５のいずれかに記載の行動分析方法をコンピュータに実行させるプログラム。
17. 請求項１６に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。

Images