JP2010067079A - 行動解析システムおよび行動解析方法 - Google Patents

Abstract

【課題】消費者が行った詳細な行動を分析することができ、更に、消費者の個人情報を保護することのできる行動解析システムを提供する。
【解決手段】本発明に係わる行動解析システム１は、画角範囲に存在する物体までの距離データを格納する画素が２次元に配列され、各々の画素の距離データが含まれた２次元距離データを出力する距離画像センサ１１と、距離画像センサ１１から出力される２次元距離データを設定されたフレームレートで取得し、２次元距離データを利用して、２次元距離データに含まれる人物領域を認識し、認識した人物領域の時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを記憶する行動解析装置１０とから構成される。
【選択図】図１

Description

本発明は、コンピュータを用いて、店舗内における消費者の行動を取得する技術に関し、更に詳しくは、店舗に設置される商品棚の前などにいる消費者の行動を取得する技術に関する。

ＰＯＰ（Point-Of-Purchase）等の販促効果の確認や、消費者の購買心理を探ることなどを目的として、店舗における消費者の行動を解析するシステムが開発されている。

店舗における消費者の行動分析に利用できる技術としては、例えば、特許文献１で開示されている発明のように、カメラで店舗内を撮影し、カメラ画像を処理することで、各々の消費者を特定し、特定した消費者の移動軌跡を解析することが考えられる。

更に、例えば、特許文献２で開示されている発明のように、非接触ＩＣカードや非接触ＩＣタグに代表されるＲＦＩＤ（Radio Frequency Identification）を消費者に所持させ、ＲＦＩＤを検出する検出器を店舗内に設置し、ＲＦＩＤを検出した検出器を時系列で調べることで、消費者の移動軌跡を解析することが考えられる。

更に、消費者の移動軌跡以外の行動を解析できる技術としては、（株）構造計画研究所からマーケティングツール（Vitracom SiteView）が既に販売されている。（株）構造計画研究所から販売されているVitracom SiteViewでは、カメラで撮影された画像をコンピュータに解析させることで、移動物体（例えば、消費者）の店舗内における行動として、通過、滞留および移動軌跡を解析する。
特開平９−３３０４１５号公報 特開２００２−３２５５０号公報

しかしながら、上述した特許文献１や特許文献２で開示されている発明では、消費者の移動軌跡を解析することは可能であるが、消費者の移動軌跡を解析するためには、複数のセンサを店舗に配置する必要で、更には、消費者が商品棚の前などで行った詳細な行動を解析することはできない。

確かに、（株）構造計画研究所から販売されているVitracom SiteViewの技術を利用すれば、消費者が商品棚の前などで行った詳細な行動を解析することができるが、カメラで撮影された画像には消費者の顔も含まれてしまうため、個人情報保護の観点からすると問題がある。

そこで、本発明は、複数のセンサを店舗に配置することなく、消費者が商品棚の前などで行った詳細な行動を解析することができ、更に、消費者の個人情報を保護することのできる行動解析システムおよび方法を提供することを目的とする。

上述した課題を解決する第１の発明は、消費者の行動を解析するシステムであって、画角範囲に存在する物体までの距離データを格納する画素が２次元に配列され、各々の前記画素の距離データが含まれた２次元距離データを出力する距離画像センサと、前記距離画像センサから出力される前記２次元距離データを利用して、消費者の行動を認識する行動解析装置とから構成され、前記行動解析装置は、前記距離画像センサから出力される前記２次元距離データを設定されたフレームレートで取得し、前記２次元距離データをデータ記憶装置に記憶する距離データ記憶手段と、前記距離データ記憶装置に記憶された前記２次元距離データを利用して、前記２次元記距離データに含まれる人物領域を認識し、認識した人物領域の時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを前記データ記憶装置に記憶する消費者行動解析手段を備えていることを特徴とする行動解析システムである。

第１の発明によれば、消費者を検出するセンサとして、ＣＣＤカメラではなく、前記距離画像センサを用いることで、消費者の顔は鮮明に撮影されることはなくなり、消費者の個人情報が漏洩することはなくなる。

また、前記距離画像センサから出力される前記２次元距離データには２次元に配列された画素で計測された距離データが含まれるため、前記２次元距離データに含まれる距離データの差を解析することで、商品棚前に存在する消費者の領域を認識でき、画像処理と同様に、認識した消費者の領域をトラッキングすることで、消費者が行った行動を認識することが可能になる。

更に、第２の発明は、第１の発明に記載の行動解析システムであって、前記距離画像センサは、斜め下方に向けて消費者を撮影するように設置され、前記行動解析装置の前記消費者行動解析手段は、前記人物領域を認識する前に、前記距離画像センサの設置角度および画角を用いて、前記２次元距離データに含まれる各距離データを高さに変換し、変換後の前記２次元距離データを利用して、前記人物領域を認識することを特徴とする行動解析システムである。

上述した第２の発明によれば、前記距離画像センサを斜め下方に向けた状態で設置した方が以下の点においてメリットがある。
１）消費者の真上から前記距離画像センサが落下することが無く、危険性を少なくできる点。
２）カートなどの障害物が撮影されにくくなる点。
３）床面からの乱反射等、外乱の影響を少なくできる点。
４）前記距離画像センサの取り外しが容易であり、一台のシステムを様々な場所で利用できる点。
５）前記距離画像センサを設置するときに、工事等の大掛かりな準備が不要である点。

また、前記距離画像センサを斜め下方に向けた状態で設置すると、前記２次元距離データに含まれる距離データと実際の高さに差が生じるため、前記距離画像センサの設置角度や画角を用いて、前記２次元距離データに含まれる距離データを実際の高さに変換するとよい。

更に、第３の発明は、第１の発明または第２の発明に記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、少なくとも、前記フレームレートを利用して、人物領域をトラッキングできた時間をカウントし、前記人物領域をトラッキングできた時間が設定時間未満のとき、前記距離画像センサの画角の領域を消費者が通過したと認識することを特徴とする行動解析システムである。

更に、第４の発明は、第１の発明から第３の発明のいずれか一つに記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、少なくとも、前記フレームレートを利用して、前記人物領域をトラッキングできた時間をカウントし、前記人物領域をトラッキングできた時間が設定時間以上のとき、前記距離画像センサの画角の領域を消費者が滞留したと認識することを特徴とする行動解析システムである。

更に、第５の発明は、第１の発明から第４の発明のいずれか一つに記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、少なくとも、前記人物領域をトラッキングしている間、トラッキングしている前記人物領域内における最大高さの変化を時系列的に監視し、最大高さの変化が規定値以上になったとき、前記距離画像センサの画角の領域に存在する消費者が前屈みをしたと認識することを特徴とする行動解析システムである。

更に、第６の発明は、第１の発明から第５の発明のいずれか一つに記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、少なくとも、前記人物領域をトラッキングしている間、トラッキングしている前記人物領域の大きさを時系列的に監視し、該人物領域の下部に特定形状の領域が含まれているとき、前記距離画像センサの画角の領域に存在する消費者が手伸ばしをしたと認識することを特徴とする行動解析システムである。

上述した第３の発明から第６の発明によれば、前記行動解析装置は消費者の通過、滞留、前屈みおよび手伸ばしを認識することができるようになる。

更に、第７の発明は、第１の発明から第６の発明のいずれか一つに記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、前記距離画像センサから取得した前記２次元距離データを解析するときに、前記２次元距離データに含まれる距離データを階調に変換することで距離画像を生成し、生成した前記距離画像を前記データ記憶装置に記憶することを特徴とする行動解析システムである。

上述した第７の発明によれば、前記距離データを前記距離画像に変換することで、人が目視で消費者の行動を確認できるようになる。

更に、第８の発明は、消費者の行動を解析する方法であって、消費者の行動を認識する行動解析装置が、画角範囲に存在する物体までの距離データを格納する画素が２次元に配列され、各々の前記画素の距離データが含まれた２次元距離データを出力する距離画像センサから設定されたフレームレートで前記２次元距離データを取得し、前記２次元距離データをデータ記憶装置に記憶する工程ａと、前記工程ａが実行された後に、前記行動解析装置が、前記データ記憶装置に記憶された前記２次元距離データを利用して、前記２次元距離データに含まれる人物領域を認識し、認識した人物領域の時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを前記データ記憶装置に記憶する工程ｂが実行されることを特徴とする行動解析方法である。

更に、第９の発明は、画角範囲に存在する物体までの距離データを格納する画素が２次元に配列された距離画像センサから出力され、各々の前記画素の距離データが含まれた２次元距離データを、前記距離画像センサから所定のフレームレートで取得し、データ記憶装置に記憶する距離データ記憶手段と、前記距離データ記憶装置に記憶された前記２次元距離データを利用して、前記２次元記距離データに含まれる人物領域を認識し、認識した人物領域の時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを前記データ記憶装置に記憶する消費者行動解析手段を、コンピュータに実行させるためのプログラムである。

上述した第８の発明および第９の発明によれば、第１の発明と同様の効果を得ることができる。

このように、本発明によれば、複数のセンサを店舗に配置することなく、消費者が商品棚の前などで行った詳細な行動を解析することができ、更に、消費者の個人情報を保護することのできる行動解析システムおよび方法できる。

ここから、本発明に係わる行動解析システムおよび行動解析方法について、図を参照しながら詳細に説明する。

図１は、本発明に係わる行動解析システム１の構成を説明する図である。図１に図示したように、本発明に係わる行動解析システム１には、店舗の商品棚２の上に設置され、画角の範囲内に存在する物体までの距離を測定する距離画像センサ１１と、距離画像センサ１１が接続され、距離画像センサ１１から得られる２次元距離データを記憶し、商品棚２の前にいる消費者３の行動を解析する行動解析装置１０とから構成される。

行動解析システム１を構成する距離画像センサ１１としては、市販の距離画像センサ１１を利用でき、例えば、松下電工株式会社などから市販されている光波測距（Time of Flight）式のセンサを利用できる。

光波測距（Time of Flight）式の距離画像センサ１１は、距離画像センサ１１に備えられたＬＥＤから照射された近赤外光が、物体から反射して距離画像センサ１１に返ってくる到達時間を利用して、距離画像センサ１１から物体までの距離を２次元で配列された画素毎に計測し、各画素の距離データを含む２次元距離データを所定のフレームレート（例えば、１５ｆｐｓ）で出力する機能を備えている。

市販されている距離画像センサ１１には、距離測定機能に加え、画像撮影機能を備えているセンサもあるが、個人情報漏洩の観点から、本発明では、市販されている距離画像センサ１１の距離測定機能のみを利用し、画像撮影機能は利用しない。

図２は、距離画像センサ１１の設置状況と測定範囲を説明するための図で、図２（ａ）は、距離画像センサ１１を横から見た図、図２（ｂ）は、距離画像センサ１１を上から見た図である。図２（ａ）に図示しているように、本実施形態では、距離画像センサ１１は、商品棚２の上から斜め下方に向けた状態で設置している。

距離画像センサ１１を商品棚２の床面の真上から下方に向けて設置してもよいが、商品棚２の上から斜め下方に向けた状態で設置した方が以下の点においてメリットがある。
１）消費者３の真上から距離画像センサ１１が落下することが無く、危険性を少なくできる点。
２）カートなどの障害物が撮影されにくくなる点。
３）床面からの乱反射等、外乱の影響を少なくできる点。
４）距離画像センサ１１の取り外しが容易であり、一台のシステムを様々な場所で利用できる点。
５）距離画像センサ１１を設置するときに、工事等の大掛かりな準備が不要である点。

また、図２（ａ）、図２（ｂ）に図示したように、距離画像センサ１１の画角は、垂直方向で４５°、水平方向で６０°であり、図２（ａ）および図２（ｂ）の斜線の範囲が、距離画像センサ１１の画角に入る測定範囲になる。

図３は、距離画像センサ１１から出力される２次元距離データを説明する図である。本実施形態において、距離画像センサ１１は、水平方向１２８×垂直方向１２３の画素毎に距離データを出力し、距離画像センサ１１から出力される２次元距離データは、水平方向１２８×垂直方向１２３それぞれの画素で計測された測定距離が２次元テーブルで表現されたＣＳＶ型式のデータで、２次元距離データには、画素の並び順に従い、それぞれの画素が計測した距離がｃｍ単位で記述される。

このように、距離画像センサ１１から出力される２次元距離データには、水平方向１２８画素×垂直方向１２３画素それぞれの画素における距離データが含まれる。距離画像センサ１１の画角内に消費者３が存在する場合、画素から消費者３までの距離が短くなるため、商品棚２の消費者３の人物領域を認識でき、人物領域を時系列でトラッキングすることで、商品棚２の前で消費者３が行った行動を詳細に認識することが可能になる。

また、物体（ここでは、消費者３）を検出するセンサとして、ＣＣＤカメラではなく、距離画像センサ１１を用いれば、距離画像センサ１１の出力はｃｍ単位が一般的であるので、消費者３の人物領域から消費者３の顔は鮮明に特定できることはなく、消費者３の個人情報が漏洩することはなくなる。

なお、距離画像センサ１１から出力される２次元距離データに含まれる距離データは、距離画像センサ１１から物体までの距離になるが、図２（ａ）で図示したように、距離画像センサ１１は下方斜めの状態で設置されているため、画素から同じ距離ｄであっても、画角の上端の画素と下端の画素においては、実際の高さにΔｈだけ差が生じてしまう。

そこで、本実施形態において、行動解析装置１０は、距離画像センサ１１から出力される２次元距離データに含まれる各距離データを実際の高さに変換した後に、消費者３の行動を認識する処理を実行する。

次に、行動解析システム１の行動解析装置１０について説明する。行動解析システム１の行動解析装置１０は、距離画像センサ１１から出力される２次元距離データを解析し、商品棚２の前で消費者３が行った行動を詳細に認識する機能を備えた装置で、行動解析装置１０が認識できる消費者３の行動は、行動解析装置１０に実装されたコンピュータプログラムによって決定される。

図４は、本実施形態においては、行動解析装置１０が認識できる消費者３の行動を説明する図である。図４で図示したように、行動解析装置１０は、商品棚２の前における消費者３の通過（図４（ａ））、商品棚２の前における消費者３の滞留（図４（ｂ））、商品棚２の前における消費者３の前屈み（図４（ｃ））、そして、商品棚２の前における消費者３の手伸ばし（図４（ｄ））を認識でき、それぞれの行動を認識すると、認識した行動が記された行動データを生成し記憶する。

本実施形態において、行動解析装置１０が認識できる消費者３の行動は、図４で図示した４種類の消費者３の行動であるが、当然のことながら、図４で図示した４種類の消費者３の行動の中から選択された一つ以上の消費者３の行動であってもよく、または、他の消費者３の行動を認識するコンピュータプログラムを行動解析装置１０に実装させれば、図４で図示した以外の消費者３の行動も行動解析装置１０で認識することができるようになる。

図５は、行動解析装置１０の回路ブロック図、図６は、行動解析装置１０の機能ブロック図である。

行動解析装置１０は汎用的なコンピュータで実現され、図５に図示したように、行動解析装置１０は、行動解析装置１０を制御するＣＰＵ１０ａ（Central Processing Unit）と、メインメモリであるＲＡＭ１０ｂ（Random Access Memory）と、大容量のデータ記憶装置であるハードディスク１０ｃと、距離画像センサ１１と接続するためのＵＳＢインターフェース１０ｅと、FPGA (Field Programmable Gate Array)を用いた画像処理ボード１０ｄ、ディスプレイ１０ｇと、ポインティングデバイスであるマウス１０ｈと、そして、入力デバイスであるキーボード１０ｉと、時刻を計測する時計などを備えている。

行動解析装置１０のハードディスク１０ｃには、本発明の行動解析装置１０としてコンピュータを機能させるためのコンピュータプログラムが記憶され、このコンピュータプログラムが実行されることで、行動解析装置１０には、図６で図示した手段が備えられる。

図６に図示したように、行動解析装置１０のハードディスク１０ｃに記憶されたコンピュータプログラムが実行されることで、行動解析装置１０には、距離画像センサ１１から２次元距離データを取得し、行動解析装置１０のハードディスク１０ｃに記憶する距離データ記憶手段１００と、距離データ記憶手段１００がハーディスクに記憶した２次元距離データを解析することで、消費者３の行動を認識し、認識した消費者３の行動を示す行動履歴データをハードディスク１０ｃに記憶する消費者行動解析手段１０１と、消費者行動解析手段１０１がハードディスク１０ｃに記憶した行動履歴データを集計する消費者行動集計手段１０２が備えられる。

距離画像センサ１１から２次元距離データを取得し記憶する距離データ記憶手段１００は、ＲＡＭ１０ｂおよびハードディスク１０ｃなどを利用したコンピュータプログラムで実現され、距離画像センサ１１から一定のフレームレート（例えば、５ｆｐｓ）で２次元距離データをＵＳＢインターフェース１０ｅから取得し、取得した順に時系列でハードディスク１０ｃに記憶する手段である。

消費者行動解析手段１０１は、画像処理ボード１０ｄやＲＡＭ１０ｂなどを利用したコンピュータプログラムで実現される手段で、定められたアルゴリズムに従い、２次元距離データ記憶手段１００がハードディスク１０ｃに記憶した２次元距離データを解析することで、図４を用いて説明した４つの消費者３の行動を認識し、認識した消費者３の行動を示す行動履歴データをハードディスク１０ｃに記憶する手段である。

消費者行動集計手段１０２は、消費者行動解析手段１０１がハードディスク１０ｃに記憶した行動履歴データを集計・出力する手段である。

ここから、図１で図示した行動解析システム１の動作を説明しながら、更に詳細に、行動解析装置１０の各手段についても説明する。なお、行動解析システム１の動作の説明は、本発明の行動解析方法の説明も兼ねている。

図７は、行動解析システム１の行動解析装置１０が２次元距離データを取得・記憶するときに実行される手順を示したフロー図で、行動解析装置１０の距離データ記憶手段１００によって実行される手順である。

まず、図７を参照しながら、行動解析システム１の行動解析装置１０が２次元距離データを取得・記憶するときの手順について説明する。行動解析システム１の行動解析装置１０が２次元距離データを取得・記憶するとき、行動解析装置１０の２次元距離データ記憶手段１００は、２次元距離データを取得・記憶する時刻データ（ここでは、開始時刻と終了時刻）と、２次元距離データを取得するフレームレート（例えば、５ｆｐｓ）を取得し、行動解析装置１０のＲＡＭ１０ｂにこれらのデータを記憶する（図７のＳ１）。

２次元距離データを取得・記憶する時間データと２次元距離データを取得するフレームレートは、行動解析装置１０のキーボードやマウスなどを利用して入力されるようにしてもよく、または、行動解析装置１０のハードディスク１０ｃに記憶された時刻データおよびフレームレートを読み出すようにしてもよい。なお、このステップで取得するフレームレートは、距離画像センサ１１の仕様で定められるフレームレートと必ずしも一致している必要はない。

行動解析装置１０の距離データ記憶手段１００は、２次元距離データを取得・記憶する時刻データとフレームレートを取得すると（図７のＳ２）、行動解析装置１０に備えられた時計１０ｆの時刻によって処理を分岐させる（図７のＳ３）。行動解析装置１０の時刻１０ｆが時刻データの開始時刻前ならば図７のＳ２に戻り、行動解析装置１０の時刻が時刻データの開始時刻であれば図７のＬ１に進む。

図７のＬ１から図７のＬ２はループ処理で、このループ処理では、行動解析装置１０の時計１０ｆが時間データの終了時刻に達するまで、図７のＳ４の処理が実行され、このループ処理を抜けると、図７で図示した手順は終了する。

図７のＳ４において、行動解析装置１０の距離データ記憶手段１００は、図７のＳ１で取得したフレームレートで距離画像センサ１１から２次元距離データを取得し、２次元距離データを取得する毎に、２次元距離データをハードディスク１０ｃに時系列で記憶する。

次に、行動解析システム１の行動解析装置１０が２次元距離データを解析するときに実行される手順について説明する。図８は、行動解析システム１の行動解析装置１０が２次元距離データを解析するときの手順を示した第１のフロー図で、図９は、行動解析システム１の行動解析装置１０が２次元距離データを解析するときの手順を示した第２のフロー図である。

行動解析システム１の行動解析装置１０は、図７の手順を実行することで、距離画像センサ１１から取得した２次元距離データをハードディスク１０ｃに記憶した後、定められたトリガー（例えば、行動解析装置１０の操作）が成立すると消費者行動解析手段１０１が作動し、ハードディスク１０ｃに記憶された２次元距離データの解析を開始する。

図８で図示した手順は、図８のＬ１０から図８のＬ１１間で定義されるループ処理である。行動解析装置１０は、図８で図示したループ処理で定義された処理を実行することで、ハードディスク１０ｃに時系列で記憶された２次元距離データを時系列で解析し、時系列的に最後の２次元距離データを処理した後に、このループ処理を抜け、図８で図示した手順は終了する。

まず、このループ処理において、行動解析装置１０の消費者行動解析手段１０１は、消費者３の行動の解析対象となるＣＳＶ型式の２次元距離データをハードディスク１０ｃから読み取り、２次元距離データに含まれる距離データを高さに変換する処理を実行する（図８のＳ１０）。

２次元距離データに含まれる距離データを高さに変換するとき、距離画像センサ１１を設置した位置の高さ、距離画像センサ１１の設置角度、距離画像センサ１１の画角等をパラメータとし、三角関数等を利用した算出式によって、２次元距離データに含まれる距離データは高さに変換される。

行動解析装置１０の消費者行動解析手段１０１は、２次元距離データに含まれる距離を高さに変換する処理を実行すると、変換後の２次元距離データに含まれる高さを画像の濃淡を表す階調に変換することで、高さが濃淡で記された距離画像に変換する処理を実行することで、距離画像を生成し、ハードディスク１０ｃに記憶する（図８のＳ１１）。

例えば、１画素を２５６階調の濃淡差で表す画像と距離画像をしたとき、各階調ごとに対応する高さが予め定められ、変換後の２次元距離データに含まれる水平１２８×垂直１２３画素それぞれの高さを階調に変換することで、水平１２８×垂直１２３画素の２５６階調の距離画像が生成される。

図８のＳ１１において、行動解析装置１０の消費者行動解析手段１０１が、２次元距離データから距離画像を生成するのは、目視で確認した結果と解析した結果を照らし合わせて実証もしくは評価できるようにするためで、図８のＳ１１は実行されなくとも、これ以降の手順に支障はない。

消費者行動解析手段１０１は、図８のＳ１１で目視確認用の距離画像を生成・記憶した後、変換後の２次元距離データに対して、人物領域とは認識できない小領域を除去する処理を実行する（図８のＳ１２）。図１０は、消費者行動解析手段１０１が実行する小領域除去処理を説明する図で、図１０（ａ）は小領域除去処理をする前の２次元距離データを説明する図で、図１０（ｂ）は空間フィルタを利用した処理後の２次元距離データを説明する図で、図１０（ｃ）は領域分割を利用した処理後の２次元距離データを説明する図である。

なお、図１０では、消費者行動解析手段１０１が実行する処理を視覚的に説明するために、値０が最も高さが低く、値２５５が最も高さが高くなるように、変換後の２次元距離データに含まれる高さを２５６階調に変換している。

消費者行動解析手段１０１は、小領域を除去する処理として、空間フィルタを利用した処理と、領域分割を利用した処理の２種類の処理を実行する。空間フィルタを利用した処理においては、３画素×３画素の移動平均法による平滑化処理によって、変換後の２次元距離データに含まれる細かな小領域が除去される。また、領域分割を利用した処理においては、４近傍ラベリング処理により領域の分割を行い、領域の大きさが一定値より小さい小領域を除去することで、空間フィルタを利用した処理では除去できなかった小領域が除去される。

消費者行動解析手段１０１は、小領域を除去する処理を実施すると、変換後の２次距離データの中から人物領域を認識する処理を実行し、人物領域の認識結果に基づいて処理を分岐させる（図８のＳ１３）。

変換後の２次距離データでは、距離画像センサ１１から取得し２次元距離データに含まれる距離が実際の高さに変換されているので、高さが一定値以上の領域を抽出し、この領域の面積が閾値以上であるとき、消費者行動解析手段１０１は、この領域を人物領域として認識する。

消費者行動解析手段１０１は、人物領域を認識できたときは、消費者３の行動の解析処理を実行するために図８のＳ１４に進み、人物領域を認識できなかったときは、消費者３の行動の解析処理を実行せず、図８のＳ３０を実行した後に、ループ処理の終端（図８のＬ１１）まで進む。

図８のＳ１４では、消費者行動解析手段１０１は、認識した人物領域を時系列でトラッキングするときに利用するトラッキングデータが、行動解析装置１０のＲＡＭ１０ｂに生成されているか確認する。

行動解析装置１０のＲＡＭ１０ｂにトラッキングデータが生成されていない場合、行動解析装置１０の消費者行動解析手段１０１は、図８のＳ１５に進み、トラッキングデータをＲＡＭ１０ｂに生成した後に図８のＳ１６に進み、既に、トラッキングデータがＲＡＭ１０ｂに生成されている場合は、行動解析装置１０の消費者行動解析手段１０１は、図８のＳ１５に進むことなく、図８のＳ１６に進む。

図１１は、ＲＡＭ１０ｂに生成されるトラッキングデータを説明する図である。トラッキングデータには、認識した人物領域を識別するための人物ＩＤと、認識した消費者３の行動を記憶するためのデータと、消費者３の行動を認識するときに利用するデータが含まれ、更には、トラッキングデータをＲＡＭ１０ｂに生成したときのフレームと時刻データの開始時刻から演算される認識時刻が含まれる。

図１１に図示したトラッキングデータに含まれる人物ＩＤは、トラッキングデータをＲＡＭ１０ｂに生成するときに、消費者行動解析手段１０１によって生成されるデータで、消費者行動解析手段１０１は、トラッキングデータをＲＡＭ１０ｂに生成するごとに、ユニークな人物ＩＤをトラッキングデータに付与する。

認識した消費者３の行動を記憶するためのフラグは、消費者行動解析手段１０１が消費者３の行動を認識したときに立てられ、ここでは、このフラグとして、滞留フラグ、前屈みを認識した回数を記憶する前屈み認識カウンタ、および、手伸ばしを認識した回数を記憶する手伸ばし認識カウンタがトラッキングデータに含まれる。

また、消費者３の行動を認識するときに利用するデータとして、トラッキングデータには、滞留を認識するときに利用するデータである滞留カウンタと、前屈みを認識するときに利用するデータである参照最大高さと、手伸ばしを認識するときに利用するデータである手伸ばしカウンタが含まれる。

行動解析装置１０の消費者行動解析手段１０１がトラッキングデータをＲＡＭ１０ｂに生成したとき、人物ＩＤを書き込み、それ以外のフラグおよびデータはすべて初期化の状態である。

行動解析装置１０の消費者行動解析手段１０１がトラッキングデータをＲＡＭ１０ｂに生成した後、或いは、トラッキングデータがＲＡＭ１０ｂに生成済みであるとき、消費者行動解析手段１０１は、トラッキングデータの滞留カウンタを一つインクリメントとし、トラッキングデータに含まれる滞留カウンタの値を参照することで、消費者３の滞留を認識する処理を実行し、処理を分岐させる（図８のＳ１６）。

行動解析装置１０の消費者行動解析手段１０１には、消費者３の滞留があったと認識するとき時間を示す滞留カウンタの規定値が設定され、滞留カウンタの値がこの規定値に達していれば、消費者３が滞留したと認識し、図８のＳ１７に進み、滞留カウンタの値がこの規定値に達していなければ、ループ処理の終端（図８のＬ１１）まで進む。

図８のＳ１７において、消費者行動解析手段１０１は、消費者３が滞留したと認識し、トラッキングデータの滞留フラグを参照し、滞留フラグが降りていれば、滞留フラグを立てた後に、図８のＳ１８に進む。

例えば、行動解析装置１０が２次元距離データを取得するときのフレームレートが「５ｆｐｓ」で、消費者３の滞留があったと認識するとき時間を３秒とすれば、滞留カウンタの規定値は「１５」になる。

すなわち、滞留カウンタの値が「１５未満」すなわち３秒未満であれば、トラッキングデータの滞留フラグは降ろされた状態のままで、滞留カウンタの値が「１５以上」になったとき、トラッキングデータの滞留フラグが立つ。

消費者３の滞留を認識したとき、図８のＳ１８において、消費者行動解析手段１０１は、変換した２次元距離データの最大高さを利用して、消費者３の前屈みを認識する処理を実行し、消費者３の前屈みの認識結果によって、処理を分岐させる。

図１２は、消費者行動解析手段１０１が消費者３の前屈みを認識する処理の内容を説明する図で、図１２（ａ）は、消費者３の前屈みがないときの２次元距離データを説明する図で、図１２（ｂ）は、消費者３が前屈みしたときの２次元距離データを説明する図である。

図１２では、図１０と同様に、消費者行動解析手段１０１が実行する処理を視覚的に説明するために、値０が最も高さが低く、値２５５が最も高さが高くなるように、変換後の２次元距離データに含まれる高さを２５６階調に変換している。

図１２（ａ）で図示したように、消費者３の前屈みしないときは、消費者３の頭の箇所（点線で囲った部分）が最大高さになる。また、図１２（ｂ）で図示したように、消費者３が前屈みしたときは、消費者３は腰を支点として９０°前後曲がった状態になるため、消費者３の腰の箇所（点線で囲った部分）、或いは、消費者３の頭の箇所（点線で囲った部分）が最大高さになる。

つまり、消費者３が前屈みしたときとしないときでは、２次元距離データの人物領域内における最大高さが異なるため、本実施形態において、消費者行動解析手段１０１は、連続して人物領域を認識したとき、前回認識した人物領域の最大高さと今回認識した人物領域の最大高さの差分を利用して、消費者３の前屈みを認識する。

トラッキングデータの参照最大高さは、前回認識した人物領域の最大高さを記憶するために設けられ、消費者行動解析手段１０１は、トラッキングデータに記憶された参照最大高さと、今回の２次元距離データから取得した最大高さとの差分を求め、最大高さの差分が規定値以上になったとき、消費者３の前屈みがあると認識する

なお、消費者行動解析手段１０１は人物領域を認識したときに、認識した人物領域の最大高さを取得し、消費者３の前屈みを認識する処理を実行した後に、トラッキングデータの参照最大高さを認識した人物領域の最大高さに更新する。

そして、消費者３の前屈みを認識したときは、図８のＳ１９に進み、トラッキングデータの前屈み認識カウンタを一つインクリメントした後、ループ処理の終端（図８のＬ１１）まで進み、消費者３の前屈みを認識しなかったときは、図８のＳ２０に進む。

消費者３の前屈みがないと認識したとき、消費者行動解析手段１０１は、図８のＳ２０において、消費者３の手伸ばしを認識する処理を実行し、消費者の手伸ばしの認識結果に応じて処理を分岐させる。

手伸ばしの行動は、２次元距離データの人物領域に特定形状が定められた領域に含まれているか否かによって認識される。

図１３は、消費者行動解析手段１０１が消費者３の手伸ばしを認識するときの特定形状について説明する図である。消費者行動解析手段１０１は、図１３の白四角枠で囲まれた領域のように、２次元距離データに含まれる人物領域の下部領域（例えば、人物領域の半分より下の領域）に、人物領域の最大幅の半分よりも小さく、かつ、所定の幅よりも大きい形状である特定形状が人物領域に含まれているとき、消費者行動解析手段１０１は、消費者３が手伸ばしを行った可能性があると認識し、トラッキングデータの手伸ばしカウンタを一つインクリメントし、該特定形状が人物領域に含まれていないとき、トラッキングデータの手伸ばしカウンタをリセットする。

消費者行動解析手段１０１は、消費者３が手伸ばしを行った可能性があると認識し、トラッキングデータの手伸ばしカウンタを一つインクリメントした後、手伸ばしカウンタの値を参照し、手伸ばしカウンタの値が規定値（例えば、「２」）に達したとき、最終的に消費者３が手伸ばしを行ったと認識する。

なお、消費者行動解析手段１０１は、特定形状を初回に認識したときに、消費者３が手伸ばしを行ったと判断してもよいが、特定形状を連続（ここでは２回）して認識したときに、消費者３が手伸ばしを行ったと判断することで、ノイズの影響で手伸ばしを行ったと誤認識することを防止できる。

消費者行動解析手段１０１は、図８のＳ２０において、消費者３の手伸ばしを認識したとき、図８のＳ２１に進み、トラッキングデータの手伸ばし認識カウンタを一つインクリメントし、ループ処理の終端（図８のＬ１１）に進み、消費者３の手伸ばしを認識しなかったときは、図８のＳ２１に進むこと無く、ループ処理の終端（図８のＬ１１）に進む。

行動解析装置１０のＲＡＭ１０ｂに生成されるトラッキングデータの内容は、２次元距離データから人物領域を特定した後に、２次元距離データから人物領域を認識できなくなったときに、消費者行動解析手段１０１によって、行動解析装置１０のハーディスク１０ｃに記憶される。

図９で図示した手順は、図８のＳ１３において、消費者行動解析手段１０１が、２次元距離データから人物領域を特定できなかったときに実行される図８のＳ３０の詳細な内容を記したフローである。

消費者行動解析手段１０１は、２次元距離データから人物領域を認識できなかったとき、まず、行動解析装置１０のＲＡＭ１０ｂにトラッキングデータが記憶されているか確認し、処理を分岐させる（図９のＳ３１）。

行動解析装置１０のＲＡＭ１０ｂにトラッキングデータが記憶されていない場合、図９の手順を終了し、トラッキングデータが記憶されている場合、消費者行動解析手段１０１は、トラッキングデータの中から消費者の行動を集計するときに利用するデータ（人物ＩＤ、滞留フラグ、滞留カウンタの値、前屈み認識カウンタの値、手伸ばし認識カウンタ）を抽出し、抽出したデータから行動履歴データを生成し、生成した行動履歴データをハードディスク１０ｃに記憶した後（図９のＳ３２）、行動解析装置１０のＲＡＭ１０ｂに生成されていたトラッキングデータを消去して（図９のＳ３３）、図９の手順を終了する。

図１４は、図８および図９で図示した手順の内容を説明する図である。図１４では、２次元距離データを模式図で図示し、模式図ａの２次元距離データから模式図ｈの２次元距離データの順に時系列でハードディスク１０ｃに記憶されているものとし、更に、模式図ａの２次元距離データを行動解析装置１０が取得した時点で、行動解析装置１０のＲＡＭ１０ｂにはトラッキングデータは生成されていないものとする。

図１４の模式図ａには、人物領域は含まれていないため、消費者行動解析手段１０１は、トラッキングデータは生成されないが、図１４の模式図ｂには、人物領域は含まれているため、消費者行動解析手段１０１は、人物ＩＤが「０１」のトラッキングデータを生成する。

図１４の模式図ｂから模式図ｃまでは連続して人物領域が含まれているため、模式図ｂから模式図ｃまでを時系列で解析することで、人物ＩＤが「０１」のトラッキングデータに消費者３の行動が記憶される。

図１４の模式図ｄには人物領域が含まれておらず、かつ、行動解析装置１０のＲＡＭ１０ｂにトラッキングデータが生成されているため、行動解析装置１０は、行動解析装置１０のＲＡＭ１０ｂに生成されているトラッキングデータから行動履歴データを生成し、生成した行動履歴データをハードディスク１０ｃに記憶すると共に、行動解析装置１０のＲＡＭ１０ｂに生成されているトラッキングデータを消去する。

同様に、図１４の模式図ｅには、人物領域は含まれていないため、消費者行動解析手段１０１は、トラッキングデータは生成されないが、図１４の模式図ｆには、人物領域は含まれているため、消費者行動解析手段１０１は、人物ＩＤが「０２」のトラッキングデータを生成する。

図１４の模式図ｆから模式図ｇまでは連続して人物領域が含まれているため、模式図ｆから模式図ｇまでを時系列で解析することで、人物ＩＤが「０２」のトラッキングデータに消費者３の行動が記憶される。

図１４の模式図ｈには人物領域が含まれておらず、かつ、行動解析装置１０のＲＡＭ１０ｂにトラッキングデータが生成されているため、行動解析装置１０は、行動解析装置１０のＲＡＭ１０ｂに生成されているトラッキングデータから行動履歴データを生成し、生成した行動履歴データをハードディスク１０ｃに記憶すると共に、行動解析装置１０のＲＡＭ１０ｂに生成されているトラッキングデータを消去する。

ここから、これまで説明した内容に従い、消費者行動集計手段１０２が、ハードディスク１０ｃに記憶された行動履歴データを集計・出力する内容について説明する。

図１５は、行動履歴データの出力の一例を説明する図で、図１５（ａ）は出力データの一例、図１５（ｂ）は集計結果の一例である。消費者行動集計手段１０２は、ハードディスク１０ｃに記憶された行動履歴データを所定のフォーマットで出力する手段で、図１５で例示した出力データのフォーマットはＣＳＶ形式、このＣＳＶ形式の項目には、時刻、ＩＤ、滞留時間、滞留判定、手伸ばしの数、そして、前屈みの数が含まれる。

図１５の認識時刻、ＩＤ、滞留判定、手伸ばしの数および前屈みの数は、それぞれ、行動履歴データの認識時刻、人物ＩＤ、滞留フラグの値、手伸ばし認識カウンタの値および前屈みの認識カウンタの値である。また、滞留時間は、行動履歴データの滞留カウンタの値にフレーム間隔時間を乗算して得られる時間である。

図１５の出力データのＩＤの最大値（ここでは、１５）から、距離画像センサ１１が設置された商品棚２の前に訪れた消費者の総人数（ここでは、１５人）がわかる。

また、滞留判定、手伸ばし数および前屈み数それぞれのの合計をカウントすることで、距離画像センサ１１が設置された商品棚２の前に滞留した総人数（ここでは、４人）、手伸ばしの総回数（ここでは、５回）および前屈みの総回数（ここでは、２回）がわかる。

消費者３の手伸ばしは、商品棚２に陳列された商品に対する消費者３のアプローチと考えられ、更に、消費者３の前屈みは、商品棚２の下段に陳列された商品に対する消費者３のアプローチと考えることができるため、前屈みの総回数（ここでは、２回）と手伸ばしの総回数（ここでは、５回）を合計した値は、消費者３が棚に注目した行動回数の総数（ここでは、７回）として判断できる。

更に、前屈みの総数と手伸ばしの総数ではなく、前屈み数および手伸ばし数がいずれも「０」でないＩＤの数をカウントすることで、消費者３が棚に注目した人の総人数（ここでは、３人）がわかる。

なお、本発明は、これまで説明した実施の形態に限定されることなく、当業者ならば、種々の変形や変更が可能である。例えば、距離画像センサと行動解析装置を直接接続しなくとも、距離画像センサから出力される２次元距離データを、一旦、ネットワークアタッチストレージやパーソナルコンピュータに記憶させておき、行動解析装置の消費者行動解析手段が、ネットワークアタッチストレージやパーソナルコンピュータに記憶された２次元距離データを解析するようにすることもできる。

本発明に係わる行動解析システムの構成を説明する図。 距離画像センサの設置状況と測定範囲を説明するための図。 距離画像センサから出力される２次元距離データを説明する図。 行動解析装置が認識できる消費者の行動を説明する図。 行動解析装置の回路ブロック図。 行動解析装置の機能ブロック図。 距離画像データを取得・記憶するときに実行される手順を示したフロー図。 ２次元距離データを解析するときの手順を示した第１のフロー図。 ２次元距離データを解析するときの手順を示した第２のフロー図。 消費者行動解析手段が実行するノイズ除去処理を説明する図。 トラッキングデータを説明する図。 消費者の前屈みを認識する処理の内容を説明する図。 消費者の手伸ばしを認識するときの特定形状について説明する図。 図８および図９で図示した手順の内容を説明する図。 消費者の行動と対応する行動履歴データの項目を説明する図。

符号の説明

１ 行動解析システム
１０ 行動解析装置
１００ 距離データ記憶手段
１０１ 消費者行動解析手段
１０２ 消費者行動集計手段
１１ 距離画像センサ
２ 商品棚
３ 消費者

Claims (9)

1. 消費者の行動を解析するシステムであって、画角範囲に存在する物体までの距離データを格納する画素が２次元に配列され、各々の前記画素の距離データが含まれた２次元距離データを出力する距離画像センサと、前記距離画像センサから出力される前記２次元距離データを利用して、消費者の行動を認識する行動解析装置とから構成され、前記行動解析装置は、前記距離画像センサから出力される前記２次元距離データを設定されたフレームレートで取得し、前記２次元距離データをデータ記憶装置に記憶する距離データ記憶手段と、前記距離データ記憶装置に記憶された前記２次元距離データを利用して、前記２次元記距離データに含まれる人物領域を認識し、認識した人物領域の時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを前記データ記憶装置に記憶する消費者行動解析手段を備えていることを特徴とする行動解析システム。
2. 請求項１に記載の行動解析システムであって、前記距離画像センサは、斜め下方に向けて消費者を撮影するように設置され、前記行動解析装置の前記消費者行動解析手段は、前記人物領域を認識する前に、前記距離画像センサの設置角度および画角を用いて、前記２次元距離データに含まれる各距離データを高さに変換し、変換後の前記２次元距離データを利用して、前記人物領域を認識することを特徴とする行動解析システム。
3. 請求項１または請求項２に記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、少なくとも、前記フレームレートを利用して、人物領域をトラッキングできた時間をカウントし、前記人物領域をトラッキングできた時間が設定時間未満のとき、前記距離画像センサの画角の領域を消費者が通過したと認識することを特徴とする行動解析システム。
4. 請求項１から請求項３のいずれか一つに記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、少なくとも、前記フレームレートを利用して、前記人物領域をトラッキングできた時間をカウントし、前記人物領域をトラッキングできた時間が設定時間以上のとき、前記距離画像センサの画角の領域を消費者が滞留したと認識することを特徴とする行動解析システム。
5. 請求項１から請求項４のいずれか一つに記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、少なくとも、前記人物領域をトラッキングしている間、トラッキングしている前記人物領域内における最大高さの変化を時系列的に監視し、最大高さの変化が規定値以上になったとき、前記距離画像センサの画角の領域に存在する消費者が前屈みをしたと認識することを特徴とする行動解析システム。
6. 請求項１から請求項５のいずれか一つに記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、少なくとも、前記人物領域をトラッキングしている間、トラッキングしている前記人物領域の大きさを時系列的に監視し、該人物領域の下部に特定形状の領域が含まれているとき、前記距離画像センサの画角の領域に存在する消費者が手伸ばしをしたと認識することを特徴とする行動解析システム。
7. 請求項１から請求項６のいずれか一つに記載の行動解析システムであって、前記行動解析装置の前記消費者行動解析手段は、前記距離画像センサから取得した前記２次元距離データを解析するときに、前記２次元距離データに含まれる距離データを階調に変換することで距離画像を生成し、生成した前記距離画像を前記データ記憶装置に記憶することを特徴とする行動解析システム。
8. 消費者の行動を解析する方法であって、消費者の行動を認識する行動解析装置が、画角範囲に存在する物体までの距離データを格納する画素が２次元に配列され、各々の前記画素の距離データが含まれた２次元距離データを出力する距離画像センサから設定されたフレームレートで前記２次元距離データを取得し、前記２次元距離データをデータ記憶装置に記憶する工程ａと、前記工程ａが実行された後に、前記行動解析装置が、前記データ記憶装置に記憶された前記２次元距離データを利用して、前記２次元距離データに含まれる人物領域を認識し、認識した人物領域の時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを前記データ記憶装置に記憶する工程ｂが実行されることを特徴とする行動解析方法。
9. 画角範囲に存在する物体までの距離データを格納する画素が２次元に配列された距離画像センサから出力され、各々の前記画素の距離データが含まれた２次元距離データを、前記距離画像センサから所定のフレームレートで取得し、データ記憶装置に記憶する距離データ記憶手段と、前記距離データ記憶装置に記憶された前記２次元距離データを利用して、前記２次元記距離データに含まれる人物領域を認識し、認識した人物領域の時系列的にトラッキングすることで消費者の行動を判別し、判別した消費者の行動を記した行動履歴データを前記データ記憶装置に記憶する消費者行動解析手段を、コンピュータに実行させるためのプログラム。