JP2019109916A - 画像表示装置、画像表示方法及びプログラム - Google Patents

Abstract

【課題】複数の商品が陳列された棚における顧客の行動を示す情報をより詳細に表示する画像表示装置、画像表示方法及びプログラムを提供する。【解決手段】画像表示システム１において、画像表示装置２００は、複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する接近状況情報取得部２９１と、位置に対応する商品の情報と位置の情報とに基づいて、顧客が商品に手を伸ばしたことに関する指標値を算出する指標値算出部２９３と、棚における商品の位置に対応させて、算出された指標値に基づく表示を行う表示部２２０と、を備える。【選択図】図１

Description

本発明は、画像表示装置、画像表示方法及びプログラムに関する。

顧客の購買特性を把握する等の目的で店舗における顧客の行動を分析する場合がある。例えば、特許文献１には、陳列棚毎に顧客の周辺エリア滞在時間及び商品取得回数を集計し表示することが記載されている。

特開２０１５−１１６４９号公報

顧客の行動分析をより高度に行う観点から、陳列棚毎に顧客の周辺エリア滞在時間及び商品取得回数を集計し表示するよりも詳細な表示が望まれる。

本発明は、上述の課題を解決することのできる画像表示装置、画像表示方法及びプログラムを提供することを目的としている。

本発明の第１の態様によれば、画像表示装置は、複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する取得部と、前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、前記顧客が前記商品に手を伸ばしたことに関する指標値を算出する指標値算出部と、前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う表示部と、を備える。

本発明の第２の態様によれば、画像表示方法では、複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得し、前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、前記顧客が前記商品に手を伸ばしたことに関する指標値を算出し、前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う。

本発明の第３の態様によれば、プログラムは、 コンピュータに、複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する処理と、前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、前記顧客が前記商品に手を伸ばしたことに関する指標値を算出する処理と、前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う処理と、を実行させるためのプログラムである。

この発明によれば、顧客の行動を示す情報をより詳細に表示することができる。

本発明の一実施形態に係る画像表示システムの機能構成を示す概略ブロック図である。 同実施形態で、棚を横から見た場合の棚前行動計測用センサ及び棚状況撮影装置の配置例を示す説明図である。 同実施形態で、棚を前から見た場合の棚前行動計測用センサの配置例を示す説明図である。 同実施形態に係る表示部による顧客行動指標値の表示例を示す説明図である。 同実施形態に係る画像表示システムのユーザが指定した商品に対して顧客が行う行動と、同一の顧客が他の商品に対して行う行動との相関性を示す顧客行動指標値の、表示部による表示例を示す説明図である。 同実施形態に係る記憶部が記憶する、センシング時刻と商品識別情報とを対応付けた情報のデータ構造の例を示す説明図である。 同実施形態に係る画像表示装置が対応付け後情報を生成する処理手順の例を示すフローチャートである。 同実施形態に係る画像表示装置が、顧客行動指標値を表示する処理手順の第１の例を示すフローチャートである。 同実施形態に係る画像表示装置が、顧客行動指標値を表示する処理手順の第２の例を示すフローチャートである。 本発明に係る画像表示装置の最小構成を示す説明図である。 本発明に係る画像表示システムの最小構成を示す説明図である。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の一実施形態に係る画像表示システムの機能構成を示す概略ブロック図である。同図に示すように、画像表示システム１は、棚前行動計測用センサ１１０と、棚状況撮影装置１２０と、画像表示装置２００とを備える。画像表示装置２００は、通信部２１０と、表示部２２０と、操作入力部２３０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、接近状況情報取得部２９１と、対応付け部２９２と、指標値算出部２９３とを備える。

画像表示システム１は、顧客の棚前行動を分析し分析結果を棚の画像に重ねて表示する。ここでいう棚前は、商品陳列棚の前（特に、前面付近）であり、ここでいう棚前行動は、顧客が商品陳列棚の前で行う行動である。以下では商品陳列棚を単に棚と称する。
棚前行動計測用センサ１１０は、棚前行動を検出するために設けられたセンサである。棚前行動計測用センサ１１０として、例えば棚の前面の上方から下方に向けて設けられた距離センサを用いることができる。顧客が棚に手を伸ばした場合に、棚前行動計測用センサ１１０が棚前における顧客の手の水平方向の位置及び垂直方向の位置を検出することで、画像表示装置２００は、顧客が手を伸ばした商品を推定することができる。

棚状況撮影装置１２０は、棚の前方に設けられて動画像又は静止画像を撮影するカメラを備え、連続的に或いは所定時間間隔毎に、棚前の様子及び棚の様子を撮影する。
棚状況撮影装置１２０が撮影する画像により、画像表示装置２００は、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出することができる。これにより、画像表示装置２００は、顧客が棚前に立ち寄ってから立ち去るまでに行われた棚への手伸ばしを、同一顧客による一連の手伸ばしとして検出することができる。
また、画像表示装置２００は、顧客が棚へ手を伸ばした前後の画像を比較することで、顧客が商品を手に取ったこと、及び、顧客が手に取った商品を棚に戻したことを検出することができる。

ここで、図２及び図３を参照して棚前行動計測用センサ１１０及び棚状況撮影装置１２０の配置の例について説明する。
図２は、棚を横から見た場合の棚前行動計測用センサ１１０及び棚状況撮影装置１２０の配置例を示す説明図である。同図の例で棚前行動計測用センサ１１０は、棚９１０の全面の上方の天井９３０から下方に向けて設置されている。棚９１０は複数段の棚であり、それぞれの段に商品９２０が置かれている。顧客が棚９１０に手を伸ばした際、棚前行動計測用センサ１１０が棚前行動計測用センサ１１０自らと手との距離を測定する。測定された距離を用いることで、画像表示装置２００は、顧客が棚９１０の何段目に手を伸ばしたかを判定することができる。

棚状況撮影装置１２０のカメラは、棚９１０の前方の天井９３０から棚９１０を撮影する位置及び向きに設置されている。例えば、棚状況撮影装置１２０が１台のカメラを備え、当該カメラを棚９１０の前面全体を撮影できる位置及び向きに設置する。あるいは、１台のカメラで棚９１０の前面全体を撮影できない場合は、棚状況撮影装置１２０が複数台のカメラを備えるようにしてもよい。

図３は、棚を前から見た場合の棚前行動計測用センサ１１０の配置例を示す説明図である。同図の例で棚前行動計測用センサ１１０は、棚９１０の幅方向に沿って天井９３０に複数配置されている。顧客が棚９１０に手を伸ばした際、画像表示装置２００は、手を検出した棚前行動計測用センサ１１０を特定することで棚９１０の水平方向における手の位置を判定することができる。

但し、棚前行動計測用センサ１１０は、顧客が棚９１０に手を伸ばした際に棚９１０の鉛直方向における手の位置、及び、棚９１０の水平方向における手の位置を検出可能であればよい。例えば、棚前行動計測用センサ１１０として１セットの３次元カメラが棚９１０の前面の上方に設置されて棚の前面を鉛直方向に撮像するようにしてもよい。
棚前行動計測用センサ１１０の設置位置は、棚９１０の上方に限らない。例えば、棚前行動計測用センサ１１０が棚９１０の側方に設置されて棚９１０の前面を横向きにセンシングするようにしてもよい。

画像表示装置２００は、棚前行動計測用センサ１１０からのセンシングデータに基づいて棚前行動を分析する。
具体的には、図２及び図３を参照して説明したように、顧客が棚９１０に手を伸ばした際、画像表示装置２００は、棚前行動計測用センサ１１０からのセンシングデータに基づいて、棚９１０の鉛直方向における手の位置、及び、棚９１０の水平方向における手の位置を検出する。また、画像表示装置２００は、棚９１０における商品９２０の配置を予め記憶しており、顧客の手の位置に基づいて顧客が手を伸ばした商品を推定する。画像表示装置２００は、例えば商品毎に顧客が手を伸ばした回数を計数し、計数結果（例えば、所定期間内における全顧客の集計値）を棚９１０の画像に重ねて表示する。
画像表示装置２００は、例えばコンピュータを用いて構成される。

通信部２１０は、他機器との通信を行う。通信部２１０は棚前行動計測用センサ１１０からセンシングデータを受信する。また、通信部２１０は、棚状況撮影装置１２０が撮影した画像を画像データにて受信する。
表示部２２０は、例えば液晶パネル又はＬＥＤ（Light-Emitting Diode）パネル等の表示画面を有し、制御部２９０の制御に従って各種画像を表示する。表示部２２０は、商品に顧客が手を伸ばした回数の計数結果などの顧客行動指標値を、棚９１０の画像に重ねて表示する。ここでいう顧客行動指標値は、顧客の行動に関して指標値算出部２９３が算出した指標値である。

図４は、表示部２２０による顧客行動指標値の表示例を示す説明図である。同図の例で、表示部２２０は、商品９２０が並べられた棚９１０の像を領域Ａ１１に表示している。また、表示部２２０は、商品の像に顧客が当該商品に手を伸ばした回数に応じた色を付して表示している。また、表示部２２０は、顧客が商品に手を伸ばした回数と色との対応付けを示す凡例を領域Ａ１２に表示している。表示部２２０は、顧客が商品に手を伸ばした回数をヒートマップ風に示している。ここでいうヒートマップとは、行列の各要素の値を色で示す表示方法である。

顧客が商品に手を伸ばした回数は顧客行動指標値の例に該当する。表示部２２０は、棚９１０の画像における商品９２０の像の位置に、当該商品の像に付した色にて顧客行動指標値を表示している。この点で、表示部２２０は、顧客行動指標値を商品の画像とともに表示する。
但し、表示部２２０が顧客行動指標値を表示する方法は、商品の像に色を付す方法に限らない。例えば、表示部２２０が、色に代えてストライプ又はドット等の所定のパタンを商品の像に付すことで顧客行動指標値を表示するようにしてもよい。表示部２２０が、顧客行動指標値を示す数字を商品の像に重ねて表示するようにしてもよい。

また、表示部２２０は、画像表示システム１のユーザが指定した商品に対して顧客が行う行動と、同一の顧客が他の商品に対して行う行動との相関性を示す指標値を、棚９１０の画像における商品９２０の像の位置に表示する。以下では、画像表示システム１のユーザを単にユーザと称する。

図５は、画像表示システム１のユーザが指定した商品に対して顧客が行う行動と、同一の顧客が他の商品に対して行う行動との相関性を示す顧客行動指標値の、表示部２２０による表示例を示す説明図である。図４の例と同様図５の例でも、表示部２２０は、商品９２０が並べられた棚９１０の像を領域Ａ１１に表示している。また、顧客が商品に手を伸ばした回数と色との対応付けを示す凡例を領域Ａ１２に表示している。

図４の場合と異なり図５では、表示部２２０は、ユーザが指定（選択）した商品９２０を表示している。図５の例では、ユーザは、領域Ａ２１に示す商品９２０を指定しており、表示部２２０は、領域Ａ２１にストライプを表示することで、指定された商品９２０を表示している。以下では、ユーザが指定した商品９２０を指定商品と称する。

図５の例では、表示部２２０は、指定商品に（１度以上）手を伸ばした顧客が、指定商品以外の商品９２０に手を伸ばした回数の計数結果（例えば、所定期間内における全顧客の集計値）をヒートマップ風に示している。具体的には、表示部２２０は、指定商品に（１度以上）手を伸ばした顧客が、指定商品以外の商品９２０に手を伸ばした回数に応じた色を、商品９２０毎に当該商品９２０の像に付して表示している。図５の例では、領域Ａ２１に表示された商品（指定商品）に手を伸ばした顧客が、領域Ａ２２に表示された商品に手を伸ばした回数が多かったため、表示部２２０は、領域Ａ２２の商品９２０の像に、手を伸ばした回数が多いことを示す色を付して表示している。

操作入力部２３０は、例えばキーボード及びマウスなどの入力デバイスを備え、ユーザ操作を受ける。操作入力部２３０は商品指定受付部の例に該当し、商品の指定を受ける。例えば、表示部２２０が表示している商品９２０をマウスクリックするユーザ操作にて、当該商品の指定を受ける。

記憶部２８０は、各種情報を記憶する。記憶部２８０は、棚前行動計測用センサ１１０により得られるセンシングデータ、又は、制御部２９０が当該センシングデータを加工したデータを記憶する。例えば、記憶部２８０は、顧客が手を伸ばした商品９２０を示す商品識別情報と、棚前行動計測用センサ１１０が当該顧客の手を検出した時刻とを対応付けた情報（後述する「対応付け後情報」）を記憶する。さらに、記憶部２８０は、顧客が手を伸ばした商品９２０を示す商品識別情報と、棚前行動計測用センサ１１０が当該顧客の手を検出した時刻とを対応付けた情報を、顧客が棚前に立ち寄ってから棚前を立ち去るまでの期間について同一顧客による一連の手伸ばしの情報として記憶する。
ここでいう商品識別情報は、棚９１０に置かれた商品９２０を商品毎に識別する情報である。なお、本実施形態では、同一の仕様の商品（例えば、同一の名前の商品）を同一の商品とみなす。商品識別情報として商品名など予め定められた情報を用いるようにしてもよいし、画像表示システム１専用の識別情報を定めておくようにしてもよい。

図６は、記憶部２８０が記憶するセンシング時刻と商品識別情報とを対応付けた情報（後述する対応付け後情報）のデータ構造の例を示す説明図である。同図に示すように、記憶部２８０は、グループ番号と、センシング時刻と、商品識別情報とを対応付けて記憶する。
図６の例で、商品識別情報は、棚前行動計測用センサ１１０によるセンシングデータに基づいて特定された、顧客が手を伸ばした商品９２０を示す。

センシング時刻は、棚前行動計測用センサ１１０が当該センシングデータに示される物体の検出を行った時刻を示す。例えば、センシング時刻として通信部２１０がセンシングデータを受信した時刻を用いるようにしてもよい。
グループ番号は、顧客が棚前に立ち寄ってから棚前を立ち去るまでに検出された一連の手伸ばしを１つのグループに纏めるための情報として用いられる。画像表示装置２００は、棚状況撮影装置１２０が撮影した画像に基づいて、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出し、この期間に棚前行動計測用センサ１１０が送信したセンシングデータに基づく情報（センシング時刻と商品識別情報との組み合わせ）に同一のグループ番号を付す。これにより、図５の例のように、同一の顧客が棚９１０に複数回手を伸ばしたことを検出することができる。

但し、記憶部２８０が記憶する情報は、図６の例に示すセンシング時刻と商品識別情報とを対応付けた情報に限らない。例えば、記憶部２８０が、棚前行動計測用センサ１１０によるセンシングデータとセンシング時刻を示す時刻情報とを対応付けて記憶するようにしてもよい。あるいは、記憶部２８０が、棚前行動計測用センサ１１０によるセンシングデータを棚９１０における垂直方向の位置及び水平方向の位置に変換した情報を座標値の形式で記憶するようにしてもよい。あるいは、記憶部２８０が、商品９２０毎に、顧客が当該商品に手を伸ばした回数を示す情報を記憶するようにしてもよい。

記憶部２８０は、棚状況撮影装置１２０が撮影した画像を、撮影時刻と対応付けて時系列に記憶する。
記憶部２８０は、画像表示装置２００が備える記憶デバイスを用いて実現される。画像表示装置２００が備える記憶デバイスは、画像表示装置２００が内蔵する記憶デバイスであってもよいし、画像表示装置２００に外付けされた記憶デバイスであってもよい。

制御部２９０は、画像表示装置２００の各部を制御して各種処理を実行する。制御部２９０は、例えば画像表示装置２００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部２８０からプログラムを読み出して実行することで実現される。
接近状況情報取得部２９１は、接近状況情報を取得する。ここでいう接近状況情報は、棚９１０への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚９１０における位置を時刻毎に示す情報である。

具体的には、棚前行動計測用センサ１１０が物体（特に、顧客の手）を検出すると、接近状況情報取得部２９１は、センシングデータを棚９１０の前面における座標値に変換する。
例えば、棚９１０の水平方向について、棚前行動計測用センサ１１０毎に、当該棚前行動計測用センサ１１０が物体を検出する位置を示す情報を、記憶部２８０が予め記憶しておく。接近状況情報取得部２９１は、物体を検出した棚前行動計測用センサ１１０に応じて、当該棚前行動計測用センサ１１０が物体を検出する位置の情報を記憶部２８０から読み出す。

また、接近状況情報取得部２９１は、棚前行動計測用センサ１１０が検出した物体と棚前行動計測用センサ１１０自らとの距離をセンシングデータから読み取る。接近状況情報取得部２９１は読み取った距離を棚９１０の鉛直方向の位置に換算する。
接近状況情報取得部２９１は、センシング時刻を示す時刻情報としてセンシングデータの受信時刻情報を当該座標値と対応付けることで、接近状況情報を生成する。この接近状況情報の存在は、棚前行動計測用センサ１１０が物体を検出したことを示す。

棚前行動計測用センサ１１０が物体を検出した場合、顧客の体の少なくとも一部（特に顧客の手）が棚９１０に接近したものとみなす。この点で、接近状況情報は、当該情報の有無にて棚９１０への顧客の体の少なくとも一部の接近の有無を示す。接近状況情報は、顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚９１０における位置を座標値にて示す。座標が示す位置は、顧客の体の少なくとも一部が接近した棚９１０における位置である。

対応付け部２９２は、接近状況情報取得部２９１が生成した接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品９２０と対応付ける。例えば、記憶部２８０が、接近状況情報取得部２９１がセンシングデータから検出する位置情報を、商品９２０のいずれかに対応付ける情報を予め記憶しておく。さらに、記憶部２８０は、棚９１０に置かれた商品９２０毎に、当該商品９２０の棚９１０における位置を棚９１０の水平方向及び鉛直方向の二次元座標値にて予め記憶しておく。対応付け部２９２は、接近状況情報取得部２９１が生成した接近状況情報が示す座標値に対応付けられている商品９２０を記憶部２８０から読み出すことで、接近状況情報を商品９２０に対応付ける。

対応付け部２９２は、対応付けた商品９２０を識別する商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を生成して記憶部２８０に記憶させる。以下では、対応付け部２９２が生成する、商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を対応付け後情報と称する。対応付け後情報は、接近状況情報に対応付けられた商品を示す情報の例に該当する。

指標値算出部２９３は、対応付け部２９２が生成した対応付け後情報に基づいて、顧客行動指標値を算出する。例えば、図４の例のように、指標値算出部２９３は、所定期間内に顧客が商品９２０に手を伸ばした回数を商品９２０毎に集計し、集計結果を示す顧客行動指標値を算出する。
また、指標値算出部２９３は、同一の顧客が指定された商品に対して行う行動と他の商品に対して行う行動との相関性を示す顧客行動指標値を算出する。例えば、図５の例のように、指標値算出部２９３は、指定商品に手を伸ばした顧客が指定商品以外の商品９２０に手を伸ばした回数を示す顧客行動指標値を指定商品以外の商品９２０毎に算出する。

図７〜図９を参照して画像表示システム１の動作について説明する。
図７は、画像表示装置２００が対応付け後情報を生成する処理手順の例を示すフローチャートである。画像表示装置２００は、画像表示装置２００自らの電源を接続（ＯＮ）されて動作状態になると、同図の処理を開始する。
図７の処理で、接近状況情報取得部２９１は、棚前への顧客の立ち寄りを検出したか否かを判定する（ステップＳ１０１）。具体的には、接近状況情報取得部２９１は、棚状況撮影装置１２０が撮影した画像に、棚前に今までいなかった顧客がいることを検出した場合に、棚前への顧客の立ち寄りを検出したと判定する。棚状況撮影装置１２０が撮影した画像に複数の顧客が映っている場合、接近状況情報取得部２９１が複数の顧客のそれぞれについて当該顧客の立ち寄りを検出したか否かを判定するようにしてもよい。

棚前への顧客の立ち寄りを検出していないと判定した場合（ステップＳ１０１：ＮＯ）、接近状況情報取得部２９１はステップＳ１０１へ戻る。すなわち、画像表示装置２００は、棚前への顧客の立ち寄りを待ち受ける。
ステップＳ１０１で棚前への顧客の立ち寄りを検出したと判定した場合（ステップＳ１０１：ＹＥＳ）、接近状況情報取得部２９１は、当該顧客の立ち寄りに対するグループ番号を決定する（ステップＳ１０２）。例えば、グループ番号の初期値を０としておき、棚前への顧客の立ち寄りを検出する毎に、接近状況情報取得部２９１がグループ番号に１を加算するようにしてもよい。

接近状況情報取得部２９１は、棚前からの顧客の立ち去りを検出したか否かを判定する（ステップＳ１０３）。具体的には、接近状況情報取得部２９１は、棚状況撮影装置１２０が撮影した画像で、棚前に今までいた顧客がいなくなっていることを検出した場合に、棚前からの顧客の立ち去りを検出したと判定する。棚状況撮影装置１２０が撮影した画像に複数の顧客が映っていた場合、接近状況情報取得部２９１が複数の顧客のそれぞれについて当該顧客の立ち去りを検出したか否かを判定するようにしてもよい。
棚前からの顧客の立ち寄りを検出したと判定した場合（ステップＳ１０３：ＹＥＳ）、接近状況情報取得部２９１はステップＳ１０１へ戻る。

ステップＳ１０３で棚前からの顧客の立ち寄りを検出していないと判定した場合（ステップＳ１０３：ＮＯ）、接近状況情報取得部２９１は、棚前行動計測用センサ１１０からのセンシングデータを取得したか否かを判定する（ステップＳ１０４）。具体的には、接近状況情報取得部２９１は、通信部２１０がセンシングデータを受信したか否かを判定する。

センシングデータを取得していないと判定した場合（ステップＳ１０４：ＮＯ）、接近状況情報取得部２９１はステップＳ１０４へ戻る。すなわち、画像表示装置２００は、棚前行動計測用センサ１１０からのセンシングデータを待ち受ける。
ステップＳ１０４でセンシングデータを取得したと判定した場合（ステップＳ１０４：ＹＥＳ）、接近状況情報取得部２９１は、接近状況情報を生成する（ステップＳ１０５）。具体的には、接近状況情報取得部２９１は、通信部２１０が受信したセンシングデータを棚９１０の前面における二次元座標値に換算し、得られた二次元座標値に基づいて接近状況情報を生成する。

対応付け部２９２は、ステップＳ１０５で得られた二次元座標値に基づいて対応付け後情報を生成する（ステップＳ１０６）。具体的には、対応付け部２９２は、ステップＳ１０２で決定したグループ番号と、センシング時刻と、二次元座標値から得られた商品識別情報とを結合した情報を、図６のデータ構造の例のように１行分の対応付け後情報として生成する。
対応付け部２９２は、ステップＳ１０６で得られた対応付け後情報（１行分の情報）を記憶部２８０に記憶させる（ステップＳ１０７）。
対応付け部２９２は、ステップＳ１０７の後、ステップＳ１０３へ戻る。

図８は、画像表示装置２００が、顧客行動指標値を表示する処理手順の第１の例を示すフローチャートである。図８では、図４を参照して説明したように、表示部２２０が、商品９２０毎に、顧客が当該商品９２０に手を伸ばした数を色で表示する場合の例を示す。画像表示装置２００は、例えば顧客行動指標値の表示を指示するユーザ操作を操作入力部２３０が受けると図８の処理を開始する。

図８の処理で、指標値算出部２９３は、図７の処理で得られた対応付け後情報に基づいて、商品９２０毎に、顧客が当該商品９２０に手を伸ばした回数を計数する（ステップＳ２０１）。
指標値算出部２９３は、ステップＳ２０１で得られた計数結果に基づいて、棚９１０の画像における商品９２０の画像の各々に色を付す（ステップＳ２０２）。
指標値算出部２９３は、ステップＳ２０２で商品９２０に色を付した棚９１０の画像を表示部２２０に表示させる（ステップＳ２０３）。
指標値算出部２９３は、ステップＳ２０３の後、図８の処理を終了する。

図９は、画像表示装置２００が、顧客行動指標値を表示する処理手順の第２の例を示すフローチャートである。図９では、図５を参照して説明したように、表示部２２０が、指定商品に手を伸ばした顧客が他の商品９２０に手を伸ばした回数を商品９２０毎に色で表示する場合の例を示す。画像表示装置２００は、商品間の相関性を示す顧客行動指標値の表示を指示するユーザ操作を操作入力部２３０が受けると図９の処理を開始する。

図９の処理で、操作入力部２３０は、商品９２０の指定を受ける（ステップＳ３０１）。例えば、操作入力部２３０は、表示部２２０が棚９１０の画像を表示している状態で、棚９１０の画像に含まれる商品９２０の像のいずれかをマウスクリックにて指定する操作を受ける。ステップＳ３０１での商品９２０の指定は、指定商品の選択である。
指標値算出部２９３は、図７の処理で得られた対応付け後情報のうち、指定商品への手伸ばしを示す対応付け後情報と同じグループ番号が付されている対応付け後情報を全て選択する（ステップＳ３０２）。すなわち、指標値算出部２９３は、指定商品に手を伸ばした顧客が行った手伸ばしを示す対応付け後情報を取得する。

指標値算出部２９３は、ステップＳ３０２で得られた対応付け後情報について、指定商品以外の商品９２０毎に、顧客が当該商品９２０に手を伸ばした回数を計数する（ステップＳ３０３）。
指標値算出部２９３は、ステップＳ３０３で得られた計数結果に基づいて、棚９１０の画像における指定商品以外の商品９２０の画像の各々に色を付す（ステップＳ３０４）。
指標値算出部２９３は、ステップＳ３０４で商品９２０に色を付した棚９１０の画像を表示部２２０に表示させる（ステップＳ３０５）。
指標値算出部２９３は、ステップＳ３０５の後、図９の処理を終了する。

以上のように、接近状況情報取得部２９１は、商品９２０が陳列された棚９１０への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚９１０における位置を時刻毎に示す接近状況情報を取得する。また、対応付け部２９２は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品９２０と対応付ける。これにより、対応付け部２９２は、顧客が手を伸ばした商品９２０を特定する。指標値算出部２９３は、接近状況情報に対応付けられた商品９２０を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部２２０は、指標値算出部２９３が算出した指標値を、対応付け部２９２による対応付けに基づいて、棚９１０の画像における商品９２０の像の位置に表示する。
これにより、画像表示システム１では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示システム１は、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。

操作入力部２３０は、ユーザ操作による商品の指定を受ける。指標値算出部２９３は、指定された商品と、他の商品とのそれぞれに対して同一の顧客が行った行動の相関性を示す指標値を算出する。
これにより、表示部２２０は、商品間の相関性を視覚的に表示することができる。従ってユーザは、この表示を参照して、商品間の相関性を分析することができる。

ユーザは、画像表示システム１を用いて顧客が棚のどこに手を伸ばしたかを把握することができる。これにより、ユーザは、顧客が棚のどこに手を伸ばし易いかを把握することができる。
また、ユーザは、画像表示システム１を用いて顧客がどの商品に手を伸ばしたか、また、どの商品と、どの商品とを比較したか等の情報を取得することができる。ユーザは、これらの情報を個々の商品のマーケティングに用いることができる。

なお、図４及び図５を参照して説明した、顧客が商品に手を伸ばした回数の表示に加えて、あるいは代えて、表示部２２０が、顧客が商品を手に取った回数を表示するようにしてもよい。例えば、画像表示システム１が、棚９１０の上から下方に向けて撮影を行うカメラを備え、指標値算出部２９３が、このカメラの画像を解析することで、顧客が商品を手に取ったか否かを判定するようにしてもよい。

表示部２２０が、顧客が商品を購入したか棚に戻したかの区別など、商品の購入の有無に関する情報を表示するようにしてもよい。例えば、指標値算出部２９３は、顧客が棚前に立ち寄る前に棚状況撮影装置１２０が撮影した画像と、顧客が棚前から立ち去った後に棚状況撮影装置１２０が撮影した画像とを比較する。指標値算出部２９３は、商品の数が減っていることを検出した場合、顧客が当該商品を購入したと判定する。指標値算出部２９３は、商品の数が減っていないことを検出した場合、顧客が手に取った商品を棚に戻したと判定する。

表示部２２０が、顧客が商品を手に取った時間を表示するようにしてもよい。例えば、顧客が商品を手に取ってから当該商品を戻すまでの時間、及び、顧客が商品を手に取ってから棚前を離れるまでの時間を、それぞれ顧客が商品を手に取った時間として、表示部２２０が、顧客が商品を手に取った１回あたりの平均時間を表示するようにしてもよい。
これにより、ユーザは、個々の商品が、顧客がじっくり検討してから購入する商品なのか、顧客が予め購入を決めている商品なのかを把握することができ、商品のマーケティングの参考にすることができる。

画像表示システム１が、顧客が棚前で留まっている時間を算出して、上述した棚前行動指標値の表示と共に表示するようにしてもよい。
画像表示システム１が、棚前の顧客を棚側から撮影するカメラを備え、顧客の顔の向き及び顧客の視線の向きのうち少なくともいずれか一方の情報を取得して、上述した棚前行動指標値の表示と共に表示するようにしてもよい。
画像表示システム１が、上述した棚前行動指標値の表示と共に、棚前行動以外の情報を表示するようにしてもよい。例えば、記憶部２８０が、顧客が会員か否かの情報を予め記憶しておき、画像表示システム１が、会員の人はこの商品をよく手に取っている等の情報を棚前行動指標値として抽出し表示するようにしてもよい。

図１０及び図１１を参照して、本発明の最小構成について説明する。
図１０は、本発明に係る画像表示装置の最小構成を示す説明図である。同図に示す画像表示装置１０は、接近状況情報取得部１１と、対応付け部１２と、指標値算出部１３と、表示部１４とを備える。
かかる構成にて、接近状況情報取得部１１は、商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚における位置を時刻毎に示す接近状況情報を取得する。対応付け部１２は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの前記商品と対応付ける。指標値算出部１３は、接近状況情報に対応付けられた商品を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部１４は、指標値算出部１３が算出した指標値を、対応付け部１２による対応付けに基づいて、棚の画像における商品の像の位置に表示する。
これにより、画像表示装置１０では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示装置１０では、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。

図１１は、本発明に係る画像表示システムの最小構成を示す説明図である。同図に示す画像表示システム２０は、棚前行動計測用センサ２１と、接近状況情報取得部２２と、対応付け部２３と、指標値算出部２４と、表示部２５とを備える。
かかる構成にて、棚前行動計測用センサ２１は、商品が陳列された棚への顧客の体の少なくとも一部の接近を検出して接近箇所の前記棚における位置を示すセンシングデータを生成する。接近状況情報取得部２２は、接近の有無及び接近があった場合の棚における位置を時刻毎に示す接近状況情報をセンシングデータに基づいて生成する。対応付け部２３は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品と対応付ける。指標値算出部２４は、接近状況情報に対応付けられた商品を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部２５は、指標値算出部２４が算出した指標値を、対応付け部２３による対応付けに基づいて、棚の画像における商品の像の位置に表示する。
これにより、画像表示システム２０では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示システム２０では、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。

制御部２９０、接近状況情報取得部１１、対応付け部１２、指標値算出部１３、接近状況情報取得部２２、対応付け部２３、及び、指標値算出部２４の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本願は、２０１６年３月２２日に、日本に出願された特願２０１６−０５７５３７号に基づき優先権を主張し、その内容をここに援用する。

本発明は、顧客の行動を示す情報をより詳細に表示することが不可欠な用途に適用できる。

１、２０ 画像表示システム
１０、２００ 画像表示装置
１１、２２、２９１ 接近状況情報取得部
１２、２３、２９２ 対応付け部
１３、２４、２９３ 指標値算出部
１４、２５、２２０ 表示部
２１、１１０ 棚前行動計測用センサ
１２０ 棚状況撮影装置
２１０ 通信部
２３０ 操作入力部
２８０ 記憶部
２９０ 制御部

Claims (7)

1. 複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する取得部と、
   前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、前記顧客が前記商品に手を伸ばしたことに関する指標値を算出する指標値算出部と、
   前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う表示部と、
   を備える画像表示装置。
2. 前記指標値算出部は、所定期間内に前記顧客が前記商品に手を伸ばした回数を前記商品ごとに集計した値を前記指標値として算出する
   請求項１に記載の画像表示装置。
3. 前記表示部は、算出された前記指標値に基づくヒートマップを表示する
   請求項２に記載の画像表示装置。
4. 前記表示部は、前記ヒートマップとともに、前記ヒートマップにおける色と前記指標値との対応付けを示す凡例を表示する
   請求項３に記載の画像表示装置。
5. 前記表示部は、前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく数値を表示する
   請求項２から４の何れか一項に記載の画像表示装置。
6. 複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得し、
   前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、前記顧客が前記商品に手を伸ばしたことに関する指標値を算出し、
   前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う、
   画像表示方法。
7. コンピュータに、
   複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する処理と、
   前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、前記顧客が前記商品に手を伸ばしたことに関する指標値を算出する処理と、
   前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う処理と、
   を実行させるためのプログラム。

Images