JP2016076109A

JP2016076109A - 顧客購買意思予測装置及び顧客購買意思予測方法

Info

Publication number: JP2016076109A
Application number: JP2014206424A
Authority: JP
Inventors: 浩之船谷; Hiroyuki Funatani; 智広柴田; Tomohiro Shibata
Original assignee: Kyushu Institute of Technology NUC
Current assignee: Kyushu Institute of Technology NUC
Priority date: 2014-10-07
Filing date: 2014-10-07
Publication date: 2016-05-12

Abstract

【課題】店舗内の顧客の動様から最適な広告を表示することが可能な顧客購買意思予測装置及び顧客購買意思予測方法を提供する。【解決手段】店舗内の顧客の動様から推定した購買意思に基づいて商品を提示する顧客購買意思予測装置１０は、店舗内の各商品の位置を記憶している商品情報記憶手段１１と、店舗内の商品群に対する顧客の動きを撮像機器１２を介して観測し、顧客の位置を求める顧客動様情報取得手段１３と、各商品と顧客との間の三次元相対位置情報を作成する位置情報提供手段１４と、顧客の顔の向きの変化を一定時間に亘ってリアルタイムで追跡して商品に対して顧客の顔の向きが停止している商品注意時間が最長となる商品を顧客の購買意思に基づいた選択商品として抽出する商品抽出手段１５と、選択商品に基づいて顧客に示す推奨商品を決定する推奨商品選択手段１６と、推奨商品の情報を顧客に知らせる推奨商品報知手段１７とを有する。【選択図】図１

Description

本発明は、店舗内での顧客の動様から推定した購買意思に基づいて最適な広告を選出して表示する顧客購買意思予測装置及びその装置を用いた顧客購買意思予測方法に関する。
ここで、顧客の動様は「外部から非接触センサによって得られる顧客の身体情報」と定義する。

店舗内の顧客の行動分析からマーケティングに役立つデータを収集する具体的な手段として、店舗の入口、店舗内部の各所及び会計エリアにおいて顧客の姿を撮像するカメラを備えて、顧客が店舗に入店してから、商品の購入代金の支払を完了するまでの行動を分析して、マーケティングに役立つデータを収集する顧客行動記録装置及び顧客行動記録方法並びにプログラムが提案されている（例えば、特許文献１参照）。
また、広告、イベント、お知らせ等のコンテンツを不特定者に提示する際に、閲覧者属性に応じて閲覧者にとってより分かり易い表示内容にコンテンツ表示を変更するサイネージ端末及びサイネージシステムが提案されている（例えば、特許文献２参照）。
一方、神経科学的な観点から、強制二選択課題においては、嗜好選択の少し前（例えば、６００ミリ秒前）に選択する側に目線が移動するということが実証されている（例えば、非特許文献１）。このことから、ヒトの目線の移動から、ヒトの意思予測を行うことが提案されている。

特開２０１０−１１３６９２号公報特開２０１４−５２７７０号公報

下條、他３名、（Ｓ．Ｓｈｉｍｏｊｏ，ｅｔａｌ），「視線バイアスと嗜好の相互作用（Ｇａｚｅｂａｉａｓｂｏｔｈｒｅｆｌｅｃｔｓａｎｄｉｎｆｌｕｅｎｃｅｓｐｒｅｆｅｒｅｎｃｅ）」，ネイチャーニューロサイエンス（Ｎａｔｕｒｅｎｅｕｒｏｓｃｉｅｎｃｅ），６巻１２号ｐ．１３１７−１３２２，２００３年

しかしながら、特許文献１の「顧客の行動」は、ヒトの位置動線、性別や年齢といった静的な画像特徴量、大域的な移動情報、若しくは長期的な嗜好を指しており、特許文献１ではマーケティングにおいて商品レベルでの顧客の嗜好や感情といった購買意思決定にかかわる実時間情報を鑑みていないという問題がある。
また、特許文献２のサイネージシステムは、例えば、特許文献１に記載された技術を用いて閲覧者（顧客）情報を利用することになるが、閲覧者属性は静的なものに限られ、そのときの閲覧者が何を求めているかをその場の閲覧者の動様より予測し、それに応じて最適な広告（コンテンツ）を選出するものではない。
一方、ヒトの目線の移動を利用する場合、非接触的に目線を追跡するシステムも存在するが、このシステムにはヒトの頭部運動の範囲、光環境の設定等の制約が多く、実店舗で容易に使用できるものではない。このため、ヒトの目線の移動と同等の作用効果を備え、実店舗に対しても容易に適用することが可能な、新たな選択基準が求められている。

本発明はかかる事情に鑑みてなされたもので、実店舗内での顧客の動様により推定した購買意思に基づいて最適な広告を選出して表示することが可能な顧客購買意思予測装置及び顧客購買意思予測方法を提供することを目的とする。

前記目的に沿う第１の発明に係る顧客購買意思予測装置は、店舗内での顧客の商品選択時の動様から推定した購買意思に基づいて商品を提示する顧客購買意思予測装置であって、
前記店舗内の各商品の位置を記憶している商品情報記憶手段と、
前記店舗内に設けられて複数の前記商品から構成される商品群に対面する前記顧客の動きを撮像機器を介して観測し、得られる顧客画像から前記顧客の位置を求める顧客動様情報取得手段と、
前記商品情報記憶手段から得られる前記商品毎の位置情報及び前記顧客動様情報取得手段から得られる前記顧客の位置情報を用いて、前記撮像機器と前記各商品と前記顧客との間の三次元相対位置情報を作成する位置情報提供手段と、
前記位置情報提供手段から提供される前記三次元相対位置情報を参照しながら、前記顧客動様情報取得手段で得られる前記顧客の顔の向き（顔向き）の変化を一定時間に亘ってリアルタイムで追跡して前記商品毎に該商品に対して前記顧客の顔の向きが停止している商品注意時間求め、該商品注意時間が最長となる前記商品を前記顧客の購買意思に基づいた選択商品として抽出する商品抽出手段、
前記選択商品に基づいて前記顧客に示す推奨商品を決定する推奨商品選択手段と、
前記推奨商品の情報を前記顧客に知らせる推奨商品報知手段とを有している。

第１の発明に係る顧客購買意思予測装置において、前記顧客動様情報取得手段は、前記顧客の姿勢及び移動を検出する深度センサを有していることが好ましい。
これによって、店舗内における顧客の空間的（三次元）位置情報を得ることができ、顧客の体の動き、特に顧客の上体の動き（体重移動、旋回、移動）を容易に把握することができ、選択商品となる確実性を高めることができる。

第１の発明に係る顧客購買意思予測装置において、前記顧客動様情報取得手段には、更に、前記顧客が携帯する位置情報発信手段からの信号を受信して、前記顧客の位置を求める顧客位置検出器を有してもよい。
顧客が携帯する位置情報発信手段と顧客動様情報取得手段を組合わせることにより、店舗内での顧客の移動、顧客の体の動きをより詳細に把握することができる。
なお、顧客は、来店した際に携帯する位置情報発信手段（例えば、ＧＰＳ機器）を操作して、位置情報発信手段と顧客動様情報取得手段との間で情報通信が可能な状態にする必要がある。

第１の発明に係る顧客購買意思予測装置において、前記商品情報記憶手段には前記商品毎の画像情報が保存され、前記推奨商品報知手段には、前記推奨商品選択手段が決定した前記推奨商品の画像情報を前記商品情報記憶手段から取得して外部に出力する表示画像取得部と、該表示画像取得部から出力された前記推奨商品の画像情報を表示する表示器とを有していることが好ましい。
これによって、顧客に推奨商品の情報を容易に知らせる（表示する）ことができる。

前記目的に沿う第２の発明に係る顧客購買意思予測方法は、店舗内での顧客の商品選択時の動様から推定した購買意思に基づいて商品を提示する顧客購買意思予測方法であって、
前記店舗内の商品毎の位置を予め記憶しておき、
複数の前記商品から構成される商品群に対面する前記顧客の顔の向き（顔向き）の変化をリアルタイムで一定時間に亘って追跡しながら、前記商品毎に該商品に対して前記顧客の顔の向きが停止している商品注意時間を求めて、該商品注意時間が最長となる前記商品を前記顧客の購買意思に基づいた選択商品として抽出し、該選択商品に基づいて前記顧客に示す推奨商品を決定する。

第２の発明に係る顧客購買意思予測方法において、前記顧客の顔の向きの変化を、該顧客の頭中心を起点とし、該顧客の顔の向いている方向を示す顔向きベクトルの変化として求め、該顔向きベクトルの方向に存在する前記商品に該顧客が注意を表しているとすることができる。
これによって、顧客の個人情報（年齢、性別、過去の購買商品履歴等）を必要とせずに、その場で（顧客が商品選択をしている間に）顧客の商品に対する注意度の変化を容易に知ることができる。

第２の発明に係る顧客購買意思予測方法において、左右方向に並べて配置された２つの前記商品に前記顧客が対面する際は、前記顔向きベクトルを、該顔向きベクトルを水平面内に射影した投影ベクトルを該投影ベクトルの起点を２つの前記商品を前記水平面内に射影した各投影部の左右方向の隙間の中心位置を通過する中心線上の位置まで左右方向に平行移動することにより形成される修正顔向きベクトルで近似し、該修正顔向きベクトルの左右方向成分の値が正では右側に配置された前記商品が、該左右方向成分の値が負では左側に配置された前記商品がそれぞれ注意されているとすることができる。
これによって、顧客が注意している商品を容易に特定することができる。

第２の発明に係る顧客購買意思予測方法において、前記顔向きベクトルの変化を、時間的に隣合う前記修正顔向きベクトルの左右方向成分の差分の変化から検出することができる。
これによって、顧客の商品に対する注意度の変化を素早く検知することができる。

第２の発明に係る顧客購買意思予測方法において、前記修正顔向きベクトルの左右方向成分の差分の符号が変化した際に、前記顧客の前記商品に対する注意が遷移したとすることができる。
これによって、顧客の商品に対する注意度の遷移を素早く検出することができる。

第１の発明に係る顧客購買意思予測装置及び第２の発明に係る顧客購買意思予測方法においては、顧客が商品を手に取る（実際に選択する）前の商品選択過程で、商品情報を示すことができるので、顧客の購買確率を上げることが可能になる。

本発明の一実施の形態に係る顧客購買意思予測装置のブロック図である。同顧客購買意思予測装置を用いた顧客購買意思予測方法の説明図である。顧客が２つの商品の中から１つを選択する場合の説明図である。修正顔向きベクトルＶ（ｔ）の左右方向成分の時間変化を表すグラフである。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
本発明の一実施の形態に係る顧客購買意思予測装置１０は、店舗内での顧客の商品選択時の動様から推定した購買意思に基づいて商品を提示する装置であって、図１に示すように、店舗内の各商品の位置を記憶している商品情報記憶手段１１と、店舗内に設けられて複数の商品から構成される商品群に対面する顧客の動きを撮像機器の一例であるカメラ１２を介して観測し、得られる顧客画像から顧客の位置を求める顧客動様情報取得手段１３と、商品情報記憶手段１１から得られる商品毎の位置情報及び顧客動様情報取得手段１３から得られる顧客の位置情報を用いて、カメラ１２と各商品と顧客との間の三次元相対位置情報を作成する位置情報提供手段１４と、位置情報提供手段１４から提供される三次元相対位置情報を参照しながら、顧客動様情報取得手段１３で得られる顧客の顔の向き（顔向き）の変化を一定時間に亘ってリアルタイムで追跡して商品毎に商品に対して顧客の顔向きが停止している商品注意時間を求め、商品注意時間が最長となる商品を顧客の購買意思に基づいた選択商品として抽出する商品抽出手段１５と、選択商品に基づいて顧客に示す推奨商品を決定する推奨商品選択手段１６と、推奨商品の情報を顧客に知らせる推奨商品報知手段１７とを有している。以下、詳細に説明する。

商品情報記憶手段１１は、店舗内の商品の位置情報及び画像情報を取得する機能を備えた入力部と、取得した商品の位置情報及び画像情報を保存する機能を備えた記憶部と、記憶部に保存されている商品の位置情報及び画像情報を要求に応じて外部に出力する機能を備えた出力部とを有している。ここで、店舗内における商品毎の位置は、店舗内で各商品が占有する空間領域を示すものであって、例えば、商品棚内の商品載置位置中心の三次元座標と商品の実際の寸法に基づいて、又は商品棚の商品展示位置中心の三次元座標と商品展示区画の大きさに基づいて設定することができる。なお、商品情報記憶手段１１は、上記の各機能を発現するプログラムを、例えばコンピュータ等の情報処理機器に搭載させることにより構成することができる。

顧客動様情報取得手段１３に設けられたカメラ１２は、店舗内で商品に対面して商品を選択する際の顧客を撮影できる位置に、店舗内での商品の配列状況に応じて１又は複数設定されている。更に、顧客動様情報取得手段１３には、店舗内での顧客の姿勢及び移動を検出する深度センサの一例である赤外線レーザファインダ１８と、顧客が携帯する位置情報発信手段（例えば、携帯情報端末に搭載されたＧＰＳ機器）からの信号を受信して店舗内での顧客の位置を求める顧客位置検出部１９が設けられている。

顧客動様情報取得手段１３は、カメラ１２で得られた顧客の画像情報に基づいて、又は顧客の画像情報に顧客位置検出器１９で求めた顧客位置情報を組合わせた複合情報に基づいて、複数の商品で構成される商品群に対面する顧客の位置を追跡する（顧客の移動に伴って順次求める）機能を備えた顧客位置演算部と、顧客の画像情報から商品群に対面する顧客の顔向きの変化を追跡する機能を備えた顧客顔向き演算部と、赤外線レーザファインダ１８で得られる画像から、移動を停止している顧客の重心変化、上体旋回、及び上体移動のいずれか１又は２以上の組合せからなる情報を求める機能を備えた姿勢変化情報抽出部とを有している。なお、顧客動様情報取得手段１３は、上記の各機能を発現するプログラムを、例えばコンピュータ等の情報処理機器に搭載させることにより構成することができる。

ここで、顧客顔向き演算部では、顧客の顔向きを示す顔向きベクトルを、例えば、顧客の画像情報から形成した顧客の頭画像から求めた顧客の頭中心を起点とし、顧客の画像情報から形成した顧客の顔画像から求めた顧客の顔の向いている方向を示す単位ベクトルと定義し、顧客の顔向きの変化を顔向きベクトルの変化として求めている。そして、顧客の顔向きの変化を追跡することは、顔向きベクトルの変化をリアルタイムで求めることに対応する。

位置情報提供手段１４は、商品情報記憶手段１１から得られる商品毎の位置情報を取得する機能を備えた商品位置情報取得部と、顧客動様情報取得手段１３から顧客の位置情報を取得する機能を備えた顧客位置情報取得部と、取得した商品毎の位置情報の中から顧客の位置情報に基づいて、顧客が対面する範囲に存在する各商品の位置情報を抽出する機能を備えた対顧客商品抽出部とを有している。なお、位置情報提供手段１４は、上記の各機能を発現するプログラムを、例えばコンピュータ等の情報処理機器に搭載させることにより構成することができる。

商品抽出手段１５は、位置情報提供手段１４から提供される三次元相対位置情報、即ち、位置情報提供手段１４の対顧客商品抽出部が抽出した各商品の位置情報の中から、顧客動様情報取得手段１３で一定時間に亘ってリアルタイムに求めた顔向きベクトル毎に、顔向きベクトルの方向に存在する特定商品に対して顧客の顔向きが停止している商品注意時間を求める機能を備えた注意時間計測部と、顔向きベクトル毎に求めた商品注意時間の中から最長の商品注意時間となった商品を顧客の購買意思に基づいた選択商品として抽出する機能を備えた対顧客商品抽出部とを有している。なお、商品抽出手段１５は、上記の各機能を発現するプログラムを、例えばコンピュータ等の情報処理機器に搭載させることにより構成することができる。

推奨商品選択手段１６は、商品抽出手段１５で抽出された選択商品の情報を入手する機能を備えた選択商品情報取得部と、選択商品毎に予め推奨する商品の選定基準を作成して保存する機能を備えた選定基準保存部と、選定基準保存部から取得した選定基準と選択商品の情報から推奨商品を決定する機能を備えた推奨商品決定部とを有している。なお、推奨商品選択手段１６は、上記の各機能を発現するプログラムを、例えばコンピュータ等の情報処理機器に搭載させることにより構成することができる。

推奨商品報知手段１７は、推奨商品選択手段１６から取得した推奨商品の情報を商品情報記憶手段１１に入力し商品情報記憶手段１１から出力される推奨商品の画像情報を受取って外部に出力する機能を備えた表示画像取得部２０と、表示画像取得部２０から出力された推奨商品の画像情報を表示する表示器２１とを有している。なお、表示画像取得部２０は、上記の機能を発現するプログラムを、例えばコンピュータ等の情報処理機器に搭載させることにより構成することができる。

続いて、本発明の一実施の形態に係る顧客購買意思予測装置１０を使用した顧客購買意思予測方法について説明する。
顧客購買意思予測方法は、店舗内での顧客の商品選択時の動様から推定した購買意思に基づいて商品を提示する方法であって、図２に示すように、店舗内の商品毎の位置及び画像情報を有する商品のデータを商品情報記憶手段１１に予め記憶しておき、商品情報記憶手段１１から得られる商品のデータ及び顧客動様情報取得手段１３で求めた顧客の位置情報を用いて各商品と顧客との間の三次元相対位置情報を位置情報提供手段１４で形成している。

更に、顧客購買意思予測方法は、商品抽出手段１５を介して複数の商品から構成される商品群に対面する顧客の位置と、顧客動様情報取得手段１３で得られる顧客の顔向きを示す顔向きベクトルの変化と、顧客の姿勢とをリアルタイムで一定時間に亘って追跡しながら、顧客動様情報取得手段１３において商品毎に商品に対して顧客の顔向きが停止している（顔向きベクトルが変化していない）時間を商品注意時間として求めている。ここで、顔向きベクトルは、顧客の頭中心を起点とし、顧客の顔の向いている方向を示す単位ベクトルである。ここで、顔向きベクトルは、例えば、顧客の顔画像から目、鼻等顔部分の特徴点を検出し、予め用意した顔画像のテンプレートとマッチングを取ることで求めることができる。このため、顔向きベクトルの方向に存在する商品を顧客が注意していると仮定する。ここで、「注意」とは、顧客の顔の向いている方向であり、実際に見ている目線とは異なっていてもよい。そして、商品注意時間が最長となる商品を顧客の購買意思に基づいた選択商品として商品抽出手段１５で抽出し、選択商品に基づいて顧客に示す推奨商品を推奨商品選択手段１６で決定し、推奨商品報知手段１７を介して推奨商品の画像情報を商品情報記憶手段１１から取得して顧客に知らせている。

ここで、商品抽出手段１５の対顧客商品抽出部が抽出した商品（顧客が対面する範囲に存在する商品）が占有する空間領域を顔向きベクトルの延長ベクトルが通過している場合に、顧客の顔向きが停止している、即ち、顧客がその商品に注意していると判断する。そして、顧客の顔向きが停止している時間を商品注意時間とし、商品注意時間が長い商品が選択される可能性が高いと判定する。なお、顔向きベクトルの変化を追跡する一定時間は、例えば、２秒以上８秒以下の範囲の時間であって、顧客が商品を選択するまでに要すると一般的に考えられている時間（８秒を超え３０秒以下）より短く設定する。これにより、顧客が実際に商品選択を行う前に、顧客に対して推奨商品を提案することができる。

顧客に対して左右方向に伸びる商品棚に左右方向に隣り合って２つの商品が展示されている（左右方向に隣り合って配置された２つの商品に顧客が対面する）場合、図３に示すように、位置情報提供手段１４から得られる２つの商品の位置情報と顧客動様情報取得手段１３で求めた顧客の位置情報を用いて顧客動様情報取得手段１３で求めた顔向きベクトルを水平面内に射影した投影ベクトルＦ（ｔ）を求め、得られた投影ベクトルＦ（ｔ）の起点を２つの商品を水平面内に射影した各投影部Ａ、Ｂの左右方向の隙間の中心位置を通過する中心線上の位置まで左右方向にベクトルＰだけ平行移動することにより投影ベクトルＦ（ｔ）から修正顔向きベクトルＶ（ｔ）を形成し、この修正顔向きベクトルＶ（ｔ）で顔向きベクトルを近似する。その結果、修正顔向きベクトルＶ（ｔ）の左右方向成分を用いて顧客の顔向きを表すことができ、修正顔向きベクトルＶ（ｔ）の左右方向成分の値が正の場合、顧客は投影部Ｂを注意している、即ち、右側に配置された商品を注意している、修正顔向きベクトルＶ（ｔ）の左右方向成分の値が負の場合、顧客は投影部Ａを注意している、即ち、左側に配置された商品を注意していると判定することができ、顧客の購買意思に基づいた選択商品を短時間で行うことができる。

そして、顧客の顔向きを修正顔向きベクトルＶ（ｔ）の左右方向成分で評価する場合、リアルタイムで求まる修正顔向きベクトルＶ（ｔ）の左右方向成分において、時間的に隣合う修正顔向きベクトルＶ（ｔ）、Ｖ（ｔ+Δｔ）の左右方向成分の差分Ｓ（ｔ）の変化から、顧客の顔向きの変化を検出することができる。ここで、Δｔは修正顔向きベクトルＶ（ｔ）を追跡する際の時間間隔である。これにより、差分Ｓ（ｔ）の符号が変化すると、顧客の商品に対する注意が遷移した（注意が左側の商品（右側の商品）から右側の商品（左側の商品）に変化した）と判定でき、顧客の注意の遷移を正確かつ素早く検出することができる。

図４に、修正顔向きベクトルＶ（ｔ）の変化を追跡する一定時間（例えば３０秒）内における差分Ｓ（ｔ）の変化を示す。そして、差分Ｓ（ｔ）が正となる（右側の商品を注意している）時間ｔ_Ｂ１、ｔ_Ｂ２、ｔ_Ｂ３、ｔ_Ｂ４、ｔ_Ｂ５の総時間ｔ_Ｂと、差分Ｓ（ｔ）が負となる（左側の商品を注意している）時間ｔ_Ａ１、ｔ_Ａ２、ｔ_Ａ３、ｔ_Ａ４の総時間ｔ_Ａを求めて、総時間の長い商品を選択商品とすることができる。なお、図４では、総時間ｔ_Ａ＜総時間ｔ_Ｂなので、右側の商品が選択商品と判定される。

推奨商品選択手段１６では、予め設定しておいた選定基準と選択商品の情報から推奨商品を決定する。ここで、選定基準は、例えば、商品抽出手段１５で抽出された選択商品を推奨商品とすること、商品抽出手段１５で抽出された選択商品に最も関連する商品を推奨商品とすること、商品抽出手段１５で抽出された選択商品と最も関連しない商品を推奨商品とすること、商品抽出手段１５で抽出された選択商品に関係なく予め設定した商品を推奨商品とすることなど、営業方針に基づいて策定することができる。顧客自身が商品選択を行う前に顧客に対して推奨商品の提案を行うので、顧客の購買時の意思決定に影響を及ぼすことが可能になる。

以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
例えば、推奨商品報知手段に、推奨商品選択手段が決定した推奨商品の画像情報を商品情報記憶手段から取得する表示画像取得部と、取得した推奨商品の画像情報を示す表示器とを設けたが、推奨商品報知手段に、商品毎に商品に近接して設定した商品位置に配置されるランプ等の点灯器と、推奨商品選択手段が決定した推奨商品の商品位置を求め、その商品位置に設けられた点灯器に発光用の信号を送信する発光信号送信器とを設けてもよい。これによって、推奨商品と店舗内の位置を同時に顧客に知らせることができる。

本実施の形態では、顧客の顔の向きの変化を一定時間に亘ってリアルタイムで追跡することにより顧客の選択商品を決定したが、顧客の顔の向きの変化に加えて顧客の上体の動き（体重移動、旋回、移動）の変化（顧客の仕草）を、商品選択（嗜好推定）の判定要素に加えることもできる。また、顧客の顔画像の変化から顧客の表情の変化を検出し、商品選択（嗜好推定）の判定要素に加えることもできる。

１０：顧客購買意思予測装置、１１：商品情報記憶手段、１２：カメラ、１３：顧客動様情報取得手段、１４：位置情報提供手段、１５：商品抽出手段、１６：推奨商品選択手段、１７：推奨商品報知手段、１８：赤外線レーザファインダ、１９：顧客位置検出部、２０：表示画像取得部、２１：表示器

Claims

店舗内での顧客の商品選択時の動様から推定した購買意思に基づいて商品を提示する顧客購買意思予測装置であって、
前記店舗内の各商品の位置を記憶している商品情報記憶手段と、
前記店舗内に設けられて複数の前記商品から構成される商品群に対面する前記顧客の動きを撮像機器を介して観測し、得られる顧客画像から前記顧客の位置を求める顧客動様情報取得手段と、
前記商品情報記憶手段から得られる前記商品毎の位置情報及び前記顧客動様情報取得手段から得られる前記顧客の位置情報を用いて、前記撮像機器と前記各商品と前記顧客との間の三次元相対位置情報を作成する位置情報提供手段と、
前記位置情報提供手段から提供される前記三次元相対位置情報を参照しながら、前記顧客動様情報取得手段で得られる前記顧客の顔の向きの変化を一定時間に亘ってリアルタイムで追跡して前記商品毎に該商品に対して前記顧客の顔の向きが停止している商品注意時間求め、該商品注意時間が最長となる前記商品を前記顧客の購買意思に基づいた選択商品として抽出する商品抽出手段、
前記選択商品に基づいて前記顧客に示す推奨商品を決定する推奨商品選択手段と、
前記推奨商品の情報を前記顧客に知らせる推奨商品報知手段とを有することを特徴とする顧客購買意思予測装置。
請求項１記載の顧客購買意思予測装置において、前記顧客動様情報取得手段は、前記顧客の姿勢及び移動を検出する深度センサを有していることを特徴とする顧客購買意思予測装置。
請求項２記載の顧客購買意思予測装置において、前記顧客動様情報取得手段には、更に、前記顧客が携帯する位置情報発信手段からの信号を受信して、前記顧客の位置を求める顧客位置検出器を有していることを特徴とする顧客購買意思予測装置。
請求項１〜３のいずれか１項に記載の顧客購買意思予測装置において、前記商品情報記憶手段には前記商品毎の画像情報が保存され、前記推奨商品報知手段には、前記推奨商品選択手段が決定した前記推奨商品の画像情報を前記商品情報記憶手段から取得して外部に出力する表示画像取得部と、該表示画像取得部から出力された前記推奨商品の画像情報を表示する表示器とを有していることを特徴とする顧客購買意思予測装置。
店舗内での顧客の商品選択時の動様から推定した購買意思に基づいて商品を提示する顧客購買意思予測方法であって、
前記店舗内の商品毎の位置を予め記憶しておき、
複数の前記商品から構成される商品群に対面する前記顧客の顔の向きの変化をリアルタイムで一定時間に亘って追跡しながら、前記商品毎に該商品に対して前記顧客の顔の向きが停止している商品注意時間を求めて、該商品注意時間が最長となる前記商品を前記顧客の購買意思に基づいた選択商品として抽出し、該選択商品に基づいて前記顧客に示す推奨商品を決定することを特徴とする顧客購買意思予測方法。
請求項５記載の顧客購買意思予測方法において、前記顧客の顔の向きの変化を、該顧客の頭中心を起点とし、該顧客の顔の向いている方向を示す顔向きベクトルの変化として求め、該顔向きベクトルの方向に存在する前記商品に該顧客が注意を表しているとすることを特徴とする顧客購買意思予測方法。
請求項６記載の顧客購買意思予測方法において、左右方向に並べて配置された２つの前記商品に前記顧客が対面する際は、前記顔向きベクトルを、該顔向きベクトルを水平面内に射影した投影ベクトルを該投影ベクトルの起点を２つの前記商品を前記水平面内に射影した各投影部の左右方向の隙間の中心位置を通過する中心線上の位置まで左右方向に平行移動することにより形成される修正顔向きベクトルで近似し、該修正顔向きベクトルの左右方向成分の値が正では右側に配置された前記商品が、該左右方向成分の値が負では左側に配置された前記商品がそれぞれ注意されているとすることを特徴とする顧客購買意思予測方法。
請求項７記載の顧客購買意思予測方法において、前記顔向きベクトルの変化を、時間的に隣合う前記修正顔向きベクトルの左右方向成分の差分の変化から検出することを特徴とする顧客購買意思予測方法。
請求項８記載の顧客購買意思予測方法において、前記修正顔向きベクトルの左右方向成分の差分の符号が変化した際に、前記顧客の前記商品に対する注意が遷移したとすることを特徴とする顧客購買意思予測方法。