JP2009289233A - 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 - Google Patents

Abstract

【課題】顧客の視線検出機能を搭載した商品販売装置の製造コストを低減する。
【解決手段】処理対象フレーム指定部２６は、購買動作判定部２５により購買動作の終了が検知されたとき、映像データ記憶部３１に蓄積された顧客の購買動作の映像フレームの中から、視線検出の対象となる映像フレームを所定の間隔ごとに選択する。視線判定部２２は、前記選択された映像フレームに対して、その映像フレームに含まれる顧客の顔の状態を解析して、顧客の視線を検出し、検出した視線の視線データを作成し、視線データ記憶部３２に蓄積する。従って、視線データ作成の対象となる映像フレームは削減され、また、視線データの作成は、顧客の購買動作終了後に行われる。よって、安価な高性能でないプロセッサが利用可能となる。
【選択図】図３

Description

本発明は、商品またはそのサンプルを見ている顧客を撮影した映像から、その顧客の視線データおよび注視商品データを取得する商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法に関する。

一般に、商品の人気度は、その商品の販売数量により判断することができる。しかしながら、新しい商品を市場に投入したような場合には、その商品の人気度は、販売数量だけで判断することはできない。顧客は、しばしば、その新しい商品の売れ行きの様子を眺めることがあるからである。このような場合、商品の販売者が最も知りたい情報は、顧客の心の内にあるその商品への関心度など、その商品の今後の販売量などを予測する上で有用な、つまり、マーケティング上有用なデータである。

商品の顧客の関心度は、例えば、販売店などにおいては、その商品の陳列棚の前に集まる人の数や、その商品を手に取ってみる人の数などにより知ることができる。あるいは、インターネットなどを利用したアンケートなどによって、顧客の関心度を調査することもできる。しかしながら、こういった方法では、顧客がある商品を購入しようとするときに、その商品を購入するに至った顧客の心の内をのぞき見ることはできない。その心の内をのぞき見ることができれば、顧客が購入しなかった商品に対して、顧客の心の内にある関心度を、より正確につかむことができるはずである。

人の心の内、すなわち、その人の意思、または、潜在的な意思を検出する方法として、その人の視線を用いる方法が知られている。その方法によれば、カメラなどで撮影された映像に含まれる人の顔の向きや瞳の位置などを解析することにより、その人の視線を検出し、その視線の先にあるものに対して、その人の意思を見出す。このような技術は、例えば、視線によって操作するタッチパネルなどのコンピュータの入力装置（例えば、特許文献１）、視線の動きなどを解析することにより不審者を検出するシステム（例えば、特許文献２）などに応用されている。

さらに、特許文献３には、顧客がショーウィンドウや陳列棚に陳列された商品を見ている視線を検出することにより、その顧客がどんな商品に興味を持っているかを調査する市場調査用機器の例が開示されている。このような視線検出技術を応用した市場調査用機器を用いると、顧客が潜在的に興味を抱いている商品データなどを取得することができる。そして、何よりも、顧客が店頭で商品を見ている現場のデータを収集することができるという長所がある。
特開２００６−２９３７８６号公報 特開２００７−６４２７号公報 特開２００６−２９３７８６号公報

以上のように、視線検出技術は、様々な分野に応用され始めている。そこで、例えば、たばこや飲料などの自動販売機に視線検出技術を応用して、顧客が注視する商品を検知しようとする場合に問題となるのは、視線検出機能が搭載された自動販売機の製造コストである。視線検出には、一般に、リアルタイムでの画像処理が伴うので、大容量の記憶装置を含んだ高性能の情報処理装置を必要とする。大容量の記憶装置および高性能の情報処理装置は、自動販売機の製造コストを押し上げる大きな要因となる。また、自動販売機の製造コストが大きい場合には、顧客の視線情報から注視商品情報を取得する商品販売管理システムの構築にも大きな費用がかかることになる。

本発明の目的は、顧客の視線を検出する機能を搭載した商品販売装置の製造コスト、さらには、顧客の視線に基づき、顧客が注視する注視商品情報を取得する商品販売管理システムの構築費用を低減することが可能な商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法を提供することにある。

以上の従来技術の問題を解決するために、本発明の商品販売装置は、販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、顧客が商品配置部に配置された商品またはそのサンプルを見て商品を購買する顧客の購買動作を撮影するカメラと、ＣＰＵおよび記憶装置を含んでなり、前記カメラにより撮影された顧客の購買動作のフレーム映像を前記記憶装置に蓄積するとともに、そのフレーム映像に対して所定の画像処理を行う情報処理装置と、を備える。

そして、その情報処理装置は、前記カメラにより撮影されたフレーム映像に含まれる顧客の映像に基づき、顧客の購買動作の開始および終了を判定する購買動作判定処理と、その購買動作判定処理により購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記記憶装置に蓄積された顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、その処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、顧客の視線を検出し、さらに、その検出された顧客の視線について、その視線が商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして記憶装置に蓄積する視線データ取得処理と、を実行することを特徴とする。

本発明においては、情報処理装置は、顧客の顔の映像から視線データを取得する処理を顧客の購買動作終了後に行っている。すなわち、処理負荷の大きい画像処理を伴う顧客の視線データ取得処理は、顧客の購買動作とともに処理されるリアルタイム処理ではない。また、視線データ取得処理の対象とするフレーム映像についても、カメラから得られるすべてのフレーム映像を対象とせず、適宜、所定の間隔で選択した処理対象フレームを対象としている。すなわち、その分、ＣＰＵの処理負荷が軽減されるので、ＣＰＵは、必ずしも高速、高性能である必要はない。従って、商品販売装置のＣＰＵとしては、安価なマイクロプロセッサを用いることができるので、その結果、商品販売装置の製造コストを低減することができる。

本発明によれば、顧客の視線を検出する機能を搭載した商品販売装置の製造コスト、および、その顧客の視線に基づき、顧客が注視する注視商品情報を取得する商品販売管理システムの構築費用を低減することが可能になる。

以下、図面を参照して本発明の実施形態について詳しく説明する。

（１．商品販売装置の外観および内部構成）
図１は、本発明の実施形態に係る商品販売装置の外観および内部構成の概略を示した図である。図１に示すように、商品販売装置１は、例えば、たばこなど小物商品の自動販売装置であり、その筐体の前面には、サンプル表示部２０、商品ボタン１２、入金口３０、取出口４０などが設けられ、また、その筐体の内部には、情報処理装置１０、カメラ１１、入金センサ１３、取出口センサ１４、距離センサ１５、人感センサ１６、などが設けられている。

図１において、サンプル表示部２０は、商品販売装置１の筐体の前面部に設けられ、商品販売装置１が販売中の商品の写真、絵、愛称などを表示した銘板などによって構成される。あるいは、サンプル表示部２０の部分に、商品販売装置１の筐体内部に外側から透視可能なボックスが設けられ、そのボックス内に商品を識別可能なサンプル、模型、包装空箱、空瓶などが配置されていてもよい。以下、サンプル表示部２０に配置される銘板やサンプルなどを総称して表示サンプルという。

商品ボタン１２は、サンプル表示部２０と対にして設けられており、顧客は、商品ボタン１２を押すことによって、その商品ボタン１２の対となっているサンプル表示部２０に表示された商品の購買を指示する。商品販売装置１は、通常、複数の商品（本明細書では、同じ名称の商品でも銘柄や型式が異なる商品は異なる商品とみなす）を販売する必要があるため、このようなサンプル表示部２０と商品ボタン１２の対は、商品販売装置１に複数対設けられている。従って、商品ボタン１２は、顧客が購買する商品の選択を検知する商品選択センサとして機能し、それが顧客により押されたときには、その押された検知信号を情報処理装置１０へ入力する。

なお、図１の例では、商品販売装置１の筐体の前面上に、サンプル表示部２０と商品ボタン１２との対が上下方向に４段、各段それぞれに４対ずつ配列されている。すなわち、サンプル表示部２０と商品ボタン１２との対が、商品販売装置１の筐体の前面上に縦４段×横４列のマトリックス状に配列されている。

顧客は、商品販売装置１により販売されている商品を購入するとき、商品販売装置１の前に立って、サンプル表示部２０を見て、購入商品を探し、その購入商品の対価に相当する貨幣を入金口３０から入れ、購入商品の商品ボタン１２を押す。そうすると、商品ボタン１２により選択された商品が取出口４０へ出てくるので、顧客はその商品を入手することができる。

カメラ１１は、商品販売装置１の筐体内部の、例えば、サンプル表示部２０がマトリックス状に配列された部分の中央あたりに設けられ、顧客の顔が含まれるように、顧客が商品を購入する様子を撮影する。なお、カメラ１１は、少なくとも１つあればよいが、図１の例のように、複数のカメラ１１（中央のカメラ１１ａ、左上のカメラ１１ｂ、および、左下のカメラ１１ｃ）が設けられていてもよい。このとき、カメラ１１は、顧客の顔が撮影可能であれば、どこに配置してもよい。

入金センサ１３は、所定の金額の貨幣が入金口３０から入金されたことを検出し、取出口センサ１４は、取出口４０から商品が取り出されたことを検出する。また、距離センサ１５は、商品販売装置１から顧客までの距離を計測し、人感センサ１６は、商品販売装置１の周りに顧客などがいるか否かを検知する。なお、後記するように、距離センサ１５および人感センサ１６は、設けなくてもよい場合もある。

以上のような商品販売装置１において、情報処理装置１０は、カメラ１１を介して顧客の顔を含む映像を取得し、その映像に含まれる顧客の顔の方向や瞳の位置から顧客の視線を検出し、その視線に基づき、顧客の視線が商品販売装置１の筐体前面の平面上で交わる位置（以下、視線位置という）を検出する。

次に、図１および図２を参照して、商品販売装置１の筐体の前面上に仮想的に設けられるメッシュ１９について説明する。ここで、図２は、メッシュの概念およびその位置データの定義を説明するための模式図である。

メッシュ１９は、１つずつのサンプル表示部２０に対応させて、そのサンプル表示部２０を１つ含むように設けられた領域である。すなわち、メッシュ１９は、サンプル表示部２０、つまり、商品を配置する領域を定める領域ということができる。図１にはメッシュ１９は、１つしか示されていないが、図１に示すようにサンプル表示部２０が４×４のマトリックス状に設けられた商品販売装置１の場合には、メッシュ１９も、図２に示すように４×４のマトリックス状に設けられる。

メッシュ１９は、顧客がこれらのメッシュ１９のうちいずれを見ているか、つまり、顧客の視線がいずれの商品に注がれているかを判定するための領域を定義するためのものである。従って、サンプル表示部２０が設けられた領域と同じ領域であってもよく、また、図１のようにサンプル表示部２０を含み、さらに、その周辺近傍領域や商品ボタン１２が設けられた領域をも含めた領域であってもよい。そのときメッシュとメッシュの間は、互いに接していてもよく、互いに離れていて（スペースがあって）もよい。

メッシュ１９の形状は、長方形であるとし、そのメッシュ１９の位置データは、長方形の左辺位置、右辺位置、下辺位置および上辺位置の各データによって定義する。ここでは、商品販売装置１の筐体の前面上のある位置に基準点を設け、水平方向をｘ軸、垂直方向をｙ軸とし、メッシュの左辺位置および右辺位置を、そのｘ座標値で表し、下辺位置および上辺位置を、そのｙ座標値で表す。

例えば、図２の場合、左端最上部のメッシュ１９の位置は、左辺位置が「１０ｃｍ」、右辺位置が「１５ｃｍ」、下辺位置が「１４０ｃｍ」、上辺位置が「１４８ｃｍ」として定義される。このようなメッシュの位置データは、それぞれのメッシュ１９ごとに定義される。従って、メッシュの位置データは、そのメッシュ１９を識別するデータ（以下、メッシュＩＤという）に対応付けられたデータとして、後記するメッシュ定義データを構成する。

なお、図２におけるｘｙ座標系の基準点は、商品販売装置１の筐体の前面を含む平面上であれば、どこに設定してもよい。図２の例では、基準点は、商品販売装置１の筐体の前面の左下端点に設けられている。なお、なお、メッシュ１９の位置がこの基準点を基準にして表されるので、その基準点は、通常、商品販売装置１の機種ごとに定められる。

（２．商品販売管理システムの機能ブロックの構成）
図３は、本発明の実施形態に係る商品販売管理システムの機能ブロックの構成の例を示した図である。図３に示すように、商品販売管理システム１００は、販売管理センタ装置５にネットワーク４を介して１つ以上の商品販売装置１が接続されて構成される。図３では、商品販売装置１は１つしか示されていないが、多くの場合は、複数の商品販売装置１がネットワーク４を介して１つの販売管理センタ装置５に接続される。

ここで、ネットワーク４は、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、公衆交換電話網、携帯電話回線網など、または、それらの組み合わせのいずれであってもよい。

図３に示すように商品販売装置１に収納されている情報処理装置１０には、カメラ１１が接続されるほか、商品ボタン１２、入金センサ１３、取出口センサ１４、距離センサ１５、人感センサ１６などが接続される。そして、情報処理装置１０は、映像取得部２１、視線データ取得部２２、センサデータ取得部２３、購買者像検知部２４、購買動作判定部２５、処理対象フレーム指定部２６、映像データ削除部２７、データ送受信部２８などの処理機能ブロックと、映像データ記憶部３１、視線データ記憶部３２、顧客購買データ記憶部３３、処理判定区分データ記憶部３４などの記憶機能ブロックと、を含んで構成される。なお、図３では、カメラ１１や商品ボタン１２は、代表して１つだけを示している。

ここで、情報処理装置１０は、図示しないＣＰＵと記憶装置とを少なくとも有する、いわゆる、コンピュータによって構成される。その場合、情報処理装置１０における各処理機能ブロックの機能は、前記ＣＰＵが前記記憶装置に格納されている所定のプログラムを実行することにより実現される。また、情報処理装置１０における各記憶機能ブロックは、前記記憶装置上に構成される。このとき、前記記憶装置は、半導体集積回路によるＲＡＭ（Random Access Memory）、フラッシュメモリ、あるいは、磁気記憶装置であるハードディスク装置などからなる。

また、情報処理装置１０は、通信装置１７を介してネットワーク４に接続される。このとき、通信装置１７は、ネットワーク４に有線で接続されるネットワークインタフェースカード、あるいは、ネットワーク４に無線で接続されるIEEE802.11規格の無線ＬＡＮの端末側通信装置、携帯電話機などによって構成される。なお、通信装置１７がネットワーク４に無線で接続される場合には、ネットワーク４は、IEEE802.11規格の無線ＬＡＮのアクセスポイント、携帯電話通信網の基地局などを含む。

さらに、図３に示すように、販売管理センタ装置５は、汎用のコンピュータである情報処理装置５０に表示端末５１が接続されて構成される。その場合、情報処理装置５０は、データ収集部６１、注視対象検出処理部６２、商品別注視・販売データ集計部６３、集計データ出力部６４などの処理機能ブロックと、視線データ記憶部７２、顧客購買データ記憶部７３、商品配置データ記憶部７４、注視履歴データ記憶部７５、商品別注視・販売集計データ記憶部７６、メッシュ定義データ記憶部７７などの記憶機能ブロックと、を含んで構成される。

ここで、情報処理装置５０は、図示しないＣＰＵと記憶装置とを少なくとも備え、情報処理装置５０における各処理機能ブロックの機能は、前記ＣＰＵが前記記憶装置に格納されている所定のプログラムを実行することにより実現される。また、情報処理装置５０における各記憶機能ブロックは、前記記憶装置上に構成される。このとき、前記記憶装置は、半導体集積回路によるＲＡＭ、フラッシュメモリ、あるいは、磁気記憶装置であるハードディスク装置などからなる。

また、情報処理装置５０は、通信装置５２を介してネットワーク４に接続される。このとき、通信装置１７は、通常、ネットワーク４に有線で接続される。その場合、通信装置１７は、ネットワークインタフェースカード、ルータなどによって構成される。

なお、図３の構成において、情報処理装置１０における処理機能ブロックの一部または全部を、コンピュータではなく、半導体の集積回路などを用いた専用の処理回路によって構成してもよい。また、同様に、情報処理装置５０における処理機能ブロックの一部または全部を、コンピュータではなく、半導体の集積回路などを用いた専用の処理回路によって構成してもよい。

（３．商品販売装置の機能の詳細）
商品販売装置１の機能は、その内部に含まれる情報処理装置１０によって実現される。以下、情報処理装置１０を構成する機能ブロックの機能について、図３および図４を参照して説明する。ここで、図４は、情報処理装置１０の各記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図である。

図３において、映像取得部２１は、カメラ１１から入力される動画像の映像データを１フレームごとに取得し、その１フレームごとの映像データに、商品販売装置１を個々に識別する販売装置ＩＤ、当該映像データの取得年月日、取得時刻、フレームＩＤ、および、当該映像データの映像を撮影したカメラのカメラ番号を付し（図４（ａ）参照）、映像データ記憶部３１に蓄積する。なお、情報処理装置１０は、所定フレーム数の映像データを一時記憶する映像データバッファ（図３に図示せず）を有しており、映像取得部２１は、取得した所定フレーム数分の映像データをその映像データバッファに一時記憶するとともに、その一時記憶している映像データを、適宜、購買者像検知部２４などへ提供する。

購買者像検知部２４は、映像データバッファに一時記憶された映像データに基づき、購買者の像を検知する。すなわち、購買者像検知部２４は、カメラ１１で取得される背景画像の中に移動物体を検知し、さらに、その移動物体の中に顔、つまり、目、口、鼻などを有する円形状のものを検知したとき、購買者像を検知したと判定する。

購買動作判定部２５は、顧客の購買動作の開始と終了とを判定する。ここでは、購買者像検知部２４によって検知された購買者像の中に所定の大きさより大きい顔が検出されるようになったときを、購買動作の開始と判定し、また、前記購買者像の中に所定の大きさより大きい顔が検出されなくなったときを、購買動作の終了と判定する。

さらに、購買動作判定部２５は、購買動作の終了を判定したときには、購買開始から終了までの時間である購買時間を取得するとともに、センサデータ取得部２３を介して、顧客によって押された商品ボタン１２の識別番号を取得し、その識別番号に基づき、その商品ボタン１２に対応付けられたメッシュを識別するメッシュＩＤを取得する。そして、購買動作判定部２５は、そのメッシュＩＤ（以下、販売メッシュＩＤという）を含んだ顧客購買データを作成し、作成した顧客購買データを顧客購買データ記憶部３３に蓄積する。なお、購買動作判定部２５における処理の詳細については、別途、図面を参照して説明する。

ここで、顧客購買データのレコードは、図４（ｂ）に示すように、販売装置ＩＤ、顧客識別キー、購買開始時刻、購買終了時刻、開始時視線データ識別キー、終了時視線データ識別キー、販売メッシュＩＤ、購買時間、蓄積フレーム数、完了フラグなどを含んだレコードにより構成される。

この顧客購買データにおいて、顧客識別キーは、当該購買動作をした顧客を識別する情報であり、また、開始時視線データ識別キーおよび終了時視線データ識別キーは、それぞれ、当該購買動作の購買開始時および購買終了時の視線データを識別する情報である。また、購買時間は、当該購買動作に要した時間、蓄積フレーム数は、当該購買動作の購買開始から購買終了までに取得され、映像データ記憶部３１に蓄積された映像データの数、つまり、フレーム映像の数である。完了フラグの意味については後記するが、購買動作判定部２５は、顧客購買データを作成するときには、完了フラグを‘０’に設定する。

なお、以上の説明では、購買者像における顔の大きさにより、顧客の購買動作の開始および終了を検知するとしているが、購買動作の開始および終了は、顔の大きさの検知に限定されるものではなく、他の情報によって検知してもよい。例えば、購買動作判定部２５は、センサデータ取得部２３を介して、人感センサ１６により、商品販売装置１の前面近傍に顧客がいること検出したときには、購買動作の開始と判定し、商品販売装置１の前面近傍に顧客がいなくなったことを検出したときには、購買動作の終了と判定してもよい。また、商品ボタン１２が押されたとき、あるいは、取出口センサ１４が取出口４０の窓の開閉を検知したときを、購買動作の終了と判定してもよい。

この場合には、精度よく購買者を検知できない可能性もあるが、購買者像検知部２４によって購買者像の有無を常時監視する必要がないので、情報処理装置１０の処理負荷が軽減される。

また、購買動作判定部２５は、センサデータ取得部２３を介して人感センサ１６から得られる情報と、購買者像検知部２４から得られる情報とを併せて、顧客の購買動作の開始および終了を判定するようにしてもよい。この場合には、より信頼性の高い顧客の購買動作の開始および終了の判定が可能になる。

図３において、購買動作判定部２５により顧客の購買動作の終了が検知されると、処理対象フレーム指定部２６の処理が開始される。処理対象フレーム指定部２６は、顧客購買データ記憶部３３に蓄積された当該購買動作の顧客購買データを読み出し、その顧客購買データから購買時間および蓄積フレーム数を取得し、さらに、処理判定区分データ記憶部３４から処理判定区分データを読み出す。次に、処理対象フレーム指定部２６は、前記取得した購買時間、蓄積フレーム数および処理判定区分データに基づき、視線データ取得対象のフレーム映像（以下、処理対象フレームという）を定め、視線データ取得部２２による視線データ取得処理を起動する。なお、処理対象フレーム指定部２６における処理の詳細については、別途、図面を参照して詳しく説明する。

ここで、処理判定区分データは、図４（ｃ）に示すように、販売装置ＩＤ、フレーム固定値、時間数固定値、逆処理閾値、適用開始年月日、適用終了年月日などを含んで構成される。この処理判定区分データは、商品販売装置１の所有者や販売管理センタ装置５の管理者などによって事前に設定されるデータであり、例えば、販売管理センタ装置５からネットワーク４を介して送信されるデータに基づき設定される。なお、処理判定区分データの構成については、処理対象フレーム指定部２６における処理の詳細な説明の中で説明する。

図３に示すように、視線データ取得部２２は、その下位の機能ブロックとして、顔検知部２２２、顔特徴量計算部２２３、視線検出部２２４、視線位置検出部２２５などを含んで構成される。

視線データ取得部２２の処理は、処理対象フレーム指定部２６によって起動され、当該顧客の購買動作について映像データ記憶部３１に蓄積されている映像データのうち、処理対象フレーム指定部２６により求められた処理対象フレーム数分の映像データのそれぞれについて、その映像データに含まれる顧客の顔および瞳の状況から顧客の視線を検出する。さらに、視線データ取得部２２は、その顧客の視線が商品販売装置１の筐体の前面上で交わる視線位置を算出し、その視線位置を含んだ視線データを作成し、作成した視線データを視線データ記憶部３２に蓄積する。

すなわち、視線データ取得部２２においては、顔検知部２２２は、まず、静止画像の中に移動物体を検出するとともに、その移動物体中に顔があるか否か、つまり、目、口、鼻などを有する円形状のものがあるか否かを検知する。

次に、顔特徴量計算部２２３は、顔検知部２２２によって検知された顔の映像から、公知の方法を用いて、所定の顔の特徴量を求める。なお、ここで求めた顔の特徴量は、商品販売装置１を複数回にわたって利用する顧客の同一性を識別するのに利用することができる。ただし、その同一性の識別の程度は、情報セキュリティの分野で個人認証に用いられているような厳密なものである必要はない。

一方、視線検出部２２４は、顔検知部２２２によって検知された顔の映像から、その顔の中心位置、顔が向いている方向、目の中における瞳の位置などを解析し、その解析結果に基づき、顧客の顔の視線方向を計算する。なお、具体的な視線方向の計算は、例えば、特許文献２に記載された公知の方法に従って行うものとし、その計算方法の詳細についての説明を省略する。

次に、視線位置検出部２２５は、視線検出部２２４で求められた視線方向に基づき、その視線が指し示す商品販売装置１の筐体の前面上の視線位置を検出し、その視線位置を含むデータを視線データとして、視線データ記憶部３２に蓄積する。

ここで、視線データのレコードは、図４（ｄ）に示すように、販売装置ＩＤ、顧客識別キー、視線データ識別キー、フレームＩＤ、顔特徴量、顔特徴量、当該視線データが検出された視線検出日、視線検出時刻、視線位置（ｘ）、視線位置（ｙ）などを含んで構成される。このとき、視線データ識別キーは、当該視線データのレコードを識別する情報、フレームＩＤは、当該視線データが取得された映像データのフレームを識別する情報、顔特徴量は、当該フレームの映像に含まれる人の顔についての所定の特徴量である。

なお、顧客購買データ（図４（ｂ）参照）および視線データ（図４（ｄ）参照）における顧客識別キーは、特定の顧客をユニークに識別するものではなく、当該顧客の購買動作の開始から終了までの視線データのレコードの同一性を識別するものであり、同じ顧客識別キーが付された視線データは、その顧客についての注視データの時系列のデータを構成する。また、当該商品販売装置１を複数回、または、繰り返し利用する顧客の同一性を識別する場合には、顔特徴量によって識別する。

視線データ取得部２２は、以上に説明した視線判定の処理を、処理対象フレーム指定部２６によって求められた処理対象フレーム数分の映像データのすべてに対して実行し、その処理がすべて終了したときには、映像データ削除部２７の処理を起動するとともに、顧客購買データ記憶部３３に蓄積された当該顧客の購買動作についての顧客購買データの完了フラグに‘１’をセットする。

映像データ削除部２７は、視線データ取得部２２の処理が終了することによって起動され、当該顧客の購買動作についての映像データおよびそれ以前に蓄積された映像データを全て削除する。なお、顧客購買データの完了フラグに‘１’をセットするのは、前記の視線データ取得処理の終了時点ではなく、映像データ削除が終了した時点であってもよい。

以上のようにして、商品販売装置１が販売する商品を顧客が購買するたびに、１レコードの顧客購買データが顧客購買データ記憶部３３に蓄積され、通常は、処理対象フレーム指定部２６によって求められた処理対象フレーム数と同じ数の視線データのレコードが作成され、視線データ記憶部３２に蓄積される。ただし、本実施形態では、後記するように、作成された視線データの数が処理対象フレーム指定部２６によって求められた処理対象フレーム数に達しない場合もあり得る。

データ送受信部２８は、視線データ記憶部３２に蓄積された視線データ、および、顧客購買データ記憶部３３に蓄積された顧客購買データを所定の期間ごとに（例えば、１日に１回）、または、販売管理センタ装置５から送信の指示を受信したときに、まとめて、通信装置１７およびネットワーク４を介して販売管理センタ装置５へ送信する。その場合、データ送受信部２８は、視線データや顧客購買データを所定のデータ圧縮方式（例えば、Ｚｉｐなど）で圧縮し、その圧縮したデータ送信してもよい。

続いて、図５〜図９を参照して、以上に説明した商品販売装置１の機能ブロックについて、その主要な機能を実現するためのＣＰＵの処理プログラムの処理フローの例について説明する。

図５は、購買動作判定部２５における購買動作判定処理の処理フロー例を示した図である。この顧客購買動作判定処理は、所定の時間、例えば、０．３３秒ごとに（言い換えると、映像取得部２１により、カメラ１１から１０フレームの映像が取得されるごとに）実行される。つまり、購買動作判定部２５は、１秒間に３回、カメラ１１から得られる映像に基づき顧客の購買動作を判定する。なお、ここでは、映像取得部２１は、カメラ１１から１秒間に３０フレームの映像を取得するものとする。

なお、図５において、販売中フラグは、商品販売装置１が商品を販売中、つまり、顧客が商品を購買中であることを示すフラグである。また、フレームカウンタおよび購買時間カウンタは、それぞれ、購買動作中に含まれるフレーム映像のフレーム数をカウントするカウンタ、購買動作中の時間を計測するカウンタである。従って、販売中フラグ、フレームカウンタおよび購買時間カウンタは、商品販売装置１にシステムリセットによりクリアされ、また、この購買動作判定処理の中で購買動作の開始が判定されたとき、セットまたはカウント開始され、購買動作の終了が判定されたときクリアされる。

図５に示すように、情報処理装置１０の図示しないＣＰＵ（以下、単にＣＰＵという）は、映像取得部２１を介して、カメラ１１から１フレームの映像データを取得する（ステップＳ０１）。次に、ＣＰＵは、購買者像検知部２４の移動物検出処理の結果に基づき、その取得した映像データから移動体領域を検出し、その検出した移動体領域を除外した領域を、背景領域として検出する（ステップＳ０２）。次に、ＣＰＵは、販売中フラグがオンか否かを判定する（ステップＳ０３）。

その判定の結果、販売中フラグがオンでなかったときには（ステップＳ０３でＮｏ）、ＣＰＵは、ステップＳ０１で取得した映像データでその背景領域の面積が所定の閾値Ａより小さいか否かを判定する（ステップＳ０４）。そして、背景領域の面積が所定の閾値Ａより小さいときには（ステップＳ０４でＹｅｓ）、ＣＰＵは、購買者像検知部２４の顔検知処理の結果に基づき、前記取得した映像に顔を検知したか否かを判定する（ステップＳ０５）。

次に、ステップＳ０５の判定において、顔を検知したときには（ステップＳ０５でＹｅｓ）、ＣＰＵは、顧客が購買動作を開始したものと判断し、販売中フラグをセットし（ステップＳ０６）、さらに、そのときの時刻を販売開始時刻として退避し（ステップＳ０６ａ）、フレームカウンタおよび購買時間カウンタをカウントアップして（ステップＳ０６ｂ）、当該１フレームの映像データについての顧客購買動作判定処理を終了する。

また、ステップＳ０４の判定で、背景領域の面積が所定の閾値Ａより小さくなかったとき（ステップＳ０４でＮｏ）、または、ステップＳ０５の判定で、顔を検知しなかったときには（ステップＳ０５でＮｏ）、ＣＰＵは、顧客が購買動作を未だ開始していないと判断して、当該１フレームの映像データについての顧客購買動作判定処理を終了する。

また、ステップＳ０３の判定で、販売中フラグがオンであったときには（ステップＳ０３でＹｅｓ）、ＣＰＵは、前記顔検知処理の結果に基づき、ステップＳ０１で取得した映像に顔を検知したか否かを判定する（ステップＳ０７）。その判定の結果、顔を検出しなかったときには（ステップＳ０７でＮｏ）、ＣＰＵは、前記取得した映像データでその背景領域の面積が所定の閾値Ｂより小さいか否かを判定する（ステップＳ０８）。

次に、ステップＳ０８の判定において、背景領域の面積が所定の閾値Ｂより小さくなかったときには（ステップＳ０８でＮｏ）、ＣＰＵは、顧客が購買動作を終了したものと判断して、販売中フラグをクリアし（ステップＳ０９）する。そして、ＣＰＵは、そのときのフレームカウンタおよび購買時間カウンタの値、ならびに、退避していた販売開始時刻およびそのときの時刻（販売終了時刻）に基づき、顧客購買データを作成するとともに、その作成した顧客購買データを顧客購買データ記憶部３３に蓄積し（ステップＳ１０）、さらに、フレームカウンタおよび購買時間カウンタをクリアして（ステップＳ１０ａ）、当該１フレームの映像データについての顧客購買動作判定処理を終了する。

また、ステップＳ０７の判定で、顔を検知したとき（ステップＳ０７でＹｅｓ）、または、ステップＳ０８の判定で、背景領域の面積が所定の閾値Ｂより小さかったときには（ステップＳ０８でＹｅｓ）、ＣＰＵは、顧客が購買動作を未だ終了していないと判断し、フレームカウンタおよび購買時間カウンタをカウントアップして（ステップＳ０８ａ）、当該１フレームの映像データについての顧客の購買動作判定処理を終了する。

なお、以上の処理において、閾値Ａは、閾値Ｂよりも小さく設定するものとする。そうしておけば、販売中フラグがいったんセットされると、顧客の動きによって背景領域の面積が多少変動しても、販売中フラグがすぐにクリアされるようなことはなくなる。

図６は、処理対象フレーム指定部２６における処理対象フレーム指定処理の処理フローの例を示した図である。この処理対象フレーム指定処理は、購買動作判定部２５により顧客の購買動作の終了が検知されたとき起動にされ、当該顧客の購買動作における処理対象フレーム数を求める。

ここで、処理対象フレーム数とは、当該顧客の購買動作中に映像取得部２１によって取得され、映像データ記憶部３１に蓄積された全フレーム映像のうち、視線データ取得部２２による視線データ取得処理の対象となるフレーム映像の数をいう。すなわち、本実施形態では、視線データ取得部２２による視線データ取得処理は、映像取得部２１によって取得されたフレーム映像のすべてに対して実行されるのではなく、その一部が間引かれた後のフレーム映像に対して実行される。つまり、本実施形態では、映像取得部２１によって取得したフレーム映像のうち一部のフレーム映像を間引いたものを処理対象フレームとすることによって、情報処理装置１０におけるＣＰＵの処理負担を軽減する。

本実施形態では、視線データ取得処理の処理対象フレームを選択する方法、つまり、フレーム映像を間引く方法は、処理判定区分データ（図４（ｃ）参照）によって定められる。ここで、処理判定区分データは、販売装置ＩＤ、処理区分、フレーム間隔値、時間間隔値、逆処理閾値、適用開始年月日、適用終了年月日などを含んで構成される。なお、処理判定区分データは、商品販売装置１の所有者や販売管理センタ装置５の管理者などによって事前に設定される。

まず、処理判定区分データの処理区分＝１であるときには、処理対象フレームは、フレーム間隔を指定することによって定められる。すなわち、映像取得部２１によって取得されたフレーム映像のうち、処理判定区分データのフレーム間隔値フィールドによって定められたフレーム間隔ごとにとられたフレーム映像が、視線データ取得処理の処理対象フレームとなる。例えば、フレーム間隔値＝３であれば、取得された全フレーム映像のうち、３フレームごとにとられたフレーム映像が処理対象フレームとなる。

また、処理区分＝２であるときには、処理対象フレームは、時間間隔を指定することによって定められる。すなわち、映像取得部２１によって取得されたフレーム映像のうち、時間間隔値フィールドによって定められた時間間隔ごとにとられたフレーム映像が、視線データ取得処理の処理対象フレームとなる。例えば、時間間隔値＝０．１であれば、取得された全フレーム映像のうち、０．１秒ごとのフレーム映像が処理対象フレームとなる。

また、処理区分＝３であるときには、映像取得部２１によって取得された全フレーム映像が、視線データ取得処理の処理対象フレームとなる。

また、処理区分＝４であるときには、処理対象フレームは、映像取得部２１によって取得されたフレーム映像のうちから、あらかじめ定められたフレーム間隔や時間間隔などの固定間隔でとられるのではなく、その間隔が変動する可変間隔でとられるものとする。そして、その可変間隔は、例えば、購買者像検知部２４において、カメラ１１により撮影されたフレーム映像において移動物体として検出される購買者像について、その時間変動量を求めておき、その時間変動量の関数値として定められるようにする。すなわち、さらに簡単な例で説明すれば、購買者像検知部２４によって検知される購買者像における顔の動きが大きいとき、その間隔を小さくし、顔の動きが小さいとき、その間隔を大きくする。

また、処理判定区分データの逆処理閾値は、処理対象フレーム指定部２６で定められた処理対象フレームに対する視線データ取得処理を、時系列の順に行うか、逆時系列の順に行うかを定める閾値である。すなわち、本実施形態では、視線データ取得処理を顧客の購買動作終了後に実行するので、その顧客の購買動作が長く、処理対象フレーム数が大きくなった場合には、次の顧客の購買動作が開始されるまでに、その視線データ取得処理が終了しない可能性がある。そこで、本実施形態では、処理対象フレーム数が大きくなった場合には、視線データ取得処理を逆時系列の順に行い、顧客の後半の購買動作における視線データ取得処理結果が優先的に得られるようにする。

また、適用開始年月日および適用終了年月日は、この処理判定区分データの適用期間を表している。なお、適用終了年月日が定められていない場合には、遠い将来、例えば、１００年後の年月日が設定される。

以下、図６を参照して、処理対象フレーム指定処理の処理フローについて説明する。

ＣＰＵは、まず、購買動作判定部２５により作成された顧客購買データから購買時間および蓄積フレーム数を取得し（ステップＳ７０１）、次に、処理判定区分データ記憶部３４にあらかじめ設定されている処理判定区分データから処理区分を取得し（ステップＳ７０１）、処理区分＝１であるか否かを判定する（ステップＳ７０３）。

ステップＳ７０３における判定の結果、処理区分＝１であったときには（ステップＳ７０３でＹｅｓ）、ＣＰＵは、蓄積フレーム数を処理判定区分データに含まれるフレーム間隔値で除して処理対象フレーム数を算出する（ステップＳ７０４）。また、処理区分＝１でなかったときには（ステップＳ７０３でＮｏ）、ＣＰＵは、さらに、処理区分＝２であるか否かを判定する（ステップＳ７０５）。

ステップＳ７０５における判定の結果、処理区分＝２であったときには（ステップＳ７０５でＹｅｓ）、ＣＰＵは、蓄積フレーム数を処理判定区分データに含まれる時間間隔値で除して処理対象フレーム数を算出する（ステップＳ７０６）。また、処理区分＝２でなかったときには（ステップＳ７０５でＮｏ）、ＣＰＵは、さらに、処理区分＝３であるか否かを判定する（ステップＳ７０７）。

ステップＳ７０７における判定の結果、処理区分＝３であったときには（ステップＳ７０７でＹｅｓ）、ＣＰＵは、蓄積フレーム数をそのまま処理対象フレーム数とする（ステップＳ７０８）。すなわち、この場合には、映像取得部２１によって取得された全フレーム映像が処理対象フレームとなる。また、処理区分＝３でなかったとき（ステップＳ７０７でＮｏ）、例えば、処理区分＝４であったときには、ＣＰＵは、所定の関数値に基づき、可変間隔の処理対象フレームを定め、その定めた可変間隔から処理対象フレーム数を求める（ステップＳ７０９）。なお、ここでいう所定の関数値とは、例えば、購買者像検知部２４によって検知された購買者像における顔の動きの量を数値化したものである。

以上のようにステップＳ７０４、ステップＳ７０６、ステップＳ７０８およびステップＳ７０９において処理対象フレーム数が求められると、ＣＰＵは、処理判定区分データから逆処理閾値を取得する（ステップＳ７１０）。次に、ＣＰＵは、処理対象フレーム数と逆処理閾値とを比較し、処理対象フレーム数が逆処理閾値より小さかった場合には（ステップＳ７１１でＹｅｓ）、各処理区分で定められる処理対象フレームに対し、時系列順に視線データ取得処理を実行することを指示する（ステップＳ７１２）。また、処理対象フレーム数が逆処理閾値より小さくなかった場合には（ステップＳ７１１でＮｏ）、ＣＰＵは、各処理区分で定められる処理対象フレームに対し、逆時系列順に視線データ取得処理を実行することを指示する（ステップＳ７１３）。なお、視線データ取得処理は、視線データ取得部２２によって実行される処理である。

ステップＳ７１２およびステップＳ７１３の指示により、視線データ取得部２２では、当該顧客の購買動作に関するすべての処理対象フレームについての視線データ取得処理が実行される。そして、その実行が完了すると、顧客購買データ（図４（ｂ）参照）における完了フラグに‘１’がセットされ、当該顧客についての視線データ取得処理が完了したことが表示される。

続いて、ＣＰＵは、映像データ削除処理を起動する（ステップＳ７１４）。映像データ削除処理が起動されると、映像データ削除部２７では、当該顧客の購買動作に係るフレーム映像およびそれ以前のフレーム映像をすべて削除する。この処理により、商品販売装置１の中には、顧客の顔が撮影された映像は残されないことになる。

なお、本実施形態では、当該顧客の購買動作に係るすべての処理対象フレームについての視線データ取得処理が完了される前に、次の顧客の購買動作が開始された場合には、当該顧客に係る視線データ取得処理は、途中で中止されることになる。この場合には、当該顧客についての顧客購買データの完了フラグは、’０’がセットさせており、また、中止されるまでに作成された視線データは、必ずしも無駄なデータではなく、適宜、利用可能である。

続いて、図７〜９を参照して、視線データ取得部２２における視線データ取得処理の主要部について説明する。ここで、図７は、視線検出部２２４における視線検出処理の処理フローの例を示した図である。

図７に示すように、ＣＰＵは、顔検知処理により、まず、映像データの中に顔を検知する（ステップＳ１１）。次に、ＣＰＵは、その顔の中で瞳（黒目）を探し、瞳を検出したときには（ステップＳ１２でＹｅｓ）、さらに、目領域を探す。そして、目領域を検出したときには（ステップＳ１３でＹｅｓ）、ＣＰＵは、さらに、両目を探す。

次に、ＣＰＵは、両目を検出したときには（ステップＳ１４でＹｅｓ）、両目についてそれぞれの目の視線方向を計算する（ステップＳ１５）。このとき、その視線方向は、前記したように、例えば、特許文献２に記載されている方法に基づき計算する。両目の場合には、視線方向が２つ得られるので、ＣＰＵは、その両目の視線方向を加算して（ステップＳ１６）、１つの視線方向にまとめる。一方、両目を検出しなかったときには（ステップＳ１４でＮｏ）、検出した片目の視線方向を計算する（ステップＳ１７）。

なお、視線方向は、例えば、瞳の位置を始点とするベクトルとして表されるので、両目の場合、そのベクトル加算をすればよい。また、視線の始点の位置は、両目の平均の位置（中間の位置）に定める。その場合、ベクトル加算や始点の平均位置の計算に際しては、顔の向きや視線の方向に応じて、視線ベクトルの大きさなどに、適宜、加重を付してもよい。

以上のようにして、視線方向が得られると、ＣＰＵは、注視対象検出処理として、その視線方向の先にある視線位置を検出する（ステップＳ１８）。ここで、視線位置とは、商品販売装置１の筐体の前面上で当該視線が指している位置をいう。なお、視線位置の検出処理については、次に、図８および図９を用いて詳しく説明する。

また、ステップＳ１２で瞳を検出しなかったとき（ステップＳ１２でＮｏ）、または、ステップＳ１３で目領域を検出しなかったときには（ステップＳ１３でＮｏ）、ＣＰＵは、そのまま何もせずに処理を終了する。

なお、以上の視線検出処理は、少なくとも顔が検知された映像について、１フレームごとに行われる。

続いて、図８および図９を参照して、視線位置検出処理の詳細について説明する。ここで、図８は、視線位置検出部２２５における視線位置を求める方法を説明するための図、図９は、視線位置検出部２２５における視線位置検出処理の処理フローの例を示した図である。

図８には、顧客が商品販売装置１の前面側に立って、その筐体の前面を見ている様子がその上面図として示されている。ここで、商品販売装置１の筐体内部には、カメラ１１がその筐体の前面に垂直な方向を向いて設けられている。このとき、カメラ１１の方向（カメラ視線）をｚ軸とし、商品販売装置１の筐体の前面上でｚ軸に交わる水平方向の直線をｘ軸とし、垂直方向の直線をｙ軸とする。このとき、ｚ軸は、カメラ視線となるので、撮影された映像の中心になる。また、カメラ１１が撮影可能な角度の範囲を画角と呼び、これをθで表す。

そこで、図９に示すように、情報処理装置１０のＣＰＵは、距離センサ１５などを介して商品販売装置１の筐体の前面から顧客までの距離（ｄ）を取得する（ステップＳ２１）。次に、ＣＰＵは、カメラ１１から得られる映像に基づき、ｘ軸方向およびｙ軸方向それぞれについて、カメラ映像中心と顔中心位置との差分量（δ_ｘ，δ_ｙ）を計算する（ステップＳ２２）。

なお、ここでいう顔中心とは、顧客の視線の始点をいい、両目の場合には、両目（瞳）の位置の平均位置（適宜、加重平均でもよい）であり、片目の場合には、その目（瞳）の位置をいう。また、その差分量（δ_ｘ，δ_ｙ）の計算に際しては、画角（θ）および顧客までの距離（ｄ）を考慮するものとする。なお、商品販売装置１が一般的な自動販売機である場合には、顧客までの距離（ｄ）は、顧客によらず概ね一定なので、距離センサ１５から得られる値ではなく、所定の定数としてもよい。

次に、ＣＰＵは、視線検出処理（図７参照）で計算された視線方向、ステップＳ２１で取得された顧客までの距離（ｄ）、ステップＳ２２で計算された差分量（δ_ｘ，δ_ｙ）に基づき、視線位置を計算する（ステップＳ２３）。このとき、視線の始点位置は、座標点（δ_ｘ，δ_ｙ，ｄ）と表すことができるので、求める視線位置は、視線方向と同じ方向の直線で、座標点（δ_ｘ，δ_ｙ，ｄ）を通る直線がｘｙ平面（ｚ＝０の平面）と交わる点のそのｘｙ平面上での座標値（ｓ_ｘ，ｓ_ｙ）として求めることができる。

次に、ＣＰＵは、視線位置の座標値（Ｓ_ｘ，Ｓ_ｙ）を含んで構成される視線データ（図４（ｄ）参照）を作成し、作成した視線データを視線データ記憶部３２に蓄積する（ステップＳ２４）。ここで、視線位置の座標値（Ｓ_ｘ，Ｓ_ｙ）は、ステップＳ２３で求めた座標値（ｓ_ｘ，ｓ_ｙ）をメッシュ１９の位置を表す座標系（図２参照）で表現し直したもの、つまり、座標変換したものである。なお、図４（ｄ）の視線データでは、座標値Ｓ_ｘは視線位置（ｘ）、座標値Ｓ_ｙは視線位置（ｙ）と表記されている。

以上、本実施形態の商品販売装置１においては、情報処理装置１０は、カメラ１１から取得される顧客の購買動作に係るフレーム映像すべてについて顧客の視線データを取得しなくても済むようにしている。また、視線データを取得する視線データ取得処理は、顧客の購買動作終了後に行うようにしている。

そのため、情報処理装置１０のＣＰＵは、処理量が多くなりがちな画像処理を含む視線データ取得処理をリアルタイムで行う必要がなく、それゆえ、ＣＰＵの処理性能も必ずしも高性能である必要はない。よって、必ずしも高性能でない安価なマイクロプロセッサを、情報処理装置１０のＣＰＵとして利用することが可能になり、その結果、情報処理装置１０、つまり、商品販売装置１の製造コストを低減することができる。

また、本実施形態の商品販売装置１の情報処理装置１０では、映像取得部２１によって取得された顧客の顔を含む映像データは、視線データ取得部２２における視線データ取得処理完了後、すぐに削除される。従って、商品販売装置１の記憶装置に顧客の肖像などを含む個人情報が長時間にわたって蓄積されることはない。

（４．販売管理センタ装置の機能の詳細）
販売管理センタ装置５の機能は、その内部に含まれる情報処理装置５０によって実現される。以下、情報処理装置５０を構成する機能ブロックの機能について、図３および図１０を参照して説明する。ここで、図１０は、情報処理装置５０の記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図である。

ただし、視線データ記憶部７２および顧客購買データ記憶部７３にそれぞれに蓄積される視線データおよび顧客購買データのレコード構成は、商品販売装置１の視線データ記憶部３２および顧客購買データ記憶部３３にそれぞれに蓄積された視線データおよび顧客購買データの構成と同じであるので、図１０では、その構成の図示を省略している。

図３において、データ収集部６１は、商品販売装置１の視線データ記憶部３２および顧客購買データ記憶部３３にそれぞれ蓄積された視線データおよび顧客購買データを収集して、収集したデータを自らの記憶装置に構成された視線データ記憶部７２および顧客購買データ記憶部７３に蓄積する。

その場合、データ収集部６１は、視線データおよび顧客購買データについては、所定の期間ごと、例えば、１日ごとに、商品販売装置１に対してポーリングすることにより収集する。データ収集部６１は、このようにして商品販売装置１から収集した視線データおよび顧客購買データを、それぞれ、そのまま視線データ記憶部７２および顧客購買データ記憶部７３に蓄積する。

また、商品配置データ記憶部７４に蓄積される商品配置データは、データ収集部６１により商品販売装置１から収集されるデータであり、そのレコードは、図９（ｆ）に示すように、販売装置ＩＤ、メッシュＩＤ、商品ＩＤ、適用開始年月日、適用終了年月日などを含んで構成される。ここで、メッシュＩＤは、図１に示した情報処理装置１０の場合、メッシュ１９が１６個あるので、商品配置データ記憶部７４には、そのメッシュ１９の数と同じ１６のレコードが記憶される。また、商品ＩＤは、そのメッシュ１９の位置に配置される商品を識別する情報である。また、適用開始年月日および適用終了年月日は、この商品配置データの適用期間を表している。なお、適用終了年月日が定められていない場合には、遠い将来、例えば、１００年後の年月日が設定される。

なお、視線データ記憶部７２、顧客購買データ記憶部７３および商品配置データ記憶部７４においては、複数の商品販売装置１についてのデータが混在して蓄積されることになるが、各データには販売装置ＩＤが付されているので、そのデータがいずれの商品販売装置１に属するものであるかの識別は容易である。

次に、図３において、注視対象検出処理部６２は、適宜、商品販売装置１の販売装置ＩＤと処理対象期間とを指定し、その指定した商品販売装置１で、さらに、指定した処理対象期間に蓄積された視線データを抽出し、その抽出した視線データについて顧客の視線位置の動きを解析することにより、顧客が商品の購買開始から購買終了に到るまでにどのメッシュを注視したかという注視履歴データをバッチ処理により作成する。そして、その作成した注視履歴データを注視履歴データ記憶部７５に蓄積する。なお、注視とは、顧客の視線位置が、商品販売装置１の筐体の前面上のある領域（ここでは、いずれかのメッシュ１９）に所定の時間以上、例えば、０．３秒以上留まることをいう。

注視履歴データのレコードは、図９（ｇ）に示すように、商品販売装置１を識別する販売装置ＩＤ、顧客を識別する顧客識別キー、当該注視履歴データのレコードを識別する注視履歴識別キー、顧客がある商品（つまり、あるメッシュ）を注視したときの映像データのフレームＩＤ、当該注視履歴データが表す注視がされた注視年月日、その注視の注視時間、その注視の対象となったメッシュのメッシュＩＤ（注視メッシュＩＤ）などにより構成される。

注視対象検出処理部６２は、この注視履歴データを作成し、蓄積するために、以下の処理を実行する。

注視対象検出処理部６２は、まず、視線データ記憶部７２から、販売装置ＩＤと対象期間の年月日をキーとしてそのキーに該当する視線データを抽出する。そして、その抽出した視線データを顧客識別キーによってソーティングし、そのソーティングした視線データを記憶装置に一時記憶する。このソーティングされた視線データは、ある１人の顧客の購買開始から購買終了に到るまでの時系列の視線データに相当する。

次に、注視対象検出処理部６２は、このある１人の顧客の時系列の視線データに対し、注視対象検出処理（次に、図１１を用いて説明）を適用し、その顧客が購買開始から購買終了に到るまでに注視したメッシュ１９のメッシュＩＤとその注視時間とを求め、そのメッシュ１９のメッシュＩＤとに基づき、その顧客についての注視履歴データを作成し、作成した注視履歴データを注視履歴データ記憶部７５に蓄積する。

次に、注視対象検出処理部６２は、顧客識別キーによって区分された他のすべての顧客について同様の処理を行い、それぞれの顧客についての注視履歴データを作成し、作成した注視履歴データを注視履歴データ記憶部７５に蓄積する。これで、販売装置ＩＤと対象期間の年月日をキーとして抽出された視線データ、つまり、キーとした販売装置ＩＤを有する商品販売装置１において取得された視線データについての注視履歴データの作成およびその蓄積が終了したことになる。

さらに、注視対象検出処理部６２は、視線データ記憶部７２から視線データを抽出するときの販売装置ＩＤとして、販売管理センタ装置５にネットワーク４を介して接続された商品販売装置１が有する販売装置ＩＤのいずれかを設定し、そのすべての商品販売装置１の販売装置ＩＤについて、以上に説明した処理と同じ処理を繰り返し実行する。

以上の処理によって、販売管理センタ装置５にネットワーク４を介して接続されたすべての商品販売装置１によって、所定の対象期間に取得された全視線データを用いた注視履歴データの作成およびその蓄積が終了したことになる。

図１１は、注視対象検出処理部６２における注視対象検出処理の処理フローの例を示した図である。注視対象検出処理部６２は、この注視対象検出処理を、一時記憶された顧客の時系列の視線データを１レコードずつ読み取りながら繰り返し実行する。なお、この視線データの１レコードは、カメラ１１から得られる映像データの１フレームに対応している。そこで、注視対象検出処理部６２は、顧客の注視を、顧客の視線位置が所定の時間以上、つまり、所定のフレーム数以上に渡って、特定のメッシュ１９に連続して滞在したことを判定することによって検出する。

情報処理装置５０のＣＰＵは、まず、メッシュ定義データ記憶部７７を参照して、当該視線データによって表される視線位置が含まれるメッシュのメッシュＩＤを取得する（ステップＳ３１）。すなわち、顧客の視線位置がいずれのメッシュにあるかを判定する。

ここで、メッシュ定義データは、図１０（ｅ）に示すように、販売装置ＩＤ、メッシュＩＤ、メッシュ左辺位置、メッシュ右辺位置、メッシュ下辺位置、メッシュ上辺位置などのデータを含んで構成される。このとき、メッシュ左辺位置、メッシュ右辺位置、メッシュ下辺位置およびメッシュ上辺位置は、商品販売装置１におけるメッシュ１９の配置位置を表すデータであり、その詳細については、図２を用いて説明した通りである。

本実施形態では、メッシュ定義データ記憶部７７には、販売管理センタ装置５にネットワーク４を介して接続されたすべての商品販売装置１についてのメッシュ定義データが事前に設定され、格納される。そこで、ステップＳ３１における処理では、ＣＰＵは、そのメッシュ定義データ記憶部７７から、視線データに含まれる販売装置ＩＤと同じ販売装置ＩＤを有するメッシュ定義データを抽出する。こうして抽出されたメッシュ定義データは、当該販売装置ＩＤを有する商品販売装置１に設けられたメッシュ１９の配置位置を表すデータである。

そこで、ＣＰＵは、その抽出されたメッシュ定義データを参照して、当該視線データが表す視線位置（視線位置（ｘ）、視線位置（ｙ））が、いずれのメッシュ１９の領域に含まれるかを判定し、その視線位置が含まれるメッシュ１９のメッシュＩＤを取得する。なお、視線位置がいずれのメッシュ１９にも含まれない場合には、例えば、「９９９９９」など、実際上あり得ないメッシュＩＤを取得する（以下、実際に存在するメッシュ１９のメッシュＩＤを「有意のメッシュＩＤ」という）。

続いて、ＣＰＵは、今回のメッシュＩＤが前回のメッシュＩＤと同じであるか否かを判定する（ステップＳ３２）。ここで、今回のメッシュＩＤとは、そのとき実行中の処理により得られたメッシュＩＤをいい、前回のメッシュＩＤとは、今回の処理対象の視線データの１つ前の視線データについて行った処理により得られたメッシュＩＤをいう。

そこで、今回のメッシュＩＤが前回のメッシュＩＤと同じであった場合には（ステップＳ３２でＹｅｓ）、ＣＰＵは、視線位置がそのメッシュＩＤを有するメッシュ１９に滞在する時間、つまり、注視時間をカウントアップして（ステップＳ３９）、当該視線データに対する処理を終了する。また、今回のメッシュＩＤが前回のメッシュＩＤと同じでなかった場合には（ステップＳ３２でＮｏ）、ＣＰＵは、さらに、前回のメッシュＩＤが有意のメッシュＩＤであったか否かを判定する（ステップＳ３３）。

そして、前回のメッシュＩＤが有意のメッシュＩＤであった場合には（ステップＳ３３でＹｅｓ）、視線位置は、前回まで含まれていたメッシュ１９の外に移動したことになるので、ＣＰＵは、そのとき示されている注視時間が所定の閾値時間、例えば、０．３秒以上であるか否かを判定する（ステップＳ３５）。

そこで、その注視時間が所定の閾値時間以上であった場合には（ステップＳ３５でＹｅｓ）、ＣＰＵは、前回のメッシュＩＤを注視メッシュＩＤとし（ステップＳ３６）、その注視メッシュＩＤを含んだ注視履歴データを作成し、作成した注視履歴データを注視履歴データ記憶部７５に蓄積（ステップＳ３７）した後、注視時間をクリアして（ステップＳ３８）、当該視線データに対する処理を終了する。また、注視時間が所定の閾値時間以上でなかった場合には（ステップＳ３５でＮｏ）、顧客がそのメッシュ１９を注視したことにはならないので、ＣＰＵは、注視時間をクリアして（ステップＳ３８）、当該視線データに対する処理を終了する。

一方、ステップＳ３３で、前回のメッシュＩＤが有意のメッシュＩＤでなかった場合には（ステップＳ３３でＮｏ）、ＣＰＵは、さらに、今回のメッシュＩＤが有意のメッシュＩＤであるか否かを判定する（ステップＳ３４）。その判定の結果、今回のメッシュＩＤが有意のメッシュＩＤであった場合には（ステップＳ３４でＹｅｓ）、注視時間をカウントアップして（ステップＳ３９）、当該視線データに対する処理を終了する。また、今回のメッシュＩＤが有意のメッシュＩＤでなかった場合には（ステップＳ３４でＮｏ）、そのまま当該視線データに対する処理を終了する。

以上の処理により、ＣＰＵは、顧客が注視するメッシュ１９のメッシュＩＤおよびその注視時間を得ることができ、さらに、ある１人の顧客が購買開始から購買終了までの間にメッシュ１９を注視した注視履歴データを作成し、その作成した注視履歴データを注視履歴データ記憶部７５に蓄積することができる。

なお、以上の処理においては、各フレームの映像から得られる視線位置が、一瞬、他の位置にぶれる場合がある。そのようなことが頻繁に生じると、顧客が注視するメッシュ１９を定めることができなくなる。

それを防止するには、例えば、視線位置として移動平均の概念を利用するとよい。すなわち、視線データから得られる視線位置をそのまま使用せずに、当該視線データを含み、当該視線データに先行する数レコードの視線データから得られる視線位置について、その平均位置を計算し、その平均位置を当該視線データに対する視線位置として用いる。こうすることによって、視線位置が、一瞬、他の位置にぶれるようなことがあっても、顧客が注視するメッシュ１９を適正に定めることができる。

なお、本実施形態では、メッシュ定義データは、販売管理センタ装置５にネットワーク４を介して接続されるすべての商品販売装置１について、それぞれ異なったデータを設定できるものとしているが、商品販売装置１の機種ごとに異なるように設定してもよい。その場合には、メッシュ定義データの第１フィールドは、販売装置ＩＤに代えて、機種ＩＤとなり、販売装置ＩＤそれぞれについて機種ＩＤを対応付けるテーブルが必要となる。

再び、図３を参照する。商品別注視・販売データ集計部６３は、顧客購買データ記憶部７３、商品配置データ記憶部７４および注視履歴データ記憶部７５にそれぞれ蓄積された顧客購買データ、商品配置データおよび注視履歴データに基づき、それぞれの商品販売装置１ごとに、その商品販売装置１に設けられたそれぞれのメッシュ１９の１日分の注視時間の合計と、そのメッシュ１９に対応するサンプル表示部２０が表示する商品の１日分の販売個数を集計し、その集計したデータを含んだ商品別注視・販売集計データを作成し、その作成した商品別注視・販売集計データを商品別注視・販売集計データ記憶部７６に蓄積する。

ここで、商品別注視・販売集計データは、図１０（ｈ）に示すように、販売装置ＩＤ、メッシュＩＤ、商品ＩＤ、注視合計時間、販売個数、販売日などのデータによって構成される。ここで、商品ＩＤは、当該メッシュＩＤを有するメッシュ１９に対応するサンプル表示部２０が表示する商品の識別データであり、注視合計時間は、当該販売日に当該メッシュＩＤを有するメッシュ１９が顧客によって注視された注視時間の合計であり、販売個数は、当該販売日に当該メッシュＩＤを有するメッシュ１９に対応する商品ボタン１２が押されることによって販売された商品の数である。

図１２は、商品別注視・販売データ集計部６３における商品別注視・販売データ集計処理の処理フローの例を示した図である。なお、この処理により、１レコードの商品別注視・販売集計データが作成される。

ＣＰＵは、まず、商品販売装置１の販売装置ＩＤ、その商品販売装置１に含まれるメッシュのメッシュＩＤ、年月日を指定する（ステップＳ４１）。

次に、ＣＰＵは、ステップＳ４１で指定された販売装置ＩＤ、メッシュ、年月日をキーとする検索により、注視履歴データ記憶部７５から該当する注視履歴データを抽出し、抽出した注視履歴データに含まれる注視時間を集計し、１日分の注視合計時間を取得する（ステップＳ４２）。

次に、ＣＰＵは、ステップＳ４１で指定された販売装置ＩＤ、メッシュ、年月日をキーとする検索により、顧客購買データ記憶部７３から該当する顧客購買データを抽出し、当該メッシュＩＤに対応する商品の販売個数を集計し、１日分のその商品の販売個数を取得する（ステップＳ４３）。このとき、ＣＰＵは、商品配置データ記憶部７４を参照して、当該メッシュＩＤに対応する商品の商品ＩＤも併せて取得する。

次に、ＣＰＵは、ステップＳ４２およびステップＳ４３で取得された注視合計時間、注視時間および商品ＩＤを含んだ商品別注視・販売集計データを作成し、作成した商品別注視・販売集計データを商品別注視・販売集計データ記憶部７６に蓄積する（ステップＳ４３）。

ＣＰＵは、ステップＳ４１において販売管理センタ装置５にネットワーク４を介して接続されるすべての商品販売装置１の販売装置ＩＤ、および、その商品販売装置１に含まれるすべてのメッシュ１９のメッシュＩＤをそれぞれ指定し、以上に説明した商品別注視・販売データ集計処理を繰り返し実行することにより、ある１日のすべての商品別注視・販売集計データを作成し、その作成した商品別注視・販売集計データを商品別注視・販売集計データ記憶部７６に蓄積することができる。

以上のような処理を、商品別注視・販売データ集計部６３が、例えば、毎日１回、販売日を前日に指定して実行するようにすれば、日ごとの商品別注視・販売集計データが商品別注視・販売集計データ記憶部７６に、毎日、蓄積されていく。

再び、図３を参照する。集計データ出力部６４は、表示端末５１から入力される要求に応じて、商品別注視・販売集計データ記憶部７６に蓄積されたデータをそのまま、または、さらに集計したデータを表示端末５１に出力する。なお、さらに集計したデータの例としては、商品販売装置１の機種ごとにメッシュ１９それぞれの注視合計時間の平均値や販売個数の平均値などがある。

以上、本実施形態によれば、前記したように、顧客の視線データを取得することが可能な商品販売装置１の製造コストを低減することができ、また、顧客の視線データに基づき、顧客が注視する商品についての注視合計時間など様々な情報を取得することが可能な商品販売管理システムの構築費用を低減することができる。

＜５．実施形態の変形例＞
以上に説明した実施形態においては、商品販売装置１は、たばこや飲料などの自動販売機を想定しているが、商品販売装置１は、自動販売機に限定されることなく、商品販売装置１がスーパーやコンビニなどにおける立壁状の商品陳列棚や箱状の商品陳列ケースなどであってもよい。

ただし、その商品陳列棚や商品陳列ケースには、通常、サンプル表示部２０ではなく、商品そのものが配置される。その配置領域のデータは、図１０（ｅ）のようなメッシュ定義データを用いて定義することができる。ただし、この場合のメッシュ定義データは、単なる２次元の矩形のデータではなく、上面が開いた箱状の商品陳列ケースにも対応可能なように、３次元の座標データであるものとする。

また、商品販売装置１は、顧客が商品を購買したのかしなかったのか、あるいは、購買した場合、どの商品を購買したかを検知する手段が必要である。これは、商品ボタン１２に対応する。しかしながら、スーパーやコンビニでは、顧客は、通常、レジにて商品を受け取り、その代金を支払うので、その商品陳列棚や商品陳列ケースに、商品ボタン１２に厳密に対応する手段を設けることは困難である。

そこで、本実施形態の変形例では、商品陳列棚や商品陳列ケースにおいて販売する商品の領域ごとに、例えば、その領域に陳列された商品の総重量を計測する重量センサを設ける。そして、商品販売装置１は、その重量センサからその重量を取得し、その重量が減少した場合に、その領域に陳列された商品が顧客によって購買されたものと判断する。すなわち、このような手段により、商品ボタン１２の代用手段が実現されたことになる。

本発明の第１の実施形態に係る商品販売装置の外観および内部構成の概略を示した図。 メッシュの概念およびその位置データの定義を説明するための模式図。 本発明の実施形態に係る商品販売管理システムの機能ブロックの構成の例を示した図。 商品販売装置の記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図。 購買動作判定部における顧客購買動作判定処理の処理フロー例を示した図。 処理対象フレーム指定部における処理対象フレーム指定処理の処理フローの例を示した図。 視線検出部における視線検出処理の処理フローの例を示した図。 視線位置検出部における視線位置を求める方法を説明するための図。 視線位置検出部における視線位置検出処理の処理フローの例を示した図。 販売管理センタ装置の記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図。 注視対象検出処理部における注視対象検出処理の処理フローの例を示した図。 商品別注視・販売データ集計部における商品別注視・販売データ集計処理の処理フローの例を示した図。

符号の説明

１ 商品販売装置
４ ネットワーク
５ 販売管理センタ装置
１０ 情報処理装置
１１ カメラ
１２ 商品ボタン
１３ 入金センサ
１４ 取出口センサ
１５ 距離センサ
１６ 人感センサ
１７ 通信装置
１９ メッシュ
２０ サンプル表示部
２１ 映像取得部
２２ 視線データ取得部
２３ センサデータ取得部
２４ 購買者像検知部
２５ 購買動作判定部
２６ 処理対象フレーム指定部
２７ 映像データ削除部
２８ データ送受信部
３０ 入金口
３１ 映像データ記憶部
３２ 視線データ記憶部
３３ 顧客購買データ記憶部
３４ 処理判定区分データ記憶部
４０ 取出口
５０ 情報処理装置
５１ 表示端末
５２ 通信装置
６１ データ収集部
６２ 注視対象検出処理部
６３ 販売データ集計部
６４ 商品別注視・集計データ出力部
７２ 視線データ記憶部
７３ 顧客購買データ記憶部
７４ 商品配置データ記憶部
７５ 注視履歴データ記憶部
７６ 商品別注視・販売集計データ記憶部
７７ メッシュ定義データ記憶部
１００ 商品販売管理システム
２２２ 顔検知部
２２３ 顔特徴量計算部
２２４ 視線検出部
２２５ 視線位置検出部

Claims (12)

1. 販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、前記顧客が前記商品配置部に配置された商品またはそのサンプルを見て前記商品を購買する前記顧客の購買動作を撮影するカメラと、ＣＰＵおよび記憶装置を含んでなり、前記カメラにより撮影された前記顧客の購買動作のフレーム映像を前記記憶装置に蓄積するとともに、前記フレーム映像に対して所定の画像処理を行う情報処理装置と、を備えた商品販売装置であって、
   前記ＣＰＵは、
   前記カメラにより撮影されたフレーム映像に含まれる前記顧客の映像に基づき、前記顧客の購買動作の開始および終了を判定する購買動作判定処理と、
   前記購買動作判定処理により前記購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、
   前記処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、前記顧客の視線を検出し、さらに、前記検出された顧客の視線について、その視線が前記商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして前記記憶装置に蓄積する視線データ取得処理と、
   を実行すること
   を特徴とする商品販売装置。
2. 前記処理区分データは、前記記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から前記視線検出の対象となるフレーム映像を選択するためのフレーム間隔を指定するデータを含んで構成され、
   前記フレーム間隔を指定するデータは、固定のフレーム間隔を指定するデータ、固定の時間間隔を指定するデータ、および、可変のフレーム間隔を指定するデータのいずれかの１つであること
   を特徴とする請求項１に記載の商品販売装置。
3. 前記フレーム間隔を指定するデータが前記可変のフレーム間隔を指定するデータであったときには、その可変のフレーム間隔は、
   前記カメラにより撮影されたフレーム映像において移動物体として検出される前記顧客の像の時間変動量に依存する量であること
   を特徴とする請求項２に記載の商品販売装置。
4. 前記処理区分データは、さらに、前記視線データ取得処理の処理順を定めるための処理区分閾値を含んで構成され、
   前記ＣＰＵは、
   前記顧客の購買動作の開始から終了までの時間が、前記処理区分閾値未満であるときには、前記視線データ取得処理を前記フレーム映像の時系列順に実行し、
   前記顧客の購買動作の開始から終了までの時間が、前記処理区分閾値以上であるときには、前記視線データ取得処理を前記フレーム映像の逆時系列順に実行すること
   を特徴とする請求項２に記載の商品販売装置。
5. 前記ＣＰＵは、
   前記処理対象フレーム指定処理により視線検出の対象に指定されたすべてのフレーム映像について、前記視線データ取得処理を完了したときには、
   その完了のときまでに前記記憶装置に蓄積されている前記カメラにより撮影されたフレーム映像をすべて削除すること
   を特徴とする請求項１に記載の商品販売装置。
6. 販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、前記顧客が前記商品配置部に配置された商品またはそのサンプルを見て前記商品を購買する前記顧客の購買動作を撮影するカメラと、第１のＣＰＵおよび第１の記憶装置を含んでなり、前記カメラにより撮影された前記顧客の購買動作のフレーム映像を前記第１の記憶装置に蓄積するとともに、前記フレーム映像に対して所定の画像処理を行う情報処理装置と、を備えた商品販売装置と、
   第２のＣＰＵおよび第２の記憶装置を含んでなり、その第２の記憶装置に、前記商品販売装置の前記商品配置部における各商品またはそのサンプルを配置する空間領域を定義した商品配置領域定義データを蓄積し、通信ネットワークを介して前記商品販売装置から送信された前記顧客の視線データに基づき、前記顧客の注視商品データを取得する販売管理センタ装置と、
   を含んで構成された商品販売管理システムであって、
   前記第１のＣＰＵは、
   前記カメラにより撮影されたフレーム映像に含まれる前記顧客の映像に基づき、前記顧客の購買動作の開始および終了を判定する購買動作判定処理と、
   前記購買動作判定処理により前記購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記第１の記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、
   前記処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、前記顧客の視線を検出し、さらに、前記検出された顧客の視線について、その視線が前記商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして前記第１の記憶装置に蓄積する視線データ取得処理と、
   前記蓄積した視線データを、前記通信ネットワークを介して、前記販売管理センタ装置に送信するデータ送信処理と、
   を実行し、
   前記第２のＣＰＵは、
   前記商品販売装置から送信される前記視線データを受信するデータ受信処理と、
   前記受信した視線データのうち、特定の顧客に属する時系列の視線データから、その視線データに含まれる、前記視線が前記商品配置部と交わる位置座標、および、前記商品配置領域定義データに基づき、前記視線が所定の時間以上留まる前記商品配置部における商品配置領域を検出し、その検出された商品配置領域に対応付けられた商品識別情報により、前記顧客が注視する注視対象商品を検出する注視商品検出処理と、
   を実行すること
   を特徴とする商品販売管理システム。
7. 販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、前記顧客が前記商品配置部に配置された商品またはそのサンプルを見て前記商品を購買する前記顧客の購買動作を撮影するカメラと、ＣＰＵおよび記憶装置を含んでなり、前記カメラにより撮影された前記顧客の購買動作のフレーム映像を前記記憶装置に蓄積するとともに、前記フレーム映像に対して所定の画像処理を行う情報処理装置と、を備えた商品販売装置における顧客視線データ取得方法であって、
   前記ＣＰＵは、
   前記カメラにより撮影されたフレーム映像に含まれる前記顧客の映像に基づき、前記顧客の購買動作の開始および終了を判定する購買動作判定処理と、
   前記購買動作判定処理により前記購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、
   前記処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、前記顧客の視線を検出し、さらに、前記検出された顧客の視線について、その視線が前記商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして前記記憶装置に蓄積する視線データ取得処理と、
   を実行すること
   を特徴とする顧客視線データ取得方法。
8. 前記処理区分データは、前記記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から前記視線検出の対象となるフレーム映像を選択するためのフレーム間隔を指定するデータを含んで構成され、
   前記フレーム間隔を指定するデータは、固定のフレーム間隔を指定するデータ、固定の時間間隔を指定するデータ、および、可変のフレーム間隔を指定するデータのいずれかの１つであること
   を特徴とする請求項７に記載の顧客視線データ取得方法。
9. 前記フレーム間隔を指定するデータが前記可変のフレーム間隔を指定するデータであったときには、その可変のフレーム間隔は、
   前記カメラにより撮影されたフレーム映像において移動物体として検出される前記顧客の像の時間変動量に依存する量であること
   を特徴とする請求項８に記載の顧客視線データ取得方法。
10. 前記処理区分データは、さらに、前記視線データ取得処理の処理順を定めるための処理区分閾値を含んで構成され、
    前記ＣＰＵは、
    前記顧客の購買動作の開始から終了までの時間が、前記処理区分閾値未満であるときには、前記視線データ取得処理を前記フレーム映像の時系列順に実行し、
    前記顧客の購買動作の開始から終了までの時間が、前記処理区分閾値以上であるときには、前記視線データ取得処理を前記フレーム映像の逆時系列順に実行すること
    を特徴とする請求項８に記載の顧客視線データ取得方法。
11. 前記ＣＰＵは、
    前記処理対象フレーム指定処理により視線検出の対象に指定されたすべてのフレーム映像について、前記視線データ取得処理を完了したときには、
    その完了のときまでに前記記憶装置に蓄積されている前記カメラにより撮影されたフレーム映像をすべて削除すること
    を特徴とする請求項１に記載の顧客視線データ取得方法。
12. 販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、前記顧客が前記商品配置部に配置された商品またはそのサンプルを見て前記商品を購買する前記顧客の購買動作を撮影するカメラと、第１のＣＰＵおよび第１の記憶装置を含んでなり、前記カメラにより撮影された前記顧客の購買動作のフレーム映像を前記第１の記憶装置に蓄積するとともに、前記フレーム映像に対して所定の画像処理を行う情報処理装置と、を備えた商品販売装置と、
    第２のＣＰＵおよび第２の記憶装置を含んでなり、その第２の記憶装置に、前記商品販売装置の前記商品配置部における各商品またはそのサンプルを配置する空間領域を定義した商品配置領域定義データを蓄積し、通信ネットワークを介して前記商品販売装置から送信された前記顧客の視線データに基づき、前記顧客の注視商品データを取得する販売管理センタ装置と、
    を含んで構成された商品販売管理システムにおける顧客注視商品データ取得方法であって、
    前記第１のＣＰＵは、
    前記カメラにより撮影されたフレーム映像に含まれる前記顧客の映像に基づき、前記顧客の購買動作の開始および終了を判定する購買動作判定処理と、
    前記購買動作判定処理により前記購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記第１の記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、
    前記処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、前記顧客の視線を検出し、さらに、前記検出された顧客の視線について、その視線が前記商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして前記第１の記憶装置に蓄積する視線データ取得処理と、
    前記蓄積した視線データを、前記通信ネットワークを介して、前記販売管理センタ装置に送信するデータ送信処理と、
    を実行し、
    前記第２のＣＰＵは、
    前記商品販売装置から送信される前記視線データを受信するデータ受信処理と、
    前記受信した視線データのうち、特定の顧客に属する時系列の視線データから、その視線データに含まれる、前記視線が前記商品配置部と交わる位置座標、および、前記商品配置領域定義データに基づき、前記視線が所定の時間以上留まる前記商品配置部における商品配置領域を検出し、その検出された商品配置領域に対応付けられた商品識別情報により、前記顧客が注視する注視対象商品を検出する注視商品検出処理と、
    を実行すること
    を特徴とする顧客注視商品データ取得方法。

Images