JP2009193499A - 注視商品データ取得方法および商品販売管理システム - Google Patents

Abstract

【課題】機種などに依存するデータの設定を不要化し、製造コストや保守コストを低減する。
【解決手段】視線位置検出部２２５は、カメラ１１から取得される映像に基づき、顧客の視線が商品販売装置１の筐体外面上で交わる視線位置を検出し、その位置データを含んだ視線データを視線データ記憶部３２に蓄積する。一方、販売管理センタ装置５は、サンプル表示部の識別データとその配置位置データとを対応付けたデータをメッシュ定義データ記憶部７７に保持し、データ収集部６１が、ネットワーク４を介して、所定の期間ごとに商品販売装置１の視線データ記憶部３２に蓄積された視線データを収集すると、注視対象検出処理部６２は、メッシュ定義データ記憶部７７を参照して、収集された視線データに含まれる顧客の視線位置がいずれのサンプル表示部２０に含まれるかを判定し、顧客が注視するサンプル表示部２０を検知する。
【選択図】図３

Description

本発明は、顧客の視線を検出することにより顧客が興味を抱いている商品を検知し、商品のマーケティングデータを取得するための注視商品データ取得方法および商品販売管理システムに関する。

一般に、商品の人気度は、その商品の販売数量により判断することができる。しかしながら、新しい商品を市場に投入したような場合には、その商品の人気度は、販売数量だけで判断することはできない。顧客は、しばしば、その新しい商品の売れ行きの様子を眺めることがあるからである。このような場合、商品の販売者が最も知りたい情報は、顧客の心の内にあるその商品への関心度など、その商品の今後の販売量などを予測する上で有用な、つまり、マーケティング上有用なデータである。

商品の顧客の関心度は、例えば、販売店などにおいては、その商品の陳列棚の前に集まる人の数や、その商品を手に取ってみる人の数などにより知ることができる。あるいは、インターネットなどを利用したアンケートなどによって、顧客の関心度を調査することもできる。しかしながら、こういった方法では、顧客がある商品を購入しようとするときに、その商品を購入するに至った顧客の心の内をのぞき見ることはできない。その心の内をのぞき見ることができれば、顧客が購入しなかった商品に対して、顧客の心の内にある関心度を、より正確につかむことができるはずである。

人の心の内、すなわち、その人の意思、または、潜在的な意思を検出する方法として、その人の視線を用いる方法が知られている。その方法によれば、カメラなどで撮影された映像に含まれる人の顔の向きや瞳の位置などを解析することにより、その人の視線を検出し、その視線の先にあるものに対して、その人の意思を見出す。このような技術は、例えば、視線によって操作するタッチパネルなどのコンピュータの入力装置（例えば、特許文献１）、視線の動きなどを解析することにより不審者を検出するシステム（例えば、特許文献２）などに応用されている。

さらに、特許文献３には、顧客がショーウィンドウや陳列棚に陳列された商品を見ている視線を検出することにより、その顧客がどんな商品に興味を持っているかを調査する市場調査用機器の例が開示されている。このような視線検出技術を応用した市場調査用機器を用いると、顧客が潜在的に興味を抱いている商品データなどを取得することができる。そして、何よりも、顧客が店頭で商品を見ている現場のデータを収集することができるという長所がある。
特開２００６−２９３７８６号公報 特開２００７−６４２７号公報 特開２００６−２９３７８６号公報

以上のように、視線検出技術は、様々な分野に応用され始めている。しかしながら、その応用分野をマーケティングデータ収集システムの分野に絞ると、その公知の技術は、特許文献３に開示されている市場調査用機器などに限定される。しかも、特許文献３に開示された市場調査用機器であっても、それは、単に、顧客が興味を持っている商品データを視線検出技術により取得可能であることが示されたに過ぎない。マーケティングデータを収集するためには、顧客が見ている商品を識別する必要があるので、市場調査用機器に種々のデータ、例えば、ショーウィンドウや陳列棚の大きさ、陳列領域、陳列された商品などのデータを設定する必要があるが、特許文献３には、そのようなデータの設定に関する記載はされていない。

ちなみに、たばこや飲料などの自動販売機に視線検出技術を応用して、顧客が興味を抱いている商品を検知しようとする場合、その筐体の前面パネル上で商品が配置される領域の位置データやその領域に配置された商品の名称などのデータを自動販売機に内蔵の情報処理装置に事前に登録しておく必要がある。その場合、商品をどの領域に配置するかについてのデータは、しばしば変更されることもあって、その設定作業は、自動販売機の管理者にとって面倒であり、手間を要する作業である。

また、商品が配置される領域の位置データの設定は、通常は、自動販売機が製造されたとき、その機種に応じて１回だけ行われる。すなわち、その設定作業は、自動販売機に内蔵の情報処理装置に所定の視線検出プログラムなどがインストールされるときに併せて行われる。そのためには、自動販売機の製造者は、機種ごとに異なったデータが付随するプログラムをインストールする必要があり、従って、異なる機種数のデータまたはプログラムを用意しておく必要がある。

さらに、自動販売機に内蔵の情報処理装置が故障したような場合には、その保守管理者は、機種ごとに異なったデータが付随するプログラムを再インストールする必要がある。その場合、機種などを考慮した上で、再インストールする必要があるので、その分、余分な手間が掛ることになる。

以上のような従来技術の問題点に鑑み、本発明の目的は、視線検出技術により顧客が興味を抱いている商品を検知することが可能な商品販売装置が製造されたときや保守されるとき、その機種などに依存するデータの設定を不要化することができ、その結果、商品販売装置の製造コストや保守コストを低減することが可能な注視商品データ取得方法および商品販売管理システムを提供することにある。

以上の従来技術の問題を解決するために、本発明では、販売中の商品を識別可能に表示するサンプル表示部と商品を購買する顧客を撮影するカメラとを備えた商品販売装置を、前記商品販売装置のサンプル表示部の識別データとそのサンプル表示部の商品販売装置の筐体外面上における設置位置の領域データとを対応付けた領域定義データを記憶した記憶装置を備えた販売管理センタ装置に、通信ネットワークを介して接続し、商品販売管理システムを構成した。

そして、その商品販売管理システムにおいて、商品販売装置は、カメラから取得される顧客の顔の映像を解析して顧客の視線を検出し、その検出した視線が商品販売装置の筐体外面上で交わる位置の位置データを視線位置データとして算出し、その算出した視線位置データに顧客の識別データと視線を検出した視線検出日時とを付したデータを視線データとして記憶装置に蓄積し、その記憶装置に蓄積した所定期間の視線データを販売管理センタ装置へ送信するようにした。

また、販売管理センタ装置は、その記憶装置に記憶された領域定義データを参照して、商品販売装置から送信される視線データに含まれる視線位置データが、いずれのサンプル表示部に対応付けられた領域に含まれるかを判定することにより、顧客が注視したサンプル表示部の識別データおよびその注視時間を含むデータを注視データとして取得し、その取得した注視データに商品販売装置の識別データ、顧客の識別データおよび注視データ取得に係る視線データの視線検出日時を付したデータを、注視履歴データとして記憶装置に蓄積し、所定の期間内に記憶装置に蓄積された注視履歴データについて、その注視履歴データに含まれる注視時間を、商品販売装置ごとに、かつ、その商品販売装置に含まれるサンプル表示部ごとに集計し、その集計した注視時間を出力するようにした。

本発明によれば、商品販売装置は、顧客の視線データ、すなわち、顧客の視線が商品販売装置の筐体外面上で交わる位置の位置データを取得し、その取得した視線データを、いったん記憶装置に蓄積した上で、適宜、まとめて販売管理センタ装置に送信する。そして、販売管理センタ装置は、受信した視線データに基づき、その顧客が注視するサンプル表示部を検出する。

従って、商品販売装置は、顧客がいずれのサンプル表示部を注視するかについての判定処理を行わなくてよい。その処理は、販売管理センタ装置によって行われる。そのため、商品販売装置は、自らに設けられたサンプル表示部の設置位置に係る領域データを保持する必要がない。よって、商品販売装置にプログラムをインストールする場合、商品販売装置の機種ごとにその機種に依存するデータが付随したプログラムを用意しなくてもよい。すなわち、商品販売装置の製造者または保守者は、製造または保守対象のすべての機種に対して１つのプログラムだけを用意しておけばよく、そのプログラムを機種ごとに識別する手間が掛からない。その結果、商品販売装置の製造時や保守時において、プログラムの管理やインストールの手間などを低減することができ、商品販売装置の製造コストや保守コストを低減することができる。

本発明によれば、商品販売装置の製造時または保守時に、その機種などに依存するデータの設定を不要化することができるので、商品販売装置の製造コストや保守コストを低減することができる。

以下、図面を参照して本発明の実施形態について詳しく説明する。

＜第１の実施形態＞
（１．商品販売装置の外観および内部構成）
図１は、本発明の第１の実施形態に係る商品販売装置の外観および内部構成の概略を示した図である。図１に示すように、商品販売装置１は、例えば、たばこなど小物商品の自動販売装置であり、その筐体の前面には、サンプル表示部２０、商品ボタン１２、入金口３０、取出口４０などが設けられ、また、その筐体の内部には、情報処理装置１０、カメラ１１、入金センサ１３、取出口センサ１４、距離センサ１５、人感センサ１６、タグリーダ１７などが設けられている。

図１において、サンプル表示部２０は、商品販売装置１の筐体の前面部に設けられ、商品販売装置１が販売中の商品の写真、絵、愛称などを表示した銘板などによって構成される。あるいは、サンプル表示部２０の部分に、商品販売装置１の筐体内部に外側から透視可能なボックスが設けられ、そのボックス内に商品を識別可能なサンプル、模型、包装空箱、空瓶などが配置されていてもよい。以下、サンプル表示部２０に配置される銘板やサンプルなどを総称して表示サンプルという。

商品ボタン１２は、サンプル表示部２０と対にして設けられており、顧客は、商品ボタン１２を押すことによって、その商品ボタン１２の対となっているサンプル表示部２０に表示された商品の購買を指示する。商品販売装置１は、通常、複数の商品（本明細書では、同じ名称の商品でも銘柄や型式が異なる商品は異なる商品とみなす）を販売する必要があるため、このようなサンプル表示部２０と商品ボタン１２の対は、商品販売装置１に複数対設けられている。従って、商品ボタン１２は、顧客が購買する商品の選択を検知する商品選択センサとして機能し、それが顧客により押されたときには、その押された検知信号を情報処理装置１０へ入力する。

なお、図１の例では、商品販売装置１の筐体の前面上に、サンプル表示部２０と商品ボタン１２との対が上下方向に４段、各段それぞれに４対ずつ配列されている。すなわち、サンプル表示部２０と商品ボタン１２との対が、商品販売装置１の筐体の前面上に縦４段×横４列のマトリックス状に配列されている。

顧客は、商品販売装置１により販売されている商品を購入するとき、商品販売装置１の前に立って、サンプル表示部２０を見て、購入商品を探し、その購入商品の対価に相当する貨幣を入金口３０から入れ、購入商品の商品ボタン１２を押す。そうすると、商品ボタン１２により選択された商品が取出口４０へ出てくるので、顧客はその商品を入手することができる。

カメラ１１は、商品販売装置１の筐体内部の、例えば、サンプル表示部２０がマトリックス状に配列された部分の中央あたりに設けられ、顧客の顔が含まれるように、顧客が商品を購入する様子を撮影する。なお、カメラ１１は、少なくとも１つあればよいが、図１の例のように、複数のカメラ１１（中央のカメラ１１ａ、左上のカメラ１１ｂ、および、左下のカメラ１１ｃ）が設けられていてもよい。このとき、カメラ１１は、顧客の顔が撮影可能であれば、どこに配置してもよい。

入金センサ１３は、所定の金額の貨幣が入金口３０から入金されたことを検出し、取出口センサ１４は、取出口４０から商品が取り出されたことを検出する。また、距離センサ１５は、商品販売装置１から顧客までの距離を計測し、人感センサ１６は、商品販売装置１の周りに顧客などがいるか否かを検知する。なお、後記するように、距離センサ１５および人感センサ１６は、設けなくてもよい場合もある。

以上のような商品販売装置１において、情報処理装置１０は、カメラ１１を介して顧客の顔を含む映像を取得し、その映像に含まれる顧客の顔の方向や瞳の位置から顧客の視線を検出し、その視線に基づき、顧客の視線が商品販売装置１の筐体前面の平面上で交わる位置（以下、視線位置という）を検出する。

本実施形態においては、それぞれのサンプル表示部２０に配置する商品の銘板やサンプル（模型、包装空箱、空瓶などを含む）、つまり、表示サンプルには、商品を識別するための商品ＩＤを記憶したＲＦＩＤ（Radio Frequency Identification）タグが貼付されている。そして、それぞれのサンプル表示部２０に設けられた表示サンプルを収容する収容部には、タグリーダ１７に接続されたアンテナ（図示省略）が１つの収容部ごとに１つずつ設けられている。

このとき、タグリーダ１７は、そのアンテナを介して、サンプル表示部２０の収容部に配置された商品の銘板やサンプルに貼付されたＲＦＩＤタグとの間で、微弱電波により、数ｃｍオーダーの近接距離の無線通信を行い、ＲＦＩＤタグから商品ＩＤを読み出す。そして、タグリーダ１７は、その読み出した商品ＩＤと、その商品ＩＤを受信したアンテナを識別するデータ（つまり、サンプル表示部２０の配置位置を識別するデータで、後記するメッシュＩＤに相当する）と、を情報処理装置１０へ入力する。

次に、図１および図２を参照して、商品販売装置１の筐体の前面上に仮想的に設けられるメッシュ１９について説明する。ここで、図２は、メッシュの概念およびその位置データの定義を説明するための模式図である。

メッシュ１９は、１つずつのサンプル表示部２０に対応させて、そのサンプル表示部２０を１つ含むように設けられた領域である。すなわち、メッシュ１９は、サンプル表示部２０、つまり、商品を配置する領域を定める領域ということができる。図１にはメッシュ１９は、１つしか示されていないが、図１に示すようにサンプル表示部２０が４×４のマトリックス状に設けられた商品販売装置１の場合には、メッシュ１９も、図２に示すように４×４のマトリックス状に設けられる。

メッシュ１９は、顧客がこれらのメッシュ１９のうちいずれを見ているか、つまり、顧客の視線がいずれの商品に注がれているかを判定するための領域を定義するためのものである。従って、サンプル表示部２０が設けられた領域と同じ領域であってもよく、また、図１のようにサンプル表示部２０を含み、さらに、その周辺近傍領域や商品ボタン１２が設けられた領域をも含めた領域であってもよい。そのときメッシュとメッシュの間は、互いに接していてもよく、互いに離れていて（スペースがあって）もよい。

メッシュ１９の形状は、長方形であるとし、そのメッシュ１９の位置データは、長方形の左辺位置、右辺位置、下辺位置および上辺位置の各データによって定義する。ここでは、商品販売装置１の筐体の前面上のある位置に基準点を設け、水平方向をｘ軸、垂直方向をｙ軸とし、メッシュの左辺位置および右辺位置を、そのｘ座標値で表し、下辺位置および上辺位置を、そのｙ座標値で表す。

例えば、図２の場合、左端最上部のメッシュ１９の位置は、左辺位置が「１０ｃｍ」、右辺位置が「１５ｃｍ」、下辺位置が「１４０ｃｍ」、上辺位置が「１４８ｃｍ」として定義される。このようなメッシュの位置データは、それぞれのメッシュ１９ごとに定義される。従って、メッシュの位置データは、そのメッシュ１９を識別するデータ（以下、メッシュＩＤという）に対応付けられたデータとして、後記するメッシュ定義データを構成する。

なお、図２におけるｘｙ座標系の基準点は、商品販売装置１の筐体の前面を含む平面上であれば、どこに設定してもよい。図２の例では、基準点は、商品販売装置１の筐体の前面の左下端点に設けられている。なお、なお、メッシュ１９の位置がこの基準点を基準にして表されるので、その基準点は、通常、商品販売装置１の機種ごとに定められる。

（２．商品販売管理システムの機能ブロックの構成）
図３は、本発明の第１の実施形態に係る商品販売管理システムの機能ブロックの構成の例を示した図である。図３に示すように、商品販売管理システム１００は、販売管理センタ装置５にネットワーク４を介して１つ以上の商品販売装置１が接続されて構成される。図３では、商品販売装置１は１つしか示されていないが、多くの場合は、複数の商品販売装置１がネットワーク４を介して１つの販売管理センタ装置５に接続される。

ここで、ネットワーク４は、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、公衆交換電話網、携帯電話回線網など、または、それらの組み合わせのいずれであってもよい。

図３に示すように商品販売装置１に収納されている情報処理装置１０には、カメラ１１が接続されるほか、商品ボタン１２、入金センサ１３、取出口センサ１４、距離センサ１５、人感センサ１６、タグリーダ１７などが接続される。そして、情報処理装置１０は、映像取得部２１、視線判定部２２、センサデータ取得部２３、人流動線検出部２４、購買動作判定部２５、商品ＩＤ取得部２６、データ送受信部２７などの処理機能ブロックと、映像データ記憶部３１、視線データ記憶部３２、顧客購買データ記憶部３３、商品配置データ記憶部３４などの記憶機能ブロックと、を含んで構成される。なお、図３では、カメラ１１や商品ボタン１２は、代表して１つだけを示している。

ここで、情報処理装置１０は、図示しないＣＰＵと記憶装置とを少なくとも有する、いわゆる、コンピュータによって構成される。その場合、情報処理装置１０における各処理機能ブロックの機能は、前記ＣＰＵが前記記憶装置に格納されている所定のプログラムを実行することにより実現される。また、情報処理装置１０における各記憶機能ブロックは、前記記憶装置上に構成される。このとき、前記記憶装置は、半導体集積回路によるＲＡＭ（Random Access Memory）、フラッシュメモリ、あるいは、磁気記憶装置であるハードディスク装置などからなる。

また、情報処理装置１０は、通信装置１８を介してネットワーク４に接続される。このとき、通信装置１８は、ネットワーク４に有線で接続されるネットワークインタフェースカード、あるいは、ネットワーク４に無線で接続されるIEEE802.11規格の無線ＬＡＮの端末側通信装置、携帯電話機などによって構成される。なお、通信装置１８がネットワーク４に無線で接続される場合には、ネットワーク４は、IEEE802.11規格の無線ＬＡＮのアクセスポイント、携帯電話通信網の基地局などを含む。

さらに、図３に示すように、販売管理センタ装置５は、汎用のコンピュータである情報処理装置５０に表示端末５１が接続されて構成される。その場合、情報処理装置５０は、データ収集部６１、注視対象検出処理部６２、商品別注視・販売データ集計部６３、集計データ出力部６４などの処理機能ブロックと、視線データ記憶部７２、顧客購買データ記憶部７３、商品配置データ記憶部７４、注視履歴データ記憶部７５、商品別注視・販売集計データ記憶部７６、メッシュ定義データ記憶部７７などの記憶機能ブロックと、を含んで構成される。

ここで、情報処理装置５０は、図示しないＣＰＵと記憶装置とを少なくとも備え、情報処理装置５０における各処理機能ブロックの機能は、前記ＣＰＵが前記記憶装置に格納されている所定のプログラムを実行することにより実現される。また、情報処理装置５０における各記憶機能ブロックは、前記記憶装置上に構成される。このとき、前記記憶装置は、半導体集積回路によるＲＡＭ、フラッシュメモリ、あるいは、磁気記憶装置であるハードディスク装置などからなる。

また、情報処理装置５０は、通信装置５２を介してネットワーク４に接続される。このとき、通信装置１８は、通常、ネットワーク４に有線で接続される。従って、通信装置１８は、ネットワークインタフェースカード、ルータなどによって構成される。

なお、図３の構成において、情報処理装置１０における処理機能ブロックの一部または全部を、コンピュータではなく、半導体の集積回路などを用いた専用の処理回路によって構成してもよい。また、同様に、情報処理装置５０における処理機能ブロックの一部または全部を、コンピュータではなく、半導体の集積回路などを用いた専用の処理回路によって構成してもよい。

（３．商品販売装置の機能の詳細）
商品販売装置１の機能は、その内部に含まれる情報処理装置１０によって実現される。以下、情報処理装置１０を構成する機能ブロックの機能について、図３および図４を参照して説明する。ここで、図４は、情報処理装置１０の各記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図である。

映像取得部２１は、カメラ１１から入力される動画像の映像データを１フレームごとに取得し、その１フレームごとの映像データに、時間情報などに基づく固有のフレームＩＤとカメラ番号などを付し（図４（ａ）参照）、映像データ記憶部３１に蓄積する。なお、映像取得部２１は、所定フレーム数の映像データバッファを有し、そのフレーム数分の映像データを一時記憶するとともに、その一時記憶している映像データを、適宜、視線判定部２２などへ提供する。

視線判定部２２は、その下位の機能ブロックとして移動体検知部２２１、顔検知部２２２、顔特徴量計算部２２３、視線検出部２２４、視線位置検出部２２５などを含んで構成され、映像取得部２１によって取得される顧客の顔の映像データに基づき、顧客の視線を検出し、その視線が商品販売装置１の筐体の前面上で交わる視線位置を検出する。

視線判定部２２において、移動体検知部２２１は、映像取得部２１から提供される所定フレーム数の映像データを解析することにより、移動している物体を検知し、顧客が撮影対象領域に入ったことなどを検知する。また、顔検知部２２２は、移動体検知部２２１によって検知された移動体部分に顔、つまり、目、口、鼻などを有する円形状のものがあるか否かを検知する。

顔特徴量計算部２２３は、顔検知部２２２によって検知された顔の映像から、公知の方法を用いて、所定の顔の特徴量を求める。なお、ここで求めた顔の特徴量は、商品販売装置１を複数回にわたって利用する顧客の同一性を識別するのに利用することができる。ただし、その同一性の識別の程度は、情報セキュリティの分野で個人認証に用いられているような厳密なものである必要はない。

視線検出部２２４は、顔検知部２２２によって検知された顔の映像から、その顔の中心位置、顔が向いている方向、目の中における瞳の位置などを解析し、その解析結果に基づき、顧客の顔の視線方向を計算する。なお、具体的な視線方向の計算は、例えば、特許文献２に記載された公知の方法に従って行うものとし、その計算方法の詳細についての説明を省略する。

視線位置検出部２２５は、視線検出部２２４で求められた視線方向に基づき、その視線が指し示す商品販売装置１の筐体の前面上の視線位置を検出し、その視線位置を含むデータを視線データとして、視線データ記憶部３２に蓄積する。なお、このような視線データは、１フレームごとの映像データに対応させて作成、蓄積される。

ここで、視線データのレコードは、図４（ｂ）に示すように、商品販売装置を個々に識別する販売装置ＩＤ、顧客を識別する顧客識別キー、当該視線データのレコードを識別する視線データ識別キー、当該視線データが取得された映像データのフレームＩＤ、そのフレームＩＤの映像に含まれる人の顔の顔特徴量、当該視線データが検出された視線検出日、視線検出時刻、視線位置（ｘ）、視線位置（ｙ）などを含んで構成される。このとき、視線位置（ｘ）および視線位置（ｙ）は、図２に示したメッシュ１９に位置を定義したときの座標系と同じ座標系の座標値で表される。

なお、顧客識別キーは、特定の顧客をユニークに識別するものではなく、ある顧客の購買動作の開始から終了までの視線データのレコードの同一性を識別するものであり、同じ顧客識別キーが付された視線データは、その顧客についての注視データの時系列のデータを構成する。また、当該商品販売装置１を複数回、または、繰り返し利用する顧客の同一性を識別する場合には、顔特徴量によって識別する。

再び、図３において、センサデータ取得部２３は、商品ボタン１２、入金センサ１３、取出口センサ１４、距離センサ１５、人感センサ１６などのセンサ類から入力されるデータを取得する。また、人流動線検出部２４は、人感センサ１６や距離センサ１５などにより商品販売装置１の前面の所定の範囲内に顧客が存在することを検出し、商品販売装置１の前面近傍における顧客の出入りを監視する。

ここで、映像取得部２１および移動体検知部２２１における処理は、人流動線検出部２４が商品販売装置１の前に顧客の存在を検出した後に、開始されるようにしておく。その場合には、顧客が撮影されないような無駄な映像データを映像データ記憶部３１に蓄積することがなくなり、また、情報処理装置１０の処理負荷が軽減される。

また、人流動線検出部２４は、人感センサ１６から得られる情報でなく、映像取得部２１で取得した映像に基づき、商品販売装置１の前面近傍における顧客の出入り監視するようにしてもよい。この場合には、情報処理装置１０の処理負荷は大きくなるが、人感センサ１６を設けなくても済むようになる。

また、人流動線検出部２４は、センサデータ取得部２３を介しての人感センサ１６からの情報と、移動体検知部２２１からの情報とを併せて、顧客の出入りを監視するようにしてもよい。この場合には、より信頼性の高い顧客出入り監視が可能になる。

次に、購買動作判定部２５は、顧客の購買動作の開始と終了とを判定する。ここでは、映像取得部２１で取得された映像中に所定の大きさより大きい顔が検出されるようになったときを、購買動作の開始と判定し、前記映像中から所定の大きさより大きい顔が検出されなくなったときを、購買動作の終了と判定する。

なお、顧客の購買動作の開始と終了は、顔の検出に限らず、他の情報によって定義してもよい。例えば、人流動線検出部２４の出力に基づき、商品販売装置１の前面近傍に顧客が検出されたときを購買動作の開始と判定し、商品販売装置１の前面近傍から顧客が検出されなくなったときを購買動作の終了と判定してもよい。また、商品ボタン１２が押されたとき、あるいは、取出口センサ１４が取出口４０の窓の開閉を検知したときを、購買動作の終了と判定してもよい。

購買動作判定部２５は、以上のような購買動作が終了したときには、センサデータ取得部２３を介して、顧客によって押された商品ボタン１２の識別番号を取得し、その識別番号に基づき、その商品ボタン１２と対のサンプル表示部２０が含まれるメッシュを識別するメッシュＩＤを取得する。そして、購買動作判定部２５は、そのメッシュＩＤ（以下、販売メッシュＩＤという）を含んだ顧客購買データを作成し、作成した顧客購買データを顧客購買データ記憶部３３に蓄積する。

ここで、顧客購買データのレコードは、図４（ｃ）に示すように、販売装置ＩＤ、顧客識別キー、購買開始時刻、購買終了時刻、開始時視線データ識別キー、終了時視線データ識別キー、販売メッシュＩＤなどを含んで構成される。この顧客購買データは、顧客が商品販売装置１を利用して商品を購買するたびに作成され、顧客購買データ記憶部３３に蓄積される。

次に、商品ＩＤ取得部２６は、商品の表示サンプルがサンプル表示部２０の収容部に配置されたとき、タグリーダ１７を介して、その表示サンプルに貼付されているＲＦＩＤタグに記憶されている商品ＩＤ、および、その表示サンプルが配置されたメッシュの位置を識別するメッシュＩＤを取得し、その商品ＩＤとそのメッシュＩＤとを対応付けたデータを商品配置データとして商品配置データ記憶部３４に記憶する。

ここで、商品配置データのレコードは、図４（ｄ）に示すように、販売装置ＩＤ、メッシュＩＤ、商品ＩＤなどを含んで構成される。図１に示した情報処理装置１０の場合、メッシュが１６個あるので、商品配置データ記憶部３４には、そのメッシュの数と同じ１６のレコードが記憶される。

以上のように、情報処理装置１０は、タグリーダ１７を介して、それぞれのサンプル表示部２０に配置された表示サンプルが表す商品の商品ＩＤ、および、その配置位置を表すメッシュＩＤを取得することができるので、商品販売装置１の管理者は、手動でデータ入力をすることなく、商品配置データ記憶部３４に記憶される商品配置データを変更することができる。

次に、データ送受信部２７は、視線データ記憶部３２に蓄積された視線データ、および、顧客購買データ記憶部３３に蓄積された顧客購買データを所定の期間ごとに（例えば、１日に１回）、または、販売管理センタ装置５から送信の指示を受信したときに、まとめて、通信装置１８およびネットワーク４を介して販売管理センタ装置５へ送信する。その場合、データ送受信部２７は、視線データや顧客購買データを所定のデータ圧縮方式（例えば、Ｚｉｐなど）で圧縮し、その圧縮したデータ送信してもよい。

また、データ送受信部２７は、商品配置データ記憶部３４に記憶されている商品配置データについては、その商品配置データが新たに作成されたとき、または、変更されたときに販売管理センタ装置５へ送信する。

続いて、図５〜図８を参照して、以上に説明した商品販売装置１の機能ブロックについて、その主要な機能を実現するためのＣＰＵの処理プログラムの処理フローの例について説明する。

図５は、購買動作判定部２５における顧客購買動作判定処理の処理フロー例を示した図である。この顧客購買動作判定処理は、所定の時間ごとに、例えば、映像取得部２１により、カメラ１１から１フレームの映像が取得されるたびに実行される。

なお、図５において、販売中フラグは、商品販売装置１が商品を販売中、つまり、顧客が商品を購買中であることを示すフラグである。すなわち、販売中フラグは、初期状態でクリアされており、顧客が商品販売装置１の前に立って、その購買動作が開始したときセットされ、購買動作が終了したときクリアされる。ここで、販売中フラグは、記憶装置上に構成したテーブルまたはテキストファイルなどにより管理するものとする。

図５に示すように、情報処理装置１０の図示しないＣＰＵ（以下、単にＣＰＵという）は、映像取得部２１を介して、カメラ１１から１フレームの映像データを取得する（ステップＳ０１）。次に、ＣＰＵは、移動体検知部２２１の移動体検知処理で検知した移動体領域を除外して背景領域を検出する（ステップＳ０２）。次に、ＣＰＵは、販売中フラグがオンか否かを判定する（ステップＳ０３）。

その判定の結果、販売中フラグがオンでなかったときには（ステップＳ０３でＮｏ）、ＣＰＵは、ステップＳ０１で取得した映像データでその背景領域の面積が所定の閾値Ａより小さいか否かを判定する（ステップＳ０４）。そして、背景領域の面積が所定の閾値Ａより小さいときには（ステップＳ０４でＹｅｓ）、ＣＰＵは、顔検知部２２２の顔検知処理の結果に基づき、前記取得した映像に顔を検知したか否かを判定する（ステップＳ０５）。

次に、ステップＳ０５の判定において、顔を検知したときには（ステップＳ０５でＹｅｓ）、ＣＰＵは、顧客が購買動作を開始したものと判断し、販売中フラグをセットして（ステップＳ０６）、当該１フレームの映像データについての顧客購買動作判定処理を終了する。

また、ステップＳ０４の判定で、背景領域の面積が所定の閾値Ａより小さくなかったとき（ステップＳ０４でＮｏ）、または、ステップＳ０５の判定で、顔を検知しなかったときには（ステップＳ０５でＮｏ）、ＣＰＵは、顧客が購買動作を未だ開始していないと判断して、当該１フレームの映像データについての顧客購買動作判定処理を終了する。

また、ステップＳ０３の判定で、販売中フラグがオンであったときには（ステップＳ０３でＹｅｓ）、ＣＰＵは、前記顔検知処理の結果に基づき、ステップＳ０１で取得した映像に顔を検知したか否かを判定する（ステップＳ０７）。その判定の結果、顔を検出しなかったときには（ステップＳ０７でＮｏ）、ＣＰＵは、前記取得した映像データでその背景領域の面積が所定の閾値Ｂより小さいか否かを判定する（ステップＳ０８）。

次に、ステップＳ０８の判定において、背景領域の面積が所定の閾値Ｂより小さくなかったときには（ステップＳ０８でＮｏ）、ＣＰＵは、顧客が購買動作を終了したものと判断して、販売中フラグをクリアし（ステップＳ０９）、顧客購買データを作成し、その作成した顧客購買データを顧客購買データ記憶部３３に蓄積して（ステップＳ１０）、当該１フレームの映像データについての顧客購買動作判定処理を終了する。

また、ステップＳ０７の判定で、顔を検知したとき（ステップＳ０７でＹｅｓ）、または、ステップＳ０８の判定で、背景領域の面積が所定の閾値Ｂより小さかったときには（ステップＳ０８でＹｅｓ）、ＣＰＵは、顧客が購買動作を未だ終了していないと判断して、当該１フレームの映像データについての顧客の購買動作判定処理を終了する。

なお、以上の処理において、閾値Ａは、閾値Ｂよりも小さく設定するものとする。そうしておけば、販売中フラグがいったんセットされると、顧客の動きによって背景領域の面積が多少変動しても、販売中フラグがすぐにクリアされるようなことはなくなる。

図６は、視線検出部２２４における視線検出処理の処理フローの例を示した図である。図７に示すように、ＣＰＵは、顔検知処理により、まず、映像データの中に顔を検知する（ステップＳ１１）。次に、ＣＰＵは、その顔の中で瞳（黒目）を探し、瞳を検出したときには（ステップＳ１２でＹｅｓ）、さらに、目領域を探す。そして、目領域を検出したときには（ステップＳ１３でＹｅｓ）、ＣＰＵは、さらに、両目を探す。

次に、ＣＰＵは、両目を検出したときには（ステップＳ１４でＹｅｓ）、両目についてそれぞれの目の視線方向を計算する（ステップＳ１５）。このとき、その視線方向は、前記したように、例えば、特許文献２に記載されている方法に基づき計算する。両目の場合には、視線方向が２つ得られるので、ＣＰＵは、その両目の視線方向を加算して（ステップＳ１６）、１つの視線方向にまとめる。一方、両目を検出しなかったときには（ステップＳ１４でＮｏ）、検出した片目の視線方向を計算する（ステップＳ１７）。

なお、視線方向は、例えば、瞳の位置を始点とするベクトルとして表されるので、両目の場合、そのベクトル加算をすればよい。また、視線の始点の位置は、両目の平均の位置（中間の位置）に定める。その場合、ベクトル加算や始点の平均位置の計算に際しては、顔の向きや視線の方向に応じて、視線ベクトルの大きさなどに、適宜、加重を付してもよい。

以上のようにして、視線方向が得られると、ＣＰＵは、注視対象検出処理として、その視線方向の先にある視線位置を検出する（ステップＳ１８）。ここで、視線位置とは、商品販売装置１の筐体の前面上で当該視線が指している位置をいう。なお、視線位置の検出処理については、次に、図７および図８を用いて詳しく説明する。

また、ステップＳ１２で瞳を検出しなかったとき（ステップＳ１２でＮｏ）、または、ステップＳ１３で目領域を検出しなかったときには（ステップＳ１３でＮｏ）、ＣＰＵは、そのまま何もせずに処理を終了する。

なお、以上の視線検出処理は、少なくとも顔が検知された映像について、１フレームごとに行われる。

続いて、図７および図８を参照して、視線位置検出処理の詳細について説明する。ここで、図７は、視線位置検出部２２５における視線位置を求める方法を説明するための図、図８は、視線位置検出部２２５における視線位置検出処理の処理フローの例を示した図である。

図７には、顧客が商品販売装置１の前面側に立って、その筐体の前面を見ている様子がその上面図として示されている。ここで、商品販売装置１の筐体内部には、カメラ１１がその筐体の前面に垂直な方向を向いて設けられている。このとき、カメラ１１の方向（カメラ視線）をｚ軸とし、商品販売装置１の筐体の前面上でｚ軸に交わる水平方向の直線をｘ軸とし、垂直方向の直線をｙ軸とする。このとき、ｚ軸は、カメラ視線となるので、撮影された映像の中心になる。また、カメラ１１が撮影可能な角度の範囲を画角と呼び、これをθで表す。

そこで、図８に示すように、情報処理装置１０のＣＰＵは、距離センサ１５などを介して商品販売装置１の筐体の前面から顧客までの距離（ｄ）を取得する（ステップＳ２１）。次に、ＣＰＵは、カメラ１１から得られる映像に基づき、ｘ軸方向およびｙ軸方向それぞれについて、カメラ映像中心と顔中心位置との差分量（δ_ｘ，δ_ｙ）を計算する（ステップＳ２２）。

なお、ここでいう顔中心とは、顧客の視線の始点をいい、両目の場合には、両目（瞳）の位置の平均位置（適宜、加重平均でもよい）であり、片目の場合には、その目（瞳）の位置をいう。また、その差分量（δ_ｘ，δ_ｙ）の計算に際しては、画角（θ）および顧客までの距離（ｄ）を考慮するものとする。なお、商品販売装置１が一般的な自動販売機である場合には、顧客までの距離（ｄ）は、顧客によらず概ね一定なので、距離センサ１５から得られる値ではなく、所定の定数としてもよい。

次に、ＣＰＵは、視線検出処理（図６参照）で計算された視線方向、ステップＳ２１で取得された顧客までの距離（ｄ）、ステップＳ２２で計算された差分量（δ_ｘ，δ_ｙ）に基づき、視線位置を計算する（ステップＳ２３）。このとき、視線の始点位置は、座標点（δ_ｘ，δ_ｙ，ｄ）と表すことができるので、求める視線位置は、視線方向と同じ方向の直線で、座標点（δ_ｘ，δ_ｙ，ｄ）を通る直線がｘｙ平面（ｚ＝０の平面）と交わる点のそのｘｙ平面上での座標値（ｓ_ｘ，ｓ_ｙ）として求めることができる。

次に、ＣＰＵは、視線位置の座標値（Ｓ_ｘ，Ｓ_ｙ）を含んで構成される視線データ（図４（ｂ）参照）を作成し、作成した視線データを視線データ記憶部３２に蓄積する（ステップＳ２４）。ここで、視線位置の座標値（Ｓ_ｘ，Ｓ_ｙ）は、ステップＳ２３で求めた座標値（ｓ_ｘ，ｓ_ｙ）をメッシュ１９の位置を表す座標系（図２参照）で表現し直したもの、つまり、座標変換したものである。なお、図４（ｂ）の視線データでは、座標値Ｓ_ｘは視線位置（ｘ）、座標値Ｓ_ｙは視線位置（ｙ）と表記されている。

（４．販売管理センタ装置の機能の詳細）
販売管理センタ装置５の機能は、その内部に含まれる情報処理装置５０によって実現される。以下、情報処理装置５０を構成する機能ブロックの機能について、図３および図９を参照して説明する。ここで、図９は、情報処理装置５０の各記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図である。

図３において、データ収集部６１は、商品販売装置１の視線データ記憶部３２、顧客購買データ記憶部３３および商品配置データ記憶部３４にそれぞれ蓄積された視線データ、顧客購買データおよび商品配置データを収集して、収集したデータを自らの記憶装置に構成された視線データ記憶部７２、顧客購買データ記憶部７３および商品配置データ記憶部７４に蓄積する。

その場合、データ収集部６１は、視線データおよび顧客購買データについては、所定の期間ごと、例えば、１日ごとに、商品販売装置１に対してポーリングすることにより収集する。また、商品配置データについては、商品販売装置１でそのデータの更新がされたときに、商品販売装置１から送信されるので、データ収集部６１は、その送信されてくる商品配置データを受信すればよい。

なお、図９（ａ）、（ｂ）に示すように、視線データ記憶部７２および顧客購買データ記憶部７３にそれぞれに蓄積される視線データおよび顧客購買データのレコード構成は、商品販売装置１の視線データ記憶部３２および顧客購買データ記憶部３３にそれぞれに蓄積された視線データおよび顧客購買データの構成と同じである。従って、データ収集部６１は、商品販売装置１から収集した視線データおよび顧客購買データを、それぞれ、そのまま視線データ記憶部７２および顧客購買データ記憶部７３に蓄積すればよい。

また、図９（ｃ）に示すように、商品配置データ記憶部７４に蓄積される商品配置データは、商品販売装置１の商品配置データ記憶部３４に蓄積されるデータに適用開始年月日および適用終了年月日が付加された構成となっている。従って、データ収集部６１は、商品販売装置１から送信されてくる商品配置データに適用開始年月日および適用終了年月日を付加して商品配置データ記憶部７４に蓄積する。このとき、適用開始年月日は、その商品配置データの受信日とし、また、適用終了年月日としては、あらかじめ期限日などが定められている場合には、それを用いてもよく、定められていない場合には、例えば、１０年先の日付を設定する。この場合は、適用終了年月日はないものもみなされる。

なお、視線データ記憶部７２、顧客購買データ記憶部７３および商品配置データ記憶部７４においては、複数の商品販売装置１からのデータが混在して蓄積されることになるが、各データには販売装置ＩＤが付されているので、そのデータがいずれの商品販売装置１から収集されたものであるかの識別は容易である。

次に、図３において、注視対象検出処理部６２は、適宜、商品販売装置１の販売装置ＩＤと処理対象期間とを指定し、その指定した商品販売装置１で、さらに、指定した処理対象期間に蓄積された視線データを抽出し、その抽出した視線データについて顧客の視線位置の動きを解析することにより、顧客が商品の購買開始から購買終了に到るまでにどのメッシュを注視したかという注視履歴データをバッチ処理により作成する。そして、その作成した注視履歴データを注視履歴データ記憶部７５に蓄積する。なお、注視とは、顧客の視線位置が、商品販売装置１の筐体の前面上のある領域（ここでは、いずれかのメッシュ１９）に所定の時間以上、例えば、０．３秒以上留まることをいう。

注視履歴データのレコードは、図９（ｄ）に示すように、商品販売装置１を識別する販売装置ＩＤ、顧客を識別する顧客識別キー、当該注視履歴データのレコードを識別する注視履歴識別キー、顧客がある商品（つまり、あるメッシュ）を注視したときの映像データのフレームＩＤ、当該注視履歴データが表す注視がされた注視年月日、その注視の注視時間、その注視の対象となったメッシュのメッシュＩＤ（注視メッシュＩＤ）などにより構成される。

注視対象検出処理部６２は、この注視履歴データを作成し、蓄積するために、以下の処理を実行する。

注視対象検出処理部６２は、まず、視線データ記憶部７２から、販売装置ＩＤと対象期間の年月日をキーとしてそのキーに該当する視線データを抽出する。そして、その抽出した視線データを顧客識別キーによって区分し、その区分した視線データを記憶装置に一時記憶する。この区分された視線データは、ある１人の顧客の購買開始から購買終了に到るまでの時系列の視線データに相当する。なお、視線データの時系列ソーティングは、視線データに含まれているフレームＩＤまたは視線検出時刻を用いることによって行うことができる。

次に、注視対象検出処理部６２は、このある１人の顧客の時系列の視線データに対し、注視対象検出処理（次に、図１０を用いて説明）を適用し、その顧客が購買開始から購買終了に到るまでに注視したメッシュ１９のメッシュＩＤとその注視時間とを求め、そのメッシュ１９のメッシュＩＤとに基づき、その顧客についての注視履歴データを作成し、作成した注視履歴データを注視履歴データ記憶部７５に蓄積する。

次に、注視対象検出処理部６２は、顧客識別キーによって区分された他のすべての顧客について同様の処理を行い、それぞれの顧客についての注視履歴データを作成し、作成した注視履歴データを注視履歴データ記憶部７５に蓄積する。これで、販売装置ＩＤと対象期間の年月日をキーとして抽出された視線データ、つまり、キーとした販売装置ＩＤを有する商品販売装置１において取得された視線データについての注視履歴データの作成およびその蓄積が終了したことになる。

さらに、注視対象検出処理部６２は、視線データ記憶部７２から視線データを抽出するときの販売装置ＩＤとして、販売管理センタ装置５にネットワーク４を介して接続された商品販売装置１が有する販売装置ＩＤのいずれかを設定し、そのすべての商品販売装置１の販売装置ＩＤについて、以上に説明した処理と同じ処理を繰り返し実行する。

以上の処理によって、販売管理センタ装置５にネットワーク４を介して接続されたすべての商品販売装置１によって、所定の対象期間に取得された全視線データを用いた注視履歴データの作成およびその蓄積が終了したことになる。

図１０は、注視対象検出処理部６２における注視対象検出処理の処理フローの例を示した図である。注視対象検出処理部６２は、この注視対象検出処理を、一時記憶された顧客の時系列の視線データを１レコードずつ読み取りながら繰り返し実行する。なお、この視線データの１レコードは、カメラ１１から得られる映像データの１フレームに対応している。そこで、注視対象検出処理部６２は、顧客の注視を、顧客の視線位置が所定の時間以上、つまり、所定のフレーム数以上に渡って、特定のメッシュ１９に連続して滞在したことを判定することによって検出する。

情報処理装置１０のＣＰＵは、まず、メッシュ定義データ記憶部７７を参照して、当該視線データによって表される視線位置が含まれるメッシュのメッシュＩＤを取得する（ステップＳ３１）。すなわち、顧客の視線位置がいずれのメッシュにあるかを判定する。

ここで、メッシュ定義データは、図９（ｆ）に示すように、販売装置ＩＤ、メッシュＩＤ、メッシュ左辺位置、メッシュ右辺位置、メッシュ下辺位置、メッシュ上辺位置などのデータを含んで構成される。このとき、メッシュ左辺位置、メッシュ右辺位置、メッシュ下辺位置およびメッシュ上辺位置は、商品販売装置１におけるメッシュ１９の配置位置を表すデータであり、その詳細については、図２を用いて説明した通りである。

本実施形態では、メッシュ定義データ記憶部７７には、販売管理センタ装置５にネットワーク４を介して接続されたすべての商品販売装置１についてのメッシュ定義データが事前に設定され、格納される。そこで、ステップＳ３１における処理では、ＣＰＵは、そのメッシュ定義データ記憶部７７から、視線データに含まれる販売装置ＩＤと同じ販売装置ＩＤを有するメッシュ定義データを抽出する。こうして抽出されたメッシュ定義データは、当該販売装置ＩＤを有する商品販売装置１に設けられたメッシュ１９の配置位置を表すデータである。

そこで、ＣＰＵは、その抽出されたメッシュ定義データを参照して、当該視線データが表す視線位置（視線位置（ｘ）、視線位置（ｙ））が、いずれのメッシュ１９の領域に含まれるかを判定し、その視線位置が含まれるメッシュ１９のメッシュＩＤを取得する。なお、視線位置がいずれのメッシュ１９にも含まれない場合には、例えば、「９９９９９」など、実際上あり得ないメッシュＩＤを取得する（以下、実際に存在するメッシュ１９のメッシュＩＤを「有意のメッシュＩＤ」という）。

続いて、ＣＰＵは、今回のメッシュＩＤが前回のメッシュＩＤと同じであるか否かを判定する（ステップＳ３２）。ここで、今回のメッシュＩＤとは、そのとき実行中の処理により得られたメッシュＩＤをいい、前回のメッシュＩＤとは、今回の処理対象の視線データの１つ前の視線データについて行った処理により得られたメッシュＩＤをいう。

そこで、今回のメッシュＩＤが前回のメッシュＩＤと同じであった場合には（ステップＳ３２でＹｅｓ）、ＣＰＵは、視線位置がそのメッシュＩＤを有するメッシュ１９に滞在する時間、つまり、注視時間をカウントアップして（ステップＳ３９）、当該視線データに対する処理を終了する。また、今回のメッシュＩＤが前回のメッシュＩＤと同じでなかった場合には（ステップＳ３２でＮｏ）、ＣＰＵは、さらに、前回のメッシュＩＤが有意のメッシュＩＤであったか否かを判定する（ステップＳ３３）。

そして、前回のメッシュＩＤが有意のメッシュＩＤであった場合には（ステップＳ３３でＹｅｓ）、視線位置は、前回まで含まれていたメッシュ１９の外に移動したことになるので、ＣＰＵは、そのとき示されている注視時間が所定の閾値時間、例えば、０．３秒以上であるか否かを判定する（ステップＳ３５）。

そこで、その注視時間が所定の閾値時間以上であった場合には（ステップＳ３５でＹｅｓ）、ＣＰＵは、前回のメッシュＩＤを注視メッシュＩＤとし（ステップＳ３６）、その注視メッシュＩＤを含んだ注視履歴データを作成し、作成した注視履歴データを注視履歴データ記憶部７５に蓄積（ステップＳ３７）した後、注視時間をクリアして（ステップＳ３８）、当該視線データに対する処理を終了する。また、注視時間が所定の閾値時間以上でなかった場合には（ステップＳ３５でＮｏ）、顧客がそのメッシュ１９を注視したことにはならないので、ＣＰＵは、注視時間をクリアして（ステップＳ３８）、当該視線データに対する処理を終了する。

一方、ステップＳ３３で、前回のメッシュＩＤが有意のメッシュＩＤでなかった場合には（ステップＳ３３でＮｏ）、ＣＰＵは、さらに、今回のメッシュＩＤが有意のメッシュＩＤであるか否かを判定する（ステップＳ３４）。その判定の結果、今回のメッシュＩＤが有意のメッシュＩＤであった場合には（ステップＳ３４でＹｅｓ）、注視時間をカウントアップして（ステップＳ３９）、当該視線データに対する処理を終了する。また、今回のメッシュＩＤが有意のメッシュＩＤでなかった場合には（ステップＳ３４でＮｏ）、そのまま当該視線データに対する処理を終了する。

以上の処理により、ＣＰＵは、顧客が注視するメッシュ１９のメッシュＩＤおよびその注視時間を得ることができ、さらに、ある１人の顧客が購買開始から購買終了までの間にメッシュ１９を注視した注視履歴データを作成し、その作成した注視履歴データを注視履歴データ記憶部７５に蓄積することができる。

なお、以上の処理においては、各フレームの映像から得られる視線位置が、一瞬、他の位置にぶれる場合がある。そのようなことが頻繁に生じると、顧客が注視するメッシュ１９を定めることができなくなる。

それを防止するには、例えば、視線位置として移動平均の概念を利用するとよい。すなわち、視線データから得られる視線位置をそのまま使用せずに、当該視線データを含み、当該視線データに先行する数レコードの視線データから得られる視線位置について、その平均位置を計算し、その平均位置を当該視線データに対する視線位置として用いる。こうすることによって、視線位置が、一瞬、他の位置にぶれるようなことがあっても、顧客が注視するメッシュ１９を適正に定めることができる。

なお、本実施形態では、メッシュ定義データは、販売管理センタ装置５にネットワーク４を介して接続されるすべての商品販売装置１について、それぞれ異なったデータを設定できるものとしているが、商品販売装置１の機種ごとに異なるように設定してもよい。その場合には、メッシュ定義データの第１フィールドは、販売装置ＩＤに代えて、機種ＩＤとなり、販売装置ＩＤそれぞれについて機種ＩＤを対応付けるテーブルが必要となる。

再び、図３を参照する。商品別注視・販売データ集計部６３は、顧客購買データ記憶部７３、商品配置データ記憶部７４および注視履歴データ記憶部７５にそれぞれ蓄積された顧客購買データ、商品配置データおよび注視履歴データに基づき、それぞれの商品販売装置１ごとに、その商品販売装置１に設けられたそれぞれのメッシュ１９の１日分の注視時間の合計と、そのメッシュ１９に対応するサンプル表示部２０が表示する商品の１日分の販売個数を集計し、その集計したデータを含んだ商品別注視・販売集計データを作成し、その作成した商品別注視・販売集計データを商品別注視・販売集計データ記憶部７６に蓄積する。

ここで、商品別注視・販売集計データは、図９（ｅ）に示すように、販売装置ＩＤ、メッシュＩＤ、商品ＩＤ、注視合計時間、販売個数、販売日などのデータによって構成される。ここで、商品ＩＤは、当該メッシュＩＤを有するメッシュ１９に対応するサンプル表示部２０が表示する商品の識別データであり、注視合計時間は、当該販売日に当該メッシュＩＤを有するメッシュ１９が顧客によって注視された注視時間の合計であり、販売個数は、当該販売日に当該メッシュＩＤを有するメッシュ１９に対応する商品ボタン１２が押されることによって販売された商品の数である。

図１１は、商品別注視・販売データ集計部６３における商品別注視・販売データ集計処理の処理フローの例を示した図である。なお、この処理により、１レコードの商品別注視・販売集計データが作成される。

ＣＰＵは、まず、商品販売装置１の販売装置ＩＤ、その商品販売装置１に含まれるメッシュのメッシュＩＤ、年月日を指定する（ステップＳ４１）。

次に、ＣＰＵは、ステップＳ４１で指定された販売装置ＩＤ、メッシュ、年月日をキーとする検索により、注視履歴データ記憶部７５から該当する注視履歴データを抽出し、抽出した注視履歴データに含まれる注視時間を集計し、１日分の注視合計時間を取得する（ステップＳ４２）。

次に、ＣＰＵは、ステップＳ４１で指定された販売装置ＩＤ、メッシュ、年月日をキーとする検索により、顧客購買データ記憶部７３から該当する顧客購買データを抽出し、当該メッシュＩＤに対応する商品の販売個数を集計し、１日分のその商品の販売個数を取得する（ステップＳ４３）。このとき、ＣＰＵは、商品配置データ記憶部７４を参照して、当該メッシュＩＤに対応する商品の商品ＩＤも併せて取得する。

次に、ＣＰＵは、ステップＳ４２およびステップＳ４３で取得された注視合計時間、注視時間および商品ＩＤを含んだ商品別注視・販売集計データを作成し、作成した商品別注視・販売集計データを商品別注視・販売集計データ記憶部７６に蓄積する（ステップＳ４３）。

ＣＰＵは、ステップＳ４１において販売管理センタ装置５にネットワーク４を介して接続されるすべての商品販売装置１の販売装置ＩＤ、および、その商品販売装置１に含まれるすべてのメッシュ１９のメッシュＩＤをそれぞれ指定し、以上に説明した商品別注視・販売データ集計処理を繰り返し実行することにより、ある１日のすべての商品別注視・販売集計データを作成し、その作成した商品別注視・販売集計データを商品別注視・販売集計データ記憶部７６に蓄積することができる。

以上のような処理を、商品別注視・販売データ集計部６３が、例えば、毎日１回、販売日を前日に指定して実行するようにすれば、日ごとの商品別注視・販売集計データが商品別注視・販売集計データ記憶部７６に、毎日、蓄積されていく。

再び、図３を参照する。集計データ出力部６４は、表示端末５１から入力される要求に応じて、商品別注視・販売集計データ記憶部７６に蓄積されたデータをそのまま、または、さらに集計したデータを表示端末５１に出力する。なお、さらに集計したデータの例としては、商品販売装置１の機種ごとにメッシュ１９それぞれの注視合計時間の平均値や販売個数の平均値などがある。

以上、本実施形態によれば、商品販売装置１は、顧客の視線データを、単に取得、蓄積した後、販売管理センタ装置５からの指示のもとに、その蓄積した視線データをまとめて販売管理センタ装置５へ送信し、販売管理センタ装置５において、その視線データを解析し、顧客が注視するメッシュ１９を検出するようにしている。

そのため、商品販売装置１は、自らのメッシュ１９の配置位置データであるメッシュ定義データを保持する必要がない。このメッシュ定義データは、商品販売装置１の機種に依存するデータであるが、それを保持する必要がないので、商品販売装置１は、製造時や保守時などにおけるプログラムのインストールに際し、機種に依存するデータの設定が不要となる。従って、商品販売装置１の製造者、または、その保守管理者は、機種に依存しない商品販売装置１の１つのプログラムだけを準備しておけばよいので、そのインストールなどの手間を低減することができ、その結果、商品販売装置１の製造コストや保守コストを低減することができる。

＜第２の実施形態＞
図１２は、本発明の第２の実施形態に係る商品販売管理システムの機能ブロックの構成の例を示した図である。商品販売管理システム１００ａは、販売管理センタ装置５ａにネットワーク４を介して１つ以上の商品販売装置１ａが接続されて構成される。ここで、第１の実施形態（図３参照）と同じ構成要素には、同じ符号を付している。

図１２に示すように、商品販売装置１ａおよび販売管理センタ装置５ａの機能ブロックは、第１の実施形態の場合の商品販売装置１および販売管理センタ装置５（図３参照）の機能ブロックと、構成要素の差異は少ない。また、商品販売装置１ａの外観の構成については、第１の実施形態の場合と全く同じである（図１参照）。以下、第１の実施形態の場合と同じ構成要素については、その説明を省略し、相違する部分についてのみ説明する。

第２の実施形態が第１の実施形態と相違する点は、第１の実施形態では販売管理センタ装置５で実行した注視対象検出処理（図１０参照）を、第２の実施形態では商品販売装置１ａで実行するようにしたことにある。

そこで、商品販売装置１ａでは、視線判定部２２（図３参照）に代えて注視判定部２２ａが設けられ、また、視線データ記憶部３２（図３参照）に代えて注視履歴データ記憶部３５およびメッシュ定義データ記憶部３６が設けられている。このとき、注視判定部２２ａの内部では、視線位置検出部２２５（図３参照）が注視対象検出部２２６に入れ替えられている。

一方、商品販売装置１ａでは、注視対象検出処理部６２および視線データ記憶部７２（図３参照）が削除され、また、データ収集部６１（図３参照）に代えて、データ配信・収集部６１ａが設けられている。

従って、商品販売装置１ａの注視対象検出部２２６は、視線位置検出部２２５（図３参照）が行っていた視線位置検出処理（図８参照）と、注視対象検出処理部６２が行っていた注視対象検出処理（図１０参照）に相当する処理と、を併せて実行する。すなわち、注視対象検出部２２６は、視線検出部２２４によって映像データ１フレームごとに検出される顧客の視線に基づき、視線位置を求め（図８参照）、その視線位置を解析して、顧客が注視するメッシュを検出することにより注視履歴データを作成し、作成した注視履歴データを注視履歴データ記憶部３５に蓄積する。

なお、視線位置検出部２２５により実行される注視対象検出処理は、図１０に示した注視対象検出処理とほぼ同じであるが、本実施形態の場合、図１０の注視対象検出処理は、バッチ処理されるのではなく、カメラ１１から１フレームの映像データが取得され、その視線が視線検出部２２４により検出するたびに実行される。

また、注視対象検出処理の実行には、商品販売装置１ａに応じてメッシュの配置位置を定義したメッシュ定義データが必要となるが、本実施形態では、各商品販売装置１ａにおけるメッシュ定義データは、販売管理センタ装置５ａから配信されるものとする。

すなわち、販売管理センタ装置５ａは、ネットワーク４を介して自らに接続された商品販売装置１ａについてのすべてのメッシュ定義データを、メッシュ定義データのマスタデータとしてメッシュ定義データ記憶部７７に保管する。そして、販売管理センタ装置５ａは、例えば、新たな商品販売装置１ａがネットワーク４を介して接続されたとき、あるいは、商品販売装置１ａが保守されたときなどに、その商品販売装置１ａの販売装置ＩＤが付されたメッシュ定義データを商品販売装置１ａへ配信する。一方、メッシュ定義データの配信を受けた商品販売装置１ａは、そのメッシュ定義データをメッシュ定義データ記憶部３６に格納する。

図１２において、データ配信・収集部６１ａは、商品販売装置１ａへ、その商品販売装置１ａのために定義されたメッシュ定義データを配信するほか、第１の実施形態の場合と同様に、商品販売装置１ａにおいて作成され、蓄積された注視履歴データ、顧客購買データ、商品配置データを収集する。

本実施形態では、データ配信・収集部６１ａは、商品販売装置１ａからは視線データではなく注視履歴データを収集する。視線データは、映像データの１フレームごとに作成されるデータであるが、注視履歴データは、顧客が購買開始から購買終了までに注視したメッシュ１９ごとに作成されるデータである。従って、商品販売装置１ａから販売管理センタ装置５ａへ送信されるデータ量が大幅に削減され、ネットワーク４における通信負荷が大幅に軽減される。ちなみに、視線データは、顧客の購買開始から購買終了まで２０秒要したとすれば、２０秒×３０フレーム、つまり、６００レコードのデータが作成され、送信される。一方、注視履歴データは、顧客が購買開始から購買終了までの間に１０のメッシュを注視したとしても、１０レコードのデータしか作成されず、従って、１０レコードのデータしか送信されない。

また、本実施形態では、販売管理センタ装置５ａは、商品販売装置１ａのメッシュ定義データをメッシュ定義データ記憶部７７にまとめて格納しておき、必要に応じて、商品販売装置１ａへ配信する。従って、商品販売装置１ａは、その機種に依存するメッシュ定義データを、プログラムインストール時などに併せて設定する必要がない。そのため、商品販売装置１ａの製造者、または、その保守管理者は、機種を考慮せず、そのプログラムをインストールすることができるので、そのインストールなどの手間を低減することができ、その結果、商品販売装置１ａの製造コストや保守コストを低減することができる。

本発明の第１の実施形態に係る商品販売装置の外観および内部構成の概略を示した図。 メッシュの概念およびその位置データの定義を説明するための模式図。 本発明の第１の実施形態に係る商品販売管理システムの機能ブロックの構成の例を示した図。 情報処理装置の各記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図。 購買動作判定部における顧客購買動作判定処理の処理フロー例を示した図。 視線検出部における視線検出処理の処理フローの例を示した図。 視線位置検出部における視線位置を求める方法を説明するための図。 視線位置検出部における視線位置検出処理の処理フローの例を示した図。 情報処理装置の各記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図。 注視対象検出処理部における注視対象検出処理の処理フローの例を示した図。 商品別注視・販売データ集計部における商品別注視・販売データ集計処理の処理フローの例を示した図。 本発明の第２の実施形態に係る商品販売管理システムの機能ブロックの構成の例を示した図。

符号の説明

１，１ａ 商品販売装置
４ ネットワーク
５，５ａ 販売管理センタ装置
１０ 情報処理装置
１１ カメラ
１２ 商品ボタン
１３ 入金センサ
１４ 取出口センサ
１５ 距離センサ
１６ 人感センサ
１７ タグリーダ
１８ 通信装置
１９ メッシュ
２０ サンプル表示部
２１ 映像取得部
２２ 視線判定部
２２ａ 注視判定部
２３ センサデータ取得部
２４ 人流動線検出部
２５ 購買動作判定部
２６ 商品ＩＤ取得部
２７ データ送受信部
３０ 入金口
３１ 映像データ記憶部
３２ 視線データ記憶部
３３ 顧客購買データ記憶部
３４ 商品配置データ記憶部
３５ 注視履歴データ記憶部
３６ メッシュ定義データ記憶部
４０ 取出口
５０ 情報処理装置
５１ 表示端末
５２ 通信装置
６１ データ収集部
６１ａ データ配信・収集部
６２ 注視対象検出処理部
６３ 商品別注視・販売データ集計部
６４ 集計データ出力部
７２ 視線データ記憶部
７３ 顧客購買データ記憶部
７４ 商品配置データ記憶部
７５ 注視履歴データ記憶部
７６ 商品別注視・販売集計データ記憶部
７７ メッシュ定義データ記憶部
１００，１００ａ 商品販売管理システム
２２１ 移動体検知部
２２２ 顔検知部
２２３ 顔特徴量計算部
２２４ 視線検出部
２２５ 視線位置検出部
２２６ 注視対象検出部

Claims (6)

1. 販売中の商品を識別可能に表示するサンプル表示部と前記商品を購買する前記顧客を撮影するカメラとを備えた商品販売装置が、前記商品販売装置の前記サンプル表示部の識別データとそのサンプル表示部の前記商品販売装置の筐体外面上における設置位置の領域データとを対応付けた領域定義データを記憶した記憶装置を備えた販売管理センタ装置に、通信ネットワークを介して接続された構成において行われる注視商品データ取得方法であって、
   前記商品販売装置は、
   前記カメラから取得される前記顧客の顔の映像を解析して前記顧客の視線を検出し、その検出した視線が前記商品販売装置の筐体外面上で交わる位置の位置データを視線位置データとして算出し、
   前記算出した視線位置データに前記顧客の識別データと前記視線を検出した視線検出日時とを付したデータを視線データとして記憶装置に蓄積し、
   前記記憶装置に蓄積された所定期間の前記視線データを前記販売管理センタ装置へ送信し、
   前記販売管理センタ装置は、
   前記記憶装置に記憶された前記領域定義データを参照して、前記商品販売装置から送信された前記視線データに含まれる視線位置データが、いずれのサンプル表示部に対応付けられた領域に含まれるかを判定することにより、前記顧客が注視した前記サンプル表示部の識別データおよびその注視時間を含むデータを注視データとして取得し、
   前記取得した注視データに前記商品販売装置の識別データ、前記顧客の識別データおよび前記注視データ取得に係る視線データの視線検出日時を付したデータを、注視履歴データとして記憶装置に蓄積し、
   所定の期間内に前記記憶装置に蓄積された前記注視履歴データについて、その注視履歴データに含まれる注視時間を、前記商品販売装置ごとに、かつ、その商品販売装置に含まれる前記サンプル表示部ごとに集計し、その集計した注視時間を出力すること
   を特徴とする注視商品データ取得方法。
2. 販売中の商品を識別可能に表示するサンプル表示部と前記商品を購買する前記顧客を撮影するカメラとを備えた商品販売装置が、前記商品販売装置の前記サンプル表示部の識別データとそのサンプル表示部の前記商品販売装置の筐体外面上における設置位置の領域データとを対応付けた領域定義データを記憶した記憶装置を備えた販売管理センタ装置に、通信ネットワークを介して接続された構成において行われる注視商品データ取得方法であって、
   前記商品販売装置は、
   前記販売管理センタ装置から配信される当該商品販売装置についての前記領域定義データを受信して、その領域定義データを記憶装置に記憶しておき、
   前記カメラから取得される前記顧客の顔の映像を解析して前記顧客の視線を検出し、その検出した視線が前記商品販売装置の筐体外面上で交わる位置の位置データを視線位置データとして算出し、
   前記記憶装置に記憶された前記領域定義データを参照して、前記算出した視線位置データが、いずれのサンプル表示部に対応付けられた領域に含まれるかを判定することにより、前記顧客が注視した前記サンプル表示部の識別データおよびその注視時間を含むデータを注視データとして取得し、
   前記取得した注視データに、当該商品販売装置の識別データ、前記顧客の識別データおよび前記注視データの取得日時を付したデータを、注視履歴データとして前記販売管理センタ装置へ送信し、
   前記販売管理センタ装置は、
   前記商品販売装置から送信された前記注視履歴データを記憶装置に蓄積し、
   所定の期間内に前記記憶装置に蓄積された前記注視履歴データについて、その注視履歴データに含まれる注視時間を、前記商品販売装置ごとに、かつ、その商品販売装置に含まれる前記サンプル表示部ごとに集計し、その集計した注視時間を出力すること
   を特徴とする注視商品データ取得方法。
3. 前記商品販売装置は、さらに、
   前記サンプル表示部に配置される表示サンプルに貼付されたＲＦＩＤタグから、その表示サンプルが表示する商品の識別データを読み出すタグリーダを備え、
   前記商品販売装置は、
   前記サンプル表示部に前記ＲＦＩＤタグが貼付された表示サンプルが配置されたときには、前記タグリーダを介して、前記ＲＦＩＤタグから読み出される商品の識別データとそのサンプル表示部の識別データとを取得し、
   前記取得した商品の識別データとサンプル表示部の識別データとを対応付けたデータを商品配置データとして前記販売管理センタ装置へ送信すること
   を特徴とする請求項１または請求項２に記載の注視商品データ取得方法。
4. 販売中の商品を識別可能に表示するサンプル表示部と前記商品を購買する前記顧客を撮影するカメラとを備えた商品販売装置が、前記商品販売装置の前記サンプル表示部の識別データとそのサンプル表示部の前記商品販売装置の筐体外面上における設置位置の領域データとを対応付けた領域定義データを記憶した記憶装置を備えた販売管理センタ装置に、通信ネットワークを介して接続されて構成された商品販売管理システムであって、
   前記商品販売装置は、
   前記カメラから取得される前記顧客の顔の映像を解析して前記顧客の視線を検出し、その検出した視線が前記商品販売装置の筐体外面上で交わる位置の位置データを視線位置データとして算出する手段と、
   前記算出した視線位置データに前記顧客の識別データと前記視線を検出した視線検出日時とを付したデータを視線データとして蓄積する記憶手段と、
   前記記憶手段に蓄積された所定期間の前記視線データを前記販売管理センタ装置へ送信する手段と、
   を備え、
   前記販売管理センタ装置は、
   前記記憶装置に記憶された前記領域定義データを参照して、前記商品販売装置から送信される前記視線データに含まれる視線位置データが、いずれのサンプル表示部に対応付けられた領域に含まれるかを判定することにより、前記顧客が注視した前記サンプル表示部の識別データおよびその注視時間を含むデータを注視データとして取得する手段と、
   前記取得した注視データに前記商品販売装置の識別データ、前記顧客の識別データおよび前記注視データ取得に係る視線データの視線検出日時を付したデータを、注視履歴データとして蓄積する記憶手段と、
   所定の期間内に前記記憶手段に蓄積された前記注視履歴データについて、その注視履歴データに含まれる注視時間を、前記商品販売装置ごとに、かつ、その商品販売装置に含まれる前記サンプル表示部ごとに集計し、その集計した注視時間を出力する手段と、
   を備えたこと
   を特徴とする商品販売管理システム。
5. 販売中の商品を識別可能に表示するサンプル表示部と前記商品を購買する前記顧客を撮影するカメラとを備えた商品販売装置が、前記商品販売装置の前記サンプル表示部の識別データとそのサンプル表示部の前記商品販売装置の筐体外面上における設置位置の領域データとを対応付けた領域定義データを記憶した記憶装置を備えた販売管理センタ装置に、通信ネットワークを介して接続されて構成された商品販売管理システムであって、
   前記商品販売装置は、
   前記販売管理センタ装置から配信される当該商品販売装置についての前記領域定義データを受信して、その領域定義データを記憶する記憶手段と、
   前記カメラから取得される前記顧客の顔の映像を解析して前記顧客の視線を検出し、その検出した視線が前記商品販売装置の筐体外面上で交わる位置の位置データを視線位置データとして算出する手段と、
   前記記憶装置に記憶された前記領域定義データを参照して、前記算出した視線位置データが、いずれのサンプル表示部に対応付けられた領域に含まれるかを判定することにより、前記顧客が注視した前記サンプル表示部の識別データおよびその注視時間を含むデータを注視データとして取得する手段と、
   前記取得した注視データに、当該商品販売装置の識別データ、前記顧客の識別データおよび前記注視データの取得日時を付したデータを、注視履歴データとして前記販売管理センタ装置へ送信する手段と、
   を備え、
   前記販売管理センタ装置は、
   前記商品販売装置から送信された前記注視履歴データを蓄積する記憶手段と、
   所定の期間内に前記記憶手段に蓄積された前記注視履歴データについて、その注視履歴データに含まれる注視時間を、前記商品販売装置ごとに、かつ、その商品販売装置に含まれる前記サンプル表示部ごとに集計し、その集計した注視時間を出力する手段と、
   を備えたこと
   を特徴とする商品販売管理システム。
6. 前記商品販売装置は、さらに、
   前記サンプル表示部に配置される表示サンプルに貼付されたＲＦＩＤタグから、その表示サンプルが表示する商品の識別データを読み出すタグリーダを備え、
   前記商品販売装置は、
   前記サンプル表示部に前記ＲＦＩＤタグが貼付された表示サンプルが配置されたときには、前記タグリーダを介して、前記ＲＦＩＤタグから読み出される商品の識別データとそのサンプル表示部の識別データとを取得し、
   前記取得した商品の識別データとサンプル表示部の識別データとを対応付けたデータを商品配置データとして前記販売管理センタ装置へ送信すること
   を特徴とする請求項４または請求項５に記載の商品販売管理システム。
   
   

Images