JP2017107546A - 視線検出システム、視線検出プログラムおよび視線検出方法 - Google Patents

Abstract

【課題】顧客毎の補正データを予め取得することなく、顧客の視線の検出精度の向上を図る技術を提供することを目的とする。【解決手段】顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を記憶する記憶部と、顧客を撮像する撮像装置により撮像された画像を用いて、複数の商品の情報が提示される領域内における顧客の視線位置を検出する検出部と、顧客により購入される商品を示す購入情報を取得する入力処理装置から取得した第１の顧客についての購入情報と、記憶部に記憶された対応情報とに基づいて、該第１の顧客により購入された商品の中から１の商品を決定する決定部と、検出部が検出した第１の顧客の領域内における視線位置を、決定部が決定した１の商品についての情報が提示される領域内の位置に基づいて較正する較正部とを含む検出装置を有する。【選択図】図１

Description

本発明は、視線検出システム、視線検出プログラムおよび視線検出方法に関する。

例えば、スーパーマーケットやレストラン等の店舗では、ＰＯＳ（Point of sale system）レジスタ装置等を用いて、購入された商品に関する購入情報として、例えば、購入された商品の名称および価格等が取得されている。そして、店舗では、例えば、取得した購入情報を用いて商品の仕入れ量、価格あるいは陳列の仕方等が決められている。

また、顧客を撮影した画像を用いて判定した顧客がどの商品を注視したかについてのデータと、顧客が購買した商品についてのデータとを利用して、精度の良いマーケッティングを実行する技術が提案されている（例えば、特許文献１、２参照）。簡易キャリブレーションを実現した視線測定システムも知られている（例えば、非特許文献１、２参照）。

特開２００９−１５１４０９号公報 特開２０１０−２０４８８２号公報

大野他，"２点補正による簡易キャリブレーションを実現した視線測定システム"，情報処理学会論文誌，Ｖｏｌ．４４，Ｎｏ４，ｐｐ．１１３６−１１４９，２００３ Ohno et al., "FreeGaze: A Gaze Tracking System for Everyday Gaze Interaction", ETRA 2002, pp. 125-132, 2002

画像から検出される各顧客の視線は、同様の条件下で検出される場合でも、顧客毎に眼球半径等が異なるため顧客毎の個人差の影響を含む。このため、顧客毎の個人差を考慮することなく視線が検出される場合で、かつ購入された商品が互いに隣接して配置されている場合、顧客が実際に注視した商品と購入した商品との対応付けを誤って判断してしまうことがある。

そこで、視線の検出処理では、例えば、予め指定される複数の所定の箇所を被験者に注視させ、眼球半径等の被験者の個人差を示す補正データを取得し、取得した補正データを用いて個人差の影響を補正する方法が知られている。しかしながら、この方法を、店舗内における商品選定の際の顧客の視線検出に応用することを考えた場合、店舗には不特定多数の顧客が訪れるため、顧客全ての補正データを予め取得することは困難である。

１つの側面では、本件開示の視線検出システム、視線検出プログラムおよび視線検出方法は、顧客毎の補正データを予め取得することなく、顧客の視線の検出精度の向上を図る技術を提供することを目的とする。

一つの観点によれば、視線検出システムは、顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を記憶する記憶部と、顧客を撮像する撮像装置により撮像された画像を用いて、複数の商品の情報が提示される領域内における顧客の視線位置を検出する検出部と、顧客により購入される商品を示す購入情報を取得する入力処理装置から取得した第１の顧客についての購入情報と、記憶部に記憶された対応情報とに基づいて、該第１の顧客により購入された商品の中から１の商品を決定する決定部と、検出部が検出した第１の顧客の領域内における視線位置を、決定部が決定した１の商品についての情報が提示される領域内の位置に基づいて較正する較正部とを含む検出装置を有する。

別の観点によれば、視線検出プログラムは、１の顧客が購入した商品を示す購入情報を取得し、撮像装置により撮像された画像を用いて１の顧客が商品を購入する前の視線位置を検出し、顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を、購入情報に基づいて参照して１の顧客が注視した１の商品を決定し、１の顧客について検出した視線位置を、決定した１の商品の位置に基づいて較正する処理をコンピュータに実行させる。

別の観点によれば、視線検出方法は、１の顧客が購入した商品を示す購入情報を取得し、撮像装置により撮像された画像を用いて１の顧客が商品を購入する前の視線位置を検出し、顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を、購入情報に基づいて参照して１の顧客が注視した１の商品を決定し、１の顧客について検出した視線位置を、決定した１の商品の位置に基づいて較正する。

本件開示の視線検出システム、視線検出プログラムおよび視線検出方法は、顧客毎の補正データを予め取得することなく、顧客の視線の検出精度の向上を図ることができる。

視線検出システム、視線検出プログラムおよび視線検出方法の一実施形態を示す図である。 視線検出システムの別の実施形態を示す図である。 顧客の視線の動きと商品の位置との関係の一例を示す図である。 図２に示した注視テーブルの一例を示す図である。 図２に示した視線検出システムにおける視線検出処理の一例を示す図である。 視線検出システムの別の実施形態を示す図である。 図６に示した注視テーブルの一例を示す図である。 図６に示した視線検出システムにおける視線検出処理の一例を示す図である。 図１、図２および図６に示した視線検出システムのハードウェア構成の一例を示す図である。

以下、図面を用いて実施形態を説明する。
図１は、視線検出システム、視線検出プログラムおよび視線検出方法の一実施形態を示す。なお、視線検出システムＳＹＳの構成および動作は、図１に示す例に限定されず、例えば、検出装置４０内のいずれかの処理部が、通信可能に接続された別のコンピュータに設けられても構わない。

図１に示した視線検出システムＳＹＳは、撮像装置１０、入力処理装置２０、記憶装置３０および検出装置４０を有する。検出装置４０は、有線または無線を介して、撮像装置１０、入力処理装置２０および記憶装置３０と接続される。なお、検出装置４０は、ネットワークを介して、撮像装置１０、入力処理装置２０および記憶装置３０と接続されてもよい。

撮像装置１０は、例えば、デジタルカメラであり、レンズと、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子とを有する。撮像装置１０は、店舗に配置され、店舗に来た顧客ＣＳを毎秒３０フレーム等の所定のフレームレートで撮影する。撮像装置１０は、撮影した画像を検出装置４０に出力する。なお、複数の撮像装置１０が、店舗に配置されてもよい。また、撮像装置１０は店舗内のどこに配置されてもよいが、顧客ＣＳの顔を撮影できる位置に配置されることが望ましい。

入力処理装置２０は、ＰＯＳレジスタ装置、あるいはタブレット端末等のコンピュータであり、店舗に配置される。入力処理装置２０は、店舗の従業員等による入力操作を介して、顧客ＣＳが購入する商品に対する会計処理または注文の受注処理等を実行する。入力処理装置２０は、会計処理または受注処理により顧客ＣＳが購入または注文した商品を示す情報（以下、購入情報とも称される）を取得する。入力処理装置２０は、取得した購入情報を検出装置４０に出力する。

記憶装置３０は、ハードディスク装置等であり、顧客ＣＳが購入する商品の組合せと顧客ＣＳが注視する商品との関係を示す対応情報３１を記憶する。対応情報３１は、例えば、顧客ＣＳに対するアンケート等に基づいて予め生成され、記憶装置３０に記憶される。例えば、店舗の従業員等は、購入された商品の各々が注視して（じっくり見て）購入された商品か注視せずに購入された商品かを調査するアンケートを複数の顧客ＣＳに予め行う。そして、アンケートの結果に基づいて、購入する商品の組合せに応じて顧客ＣＳがいずれの商品を主に注視するかの確率等が算出される。例えば、検出装置４０は、入力処理装置２０等の従業員等による操作を介して、購入される商品の組合せに応じて注視される商品毎の確率等の値を取得する。検出装置４０は、受信した商品の組合せ、注視される商品および確率を含む対応情報３１を生成し、生成した対応情報３１を記憶装置３０に格納する。

なお、対応情報３１は、注視される商品の位置を示す情報として、例えば、撮像装置１０により撮影された画像における商品の中心位置等を含んでもよい。また、対応情報３１は、検出装置４０とは別のコンピュータ装置等により生成されてもよい。

なお、記憶装置３０は、店舗に配置されてもよく、店舗がフランチャイズ店等の場合にはフランチャイズの本部等の建物に配置されてもよい。また、記憶装置３０は、検出装置４０内のハードディスクまたはメモリ等の記憶部によって実現されてもよい。すなわち、記憶装置３０に格納された情報が、検出装置４０が処理を実行する際に参照可能な状態であれば、どのような形態で実装されても構わない。

検出装置４０は、コンピュータ装置等である。検出装置４０は、検出部４１、決定部４２および較正部４３を有する。例えば、コンピュータ装置に含まれるプロセッサ等が、コンピュータ装置に含まれるメモリ等の記憶部に記憶された視線検出プログラムを実行することで、検出部４１、決定部４２および較正部４３として動作する。あるいは、検出部４１、決定部４２および較正部４３は、検出装置４０内に配置される回路により実現されてもよい。

検出部４１は、撮像装置１０により所定のフレームレートで撮影された画像の各々を用いて角膜反射法等の視線を検出する検出処理を実行し、顧客ＣＳの視線位置を検出する。

なお、検出部４１が角膜反射法を用いる場合、撮像装置１０として赤外線を検出可能なカメラを用い、顧客ＣＳに向けて赤外線の光を射出する光源が、撮像装置１０に、あるいは撮像装置１０に隣接して、配置されることが好ましい。この場合、検出部４１は、例えば、撮像装置１０により撮影された画像における輝度値の分布を算出し、顧客ＣＳの目の瞳孔として、輝度値が周囲の領域の輝度値より小さい円形の領域を検出する。また、検出部４１は、算出した輝度値の分布に基づいて、光源により射出された赤外線が顧客ＣＳの目の角膜で反射した箇所を示す輝点として、輝度値が周囲の領域の輝度値より大きい点状の領域を画像から検出する。そして、検出部４１は、例えば、検出した顧客ＣＳの瞳孔の中心位置と輝点の位置との間の距離と、予め設定された角膜の曲率半径とに基づいて顧客ＣＳの視線を検出する。

決定部４２は、記憶装置３０から読み出した対応情報３１と、入力処理装置２０から受信した購入情報とを用いて、購入された商品の中から、顧客ＣＳが購入前の商品選定時に注視したであろう商品を決定する。決定部４２は、入力処理装置２０から受信した購入情報を用いて顧客ＣＳが購入した商品の組合せを示す情報を取得する。そして、決定部４２は、例えば、対応情報３１を参照し、取得した商品の組合せにおいて、注視される確率が最も大きく設定された商品を、顧客ＣＳが購入前の商品選定時に注視していた商品として決定する。このように、決定部４２は、購入情報と対応情報３１とを用いることで、顧客ＣＳが注視していたであろう商品を決定できる。

較正部４３は、検出部４１が検出した顧客ＣＳの視線を、決定部４２が決定した商品の位置に基づいて較正する。例えば、較正部４３は、決定部４２が決定した商品の位置を、眼球半径等の顧客ＣＳの個人差の影響を補正するための所定の箇所（以下、“実空間の注視点”とも称される）とする。そして、較正部４３は、顧客ＣＳが決定部４２により決定された商品を注視している時の画像を用いて、検出部４１が検出した顧客ＣＳの視線が実空間の注視点となるように、顧客ＣＳの個人差を示す補正データを算出する。較正部４３は、算出した補正データを用いて検出部４１が各画像から検出した顧客ＣＳの視線を較正する。

図１に示した実施形態では、対応情報３１が予め記憶装置３０に記憶される。これにより、検出装置４０は、購入情報と対応情報３１とを用いることで、顧客ＣＳが購入前の商品選定時に注視していたであろう商品を決定できる。そして、検出装置４０は、検出された顧客ＣＳの視線が決定した商品付近を示す場合に、顧客ＣＳの実空間の注視点を、決定した商品の位置に対応付けられるように、顧客ＣＳの視線を較正する。これにより、視線検出システムＳＹＳは、顧客ＣＳ毎の補正データを予め取得することなく顧客ＣＳの視線を較正でき、顧客ＣＳの視線の検出精度の向上を図ることができる。この結果、顧客ＣＳが商品選定時に注視していた商品がいずれかの商品であったかを、従来と比べてより正確に特定できるようになる。顧客ＣＳが購入しなかった商品についても顧客ＣＳが見ていたか否かの判定が可能となり、従来と比べて高い精度でマーケッティングの処理を実行することができる。

図２は、視線検出システムの別の実施形態を示す。図１で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図２に示した視線検出システムＳＹＳ１は、撮像装置１０、入力処理装置２０、記憶装置３０ａおよび検出装置４０ａを有する。検出装置４０ａは、有線または無線を介して、撮像装置１０、入力処理装置２０および記憶装置３０ａと接続される。なお、検出装置４０ａは、ネットワークを介して、撮像装置１０、入力処理装置２０および記憶装置３０ａと接続されてもよい。

記憶装置３０ａは、ハードディスク装置等であり、注視テーブル３１ａおよび商品情報３２を記憶する。注視テーブル３１ａは、顧客ＣＳにより購入される商品の組合せと、商品の組合せを購入する前に顧客ＣＳにより注視される商品との関係を示すデータを有する。注視テーブル３１ａは、対応情報の一例である。注視テーブル３１ａについては、図３および図４で説明する。

商品情報３２は、店舗で販売されている商品の名称、商品の大きさおよび位置等を含むデータである。なお、商品情報３２に含まれる商品の大きさおよび位置は、例えば、店舗が飲食店の場合、供される料理ぞれぞれのメニューにおける画像の大きさおよび画像の中心位置である。また、店舗がスーパーマーケット等の場合、商品情報３２の商品の大きさおよび位置は、例えば、撮像装置１０により撮影された、店舗内に陳列された商品を含む画像における商品の大きさおよび中心位置である。

検出装置４０ａは、コンピュータ装置等である。検出装置４０ａは、検出部４１、決定部４２ａおよび較正部４３ａを有する。

なお、検出部４１は、例えば、１乃至複数台の撮像装置１０により撮像された画像から顧客ＣＳの視線とともに棚に陳列される商品の大きさおよび中心位置等を検出してもよい。そして、検出装置４０ａは、検出された商品の大きさおよび中心位置を記憶装置３０ａに出力し、記憶装置３０ａの商品情報３２を更新してもよい。

決定部４２ａは、記憶装置３０ａから読み出した注視テーブル３１ａと、入力処理装置２０から受信した購入情報とを用いて顧客ＣＳが購入前の商品選定時に注視した商品を決定する。決定部４２ａの動作については、図３および図４で説明する。

較正部４３ａは、検出部４１が検出した顧客ＣＳの視線を、決定部４２ａが決定した商品の位置に基づいて較正する。較正部４３ａの動作については、図３および図４で説明する。

なお、視線検出システムＳＹＳ１の構成および動作は、図２に示した例に限定されない。例えば、撮像装置１０が、検出部４１に相当する視線検出センサとして顧客ＣＳの視線を検出する機能を有する場合、検出装置４０ａから検出部４１は省略されてもよい。この場合、検出装置４０ａは、撮像装置１０の一部に含まれることになる検出部を含んで実現される。

図３は、顧客ＣＳの視線の動きと商品の位置との関係の一例を示す。図３に示したメニュー１００には、肉料理や魚料理等のメイン料理Ｍ（Ｍ１−Ｍ３）の画像と、コーヒーやサラダ等のサイド料理Ｓ（Ｓ１−Ｓ３）の画像とが配置される。なお、図３では、例えば、メイン料理Ｍ１、Ｍ３をおすすめ料理とし、メイン料理Ｍ１、Ｍ３の画像が、メイン料理Ｍ２およびサイド料理Ｓ１−Ｓ３の画像より大きなサイズで配置されている場合を示す。

また、図３は、検出部４１が画像から検出した、較正部４３ａによる較正処理が実行される前の顧客ＣＳの視線の位置（以下、検出箇所とも称される）を黒い点で示し、顧客ＣＳの視線の動きを破線の矢印で示す。また、図３に示した領域ＡＲ１、ＡＲ２は、顧客ＣＳの視線が留まって注視している（すなわち、検出箇所が密集している）領域を示す。

例えば、図３に示すように、領域ＡＲ２における顧客ＣＳの視線は、メイン料理Ｍ３とサイド料理Ｓ３との画像に亘って分布している。そして、領域ＡＲ２における顧客ＣＳの視線は、較正部４３ａによる較正処理が実行される前のため、領域ＡＲ２で検出された顧客ＣＳの視線から顧客ＣＳがメイン料理Ｍ３を注視していたのかサイド料理Ｓ３を注視していたのかを判定することは困難である。そこで、視線検出システムＳＹＳ１は、店舗の従業員等により実施された顧客ＣＳに対するアンケート等の結果に基づいて、顧客ＣＳが注視している商品を決定するための注視テーブル３１ａを予め生成する。例えば、店舗の従業員等は、顧客ＣＳに対して、注文した各料理がメニュー１００内の画像を注視して（じっくり見て）注文したか注視せずに注文したかのアンケートを行う。そして、視線検出システムＳＹＳ１は、アンケートの結果に基づいて、購入する商品（料理）の組合せに応じて顧客ＣＳがいずれの商品（料理）を注視しているかにつき、組合せに応じた商品毎の確率等を算出する。なお、確率を算出する処理は、別のコンピュータにより実行され、実行結果が記憶装置３０ａに記憶されても構わない。

例えば、メイン料理Ｍ３とサイド料理Ｓ３との組合せを注文した顧客１００人のうち、９０人の顧客がメイン料理Ｍ３を注視したとアンケートで回答した場合、顧客ＣＳは注文したメイン料理Ｍ３の画像を注視する確率は９０パーセント等と算出される。また、例えば、２つのメイン料理Ｍが注文される場合、顧客ＣＳは注文した両方のメイン料理Ｍの画像それぞれを注視する傾向があるため、両方のメイン料理Ｍに対する確率は同程度と算出する。例えば、注文された料理が２種類のメイン料理Ｍの組合せであった顧客１００人のうち、３０人の顧客が一方のメイン料理Ｍを注視したと回答した場合、一方のメイン料理Ｍの画像を顧客ＣＳが注視する確率は、３０パーセント等と算出される。検出装置４０ａは、入力処理装置２０または検出装置４０ａに含まれるキーボード等の従業員等による操作を介して、購入または注文される商品の組合せに応じて算出された商品毎の確率を取得する。そして、検出装置４０ａは、取得した商品の組合せ、注視される商品および確率を含む注視テーブル３１ａを生成し、生成した注視テーブル３１ａを記憶装置３０ａに格納する。

図４は、図２に示した注視テーブル３１ａの一例を示す。注視テーブル３１ａを記憶する領域は、購入される商品の組合せ、注視される商品および確率の各々を示す情報に割り当てられた領域を有する。購入される商品の組合せの領域（以下、組合せ領域ＣＡとも称される）には、“メイン料理およびサイド料理”および“２つのメイン料理”等の購入または注文された商品の組合せを示す情報が格納される。注視される商品の領域（以下、注視商品領域ＩＡとも称される）には、“メイン料理”および“一方のメイン料理”等、購入される商品の組合せに応じて顧客ＣＳにより注視される商品を示す情報が格納される。確率の領域（以下、確率領域ＰＡとも称される）には、注視商品領域ＩＡに格納された商品が顧客ＣＳにより注視される確率（図４に示す例では、９０パーセントや３０パーセント等）が格納される。確率領域ＰＡに格納される値は、図３で説明したように、アンケート等の結果に基づいて算出される。

なお、スーパーマーケット等の店舗における注視テーブル３１ａについても、飲食店の場合と同様に生成される。

なお、検出装置４０ａは、例えば、撮影された画像における顧客ＣＳ毎の顔の向きと顧客ＣＳ毎の購入情報とから顧客ＣＳが購入前の商品選定時に注視した商品を推定し、推定した結果に基づいて注視テーブル３１ａを生成してもよい。この場合、検出装置４０ａは、例えば、撮影された画像からエッジ等を抽出する画像処理を実行し、抽出したエッジの分布から顧客ＣＳの顔の向きを検出する。

なお、購入される商品の組合せに応じて注視される商品毎の確率は、商品、商品が配置される位置、大きさ、あるいは販売価格等に応じて適宜設定されてもよい。

決定部４２ａは、例えば、入力処理装置２０から受けた購入情報から顧客ＣＳが購入した商品の組合せの情報を取得する。決定部４２ａは、取得した商品の組合せに対応する注視テーブル３１ａの注視される商品の領域に格納された商品を、顧客ＣＳが購入時に注視していた商品として決定する。例えば、顧客ＣＳが図３に示したメニュー１００を見てメイン料理Ｍ３およびサイド料理Ｓ３を注文した場合、決定部４２ａは、購入情報と注視テーブル３１ａとに基づいて、注文時に顧客ＣＳが注視していた商品をメイン料理Ｍ３と決定する。

なお、決定部４２ａは、顧客ＣＳが購入した商品の組合せにおける注視テーブル３１ａの注視商品領域ＩＡに格納される商品を、顧客ＣＳが商品選定時に注視した商品と決定するか否かの判定を、確率領域ＰＡに格納される確率を用いて実行する。例えば、顧客ＣＳが、購入した商品の組合せにおける注視商品領域ＩＡに格納される商品の確率が所定値以下の場合、顧客ＣＳは、注視商品領域ＩＡに格納される商品以外の購入した商品も注視していた可能性があると考えられる。例えば、所定値は、５０パーセントとする。図４に示すように、顧客ＣＳが２つのメイン料理Ｍを注文した場合、確率領域ＰＡに格納される確率である“３０”パーセントが所定値以下のため、顧客ＣＳは注文した両方のメイン料理Ｍを注視していた可能性があると考えられる。

この場合、決定部４２ａは、確率領域ＰＡの確率が所定値以下の場合、顧客ＣＳが購入時に注視していた商品の決定が困難と判定する。そして、検出装置４０ａは、決定部４２ａにより決定が困難と判定された場合、検出された顧客ＣＳの視線に対する較正の処理を行わない。例えば、視線検出システムＳＹＳ１は、較正処理が行われなかった顧客ＣＳの視線を除いた顧客ＣＳの視線（すなわち、較正処理が実行された顧客ＣＳの視線）のデータを用いてマーケティングを実行することで、マーケティングの精度を向上させることができる。

較正部４３ａは、記憶装置３０ａから商品情報３２を読み出し、読み出した商品情報３２に基づいて決定部４２ａにより決定された商品の位置、すなわち、実空間の注視点の位置を取得する。例えば、顧客ＣＳが図３に示したメニュー１００を見てメイン料理Ｍ３およびサイド料理Ｓ３を注文した場合、較正部４３ａは、メイン料理Ｍ３の画像の中心位置を、実空間の注視点の位置として取得する。較正部４３ａは、顧客ＣＳが決定部４２ａにより決定された商品を注視している時の画像を用い、検出部４１が検出した顧客ＣＳの視線（すなわち、図３の領域ＡＲ２内の検出箇所）が実空間の注視点となるように、顧客ＣＳの個人差を示す補正データを算出する。較正部４３ａは、算出した補正データを用いて検出部４１が各画像から検出した顧客ＣＳの視線を較正する。

なお、図３に示すように、領域ＡＲ１のように顧客ＣＳの複数の視線が集中する領域で、かつ１つの商品（図３の例ではメイン料理Ｍ２の画像）が配置されている場合も当然ありえる。例えば、メイン料理Ｍ３とサイド料理Ｓ３との組合せを注文した顧客ＣＳについて検出された視線については、図３に示すデータが得られた場合、較正部４３ａは、購入されなかった商品、すなわち、メイン料理Ｍ２の画像の位置も実空間の注視点としてもよい。これにより、較正部４３ａは、メイン料理Ｍ３とともにメイン料理Ｍ２の２つの位置を実空間の注視点として用いることで、１つの実空間の注視点で較正する場合より顧客ＣＳの視線を精度良く較正できる。また、較正部４３ａは、決定部４２ａにより実空間の注視点の決定が困難と判定される場合でも、メイン料理Ｍ２の位置を実空間の注視点とすることで、顧客ＣＳの視線を較正できる。

なお、顧客ＣＳが商品を購入する度に、決定部４２ａは、上述の処理を実行しなくてもよく、較正部４３ａは、顧客ＣＳが商品を購入する毎に上述の処理を実行しなくてもよい。例えば、検出装置４０ａは、検出部４１により検出された顧客ＣＳ毎の視線を含むデータ、および入力処理装置２０から取得した顧客ＣＳ毎の購入情報を、検出装置４０ａに含まれるハードディスク装置等の記憶部あるいは記憶装置３０ａに保持してもよい。そして、視線検出システムＳＹＳ１が所定の実行指示を受け付けた場合に、決定部４２ａは、記憶装置３０ａ等から保持された顧客ＣＳ毎の購入情報を読み出し、顧客ＣＳ毎に実空間の注視点となる商品を決定してもよい。そして、較正部４３ａは、記憶装置３０ａ等から保持された顧客ＣＳ毎の視線を含むデータを読み出し、顧客ＣＳ毎の視線を較正してもよい。

図５は、図２に示した視線検出システムＳＹＳ１における視線検出処理の一例を示す。図５に示したステップＳ１１０からステップＳ１７０の動作は、検出装置４０ａに含まれるプロセッサ等の制御部が視線検出プログラムを実行することにより実現される。すなわち、図５は、視線検出プログラムおよび視線検出方法の別の実施形態を示す。なお、図５に示す処理は、検出装置４０ａに搭載されるハードウェアにより実現されてもよい。この場合、図２に示した検出部４１、決定部４２ａおよび較正部４３ａは、検出装置４０ａ内に配置される回路により実現される。

ステップＳ１００では、撮像装置１０は、店舗に来た顧客ＣＳを所定のフレームレートで撮影する。そして、撮像装置１０は、撮影した画像を検出装置４０ａに出力する。視線検出システムＳＹＳ１は、ステップＳ１１０からステップＳ１５０の処理とステップＳ１６０の処理とを並列に実行する。すなわち、視線検出システムＳＹＳ１は、ステップＳ１００の処理を実行した後、ステップＳ１１０の処理およびステップＳ１６０の処理を実行する。なお、ステップＳ１１０からステップＳ１５０の処理と、ステップＳ１６０の処理とは、並列ではなく、どちらが先に実行されても構わない。

ステップＳ１１０では、入力処理装置２０は、店舗の従業員等による操作を介して、顧客ＣＳが購入した商品を示す購入情報を取得する。そして、入力処理装置２０は、取得した購入情報を検出装置４０ａに出力する。

次に、ステップＳ１２０では、決定部４２ａは、ステップＳ１１０で取得された顧客ＣＳの購入情報を入力処理装置２０から取得し、取得した購入情報に含まれる商品の組合せの情報を取得する。

次に、ステップＳ１３０では、決定部４２ａは、記憶装置３０ａに記憶される注視テーブル３１ａを参照し、ステップＳ１２０で取得した商品の組合せの情報に基づいて、取得した商品の組合せに含まれる商品のうち注視される商品および確率を、それぞれ取得する。

次に、ステップＳ１４０では、決定部４２ａは、ステップＳ１３０で取得した確率が所定値以下か否かを判定する。注視テーブル３１ａから取得した確率が所定値より大きい場合、視線検出システムＳＹＳ１の動作は、ステップＳ１５０に移る。一方、注視テーブル３１ａから取得した確率が所定値以下の場合、視線検出システムＳＹＳ１は、ステップＳ１６０で検出された顧客ＣＳの視線に対する較正処理であるステップＳ１５０の処理とステップＳ１７０の処理とを行わずに、視線検出処理を終了する。

ステップＳ１５０では、決定部４２ａは、ステップＳ１２０で取得した商品の組合せにおける注視テーブル３１ａの注視商品領域ＩＡに格納される商品を、実空間の注視点と決定する。

一方、ステップＳ１６０では、検出部４１は、ステップＳ１００で撮影された画像を用いて角膜反射法等の検出処理を実行し、顧客ＣＳの視線を検出する。

ステップＳ１５０までの処理、およびステップＳ１６０の処理の実行後、ステップＳ１７０では、較正部４３ａは、ステップＳ１６０で検出された顧客ＣＳの視線を、ステップＳ１５０で決定された実空間の注視点の位置に合わせて較正する。そして、視線検出システムＳＹＳ１は、視線検出処理を終了する。なお、視線検出システムＳＹＳ１は、店舗に新たな顧客ＣＳが来る毎に、ステップＳ１００からステップＳ１７０の処理を繰り返し実行してもよい。

図５の視線検出処理の実行後、較正部４３ａは、ステップＳ１７０で視線を較正することで得られた視線の補正データを用いて、検出部４１が各画像から検出した顧客ＣＳの視線を較正する。このとき、ステップＳ１５０で決定された実空間の注視点と、ステップＳ１６０で検出された顧客ＣＳの視線との組合せの個数に応じて、較正方法が異なってくる。

例えば、図３に示したように、視線検出処理によって得られた注視点と視線の組合せの個数が２個である場合、非特許文献１及び２に記載された較正方法を用いて、顧客ＣＳの視線を較正することができる。この場合、以下の手順で較正処理が行われる。

（１）較正部４３ａは、領域ＡＲ１及び領域ＡＲ２それぞれの重心位置を用いて、それぞれの領域における顧客ＣＳの視線ベクトルｖ_ｗθを算出する。視線ベクトルｖ_ｗθは、極座標系における斉次ベクトルであり、極座標系の座標ｌ、θ、及びφを用いて次式により記述される。

（２）較正部４３ａは、メイン料理Ｍ２及びメイン料理Ｍ３それぞれの画像の中心位置を用いて、領域ＡＲ１及び領域ＡＲ２それぞれに対する較正後の視線ベクトルｖ′_ｗθを算出する。視線ベクトルｖ′_ｗθも式（１）と同様に記述される。

（３）較正部４３ａは、領域ＡＲ１及び領域ＡＲ２それぞれに対する視線ベクトルｖ_ｗθと視線ベクトルｖ′_ｗθとを次式に代入して、４行４列の較正行列Ｗのパラメータｗ１〜ｗ４に関する連立方程式を生成する。

ｖ′_ｗθ＝Ｗｖ_ｗθ （２）

そして、較正部４３ａは、生成した連立方程式からパラメータｗ１〜ｗ４を算出する。算出されたパラメータｗ１〜ｗ４は、視線の補正データに対応する。

（４）較正部４３ａは、各画像から検出した顧客ＣＳの視線を表す視線ベクトルｖ_ｗθを、較正行列Ｗを用いて式（２）により較正する。

なお、較正部４３ａは、領域ＡＲ１及び領域ＡＲ２の重心位置の代わりに、領域ＡＲ１及び領域ＡＲ２を代表する他の位置を用いてもよい。同様に、較正部４３ａは、メイン料理Ｍ２及びメイン料理Ｍ３の画像の中心位置の代わりに、それらの画像を代表する他の位置を用いてもよい。

注視点と視線の組合せの個数が３個以上である場合、較正部４３ａは、式（２）に基づいて、誤差二乗和が最小となるパラメータｗ１〜ｗ４を算出することができる。

さらに、注視点と視線の組合せの個数が４個以上である場合、較正部４３ａは、検出部４１が検出した顧客ＣＳの輝点の位置を基準とする、瞳孔の中心位置の相対座標と、実空間の注視点の座標とを、射影変換によりマッピングすることも可能である。輝点の位置は、顧客ＣＳの目の角膜で反射した箇所を示している。

この場合、Ｎ個（Ｎは４以上の整数）の相対座標（Ｘ１，Ｙ１）〜（ＸＮ，ＹＮ）と、Ｎ個の注視点の座標（ｘ１，ｙ１）〜（ｘＮ，ｙＮ）とが、次式により対応付けられる（ｉ＝１〜Ｎ）。

式（１１）及び式（１２）は、（Ｘ１，Ｙ１）〜（ＸＮ，ＹＮ）を表すベクトルｇと、射影変換のパラメータａ１〜ａ８を表すベクトルｐと、２Ｎ行８列の行列Ａとを用いて、次式のように書き換えられる。

ｇ＝Ａｐ （１３）

Ｎ＝４の場合、行列Ａは８行８列の行列となる。そこで、較正部４３ａは、行列Ａの逆行列Ａ^−１を用いて、次式によりパラメータａ１〜ａ８を算出する。

ｐ＝Ａ^−１ｇ （１５）

Ｎ＞４の場合、較正部４３ａは、行列Ａの転置行列Ａ^Ｔを用いて、パラメータａ１〜ａ８の最小二乗解を次式により算出する。

ｐ＝（Ａ^ＴＡ）^−１Ａ^Ｔｇ （１６）

算出されたパラメータａ１〜ａ８は、視線の補正データに対応する。そして、較正部４３ａは、各画像から検出した顧客ＣＳの視線を表す相対座標（Ｘｉ，Ｙｉ）を、パラメータａ１〜ａ８を用いて較正後の座標（ｘｉ，ｙｉ）に変換することで、顧客ＣＳの視線を較正する。

なお、この実施例では、確率領域ＰＡには、注視した確率が格納されるため、ステップＳ１４０で確率が所定値より大きい場合にステップＳ１５０の処理に移るが、確率領域ＰＡに格納される値が示す意味に合せて、ステップＳ１４０の判断は変更されて構わない。例えば、確率領域ＰＡに、注視しなかった確率が格納されるのであれば、ステップＳ１４０の判断では、確率が所定値より小さい場合にステップＳ１５０の処理に移るようにしてよい。要は、商品選定時にその商品が注視されていた蓋然性が高いと判断される場合に、視線検出システムＳＹＳ１は、注視されていた商品の位置情報を用いて、顧客ＣＳの視線を較正すればよい。

図２から図５に示した実施形態では、注視テーブル３１ａが予め記憶装置３０ａに記憶される。これにより、検出装置４０ａは、購入情報と注視テーブル３１ａとを用いることで、顧客ＣＳが購入前の商品選定時に注視していたであろう商品を決定できる。そして、検出装置４０ａは、検出された顧客ＣＳの視線が決定した商品付近を示す場合に、顧客ＣＳの実空間の注視点を、決定した商品の位置に対応付けられるように、顧客ＣＳの視線を較正する。これにより、視線検出システムＳＹＳ１は、顧客ＣＳ毎の補正データを予め取得することなく顧客ＣＳ毎の視線を補正でき、顧客ＣＳの視線の検出精度の向上を図ることができる。この結果、顧客ＣＳが商品選定時に注視していた商品がいずれかの商品であったかを、従来と比べてより正確に特定できるようになる。顧客ＣＳが購入しなかった商品についても顧客ＣＳが見ていたか否かの判定が可能となり、従来と比べて高い精度でマーケッティングの処理を実行することができる。

図６は、視線検出システムの別の実施形態を示す。図１または図２で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図６に示した視線検出システムＳＹＳ２は、撮像装置１０、入力処理装置２０、記憶装置３０ｂおよび検出装置４０ｂを有する。検出装置４０ｂは、有線または無線を介して、撮像装置１０、入力処理装置２０および記憶装置３０ｂと接続される。なお、検出装置４０ｂは、ネットワークを介して、撮像装置１０、入力処理装置２０および記憶装置３０ｂと接続されてもよい。

記憶装置３０ｂは、ハードディスク装置等であり、注視テーブル３１ｂ（３１ｂ（１）、３１ｂ（２））および商品情報３２を記憶する。注視テーブル３１ｂは、図２に示した注視テーブル３１ａと同様に、顧客ＣＳが購入する商品の組合せと顧客ＣＳが注視する商品との関係を示すデータを有する。注視テーブル３１ｂ（１）は、顧客ＣＳが商品の選択時に商品が掲載されたメニューを注視する時間（以下、注視時間とも称される）が所定の時間以下の場合におけるデータである。注視テーブル３１ｂ（２）は、顧客ＣＳの注視時間が所定の時間より長い場合のデータである。所定の時間は、例えば、２秒等であり、適宜設定されてもよい。注視テーブル３１ｂについては、図７で説明する。なお、記憶装置３０ｂは、所定の時間を段階的に複数種類定め、それぞれの所定の時間により分けられる３つ以上の複数の注視テーブル３１ｂを記憶してもよい。

検出装置４０ｂは、コンピュータ装置等であり、検出部４１ａ、決定部４２ｂおよび較正部４３ａを有する。

検出部４１ａは、図１に示した検出部４１と同様に、撮像装置１０により所定のフレームレートで撮影された画像の各々に角膜反射法等の検出処理を実行し、顧客ＣＳの視線を検出する。また、検出部４１ａは、例えば、撮影された画像からエッジ等を抽出する画像
処理を実行し、抽出したエッジの分布から顧客ＣＳの顔の向きを検出する。そして、検出部４１ａは、検出した顔の向きに基づいて、図３に例示したメニュー１００を注視する注視時間を測定する。なお、検出部４１ａは、顧客ＣＳの顔の向きの代わりに、検出した顧客ＣＳの視線を用いて、注視時間を測定してもよい。

決定部４２ｂは、検出部４１ａが測定した顧客ＣＳの注視時間と、記憶装置３０ｂから読み出した注視テーブル３１ｂと、入力処理装置２０から受信した購入情報とを用いて顧客ＣＳが商品の選定時に注視したであろう商品を決定する。例えば、決定部４２ｂは、検出部４１ａにより測定された顧客ＣＳの注視時間が所定の時間以下か否かを判定する。決定部４２ｂは、測定された顧客ＣＳの注視時間が所定の時間以下の場合、注視テーブル３１ｂ（１）を選択し、測定された顧客ＣＳの注視時間が所定の時間より長い場合、注視テーブル３１ｂ（２）を選択する。

そして、決定部４２ｂは、入力処理装置２０から受信した購入情報が示す顧客ＣＳが購入した商品の組合せにおける注視される商品および確率を、選択した注視テーブル３１ｂの注視商品領域ＩＡおよび確率領域ＰＡからそれぞれ読み出す。決定部４２ｂは、読み出した確率が所定値以下か否かを判定する。決定部４２ｂは、読み出した確率が所定値より大きい場合、選択した注視テーブル３１ｂの注視商品領域ＩＡから読み出した商品を、実空間の注視点と決定する。一方、決定部４２ｂは、読み出した確率が所定値以下の場合、顧客ＣＳが購入時に注視していた商品の決定が困難であるので、実空間の注視点を決定する処理を行わない。

なお、決定部４２ｂは、顧客ＣＳが商品を購入する度に決定処理を実行しなくてもよい。例えば、検出装置４０ｂは、入力処理装置２０から取得した顧客ＣＳ毎の購入情報および注視時間を、検出装置４０ｂに含まれるハードディスク装置等の記憶部あるいは記憶装置３０ｂに保持してもよい。視線検出システムＳＹＳ２がマーケティング等の処理を実行する場合、決定部４２ｂは、記憶装置３０ｂ等から保持された顧客ＣＳ毎の購入情報および注視時間を読み出す。そして、決定部４２ｂは、読み出した注視時間に基づいて注視テーブル３１ｂを顧客ＣＳ毎に選択し、選択した注視テーブル３１ｂと読み出した購入情報とに基づいて実空間の注視点となる商品を顧客ＣＳ毎に決定する。

なお、視線検出システムＳＹＳ２の構成および動作は、図６に示した例に限定されない。例えば、撮像装置１０が、検出部４１ａに相当する視線検出センサとして顧客ＣＳの視線を検出する機能を有する場合、検出装置４０ｂから検出部４１ａは省略されてもよい。この場合、検出装置４０ｂは、撮像装置１０の一部に含まれることになる検出部を含んで実現される。

図７は、図６に示した注視テーブル３１ｂの一例を示す。図４で説明した領域と同一または同様の領域については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図７（ａ）は、顧客ＣＳが商品を注視する時間が所定の時間以下の場合の注視テーブル３１ｂ（１）を示す。図７（ｂ）は、顧客ＣＳが商品を注視する時間が所定の時間より長い場合の注視テーブル３１ｂ（２）を示す。

図７に示した注視テーブル３１ｂは、例えば、図４に示した注視テーブル３１ａの場合と同一または同様に、飲食店の従業員等による顧客ＣＳに対するアンケート等の結果に基づいて生成される。例えば、アンケートを回答した顧客ＣＳが図３に示したメニュー１００を注視する時間である注視時間を、撮像装置１０により撮影された画像を用いて測定し、測定した時間に応じてアンケートの結果を分類する。これは、顧客ＣＳのメニュー１００に対する注視時間の長さに応じて、購入前の商品選定時に注視される商品あるいは注視される商品の確率が変化するという考えに基づいている。例えば、顧客ＣＳがメイン料理Ｍとサイド料理Ｓとを注文した場合、メニュー１００を注視する注視時間が長くなるに従い、顧客ＣＳは注文したメイン料理Ｍとともに注文したサイド料理Ｓの画像も注視する傾向が見られる場合等に、この考え方を適用すればよい。なお、注視時間ごとに分けて確率を算出する処理は、別のコンピュータにより実行され、実行結果が記憶装置３０ｂに格納されても構わない。

検出装置４０ｂは、例えば、入力処理装置２０等の従業員等による操作を介して、購入または注文される商品の組合せおよび注視時間に応じた商品毎の注視される確率を取得する。検出装置４０ｂは、取得した商品の組合せ、注視される商品および確率を含む注視テーブル３１ｂを、顧客ＣＳがメニュー１００を注視する時間が所定の時間以下の場合と所定の時間より長い場合とに分けてそれぞれ生成する。そして、検出装置４０ｂは、生成した各注視テーブル３１ｂを記憶装置３０ｂに格納する。例えば、図７（ａ）に示した注視テーブル３１ｂ（１）の組合せ領域ＣＡ、注視商品領域ＩＡおよび確率領域ＰＡには、図４に示した注視テーブル３１ａと同様の設定が格納される。

また、図７（ｂ）に示した注視テーブル３１ｂ（２）の組合せ領域ＣＡおよび注視商品領域ＩＡには、例えば、図４に示した注視テーブル３１ａと同様の設定が格納される。ただし、図７（ｂ）の確率領域ＰＡには、顧客ＣＳの注視時間が所定の時間より長い場合のアンケートに基づいて算出される確率が格納される。例えば、メイン料理Ｍとサブ料理Ｓとの両方を注文した顧客が２００人いたとする。そして、そのうち、メニュー１００を２秒以上注視した顧客は１００人であり、１００人の内訳としてメイン料理Ｍを注視したと回答した顧客が７０人だったとする。この場合、注視テーブル３１ｂ（２）の確率領域ＰＡには、メイン料理Ｍが注視される確率として、７０パーセント等の注視テーブル３１ｂ（１）の確率より小さい値が格納されることになる。

図８は、図６に示した視線検出システムＳＹＳ２における視線検出処理の一例を示す。なお、図８に示したステップの処理のうち、図５に示したステップと同一または同様の処理を示すものについては、同一のステップ番号を付し、詳細な説明を省略する。図８に示したステップＳ１０５、ステップＳ１１０およびステップＳ１１５からステップＳ１７０の動作は、検出装置４０ｂに含まれるプロセッサ等の制御部が視線検出プログラムを実行することにより実現される。すなわち、図７は、視線検出プログラムおよび視線検出方法の別の実施形態を示す。なお、図８に示す処理は、検出装置４０ｂに搭載されるハードウェアにより実現されてもよい。この場合、図６に示した検出部４１ａ、決定部４２ｂおよび較正部４３ａは、検出装置４０ｂ内に配置される回路により実現される。

検出装置４０ｂは、撮像装置１０によるステップＳ１００の処理が実行された後、ステップＳ１０５の処理およびステップＳ１６０の処理を実行する。

ステップＳ１０５では、検出部４１ａは、ステップＳ１００で撮影された画像からエッジ等を抽出する画像処理を実行することで、抽出したエッジの分布から顧客ＣＳの顔の向きを検出し、検出した顔の向きに基づいて、顧客ＣＳがメニュー１００を注視する注視時間を測定する。

検出装置４０ｂは、ステップＳ１０５の処理を実行した後、ステップＳ１１０の処理およびステップＳ１１５の処理を実行する。ステップＳ１１０の処理とステップＳ１１５の処理とは、どちらが先に実行されても構わない。

ステップＳ１１５では、決定部４２ｂは、ステップＳ１０５で測定された顧客ＣＳの注視時間に応じて、注視テーブル３１ｂを選択する。例えば、決定部４２ｂは、測定された顧客ＣＳの注視時間が所定の時間以下の場合、注視テーブル３１ｂ（１）を選択し、測定された顧客ＣＳの注視時間が所定の時間より長い場合、注視テーブル３１ｂ（２）を選択する。

検出装置４０ｂは、ステップＳ１１５の処理を実行した後、ステップＳ１２０からステップＳ１５０、Ｓ１７０の処理を実行する。また、検出装置４０ｂは、ステップＳ１０５からステップＳ１５０の一連の処理を実行するのと並行して、または順に、ステップＳ１６０の処理を実行する。なお、ステップＳ１０５における注視時間の測定が、顔の向きではなく、視線に基づいて測定される場合は、ステップＳ１０５の処理は、ステップＳ１６０の処理の後に実行される。

視線検出システムＳＹＳ２は、ステップＳ１４０でＹｅｓの判定の場合、またはステップＳ１７０の処理が終了した場合に、視線検出処理を終了する。なお、視線検出システムＳＹＳ２は、店舗に新たな顧客ＣＳが来る毎に、検出処理を繰り返し実行してもよい。

図８の視線検出処理の実行後、較正部４３ａは、図２の視線検出システムと同様の方法で、ステップＳ１７０で視線を較正することで得られた視線の補正データを用いて、検出部４１ａが各画像から検出した顧客ＣＳの視線を較正することができる。

図６から図８に示した実施形態では、注視テーブル３１ｂが予め記憶装置３０ｂに記憶される。これにより、検出装置４０ｂは、購入情報と注視テーブル３１ｂとを用いることで、顧客ＣＳが購入前の商品選定時に注視していたであろう商品を決定できる。そして、検出装置４０ｂは、検出された顧客ＣＳの視線が決定した商品付近を示す場合に、顧客ＣＳの実空間の注視点を、決定した商品の位置に対応付けられるように、顧客ＣＳの視線を較正する。これにより、視線検出システムＳＹＳ２は、顧客ＣＳ毎の補正データを予め取得することなく顧客ＣＳ毎の視線を補正でき、顧客ＣＳの視線の検出精度の向上を図ることができる。この結果、顧客ＣＳが商品選定時に注視していた商品がいずれかの商品であったかを、従来と比べてより正確に特定できるようになる。顧客ＣＳが購入しなかった商品についても顧客ＣＳが見ていたか否かの判定が可能となり、従来と比べて高い精度でマーケッティングの処理を実行することができる。

また、記憶装置３０ｂは、顧客ＣＳの注視時間に応じた注視テーブル３１ｂを記憶し、検出装置４０ｂは、顧客ＣＳの注視時間を測定することで、測定した注視時間に応じた注視テーブル３１ｂを選択する。これにより、視線検出システムＳＹＳ２は、購入時における顧客ＣＳの行動に応じた注視テーブル３１ｂを選択することで、顧客ＣＳの視線を１つの注視テーブル３１ａを用いる場合と比べてより精度良く検出できる。

図９は、図１、図２および図６に示した視線検出システムＳＹＳ（ＳＹＳ１、ＳＹＳ２）のハードウェア構成の一例を示す。図１、図２および図６で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図９に示した視線検出システムＳＹＳは、カメラ２００、ＰＯＳレジスタ装置３００、サーバ４００およびコンピュータ装置５００を有する。有線または無線を介して、カメラ２００、ＰＯＳレジスタ装置３００およびサーバ４００の各々とコンピュータ装置５００とは互いに接続される。なお、コンピュータ装置５００は、カメラ２００、ＰＯＳレジスタ装置３００およびサーバ４００に、ネットワークを介して接続されてもよい。

カメラ２００は、商品を選定する顧客ＣＳ等を撮影し、撮影した画像をコンピュータ装置５００に出力する。なお、複数のカメラ２００が店舗に配置されてもよい。

ＰＯＳレジスタ装置３００は、店舗の従業員等による操作を介して、顧客ＣＳにより購入された商品を示す購入情報を取得する。そして、ＰＯＳレジスタ装置３００は、取得した購入情報をコンピュータ装置５００に出力する。

サーバ４００は、ハードディスク装置４１０を有するコンピュータ装置等である。サーバ４００は、ハードディスク装置４１０に図１に示した対応情報３１を記憶する。あるいは、サーバ４００は、ハードディスク装置４１０に図２に示した注視テーブル３１ａまたは図６に示した注視テーブル３１ｂを記憶する。

コンピュータ装置５００は、プロセッサ５１０、入出力インタフェース５２０、メモリ５３０、ハードディスク装置５４０および光学ドライブ装置５５０を有する。そして、プロセッサ５１０、入出力インタフェース５２０、メモリ５３０、ハードディスク装置５４０および光学ドライブ装置５５０は、バスを介して互いに接続される。

光学ドライブ装置５５０は、光ディスク等のリムーバブルディスク５６０を装着可能であり、装着したリムーバブルディスク５６０に記録された情報の読み出しおよび記録を実行する。

プロセッサ５１０は、入出力インタフェース５２０を介して、カメラ２００が撮影した顧客ＣＳ等の画像を受ける。また、プロセッサ５１０は、入出力インタフェース５２０を介して、ＰＯＳレジスタ装置３００から顧客ＣＳの購入情報を受信し、サーバ４００が記憶する対応情報３１（あるいは注視テーブル３１ａ、３１ｂ）を読み出す。

メモリ５３０は、コンピュータ装置５００のオペレーティングシステムとともに、プロセッサ５１０が視線検出処理を実行するためのアプリケーションプログラムを格納する。

なお、視線検出処理を実行するためのアプリケーションプログラムは、例えば、光ディスク等のリムーバブルディスク５６０に記録して頒布することができる。また、視線検出処理を実行するためのアプリケーションプログラムは、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体に記録して頒布してもよい。

そして、リムーバブルディスク５６０を光学ドライブ装置５５０に装着して読み込み処理を実行することにより、視線検出処理を実行するためのアプリケーションプログラムは、メモリ５３０やハードディスク装置５４０に格納されてもよい。また、コンピュータ装置５００は、コンピュータ装置５００に含まれるネットワークインタフェースを介して、ネットワークを通じて検出処理を実行するアプリケーションプログラムをダウンロードし、メモリ５３０やハードディスク装置５４０に格納してもよい。

また、プロセッサ５１０は、メモリ５３０に格納された視線検出処理のアプリケーションプログラムを実行することで、図１に示した検出部４１、決定部４２および較正部４３として機能する。また、プロセッサ５１０は、メモリ５３０に格納された視線検出処理のアプリケーションプログラムを実行することで、図２に示した検出部４１、決定部４２ａおよび較正部４３ａとして機能する。また、プロセッサ５１０は、メモリ５３０に格納された検出処理のアプリケーションプログラムを実行することで、図６に示した検出部４１ａ、決定部４２ｂおよび較正部４３ａとして機能する。

すなわち、検出装置４０（４０ａ、４０ｂ）は、プロセッサ５１０、入出力インタフェース５２０およびメモリ５３０の協働によって実現される。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を記憶する記憶部と、
顧客を撮像する撮像装置により撮像された画像を用いて、複数の商品の情報が提示される領域内における顧客の視線位置を検出する検出部と、
顧客により購入される商品を示す購入情報を取得する入力処理装置から取得した第１の顧客についての購入情報と、前記記憶部に記憶された前記対応情報とに基づいて、該第１の顧客により購入された商品の中から１の商品を決定する決定部と、
前記検出部が検出した前記第１の顧客の前記領域内における視線位置を、前記決定部が決定した前記１の商品についての情報が提示される前記領域内の位置に基づいて較正する較正部とを含む検出装置を有する
ことを特徴とする視線検出システム。
（付記２）
付記１に記載の視線検出システムにおいて、
前記記憶部は、顧客により購入された商品を該顧客が注視する時間長に応じた複数の前記対応情報を記憶し、
前記検出部は、顧客が商品を注視する時間長を前記画像を用いて検出し、
前記決定部は、検出された前記時間長に基づいて前記複数の対応情報のうちの１つを選択し、前記購入情報と選択した前記対応情報とに基づいて、前記１の商品を決定する
ことを特徴とする視線検出システム。
（付記３）
付記１または２に記載の視線検出システムにおいて、
前記検出部は、前記撮像装置により撮像された各画像を用いて、顧客の視線位置を検出し、
前記較正部は、前記視線位置を較正することで得られた視線位置の補正データを用いて、前記検出部が各画像を用いて検出した視線位置を較正する
ことを特徴とする視線検出システム。
（付記４）
１の顧客が購入した商品を示す購入情報を取得し、
撮像装置により撮像された画像を用いて前記１の顧客が前記商品を購入する前の視線位置を検出し、
顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を、前記購入情報に基づいて参照して前記１の顧客が注視した１の商品を決定し、
前記１の顧客について検出した前記視線位置を、決定した前記１の商品の位置に基づいて較正する
処理をコンピュータに実行させる視線検出プログラム。
（付記５）
付記４に記載の視線検出プログラムにおいて、
前記１の顧客の視線位置を検出する処理は、顧客が商品を注視する時間長を前記画像を用いて検出し、
前記１の商品を決定する処理は、顧客が購入した商品を注視する時間長に応じた複数の前記対応情報のうちの１つを、検出された前記時間長に基づいて選択し、選択した前記対応情報と、前記購入情報とに基づいて前記１の商品を決定する
ことを特徴とする視線検出プログラム。
（付記６）
付記４または５に記載の視線検出プログラムにおいて、
前記視線検出プログラムは、
前記撮像装置により撮像された各画像を用いて、顧客の視線位置を検出し、
前記視線位置を較正することで得られた視線位置の補正データを用いて、各画像を用いて検出した視線位置を較正する
処理を前記コンピュータにさらに実行させることを特徴とする視線検出プログラム。
（付記７）
１の顧客が購入した商品を示す購入情報を取得し、
撮像装置により撮像された画像を用いて前記１の顧客が前記商品を購入する前の視線位置を検出し、
顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を、前記購入情報に基づいて参照して前記１の顧客が注視した１の商品を決定し、
前記１の顧客について検出した前記視線位置を、決定した前記１の商品の位置に基づいて較正する
ことを特徴とする視線検出方法。
（付記８）
付記７に記載の視線検出方法において、
前記１の顧客の視線位置を検出する処理は、顧客が商品を注視する時間長を前記画像を用いて検出し、
前記１の商品を決定する処理は、顧客が購入した商品を注視する時間長に応じた複数の前記対応情報のうちの１つを、検出された前記時間長に基づいて選択し、選択した前記対応情報と、前記購入情報とに基づいて前記１の商品を決定する
ことを特徴とする視線検出方法。
（付記９）
付記７または８に記載の視線検出方法において、
前記撮像装置により撮像された各画像を用いて、顧客の視線位置を検出し、
前記視線位置を較正することで得られた視線位置の補正データを用いて、各画像を用いて検出した視線位置を較正する
ことを特徴とする視線検出方法。

１０ 撮像装置
２０ 入力処理装置
３０，３０ａ 記憶装置
３１ 対応情報
３１ａ，３１ｂ（１），３１ｂ（２） 注視テーブル
４０，４０ａ，４０ｂ 検出装置
４１，４１ａ 検出部
４２，４２ａ，４２ｂ 決定部
４３，４３ａ 較正部
１００ メニュー
２００ カメラ
３００ ＰＯＳレジスタ装置
４００ サーバ
４１０，５４０ ハードディスク装置
５００ コンピュータ装置
５１０ プロセッサ
５２０ 入出力インタフェース
５３０ メモリ
５５０ 光学ドライブ装置
５６０ リムーバブルディスク
ＡＲ１，ＡＲ２ 領域
ＣＡ 組合せ領域
ＣＳ 顧客
ＩＡ注視商品領域
Ｍ１−Ｍ３ メイン料理
ＰＡ 確率領域
Ｓ１−Ｓ３ サイド料理
ＳＹＳ，ＳＹＳ１，ＳＹＳ２ 視線検出システム

Claims (5)

1. 顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を記憶する記憶部と、
   顧客を撮像する撮像装置により撮像された画像を用いて、複数の商品の情報が提示される領域内における顧客の視線位置を検出する検出部と、
   顧客により購入される商品を示す購入情報を取得する入力処理装置から取得した第１の顧客についての購入情報と、前記記憶部に記憶された前記対応情報とに基づいて、該第１の顧客により購入された商品の中から１の商品を決定する決定部と、
   前記検出部が検出した前記第１の顧客の前記領域内における視線位置を、前記決定部が決定した前記１の商品についての情報が提示される前記領域内の位置に基づいて較正する較正部とを含む検出装置を有する
   ことを特徴とする視線検出システム。
2. 請求項１に記載の視線検出システムにおいて、
   前記記憶部は、顧客により購入された商品を該顧客が注視する時間長に応じた複数の前記対応情報を記憶し、
   前記検出部は、顧客が商品を注視する時間長を前記画像を用いて検出し、
   前記決定部は、検出された前記時間長に基づいて前記複数の対応情報のうちの１つを選択し、前記購入情報と選択した前記対応情報とに基づいて、前記１の商品を決定する
   ことを特徴とする視線検出システム。
3. 請求項１または２に記載の視線検出システムにおいて、
   前記検出部は、前記撮像装置により撮像された各画像を用いて、顧客の視線位置を検出し、
   前記較正部は、前記視線位置を較正することで得られた視線位置の補正データを用いて、前記検出部が各画像を用いて検出した視線位置を較正する
   ことを特徴とする視線検出システム。
4. １の顧客が購入した商品を示す購入情報を取得し、
   撮像装置により撮像された画像を用いて前記１の顧客が前記商品を購入する前の視線位置を検出し、
   顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を、前記購入情報に基づいて参照して前記１の顧客が注視した１の商品を決定し、
   前記１の顧客について検出した前記視線位置を、決定した前記１の商品の位置に基づいて較正する
   処理をコンピュータに実行させる視線検出プログラム。
5. １の顧客が購入した商品を示す購入情報を取得し、
   撮像装置により撮像された画像を用いて前記１の顧客が前記商品を購入する前の視線位置を検出し、
   顧客により購入される商品の組合せと該商品の組合せを購入する前に該顧客により注視される商品との関係を示す対応情報を、前記購入情報に基づいて参照して前記１の顧客が注視した１の商品を決定し、
   前記１の顧客について検出した前記視線位置を、決定した前記１の商品の位置に基づいて較正する
   ことを特徴とする視線検出方法。

Images