JP2019175413A - 判定プログラム、判定方法および判定装置 - Google Patents

Abstract

【課題】対象物に対する関心度を判定する。【解決手段】計数部１ａは、人物３の視線の検出結果に基づいて、人物３が対象物２ａを注視した注視回数を計数する。回数補正部１ｂは、所定時間前の時刻に対象物２ａが注視されていた場合に注視回数が減算されるように、注視回数を補正する。判定部１ｃは、補正後の注視回数に基づいて、人物３の対象物２ａに対する関心度を判定する。例えば、判定部１ｃは、補正後の注視回数と所定の閾値とを比較し、補正後の注視回数が閾値を超えた場合に、対象物２ａに対する関心度が高まったことを示す情報を出力する。【選択図】図１

Description

本発明は、判定プログラム、判定方法および判定装置に関する。

対象物に対する人物の視線を検出し、その検出結果から対象物に対する人物の関心度を判定する技術が研究されている。この技術では、例えば、対象物に対して視線を向けられた時間や回数の値が大きいほど、その対象物に対する関心度が高いと判定される。

このような技術の例として、商品に対する消費者の視線の量を示す数値と、商品に対する消費者の興味を示す数値とを含む視線情報の値が、視線の量および興味の２次元空間上に設定された設定領域に含まれるかを判断する視線情報処理システムが提案されている。また、他の例として、画面上のオブジェクトに対する視線の滞留時間と、オブジェクトの物理的特徴などに基づく誘目強度とを用いて、ユーザの関心度を推定するユーザインタフェース装置が提案されている。

特開２０１７−４１１２３号公報 国際公開第２０１１／０７４１９８号

ところで、人物が複数の対象物を視認して、それらの中から特定の対象物に対する関心が高まる（例えば、商品を購入しようとする）までの間、人物からの視線が複数の対象物の間で頻繁に移動する場合がある。このような場合、各対象物に対して視線を向けられた時間や回数の値を用いるだけでは、各対象物に対する関心度を判定できないという問題がある。

１つの側面では、本発明は、対象物に対する関心度を判定可能な判定プログラム、判定方法および判定装置を提供することを目的とする。

１つの案では、コンピュータに、人物の視線の検出結果に基づいて、人物が対象物を注視した注視回数を計数し、所定時間前の時刻に対象物が注視されていた場合に注視回数が減算されるように、注視回数を補正し、補正後の注視回数に基づいて、人物の対象物に対する関心度を判定する、処理を実行させる判定プログラムが提供される。

また、１つの案では、上記判定プログラムにしたがった処理と同様の処理をコンピュータが実行する判定方法が提供される。
さらに、１つの案では、上記判定プログラムにしたがった処理と同様の処理を実行する判定装置が提供される。

１つの側面では、対象物に対する関心度を判定できる。

第１の実施の形態に係る判定装置の構成例および処理例を示す図である。 第２の実施の形態に係る商品案内システムの構成例を示す図である。 商品領域の設定例を示す図である。 関心が高まった場合の処理の一例を示す図である。 陳列された商品に対する関心度を判定する場合について説明するための図である。 情報処理装置および視線センサのハードウェア構成例を示す図である。 情報処理装置が備える処理機能の構成例を示す図である。 商品領域管理テーブルのデータ構成例を示す図である。 目視点座標管理テーブルのデータ構成例を示す図である。 注視点の動きの例を示す図である。 関心が高まった商品の判定についての比較例を示す。 注視回数の遷移例を示す図である。 ある時刻での注視回数の計数値を示す図である。 視線検出の処理手順を示すフローチャートの例である。 関心状態の判定処理手順を示すフローチャートの例（その１）である。 関心状態の判定処理手順を示すフローチャートの例（その２）である。 閾値管理テーブルのデータ構成例を示す図である。 経過時間と閾値との関係の例を示すグラフである。 変形例２における関心状態の判定処理手順を示すフローチャートの例である。 商品およびディスプレイの配置例を示す図である。 商品領域管理テーブルのデータ構成例を示す図である。 変形例３における関心状態の判定処理手順を示すフローチャートの例である。 ディスプレイにおける情報の表示例を示す図（その１）である。 ディスプレイにおける情報の表示例を示す図（その２）である。 ディスプレイにおける情報の表示例を示す図（その３）である。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る判定装置の構成例および処理例を示す図である。図１に示す判定装置１は、ある対象物に対する人物からの視線の検出結果に基づいて、その人物の対象物に対する関心度を判定するための装置である。図１では例として、対象物２ａ〜２ｃが配列されており、これらのうち対象物２ａに対する人物３の関心度が判定されるものとする。また、例として、対象物２ａ〜２ｃの近傍には、人物３の視線を検出するための視線センサ４が配置されているものとする。

判定装置１は、計数部１ａ、回数補正部１ｂおよび判定部１ｃを有する。なお、計数部１ａ、回数補正部１ｂおよび判定部１ｃの処理は、例えば、判定装置１が備える図示しないプロセッサが、所定のプログラムを実行することで実現される。

計数部１ａは、視線センサ４による人物３の視線の検出結果に基づいて、人物が対象物２ａを注視した注視回数を計数する。ここで、対象物２ａに対する注視は、例えば、次のように判定される。人物３と対象物２ａとの間の空間上に、人物３の視線と交差するように仮想平面が設定され、その仮想平面のうち、人物３が対象物２ａを視認できる範囲（対象物範囲）が仮想的に設定される。そして、視線センサ４の検出結果に基づいて、仮想平面における、人物３の視線が注がれる位置（目視点）が検出され、上記の対象物範囲内に目視点が一定時間存在し続けた場合に、人物３が対象物２ａを注視したと判定される。

なお、ここでは例として、人物３が対象物２ａを注視したかの判定が一定時間間隔で行われるものとする。そして、計数部１ａは、このような判定により人物３が対象物２ａを注視したと判定された場合に、注視回数に１を加算するものとする。

回数補正部１ｂは、所定時間前の時刻に対象物２ａが注視されていた場合に注視回数が減算されるように、注視回数を補正する。判定部１ｃは、回数補正部１ｂによる補正後の注視回数に基づいて、人物３の対象物２ａに対する関心度を判定する。

複数の対象物２ａ〜２ｃの中から特定の対象物に対する関心が高まる場合、人物３は、対象物２ａ〜２ｃを一通り見た後、興味のある対象物に対して視線を移していく。このため、最初のうち、人物３の視線は対象物間を頻繁に移動し、その後徐々に特定の対象物に対して視線が集中していく。すなわち、関心が高まっていくのに連れて、直近の期間における注視回数（すなわち、注視頻度）が徐々に増加していく。

回数補正部１ｂによる上記補正処理により、一定時間前における注視頻度より直近の注視頻度の方が関心度の指標に大きな影響を与えるように、注視回数が補正される。これにより、上記のように複数の対象物２ａ〜２ｃが存在する状況での特定の対象物（ここでは対象物２ａ）の関心度を判定できるようになる。

以下、判定装置１の処理の具体例について説明する。
図１に示すテーブル５では、注視が判定される時刻ごとに、その時点での注視回数が対応付けられている。また、注視回数の欄に矢印が記載されている場合、矢印の前が回数補正部１ｂによる補正前の注視回数を示し、矢印の後が補正後の注視回数を示す。このテーブル５では、例として、時刻ｔ１〜ｔ７のうち、時刻ｔ１，ｔ３，ｔ５〜ｔ７において、人物３が対象物２ａを注視したと判定されたものとする。また、時刻ｔ７において、対象物２ａに対する人物３の関心が高まったものとする。例えば、対象物２ａが商品の場合、時刻ｔ７において、商品の購入を決めた、商品を手にとろうとした、商品の詳細を知りたいと思った、というような人物３の心の動きが生じたものとする。

ここでは例として、回数補正部１ｂは、対象物が注視されたかの判定タイミングごとに（すなわち、時刻ｔ１〜ｔ７のそれぞれにおいて）、一定時間前の時刻において対象物２ａが注視されたかを判定する。この「一定時間」としては、例として、注視が判定される周期の３回分とする。そして、回数補正部１ｂは、一定時間前の時刻において対象物２ａが注視されていた場合、現在の注視回数から所定値（ここでは１とする）を減算する。

テーブル５の例では、時刻ｔ１で注視回数が０から１に増加し、時刻ｔ３で注視回数が１から２にさらに増加する。時刻ｔ４では、注視回数は増加しないが、３周期前の時刻ｔ１で対象物２ａが注視されていることから、回数補正部１ｂによって注視回数から１が減算される。その結果、注視回数は１となる。

その後、時刻ｔ５で注視回数が１から２に増加する。時刻ｔ６では、注視回数が２から３に一時的に増加するが、３周期前の時刻ｔ３で対象物２ａが注視されていることから、回数補正部１ｂによって注視回数が３から２に減算される。その後、時刻ｔ７で注視回数が２から３に増加する。

このように、補正後の注視回数の値は時刻ｔ７で最大となるので、判定部１ｃは、この時刻ｔ７において関心度が最大になったと正しく判定できる。また、例えば、閾値を２とし、注視回数がこの閾値を超えた場合に対象物２ａに対する関心が高まったと判定する場合、判定部１ｃは、時刻ｔ７で対象物２ａに対する関心が高まったことを正しく判定できる。例えば、注視回数の補正を行わない場合、時刻ｔ５で注視回数が３となって閾値を超えるが、この時点では対象物２ａに対する関心が高まったとは必ずしも言えない。しかし、上記処理によれば、直近の注視頻度が高まった時刻ｔ７において、対象物２ａに対する関心が高まったことを正しく判定できる。

なお、回数補正部１ｂは、例えば、次のような方法で注視回数を補正してもよい。上記の方法では、減算の対象とする注視回数は、以前の時刻で補正が行われた場合、補正後の注視回数となっていた。これに対して、以下の方法では、減算の対象とする注視回数を常に補正前の注視回数とする。

テーブル５の例では注視回数の補正が行われない場合、時刻ｔ１から時刻ｔ７までの各時刻における注視回数は、１，１，２，２，３，４，５と遷移する。回数補正部１ｂは、例えば、時刻ｔ４において、３周期前の時刻ｔ１で対象物２ａが注視されていたと判定すると、注視回数「２」から、時刻ｔ１以前に加算された注視回数（すなわち、時刻ｔ１での注視回数）に所定の重みを付与した値を減算する。ここでは重みを１とすると、時刻ｔ４では、注視回数「２」から時刻ｔ１での注視回数「１」が減算され、減算後の値「１」が関心度として用いられる。

同様の計算方法により、時刻ｔ６では、注視回数「４」から、時刻ｔ３での注視回数「２」が減算され、減算後の値「２」が関心度として用いられる。また、時刻ｔ７では、注視回数「５」から、時刻ｔ４での注視回数「２」が減算され、減算後の値「３」が関心度として用いられる。このような処理により、時刻ｔ７において関心度が最大になったと正しく判定できる。

〔第２の実施の形態〕
図２は、第２の実施の形態に係る商品案内システムの構成例を示す図である。図２に示す商品案内システムは、情報処理装置１００、ディスプレイ２１０および視線センサ２２０を含む。

この商品案内システムは、ディスプレイ２１０に商品に関する情報（商品情報）を表示させて、顧客３００に対して商品を案内するためのシステムである。情報処理装置１００は、複数の商品に関する商品情報をディスプレイ２１０に表示させ、視線センサ２２０の検出結果に基づいて、複数の商品のそれぞれに対する顧客３００の関心度を推定する。また、情報処理装置１００は、複数の商品のうちの１つに対する顧客３００の関心度が高まったと判定すると、その商品についてのさらに詳しい情報をディスプレイ２１０に表示させる。

ディスプレイ２１０は、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイなどの各種表示デバイスとして実現される。視線センサ２２０は、ディスプレイ２１０の表示面における顧客３００の目視点３０２の位置（二次元座標）を検出するためのセンサデバイスである。目視点３０２とは、顧客３００の視線３０１とディスプレイ２１０の表示面との交点であり、目視点３０２の座標は、顧客３００がディスプレイ２１０上のどの位置を目視したかを示す。情報処理装置１００は、視線センサ２２０の検出結果に基づいて、ディスプレイ２１０の表示面における目視点３０２の座標を算出する。

次に、商品情報に対する顧客の注視判定について説明する。
前述のように、ディスプレイ２１０には、複数の商品のそれぞれについての商品情報が表示される。本実施の形態では例として、商品情報として商品の画像が表示されるものとする。また、本実施の形態では、ディスプレイ２１０の表示面の座標平面上（すなわち、表示画像の座標平面上）に、表示された商品の画像に対応する商品領域が商品ごとに設定される。商品領域は、対応する商品を顧客が注視したかを判定するために利用される。

図３は、商品領域の設定例を示す図である。図３の例では、ディスプレイ２１０に対して、それぞれ個別の商品に対応する商品画像２１１〜２１４が表示されている。商品領域は、対応する商品画像を包含するように設定される。本実施の形態では、例として、商品領域は矩形領域として設定されるものとする。図３の例では、商品画像２１１〜２１４にそれぞれ対応する商品領域２１１ａ〜２１４ａが、矩形領域として設定されている。

ところで、情報処理装置１００は、視線センサ２２０からの情報に基づいて、一定時間間隔で（例えば、１／１５秒ごとに）目視点の座標を算出する。また、情報処理装置１００は、少なくとも、目視点が商品領域に含まれる場合に、その商品領域に対応する商品を顧客が注視したと判定する。ただし、この判定は商品に対する顧客の関心度を推定するためのものなので、例えば、顧客の目視点が瞬間的に商品領域に含まれた（すなわち、顧客が瞬間的に商品を目視した）場合には、顧客が商品を注視したと判定しないことが望ましい。

そこで、情報処理装置１００は、目視点が一定範囲内に一定時間（例えば、０．３秒）滞留した場合に、顧客が注視したと判定する。本実施の形態では例として、一定範囲とは、所定半径の円領域とする。円領域の半径としては、例えば、ディスプレイ２１０の表示面における２５ｍｍに相当する画素数が設定される。

したがって、商品の注視判定では、情報処理装置１００は、目視点が一定範囲内に一定時間滞留し、かつ、目視点がその時間内に同一の商品領域に含まれていた場合に、その商品領域に対応する商品を顧客が注視したと判定する。そして、情報処理装置１００は、商品領域ごとに、顧客が注視した回数を累積していき、その注視回数に基づいて、商品領域に対応する商品に対する顧客の関心度を判定する。

情報処理装置１００は、関心度の判定結果に基づき、いずれかの商品に対する顧客の関心が高まったと判定すると、その商品についての所定の処理を実行する。
図４は、関心が高まった場合の処理の一例を示す図である。情報処理装置１００は、例えば、ある商品に対する関心が高まったと判定した場合、その商品についてあらかじめ決められた情報をディスプレイ２１０に表示させる。図４は、商品画像２１４に対する関心が高まった場合に、対応する商品を説明するための情報２１４ｂが表示された例を示している。この例の他、情報処理装置１００は、例えば、商品の拡大画像、商品と合わせて購入を勧める他の商品に関する情報などをディスプレイ２１０に表示させることもできる。

また、情報処理装置１００は、ある商品に対する関心が高まったと判定した場合、その旨を他の装置に通知してもよい。例えば、ある商品に対する関心が高まったことが、店員が保持する携帯端末に通知されてもよい。この場合、店員は、例えば、その商品の購入を顧客に勧めることができる。また、携帯端末には、関心が高まった商品に関する情報が表示されてもよい。この場合、店員は、表示された情報を参照しながら、顧客に商品の説明を行い、その購入を勧めることができる。

さらに、以上の例では、ディスプレイ２１０に対象物として複数の商品が表示されたが、表示される対象物は商品に限らない。例えば、建物の複数のフロアを示す情報がディスプレイ２１０に表示されてもよい。この場合、例えば、あるフロアに対する顧客の関心が高まった（例えば、顧客がそのフロアの情報を知りたいと思った）と判定した場合に、そのフロアに関する情報（例えば、フロアに存在する店舗の情報）がディスプレイ２１０に表示される。

また、例えば、ディスプレイ２１０は透明ディスプレイであってもよい。この場合、例えば、ディスプレイ２１０に商品の画像が表示されるのではなく、ディスプレイ２１０を挟んで顧客とは反対側に、複数の商品が実際に配置されていてもよい。この状態では、顧客は、透明なディスプレイ２１０を介してこれら複数の商品を視認できるとともに、ディスプレイ２１０に表示された画像も視認できる。このような場合、ディスプレイ２１０の表示面における商品領域は、顧客からディスプレイ２１０を介して該当する商品が視認できる範囲に設定されればよい。

また、次の図５に示すように、ディスプレイ２１０を用いずに、陳列された複数の商品に対する顧客の関心度が判定されてもよい。
図５は、陳列された商品に対する関心度を判定する場合について説明するための図である。図５の例では、商品３１１〜３１４が陳列されるとともに、それらの近くに視線センサ２２０が設置され、顧客３００の視線を検出できるようになっている。このような場合、例えば、顧客３００と商品３１１〜３１４との間に、商品３１１〜３１４の並列方向にほぼ平行な仮想平面が設定される。そして、仮想平面上における、顧客３００から仮想平面を介して商品が視認できる範囲に、その商品に対応する商品領域が設定される。図５の例では、商品３１１〜３１４にそれぞれ対応する商品領域３１１ａ〜３１４ａが設定されている。

図５のような構成の場合、例えば、情報処理装置１００は、ある商品に対する関心が高まったと判定したとき、その旨を店員が保持する携帯端末に通知する。あるいは、情報処理装置１００は、商品３１１〜３１４の陳列位置の近くに設置されたディスプレイに、関心が高まった商品に関する情報を表示させてもよい。

次に、図６は、情報処理装置および視線センサのハードウェア構成例を示す図である。
情報処理装置１００は、例えば、図６に示すようなコンピュータとして実現される。情報処理装置１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

プロセッサ１０１には、バス１０８を介して、ＲＡＭ（Random Access Memory）１０２と複数の周辺機器が接続されている。
ＲＡＭ１０２は、情報処理装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

バス１０８に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）１０３、グラフィックインタフェース１０４、入力インタフェース１０５、読み取り装置１０６および通信インタフェース１０７がある。

ＨＤＤ１０３は、情報処理装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

グラフィックインタフェース１０４には、ディスプレイ２１０が接続される。グラフィックインタフェース１０４は、プロセッサ１０１からの命令に従って、画像をディスプレイ２１０に表示させる。

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。

通信インタフェース１０７は、視線センサ２２０との間でデータの送受信を行う。
以上のようなハードウェア構成によって、情報処理装置１００の処理機能を実現することができる。

次に、視線センサ２２０は、赤外線ＬＥＤ（Light Emitting Diode）２２１、固定式の広角カメラ２２２、および可動式の狭角カメラ２２３を備える。
赤外線ＬＥＤ２２１は、顧客に対して赤外光を照射する。この赤外光は、顧客の瞳孔中に生じる角膜反射像（プルキニエ像）を得るためのものである。広角カメラ２２２は、少なくとも顧客の顔全体を撮像できるような広角の視野を有する。広角カメラ２２２は固定されているので、広角カメラ２２２の視野も固定されている。狭角カメラ２２３は、広角カメラ２２２と比較して狭角な視野を有し、顧客の顔のパーツ、具体的には目領域を撮像する。また、狭角カメラ２２３は、ズーム機構を備えている。狭角カメラ２２３の撮像方向は、図示しないアクチュエータによって変化するようになっており、これにより、狭角カメラ２２３の撮像方向を目領域に追随させることができる。

情報処理装置１００は、このような構成の視線センサ２２０を用いて、例えば、特許文献「特開２０１５−１９２３４３号」に記載の次のような方法によって顧客の目視点の座標を算出する。

情報処理装置１００は、広角カメラ２２２の撮像画像に対して顔検出を行い、撮像画像における顧客の顔領域を検出する。情報処理装置１００は、顔領域の検出位置に基づいて、狭角カメラ２２３の撮像方向が顧客の目領域に向くようにこの撮像方向を制御する。情報処理装置１００は、狭角カメラ２２３の撮像画像から、角膜反射像の位置と、瞳孔中心などの注目点の位置とを検出し、これらの相対位置の変化に基づいて視線角度変化を算出する。情報処理装置１００は、視線角度変化と、顔までの距離を示す情報とに基づいて、ディスプレイ２１０の表示画面における目視点の座標を算出する。なお、顔までの距離は、例えば、広角カメラ２２２の撮像画像における顔のサイズや顔のパーツ間距離に基づいて算出される。

なお、以上の情報処理装置１００による目視位置の算出処理は、例えば、視線センサ２２０のドライバプログラムによって実現される。
図７は、情報処理装置が備える処理機能の構成例を示す図である。情報処理装置１００は、記憶部１１０、視線検出部１２１、商品注視判定部１２２、注視回数補正部１２３、関心状態判定部１２４および商品情報表示制御部１２５を有する。なお、商品注視判定部１２２、注視回数補正部１２３、関心状態判定部１２４は、それぞれ図１に示した計数部１ａ、回数補正部１ｂ、判定部１ｃの一例である。

記憶部１１０は、ＲＡＭ１０２、ＨＤＤ１０３など、情報処理装置１００が備える記憶装置の記憶領域として実現される。記憶部１１０には、商品領域管理テーブル１１１、目視点座標管理テーブル１１２、注視回数管理テーブル１１３および商品情報管理テーブル１１４が記憶される。

商品領域管理テーブル１１１には、ディスプレイ２１０に商品画像が表示された商品ごとに設定された商品領域を示す座標情報が登録される。
目視点座標管理テーブル１１２には、視線検出部１２１によって検出された目視点の座標が、その検出時刻とともに登録される。また、目視点座標管理テーブル１１２には、商品注視判定部１２２により、目視点の検出時刻に顧客がいずれかの商品を注視したと判定された場合、注視された商品の識別情報が時刻と対応付けて登録される。

注視回数管理テーブル１１３には、商品ごとに、注視回数を示すカウント値が登録される。
商品情報管理テーブル１１４には、商品に対する顧客の関心が高まった場合にディスプレイ２１０に表示させる情報が、商品ごとに登録されている。

視線検出部１２１、商品注視判定部１２２、注視回数補正部１２３、関心状態判定部１２４および商品情報表示制御部１２５の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。

視線検出部１２１は、視線センサ２２０を制御しながら、視線センサ２２０から取得した画像に基づいて、ディスプレイ２１０の表示面における目視点の座標を算出する。目視点の座標は、１／３０秒ごとに算出されるものとする。なお、視線検出部１２１の処理は、例えば、前述した視線センサ２０２のドライバプログラムによって実現される。

商品注視判定部１２２は、算出された目視点の座標を目視点の検出時刻とともに視線検出部１２１から取得し、目視点座標管理テーブル１１２に登録する。また、商品注視判定部１２２は、目視点座標管理テーブル１１２に登録された情報に基づいて、顧客がいずれかの商品を注視したかを判定する。顧客が商品を注視したかの判定は、０．３秒ごとに行われるものとする。

商品注視判定部１２２は、顧客がある商品を注視したと判定した場合には、その商品の識別情報をその時刻と対応付けて目視点座標管理テーブル１１２に登録する。これとともに、商品注視判定部１２２は、注視回数管理テーブル１１３に登録された、その商品に対応する注視回数の値に１を加算する。

注視回数補正部１２３は、注視回数管理テーブル１１３に登録された商品ごとの注視回数を、一定時間前の時刻に商品が注視されたか否かに応じて補正する。この補正では、一定時間前の時刻に商品が注視され、これに伴って注視回数が加算されていた場合に、現在の注視回数から所定の値が減算される。

関心状態判定部１２４は、注視回数管理テーブル１１３に登録された注視回数を所定の閾値と比較する。関心状態判定部１２４は、注視回数が閾値を超えた場合に、対応する商品に対する顧客の関心が高まったと判定し、その商品の識別情報を商品情報表示制御部１２５に出力する。

商品情報表示制御部１２５は、顧客の関心が高まったと判定された商品に関する情報を商品情報管理テーブル１１４から読み出す。商品情報表示制御部１２５は、読み出した情報に基づいて、顧客の関心が高まったと判定された商品に関する情報をディスプレイ２１０に表示させる。

図８は、商品領域管理テーブルのデータ構成例を示す図である。図８に示すように、商品領域管理テーブル１１１は、ディスプレイ２１０に商品画像が表示された商品ごとのレコードを有する。各レコードでは、商品を識別するための商品ＩＤに対して、設定された商品領域の位置を示す商品領域データが登録される。商品領域データは、例えば図８に示すように、（ｘ₁，ｙ₁，ｘ₂，ｙ₂）という座標値で表される。（ｘ₁，ｙ₁）は、矩形の商品領域における左上の座標を示し、（ｘ₂，ｙ₂）は、商品領域における右下の座標を示す。

図９は、目視点座標管理テーブルのデータ構成例を示す図である。目視点座標管理テーブル１１２には、目視点が検出されるごとにレコードが追加される。各レコードには、検出日時、目視点座標および商品ＩＤが登録される。

検出日時は、目視点が検出された日時を示す。目視点座標は、検出された目視点の、ディスプレイ２１０の表示面におけるｘ座標、ｙ座標を示す。商品ＩＤの欄には、目視点の位置と目視の継続時間に基づき、いずれかの商品領域が注視されたと判定された場合に、対応する商品の商品ＩＤが登録される。

次に、関心状態判定部１２４の処理についてさらに説明する。
前述のように、関心状態判定部１２４は、注視回数管理テーブル１１３に登録された、ある商品についての注視回数が閾値を超えた場合に、その商品に対する顧客の関心が高まったと判定する。注視回数は、基本的に、顧客が商品領域を注視するたびにカウントアップされていく。

ここで、比較例として、顧客による商品領域の注視回数を計数してそのまま閾値判定に用いる方法を考える。この方法では、複数の商品のうち、顧客の視線が特定の商品にすぐに向けられた場合には、その商品に対する顧客の関心が高まったことを正確に判定できる。しかし、実際にはこのように顧客の視線が特定の商品にすぐに向けられるとは限らない。

例えば、多くの場合、顧客は、表示された複数の商品のそれぞれに対して視線を向けた後、特定の商品に対して視線を向ける。具体的な例としては、顧客は、複数の商品のそれぞれに視線を向けて各商品を比較し、購入しようとする、あるいは詳細な情報を得ようとする商品を絞り込む。この絞り込みにより、顧客が注視する点の位置は、特定の商品の商品領域に徐々に集中して現れるようになる。以下、顧客が注視したと判定された目視点を「注視点」と記載する。また、次の図１０に、このような場合の注視点の動きの例を示す。

図１０は、注視点の動きの例を示す図である。この図１０において、Ｔ１〜Ｔ１３は、注視点が検出された時刻を示す。これらの時刻は、注視点の検出周期（０．３秒）ごとの時刻である。図１０では、検出周期ごとに時刻Ｔ１から時刻Ｔ１３まで連続的に注視点が検出された（注視したと判定された）ものとする。また、図１０では例として、４つの商品Ｐ１〜Ｐ４にそれぞれ対応する商品領域２１５ａ〜２１５ｄが設定されているものとする。そして、時刻Ｔ１〜Ｔ１３が記載された丸印の位置は、注視点の検出位置を示す。

図１０の例では、顧客による注視点は、最初のうちは商品領域間で頻繁に移動し、商品Ｐ４に対する顧客の関心が徐々に高まって、注視点が商品領域２１５ｄに集中していく。このようなケースでは、顧客による商品領域の注視回数を計数してそのまま閾値判定を行うと、関心が高まった商品が誤って判定される可能性がある。

図１１は、関心が高まった商品の判定についての比較例を示す。この比較例では、商品ごとに、対応する商品領域が注視された回数を単純にカウントしたものとする。図１１（Ａ）は、図１０の時刻Ｔ１〜Ｔ１３のうち、時刻Ｔ７における商品ごとの注視回数を示し、図１１（Ｂ）は、時刻Ｔ１３における商品ごとの注視回数を示す。また、例として判定に用いる閾値ＴＨを３とする。

前述のように、図１０の例では、最終的に商品Ｐ４に対する顧客の関心が高まっている。しかし、図１１（Ａ）に示すように、中間的な時刻Ｔ７になった時点で、商品Ｐ２についての注視回数が閾値ＴＨを超えてしまい、商品Ｐ２に対する関心が高まったと誤って判定されてしまう。

また、誤判定を防止する方法として、閾値ＴＨをより高くする方法が考えられる。しかし、図１１（Ｂ）に示すように、最終的な時刻Ｔ１３でも、複数の商品（ここでは商品Ｐ２〜Ｐ４）についての注視回数に差が生じない場合もあり、そのような場合には閾値ＴＨを高くしたとしても正確な判定はできない。

そこで、本実施の形態の情報処理装置１００は、次のような方法によって上記のような誤判定の発生確率を低減する。
上記のように、ある商品に対する関心が高まっていくと、注視点はその商品に対応する商品領域に徐々に集中していく。すなわち、関心が高まっていくのに連れて、直近の期間における注視回数（すなわち、注視頻度）が徐々に増加していく。このことから、注視回数補正部１２３は、関心状態判定部１２４で実行される閾値判定に対して、一定時間前における注視頻度より直近の注視頻度の方が大きな影響を与えるように、現在の注視回数を補正する。

具体的には、注視回数補正部１２３は、注視の判定周期ごとに、一定時間前の時刻に注視回数が加算されたかを判定し、加算されていた場合には、現在の注視回数から所定値を減算する。商品に注視したと判定されるたびに注視回数にＮ（Ｎは１以上の整数）が加算される場合、現在の注視回数から（Ｎ×Ｃ）が減算される。係数Ｃは、０＜Ｃ≦Ｎの条件を満たすように任意に設定される。この係数Ｃは、一定時間前の時刻以前に注視回数に加算された値が、閾値判定の際に与える影響度を示す重み係数である。

ここで、Ｎ＝Ｃ＝１として、上記計算方法を図１０の例に適用した場合の注視回数の遷移例を、図１２に示す。
図１２は、注視回数の遷移例を示す図である。また、図１３は、ある時刻での注視回数の計数値を示す図である。図１３（Ａ）は、時刻Ｔ７における注視回数を示し、図１３（Ｂ）は、時刻Ｔ１３における注視回数を示す。

図１２、図１３では、ある注視点の検出時刻において、それより注視点の検出周期の３回分だけ前、すなわち（０．３×３）秒前の時刻において、注視回数に値が加算されていた場合に、現在の注視回数からＮ×Ｃ＝１が減算されるものとする。また、関心が高まったかの判定に用いる閾値ＴＨを２とする。なお、図１２において、注視回数の数値に下線が付されている場合、対応する商品に対して顧客が注視したと判定されたことを示す。

図１２において、例えば、時刻Ｔ１，Ｔ２，Ｔ３では、それぞれ商品Ｐ１，Ｐ２，Ｐ３についての注視回数に１が加算されている。時刻Ｔ４では、商品Ｐ２の注視回数に１が加算される一方、商品Ｐ１の注視回数については、注視点の検出周期の３回分だけ前の時刻Ｔ１で加算されているので、商品Ｐ１の注視回数から１が減算される。

時刻Ｔ５では、商品Ｐ２の注視回数に１が加算されるが、この注視回数は時刻Ｔ２で加算されているので、この注視回数から１が減算される。したがって、商品Ｐ２の注視回数は２のままとなる。以下、商品Ｐ２の注視回数について見ていくと、時刻Ｔ６では、時刻Ｔ３で加算されていないので、商品Ｐ２の注視回数は２のままとなる。時刻Ｔ７では、注視回数に１が加算されるが、時刻Ｔ４で加算されているので、注視回数から１が減算される。したがって、商品Ｐ２の注視回数は２のままとなる。

このように、時刻Ｔ７では、商品Ｐ２の注視回数は閾値ＴＨ＝２を超えない（図１３（Ａ）参照）。また、図１１の例のように、閾値ＴＨを３とした場合でも、時刻Ｔ７では商品Ｐ２の注視回数は閾値ＴＨを超えず、商品Ｐ２への関心が高まったとは判定されない。したがって、誤判定が防止されている。一方、商品Ｐ４への関心が高まる時刻Ｔ１３では、商品Ｐ４の注視回数が２から３に増加し、閾値ＴＨ＝２を超える（図１３（Ｂ）参照）。したがって、時刻Ｔ１３において、商品Ｐ４への関心が高まったことが正しく判定される。

次に、情報処理装置１００の処理についてフローチャートを用いて説明する。
図１４は、視線検出の処理手順を示すフローチャートの例である。なお、図１４の初期状態では、視線センサ２２０の広角カメラ２２２による撮像画像から、顧客の顔が検出されていない状態であるとする。

［ステップＳ１１］視線検出部１２１は、広角カメラ２２２から撮像画像を取得し、顔検出処理を実行する。視線検出部１２１は、顔が検出された場合、ステップＳ１２の処理を実行する。視線検出部１２１は、顔が検出されなかった場合、次の撮像画像取得タイミングまで待ち状態となり、撮像画像取得タイミングになると、広角カメラ２２２から撮像画像を再度取得して、顔検出処理を実行する。

［ステップＳ１２］視線検出部１２１は、検出された顔領域の位置に基づいて、狭角カメラ２２３の撮像方向が顧客の目領域に向くように、狭角カメラ２２３の撮像方向を制御する。また、視線検出部１２１は、赤外線ＬＥＤ２２１に赤外光を発光させる。

視線検出部１２１は、狭角カメラ２２３から撮像画像を取得し、取得した撮像画像から、角膜反射像の位置と、瞳孔中心などの注目点の位置とを検出し、これらの相対位置の変化に基づいて視線角度変化を算出する。視線検出部１２１は、視線角度変化と、顔までの距離を示す情報とに基づいて、ディスプレイ２１０の表示画面における目視点の座標（目視点座標）を算出する。

［ステップＳ１３］視線検出部１２１は、広角カメラ２２２から撮像画像を取得し、顔検出処理を実行する。視線検出部１２１は、顔が継続して検出されている場合、ステップＳ１２の処理を実行する。一方、視線検出部１２１は、顔が検出されなかった場合、次の撮像画像取得タイミングまで待ち状態となり、撮像画像取得タイミングになるとステップＳ１１の処理を実行する。

なお、広角カメラ２２２による撮像画像から顔が検出されている間、ステップＳ１２での目視点座標の算出は一定周期で（ここでは１／３０秒ごとに）実行されるものとする。
図１５、図１６は、関心状態の判定処理手順を示すフローチャートの例である。

［ステップＳ２１］視線検出部１２１により広角カメラ２２２の撮像画像から顔が新たに検出され、目視点座標の算出が開始される。すると、商品注視判定部１２２は、算出された目視点座標を目視点の検出時刻とともに視線検出部１２１から取得する。

［ステップＳ２２］商品注視判定部１２２は、目視点座標管理テーブル１１２に新たなレコードを追加し、ステップＳ２１，Ｓ２６、図１６のステップＳ３７のいずれかで取得した目視点座標を、目視点の検出時刻とともに追加したレコードに登録する。

［ステップＳ２３］商品注視判定部１２２は、目視点座標管理テーブル１１２に登録された商品領域データに基づいて、目視点がいずれかの商品領域に含まれるかを判定する。商品注視判定部１２２は、目視点がいずれかの商品領域に含まれる場合、ステップＳ２４の処理を実行し、目視点がいずれの商品領域にも含まれない場合、ステップＳ２５の処理を実行する。

［ステップＳ２４］商品注視判定部１２２は、目視点が含まれる商品領域に対応する商品の商品ＩＤを、目視点座標管理テーブル１１２のステップＳ２２で追加したレコードに登録する。

［ステップＳ２５］商品注視判定部１２２は、ステップＳ２１で目視点座標の取得が開始されてから、または商品が注視されたかの判定（ステップＳ２７，Ｓ２８）が最後に行われてから、時間ＴＭ１が経過したかを判定する。時間ＴＭ１は、注視判定の周期であり、ここでは０．３秒である。商品注視判定部１２２は、時間ＴＭ１が経過していない場合、ステップＳ２６の処理を実行し、時間ＴＭ１が経過した場合、ステップＳ２７の処理を実行する。

［ステップＳ２６］商品注視判定部１２２、次の目視点の検出時刻まで待ち状態となる。そして、検出時刻になったとき、商品注視判定部１２２は、視線検出部１２１から目視点座標を取得した場合には、ステップＳ２２の処理を実行し、目視点座標を取得できなかった場合には、処理を終了する。

［ステップＳ２７］商品注視判定部１２２は、目視点座標管理テーブル１１２に登録された目視点座標に基づき、直近の時間ＴＭ１の期間全体において目視点が一定範囲に滞留していたかを判定する。この範囲とは、例えば、ディスプレイ２１０の表示面における半径２５ｍｍの円領域に相当する範囲である。商品注視判定部１２２は、目視点が一定範囲に滞留していた場合、ステップＳ２８の処理を実行し、目視点が一定範囲に滞留していなかった場合、図１６のステップＳ３１の処理を実行する。

［ステップＳ２８］ステップＳ２７，Ｓ２８で「Ｙｅｓ」と判定されることで、顧客がある商品を注視したと判定される。商品注視判定部１２２は、目視点座標管理テーブル１１２に登録された商品ＩＤに基づき、直近の時間ＴＭ１の期間全体において目視点が同一商品の商品領域に存在したかを判定する。商品注視判定部１２２は、目視点が同一商品の商品領域に存在した場合、ステップＳ２９の処理を実行し、目視点が同一商品の商品領域に存在しなかった場合、図１６のステップＳ３１の処理を実行する。

［ステップＳ２９］商品注視判定部１２２は、注視回数管理テーブル１１３の注視回数のうち、ステップＳ２８で目視点が存在すると判定された商品領域に対応する商品の注視回数に、所定値Ｎを加算する。

以下、図１６を参照して説明を続ける。
［ステップＳ３１］注視回数補正部１２３は、商品を１つ選択する。
［ステップＳ３２］注視回数補正部１２３は、目視点座標管理テーブル１１２に登録された商品ＩＤに基づき、時間ＴＭ２だけ前の時刻において、ステップＳ３１で選択された商品が注視されたかを判定する。目視点座標管理テーブル１１２における、時間ＴＭ２だけ前のレコードに、ステップＳ３１で選択された商品の商品ＩＤが登録されていた場合に、商品が注視されたと判定される。また、時間ＴＭ２は、例えば、注視判定の周期（時間ＴＭ１）の倍数（ただし、２倍以上）に設定される。注視回数補正部１２３は、該当する商品が注視された場合、ステップＳ３３の処理を実行し、該当する商品が注視されていない場合、ステップＳ３４の処理を実行する。

［ステップＳ３３］注視回数補正部１２３は、注視回数管理テーブル１１３の注視回数のうち、ステップＳ３１で選択された商品に対応する注視回数から、所定値（Ｎ×Ｃ）を減算する。

［ステップＳ３４］注視回数補正部１２３は、商品をすべて選択したかを判定し、すべて選択済みの場合、ステップＳ３５の処理を実行し、未選択の商品がある場合、ステップＳ３１に戻り、未選択の商品を１つ選択する。

［ステップＳ３５］関心状態判定部１２４は、注視回数管理テーブル１１３を参照し、登録された商品の中に注視回数が閾値ＴＨを超えた商品があるかを判定する。関心状態判定部１２４は、注視回数が閾値ＴＨを超えた商品がある場合、ステップＳ３６の処理を実行する。一方、関心状態判定部１２４は、注視回数が閾値ＴＨを超えた商品がない場合、処理をステップＳ３７に移す。

［ステップＳ３６］関心状態判定部１２４は、注視回数が閾値ＴＨを超えた商品の商品ＩＤを、商品情報表示制御部１２５に出力する。出力された商品ＩＤは、顧客の関心が高まったと判定された商品を示す。商品情報表示制御部１２５は、この商品ＩＤに対応する商品情報を商品情報管理テーブル１１４から取得し、商品情報をディスプレイ２１０に表示させる。

［ステップＳ３７］商品注視判定部１２２、次の目視点の検出時刻まで待ち状態となる。そして、検出時刻になったとき、商品注視判定部１２２は、視線検出部１２１から目視点座標を取得した場合には、ステップＳ２２の処理を実行し、目視点座標を取得できなかった場合には、処理を終了する。

以上説明した第２の実施の形態によれば、商品に対する注視回数が単にカウントされるだけでなく、一定時間前の時刻に注視回数が加算されていた場合には、現在の注視回数から所定値を減算するように注視回数が補正される。そして、補正後の注視回数に基づいて、商品に対する関心が高まったかが判定される。このような処理により、複数の商品の中から特定の商品に対する関心が高まった場合でも、関心が高まった商品を正確に判定できるようになる。

次に、第２の実施の形態に係る情報処理装置１００の処理の一部を変形した変形例について説明する。
＜変形例１＞
ディスプレイ２１０に表示される商品の個数が多いほど、関心を持つ商品が絞り込まれるまでの時間が長くなる可能性がある。そのため、関心を持つ商品が絞り込まれるまでの間に、商品間を視線が頻繁に移動して、その結果として各商品の注視回数が均等に増加していく可能性がある。そこで、商品の個数が多いほど、図１６のステップＳ３５において関心が高まったかを判定するための閾値ＴＨを、高い値に設定してもよい。

図１７は、閾値管理テーブルのデータ構成例を示す図である。変形例１では、例えば、図１７に示す閾値管理テーブル１１５が、記憶部１１０にさらに記憶される。閾値管理テーブル１１５には、商品の個数と、ステップＳ３５で用いられる閾値の値とが対応付けて登録されている。図１７の例において、閾値ＴＨ１〜ＴＨ４は、ＴＨ１＜ＴＨ２＜ＴＨ３＜ＴＨ４という関係を有する。

関心状態判定部１２４は、ディスプレイ２１０に表示されている商品の個数に応じて、閾値管理テーブル１１５から閾値を取得し、取得した閾値を用いてステップＳ３５の処理を実行する。これにより、関心を持つ商品が絞り込まれていない状態で、ある商品に対する関心が高まったと誤判定される可能性を低減できる。

＜変形例２＞
前述のように、複数の商品が表示されている場合、最初は商品間で視線が頻繁に移動するが、その後、視線が注がれる対象は徐々に絞り込まれていく。そこで、時間が経過するほど、図１６のステップＳ３５において関心が高まったかを判定するための閾値ＴＨを、高い値に設定してもよい。

図１８は、経過時間と閾値との関係の例を示すグラフである。図１８に例示したグラフ１１６では、閾値ＴＨの初期値はｂに設定され、時間の経過に伴って閾値ＴＨは傾きａで低下するように設定される。

図１８に示す経過時間とは、視線検出部１２１によって顧客の顔が認識されて、その顧客の視線の検出が開始されてからの経過時間である。より具体的には、図１５のステップＳ２１で目視点座標の取得が開始されてからの経過時間である。第２の実施の形態に係る情報処理装置１００は、顧客が移動してディスプレイ２１０の前に位置すると、顧客の顔を認識し、その後、顧客の顔が認識され続けている間、その顧客の視線を継続して検出する。このような構成のため、情報処理装置１００は、顧客がディスプレイ２１０に表示された情報の視認を開始してからの経過時間（すなわち、目視点座標の取得開始からの経過時間）を正確に計測できる。そして、情報処理装置１００は、計測された経過時間を用いて、閾値ＴＨをグラフ１１６にしたがって変更できる。

図１９は、変形例２における関心状態の判定処理手順を示すフローチャートの例である。この図１９では、図１６と同じ処理ステップには同じステップ番号を付して示している。

図１９に示す処理では、図１６のステップＳ３４とステップＳ３５との間に、次のようなステップＳ３４ａの処理が追加される。
［ステップＳ３４ａ］関心状態判定部１２４は、図１５のステップＳ２１で目視点座標の取得を開始してからの経過時間に基づいて、閾値ＴＨを決定する。

この後、ステップＳ３５では、ステップＳ３４ａで決定された閾値ＴＨを用いて判定処理が実行される。
以上の変形例２によれば、複数の商品の中から特定の商品に対する関心が高まった場合でも、関心が高まった商品を正確に判定できる。

＜変形例３＞
変形例３では、関心が高まったと判定された商品の近くに、その商品に関する商品情報を表示させる。これにより、顧客の視線移動を少なくして商品情報の視認を容易にし、顧客の利便性を高める。

また、上記の関心状態判定処理では、顧客がある商品を注視し始めてから、その商品に対する関心が高まったと判定されるまで、ある程度の時間がかかる。そのため、関心が高まったと判定された直後に、顧客の視線がその商品から他の領域に移動している可能性もある。その場合、商品の近くに商品情報を表示させたとしても、顧客がその商品情報を視認しにくくなる。さらに、商品に対する関心が高まったと判定されてから商品情報を表示させるまでにタイムラグがある場合もあり、その場合には上記の事態はより高い確率で発生し得る。

そこで、変形例３では、商品に対する関心が高まったと判定された後、商品情報を表示させる前に顧客の目視点の位置を再度確認し、その目視点の近くに、関心を持った商品の商品情報が表示されることを示す案内情報を表示させる。そして、案内情報の表示後に、関心が高まったと判定された商品の近くにその商品に関する商品情報を表示させる。これにより、顧客が商品情報を視認しやすくする。

図２０は、商品およびディスプレイの配置例を示す図である。
図２０の例では、衣服を着せた２体のマネキン３２１，３２２を並べて配置する。この場合、マネキン３２１，３２２に着せた衣服が商品となる。また、この例では、上記の１台のディスプレイ２１０に代えて、２台のディスプレイ２１０ａ，２１０ｂが用いられる。ディスプレイ２１０ａはマネキン３２１の近くに配置され、ディスプレイ２１０ｂはマネキン３２２の近くに配置される。これにより、マネキン３２１に着せた商品に関する商品情報をディスプレイ２１０ａに表示させ、マネキン３２２に着せた商品に関する商品情報をディスプレイ２１０ｂに表示させる。

図２０に示すように、マネキン３２１に着せた各商品に対応する商品領域３３１〜３３３と、マネキン３２２に着せた各商品に対応する商品領域３３４〜３３６とが設定される。商品領域３３１〜３３６は、顧客側にある所定の基準点とマネキン３２１，３２２との間に、マネキン３２１，３２２の並列方向と平行になるように設けられる仮想平面上に設定される。商品領域３３１〜３３６のそれぞれには、基準点から見たときに個別の商品が含まれる。このような商品領域３３１〜３３６は、顧客の視線がどの商品に向けられているかを判定するために利用される。

また、図２０に示すように、ディスプレイ２１０ａには表示領域２３１〜２３３が設定され、ディスプレイ２１０ｂには表示領域２３４〜２３６が設定される。表示領域２３１，２３２，２３３は、それぞれ商品領域３３１，３３２，３３３に近接して設定される。そして、表示領域２３１，２３２，２３３には、それぞれ商品領域３３１，３３２，３３３に対応する商品に関する商品情報が表示される。同様に、表示領域２３４，２３５，２３６は、それぞれ商品領域３３４，３３５，３３６に近接して設定される。そして、表示領域２３４，２３５，２３６には、それぞれ商品領域３３４，３３５，３３６に対応する商品に関する商品情報が表示される。

図２１は、商品領域管理テーブルのデータ構成例を示す図である。変形例３では、図８に示した商品領域管理テーブル１１１の代わりに、図２１に示す商品領域管理テーブル１１１ａが利用される。

商品領域管理テーブル１１１ａでは、図８と同様に、商品を識別するための商品ＩＤに対応付けて、商品領域データが登録される。商品領域データは、図２０の商品領域３３１〜３３６のそれぞれの位置を示す。これに加えて、商品領域管理テーブル１１１ａでは、商品ＩＤに対応付けて表示領域データが登録される。表示領域データは、図２０の表示領域２３１〜２３６のそれぞれの位置を示す。表示領域データは、例えば図２１に示すように、（ｘ₃，ｙ₃，ｘ₄，ｙ₄）という座標値で表される。（ｘ₃，ｙ₃）は、矩形の表示領域における左上の座標を示し、（ｘ₄，ｙ₄）は、表示領域における右下の座標を示す。

図２２は、変形例３における関心状態の判定処理手順を示すフローチャートの例である。
変形例３の関心状態判定処理では、図１５のステップＳ２１〜Ｓ２９、および図１６のステップＳ３１〜Ｓ３５が実行される。そして、ステップＳ３５において「Ｎｏ」と判定された場合、図１６と同様にステップＳ３７が実行される。一方、ステップＳ３５において「Ｙｅｓ」と判定された場合、以下のステップＳ４１が実行される。

［ステップＳ４１］関心状態判定部１２４は、注視回数が閾値ＴＨを超えた商品の商品ＩＤを、商品情報表示制御部１２５に出力する。出力された商品ＩＤは、顧客の関心が高まったと判定された商品を示す。商品情報表示制御部１２５は、この商品ＩＤに対応する商品情報を商品情報管理テーブル１１４から取得する。

［ステップＳ４２］商品情報表示制御部１２５は、視線検出部１２１によって新たに検出された目視点座標を取得する。なお、ステップＳ４２の処理は、ステップＳ３５の実行から一定時間が経過した後に実行されてもよい。

［ステップＳ４３］商品情報表示制御部１２５は、目視点に対応する表示領域を特定する。具体的には、商品情報表示制御部１２５は、商品領域管理テーブル１１１ａを参照し、商品領域３３１〜３３６の中から目視点座標が含まれる商品領域を特定し、表示領域２３１〜２３６の中から特定された商品領域に対応付けられた表示領域を特定する。

［ステップＳ４４］商品情報表示制御部１２５は、ディスプレイ２１０ａ，２１０ｂの表示領域のうち、ステップＳ４３で特定された表示領域に、関心を持った商品の商品情報が表示されることを示す案内情報を表示させる。これにより、現在の顧客の目視点の近くに案内情報が表示される。

［ステップＳ４５］商品情報表示制御部１２５は、商品領域管理テーブル１１１ａを参照し、表示領域２３１〜２３６の中から、関心が高まったと判定された商品（ステップＳ３６で注視回数が閾値ＴＨを超えた商品）に対応する表示領域を特定する。

［ステップＳ４６］商品情報表示制御部１２５は、ステップＳ４１で取得した商品情報を、ディスプレイ２１０ａ，２１０ｂの表示領域のうち、ステップＳ４５で特定された表示領域に表示させる。これにより、関心が高まったと判定された商品の近くに商品情報が表示される。なお、ステップＳ４４で表示された案内情報は、商品情報が表示された後も一定時間表示され続けてもよい。あるいは、案内情報が一定時間表示された後に、案内情報の表示が終了するとともに、商品情報が表示されてもよい。

なお、ステップＳ４２で取得された目視点座標が、関心が高まったと判定された商品に対応する商品領域に含まれる場合、商品情報表示制御部１２５は、ステップＳ４３，Ｓ４４をスキップし、案内情報を表示せずに商品の近くに商品情報を表示させてもよい。

次に、図２３〜図２５を用いて、ディスプレイ２１０ａ，２１０ｂにおける情報の表示例を説明する。図２３〜図２５では、図２２で説明した案内情報および商品情報の表示に加え、顧客の視線が検出されてからさらにいくつかの情報を表示させる場合の例について説明する。

図２３〜図２５は、ディスプレイにおける情報の表示例を示す図である。
例えば、顧客が商品に近づき、やがて顧客が商品の前に位置する。このとき、視線検出部１２１によって顧客の顔が検出され、図１４のステップＳ１１で「Ｙｅｓ」と判定される。すると、商品情報表示制御部１２５は、図２３に示すように、ディスプレイ２１０ａ，２１０ｂの一方（ここではディスプレイ２１０ｂとする）に案内情報２４１を表示させ、顧客の視線をディスプレイ２１０ｂに誘導する。続けて、商品情報表示制御部１２５は、同じディスプレイ２１０ｂに案内情報２４２を表示させ、陳列されている商品を見るように顧客に促す。さらに続けて、商品情報表示制御部１２５は、図２４に示すように、案内情報２４３ａ，２４３ｂを表示させるとともに、各商品を指し示す矢印２４４ａ〜２４４ｆを表示させる。矢印２４４ａ〜２４４ｆは、それぞれ図２０の表示領域２３１〜２３６に表示される。このとき、顧客の関心が高まったかを判定する処理（図１５のステップＳ２１〜Ｓ２９，図１６のＳ３１〜Ｓ３５）が実行される。

そして、ある商品への顧客の関心が高まったと判定され、ステップＳ３５で「Ｙｅｓ」と判定される。ここでは例として、矢印２４４ｂが指示していた商品（すなわち図２０の商品領域３３２に存在する商品）に対する関心が高まったと判定されたとする。すると、商品情報表示制御部１２５は、その商品に対応する商品情報を取得する（図２２のステップＳ４１）とともに、顧客の目視点を示す目視点座標を取得する（ステップＳ４２）。例えば、目視点座標が商品領域３３５に含まれるものとすると、商品情報表示制御部１２５は、ディスプレイ２１０ｂの表示領域２３５に案内情報２４５を表示させる（ステップＳ４４）。この案内情報２４５により、関心が高まったと判定された商品の商品情報が表示されることを顧客に認識させる。

そして、図２５に示すように、商品情報表示制御部１２５は、関心が高まったと判定された商品に対応するディスプレイ２１０ａの表示領域２３２に、その商品の商品情報２４６を表示させる（ステップＳ４６）。例えば、商品情報２４６により、商品の特徴や機能、価格の説明、商品の売り場の位置を示す情報、その商品と一緒に購入することを推奨する他の商品の情報などが表示される。なお、商品情報２４６の内容は、例えば、顧客の画像（例えば、顔画像）から検出された顧客の性別、顧客の年齢層などに応じて変更されてもよい。

以上の表示例によれば、商品に対する顧客の関心が高まったと判定された後に、顧客の目視点の位置があらためて検出され、その目視点に近い位置に案内情報２４５が表示される。これにより、案内情報２４５を視認するための顧客の視線移動が短くなり、案内情報２４５を顧客が視認しやすくなる。その結果、その後に表示される商品情報２４６の位置に対して顧客の視線を誘導できる。関心が高まったと判定された商品の位置から顧客の視線が外れていたとしても、その商品の近接位置に表示された商品情報２４６を、顧客が無理なく容易に視認できるようになり、商品情報２４６を顧客に視認してもらえる確実性が高まる。また、顧客にとっても、関心を持った商品に関する情報を知ることができる可能性が高まるというメリットがある。

なお、上記の各実施の形態に示した装置（判定装置１、情報処理装置１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（ＢＤ）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１ 判定装置
１ａ 計数部
１ｂ 回数補正部
１ｃ 判定部
２ａ〜２ｃ 対象物
３ 人物
４ 視線センサ
５ テーブル

Claims (7)

1. コンピュータに、
   人物の視線の検出結果に基づいて、前記人物が対象物を注視した注視回数を計数し、
   所定時間前の時刻に前記対象物が注視されていた場合に前記注視回数が減算されるように、前記注視回数を補正し、
   補正後の前記注視回数に基づいて、前記人物の前記対象物に対する関心度を判定する、
   処理を実行させる判定プログラム。
2. 前記注視回数の計数では、一定時間間隔で前記人物が前記対象物を注視したかを判定し、注視したと判定された場合に前記注視回数を増加させ、
   前記注視回数の補正では、前記一定時間間隔で、現在時刻から前記所定時間前の時刻に前記対象物が注視されていたかを判定し、注視されていた場合に、前記注視回数から所定の値を減算する、
   請求項１記載の判定プログラム。
3. 前記関心度の判定では、補正後の前記注視回数が所定の閾値を超えた場合に、前記関心度が高まったことを示す情報を出力する、
   請求項１または２記載の判定プログラム。
4. 前記商品を含む複数の商品のそれぞれについて、前記注視回数の計数、前記注視回数の補正および前記関心度の判定が実行され、
   前記閾値は、前記複数の商品に含まれる商品の個数に応じて設定される、
   請求項３記載の判定プログラム。
5. 前記閾値は、前記人物の視線が検出されてから現時刻までの経過時間に応じて設定される、
   請求項３記載の判定プログラム。
6. コンピュータが、
   人物の視線の検出結果に基づいて、前記人物が対象物を注視した注視回数を計数し、
   所定時間前の時刻に前記対象物が注視されていた場合に前記注視回数が減算されるように、前記注視回数を補正し、
   補正後の前記注視回数に基づいて、前記人物の前記対象物に対する関心度を判定する、
   判定方法。
7. 人物の視線の検出結果に基づいて、前記人物が対象物を注視した注視回数を計数する計数部と、
   所定時間前の時刻に前記対象物が注視されていた場合に前記注視回数が減算されるように、前記注視回数を補正する回数補正部と、
   補正後の前記注視回数に基づいて、前記人物の前記対象物に対する関心度を判定する判定部と、
   を有する判定装置。

Images