JP2009545051A - 注視された商品の情報表示のための注視インタラクション - Google Patents

Abstract

インタラクション方法及びシステムが、商品（２３０，２３２，２３４）を見ている少なくとも１人の視聴者の注視を検出する少なくとも１つの検出器（２１０）を有する。プロセッサが、注視持続時間、例えば商品の中の１つの商品当たりの累積注視持続時間を計算し、累積注視持続時間に従って最も熟視された商品を識別し、最も熟視された商品に関連した情報を提供するよう構成されている。ディスプレイ装置（２４０）が、この情報、最も熟視された商品のリスト及び（又は）最も熟視された商品の中の少なくとも１つの商品に関連づけられた音声／映像ショーを表示する。少なくとも１つの商品（２９０）及び（又は）商品表示をこれ以外の他の最も熟視された商品及び（又は）商品表示よりも目立って表示することができる。

Description

本発明は、視野の範囲内、例えば対話型ショーウィンドウ内に存在する製品を見ているユーザの注視を検出した結果として、例えば注視の分析に基づいてシステムフィードバック及び製品情報を提供し、例えば最も熟視された製品に関する情報を示すインタラクション（対話）手段に関する。

顧客を楽しませるため、又、製品に関する追加情報を提供するために、小売業者は、大型の液晶ディスプレイ（ＬＣＤ）又はプラズマディスプレイから透明投射スクリーンにわたる種々のディスプレイ技術を既に開発している。これらディスプレイは、ショーウィンドウの中に設置された状態で見受けられる場合が多く、ディスプレイは、ビデオクリップ、店舗又はこれらの製品に関する広告又は情報付きのスライドショーを表示するために用いられている。現在使用されているショーウィンドウの大部分は、情報を提供するだけの非対話型のスクリーンである。新型のショーウィンドウディスプレイは、基本的なレベルでディスプレイと幾分かの対話性を提供しており、この場合、ユーザは、ディスプレイに設けられ又はその近くに設けられたボタンを押して或る機能を作動させ、例えば、次ページ又は前ページに移ることができる。

ショーウィンドウの後ろに陳列された物理的製品とユーザが興味を持つ製品に関する情報を示すショーウィンドウディスプレイを組み合わせることにより、より魅力的なショーウィンドウを実現することができる。このようなショーウィンドウディスプレイシステムは、２００５年８月４日に出願された欧州特許出願第０５１０７２０５．６号明細書（発明の名称：Augmented Shop and Show Windows）（代理人事件番号００２２３２）に記載されているように、注視追跡を用いるか指差しの仕草の検出を用いるかのいずれかによりユーザの関心の程度を推定することができる。なお、この欧州特許出願を参照により引用し、その記載内容全体を本明細書の一部とする。このような対話型ショーウィンドウでは、ユーザは、物理的製品を熟視し又は指差す場合がある。熟視／注視及び（又は）指差しは、ショーウィンドウにより検出され、これに応答して、ショーウィンドウは、製品に関する情報をディスプレイに表示する。このようなショーウィンドウは有利である。というのは、これにより、現物としての物理的製品を実際に見ることができると同時にディスプレイに提供され／示唆された種々の対話型サービスを含む追加（例えば、ディジタル）の情報を得ることができるからである。

たった１人の観察者の注視の検出に加えて、多数の注視及び顔面も又検出するのが良い。１つの注視トラッカーを用いて多数のユーザを同時に注視追跡することは、検出された瞳孔候補をシー・モリモト（C. Morimoto）、デー・クーンズ（D. Koons）、エー・エイミアー（A. Amir）及びエム・フリックナー（M. Flickner）著の論文「リアルタイム・ディテクション・オブ・アイズ・アンド・フェースズ（Real-Time Detection of Eyes and Faces）」，「プロシーディング・ワークショップ・パーセプション・ユーザ・インターフェースズ（Proc. Wkshp. Percept. User Interfaces）」所収、ｐ．１１７〜１２０、１９９８年に記載されているように発見的ルールを用いて「フェースペア（face pair）」にグループ分けすることに基づくのが良い。なお、この非特許文献を参照により引用し、その記載内容全体を本明細書の一部とする。例えばウェブページデザイナ又は広告主により用いられるトレンドを突き止めるために多数のユーザの目追跡データを集約する別の目追跡システムが、エドワーズ（Edwards）に付与された米国特許第７，０２９，１２１号明細書（発明の名称：Techniques for Facilitating Use of Eye Tracking Data）に記載されており、この特許文献を参照により引用し、その記載内容全体を本明細書の一部とする。このようなシステムでは、集約は、データを合わせ又は平均すると共に分割及び統計学的分析を用いることにより達成できる。

欧州特許出願第０５１０７２０５．６号明細書 米国特許第７，０２９，１２１号明細書

シー・モリモト（C. Morimoto）、デー・クーンズ（D. Koons）、エー・エイミアー（A. Amir）及びエム・フリックナー（M. Flickner）著の論文「リアルタイム・ディテクション・オブ・アイズ・アンド・フェースズ（Real-Time Detection of Eyes and Faces）」，「プロシーディング・ワークショップ・パーセプション・ユーザ・インターフェースズ（Proc. Wkshp. Percept. User Interfaces）」所収、ｐ．１１７〜１２０、１９９８年

本発明者は、例えば製品の選択が注視により行われるショーウィンドウのセットアップについて十分には取り組まれていない或る特定の状況が存在することを認識した。特に、観察者からの注視追跡入力に良好に応答すると共に２人以上のユーザ又は観察者がショーウィンドウ又は１人又は２人以上の観察者の視野の範囲内に存在する物品、例えば博物館内の芸術品等の表示と対話している状況に良好に応答するインタラクションシステム及び方法を提供することが望ましい。例えば、ショーウィンドウ方式又は類似の方式のための簡単な方法のうちの１つは、最後に熟視された製品をディスプレイ装置に表示することであり、このようなディスプレイ装置は、画像が表示され又は投影されたショーウィンドウディスプレイを含む。しかしながら、この手段は、注視が物をはっきりと選択するのに適したモダリティではないので理想的ではない。

例を挙げて説明すると、ユーザがショーウィンドウ（又は物理的物品、例えば博物館内の芸術品等の任意他の配列体）の前に位置し、どういう物が表示されているかについての概観を得るために種々の製品にざっと目を通している状態を想像されたい。これに応答して、インタラクションシステムは、観察者の注視に反応し、最後に熟視された製品をショーウィンドウディスプレイ又は任意他のディスプレイ装置に表示する。ユーザ／観察者が自分の注視とシステムの反応との間の関連性を理解したとき、ユーザは、自分の関心のある製品を凝視してディスプレイ装置上のその製品に関する追加の情報を得ることが必要であろう。すなわち追加の情報を得るために凝視を続けるこのような選択方法は、不自然である。

さらに、このようなシステムは、多数の観察者が製品を熟視／注視し又は指さす場合には良好には応答しない。すなわち、システムは、多数のユーザの場合にどのユーザの注視に応答すべきであるか或いはシステムは多数のユーザの凝視にどのように応答すべきであろうか？同様な問題は、多数の人々が同時に幾つかの互いに異なる製品を指さしているときに選択のための指差し仕草を用いる場合に生じる。

したがって、１つ又は複数個の製品に対するたった１人又は複数の観察者の注視又は指さしに基づいて良好な製品の選択及び情報を提供する良好な対話側システムが要望されている。

本発明のシステム及び方法の一目的は、従来型対話型システムの欠点を解決することにある。

この目的及び他の目的は、ユーザの関心の指標として注視持続時間を取り扱い、次にこの注視持続時間を用いてそのユーザにとって最も適切な製品を識別して強調表示するシステム及び方法によって達成され、このような強調表示としては、製品表示、例えばアイコン及び（又は）サムネイルを、識別された製品に関する情報、例えばスライドショー、ビデオクリップ及び追加の情報、例えば製品仕様及び関連の製品にアクセスするためのリンクに関する情報と一緒にディスプレイ装置に表示することが挙げられる。

例示の一実施形態によれば、インタラクション方法及びシステムが、商品を見ている少なくとも１人の視聴者の注視を検出する少なくとも１つの検出器を有する。プロセッサが、注視持続時間、例えば商品の中の１つの商品当たりの累積注視持続時間を計算し、累積注視持続時間に従って最も熟視された商品を識別し、最も熟視された商品に関連した情報を提供するよう構成されている。ディスプレイ装置が、この情報、最も熟視された商品のリスト及び（又は）最も熟視された商品の中の少なくとも１つの商品に関連した音声／映像ショーを表示する。少なくとも１つの商品及び（又は）商品表示をこれ以外の他の最も熟視された商品及び（又は）商品表示よりも目立って表示することができる。

このようなシステム及び方法は、たった１人のユーザと複数のユーザの両方について役に立つ注視インタラクションを用いるのに好適である。各ユーザ／観察者毎の全ての製品に関するあらかじめ定められた時間フレーム内での注視持続時間又は注視時間を検出し、全てのユーザ及び（又は）個々のユーザに関して最も熟視された製品を識別する。各ユーザ当たりの各製品に関する注視時間を検出して分析し、この場合、製品及び（又は）ユーザの各々又は任意の個数若しくは人数と関連した平均及び（又は）累積注視時間を計算してランク付けする。製品を注視時間に従ってランク付けし、ランク付けされた製品のうちの最も適した１個の製品又は複数個の製品を識別する。

最も熟視された製品を対話型注視システムの観察者又はユーザにとって最も関心のある指標として用いることにより、システム反応に関して種々の方式が用いられる。一方式では、最も熟視された製品を識別し、次にこれらをディスプレイ装置、例えばショーウィンドウ用ディスプレイ上に表示し、これらの対応のサムネイル及び（又は）アイコンを拡大すると共に（或いは）これら最も熟視された製品のうちの１つ又は２つ以上に関連したスライドショーを開始する。１つ又は２つ以上の最も熟視された製品に関するスライドショー及び（又は）ビデオクリップを、関連のスライドショー及び（又は）ビデオクリップが表示されていないときに製品画像の縮小版を表示するタイトル付きのサムネイルに同時に表示するのが良い。

別の方式では、全てのユーザに対応した製品の平均注視時間に従って分類された製品のサムネイルを示し、このような製品は、目立つように且つ（或いは）ディスプレイ装置の所望の区画、例えばディスプレイ装置の中心に表示された最も熟視された製品と組合せ状態であるのが良い。

このようなシステム及び方法の別の利用可能な分野は、以下において行われる詳細な説明から明らかになろう。システム及び方法の例示の実施形態を示す詳細な説明及び特定の実施例は、例示目的に過ぎず、本発明の範囲を限定するものではない。

本発明の装置、システム及び方法の上記特徴、観点及び利点並びに他の特徴、観点及び利点は、以下の説明、特許請求の範囲の記載及び添付の図面の記載からよく分かる。

本発明の例示の一実施形態としての対話型システムのブロック図である。 本発明の別の例示の実施形態としての店舗用対話型システムを示す図である。 本発明の更に別の例示の実施形態としてのインタラクション方法を示す図である。

或る特定の例示の実施形態についての以下の説明は、性質上例示に過ぎず、本発明の内容、その用途又は使用を何ら限定するものではない。本発明のシステム及び方法の実施形態についての以下の詳細な説明において、本発明の一部をなし、説明するシステム及び方法を具体化できる特定の実施形態が例示的に示されている添付の図面を参照されたい。これら実施形態は、当業者が本明細書に開示されたシステムを具体化できるのに十分詳細に説明されており、他の実施形態を利用でき、又、本発明のシステムの精神及び範囲から逸脱することなく構造及び論理に関する変更を行うことができる。

したがって、以下の詳細な説明は、本発明を限定する意味で解されてはならず、本発明のシステムの範囲は、特許請求の範囲の記載にのみ基づいて定められる。図中の参照符号の先頭の数字は、代表的には、多数の図に見える同一のコンポーネントが同一の参照符号で示されていることを除き、図番に一致している。さらに、分かりやすくする目的で、本発明のシステムの説明が不明瞭にならないように周知の装置、回路及び方法についての詳細な説明は省かれている。

注視は、ユーザの関心を表す自然なモダリティである。しかしながら、明示の入力の仕方として、例えば注視された物品の選択のために注視を当てにしないようにすることが望ましい。というのは、人々は、物品を選択するために物品を凝視することが決まりが悪いことを感じているからである。

図１は、注視検出器、例えば少なくとも１つのカメラ１１０を用いて注視を検出し、この注視からユーザの関心の集中先を検出し又は突き止める手法を利用し、更に、製品のシステムユーザ又は観察者の視野内に位置する種々の製品の所定のマップを利用して例えばプロセッサ又はコントローラ１３０を介して熟視されている製品を突き止める良好なインタラクションシステム１００を示している。所定のマップは、このマップ及び他のデータを記憶することができる任意の記憶装置又はメモリ１２０に記憶されるのが良い。

プロセッサ１３０は、例えばメモリ１２０に記憶されているプログラムに基づく命令の実行時に、所望の行為を実施するよう更に構成されており、このメモリは、システム作動、例えばオペレーティングシステム等のための他のデータを更に記憶している。

１人又は２人以上の観察者によって熟視された製品の推定又は突き止め及び製品１つについてユーザ１人当たりの累積及び（又は）平均注視持続時間に基づいて、種々の行為をプロセッサ１３０の制御下で実施することができ、このような行為としては、製品１つ当たり及び（又は）ユーザ１人当たりの注視持続時間を含むデータをモニタして収集すること、製品１つ当たり及び（又は）ユーザ１人当たりの平均及び（又は）累積注視持続時間を含むデータを分析すること、分析されたデータ及び（又は）累積データに基づいて、所望の出力を提供すること、例えば、ディスプレイ装置１４０上の別の情報へのリンクを含む情報を表示すると共に（或いは）強調表示器１５０を介して最も関心のある製品として識別されてランク付けされた物理的製品を各ユーザ又は一群のユーザに強調表示する行為を含む。表示装置１４０は、例えば図２の店舗用対話型システム２００に示されているようなショーウィンドウ用ディスプレイ２４０であるのが良い。

図２は、種々の製品２３０，２３２，２３４及び少なくとも１つのカメラを有するショーウィンドウ２０５を更に示しており、この場合、図１に示す注視検出器１１０の一部をなす２つのカメラ２１０，２１２が示されている。ショーウィンドウ用ディスプレイ２４０は、例えば透明なショーウィンドウ２０５の中に埋め込まれても良く又はショーウィンドウ２０５の内部に設けられ又はショーウィンドウ２０５の外面か内面かのいずれかでショーウィンドウに取り付けられた別個のディスプレイであっても良い。例えば、透明なスクリーン、例えば透明なショーウィンドウ２０５への投写を行うリヤ又はフロントプロジェクション型ディスプレイ、例えば、大日本印刷株式会社（Dai Nippon Print Co. Ltd.）の世界的スクリーン生産センターであるデンマーク国のＤＮＰ社から入手できるHolo Screen（登録商標）を用いるのが良い。表示機能を備えた他の透明な材料は、内容物が透明な材料、例えばガラス上に投影され、ユーザの指が追跡されるガラスに触れることにより制御されるDisplax（登録商標）−対話型ウィンドウから入手できる。当然のことながら、情報を表示できる任意他のディスプレイ装置、例えば陰極線管（ＣＲＴ）、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）又はプロジェクション型ディスプレイを用いることができる。図２は、種々の製品２３０，２３２，２３４及び（又は）ショーウィンドウ用ディスプレイ２４０上に表示された情報を熟視している対話型システム２００の観察者又はユーザ２５０を更に示している。

ショーウィンドウ用ディスプレイ２４０に表示された情報を注視、例えば各製品に向けられた注視の持続時間から突き止められた最も関係のある１つ又は複数の製品に関連付けるのが良い。特定の製品と関連した種々の注視間隔又は持続時間（種々の中断時間間隔での注視を含む）を追加すると、各特定の製品に関する累積注視持続時間を得ることができる。累積注視持続時間を任意所望の間隔の間に突き止め又は蓄積するのが良く、このような間隔は、所定の間隔であっても良く、可変であっても良く且つ（或いは）プログラム可能であっても良い。

図３は、一実施形態としてのインタラクション方法３００を示しており、この場合、ブロック３１０で示されているように、１つ又は多数の観察者の注視を検出する。分かりやすくするために、たった１人の観察者を用いた例を説明するが、当業者であれば、多数のユーザの注視を追跡して種々の観察者にとって関心のある製品を突き止めることができることがわかる。

注視持続時間、例えば所望の間隔の間における注視の累積持続時間を用いてブロック３２０で示されているように注視された種々の製品に対する観察者（及び（又は）多数の観察者）の関心の度合いを指示し又は決定し、この場合、ユーザの関心は、図１のプロセッサ１３０に提供され又はこのようなプロセッサによりアクセス可能なデータから推定される。

視野内に存在していて、観察者により注視される製品を対応の製品の注視持続時間と関連した注視持続時間に従ってランク付けするのが良い。例えば、製品を、最も長い累積注視持続時間を有する最も関係のある製品から最も短い累積注視持続時間を有する最も関係のない製品までランク付けするのが良い。当然のことながら、任意他のランク付けを利用することができ、このようなランク付けとしては、例えば互いに異なる製品相互間の関係に基づいて互いに異なる重みを１つ又は２つ以上の製品に与えることが挙げられ、この場合、関連の製品をグループ分けし、グループそれ自体がランク付けされると共に重み付けされているグループ重みに関連づけ、更に、サブグループに分割するのが良く、このようなサブグループも又、情報表示及び（又は）強調表示のために種々の組をなす注文された製品を突き止めるためにランク付けされると共に重み付けされる。

例えば、表１は、関連の重み付け持続時間と関連した製品のグループ及びサブグループを含む種々の製品の注視持続時間を示している。

〔表１〕
グループ１ 注視持続時間 重み付け製品持続時間 重み付けサブグループ持続時間
（累積）
カメラ１ ２９ ５８
カメラ２ ４ ８
カメラ３ ２ ４
累積カメラ ３５ ７０
メモリ１ ５ １０
メモリ２ ２ ４
累積メモリ ７ １４
バッテリ１ ４ ８
累積バッテリ ４ ８
累積グループ１ ４６

グループ２
シャツ１ ７ ７
シャツ２ ２ ２
シャツ３ １ １
累積シャツ １０ １０
パンツ１ ４ ４
パンツ２ ３ ３
累積パンツ ７ ７
ネクタイ １ １
累積ネクタイ １ １
スーツ ５ ５
累積スーツ ５ ５
累積グループ２ ２３
表１

表１に示されているようにカメラ１は、所定の時間、例えば２分間で蓄積された時間単位、例えば秒又は任意他の単位で４４という最も長い累積注視持続時間を有する。当然のことながら、所定の時間は、２分間、１時間等ではなく、任意所望の、例えばプログラム可能な時間、例えば１０分間であっても良い。

表１に示す例では、選択可能な又はプログラム可能な所定の時間、例えば２分間、観察者は、グループ１の製品を４６秒間注視し、グループ２の製品をグループ１で注視した時間の約半分である２３秒間注視し、その結果として、グループ１の重みは２であり、グループ２の重みは１である。表１の重み付けされた製品持続時間という欄は、２９というカメラ１の注視持続時間にグループ１の重み２を乗算し、重み付けされたカメラ１の注視持続時間は５８になることを示している。

表１に示す例示のランク付け方式では、グループに関連した情報を例えばこれらの累積注視持続時間に基づいてランク付けすると共に（或いは）ディスプレイ装置１４０に表示するのが良い。４６秒間というグループ累積注視持続時間を有するグループ１をまず最初に表示し、次に２３秒というグループ累積注視持続時間を有するグループ２を表示し又はリストする。各グループ内において、製品をこれらの注視持続時間の順序でランク付けすると共に（或いは）表示することができる。したがって、カメラ２は、他の製品の累積注視時間、例えばメモリ１の５秒、シャツ１の７秒よりも短い４秒という累積注視持続時間を有するにもかかわらず、２番目に示されている。

サブグループも又、ランク付けするのが良く、この場合、サブグループ“カメラ”は、グループ１内では３５秒という最も長いサブグループ累積注視持続時間を有する（メモリのサブグループに関して７秒、バッテリのサブグループに関して４秒と比べて）。したがって、サブグループ“カメラ”には高いランクが与えられ、累積注視持続時間が４秒のカメラ２は、メモリ１が５秒というこれよりも長い累積注視持続時間を有するにもかかわらず、このメモリ１の前に表示されている。

累積的であっても良く非累積的であっても良い製品に対するユーザの注視の持続時間に基づいてユーザに最も関係のある製品をランク付けし、リストし、そして突き止めるために任意他の方式を用いることができ、このような方式としては、表１の最後の欄に示されている重み付けされたサブグループ持続時間に基づくランク付けが挙げられ、この場合、サブグループ“カメラ”の３５秒にグループ１の重みである２を乗算すると７０秒という重み付けされたサブグループ“カメラ”の値が得られる。当業者であれば、本発明の開示内容を考慮すると、種々のランク付け方式を定めることができ、このようなランク付け方式としては、種々の重みを種々の製品又は製品のグループに割り当てる方式が挙げられる。例えば、グループ２（グループ１よりも低いグループ重みを有する）の製品１と関連した累積注視持続時間が非常に長く、例えば、絶対値であっても良く又は他の製品の他の累積注視持続時間に対して相対的であっても良い所定のしきい値よりも長く又は大きい場合、グループ２を製品１に高いランクを与え、この製品１を例えばグループ１の他の重み付けされた製品注視持続時間よりも短い重み付けされた製品注視持続時間を有するにもかかわらず、ユーザに最も関係のある又はより関係のあるものとして定めることができる（というのは、グループ２は、グループ１よりも低いグループ重みを有するからである）。

同様に、製品Ｘと関連した単一の非累積注視持続時間が絶対値であり又は相対値である所定のしきい値よりも大きい場合、この製品Ｘに高いランクを与え、このような製品Ｘをこの製品Ｘと関連したグループの低い重みに起因して、重み付けされた注視持続時間に基づき他の製品よりも低くランク付けされているにもかかわらず、ユーザにとって最も関係があるものとして定める。

観察者にとって関係があると判定され、例えば、注視持続時間、平均及び（又は）累積に基づいて注視された製品及びこれらのランク付けに関連していると判定された種々の情報を表示することができる。例えば、観察セッション中、観察者は、製品１を含む種々の製品を注視し、次に他の製品を注視した後に製品１の注視に戻るのが良い。所定の持続時間、例えば２分間の全体的観察セッション中、種々の不連続な時間で製品１を熟視した注視持続時間を合計すると、製品１に関する累積注視持続時間が得られる。この累積注視持続時間を、例えば累積注視持続時間を例えば所定の時間で除算することにより所定の時間について正規化し又は平均することができる。

観察者にとって関心のある又は最も関係のある１つ又は複数の製品が注視持続時間、例えば重み付け注視持続時間、平均注視持続時間及び（又は）累積注視持続時間に基づいて決定されてランク付けされると、製品関連情報が表示される。任意の数の最も関連のある製品に関する情報を提供することができ、又はこのような製品、例えば上から５番目までのランク付けされた製品を強調表示することができる。

ユーザにとって最も関係のある製品又は製品グループに関する情報を表示するため、図２のブロック３３０で示されているように、種々の方式を利用することができる。具体的に説明すると、以下の方式の任意の１つ又は２つ以上を用いると、種々の情報をディスプレイ装置１４０に表示することができる。

１．最も熟視された製品のうちの１つ又は２つ以上、例えば最も長い単一又は累積注視持続時間を有する製品に関するスライドショー又はビデオクリップを開始して表示し、
２．例えば関心のある上から５番目までの製品の表示に当たり、最も熟視された製品（最も大きな単一及び（又は）累積注視持続時間を有する）を拡大し、且つ（或いは）
３．図２に示すリスト又は表示２６０、例えば関心のある上から５番目までの製品のアイコン又はサムネイルの表示に当たり、最も熟視された表示を拡大し、この場合、サムネイルは、アイコンよりも特異性のある製品又は製品のタイプのミニチュア版又はピクチャ、例えばPhilips（登録商標）ＤＶＤプレイヤー／レコーダ又はその絵を含む。

当然のことながら、関係のある製品又はその説明をディスプレイ装置に表示する代わりに、例えば関係のある製品を識別用照明で照明することにより関係のある製品を図１に示す強調表示器１５０によって強調表示しても良い。例えば所望の属性、例えば強度、色、色相、飽和度、色温度、ビーム幅、スポットサイズ及び（又は）方向の光を提供する制御可能な光源、例えば発光ダイオード（ＬＥＤ）、スポットライト及び各製品の後ろに配置された切り換え可能な鏡を用いる光による照明によってショーウィンドウ内の物理的製品を強調表示するこのような強調表示システムは、２００６年５月３１日に出願された欧州特許出願第０６１１４７６０．９号明細書（発明の名称：Mirror Feedback on Physical Object Selection）に記載されており、この欧州特許出願を参照により引用し、その記載内容全体を本明細書の一部とする。

強調表示は、製品が置かれている光るマットを用いて又は製品の周りに配置され、例えば製品のフットプリント及び（又は）周囲に配置されたストリップを用いても可能な場合があた、この場合、例えば２００６年６月７日に出願された欧州特許出願第０６１１５０８６．８号明細書（発明の名称：Light Feedback on Physical Object Selection）に記載されているように、マット及び（又は）ストリップが例えばこの中に埋め込まれている光源をターンオンすることにより光る。なお、この欧州特許出願を参照により引用し、その記載内容全体を本明細書の一部とする。物理的製品を強調表示すると、光る強度を関連の（累積及び（又は）平均）注視時間に関連づけることができる。注視時間が長ければ長いほど、製品の強調表示を可能にする光源、例えば製品を照明するスポットライト及び（又は）製品の周り又はその近くに位置するマット及び（又は）ストリップを照明する光源の強度を増大させることにより注視されている製品の強調表示がそれだけ一層明るくなる。

図２に示されているショーウィンドウ用システム２００の図示の例と関連して、注視検出器１１０（図１）は、多数のユーザの注視を並行して検出するよう構成されており、このような注視検出器は、様々な光条件で動作することができ、例えば、頭、瞼及び注視追跡のための図２の１つ又は２つ以上のカメラ２１０，２１２、典型的には２つ又は３つのカメラを備えたシステム又は例えばスウェーデン国に本社を置くスマート・アイ・エービー（Smart Eye AB）社から入手できる他の注視追跡システムを使用することができ、この場合、単一のカメラシステムは、例えば運転手の眠気を検出するアンチスリープ用途を有し、この場合、多数のカメラも又使用できる。

カメラは、種々の照明条件下における堅固な動作のために屋外の光の干渉を最小限に抑えた状態で周波数に同調されたアイアールフラッシュ照明器及びフィルタと一緒に働く。このような注視システムは、顔面の特徴を追跡し、これらを３次元（３Ｄ）頭モデルにマッチさせて頭の３Ｄ位置及び向きを推定する。次に、観察者２５０の虹彩及び瞳孔並びに瞼を検出して局在化し、それにより観察者の注視の向きを求める。

他の注視検出システム、例えば、faceLAB（登録商標）と称される注視検出システムを使用することができ、このような注視検出システムは、オーストラリア国所在のシーイング・マシーンズ（Seeing Machines）社から入手できる。ユーザの注視線を突き止める別の眼球追跡システムが、ダーネル（Durnell）名義の米国特許出願公開第２００４／０１９６４３３号明細書（発明の名称：Eye Tracking Systems）に記載されており、この米国特許出願公開を参照により引用し、その記載内容全体を本明細書の一部とする。さらに別のシステムでは、眼球追跡は、制御信号をもたらすために、例えば、画像及び他の装置を制御するために用いられ、このような眼球追跡は、マグワイァー・ジュニア（Maguire, Jr.）に付与された米国特許第６，３５９，６０１号明細書（発明の名称：Method and Apparatus for Eye Tracking）に記載されているようにパイロットによって使用可能であり、この米国特許を参照により引用し、その記載内容全体を本明細書の一部とする。

注視検出システム１００は、展示された製品と関連した全ての領域について注視の発生の平均回数、例えば平均注視時間を検出する。急な注視の変化を滑らかにするために、引き窓式平均化を使用するのが良い。このような処理方法を用いて、指定された時間フレーム、例えば最後の２分間で、全ての展示製品について平均注視時間を得る。

注意の集中先を推定するため、１人又は２人以上の観察者によって最も熟視された製品を識別する。最大平均注視時間は、最も人気のある製品に対応している。他の分類方法、例えばｋ＝２のｋ平均クラスタ化も使用できる。その目的は、全ての製品に関する平均注視時間を２つのクラスタ、即ち、「最も人気あり」及び「最も人気なし」に分類することにある。さらに、１人又は２人以上の観察者による注視持続時間に基づいて種々の重みを種々の製品に与えるのが良い。例えば、より大きな重みを２人以上のユーザによって熟視された製品に割り当てるため、１．０よりも大きい累進重みを注視時間の平均値に割り当てるのが良い。

注視平均をいったん検出して分析すると、図１のインタラクションシステム１００、例えば、図２のショーウィンドウシステム２００は、関連の情報を例えばショーウィンドウ用ディスプレイ２４０又は任意他のディスプレイ装置、例えば移動装置、例えば携帯電話及び（又は）携帯型情報端末（ＰＤＡ）のディスプレイに表示するための１又は２以上の方式を利用することができる。

上述したように、一方式は、「最も人気あり」と識別された製品のサムネイル２６０を拡大すると共に「最も人気なし」製品に対応したサムネイルを比較的小さくすることにある。その結果、システムは、製品アイテムの視覚的プレゼンテーション、例えばスライドショー、ストリーミングビデオショー又はビデオクリップを採用してユーザ２５０がユーザによって最も熟視され、例えばマクグフィン・エム（McGuffin. M.）及びバラクリシュナン・アール（Balakrishnan R.）著の論文「アクイジション・オブ・エクスパンディング・ターゲッツ（Acquisition of Expanding Targets）」，「プロシーディング（Proc）、シーエイチアイ（CHI）２００２、エーシーエム（ACM），ｐ．５７〜６４に記載されているように標的選択及び収集システムを用いてショーウィンドウ用システム２００に表示された製品画像を見つけて選択し、例えばこれをクリックするのを容易にすることができる。なお、このような非特許文献を参照により引用し、その記載内容全体を本明細書の一部とする。変形例として、製品サムネイルを表示装置上で見えるようにするために画像の輝度を、不透明さ及び（又は）色を変更させても良く、このような製品サムネイルを追加的に又は代替的にディスプレイ装置上で強調表示することができる。

別の情報伝達方式としては、「最も人気あり」と識別された製品のスライドショー又はストリーミングビデオクリップを自動的に開始することが挙げられる。次に、ユーザには、コントロール、例えばソフトウェアボタン又はキー２７０（図２）が与えられ、スライドショーと一緒にディスプレイ装置２４０に表示されてスライドショーを制御し、例えばスライドショーを一時停止し、関心のある製品シートにアクセスしてこれを検査する。また、ポインティング装置を用い、周知のように例えば、ショーウィンドウ２０５に設けることができるタッチスクリーン又は容量型タッチ式検出器を備えたスクリーン、例えば２００２年７月１７日に出願公開されたポーター等（Porter et al.）名義の英国特許出願公開第２３６７９９１号明細書（発明の名称：Touch Sensitive Display Screen）に記載されたタッチスクリーン上でポインタ又は指を用いて表示された商品を管理することができる。なお、この特許文献を参照により引用し、その記載内容全体を本明細書の一部とする。図１に示す他の入力／出力装置１６０、例えば、マウス、トラックボール、タッチスクリーン上に表示されたソフトキーを含む場合のあるキーボード等も又使用できる。

さらに別の方式としては、特定のユーザが種々の製品又は商品を熟視する注視持続時間に基づいてユーザによって順序付けられ又はランク付けされた商品（人気）の概観を与えることが挙げられる。当然のことながら、この方式では、プロセッサ１３０は、各ユーザの注視及びこれらの持続時間の記録をキープする。新たなユーザが到来した場合、システムはこのようなユーザを当該技術分野において周知の顔面認識類似性尺度に基づいて新たなユーザとして分類することになる。

或る特定のユーザに関する注視追跡をユーザがカメラの視野の外部に出て後で同じユーザがカメラの視野に戻ったことに起因して中断した場合、同一のユーザの追跡を再開し、この場合、システムは、このユーザを識別し、戻って来たユーザの特徴と最近のユーザのデータベースと比較することにより判定される類似性尺度に基づいてこのユーザを「古い」ユーザとして分類する。

一方式では、システムは、各ユーザ２５０によって熟視された全ての商品の順序づけされたリスト２５２（図２）をショーウィンドウ用ディスプレイ２００に表示する。商品は、ユーザの注視記録に従ってこれらの「人気」に基づいて順序付けされる。次に、ユーザは、ショーウィンドウ用ディスプレイ２４０又は任意他のディスプレイ装置に表示された商品のサムネイル２６０をクリックして選択した／クリックした商品に関する情報をオープンにし又はこれにアクセスすることができる。当然のことながら、リスト２５２又は追加の情報のリンク２５４を単に提供するのではなく、システム管理者によってあらかじめ定められているような情報を注視持続時間に基づいて商品に対するユーザの関心を検出し又は突き止めることに応答してユーザに自動的に提供するのが良い。また、システムは、１人又は２人以上のユーザと関連した最も「人気のある」商品２６０に関連した情報を既定値（デフォルト）によってディスプレイ装置上のどこか、例えばショーウィンドウ用ディスプレイの中心に表示するよう構成されても良い。

製品の説明をより魅力的にすると共に有機的に変化するショーウィンドウ用ディスプレイの印象を作るために、特定の効果、例えば製品画像変更のためのフェードイン及びフェードアウト効果を用いることができる。注視検出と、注視検出に応答したショーウィンドウ用ディスプレイ上への情報の適応又は変更との間に遅れを導入するのが良い。というのは、当然のことながら、ユーザは、まず最初に製品を熟視する可能性が最も高く、しばらくしてからディスプレイをちらっと見るに過ぎないからである。別の実施形態は、ショーウィンドウへの注視が検出されるやいなや又は注視が予測される場合であっても、例えば、ユーザがショーウィンドウの方向に自分の注視をシフトさせたことが検出されると、ショーウィンドウ用ディスプレイ上への情報の変更又は適応をトリガすることを含む。迅速な情報表示は、システムの応答性をユーザに対してより明らかにすると共に注意グラバーとしての役目を果たし、ユーザがショーウィンドウを熟視し又は熟視したままにするようにすると共にショーウィンドウ用インタラクションシステムと対話させる。

入力モダリティとしての注視とは別に、瞬間的な指さしの仕草及び（又は）２００５年８月４日に出願された上述の欧州特許出願第０５１０７２０５．６号明細書（発明の名称：Apparatus for Monitoring a Person Having an Interest to an Object, and Method Thereof）に記載されているようにユーザの関心を引き寄せるようにする容量型タッチ式検出器を有するのが良いショーウィンドウにタッチすることを利用することも可能である。

代替的に又は追加的に姿勢の向きを用いると、今ショーウィンドウのどの部分がユーザによって注意されているかを判定することができる。姿勢の向きは、ショーウィンドウの前に位置する舗道に組み込まれていて、足の向きを検出することができる検出マット２９５により検出できる。このようなマットは、この上の足又は靴の向きを検出し、向きに関する情報をプロセッサ１３０に提供するセンサを有するのが良い。さらに、頭の向きは、注視の方向を検出し、製品を強調表示し又は注視の方向に位置する製品に関する情報を表示するコンピュータビジョン技術により検出できる。さらに別の実施形態は、製品のどのグループが現在熟視されているかを検出するためにショーウィンドウに沿ってユーザの分布を利用することができる。例えば、カメラ２１０，２１２を介して例えば他の部分と比較してショーウィンドウの右側の近くに多くのユーザが検出された場合、右側の製品は、関心のあるものであると判定され、上述したように処理され、例えば、このような製品が強調表示され又は関連情報が表示される。

インタラクションシステム及び方法は、多くの状況、例えば、博物館、展示会及び一般に物理的製品と電子式ディスプレイの組み合わせが用いられる用途に利用できる。

ショーウィンドウの後ろの製品に加えて、対話型システム及び方法は、製品の特定の部分を注視により「選択」することができる大型製品に同様に利用できる。例えば、ショーウィンドウ内に示された自転車は、発電機、歯車、ロック、シート等を有する場合がある。上述の方法を用いると、自転車の特定の部分は、ユーザによって最も熟視された状態になり、このような部分は、識別され、その後、例えばショーウィンドウに表示されたこのような部分についての情報を表示することができる。

当然のことながら、本明細書の説明を考慮して通信分野の当業者には明らかなように、通信のためのシステムコンポーネントとしては種々の要素、例えば送信機、受信機又はトランシーバ、アンテナ、変調器、復調器、変換器、送受切換器、フィルタ、マルチプレクサ等が挙げられる。種々のシステムコンポーネントの中で通信又はリンクは、任意手段、例えばワイヤード又はワイヤレスであって良い。システム要素は、別々であっても良く、或いは例えばプロセッサにより互いに統合されても良い。

周知のように、プロセッサ１３０は、例えばメモリ１２０に記憶された命令を実行し、このようなメモリは、他のデータ、例えばシステム対話に関連した所定の又はプログラム可能な設定値、しきい値、所定のセッション間隔、製品情報の表示のため及び製品を強調表示するために用いられる光の属性のためのセッティング等を更に記憶しているのが良い。

ディスプレイ装置に表示される情報は、最も熟視された製品に関する情報又は任意他の情報、例えば広告、販促材料及び第三者又は種々のソース又は出所、例えば、店舗のオーナ、システム管理者、広告主等によって定められた製品の情報を含むのが良い。近くに記憶されているにせよ遠隔に記憶されているにせよいずれにせよ任意の情報源が利用可能であると共に（或いは）ネットワーク、例えばインターネットを介して製品製造業者のウェブサイト等によりアクセス可能であり、このような情報をプッシュすると共に（或いは）プルすることができる。

インタラクションシステムの種々のコンポーネントを任意形式のリンクによって互いに動作的に結合できることが分かり、このようなリンクとしては、例えば、ワイヤードリンク又はワイヤレスリンクが挙げられる。また、本明細書における説明を考慮すると、当業者であれば認識されるように、種々の改造例も又想到できる。メモリは、アプリケーションデータ並びに他のデータを記憶する任意形式のデバイスであって良い。アプリケーションデータ及び他のデータは、コントローラ又はプロセッサが本発明のシステム及び方法に従って動作上の行為を行うよう構成するためにコントローラ又はプロセッサによって受け取られる。

本発明の方法の動作上の行為は、コンピュータソフトウェアプログラム、例えば好ましくは本発明の方法の個々のステップ又は行為に対応したモジュールを含むコンピュータソフトウェアプログラムによって実施されるのに特に適している。当然のことながら、このようなソフトウェアをコンピュータにより読み取り可能な媒体、例えば集積チップ、周辺装置又はメモリ、例えばコントローラ又は光モジュールのプロセッサに結合されたメモリ又は他のメモリで具体化できる。

コンピュータにより読み取り可能な媒体及び（又は）メモリは、任意の記憶可能な媒体（例えば、ＲＡＭ、ＲＯＭ、リムーバブルメモリ、ＣＤ−ＲＯＭ、ハードドライブ、ＤＶＤ、フロッピー（登録商標）ディスク又はメモリカード）であって良く又は伝送媒体（例えば、光ファイバ、ワールドワイドウェブ、ケーブル及び（又は）例えば時分割符号分割多元接続又は他のワイヤレス通信システムを用いるワイヤレスチャネルを有するネットワーク）であっても良い。コンピュータシステムに用いられるのに適した情報を記憶することができる公知の又は開発されるであろう任意の媒体をコンピュータにより読み取り可能な媒体及び（又は）メモリ１２０として用いることができる。

また、追加のメモリを使用することができる。コンピュータにより読み取り可能な媒体、メモリ１２０及び（又は）任意他の記憶装置は、長期記憶装置、短期記憶装置又は長期記憶装置と短期記憶装置の組合せであって良い。これらメモリは、本明細書において開示された方法、動作上の行為及び機能を実行するようプロセッサ／コントローラ１３０を構成する。メモリは、分散メモリであっても、局部（ローカル）メモリであっても良く、プロセッサは、追加のプロセッサが設けられている場合、分散形プロセッサであっても、特異形プロセッサであっても良い。メモリは、電気メモリ、磁気メモリ、光メモリ又はこれらの又は他の形式の記憶デバイスの任意の組合せとして具体化できる。さらに、「メモリ」又は「記憶装置」という用語は、プロセッサによりアクセスされたアドレス指定可能な空間内のアドレスから読み取り可能又はこのようなアドレスに書き込み可能な任意の情報を含むのに足るものであると広く解されるべきである。この定義により、ネットワーク上の情報は、例えば依然としてメモリ内に存在する。というのは、プロセッサは、ネットワークから情報を取り出すことができるからである。

プロセッサ１３０及びメモリ１２０は、任意形式のプロセッサ／コントローラ及びメモリ、例えば、米国特許出願公開第２００３／００５７８８７号明細書に記載されたプロセッサ／コントローラ及びメモリであって良く、このような米国特許出願公開を参照により引用し、その記載内容全体を本明細書の一部とする。プロセッサは、制御信号を出力すると共に（或いは）光モジュールの選択及びグループ分けに応答して動作を実行すると共に（或いは）所定の又はプログラム可能な光設定値を選択してメモリに記憶されている指令を実行することができる。プロセッサは、特定用途向け又は汎用集積回路であって良い。さらに、プロセッサは、本発明のシステムに従って稼働する専用プロセッサであっても良く、或いは、多くの機能のうちの１つだけが本発明のシステムに従って稼働可能に動作する汎用プロセッサであっても良い。プロセッサは、プログラムの一部分、多数のプログラムセグメントを用いて動作しても良く、或いは、専用又は汎用集積回路を利用したハードウェアデバイスであっても良い。ユーザが存在しているかどうか及びユーザが誰であるかを識別するために利用される上述のシステムの各々は、別のシステムと関連して利用できる。

当然のことながら、上述の実施形態又は方法のうちの任意の１つを１つの他の実施形態又は方法又は１つ又は２つ以上の他の実施形態又は方法と組み合わせて特定の個性を持つユーザを発見してマッチさせ、関連の推薦を提供する上で更に一層の改善を提供できる。

最後に、上記説明は、本発明の単なる例示に過ぎず、特許請求の範囲に記載された発明を任意特定の実施形態又は一群の実施形態に限定するものではない。特定の例示の実施形態を参照して本発明のシステムを詳細に説明したが、特許請求の範囲に記載された本発明の広い又は意図された精神及び範囲から逸脱することなく実施形態の多くの改造例又は変更例を想到できる。したがって、明細書及び図面は例示として解されるべきであって、特許請求の範囲に記載された本発明の範囲を限定するものではない。

原文の特許請求の範囲（請求項）の解釈にあたり、次のことが理解されるべきである。
ａ）「備えている」は、所与の請求項に記載された要素又は動作の存在以外の要素又は動作の存在を排除するものではない。
ｂ）単数形の記載は、その要素が複数存在することを排除するものではない。
ｃ）請求項に記載された参照符号は、本発明の範囲を限定するものではない。
ｄ）幾つかの“手段（means）”は、同一のアイテム又はハードウェア若しくはソフトウェアにより具体化される構造又は機能によって表される場合がある。
ｅ）開示した要素の各々は、ハードウェア部分（例えば、ディスクリート電子回路及び集積電子回路）、ソフトウェア部分（例えば、コンピュータプログラミング）及びこれらの任意の組合せで構成される場合がある。
ｆ）ハードウェア部分は、アナログ部分及びディジタル部分のうちの一方又はこれら両方で構成される場合がある。
ｇ）特別の定めのない限り、開示した装置又これら装置の部分のどれも互いに組み合わせることが可能であり又は別の部分に分けることができる。
ｈ）特別の定めのない限り、行為又はステップについて特定の順序が必要とされているわけではない。

Claims (16)

1. インタラクションシステムであって、
   商品を見ている少なくとも１人の観察者の注視を検出する少なくとも１つの検出器と
   前記商品の中の１つの商品当たりの累積注視持続時間を計算し、前記累積注視持続時間に従って最も熟視された商品を識別し、前記最も熟視された商品に関連した情報を提供するプロセッサとを有する、インタラクションシステム。
2. 前記情報、前記最も熟視された商品のリスト、前記最も熟視された商品の説明、及び前記最も熟視された商品の中の少なくとも１つの商品に関連づけられた音声及び映像ショーのうちの少なくとも一方のうちの少なくとも１つを表示するディスプレイを更に有する、請求項１記載のインタラクションシステム。
3. 前記少なくとも１つの商品は、前記最も熟視された商品の中の他のものよりも目立って表示される、請求項２記載のインタラクションシステム。
4. 前記説明の中の１つの説明は、前記説明の中の他のものよりも目立って表示される、請求項２記載のインタラクションシステム。
5. 前記少なくとも１人の観察者の足の向きを検出するマットを更に有する、請求項１記載のインタラクションシステム。
6. インタラクション方法であって、
   少なくとも１人のユーザの視野内の製品に関してあらかじめ定められた期間内で注視時間を検出するステップと、
   最も熟視された製品を識別するステップと、
   前記最も熟視された製品に関する情報を提供するステップとを有する、方法。
7. 前記情報提供ステップは、
   前記最も熟視された製品をディスプレイ装置に表示するステップ、
   前記注視時間に従って分類された前記最も熟視された製品のサムネイルを表示するステップ、
   前記注視時間の中の少なくとも最も長い注視時間と関連した前記最も熟視された製品の中の少なくとも１つに対応した前記サムネイルの中の少なくとも１つを拡大するステップ、
   前記最も熟視された製品を強調表示するステップ、
   前記最も熟視された製品の中の前記少なくとも１つを前記最も熟視された製品の中の他のものよりも目立って前記ディスプレイ装置に表示するステップ、及び
   前記最も熟視された製品の中の前記少なくとも１つに関連づけられた音声及び映像ショーのうちの少なくともを開始するステップのうちの少なくとも１つのステップを含む、請求項６記載のインタラクション方法。
8. 前記最も熟視された製品の中の前記少なくとも１つを前記最も熟視された製品の中の他のものよりも目立って前記ディスプレイ装置に表示する前記ステップでは、前記最も熟視された製品の中の少なくとも１つを前記ディスプレイ装置の中心を含む前記ディスプレイ装置の所定の区画内に表示する、請求項７記載のインタラクション方法。
9. 前記識別ステップは、前記製品を前記注視時間に従ってランク付けするステップを含む、請求項６記載のインタラクション方法。
10. 前記製品の個々の製品に対応した前記注視時間の中の注視時間を形成するよう前記個々の製品を前記あらかじめ定められた期間内で注視する前記少なくとも１人のユーザの注視持続時間を追跡するステップを更に有する、請求項６記載のインタラクション方法。
11. 前記注視時間は、前記あらかじめ定められた期間内において前記ユーザによって注視された前記製品の中の１つの製品当たりの累積注視時間を含む、請求項６記載のインタラクション方法。
12. 前記注視時間は、前記あらかじめ定められた期間内において多数の観察者によって注視された前記製品の中の１つの製品当たりの１人の観察者の累積注視時間を含む、請求項６記載のインタラクション方法。
13. インタラクション方法であって、
    複数個の製品を見ている少なくとも１人の観察者の注視に関する注視持続時間を追跡するステップと、
    前記複数個の製品を前記注視持続時間に従ってランク付けするステップと、
    前記少なくとも１人の観察者の関心のある製品を前記ランク付けステップに従って突き止めるステップと、
    前記関心のある製品の中の少なくとも１つに関する情報を提供するステップとを有する、インタラクション方法。
14. 前記情報提供ステップは、
    前記関心のある製品、前記関心のある製品の説明、及び最も熟視された製品の所定の個数を含む前記関心のある製品のリストの中の少なくとも１つを前記関心のある製品に対応した前記注視持続時間に従って表示するステップ、及び
    前記関心のある製品の中の前記少なくとも１つを前記ランク付けステップに従って強調表示するステップのうちの少なくとも一方を含む、請求項１３記載のインタラクション方法。
15. 前記強調表示ステップは、
    前記関心のある製品の中の前記少なくとも１つを照明するステップ、及び
    前記関心のある製品の中の前記少なくとも１つの製品の説明を他の説明よりも目立ってディスプレイ装置に表示するステップのうちの少なくとも一方を含む、請求項１４記載のインタラクション方法。
16. 前記注視持続時間は、前記複数個の製品の中の個々の製品の累積注視持続時間を含む、請求項１３記載のインタラクション方法。

Images