JP2016515242A - 校正不要な注視点推定の方法と装置 - Google Patents

Abstract

本発明は注視点推定方法に関する。注視点を決定するのに用いるシステムを校正せずに注視点位置を決定するため、該方法は、スクリーンに表示された少なくとも１つのビデオ画像を見ているビュアーの少なくとも１つの眼画像の少なくとも１つの眼の少なくとも１つの中心ロケーションを検出するステップ（１０３）と、前記少なくとも１つの眼の少なくとも１つの検出された中心ロケーションと、人の注視点分布の中心バイアス特性に基づくマッピング関数とを用いて、前記スクリーンにおける前記ビュアーの少なくとも１つの第１注視点位置を決定するステップ（１０５）と、を有する。本発明は、注視点を推定するように構成される装置にも関する。

Description

本発明は、ビュアーにより見られる画像シーケンスに関する肉眼注視点推定の分野に関する。

人間はすべての生活分野においてもっとも中心となる要因である。視覚は人類の最も基本的な感覚である。人間の脳の約８０−９０％のニューロンは視覚に関係していると考えられている。注視（ｅｙｅ ｇａｚｅ）は、人間の心から有用かつ動かしえない情報を明らかにできる重要なキューと考えられる。注視は、ある視覚的状況におけるある人の注意、行動及び何らかの形で感情を反映すると考えられる。実際、注視の解釈プロセスは、注視ベースインターラクティブユーザインタフェース、アダプティブかつインターラクティブなコンテンツプレゼンテーション、仮想現実、人間行動研究、及び診断アプリケーションなど、ヒューマンコンピュータインターラクション（ＨＣＩ）の様々なアプリケーションに関わる。それゆえ、注視点推定（ｅｙｅ ｇａｚｅ ｅｓｔｉｍａｔｉｏｎ）は、ここ数年の間、活発な研究領域となり、問題に異なる困難な側面があるため、挑戦しがいのあるトピックとなっている。注視点追跡機は、一般的に、機器が被験者と接触する方法により、イントルーシブ（ｉｎｔｒｕｓｉｖｅ）システムとリモート（ｒｅｍｏｔｅ）システムの２つのカテゴリーに分類できる。最初期のイントルーシブ注視点追跡機（ｉｎｔｒｕｓｉｖｅ ｇａｚｅ ｔｒａｃｋｅｒ）の１つは、特殊なコンタクトレンズを眼に固定して、その位置を検出できるようにするものである。これらのコンタクトレンズは、光を反射したり、高周波電磁場における眼の位置を測定したりするのに用いられるセンサ（ミラーや誘導コイル）を含む。この方法は、精度は高いが、不快かつ押しつけがましい方法であるため、医療研究や認知研究くらいにしか適しない。電気眼球図記録（ＥＯＧ）ベースの方法は、眼球が回る時に静電場が生じるという事実を利用するものである。（電極で）眼の周りの皮膚領域の電位差を測定することにより、眼の位置を推定できる。ＥＯＧ法により、（ビデオ眼球図記録が利用できない）暗い環境における記録を可能とし、かつ眼を開けていなくても良い、単純な構成で信頼性が高い測定ができる。主要な問題は、ＥＯＧ信号が、（特に、長時間の記録実験では）顔の筋肉のまばたきをする動きやＥＯＧの電位ドリフトにより、ノイズがのることである。ビデオ眼球図記録法も、ヘッドマウントシステムで用いられる場合、イントルーシブ法に分類できる。一般的に、イントルーシブ法は、精度が高く、頭部の動きが自由であるが、主な欠点はユーザに密着しなければならないことであり、実験室における実験のみに制約される。

日常的なアプリケーションとしては、非イントルーシブ（すなわちリモート）法の方がずっと好ましい。このカテゴリーの場合、ビデオベース法が最も広く使われている。（ジオメトリック）モデルベース法と外観ベース法の２つの方法グループを区別できる。前者は眼の３次元ジオメトリックモデルを用いて注視点（ｇａｚｅ）を推定する。注視点（ｐｏｉｎｔ ｏｆ ｒｅｇａｒｄ）は、（光軸及び視軸よりなる）３次元注視方向とスクリーン平面との間の交わりとして決定される。モデルベース法の大部分は、一般的には赤外光である光源を用いて眼を照らす角膜反射法に基づく。主要なアイデアは、瞳中心と、反射による眼の最も明るい光スポットであるグリント（ｇｌｉｎｔ）との間の相対的な位置から注視点を推定することである。

対照的に、外観ベース法は、注視点推定を、眼の画像特徴と、スクリーン上の注視位置との間の２次元マッピング問題と考える。マッピング関数は、マルチレイヤニューラルネットワーク又はガウシアンプロセス回帰のような回帰モデルをトレーニングすることにより、又は局所線形埋込（Ｌｏｃａｌｌｙ Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ）などの非線形多様体埋込法（ｎｏｎ−ｌｉｎｅａｒ ｍａｎｉｆｏｌｄ ｅｍｂｅｄｄｉｎｇ ｔｅｃｈｎｉｑｕｅ）を用いて、高次元肉眼像を２次元に下げ、低次元空間における線形結合により注視点を求めることにより、求めることができる。

ジオメトリックモデルベースアプローチは、一般的に、精度がより高く（１°未満である）、市販の眼追跡機（ｅｙｅ ｔｒａｃｋｅｒ）で広く用いられている。しかし、高解像度カメラと追加的光源とを必要とする。現在の外観ベース法は精度があまり高くない（精度が数度である）ことが知られている。精度がより高い外観ベース法が知られている。これは、例えば、非特許文献１に開示されているように、多数の校正点を用いることを代償として１°未満の精度を達成できる。

現在のほとんどすべての追跡法は、（ジオメトリックベース法の場合）人に依存した視覚パラメータ（ｅｙｅ ｐａｒａｍｅｔｅｒ）を推定したり、（外観ベース法の場合）眼の動きとスクリーンとの間の対応マッピング関数を回帰（ｒｅｇｒｅｓｓ）したりするため、校正プロセスを必要とする。かかるプロセスを行うのは面倒であり、不快であり、困難である。さらに、インターラクティブゲームインタフェースやアダプティブコンテンツ選択インタフェースなどの幾つかのコンシューマホーム機器では、アイトラッキング（ｅｙｅ ｔｒａｃｋｉｎｇ）はユーザに対してトランスパレントであることを要し、アクティブな校正はほとんど不可能である。明示的な校正を要しない肉眼注視点推定法がある。しかし、そのモデルベース法は複数のカメラと赤外光源（ＩＲ ｌｉｇｈｔ ｓｏｕｒｃｅｓ）を必要とする。

他のアプローチは、視覚的特徴を注視点の確率分布の事前情報として用いることにフォーカスしていた。非特許文献２は、眼の連続的外観があまり変化しなければ、ユーザが同じ凝視点に注目していることが明らかであるということを提案している。すべてのトレーニングビデオをクラスター化及び平均化することにより、「凝視グループ」のセットが得られる。各固定グループは、平均化注視点確率マップと、それに対応する平均化眼画像（ｅｙｅ ｉｍａｇｅ）よりなる。これらのデータは、ガウシアンプロセス回帰（ＧＰＲ）を学習するために提供される。注視点（ｇａｚｅ ｐｏｉｎｔｓ）の「真の」位置は分からないので（注視点確率（ｇａｚｅ ｐｒｏｂａｂｉｌｉｔｙ）しか分からないので）、ＧＰＲのトレーニングプロセスはモンテカルロ近似により行われる（すなわち、平均化された注視点確率マップによりサンプルが生成される）。しかし、このアプローチには幾つかの限界がある。第１に、動作モードに行くため、システムは、オフラインになり、時間がかかるトレーニング（すなわち、１０分のテストに対して１０分のトレーニング）を事前に必要とする。第２に、この方法は経験的に決定される多くのパラメータを用いる。第３に、モンテカルロ近似が所望の精度に到達するために、計算コストが大幅に増加することを代償として、多くのサンプルが必要である。それにもかかわらず、この方法では、必ずしも信頼性が高くない特徴情報に全面的に基づくため、６°という低い精度しか達成できない。

非特許文献３は、注視点推定システムの性能を改善するための事後処理段階における特徴マップ（ｓａｌｉｅｎｃｙ ｍａｐｓ）の利用を開示している。眼窩のある領域（ｆｏｖｅａｔｅｄ ｒｅｇｉｏｎ）が、推定された凝視点の周りのガウシアンカーネルとしてモデル化される。次に、特徴マップを計算する。凝視点で初期化された平均シフトウィンドウを用いて、特徴マップにおける最近最大点を見つけ、これを補正された新しい注視点と考える。注視点追跡機における誤差は同一かつアフィン変換的（ｉｄｅｎｔｉｃａｌ ａｎｄ ａｆｆｉｎｅ）である（例えば、シフトやスケール）と仮定することにより、推定注視点と補正注視点との間の加重最小二乗最小化を適用することにより、補正行列を求められる。

既存の肉眼注視点検知システムは、主要な２つの理由により、コンシューマホームアプリケーションで広く利用されているとは言い難い。かかるシステムのコストは依然として高く、ほとんどのシステムは面倒で時間がかかる校正手順を必要とする。

Ｋ． Ｈ． Ｔａｎ， Ｄ． Ｊ． Ｋｒｉｅｇｍａｎ， ａｎｄ Ｎ． Ａｈｕｊａ， "Ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｅｙｅ ｇａｚｅ ｅｓｔｉｍａｔｉｏｎ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｉｘｔｈ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＷＡＣＶ）， ｐａｇｅｓ １９１−１９５， ２００２ Ｙ． Ｓｕｇａｎｏ， Ｙ． Ｍａｔｓｕｓｈｉｔａ， ａｎｄ Ｙ． Ｓａｔｏ， "Ｃａｌｉｂｒａｔｉｏｎ−ｆｒｅｅ ｇａｚｅ ｓｅｎｓｉｎｇ ｕｓｉｎｇ ｓａｌｉｅｎｃｙ ｍａｐｓ"， Ｉｎ Ｐｒｏｃ． ｏｆ ｔｈｅ ２３ｒｄ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ， Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｊｕｎｅ ２０１０ Ｒ． Ｖａｌｅｎｔｉ， Ｎ． Ｓｅｂｅ， ａｎｄ Ｔ． Ｇｅｖｅｒｓ， "Ｗｈａｔ ａｒｅ ｙｏｕ ｌｏｏｋｉｎｇ ａｔ？ ｉｍｐｒｏｖｉｎｇ ｖｉｓｕａｌ ｇａｚｅ ｅｓｔｉｍａｔｉｏｎ ｂｙ ｓａｌｉｅｎｃｙ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１２

本発明の目的は、こうした先行技術の少なくとも１つの欠点を解消することである。

より具体的に、本発明の目的は、ビュアーが見ているスクリーン上のビュアーの注視点のロケーションを、校正せずに決定することである。

本発明は、注視点推定方法に関し、
− スクリーンに表示された少なくとも１つのビデオ画像を見ているビュアーの少なくとも１つの眼画像の少なくとも１つの眼の少なくとも１つの中心ロケーションを検出するステップと、
− 前記少なくとも１つの眼の少なくとも１つの検出された中心ロケーションと、人の注視点分布の中心バイアス特性に基づくマッピング関数とを用いて、前記スクリーンにおける前記ビュアーの少なくとも１つの第１注視点位置を決定するステップと、を有する。

具体的な一特徴によると、前記検出するステップは、
− 前記少なくとも１つの眼画像を少なくとも１つのヒートマップに変換するステップと、
− 前記少なくとも１つのヒートマップの、所定の第１閾値より大きい値を有する第１のピクセルを決定するステップと、
− 所定の第２閾値より大きい値を有する、前記第１ピクセルの近傍にある第２ピクセルを決定するステップと、
− 前記少なくとも１つの眼の少なくとも１つの中心ロケーションを、決定された前記第１及び第２ピクセルのロケーションの加重平均に対応するものとして計算するステップとを有する。

有利にも、前記少なくとも１つのヒートマップは、前記変換の出力として、色空間ＹＣｂＣｒで表される。

具体的な一特徴によると、前記検出するステップは、さらに、前記少なくとも１つのヒートマップのガウシアンフィルタリングを含み、前記第１及び第２ピクセルは前記ガウシアンフィルタリング後に決定される。

有利にも、本方法は、さらに、
− 前記少なくとも１つのビデオ画像に関連する少なくとも１つの特徴マップにより、前記スクリーンにおける前記ビュアーの少なくとも１つの第２注視点位置を決定するステップと、
− 前記スクリーンにおける前記ビュアーの少なくとも１つの第３注視点位置を決定するステップであって、前記少なくとも１つの第３注視点位置は、前記少なくとも１つの第１注視点位置と前記少なくとも１つの第２注視点位置との融合に対応する、ステップとを有する。

他の一特徴によると、前記少なくとも１つの第１注視点位置は、前記パーティクルフィルタリング法と、時間的観点で前に決定された少なくとも１つの他の第１注視点位置とを用いて決定される。

有利にも、前記少なくとも１つの第３注視点位置は、時間的観点で前に決定された少なくとも１つの他の第１注視点位置と少なくとも１つの他の第２の注視点位置とともに前記パーティクルフィルタリング法を用いて決定される。

具体的な一特徴によると、前記ビュアーの前記少なくとも１つの第１注視点位置は、前記ビュアーの頭の動きを考慮して決定される。

本発明は、ビュアーの注視点を決定するように構成された装置にも関する。該装置は、少なくとも１つのプロセッサを有し、前記プロセッサは、
− スクリーンに表示された少なくとも１つのビデオ画像を見ているビュアーの少なくとも１つの眼画像における少なくとも１つの眼の中心ロケーションを検出し、前記少なくとも１つの眼画像は前記少なくとも１つの眼の表示を含み、
− 前記少なくとも１つの眼の少なくとも１つの検出された中心ロケーションと、人の注視点分布の中心バイアス特性に基づくマッピング関数とを用いて、前記スクリーンにおける前記ビュアーの少なくとも１つの第１注視点位置を決定するように構成される。

前記少なくとも１つのプロセッサは、さらに、
− 前記少なくとも１つの眼画像を少なくとも１つのヒートマップに変換し、
− 前記少なくとも１つのヒートマップの、所定の第１閾値より大きい値を有する第１のピクセルを決定し、
− 所定の第２閾値より大きい値を有する、前記第１ピクセルの近傍にある第２ピクセルを決定し、
− 前記少なくとも１つの眼の少なくとも１つの中心ロケーションを、決定された前記第１及び第２ピクセルのロケーションの加重平均に対応するものとして計算するように構成される。

具体的な一特徴によると、前記少なくとも１つのプロセッサは、さらに、前記少なくとも１つのヒートマップをガウシアンフィルタでフィルタリングするように構成される。

他の一特徴によると、前記少なくとも１つのプロセッサは、さらに、
− 前記少なくとも１つのビデオ画像に関連する少なくとも１つの特徴マップにより、前記スクリーンにおける前記ビュアーの少なくとも１つの第２注視点位置を決定し、
− 前記スクリーンにおける前記ビュアーの少なくとも１つの第３注視点位置を決定し、前記少なくとも１つの第３注視点位置は、前記少なくとも１つの第１注視点位置と前記少なくとも１つの第２注視点位置との融合に対応する、ように構成される。

有利にも、前記少なくとも１つのプロセッサは、さらに、パーティクルフィルタリング法を実行するように構成される。

他の一特徴によると、前記少なくとも１つのプロセッサは、前記ビュアーの頭の動きを検出するようにされる。

本発明は、コンピュータプログラムプロダクトにも関する。該プロダクトは、少なくとも１つのプロセッサにより実行され、プログラムがコンピュータにより実行されたとき、注視点推定方法を実行するプログラムコード命令を含む。

添付図面を参照した以下の説明を読めば、本発明をよく理解でき、その他の具体的な特徴と利点がはっきりするであろう。
本発明の一実施形態による、ビュアーの注視点の位置を推定する方法を示す図である。 本発明の一実施形態による、関連ヒートマップとともにビュアーの眼の画像を示す図である。 本発明の一実施形態による、ビュアーが見ている異なるタイプのビデオコンテンツによる注視点位置の平均空間ヒストグラムを示す図である。 本発明の一実施形態による、図１のビュアーの注視点位置推定に適用されるパーティクルフィルタリングフレームワークを示す図である。 本発明の一実施形態による、注視位置推定方法に関するグラフィカルユーザインタフェースを示す図である。 本発明の一実施形態による、注視点位置推定方法を実施する装置を図式的に示す図である。 本発明の一実施形態による、注視点位置推定方法を示す図である。

スクリーンに表示された一以上のビデオ画像を見ているビュアーの注視点位置の推定方法の一実施形態を参照して、本発明を説明する。その目的のため、ビュアーの片眼または両眼の中心の位置を、ビュアーの片眼または両眼の表示を含むビュアーの少なくとも一部の一以上の画像を分析することにより検出する。分析される画像は、有利にも、ビュアーが一ビデオ画像を見ている間の、そのビュアーの画像に対応する。眼の外観及びスクリーンにおける注視点位置との間のマッピングを表し、人間の注視点分布のセンターバイアス特性に基づくマッピング関数を用いて、スクリーンにおけるビュアーの注視点の位置を決定する。

人間の注視点分布のセンターバイアス特性に基づくマッピング関数を用いることにより、そのマッピング関数の校正を回避でき、すなわち（例えば、テストビデオ画像と、そのテストビデオ画像を見ているビュアーの関連眼画像とを用いて行われる）眼の外観とスクリーンにおける注視点位置との間のマッピング関数の回帰を回避できる。

図１は、本発明の具体的かつ非限定的な一実施形態による、ビュアーの注視点の位置を推定する方法を示す図である。プロセスの入力１０は、一又は複数のビデオ画像１０１を表すデータと、一又は複数の眼画像（ｅｙｅ ｉｍａｇｅ）１０２を表すデータとを含む。眼画像１０２は、有利にも、ビデオ画像１０１を見ているビュアーの片眼または両眼の画像に対応し、より一般的には、眼の画像を表すデータを抽出できるビュアーの顔の画像に対応する。有利な方法では、眼画像１０２はウェブカム（ｗｅｂｃａｍ）などのカメラにより収集される。カメラは、例えば、ビデオ画像が表示されるスクリーンの上に配置される。つまり、カメラはスクリーンに組み込まれていない装置であり、有線又は無線でスクリーンに接続される。一変形例によると、カメラはスクリーンに組み込まれている。１つの眼画像１０２は、有利にも、１つのビデオ画像１０１に関連する。つまり、その関連ビデオ画像１０１を表示している間に、１つの眼画像１０２を撮る。ビデオ画像１０１は、例えば、画像シーケンス（例えば、映画）、写真、ウェブページなどの画像に対応する。

第１のステップ１０３において、片眼の中心または各眼の中心が眼画像１０２から検出される。ビュアーの顔は、顔検出アルゴリズム（例えば、文献Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊｏｎｅｓ著「Ｒｏｂｕｓｔ ｒｅａｌ−ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ」ＩＪＣＶ， ｖｏｌ． ５７， ｎｏ． ２， ｐｐ． １３７−１５４， ２００２に記載されたｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｆａｃｅ ｄｅｔｅｃｔｏｒなど）を用いて検出できる。眼領域のおおまかな位置は、身体計測関係式に基づき検出された顔から決定される。経験的に、眼の中心は、常に、検出された顔領域の、左眼の２０％×３０％から右眼の６０％×３０％までの、検出された顔領域の２５％×２０％の大きさの、２つの領域内に含まれることが分かっている。

一変形例によると、眼の中心を検出するには、ハフ変換（Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ、ＨＴ）法を用いる。ＨＴ法は、投票ベースアルゴリズムを用いてパラメータ空間中の円（及び線）を検出するものである。ＨＴ法は、例えば、米国特許第３，０６９，６５４に記載されている。

有利な一方法では、眼の中心は、眼画像１０２にある色情報を利用する方法を用いて検出される。この方法によると、
１． ＲＧＢ色空間で収集された眼画像は最初にＹＣｂＣｒ空間に変換される。
２． 瞳領域の画素は通常ではＣｂ成分の値が高く、ＹおよびＣｒ成分の値が低いとの経験的所見に基づき、眼中心ヒートマップ（ＨＭ）を次の通り決定できる：

ここで、（ｘ，ｙ）はヒートマップの画素の座標に対応し、ヒートマップは有利にもそれが得られた眼画像と同じだけ多くの画素を有し、座標（ｘ，ｙ）を有する眼画像の画素は同じ座標（ｘ，ｙ）を有するヒートマップ中の対応画素を有する。本発明の具体的かつ非限定的な一実施形態による、かかるヒートマップを、図２に示す。図２は眼画像２０とそれに関連するヒートマップ２１とを示している。ヒートマップの画素には異なる値２１０から２１３が割り当てられている。
３． その後、領域拡張法（ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ｍｅｔｈｏｄ）を用いて、瞳領域である可能性のあるすべてのサブ領域（ｓｕｂ−ｒｅｇｉｏｎｓ）を抽出する。そうするため、所定閾値Ｔ１より大きい極大値をシード点として選択し、第１点（first points）２１２と呼ぶ。その後、値が所定閾値Ｔ２より大きいすべての画素を拡張して、各シード点の周りの４つの接続領域を構成する。これらの画素は第２画素２１３と呼ぶ。選択された点は、「候補点」のセットに動的に付け加えられ、プロセスは眼領域の終わりに行くまで続く。経験的に、Ｔ１とＴ２は例えば次の通り設定される：性能を良くするため、Ｔ１＝０．９８及びＴ２＝０．８５。
４． 最後に、すべての候補点の加重投票（ｗｅｉｇｈｔｅｄ ｖｏｔｉｎｇ）により推定される。

ここで、ＰＲは候補点のセットである。

第２のステップ１０４において、眼の中心のロケーションを注視点位置に変換する。フリービューイングモードでは、注視点分布はスクリーンの中心に向けたバイアスがかかっている。かかる効果は図３で見ることができる。図３は、ビュアーが３つのスクリーンビューイング動作中、すなわち映画視聴３０、テレビジョン視聴３１及びウェブブラウズ３２中である時の、注視点追跡機（例えば、サンプリング周期が５０ＨｚのＳＭＩ ＲＥＤ追跡機）により記録される注視点位置の平均空間ヒストグラムである。最初の２つの動作３０と３１の場合、例えば、４人のオブザーバに８つのビデオシーケンス（すなわち、４本のムービークリップと４本のテレビジョンクリップ、それぞれ１０分の長さ）を視聴するように依頼する。ウェブブラウズ動作の場合、ビュアーは、１０分間に５つの好きなウェブサイトを自由に選べる。すべての刺激とすべての被験者について、結果を平均する。映画及びテレビジョンを見る動作の場合には、強い中心バイアス効果が観察され、注視点位置（明るい画素３００と３１０）がスクリーンの中央にある非常に狭い領域に分布した。ウェブブラウズ動作の場合、注視点分布は中心（明るい画素３２０）の周りに広く分散したが、中心バイアスも目立つ。

この注視点分布の統計的特性に基づいて、次の投影モデルにより、（眼画像における）現在の眼中心座標（ｘ_ｃ，ｙ_ｃ）から（［０ １］に規格化された）「観察注視点」位置
［外１］

が決定できる。

ここで、
−
［外２］

は変換された注視点位置であり、注視点の第１の位置１０５に対応している；
−ｘ_ｃとｙ_ｃは絶対画像座標における現在の眼中心位置である。被験者の頭は支持されて固定されているので、これらの値を眼座標の相対的位置に変換するアイカマー位置特定手法（ｅｙｅ ｃｏｍｅｒｓ ｌｏｃａｌｉｚａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）は必要としない；
−
［外３］

はそれぞれｘ_ｃとｙ_ｃの平均値と標準偏差値である。これらのパラメータは、プロセス中、継続的に計算され更新される；
−ＡｘとＡｙは注視点分布の「スケール」を記述するチューニング係数である。これらは、経験的に、例えば４に設定される。これは中心バイアスレベルを定量化するのに十分な大きさである。

この方法により、現在の眼中心位置がその平均値
［外４］

に等しいとき、注視点位置はスクリーンの中心になり（規格化された注視点座標において（ｘ_ｇ，ｙ_ｇ）＝（０．５，０．５））、現在の眼中心位置がその平均値から標準偏差のＡｘ倍（あるいはＡ_ｙ）偏っているとき、注視点はスクリーン境界になる（すなわち、（ｘ_ｇ，ｙ_ｇ）＝１）。

かかる単純なマッピングモデルの利用により、特徴マップ（ｓａｌｉｅｎｃｙ ｍａｐ）とは独立に（すなわち、特徴マップ無しに）、眼画像から（性能をよくしつつ）注視点位置の粗い推定を得ることができる。

任意的な方法かつ一変形例によると、注視点位置の推定は、ビデオ画像１０１に関連する特徴マップ１０６を用いて精度を上げてもよい。第２の注視点位置１０７は特徴マップから得られる。第１の注視点位置１０５を第２の注視点位置１０７と融合して、第３の注視点位置１０９を求めてもよい。これには、第１の注視点位置１０５と第２の注視点位置１０７だけのときより、精度が上がるという利点がある。第３の注視点位置１０５は、有利にも、第１の注視点位置と第２の注視点位置の平均に対応する。一変形例によれば、第３の注視点位置１０５は、有利にも、第１の注視点位置と第２の注視点位置の加重平均に対応する。このとき、第１の注視点位置推定の信頼度が第２の注視点位置推定の信頼度より高ければ、第１の注視点位置に割り当てられる加重は、第２の注視点位置に割り当てられる加重より大きくする（又はその逆の場合もある）。他の一変形例によると、特徴マップを、チューニング係数Ａｘ及びＡｙを調整するために用いる。例えば、ＡｘとＡｙは、特徴マップにおけるばらつき（ｄｉｓｐｅｒｓｉｏｎｓ）により、すなわち特徴マップの分散（ｖａｒｉａｎｃｅ）により調整（ａｄａｐｔ）される。

他の任意的な一変形例によれば、より精密な第３の注視点位置１０９を求めるため、第１の注視点位置１０５と第２の注視点位置１０７とに基づくパーティクルフィルタ（ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ）１０８を実装してもよい。かかる一変形例を図４に示した。図４は、本発明の具体的かつ非限定的な実施形態による、ビュアーの注視点位置の推定に適用されるパーティクルフィルタリングフレームワーク（ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒｉｎｇ ｆｒａｍｅｗｏｒｋ）を示している。最も一般的な観点から、かつ本発明の具体的な一実施形態によれば、注視点検知システムは、入力として、２つの情報源、すなわちビジュアルコンテンツ（例えば、画像／ビデオ）およびビュアーの外観（例えば、頭部姿勢または眼の外観）を受け取り、最も確からしい注視点（ｇａｚｅ ｐｏｉｎｔｓ）、すなわち第３の注視点位置（ｇａｚｅ ｐｏｓｉｔｉｏｎ）１０９を出力する。（連続する異なる時刻ｔ−１、ｔ、及びｔ＋１におけるビデオ画像１０１に対応する）刺激画像Ｉ４０、４１、及び４２と、連続する異なる時刻ｔ−１、ｔ、及びｔ＋１における注視点位置ｇ＝（ｘ，ｙ）４３、４４、４５（ここで、ｇは２時限ベクトル、ｘとｙはそれぞれ水平軸及び垂直軸における注視点位置である）と、（連続する異なる時刻ｔ−１、ｔ、及びｔ＋１における眼画像１０３に対応する）眼の位置ｅ４６、４７、及び４８との間の確率的関係は、図４に示したように、確率的グラフィカルモデル４により示すことができる。このグラフィカルモデル４は、各時間フレームｔ−１、ｔ、及びｔ＋１のノードが、検討中の確率変数間の関係を表し、有効エッジがそれらの条件付き依存性を表すＤＢＮ（Ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）を示している。接続されていないノードは、互いに「条件付き独立（ｃｏｎｄｉｔｉｏｎａｌｌｙ ｉｎｄｅｐｅｎｄｅｎｔ）」であるという。時間フレーム間のリンクは時間的関係を反映している。このＤＢＮに基づき、事後確率
［外５］

として注視点位置を推定する。図４から分かるように、眼の外観ｅ_ｔ４７は刺激Ｉｔ４１から完全には独立していいない。明らかに、刺激は注視点位置ｇ_ｔ４４に対して何らかのインパクトを有し、そのため、非直接的に眼の外観に影響を与える。しかし、一般性を失わずに、これらの２つの所見（ｏｂｓｅｒｖａｔｉｏｎｓ）は「条件付き独立」（すなわち、第３の変数ｇ_ｔを介して従属する）であると考えられる。また、注視点位置分布は、１次マルコフ過程に従う、すなわち現在の状態は前の状態のみに依存すると仮定される。この仮定は、凝視及び円滑追跡眼球運動に対して強くあてはまる。眼球の衝動性運動においては、現在の注視点位置は、スケールが十分大きい分布によりモデル化された場合、前の注視点位置に依存するとも考え得る。ベイズの規則及び幾つかの因数分解を用いて、次式が得られる：

この式（５）では、事後確率
［外６］

は事前確率
［外７］

（事前測定値が与えられたときの現在状態ｇ_ｔの予測）と尤度
［外８］

とにより推定できる。符号
［外９］

は「比例する」ことを意味する。事前確率に連鎖法則（すなわち、Ｃｈａｐｍａｎ−Ｋｏｌｍｏｇｏｒｏｆｆの式）を適用して、次の見慣れた結果を得られる：

式（６）は、１つの状態変数ｇと２つの同時測定値Ｉ及びｅの動的システムを示す（ｃｈａｒａｃｔｅｒｉｚｅ）。状態ノイズと測定ノイズに関する線形条件及びガウシアン仮定の下、閉形式表示での最適解は、カルマンフィルタ法を用いて求められる。対照的に、パーティクルフィルタリングフレームワークは、土台となる分布に関わらず、問題に取り組む次善策として採択される。また、パーティクルフィルタは、タイプが異なる（すなわち、分布が異なる）観察結果（ｏｂｓｅｒｖａｔｉｏｎｓ）を統合できるよりマルチモーダルなフレームワークを提供する。パーティクルフィルタベース方法は、２つのステップにより事後確率密度
［外１０］

（ｏは刺激画像Ｉまたは眼の外観ｅのどちらかである観察結果を示す）を近似する：
１． 予測：現在の状態は、前の観察結果ｏ_{１：ｔ−１}から予測される

２． 更新：現在の状態の推定は、ベイズ規則を用いて、入来観察結果ｙｔで更新される

事後分布
［外１１］

は、その加重
［外１２］

に関連するＮ個のパーティクルのセット
［外１３］

により近似される。通常、
［外１４］

からサンプルを直接取るのは不可能であるが、いわゆる「提案分布（ｐｒｏｐｏｓａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）」
［外１５］

から取ることは可能である。ここで、
［外１６］

は幾つかの制約下で選択され得る。加重は次式により更新される：

最も単純なシナリオでは、
［外１７］

として、実装が簡単なブートストラップフィルタとなる提案分布が選択される。このように、加重更新は、単純に尤度の計算となる。縮退問題を回避するため、一変形例では、古いパーティクルセットを、重要な加重により、新しい等しく加重されたパーティクルセットで置き換えるため、再サンプリングを採択してもよい。

パーティクルフィルタフレームワークを適用するため、状態遷移モデル及び観察モデルを、以下に説明するようにモデル化する。
Ａ． 状態遷移モデル
一般的に、２つのタイプの眼球運動、すなわち円滑追跡（ｓｍｏｏｔｈ ｐｕｒｓｕｉｔ）と衝動性（ｓａｃｃａｄｅ）とがある。前記は、人が動いている対象にフォーカスしている時に一般的に生じる緩徐な動きを指し、後者はある眼球位置から他の眼球位置への非常に速いジャンプである。凝視や両眼転導などその他のタイプの眼球運動は大まかに２つのタイプに分類できる。

直感的には、円滑追跡運動は、ピークが前の注視点位置状態ｇ_ｔ−１を中心とする分布（例えば、ガウシアン分布）によりうまくモデル化できる。そうでなければ、衝動性眼球運動（ｓａｃｃａｄｉｃ ｅｙｅ ｍｏｖｅｍｅｎｔ）、すなわちスクリーン上の任意の位置への動きの場合、前の注視点位置を中心とするがスケールがもっと大きい他のガウシアン分布を用いて、衝動の不確実性を記述することもできる。

よって、状態遷移は２つの密度のガウシアンミクスチャによりモデル化されるべきである。しかし、単純化のために、両方のタイプの眼球運動に対して一意的な分布を採択する：

ここで、ｄｉａｇ（σ^２）は独立な各変数ｘ_ｔとｙ_ｔの分散に対応する対角共分散行列である（注視点は２次元ベクトルｇ_ｔ＝（ｘ_ｔ，ｙ_ｔ）として示される）。
σ^２は、衝動性眼球運動をモデル化するためにディスプレイ上の注視点の可能性のあるすべての範囲をカバーするのに十分な大きさが必要である。σは、例えば、σ＝スクリーンの大きさの１／３に設定される。
Ｂ． 観察モデル（Ｏｂｓｅｒｖａｔｉｏｎ Ｍｏｄｅｌ）
Ｉ_１：ｔとｅ_１：ｔは（図４で分かるように）条件付き独立であるから、合成尤度（ｃｏｍｐｏｕｎｄ ｌｉｋｅｌｉｈｏｏｄ）ｐ（Ｉ_ｔ，ｅ_ｔ｜ｇ_ｔ）は次式で与えられる：

第１項ｐ（ｇ_ｔ｜Ｉ_ｔ）は、特徴マップから直接求められる画像フレームのみが与えられたときの、注視点確率を表す。第２項ｐ（ｇ_ｔ｜ｅ_ｔ）は、現在の眼画像が与えられたときの、尤度分布を示す。オブジェクトトラッキングの場合には、この尤度は、現在の観察結果と既存のオブジェクトモデルとの間の類似性尺度（ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ）により計算されることが多い。これらの業績と一致して、注視点推定の場合には、尤度ｐ（ｇ_ｔ｜ｅ_ｔ）を次のようにモデル化する：

ここで、λは分布の「ピークを有する形状」を決定するパラメータであり、
［外１８］

は現在の観察結果ｅ_ｔと（パーティクル位置
［外１９］

に対応する）推定された眼画像
［外２０］

との間の距離尺度を示す。

校正不要（ｃａｌｉｂｒａｔｉｏｎ−ｆｒｅｅ）の場合には、
［外２１］

を推定するために眼画像のトレーニングセットにはアクセスしない。よって、眼の中心のロケーションの検出によりｐ（ｇ_ｔ｜ｅ_ｔ）を推定する単純なモデルを提案する。この推定は、下記の２つのステップにより行う：ｉ）眼の中心ロケーションの検出１０３と、ｉｉ）眼の中心の第１の注視位置への集束１０４。

より正確には、観察結果ｅｔが与えられたときの尤度値ｐ（ｇ_ｔ｜ｅ_ｔ）は、ｇ_ｔと、「観察された注視点位置」
［外２２］

との間の距離に指数関数的に比例する。観察された注視点位置は、式（３）と式（４）により目の中心ロケーションから求められる：

式（１３）のパラメータλは、
［外２３］

であるとき、
［外２４］

（ここで、εは非常に小さい正数であり、例えば１０^−２または１０^−３である）であるように決定される。Ｄは可能性のある最大誤差であり、一般的にスクリーンの対角線に設定される。

図５は、本発明の具体的かつ非限定的な一実施形態による、注視点位置の推定の結果を制御するときにユーザを支援するように構成されたグラフィカルユーザインタフェース５（ＧＵＩ）を示す。ＧＵＩ５は、ビデオ画像（刺激画像とも呼ばれる）を見ているビュアーの顔の画像を表示する第１部分５１を有する。フレーム５１１は、ビュアーの眼に対応するビュアーの顔の画像の一部をグラフィカルに示すように生成される。有利にも、眼の中心は、例えば赤点によりグラフィカルに特定され得る。これにより、眼の中心の検出がうまくいくことをチェックできる。ビュアーが見ているビデオ画像は、ＧＵＩ５の第２部分５３に表示される。第１の注視点位置は、有利にも、例えば赤い点などのグラフィカル識別子５３１で、ビデオ画像５３上に示される。その後、ユーザは、グラフィカル識別子の位置が、ビュアーが見ているビデオ画像５３の部分と一致しているか、ビュアーとチェックしてもよい。もちろん、ユーザとビュアーは同一の人物であってもよい。ＧＵＩの第３部分５２は、ＧＵＩ５の第２部分５３に表示されるビデオ画像に対応する特徴マップを示す。最大限顕著なピークは、有利にも、例えば青い点により、この第３部分５２上にグラフィカルに特定される。一変形例によれば、第２の注視点位置は、例えば、第３部分５２上と同じグラフィカル識別子で、ビデオ画像５３上にも特定され得る。他の一変形例によれば、第１の注視点位置と第２の注視点位置とを融合に対応する第３の注視点位置も、例えば黄色い点により、ビデオ画像５３上に示されている。ＧＵＩ５は、各構成（すなわち、右目の中心の検出、左目の中心の検出、第１の注視点位置の推定、第２の注視点位置の推定、及び第３の注視点位置の推定）について、（例えば、度／ミリメートル単位の）誤差の時間平均の発展を表す曲線を示す第４部分５４も有する。各曲線に対して１つの色が用いられる。

ＧＵＩ５により、ユーザ（及び／又はビュアー）は、システムにより実行される異なる検出と推定の結果をスクリーン上で直接見て、その結果の有効性を視覚的にチェックすることができる。

図６は、本発明の具体的かつ非限定的な一実施形態によるスクリーン上のビデオ画像を見ているビュアーの注視点を決定するように構成された装置６のハードウェア実施形態を図式に表示している。装置６は、一又は複数の画像、例えば、グラフィカルユーザインタフェース５を表す画像の表示信号を生成するようにも構成されている。装置６は、例えば、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、スマートフォン、ゲームコンソール、又はマルチメディア端末に対応する。
装置６は、アドレスとデータのバス６５（クロック信号も運ぶ）により互いに接続された次の要素を有する：
− マイクロプロセッサ６１（またはＣＰＵ）
− グラフィックスカード６２。これは次の構成要素を有する：
・ 複数のグラフィックス処理ユニット（すなわちＧＰＵ）６２０、
・ グラフィカルランダムアクセスメモリ（ＧＲＡＭ）６２１、
− ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）タイプの不揮発性メモリ６６、
− ランダムアクセスメモリすなわちＲＡＭ６７、
− 一または複数のＩ／Ｏ（入出力）装置６４。これは例えばキーボード、マウス、ウェブカメラなどである、
− 電源６８。

装置６は、グラフィックスカードで計算及び構成された合成画像を、例えばライブで表示するグラフィックスカード６２に直接接続されたディスプレイスクリーンタイプのディスプレイ装置６３も有する。ディスプレイ装置６３をグラフィックスカード６２に接続する専用バスの利用により、データ送信ビットレートが非常に大きくなり、グラフィックスカードにより構成された画像の表示にかかるレイテンシ時間を短縮できるという利点を提供できる。一変形例によれば、ディスプレイ装置は装置６の外部にあり、表示信号を送信するため、装置６にケーブル又は無線で接続される。装置６、例えば、グラフィックスカード６２は、表示信号を外部ディスプレイ手段（例えば、ＬＣＤやプラズマスクリーン又はビデオプロジェクタなど）に送信するように構成された送信又は接続用のインタフェース（図６には図示せず）を有する。

メモリ６２１、６６、及び６７の説明で用いる用語「レジスタ」は、上記の各メモリにおける、小容量（少量のバイナリデータ）のメモリ領域、及び（プログラム全体を格納できる、または計算したデータや表示するデータを表すデータのすべて、またはその一部を格納できる）大容量のメモリ領域を言う。

スイッチが入れられると、マイクロプロセッサ６１は、ＲＡＭ６７に格納されたプログラムの命令をロードして実行する。

ランダムアクセスメモリ６７は、特に、次のものを有する：
− レジスタ６７０中に、装置６のスイッチオンに応じたマイクロプロセッサ６１のオペレーティングプログラム、
− カメラにより収集された、又は他の装置から無線又はケーブルを解して受信した、一又は複数の眼画像を表すデータ６７１；
− 見られるコンテンツによる人の注視点分布の統計的特性などのマッピング関数を表すパラメータ６７２；
− グラフィカルユーザインタフェースを表すパラメータ６７３。

本発明の、及び後で説明する方法のステップを実施するアルゴリズムは、これらのステップを実施する装置６に付随するグラフィックスカード６２のメモリＧＲＡＭ６２１に格納される。スイッチがオンになり、眼画像を表すデータ６７１とマッピング関数（及び任意的変形例によるＧＵＩを表すパラメータ６７３）を表すパラメータ６７２とがＲＡＭ６７にロードされると、グラフィックスカード６２のグラフィックプロセッサ６２０は、これらのパラメータをＧＲＡＭ６２１にロードし、例えば、ＨＬＳＬ（Ｈｉｇｈ Ｌｅｖｅｌ Ｓｈａｄｅｒ Ｌａｎｇｕａｇｅ）やＧＬＳＬ（ＯｐｅｎＧＬ Ｓｈａｄｉｎｇ Ｌａｎｇｕａｇｅ）を用いて「ｓｈａｄｅｒ」タイプのマイクロプログラムの形式のこれらのアルゴリズムの命令を実行する。

ランダムアクセスメモリＧＲＡＭ６２１は、特に、次のものを有する：
− レジスタ６２１１中の、眼画像のデータ；
− レジスタ６２１２中の、眼の中心のロケーションを表すパラメータ（例えば、中心の座標）；
− レジスタ６２１３中の、マッピング関数を表すパラメータ；
− レジスタ６２１４中に、第１の注視点位置を表すパラメータ（例えば、注視点位置の座標ｘ，ｙ）；一変形例によれば、第２と第３の注視点位置を表すパラメータはレジスタ６２１４又はその他のレジスタに記憶される。
− レジスタ６２１５中の、ＧＵＩを表すパラメータ。

図６に示していない一変形例によれば、ＧＲＡＭは、レジスタ中に、（眼画像に関連する）ビデオ画像に関連する特徴マップを表すデータ、及び最も顕著なピークを表すパラメータ、第２の注視点位置を表すパラメータ、及び第３の注視点位置を表すパラメータも含む。

一変形例によれば、眼画像のデータ６７１と、マッピング関数を表すパラメータ６７２は、ＧＲＡＭ６２１にロードされず、ＣＰＵ６１により処理される。この変形例によると、眼の中心のロケーションを表すパラメータと、第１の注視点位置を表すパラメータ（及び計算されたとき、第２と第３の注視点位置を表すパラメータ）とは、ＧＲＡＭ６２１ではなくＲＡＭ６７に格納される。

他の一変形例では、電源６８は装置６の外部にある。

図７は、本発明の非限定的な有利な一実施形態による、装置６に実装される、ビュアーの注視点位置を推定する方法を示す。

初期化ステップ７０において、装置６の異なるパラメータを更新する。

次に、ステップ７１において、スクリーン上に表示されたビデオコンテンツを見ているビュアーの眼の中心のロケーションを検出する。スクリーン上に表示されるビデオコンテンツは、どんなビデオ画像やビデオ画像シーケンスでも、ウェブページやピクチャなどのテキスト及び／又はグラフィカル要素を含むどんなコンテンツでもよい。眼の中心のロケーションは、例えば、ビュアーがビデオ画像を見ている間にウェブカムで収集した、ビュアーの眼の一以上の画像を分析することにより検出される。眼の画像は、ビュアーの顔の画像であってもよく、その画像において、本技術分野の当業者により知られた任意の方法で眼を検出してもよい。眼の中心のロケーションは、例えば、Ｈｏｕｇｈ変換（ＨＴ）法、又はエッジ（傾斜）検出及び／又は機械学習アルゴリズムに基づく任意の方法を用いて検出される。

有利な一変形例によれば、眼の中心ロケーションは、眼画像（すなわち、ビュアーの画像の、眼を含む部分）をヒートマップに変換し、１つのヒートマップを１つの眼画像に関連付けることにより検出される。ヒートマップは、有利にも、ＲＧＢ眼画像のＹＣｂＣｒ色空間で表現されたピクセル画像への変換に対応する。一変形例によれば、ヒートマップは、ＲＧＢ眼画像のＹＵＶ色空間又はＲＧＢ色空間で表されたピクセル画像への変換に対応する。例えば、式１で計算した値は、ヒートマップの各ピクセルに関連する。ヒートマップの第１のピクセル２１２であって（例えば０．９８と１の間の任意の値に等しい）第１の閾値Ｔ１より大きい関連値を有するものを選択する。これの座標は、例えば、ＲＡＭタイプ又はＧＲＡＭタイプのメモリに記憶される。第１のピクセルの近傍に属す第２のピクセル２１３を選択する。選択される第２のピクセルは、第１のピクセルの近傍のピクセルであって、（例えば、０．９０と０．９５の間の任意の値に等しい）第２の閾値Ｔ２より大きい関連値を有する。その座標は、例えば、ＲＡＭタイプ又はＧＲＡＭタイプのメモリに記憶される。その後、例えば、式（３）と式（４）とを用いて、眼の中心の座標を、第１と第２のピクセル座標の加重平均として決定する。カラーキューに基づくこの変形例の利点は、この方法が単純であり、この変形例により示唆される計算が速く、それにより例えばリアルタイム実装が可能となることである。

他の一変形例によれば、眼の中心ロケーションの計算に用いる第１と第２のピクセルの決定前に、眼画像の変換により求められるヒートマップを、例えばガウシアンフィルタ又は拡張カルマンフィルタでフィルタする。かかるフィルタリングにより、ヒートマップからいくらかのノイズを除去して、なめらかにできる。ガウシアンフィルタの利用には、検出結果の安定化（すなわち、例えば、まぶた、メガネ、反射などによる誤検出の防止）という利点がある。

その後、ステップ７２において、ステップ７１を参照してここで説明したように、検出された眼の中心ロケーションを用いて、及び人の注視点分布の中心バイアス特性に基づくマッピング関数を用いて、ビュアーの第１の注視点位置を決定する。検出された眼の中心ロケーションにかかるマッピング関数を用いると、注視点位置の決定に用いるシステムを校正する必要性を回避できる。かかる校正は、普通は、注視点決定前に（例えば、一連のテスト画像を用いて）ユーザにより行われるものである。

一変形例によれば、第１の注視点位置の決定は、その第１の注視点位置を決定する時にビュアーが見ているビデオ画像から計算される特徴マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を用いて決定される第２の注視点位置を用いて精密化（ｒｅｆｉｎｅ）される。その後、第１注視点位置と第２注視点位置との合成／融合による第３の注視点位置を求める。第３の注視点位置は、例えば、第１と第２の注視点位置を平均して、又は異なる加重を割り当てた第１と第２の注視点位置を平均して計算する。他の一変形例によれば、第１の注視点位置の決定に用いる式のパラメータを調節するため、特徴マップのばらつきを用いる。第１注視点位置と第２注視点位置の「融合（ｆｕｓｉｏｎ）」との表現は、第１注視点位置の計算に用いられるパラメータの平均化、加重平均化、又は調節を意味するものと解釈してよい。

一変形例によれば、第１注視点位置を決定するため、パーティクルフィルタリングを実装する。パーティクルフィルタリングにより、現在の第１注視点位置を計算するときに、（時間的な観点で）その前に決定された第１注視点位置の結果を考慮できる。
他の一変形例によれば、パーティクルフィルタリング法は、第１注視点位置の決定、及び第２注視点位置の決定も用いて実装される。

別の一変形例によれば、ビュアーの第１注視点位置を決定する際、ビュアーの頭の動きを考慮する。頭の動きは、例えば、現在の眼の中心ロケーションとその平均値との間の差分がかなり大きいときに検出される、例えば：
［外２５］

ここで、Ｔは、検出されたビュアーの顔のサイズにより黙示的に求められる、ユーザとディスプレイとの間の距離に比例して設定される。

頭の動きが検出された時、眼の中心ロケーション（すなわち、平均値
［外２６］

）と標準偏差
［外２７］

とは、０に再初期化される。

ステップ７１と７２は、有利にも、新しく受け取られた又は収集された各眼画像に対して繰り返される（ｒｅｉｔｅｒａｔｅｄ）。

当然、本発明は上記の実施形態に限定されない。

特に、本発明は、方法に限定されず、この方法を実施する任意の装置にも拡張され、特に少なくとも１つのＣＰＵ及び／又は少なくとも１つのＧＰＵを有する任意の装置にも拡張される。方法ステップの実装に必要な計算の実装は、ｓｈａｄｅｒタイプのマイクロプログラムにおける実装に限定されず、任意のプログラムタイプ、例えばＣＰＵタイプのマイクロプロセッサにより実行できるプログラムにおける実装にも拡張される。
本発明は、注視の尤度を推定する方法（及びそれをするように構成された装置）にも関係する。本発明は、さらに、決定された注視点位置の結果によりビュアーにより見られるビデオ画像のコンテンツを調節（ａｄａｐｔ）する方法と、決定された中止点位置を用いて、眼でユーザインタフェースを制御する方法とに関する。

ここで説明した実施形態は、方法またはプロセス、装置、またはソフトウェアプログラム、データストリーム、又は信号として実施できる。１つの形式の実施形態の場合で説明した（例えば、方法または装置としてのみ説明した）場合であっても、説明した機能の実施形態は他の形式（例えば、プログラム）でも実施できる。装置は例えば適切なハードウェア、ソフトウェア、及びファームウェアで実施可能である。上記の方法は、例えばプロセッサ等の装置で実施可能である。プロセッサとは、処理装置一般を指し、例えばコンピュータ、マイクロプロセッサ、集積回路、プログラマブル論理装置などを指す。プロセッサは、エンドユーザ間での情報通信を行うスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナル・デジタル・アシスタント（ＰＤＡ）などの装置、及びその他の通信装置も含む。

ここに説明した様々なプロセスやフィーチャの実装は、異なる様々な機器やアプリケーションで実施してもよい。具体的には、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、その他の画像処理、及び関係テクスチャ情報及び／又は奥行き情報に関連する機器やアプリケーションで実施してもよい。かかる装置の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルラー電話、ＰＤＡ、その他の通信装置が含まれる。言うまでもなく、上記の機器は可動なものであってもよいし、移動体に組み込まれていてもよい。

また、上記の方法は、プロセッサによって実行される命令で実施することができる。かかる命令（及び／又は、一実施形態で生成されるデータ値）は、例えば集積回路、ソフトウェア担体その他の記憶装置、例えば、ハードディスク、コンパクトディスク（ＣＤ）、光ディスク（例えば、デジタルバーサタイルディスクやデジタルビデオディスクと呼ばれることが多いＤＶＤなど）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）に記憶できる。上記の命令は、プロセッサ読み取り可能媒体上に化体されたアプリケーションプログラムであってもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせであってもよい。命令は、例えば、オペレーティングシステム、アプリケーション、又はこれらの組み合わせに見いだすことができる。それゆえ、プロセッサは、プロセスを実行するように構成された装置、及びプロセスを実行する命令を記憶したプロセッサ読み取り可能媒体（記憶装置など）を含む装置の両方として特徴付けられる。さらに、プロセッサ読み取り可能媒体は、命令に加えて、又は命令の替わりに、実施形態により生成されたデータ値を記憶することができる。

当業者には言うまでもないが、実施形態は、例えば記憶または送信され得る情報を担うようフォーマットされた種々の信号を生成することもできる。情報には、例えば、方法を実行する命令や、説明した実施形態により生成されるデータが含まれ得る。例えば、信号は、データとして、説明した実施形態のシンタックスを書き込み又は読み出しする規則を担うようにフォーマットされてもよいし、又はデータとして、説明した実施形態により書き込まれた実際のシンタックス値を担うようにフォーマットされてもよい。かかる信号は、（例えば、無線周波数のスペクトルを用いた）電磁波やベースバンド信号などとしてフォーマットし得る。フォーマット化には、例えば、データストリームの符号化、符号化したデータストリームによるキャリアの変調が含まれる。信号が担う情報は例えばアナログ情報やデジタル情報であってもよい。知られているように、信号は様々な異なる有線リンクまたは無線リンクで送信できる。信号はプロセッサ読み取り可能媒体に記憶してもよい。

実施形態を説明した。しかし、言うまでもなく様々な修正を行うことができる。例えば、別の実施形態の要素を組み合わせ、補充し、修正し、または削除して、他の実施形態を形成してもよい。また、当業者には言うまでもないが、開示した構成やプロセスを他の構成やプロセスで置き換えてもよく、その結果の実施形態が少なくとも実質的に同じ機能を果たし、少なくとも実質的に同じように、開示した実施形態と実質的に同じ結果を達成する。したがって、本願ではこれらの実施形態及びその他の実施形態を想定している。

本発明はリアルタイムアプリケーションで用いることもできる。図６を参照して説明した装置６は、キーボード、マウス、ジョイスティック、その他のコマンド導入のためのモードなどのインターラクション手段を備えている。音声認識も可能である。

Claims (15)

1. 注視点推定の方法であって、
   スクリーンに表示された少なくとも１つのビデオ画像を見ているビュアーの少なくとも１つの眼画像の少なくとも１つの眼の少なくとも１つの中心ロケーションを検出するステップと、
   前記少なくとも１つの眼の少なくとも１つの検出された中心ロケーションと、人の注視点分布の中心バイアス特性に基づくマッピング関数とを用いて、前記スクリーンにおける前記ビュアーの少なくとも１つの第１注視点位置を決定するステップと、
   を有する方法。
2. 前記検出するステップは、さらに、
   前記少なくとも１つの眼画像を少なくとも１つのヒートマップに変換するステップと、
   前記少なくとも１つのヒートマップの、所定の第１閾値より大きい値を有する第１ピクセルを決定するステップと、
   所定の第２閾値より大きい値を有する、前記第１ピクセルの近傍にある第２ピクセルを決定するステップと、
   前記少なくとも１つの眼の少なくとも１つの中心ロケーションを、決定された前記第１及び第２ピクセルのロケーションの加重平均に対応するものとして計算するステップとを有する、
   請求項１に記載の方法。
3. 前記少なくとも１つのヒートマップは、前記変換の出力として、色空間ＹＣｂＣｒで表される、請求項２に記載の方法。
4. 前記検出するステップは、さらに、前記少なくとも１つのヒートマップのガウシアンフィルタリングを含み、前記第１及び第２ピクセルは前記ガウシアンフィルタリング後に決定される、請求項２または３に記載の方法。
5. 前記方法は、さらに、
   前記少なくとも１つのビデオ画像に関連する少なくとも１つの特徴マップにより、前記スクリーンにおける前記ビュアーの少なくとも１つの第２注視点位置を決定するステップと、
   前記スクリーンにおける前記ビュアーの少なくとも１つの第３注視点位置を決定するステップであって、前記少なくとも１つの第３注視点位置は、前記少なくとも１つの第１注視点位置と前記少なくとも１つの第２注視点位置との融合に対応する、ステップとを有する、
   請求項１ないし４いずれか一項に記載の方法。
6. 前記少なくとも１つの第１注視点位置は、パーティクルフィルタリング法と、時間的観点で前に決定された少なくとも１つの他の第１注視点位置とを用いて決定される、
   請求項１ないし５いずれか一項に記載の方法。
7. 前記少なくとも１つの第３注視点位置は、時間的観点で前に決定された少なくとも１つの他の第１注視点位置と少なくとも１つの他の第２の注視点位置とともにパーティクルフィルタリング法を用いて決定される、請求項５に記載の方法。
8. 前記ビュアーの前記少なくとも１つの第１注視点位置は、前記ビュアーの頭の動きを考慮して決定される、請求項１ないし７いずれか一項に記載の方法。
9. ビュアーの注視点を決定するように構成された装置であって、少なくとも１つのプロセッサを有し、該プロセッサは、
   スクリーンに表示された少なくとも１つのビデオ画像を見ているビュアーの少なくとも１つの眼画像における少なくとも１つの眼の中心ロケーションを検出し、前記少なくとも１つの眼画像は前記少なくとも１つの眼の表示を含み、
   前記少なくとも１つの眼の少なくとも１つの検出された中心ロケーションと、人の注視点分布の中心バイアス特性に基づくマッピング関数とを用いて、前記スクリーンにおける前記ビュアーの少なくとも１つの第１注視点位置を決定するように構成される、
   装置。
10. 前記少なくとも１つのプロセッサは、さらに、
    前記少なくとも１つの眼画像を少なくとも１つのヒートマップに変換し、
    前記少なくとも１つのヒートマップの、所定の第１閾値より大きい値を有する第１ピクセルを決定し、
    所定の第２閾値より大きい値を有する、前記第１ピクセルの近傍にある第２ピクセルを決定し、
    前記少なくとも１つの眼の少なくとも１つの中心ロケーションを、決定された前記第１及び第２ピクセルのロケーションの加重平均に対応するものとして計算するように構成される、
    請求項９に記載の装置。
11. 前記少なくとも１つのプロセッサは、さらに、前記少なくとも１つのヒートマップをガウシアンフィルタでフィルタリングするように構成される、
    請求項９または１０に記載の装置。
12. 前記少なくとも１つのプロセッサは、さらに、
    前記少なくとも１つのビデオ画像に関連する少なくとも１つの特徴マップにより、前記スクリーンにおける前記ビュアーの少なくとも１つの第２注視点位置を決定し、
    前記スクリーンにおける前記ビュアーの少なくとも１つの第３注視点位置を決定し、前記少なくとも１つの第３注視点位置は、前記少なくとも１つの第１注視点位置と前記少なくとも１つの第２注視点位置との融合に対応する、ように構成される、
    請求項９ないし１１いずれか一項に記載の装置。
13. 前記少なくとも１つのプロセッサは、さらに、パーティクルフィルタリング法を実行するように構成される、請求項９ないし１２いずれか一項に記載の装置。
14. 前記少なくとも１つのプロセッサは、前記ビュアーの頭の動きを検出するようにされる、請求項９ないし１３いずれか一項に記載の装置。
15. コンピュータで実行されると、前記コンピュータに、請求項１ないし８いずれか一項に記載の方法のステップを実行させるコンピュータプログラム。

Images