JP2019017491A - 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 - Google Patents

Abstract

【課題】特徴を追跡し続けることが可能な特徴追跡方法を提供する。【解決手段】カメラから得た画像に含まれる特徴を追跡する画像特徴追跡方法は、サンプリング周期ＳＡが経過するごとに画像を得ると共に画像に基づく代表画像に対して特徴を探索する特徴探索処理を行い、特徴探索処理の結果に基づいて特徴を含む探索領域を設定する第１ステップＳ１と、サンプリング周期ＳＡが経過するごとにカメラから画像を得ると共に、ウインドウを用いて、代表画像よりも後に得られた画像に含まれる特徴を検出する処理を繰り返し行う第２ステップＳ２と、を有する。【選択図】図１

Description

本発明は、画像特徴追跡方法、視線追跡方法及び注視点追跡方法に関する。

当該分野に関する技術として、発明者らによる特許文献１〜４及び非特許文献１〜４に開示された視線検出技術がある。視線検出技術は、撮像された画像に含まれた被験者の瞳孔と角膜における光反射点とを利用する。例えば、特許文献１及び非特許文献１は、画像から瞳孔を高精度に検出する技術を開示する。しかし、非特許文献２は、これらの技術において被験者の頭部に動きがあると瞳孔の検出精度が低下することを指摘する。被験者の頭部に動きがあっても瞳孔の検出精度を維持するためには、高速度カメラを用いればよいが、コスト的に不利である。そこで、特許文献２、３及び非特許文献３は、高速度カメラを用いることなく、画像から瞳孔を高精度に検出する技術を開示する。さらに、特許文献４及び非特許文献４は、瞳孔の検出精度をさらに高める技術を開示する。

国際公開２０１４／１８１７７５号 特開２００８−２９７０２号公報 特開２００８−２９７０２号公報 特願２０１６−９５５８４号公報

齊藤翔太、増田和也、福元清剛、海老澤嘉伸、「遠隔注視点検出装置における眼鏡着用者対応のための近赤外光源の提案」、ＶｉＥＷ２０１３ビジョン技術の実利用化ワークショップ講演予稿集、ＯＳ５−Ｈ５（ＩＳ２−Ｄ１３）、６ページ、２０１３年。 増田和也、海老澤嘉伸、「近赤外光源と高速度ビデオカメラによる瞳孔と角膜反射検出法の改善」、映像情報メディア学会誌、Ｖｏｌ．６６、Ｎｏ．２、４６−５５ページ、２０１２年。 海老澤嘉伸、中島彩、「角膜反射を利用した瞳孔中心点ＰＣ検出の高精度化」、映像情報メディア学会学会誌、Ｖｏｌ．６２、Ｎｏ．７、１１２２−１１２６ページ、２００８年。 望月幸平・齊藤翔太、福元清剛、海老澤嘉伸、「遠隔注視点検出装置の眼鏡反射対応のための新光源と差分位置補正法の提案」、２０１４年映像情報メディア学会冬季大会、２０１４年。

上述した視線検出技術のように、瞳孔や角膜反射といった特徴を画像から検出することがある。画像には、特徴の他にノイズ成分が含まれることもある。そのようなノイズ成分を排除しつつ、特徴のみを正確に検出するためには複雑な処理を要する。しかし、画像の全体にわたって複雑な処理を適用すると、多大な時間を要してしまう。

このような問題に鑑み、特徴を検出する処理を画像の一部に限定する技術がある。特徴が検出されたとき、当該特徴を中心とする小領域（ウインドウ）を設定する。そして、次の追跡処理にあっては、画像全体ではなく、ウインドウ内を処理の対象とする。この方法によれば、画像処理に要する時間を短縮できる。

しかし、ウインドウを用いる技術は、特徴が含まれるであろうという予測に基づくものである。従って、例えば、検出対象を有する被験者が大きく動いてしまうと、ウインドウの内部から特徴が外れてしまう。その場合には、再び画像全体から特徴を探索する必要が生じる。従って、特徴を追跡し続けることが難しかった。

そこで、本発明は、特徴を追跡し続けることが可能な画像特徴追跡方法、視線追跡方法及び注視点追跡方法を提供することを目的とする。

本発明の一形態は、撮像装置から得た画像に含まれる特徴を追跡する画像特徴追跡方法であって、サンプリング周期が経過するごとに撮像装置から第１画像を得て第１画像を順次保存すると共に、第１画像に基づく代表画像に対して特徴を探索する特徴探索処理を行い、特徴探索処理の結果に基づいて特徴を含む探索領域を設定する第１ステップと、第１ステップの後に行われる第２ステップであって、サンプリング周期が経過するごとに撮像装置から第２画像を得て第２画像を順次保存すると共に、探索領域を用いて、代表画像よりも後に得られた少なくとも第１画像に基づく第１被処理画像及び少なくとも第２画像に基づく第２被処理画像に含まれるそれぞれの特徴を検出する処理を繰り返し行う第２ステップと、を有する。

この方法では、第１ステップにおいて、代表画像の全体から特徴を探索し、特徴を利用して探索領域を設定する。この特徴探索処理には比較的長い時間を要する。従って、特徴探索処理を行っている間は、次の画像に対する特徴の探索を行わないので、処理待ちの画像が増加する。一方、第２ステップにおける特徴を検出する処理は、探索領域の内部だけを対象としているので、特徴探索処理よりも充分に短い時間で処理を完了できる。そうすると、撮像装置から第２画像を取得する処理が完了する前に、特徴追跡処理を完了させることが可能になる。従って、特徴追跡処理を繰り返すごとに処理待ちの画像数が減少する。これにより、探索領域内から特徴が検出されなかったときに、再び探索領域を設定する処理を行ったとしても、一時的な処理の遅れを解消してリアルタイムに特徴を追跡することが可能になる。従って、特徴を追跡し続けることができる。

一形態において、画像特徴追跡方法は、第２ステップの後に行われる第３ステップであって、サンプリング周期が経過するごとに撮像装置から第３画像を得ると共に、探索領域を用いて少なくとも第３画像に基づく第３被処理画像に含まれる特徴を検出する処理を繰り返し行う第３ステップをさらに有してもよい。第２ステップにおいて、特徴の探索処理が画像の取得処理に追いついており、処理の遅れが生じていない状態になっている。そうすると、第２ステップの後に行われる第３ステップにおいては、取得した画像に対して即時に特徴の探索処理を行うことが可能である。そうすると、探索処理がなされない画像が蓄積されることがない。従って、特徴をリアルタイムに追跡し続けることできる。

一形態において、画像特徴追跡方法の第２ステップ又は第３ステップでは、探索領域を用いて、代表画像よりも前に得られた第１画像に基づく第１被処理画像に含まれる特徴をさらに検出してもよい。この第２又は第３ステップによれば、何らかの理由によって特徴の追跡処理がなされなかった過去の第１画像に対して特徴の追跡処理を行う。従って、特徴の検出数が増加し、単位時間あたりのサンプル数を増やすことができる。

一形態において、画像特徴追跡方法は、第１画像、第２画像及び第３画像を得て第１画像、第２画像及び第３画像を順次保存する処理に要する時間は、サンプリング周期より短く、特徴探索処理を行い、特徴探索処理の結果に基づいて特徴を含む探索領域を設定する処理に要する時間は、サンプリング周期より長く、探索領域を用いて第１被処理画像、第２被処理画像及び第３被処理画像に含まれる特徴を検出する処理に要する時間は、サンプリング周期より短くてもよい。第１画像、第２画像及び第３画像を取得して第１画像、第２画像及び第３画像を順次保存する処理に要する時間は、サンプリング周期より短く、特徴探索処理を行い、特徴探索処理の結果に基づいて特徴を含む探索領域を設定する処理に要する時間は、サンプリング周期より長く、探索領域を用いて第１画像、第２画像及び第３画像に含まれた特徴を検出する処理に要する時間は、サンプリング周期より短くてもよい。この画像特徴追跡方法は、サンプリング周期を基準としている。そして、画像を取得する処理に要する時間はサンプリング周期よりも短いので、処理に遅れを生じることがない。一方、探索領域を設定する処理に要する時間はサンプリング周期よりも長いので、処理に遅れが生じる。その結果、追跡処理がなされない第１画像の数が増加する。しかし、探索領域を利用した特徴の追跡処理に要する時間は、サンプリング周期よりも短い。そうすると、サンプリング周期が経過するごとに未処理の画像数が徐々に減少し、最終的には画像を取得した直後に特徴の追跡処理を行うことが可能になる。従って、処理待ちの画像数の増加が抑制されるので、特徴を好適に追跡し続けることができる。

一形態において、画像特徴追跡方法の第１ステップは、特徴の検出が成功するまで、代表画像を変更しながら特徴探索処理を繰り返し行い、特徴探索処理を繰り返す処理では、特徴の検出に失敗した特徴探索処理が完了する前であって、当該特徴探索処理が完了したタイミングに最も近いタイミングで得られた第１画像に基づく第１被処理画像を、次の特徴探索処理に用いる代表画像として選択してもよい。この方法によれば、特徴の検出に失敗した特徴探索処理の次に行われる特徴探索処理において、特徴の検出に失敗した画像を取得したタイミングから、特徴探索処理に要する時間に相当する時間だけ経過後に取得した別の画像を処理対象とする。そうすると、特徴探索処理に要する時間に相当する時間が経過する間に、特徴が画像に再び現れている可能性が高まる。従って、特徴探索処理を成功させる可能性を高めることができるので、特徴探索処理の回数が低減する。これにより、大きな遅れが生じず、特徴を確実に追跡し続けることできる。

本発明の別の形態は、撮像装置から得た画像に含まれる特徴を追跡する画像特徴追跡方法であって、サンプリング周期が経過するごとに撮像装置から第４画像を得て第４画像を順次保存すると共に、複数の第４画像に基づく代表画像に対して特徴探索処理を行い、特徴探索処理の結果に基づいて特徴を含む探索領域を設定する第４ステップと、第４ステップの後に行われる第５ステップであって、探索領域を用いて、代表画像よりも前に得られた少なくとも第４画像に基づく第４被処理画像に含まれるそれぞれの特徴を検出する処理を、第４画像を得た順番とは逆の順番に沿って繰り返す第５ステップと、を有する。

この方法によれば、第５ステップにおいて、何らかの理由によって特徴の追跡処理がなされなかった過去の第４画像に対して特徴の追跡処理を行う。従って、特徴の検出数が増えるので、追跡の精度を高めることができる。

さらに別の形態において、特徴は、被験者の瞳孔であってもよい。

さらに別の形態において、特徴は、被験者の角膜球中心であってもよい。

本発明のさらに別の形態に係る視線追跡方法は、被験者の顔を含み、第１被処理画像及び第２被処理画像としての顔画像を得るステップと、顔画像に対して上記の画像特徴追跡方法を適用することにより、顔画像が含む特徴を検出するステップと、特徴を検出するステップの結果を利用して、被験者の視線を検出するステップと、を有する。この方法によれば、特徴を追跡するステップにおいて、上述した画像特徴追跡方法を利用している。そうすると、特徴を確実に追跡し続けることが可能になるので、視線を確実に追跡し続けることができる。

別の形態において、顔画像を得るステップは、光源から提供される第１光を被験者に照射して第１顔画像を得るステップと、光源から提供される第２光を被験者に照射して第２顔画像を得るステップと、を有し、特徴を検出するステップでは、第１顔画像又は第２顔画像を利用して、特徴を検出し、特徴は、被験者の瞳孔、及び、第１光及び第２光が被験者の角膜において反射した点である角膜反射点の少なくとも一方であってもよい。この構成においても、特徴を確実に追跡し続けることができる。

別の形態において、顔画像を得るステップは、光源から提供される第１光を被験者に照射して第１顔画像を得るステップと、光源から提供される第２光を被験者に照射して第２顔画像を得るステップと、を有し、特徴を検出するステップでは、第１顔画像及び第２顔画像の合成を利用して、被験者の瞳孔を特徴として検出してもよい。この構成においても、特徴を確実に追跡し続けることができる。

さらに別の形態において、特徴を検出するステップは、第１顔画像と第２顔画像とを合成することにより、第１顔画像における瞳孔と第２顔画像における瞳孔との重複部を検出するステップと、重複部を含む第１探索領域を探索領域として第１顔画像に設定すると共に、重複部を含む第２探索領域を探索領域として第２顔画像に設定するステップと、第１光が被験者の角膜において反射した点であって第１顔画像に含まれる第１角膜反射点を第１探索領域を利用して得ると共に、第２光が被験者の角膜において反射した点であって第２顔画像に含まれる第２角膜反射点を第２探索領域を利用して得るステップと、第１顔画像に対して第２顔画像を移動させることにより第１角膜反射点と第２角膜反射点とを互いに一致させた後に、移動させなかった第１顔画像と移動させた第２顔画像とを合成することにより第１顔画像における瞳孔を検出するステップと、第２顔画像に対して第１顔画像を移動させることにより第１角膜反射点と第２角膜反射点とを互いに一致させた後に、移動させた第１画像と移動させなかった第２画像との合成を得ることにより、第２画像における瞳孔を検出するステップと、を有してもよい。この方法によれば、第１顔画像及び第２顔画像の２枚の画像を得るだけで、第１顔画像の瞳孔と第２顔画像の瞳孔とを高精度に検出することができる。従って、視線追跡の精度を向上させることができる。

さらに別の形態において、顔画像を得るステップは、光源から提供される光を被験者に照射して顔画像を得るステップを有し、特徴を検出するステップは、顔画像から被験者の眼を包含する領域を特徴として探索する特徴探索処理を行い、特徴探索処理の結果を利用して被験者の眼を包含する領域を含む探索領域を設定する第１ステップと、探索領域を利用して眼を包含する領域を特徴として検出する第２ステップと、第２ステップにおいて検出された眼を包含する領域から、被験者の瞳孔、及び、光が被験者の角膜において反射した点である角膜反射点を検出する第３ステップと、を有してもよい。この構成においても、瞳孔及び角膜反射点を確実に追跡することができる。

さらに別の形態において、顔画像を得るステップは、少なくとも２台の撮像装置のそれぞれを利用して、同じタイミングで互いに異なる方向から複数の顔画像を得るステップを有し、特徴を検出するステップにおける第２ステップは、探索領域を利用して複数の顔画像のそれぞれから特徴を検出するステップと、複数の顔画像のそれぞれにおける探索領域の位置を更新するステップと、を有し、探索領域の位置を更新するステップは、特徴を検出するステップによって検出された特徴について、顔画像上における二次元座標を得るステップと、二次元座標に対してステレオ法を適用して、特徴の三次元座標を得るステップと、特徴の三次元座標を利用して、所定の期間が経過した後の特徴の位置を示す三次元座標を予測するステップと、特徴の位置を示す三次元座標を顔画像の二次元座標系に変換するステップと、二次元座標系に変換された特徴の位置を利用して探索領域を設定するステップと、を有してもよい。この構成においても、特徴を確実に追跡することができる。

さらに、本発明の別の形態は、注視点追跡方法であって、上記の何れかに記載の視線追跡方法を実施して被験者の視線を追跡するステップと、被験者の視線を追跡するステップの結果を利用して、被験者の注視点を追跡するステップと、を有する。この方法によれば、特徴を確実に追跡し続けることが可能になるので、注視点を確実に追跡し続けることができる。

本発明によれば、特徴を追跡し続けることが可能な画像特徴追跡方法、視線追跡方法及び注視点追跡方法が提供される。

図１は、第１実施形態に係る画像特徴追跡方法を説明するための概念図である。 図２の（ａ）部は、参考例１に係る画像特徴追跡方法を説明するための概念図であり、図２の（ｂ）部は、参考例２に係る画像特徴追跡方法を説明するための概念図である。 図３の（ａ）部は、参考例３に係る画像特徴追跡方法を説明するための概念図であり、図３の（ｂ）部は、参考例４に係る画像特徴追跡方法を説明するための概念図である。 図４の（ａ）部は、参考例５に係る画像特徴追跡方法を説明するための概念図であり、図４の（ｂ）部は、参考例６に係る画像特徴追跡方法を説明するための概念図である。 図５は、参考例７に係る画像特徴追跡方法を説明するための概念図である。 図６は、参考例８に係る画像特徴追跡方法を説明するための概念図である。 図７は、第２実施形態に係る画像特徴追跡方法を説明するための概念図である。 図８の（ａ）部、（ｂ）部及び（ｃ）部は、第２実施形態に係る画像特徴追跡方法の変形例を説明するための概念図である。 図９は、第３実施形態に係る注視点追跡方法を説明するためのシステム図である。 図１０は、注視点追跡方法の主要な工程を示すフロー図である。 図１１は、第３実施形態に係る画像特徴追跡方法を説明するための概念図である。 図１２は、変形例２に係る注視点追跡方法の主要な工程を示すフロー図である。 図１３は、変形例３に係る注視点追跡方法の主要な工程を示すフロー図である。 図１４は、実施例１に係る画像特徴追跡方法を説明するための概念図である。 図１５は、参考例９に係る画像特徴追跡方法を説明するための概念図である。 図１６は、実施例２に係る画像特徴追跡方法を説明するための概念図である。 図１７は、後戻り法によって瞳孔の検出数が向上する状況の例示である。 図１８は、後戻り法によって瞳孔の検出数が向上する状況の例示である。 図１９は、比較例及び実験例の結果をまとめた一覧表である。 図２０は、比較例及び実験例の結果を示すグラフである。

以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

＜第１実施形態＞
図１を参照しながら、第１実施形態に係る画像特徴追跡方法を詳細に説明する。図１は、第１実施形態に係る画像特徴追跡方法を説明するための概念図である。第１実施形態に係る画像特徴追跡方法は、画像を取得する処理（以下「画像取得処理Ａｎ」と呼ぶ）と、画像全体から特徴を探索（特徴探索処理）した後にウインドウ（探索領域）を設定する処理（以下「探索処理Ｄｎ」と呼ぶ）と、ウインドウを用いて特徴を検出する処理（以下「追跡処理Ｆｎ」と呼ぶ）と、を有する。さらに、追跡処理Ｆｎは、後追い処理Ｃｎと、リアルタイム処理Ｒｎとを有する。本明細書において「探索」とは、画像全体から特徴を検出することをいう。また、「検出」とは、画像の一部に設定されるウインドウ領域内のみを対象として特徴を検出することをいう。さらに、「追跡」とは、追跡処理Fｎを繰り返すことにより、特徴を追うことをいう。

また、図１等では、理解を容易にするため、補助的な符号を用いる。例えば、符号「Ｃ１＜Ｇ２：○＞）」とは、画像Ｇ２に対する後追い処理Ｃ１を実施し、特徴の検出に成功（○）したことを意味する。また、例えば、符号「Ａ１＜Ｇ１＞」とは、画像取得処理Ａ１によって画像Ｇ１を得たことを意味する。

画像特徴追跡方法において、いくつかの前提条件を提示する。まず、画像取得処理Ａｎは、所定のサンプリング周期ＳＡ（サンプリング周期）に基づいて周期的に行う。つまり、画像取得処理Ａｎは、探索処理Ｄｎ及び追跡処理Ｆｎから独立する。そして、画像取得処理Ａｎは、サンプリング周期ＳＡの期間内において、全ての処理が完了する。画像取得処理Ａｎは、露光処理及び転送処理を含み、サンプリング周期ＳＡにおいて、露光処理及び転送処理の両方が完了する。取得される複数の画像Ｇｎは、別々のメモリ空間に保存する。この場合、メモリ空間においては、基本的にそれ以前に取得された画像Ｇｎ−１を重ね書きしない。１回の探索処理Ｄｎに要する期間は、サンプリング周期ＳＡよりも長い。つまり、探索処理Ｄｎが開始されて完了するまでには、複数の画像Ｇｎが取得される。１回の後追い処理Ｃｎ及び１回のリアルタイム処理Ｒｎに要する時間は、サンプリング周期ＳＡよりも短い。例えば、１回の後追い処理Ｃｎに要する時間は、サンプリング周期ＳＡの１／２以下としてもよい。以下、第１実施形態に係る画像特徴追跡方法について、順を追って説明する。

第１実施形態に係る画像特徴追跡方法は、第１ステップＳ１（第１ステップ、第４ステップ）と、第２ステップＳ２と、第３ステップＳ３とを有する。これらのステップは、第１、第２、第３の順に行われる。

第１ステップＳ１は、画像取得処理Ａ１、Ａ２、Ａ３、Ａ４、Ａ５と、探索処理Ｄ１と、を有する。

画像取得処理Ａ１〜Ａ５は、サンプリング周期ＳＡに従ってこの順に行われる。第１ステップＳ１では、複数の画像Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５を取得する。第１ステップＳ１において取得すると共に探索処理Ｄ１及び後追い処理Ｃｎに供される複数の画像Ｇ１〜Ｇ５（第１被処理画像）を、第１画像と呼ぶ。

探索処理Ｄ１は、画像取得処理Ａ２、Ａ３、Ａ４、Ａ５に対して並列して行われる。探索処理Ｄ１は、コンピュータによって行われる。探索処理Ｄ１においては、まず、処理対象となる代表画像を選択する。代表画像として、探索処理Ｄ１が開始されるタイミングに最も近い時間に取得した画像Ｇ１を選択する。つまり、代表画像は、画像Ｇ１そのものであるので、画像取得処理Ａｎによって得られた画像Ｇｎと代表画像とは一致する。なお、詳細は後述するが、代表画像は、画像取得処理Ａｎによって得られた画像Ｇｎそのものに限定されない。例えば、２個の画像Ｇ２、Ｇ３を合成して得た画像を代表画像としてもよい。次に、探索処理Ｄ１では、代表画像の全体から特徴を検出する。この特徴を検出する処理は、種々の画像処理アルゴリズムを採用してよい。次に、検出された特徴に関する情報を用いて、ウインドウ情報を生成する。ウインドウ情報が設定されたタイミングをもって、第１ステップＳ１が完了する。つまり、第１ステップＳ１は、探索処理Ｄ１が行われる期間を含むものと定義してもよい。図１には、探索処理Ｄ１に約４フレームの時間を要する例を図示した。追跡処理Ｆｎは、探索処理Ｄ１の結果であるウインドウを必要とする。従って、追跡処理Ｆｎは、探索処理Ｄｎに対して並列に行わない。そうすると、探索処理Ｄ１を行っている間に取得された画像Ｇ２、Ｇ３、Ｇ４、Ｇ５は、メモリに蓄積されるだけであり、リアルタイムな処理がなされない。

第１ステップＳ１が完了した直後から、第２ステップＳ２を開始する。第２ステップＳ２では、画像取得処理Ａ６、Ａ７、Ａ８と、後追い処理Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７と、を行う。後追い処理Ｃｎは、画像取得処理Ａｎに対して並列して行われる。第２ステップＳ２においても、画像Ｇｎは、予め設定されたサンプリング周期ＳＡに従って周期的に取得される。第２ステップＳ２において取得されると共に後追い処理Ｃｎに供される画像Ｇ６、Ｇ７、Ｇ８（第２被処理画像）を、第２画像と呼ぶ。

後追い処理Ｃ１では、画像Ｇ２を対象とした処理を行う。画像Ｇ２は、探索処理Ｄ１の対象とした代表画像（画像Ｇ１）の次に取得された画像である。そして、第２の後追い処理Ｃ２から第７の後追い処理Ｃ７をこの順に行う。各後追い処理Ｃｎに要する処理時間ＴＣは、サンプリング周期ＳＡよりも短い。従って、後追い処理Ｃｎを連続的に行うことにより、処理対象として選択される画像Ｇｎが画像取得処理Ａｎにおいて取得される画像Ｇｎに追いつく。ここで、「後追い処理Ｃｎを連続的に行う」とは、第ｎの後追い処理Ｃｎと第ｎ＋１の後追い処理Ｃｎ＋１の間の時間間隔をなくす或いは極めて短くした処理をいう。

ここで、後追い処理Ｃｎに供される画像Ｇ２〜Ｇ７は、画像取得処理Ａ２〜Ａ７において取得された画像そのものである。換言すると、後追い処理Ｃｎに供される被処理画像は、画像Ｇ２〜Ｇ７そのものである。つまり、画像取得処理Ａ２〜Ａ７において取得された画像と後追い処理Ｃｎに供される画像Ｇ２〜Ｇ７とは、一致する。なお、詳細は後述するが、被処理画像は、画像取得処理Ａｎによって得られた画像Ｇｎそのものに限定されない。例えば、２個の画像Ｇ２、Ｇ３を合成して得た画像を被処理画像としてもよい。ここで、合成とは、複数の画像の加算平均や画像間での差分、乗算、除算などのことである。

また、図１では、個々の後追い処理Ｃｎに要する処理時間ＴＣの全てが、サンプリング周期ＳＡよりも短いことを例示した。しかし、この例示に限定されることはない。つまり、画像取得処理Ａｎをｎ回実施するときに要する時間よりも、後追い処理Ｃｎをｎ回実施するときに要する時間が短ければ、未処理の画像数を徐々に減らすことが可能である。つまり、複数回実施された後追い処理Ｃｎにおいて１回の後追い処理Ｃｎに要した平均時間が、複数回実施された画像取得処理Ａｎにおいて１回の画像取得処理Ａｎに要した平均時間よりも短ければよい。従って、処理の割り込みなどによって、一部の後追い処理Ｃｎに要する時間が延び、サンプリング周期ＳＡよりも長くなった場合であっても、全体として上記の要件を満たしていれば、未処理の画像数を減らし、リアルタイム処理を行うことが可能になる。

探索処理Ｄ１により画像Ｇ１における特徴の位置が得られ、後追い処理Ｃ１により画像Ｇ２における特徴の位置が得られた。そうすると、画像Ｇ１を得たタイミングから画像Ｇ２を得たタイミングの間における特徴の移動速度が得られる。そして、画像Ｇ２を得たタイミングと、画像Ｇ３を得たタイミングの時間差（サンプリング周期ＳＡ）は、充分に短い。従って、画像Ｇ３における特徴の位置は等速予測モデルを用いて予測される。

これによって、第３の後追い処理Ｃ３以降、次々と特徴が正確に追跡される。本実施形態では、第７の後追い処理Ｃ７を完了した時点で、後追い処理Ｃｎが画像取得処理Ａｎに追いつく。この後追い処理Ｃｎが画像取得処理Ａｎに追いついた時点で、第２ステップＳ２が完了する。

第２ステップＳ２が完了した直後から、第３ステップＳ３を開始する。第３ステップＳ３は、画像取得処理Ａｎとリアルタイム処理Ｒｎとを有する。第３ステップＳ３において取得した複数の画像Ｇ９〜Ｇ１１（第３被処理画像）を、第３画像と呼ぶ。第３ステップＳ３は、１のサンプリング周期ＳＡ中に完了する、１回の画像取得処理Ａｎと１回のリアルタイム処理Ｒｎとを含む。

例えば、１０回目のサンプリング周期ＳＡに、画像取得処理Ａ１０によって画像Ｇ１０が取得され、当該画像Ｇ１０に対してリアルタイム処理Ｒ２を行う場合があり得る。なお、１０回目のサンプリング周期ＳＡに、画像取得処理Ａ１０によって画像Ｇ１０を取得する。しかし、リアルタイム処理Ｒ２の対象が当該画像Ｇ１０ではなく、１つ前の画像取得処理Ａ９において取得された画像Ｇ９であってもよい。つまり、リアルタイム処理Ｒｎとは、処理がなされていない画像Ｇｎの数が増加しないような処理態様をいう。

以下、参考例に係る画像特徴追跡方法をいくつか例示しつつ、第１実施形態に係る画像特徴追跡方法の作用効果を説明する。

＜参考例１＞
図２の（ａ）部は、参考例１に係る画像特徴追跡方法を説明するための概念図である。参考例１の画像特徴追跡方法では、例えば、１回の画像取得処理Ａ１と１回の追跡処理Ｐ１とを含む処理がサンプリング周期ＳＡ内に完了している。従って、参考例１に係る画像特徴追跡方法では、画像取得処理Ａｎと追跡処理Ｐｎとはカスケードに行うことができ、処理の遅延は生じない。

なお、実際の露光処理と画像取得ステップとは、コンピュータから出力される命令に基づいて行われる。換言すると、コンピュータからの命令がなければ、露光処理と画像取得ステップとは行われない。この命令は、サンプリング周期ＳＡ内に発生する垂直同期信号が出力される前にコンピュータから出力される。

＜参考例２＞
図２の（ｂ）部は、参考例２に係る画像特徴追跡方法を説明するための概念図である。図２の（ｂ）部に示されるように、画像取得処理Ａ１は、サンプリング周期ＳＡの期間内に完了する。しかし、追跡処理Ｐ１に要する時間は、参考例１における追跡処理Ｐ１に要する時間よりも長い。そうすると、１回の画像取得処理Ａ１と１回の追跡処理Ｐ１とを含む処理に要する時間は、サンプリング周期ＳＡよりも長くなる場合があり得る。ここで、追跡処理Ｐｎは、画像Ｇｎに対する種々の検出のための処理を含む。すなわち、追跡処理Ｐｎは、探索処理Ｄｎ、後追い処理Ｃｎ、リアルタイム処理Ｒｎ、及び後戻り処理Ｂｎ（第５ステップ）などを含む。

参考例２では、追跡処理Ｐｎが完了した後におけるフレームのタイミングに同期して、画像取得処理Ａｎが行われる。つまり、画像取得処理Ａｎと追跡処理Ｐｎとは交互に行われる。図２の（ｂ）部の例において、追跡処理Ｐ１が完了したタイミングは、第２フレームと第３フレームとの間である。そうすると、追跡処理Ｐ１の次に行われる処理は、第３フレームにおける画像取得処理Ａ３である。換言すると、第２フレームにおける画像取得処理Ａ２は行われない。すなわち、画像Ｇ２は取得できない。この態様は、いわゆるフレーム落ちと呼ばれる。従って、追跡処理Ｐ１〜Ｐ３に要する時間が常に一定であるとすれば、２フレームごとに１回の画像取得処理Ａｎと１回の追跡処理Ｐｎとが行われる。

なお、追跡処理Ｐｎに要する時間が一定でない場合には、連続したフレームにおいて結果が得られることもあるし、２以上のフレーム落ちが生じることもあり得る。

＜参考例３＞
図３の（ａ）部は、参考例３に係る画像特徴追跡方法を説明するための概念図である。参考例３において、画像取得処理Ａｎに要する時間は、参考例２における画像取得処理Ａｎに要する時間と同じである。また、追跡処理Ｐｎに要する時間も、参考例２における追跡処理Ｐｎに要する時間と同じである。すなわち、画像取得処理Ａｎに要する時間と追跡処理Ｐｎに要する時間の合計がサンプリング周期ＳＡよりも長い。このような場合であっても、処理の態様を変更することによりフレーム落ちの発生を抑制できる。具体的には、画像取得処理Ａｎと追跡処理Ｐｎとを並列に行えばよい。なお、参考例３では、画像取得処理Ａｎに要する時間はサンプリング周期ＳＡより短いものとする。さらに、追跡処理Ｐｎに要する時間もサンプリング周期ＳＡより短いものとする。

近年のコンピュータは、複数のスレッドを設けることができる。従って、図３の（ａ）部に示されるような並列処理を容易に行える。例えば、第１フレームでは、画像Ｇ１を得るための画像取得処理Ａ１を行う。次に、第２フレームでは、画像Ｇ２を得るための画像取得処理Ａ２と、画像Ｇ１に対する追跡処理Ｐ２と、を並列に行う。追跡処理Ｐ１が完了したとき、画像取得処理Ａ３のためのトリガを発生させる。そして、第３フレームでは、追跡処理Ｐ２の完了に起因するトリガによって画像取得処理Ａ３が行われ、当該画像取得処理Ａ３を行っている間に画像Ｇ２に対する追跡処理Ｐ３が並列に行われる。このような並列処理を利用する参考例３に係る画像特徴追跡方法によれば、フレーム落ちが生じない。

＜参考例４＞
図３の（ｂ）部は、参考例４に係る画像特徴追跡方法を説明するための概念図である。参考例４に係る画像特徴追跡方法は、参考例３の画像特徴追跡方法と同様に画像取得処理Ａｎと追跡処理Ｐｎとを並列に行う。一方、参考例３に係る画像特徴追跡方法は、追跡処理Ｐｎを開始するタイミングが画像取得処理Ａｎを開始するタイミングと一致していた。参考例４に係る画像特徴追跡方法は、追跡処理Ｐｎを開始するタイミングが画像取得処理Ａｎを開始するタイミングと一致しない。具体的には、追跡処理Ｐｎを開始するタイミングは、画像取得処理Ａｎが完了したタイミングと一致する。参考例４の処理によれば、参考例３の処理に対して追跡処理Ｐｎの結果を早く得ることができる。

＜参考例５＞
図４の（ａ）部は、参考例５に係る画像特徴追跡方法を説明するための概念図である。参考例１〜４の方法において、画像取得処理Ａｎは、予め設定されたサンプリング周期ＳＡごとに行われた。つまり、カメラ（撮像装置）は、一定周期で画像Ｇｎを取得することを前提とした。この場合、画像取得処理Ａｎが開始されるタイミングは、各フレームの開始タイミングに一致する。一方、参考例５の方法において、画像取得処理Ａｎが開始されるタイミングは、各フレームの開始タイミングに一致しなくてよい。つまり、コンピュータは、カメラに対して画像取得処理Ａｎを開始するタイミングを指示する。この処理おいて、画像取得処理Ａｎと追跡処理Ｐｎとを含む処理に要する時間は、参考例３と同じである。しかし、参考例５の方法によれば、画像取得数を最大化することが可能である。具体的には、図３の（ｂ）部を参照すると、参考例４の方法では、５フレーム終了した時点で、画像Ｇ１〜Ｇ４が得られる。一方、図４の（ａ）部を参照すると、参考例５の方法では、５フレーム終了した時点で、画像Ｇ１〜Ｇ５が得られる。つまり、参考例５の方法の方が、画像取得数が１だけ多い。

さらに、追跡処理Ｐｎを並列処理化してもよい。そうすると、追跡処理Ｐｎに要する時間を画像取得処理Ａｎに要する時間よりも短くすることが可能になる。この場合には、画像取得処理Ａｎの回数を最大化することができる。つまり、処理速度は、画像取得処理Ａｎに要する時間に左右される。具体的には、画像取得処理Ａｎに要する時間を周期とする頻度で、結果を得ることができる。ただし、この例によれば、画像取得時間や画像処理時間の変動によって、画像取得間隔が変化する。

＜参考例６＞
上記参考例１〜５では、個々の追跡処理Ｐｎに要する時間が常に一定であった。参考例６では、画像Ｇｎに対して互いに異なる２個の処理を行う場合を仮定する。

追跡処理Ｆｎにおいて、ウインドウをどのように決定するのかは問題となり得る。画像Ｇｎの全体範囲から移動中の特徴座標を追跡し続けるシステムでは、フレームレートの高速化が望まれる。なぜならば、特徴が高速移動する場合は、フレームレートを高めて追跡性を良くしたいためである。フレームレートを高速化するためには、画像処理に要する時間を短くする手法が考えられる。画像処理に要する時間を短くするためには、画像処理の対象範囲を狭くすればよい。

そこで、まず、画像Ｇｎの全体を探索して特徴を検出した後に、検出した特徴を含む狭い領域（ウインドウ）を設定する（探索処理Ｄｎ）。続いて、別の画像Ｇｎに対してウインドウを適用し、当該ウインドウの内部を対象として特徴を検出する（追跡処理Ｆｎ）。探索処理Ｄｎは画像Ｇｎの全体から特徴を検出するので、処理時間ＴＤが長い。一方、追跡処理Ｆｎは画像Ｇｎの一部の領域（ウインドウ内）から特徴を検出するので、処理時間ＴＣが短い。具体的には、処理時間ＴＣは、サンプリング周期ＳＡよりも短い。また、処理時間ＴＣは、探索処理Ｄｎの処理時間ＴＤよりも短い。図４の（ｂ）部に示す例示は、図４の（ａ）部に示す例示の一部を変更したものである。具体的には、図４の（ａ）部における追跡処理Ｐ１が探索処理Ｄ１に対応し、追跡処理Ｐ２〜Ｐ５がそれぞれ追跡処理Ｆ１〜Ｆ４に対応する。

図４の（ｂ）部を参照すると、第１フレームにおいて、画像取得処理Ａ１を行い画像Ｇ１を得る。次に、画像取得処理Ａ２を行い画像Ｇ２を得る。画像取得処理Ａ２と並列に、探索処理Ｄ１を行う。ここで、画像Ｇ２から特徴を検出するときにはウインドウを用いるので、探索処理Ｄ１が完了する必要がある。このため、探索処理Ｄ１が完了するまで、画像取得処理は行なわれない。そうすると、第２フレームから第６フレームまでの期間において、画像Ｇｎが取得されない。

探索処理Ｄ１が完了すると、ウインドウが得られる。次に、当該ウインドウを用いて画像Ｇ２を対象とした追跡処理Ｆ１を行う。追跡処理Ｆ１と並列に、画像取得処理Ａ３を行い、画像Ｇ３を得る。ここで、画像Ｇ１を得たタイミングと画像Ｇ２を得たタイミングとは時間的に近接する。従って、画像Ｇ２における特徴は、画像Ｇ１における特徴に近接すると予想される。従って、追跡処理Ｆ１によれば、画像Ｇ１に基づくウインドウを利用して、画像Ｇ２から特徴を検出することができる。

続いて、画像Ｇ３に対する追跡処理Ｆ２を行う。ここで、画像Ｇ３を得たタイミングと画像Ｇ２を得たタイミングとは時間的に離間する。この例では、画像Ｇ３を得たタイミングと画像Ｇ２を得たタイミングとの間に、４フレーム分の時間が存在する。そうすると、この４フレーム分の時間が経過する間に、特徴が大きく移動することがある。つまり、画像Ｇ３における特徴の位置は、画像Ｇ２における特徴の位置から大きく離れることがあり得る。この離間の度合いが大きくなると、特徴がウインドウの外に存在する。特徴がウインドウの外に存在すると、追跡処理Ｆ２は特徴を検出することができない。つまり、追跡処理Ｆ２は失敗する場合が生じ得る。

一方、ウインドウを広くとれば、上記の状況であっても特徴を検出する可能性を高めることができる。しかし、ウインドウを広くすることは、追跡処理Ｆｎの処理量の増加をもたらす。従って、フレームレートが低下してしまう。

＜参考例７＞
図５は、参考例７に係る画像特徴追跡方法を説明するための概念図である。参考例６では、画像取得処理Ａｎが開始されるタイミングがフレームの開始タイミングに一致する必要がなかった。参考例７では、参考例１〜４のように、画像取得処理Ａｎが開始されるタイミングがフレームの開始タイミングに一致する。

図５に示されるように、第１フレームにおいて画像取得処理Ａ１を行い、画像Ｇ１を得る。画像取得処理Ａ１が完了すると、画像Ｇ１に対する探索処理Ｄ１が開始される。続いて、第２フレームにおいて画像取得処理Ａ２を行い、画像Ｇ２を得る。第２フレームでは、探索処理Ｄ１が継続する。画像Ｇ２に対する追跡処理Ｆ１は、探索処理Ｄ１の結果（ウインドウ）を用いる。従って、追跡処理Ｆ１は、探索処理Ｄ１の完了後に行われる。図５の例によれば、第６フレーム中に追跡処理Ｆ１を行う。ここで、参考例６と同様に、画像Ｇ１を得たタイミング（第１フレーム）と、画像Ｇ２を得たタイミング（第２フレーム）とは、時間的に近接する。従って、追跡処理Ｆ１は成功する。

続いて、探索処理Ｄ１の完了後に、第７フレームにおいて画像取得処理Ａ３が行われ、画像Ｇ３が取得される。そして、画像Ｇ３に対して追跡処理Ｆ２が行われる。しかし、画像Ｇ３を得たタイミング（第７フレーム）と画像Ｇ２を得たタイミング（第２フレーム）との間には、５フレーム分の時間が経過している。この時間が経過する間に、特徴が大きく移動してしまう可能性が高まる。そうすると、追跡処理Ｆ２において、ウインドウ内に特徴が存在する可能性が低くなるので、追跡処理Ｆ２が失敗することが生じ得る。

追跡処理Ｆ２が失敗した場合、第８フレームにおいて画像取得処理Ａ４が行われ、画像Ｇ４が取得される。そして、画像Ｇ４を代表画像として探索処理Ｄ２を行う。

要するに、参考例１〜７に係る方法では、特徴を確実に追跡することが困難である。

上述したように、図１に示された第１実施形態に係る画像特徴追跡方法では、所定のサンプリング周期ＳＡごとに画像Ｇｎを取得してメモリに記録する。また、特徴を検出する追跡処理Ｆｎを行う前に、特徴を探索する探索処理Ｄｎを行う。１回の探索処理Ｄｎに要する時間は、１回の画像取得処理Ａｎに要する時間よりも長いので、リアルタイムに検出ができない期間が生じる。そして、探索処理Ｄｎによってウインドウが設定された後に、画像Ｇ２、Ｇ３、Ｇ４、Ｇ５、Ｇ６、Ｇ７、Ｇ８に対して後追い処理Ｃｎを行う。画像Ｇ２〜Ｇ８を得る画像取得処理Ａｎに要する時間よりも、画像Ｇ２〜Ｇ８に対する後追い処理Ｃｎに要する時間が短いので、画像取得処理Ａｎに後追い処理Ｃｎが追いつく。

つまり、第１実施形態に係る画像特徴追跡方法は、メモリに記録された画像Ｇｎに対して取得した順に追跡処理Ｆｎを行う。従って、ウインドウ内に特徴が存在する可能性が高まるので、追跡処理Ｆｎにおいて特徴を検出できる可能性を高めること可能になる。その結果、特徴の移動軌跡を連続的に検出すること可能になるので、特徴を確実に追跡することができる。さらに、第１実施形態に係る画像特徴追跡方法によれば、特徴を検出できる可能性が高まるので、時間分解能を高めることができる。

換言すると、ウインドウを利用した追跡処理Ｆｎ及びリアルタイム処理Ｒｎは、処理に要する時間がサンプリング周期ＳＡよりも充分に短い。従って、追跡処理Ｆｎを順次行うことにより、徐々に遅れ時間が短縮される。そして、最終的には、取得した画像Ｇｎを、取得直後に処理する、つまりリアルタイムの追跡が可能となる。このように、ウインドウを利用した特徴の後追い処理Ｃｎが、画像取得処理Ａｎに対して所定の遅れ時間をもって開始されるが、最終的にリアルタイム処理Ｒｎが行えるまでに追跡処理Ｆｎが追いつく。

このような処理であるために、第１実施形態に係る画像特徴追跡方法は、「後追い法」と呼ばれる。なお、「後追い」とは、具体的には、第２ステップＳ２において行われる後追い処理Ｃｎを意味する。

＜第２実施形態＞
次に、第２実施形態に係る画像特徴追跡方法について説明する。第２実施形態に係る画像特徴追跡方法の詳細を説明する前に、参考例８に係る画像特徴追跡方法について説明する。図６は、参考例８に係る画像特徴追跡方法を説明するための概念図である。

画像Ｇｎは、そもそも特徴を含まない場合もあり得る。例えば、被験者の瞳孔を特徴として追跡することがある。ここで、図６に示されるように被験者は、第１フレームから第５フレームに亘る期間Ｚにおいてまぶたを閉じたとする。そうすると、期間Ｚに取得した画像Ｇ２、Ｇ３、Ｇ４は、瞳孔を含まない。その結果、画像Ｇ１に対するリアルタイム処理Ｒ１は特徴の検出に成功するが、画像Ｇ２に対するリアルタイム処理Ｒ２は特徴の検出に失敗する。ここで、リアルタイム処理Ｒｎの失敗とは、ウインドウ内から特徴が検出できなかったことをいう。例えば、特徴がウインドウの外に存在する場合には、リアルタイム処理Ｒｎは失敗する。また、上述したように、特徴がそもそも画像Ｇｎに含まれない場合にも同様に、リアルタイム処理Ｒｎは失敗する。この２つの要因は、リアルタイム処理Ｒｎに限定されず、後追い処理Ｃｎ及び後戻り処理Ｂｎ（後述）においても同様である。この場合には、再び探索処理Ｄｎを行い、別の画像Ｇｎの全体から特徴を探索して、ウインドウを再設定する。

失敗の要因が前者（特徴がウインドウの外にある）であるならば、探索処理Ｄｎを再度行うことにより特徴が検出できるので、後追い処理Ｃｎ、リアルタイム処理Ｒｎ及び後戻り処理Ｂｎを再開できる。一方、失敗の要因が後者（画像Ｇｎが特徴を含まない）であるならば、探索処理Ｄｎを行っても、特徴が検出できない。この場合には、代表画像を画像Ｇ２、Ｇ３、Ｇ４の順に変更しながら、特徴が検出できるまで探索処理Ｄｎを繰り返す。図６の例によれば、画像Ｇ４を対象とする探索処理Ｄ２も失敗する。そして、期間Ｚの完了後に取得された画像Ｇｎ（例えば画像Ｇ５）を対象とする探索処理Ｄ３は成功する。

しかし、探索処理Ｄ１、Ｄ２、Ｄ３には比較的長い時間を要する。従って図６に示されるように、ウインドウの設定が成功するまで探索処理Ｄ１、Ｄ２、Ｄ３を繰り返すと、処理の遅れ時間が増大する。処理の遅れ時間は、未処理の画像を発生させる。図６の例によれば、探索処理Ｄ３が完了したとき、未処理の画像Ｇ６〜Ｇ１５が生じる。

第２実施形態では、このような場合に好適に対応できる画像特徴追跡方法を提示する。図７は、第２実施形態に係る画像特徴追跡方法を説明するための概念図である。

図６の例と同様に、第１フレームから第４フレームに亘って特徴が存在しない期間Ｚを仮定する。そうすると、画像取得処理Ａ２、Ａ３、Ａ４（第４ステップＳ４）において得た画像Ｇ２、Ｇ３、Ｇ４には、特徴が含まれない。従って、画像Ｇ１に対するリアルタイム処理Ｒ１は成功するが、画像Ｇ２に対するリアルタイム処理Ｒ２は失敗する。リアルタイム処理Ｒ２に失敗すると、次は、画像Ｇ３を対象として探索処理Ｄ１を行う。画像Ｇ３にも特徴は含まれないので、探索処理Ｄ１は失敗する。そして、次の探索処理Ｄ２を行う。

ここで、上記参考例８の２回目の探索処理Ｄ２は、画像Ｇ４を対象とした。この画像Ｇ４は、１回目の探索処理Ｄ１に用いた画像Ｇ３の次に取得されたものである。一方、第２実施形態に係る画像特徴追跡方法では、２回目の探索処理Ｄ２において、画像Ｇ７を対象とする。画像Ｇ７は、１回目の探索処理Ｄ１が完了したタイミングに最も近いタイミング（第７フレーム）で取得されたものである。画像Ｇ７は、画像Ｇ３から数フレーム後の画像である。

参考例８において、画像Ｇ４は、画像Ｇ３を得たタイミングから１フレーム分の時間しか経過していないので、画像Ｇ４は特徴を含まない可能性が低い。一方、画像Ｇ７は、画像Ｇ３を得たタイミングから６フレーム分の時間が経過しているので、特徴を含む可能性が画像Ｇ４よりも高い。探索処理Ｄｎにおけるこのような画像の選択によれば、特徴が含まれない画像Ｇ４〜Ｇ６を処理対象として選択する可能性を低減できる。その結果、特徴を含む画像Ｇ７等を処理対象として選択する可能性を高めることができる。

そして、画像Ｇ７を処理対象とした場合には、２回目の探索処理Ｄ２は成功する。なお、探索処理Ｄ１、Ｄ２を行っている間に取得した画像Ｇ５〜Ｇ１１は、第１画像及び第４画像を構成する。探索処理Ｄ２が成功すると、画像Ｇ７から後に取得された画像Ｇ８〜Ｇ１３に対して、後追い処理Ｃ１〜Ｃ６を行う。そして、後追い処理Ｃｎが画像取得処理Ａｎに追いついた後は、リアルタイム処理Ｒｎを行う。つまり、第１４フレームにおいて画像取得処理Ａ１４を行い、画像Ｇ１４を得る。そして、第１５フレームにおいて画像Ｇ１４に対するリアルタイム処理Ｒ３を行うと共に、画像取得処理Ａ１５を行う。

なお、図７において、後追い処理Ｃｎと後戻り処理Ｂｎとは並列に処理される内容を例示した。画像特徴追跡方法を実行するコンピュータが１個の演算器（コア）を有するＣＰＵを備える場合には、ＣＰＵが処理をタイムシェアリングして後追い処理Ｃｎと後戻り処理Ｂｎとを見かけ上並行して処理する。そうすると、並列処理を行うときの後追い処理Ｃ１、Ｃ２、Ｃ３に要する時間は、後追い処理Ｃｎのみを行う場合（Ｃ４、Ｃ５、Ｃ５）に要する時間よりも長くなる。図７に示す白抜き矢印は、これら処理時間について厳密に示すものではない。

また、画像特徴追跡方法を実行するコンピュータが２個の演算器（コア）を有するＣＰＵを備える場合には、ここの処理に要する時間が延びることなく並列処理を行うことができる。例えば、第１演算器は、後追い処理Ｃｎ及びリアルタイム処理Ｒｎを行う、第２演算器は、後戻り処理Ｂｎのみを行うこととしてもよい。

＜後戻り法＞
ところで、画像Ｇ３と画像Ｇ７との間に取得された画像Ｇ４、Ｇ５、Ｇ６（第４被処理画像）は、なんらの処理もなされていない。そこで、これらの画像Ｇ４、Ｇ５、Ｇ６に対して、事後的に処理を行う。以後の説明において、このような処理を、後戻り処理Ｂｎと呼ぶ。後戻り処理Ｂｎとは、探索処理Ｄｎに成功した画像Ｇｎ（画像Ｇ７）を取得したタイミング（第７フレーム）より、前（第４〜第６フレーム）に取得された画像Ｇｎ（画像Ｇ４、Ｇ５、Ｇ６：第４画像）に対して行う追跡処理と定義してもよい。一方、後追い処理Ｃｎとは、探索処理Ｄｎに成功した画像Ｇｎ（画像Ｇ７）を取得したタイミング（第７フレーム）より後（第８フレーム以降）に取得された画像Ｇｎ（画像Ｇ８〜Ｇ１３）に対して行う追跡処理と定義してもよい。

具体的には、画像Ｇ７に対して１フレーム前に得た画像Ｇ６に対して、２回目の探索処理Ｄ２で得たウインドウを用いて後戻り処理Ｂ１を行う。画像Ｇ６は特徴を含む。従って、後戻り処理Ｂ１は成功する。次に、画像Ｇ６の１フレーム前に得た画像Ｇ５に対して後戻り処理Ｂ２を行う。画像Ｇ５は特徴を含むので、後戻り処理Ｂ２も成功する。さらに、画像Ｇ４に対して後戻り処理Ｂ３を行う。しかし、画像Ｇ４は特徴を含まない。従って、後戻り処理Ｂ３は、失敗する。この時点で、後戻り法による処理を完了する。そうすると、特徴を含まない画像Ｇ２〜Ｇ４を除いて、画像Ｇ１、Ｇ５〜Ｇ１５について特徴の検出が成功する。つまり、特徴の追跡は成功する。

上述したように、後戻り処理Ｂｎは、画像を取得した順番とは逆の順番で画像Ｇ４〜Ｇ６を処理する。つまり、後戻り処理Ｂｎでは、画像Ｇ６、Ｇ５、Ｇ４の順に処理する。これは、後戻り処理Ｂｎは、特徴の検出に成功したタイミング（即ち画像Ｇ７を取得したタイミング）に対して時間的に近い順に処理するほうが、特徴を検出する確実性が高まるためである。なぜならば、特徴の検出に成功したタイミングに時間的に近い場合には、検出に成功した特徴の近傍に特徴が存在する可能性が高いためである。このような態様では、設定されたウインドウに特徴が含まれる可能性が高い。一方、特徴の検出に成功したタイミングに時間的に遠い場合には、検出に成功した特徴から遠い場所に特徴が存在する可能性が高い。そうすると、設定されたウインドウに特徴が含まれる可能性が低くなる。

第２実施形態に係る画像特徴追跡方法によれば、特徴の検出に失敗した探索処理Ｄ１の次に行われる探索処理Ｄ２において、特徴の検出に失敗した画像Ｇ３を取得したタイミングから、探索処理Ｄ１に要する時間に相当する時間（約４フレーム分の時間）だけ経過後に取得した画像Ｇ７を処理対象とする。そうすると、約４フレーム分の時間が経過する間に、特徴が画像Ｇ７に再び現れている可能性が高まる。従って、探索処理Ｄ２を成功させる可能性を高めることができるので、探索処理Ｄｎの回数が低減する。これにより、特徴を確実に追跡し続けることできる。

＜変形例１＞
なお、後追い処理Ｃｎと後戻り処理Ｂｎとは、種々の実施態様を取り得る。例えば、図７に示されるように、第２ステップＳ２において、後追い処理Ｃｎと後戻り処理Ｂｎとを並列して行ってもよい。また、図８の（ａ）部に示されるように、第２ステップＳ２において、後追い処理Ｃｎと後戻り処理Ｂｎとを交互に行ってもよい。また、図８の（ｂ）部に示されるように、第３ステップＳ３において、リアルタイム処理Ｒｎと後戻り処理Ｂｎとを並列して行ってもよい。また、図８の（ｃ）部に示されるように、第３ステップＳ３において、リアルタイム処理Ｒｎと後戻り処理Ｂｎとを交互に行ってもよい。

＜第３実施形態＞
次に、第３実施形態に係る視線追跡方法及び注視点追跡方法について説明する。図９は、第３実施形態に係る視線追跡方法及び注視点追跡方法を説明するためのシステム図である。図９に示されるように、視線追跡方法は、ディスプレイＲＣ（表示装置）の前に立つ被験者Ｈの視線を追跡する。ここでいう「視線」とは、被験者Ｈの瞳孔と対象物を結ぶ線をいう。そして、注視点追跡方法は、ディスプレイＲＣ（表示装置）の前に立つ被験者Ｈが、ディスプレイＲＣのどの位置を注視しているかを検出する。つまり、注視点Ｑとは、被験者Ｈが注視するディスプレイＲＣ上の位置をいう。この注視点Ｑは、被験者Ｈの視線を示すベクトルと、ディスプレイＲＣを示す平面との交点として得られる。注視点追跡方法によれば、ディスプレイＲＣ上の注視点Ｑの座標が得られる。なお、注視点追跡に用いる注視点を検出する方法の詳細は、発明者らによる下記の文献１、２などを利用してよい。
文献１：国際公開第２０１２／０２０７６０号。
文献２：国際公開第２０１２／０７７７１３号。

上述したように、注視点追跡方法は、視線追跡方法の結果を利用する。従って注視点追跡方法は、視線追跡方法を含む。以下の説明においては、視線追跡方法を含む注視点追跡方法について詳細に説明する。

注視点追跡方法は、ディスプレイＲＣの下方に配置された一対のカメラ２と、当該カメラ２によって得た画像を処理する処理装置Ｍとにより行われる。処理装置Ｍは、いわゆるコンピュータである。一対のカメラ２は、ステレオ較正がなされている。それぞれのカメラ２は、露光時間が短くされる。カメラ２は光源（不図示）を有しており、カメラ２の当該露光中に光源を発光させる。光源は、互いに異なる中心波長を有する２種類の光を被験者Ｈに提供する。光源は、明瞳孔画像（第１顔画像）を得るための光（第１光）として、中心波長が８５０ｎｍである光を発生させる。さらに、光源は、暗瞳孔画像（第２顔画像）を得るための光（第２光）として、中心波長が９４０ｎｍである光を発生させる。これらの光を照射するタイミングは、一方のカメラ２の光源から発せられた光が他方のカメラ２によって取得される画像に干渉しないように設定される。

図１０は、注視点追跡方法の主要な工程を示すフロー図である。まず、カメラ２を用いて被験者Ｈの顔画像を得る（工程Ｓ１０）。顔画像は、第１明瞳孔画像、第１暗瞳孔画像、第２明瞳孔画像及び第２暗瞳孔画像を含む。つまり、工程Ｓ１０は、一方のカメラ２を利用して第１明瞳孔画像を得る処理と（工程Ｓ１１ａ）、一方のカメラ２を利用して第１暗瞳孔画像を得る処理と（工程Ｓ１１ｂ）を有する。さらに、工程Ｓ１０は、他方のカメラ２を利用して第２明瞳孔画像を得る処理と（工程Ｓ１２ａ）、他方のカメラ２を利用して第２暗瞳孔画像を得る処理と（工程Ｓ１２ｂ）を有する。

次に、顔画像を用いて、特徴を検出する（工程Ｓ２０）。第３実施形態では、特徴として瞳孔Ｐを選択する。なお、特徴とは、瞳孔中心点ＰＣや角膜反射点ＧＣのように点によって示すことが可能である場合には特徴点としての意味を有する。一方、眼のようにある程度の領域を有するもののように、点によって示すことができない場合には、そのものの特徴の意味である。まず、顔画像に適用するウインドウを設定する（工程Ｓ２１）。このウインドウの設定には、２個の態様があり得る。第１の態様は、顔画像の全体から特徴である瞳孔Ｐを検出し、検出された瞳孔Ｐを含む領域としてウインドウを設定する。この第１の態様は、探索処理Ｄｎ（図１参照）に対応する。第２の態様は、瞳孔Ｐの動きを予測し、当該予測に基づいて過去のウインドウの位置を更新することにより、新たなウインドウを設定する。この第２の態様は、後追い処理Ｃｎ及びリアルタイム処理Ｒｎの一部である。第１の態様は、顔画像の全体を処理対象とするので、処理の完了には時間を要する。一方、第２の態様は、特徴の動きの予測を処理対象とするので、処理の完了には第１の態様ほどの時間を要しない。

次に、差分画像を得る（工程Ｓ２２）。具体的には、第１明瞳孔画像と第１暗瞳孔画像との差分を取ることにより、第１差分画像を得る。さらに、第２明瞳孔画像と第２暗瞳孔画像との差分を取ることにより、第２差分画像を得る。

ところで、ｉ番目の明瞳孔画像が取得されてから、（ｉ＋１）番目の暗瞳孔画像が取得されるまでの間に、被験者Ｈの頭部が動かない場合を想定する。この場合には、上記のように単純に明瞳孔画像と暗瞳孔画像との差を取ることで、瞳孔Ｐを含む差分画像が得られる。しかし、ｉ番目の明瞳孔画像が取得されてから、（ｉ＋１）番目の暗瞳孔画像が取得されるまでの間に、被験者Ｈの頭部が動くことがある。この場合には、これら２枚の画像の間で瞳孔Ｐの位置にずれが生じる。その結果、良好な差分画像を得ることが難しくなる。そこで、差分画像を得る工程Ｓ２２は、差分画像を生成する処理に加えて、位置ずれを補正する処理さらに有してもよい。この補正処理は、当該差分画像を生成する処理の前に実施される。

具体的には、角膜反射点ＧＣ（図９参照）を基準として位置補正を行う。まず、工程Ｓ２２において第１明瞳孔画像が有する角膜反射点ＧＣと第２明瞳孔画像が有する角膜反射点ＧＣとをそれぞれ検出する。次に、それぞれの角膜反射点ＧＣが一致するように、明瞳孔画像を暗瞳孔画像に対してずらす、もしくは暗瞳孔画像を明瞳孔画像に対してずらす。そして、差分画像を得る。

次に、ウインドウを利用して第１差分画像及び第２差分画像から瞳孔中心点ＰＣを検出する（工程Ｓ２３）。具体的には、第１差分画像及び第２差分画像における瞳孔中心点ＰＣの二次元座標を得る。例えば、差分画像における瞳孔Ｐの輝度は、前フレームと大きく変化しないことを利用してもよい。前フレームで検出された瞳孔Ｐの輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を二値化する。その後、ラベリング処理を行う。続いて、瞳孔Ｐらしい面積、サイズ、面積比、正方形度、及び瞳孔Ｐの特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分のなかから瞳孔Ｐを選択する。そして、瞳孔中心点ＰＣの座標を得る。

次に、ウインドウを利用して角膜反射点ＧＣを検出する（工程Ｓ２４）。例えば、処理対象である顔画像に対してＰタイル法による二値化とラベリングとを行う。次に、形状や輝度平均等の情報に基づいて、その画像から角膜反射点ＧＣを検出する。角膜反射点ＧＣの検出には、例えば、第１明瞳孔画像及び第１暗瞳孔画像の何れか一方を利用してもよいし、第１明瞳孔画像及び第１暗瞳孔画像の両方を利用してもよい。さらに、角膜反射点ＧＣの検出には、第１差分画像又は第２差分画像を利用してもよい。

続いて、注視点を検出する（工程Ｓ３０）。まず、工程Ｓ２０により得られた瞳孔中心点ＰＣの二次元座標にステレオ法を適用して、瞳孔中心点ＰＣの三次元座標を得る（工程Ｓ３１）。次に、カメラ２と瞳孔中心点ＰＣとを結ぶカメラ―瞳孔ベクトルＯＰを得る（工程Ｓ３２）。次に、瞳孔中心点ＰＣと角膜反射点ＧＣとを利用して、ベクトルｒと傾きφ’とを得る（工程Ｓ３３）。ここで、発明者らの知見によれば、ベクトルｒは、被験者Ｈの視線ベクトル、すなわち、瞳孔中心点ＰＣと注視点Ｔとを結ぶ視線ベクトルＰＴと瞳孔ベクトルＯＰとのなす角度θとは、式（１）に示される関係を有する。
θ＝ｋ｜ｒ｜…（１）

式（１）とベクトルｒとを利用して、角度θを得る（工程Ｓ３４）。次に、直線ＯＴの水平軸Ｘ’に対する傾きφは、ベクトルｒの画像上の水平軸ＸＧに対する傾きφ’と等しいとして、傾きφを得る（工程Ｓ３５）。次に、瞳孔ベクトルＯＰと角度θと傾きφを利用して、視線ベクトルＰＴを得る（工程Ｓ３６）。つまり、視線追跡方法は、以上の工程Ｓ１１〜Ｓ３６を含んで構成される。そして、視線ベクトルＰＴとディスプレイＲＣとの交点を得ることにより、注視点Ｑの座標が得られる（工程Ｓ３７）。

第３実施形態において、画像の特徴として、瞳孔Ｐを選択できる。従って、第３実施形態に係る注視点追跡方法では、画像特徴追跡方法を利用して顔画像から瞳孔Ｐを追跡する。なお、瞳孔Ｐを対象としたウインドウは、角膜反射点ＧＣも含み得る。従って、瞳孔Ｐを特徴として追跡する場合には、角膜反射点ＧＣは瞳孔Ｐの追跡に付随して追跡される。

図１１は、第３実施形態に係る注視点追跡方法を説明するための概念図である。図１１に示されるように、第３実施形態に係る注視点追跡方法は、一方のカメラ２のための第１処理Ｊ１と、他方のカメラ２のための第２処理とを有する。そして、第１処理Ｊ１及び第２処理Ｊ２の結果を利用して、注視点を検出する処理（工程Ｓ３０）が行われる。第２処理Ｊ２は、第１処理Ｊ１とタイミングがずれているだけであり、具体的な内容は略同じである。従って、以下の説明において、第１処理Ｊ１を例に具体的に説明する。

まず、第１フレームにおいて、カメラ２によって画像取得処理Ａ１Ｌが行われ、顔画像Ｗ１Ｌ（明瞳孔画像）が得られる（工程Ｓ１０）。

さらに、第１フレームにおいて、画像取得処理Ａ１Ｌの完了後、直ちに顔画像Ｗ１Ｌに対する探索処理Ｄ１Ｌが行われる。この探索処理Ｄ１Ｌは、前述したウインドウを設定する工程Ｓ２１における第１の態様に対応する。そして、探索処理Ｄ１Ｌには、明瞳孔画像である顔画像Ｗ１Ｌが供される。この探索処理Ｄ１Ｌでは、顔画像Ｗ１Ｌから瞳孔中心点ＰＣが検出される。また、探索処理Ｄ１Ｌは、およそ５フレーム分の時間を要する。従って、探索処理Ｄ１Ｌは、第６フレーム中に完了する。一方、第２フレームから第５フレームの間では、探索処理Ｄ１Ｌと並列して画像取得処理Ａ２Ｌ〜Ａ５Ｌ（工程Ｓ１０）が行われ、顔画像Ｗ２Ｌ〜Ｗ５Ｌが取得される。これらの顔画像Ｗ２Ｌ〜Ｗ５Ｌは、リアルタイム処理に供せない、つまり未処理のまま積み残されたものであり、メモリに一時的に保存される。

第６フレームにおいて、探索処理Ｄ１Ｌが完了し、直ちに、後追い処理Ｃ１Ｌが開始される。また、第６フレームでは、当該後追い処理Ｃ１Ｌと並列して、画像取得処理Ａ６Ｌ（工程Ｓ１０）が行われ、顔画像Ｗ６Ｌ（暗瞳孔画像）が得られる。

第６フレームから第７フレームに亘って行われる後追い処理Ｃ１Ｌは、ウインドウを設定する工程Ｓ２１と、差分画像を得る工程Ｓ２２と、瞳孔中心点ＰＣを得る工程Ｓ２３と、角膜反射点ＧＣを得る工程２４とを含む。後追い処理Ｃ１Ｌにおけるウインドウを設定する工程Ｓ２１では、探索処理Ｄ１Ｌにおいて得たウインドウの情報を利用して設定する。これらの工程Ｓ２１、Ｓ２２、Ｓ２３、Ｓ２４は、明瞳孔画像及び暗瞳孔画像を利用するものであるので、顔画像Ｗ１Ｌ、Ｗ２Ｌを対象として行われる。より具体的には、特徴を検出する工程Ｓ２３には、差分画像が供される。後追い処理Ｃ１Ｌの結果、顔画像Ｗ１Ｌ、Ｗ２Ｌに基づく瞳孔中心点ＰＣと角膜反射点ＧＣとが得られる。

ところで、第１実施形態及び第２実施形態に係る画像特徴追跡方法において、後追い処理Ｃｎ及びリアルタイム処理Ｒｎに供される被処理画像は取得された画像そのものであった。一方、第３実施形態に係る注視点追跡方法において、後追い処理Ｃｎ及びリアルタイム処理Ｒｎに供される被処理画像は取得された画像そのものではない。つまり、後追い処理Ｃｎ及びリアルタイム処理Ｒｎに供される被処理画像は、取得された明瞳孔画像及び暗瞳孔画像に基づいて得た差分画像である。

上記の第１〜第７フレームでは、第１処理Ｊ１と並行して、他方のカメラ２を対象とした第２処理Ｊ２が行われる。従って、第２処理Ｊ２おける探索処理Ｄ１Ｒと後追い処理Ｃ１Ｒの結果、顔画像Ｗ１Ｒ、Ｗ２Ｒに基づく瞳孔中心点ＰＣと角膜反射点ＧＣとが得られる。

後追い処理Ｃ１Ｌ、Ｃ１Ｒが終了すると、一対の瞳孔中心点ＰＣと、一対の角膜反射点ＧＣに関する情報が得られる。そこで、これらの情報を利用して、注視点追跡処理Ｋ１（工程Ｓ３０）が第８フレームから第９フレームに亘って行われる。注視点追跡処理Ｋ１の結果、被験者Ｈの注視点Ｑが得られる。続いて、顔画像Ｗ３Ｌ、Ｗ４Ｌを対象とした後追い処理Ｃ２Ｌと、顔画像Ｗ３Ｒ、Ｗ４Ｒを対象とした後追い処理Ｃ２Ｒと、が行われ、それらの結果を利用して、注視点追跡処理Ｋ２が行われる。

以下、同様に、取得した顔画像に対して順に後追い処理Ｃ３Ｌ、Ｃ４Ｌ、Ｃ３Ｒ、Ｃ４Ｒを行う。これらの後追い処理Ｃ３Ｌ、Ｃ４Ｌ、Ｃ３Ｒ、Ｃ４Ｒは、後追い処理Ｃ１Ｌと同様に、ウインドウを設定する工程Ｓ２１と、差分画像を得る工程Ｓ２２と、瞳孔中心点ＰＣを得る工程Ｓ２３と、角膜反射点ＧＣを得る工程２４とを含む。そして、それらの結果を利用して、注視点追跡処理Ｋ３、Ｋ４を行う。そうすると、積み残されていた顔画像Ｗ２Ｌ〜Ｗ５Ｌに対して全て注視点追跡処理が行われ、リアルタイム処理Ｒ１Ｌ、Ｒ２Ｌ、Ｒ１Ｒ、Ｒ２Ｒが行えるようになる。これらのリアルタイム処理Ｒ１Ｌ、Ｒ２Ｌ、Ｒ１Ｒ、Ｒ２Ｒは、後追い処理Ｃ１Ｌと同様に、ウインドウを設定する工程Ｓ２１と、差分画像を得る工程Ｓ２２と、瞳孔中心点ＰＣを得る工程Ｓ２３と、角膜反射点ＧＣを得る工程２４とを含む。ここでいう、リアルタイムの注視点追跡処理とは、未処理の顔画像ＷｎＬ、ＷｎＲが発生しない処理態様をいう。つまり、顔画像ＷｎＬ、ＷｎＲを取得する期間より、顔画像ＷｎＬ、ＷｎＲの後追い処理ＣｎＬ、ＣｎＲ及び注視点追跡処理Ｋｎに要する期間が短いので、未処理の顔画像ＷｎＬ、ＷｎＲが発生しない。なお、これらのリアルタイム処理Ｒ１Ｌ、Ｒ２Ｌ、Ｒ１Ｒ、Ｒ２Ｒにも差分画像が供される。すなわち、リアルタイム処理Ｒ１Ｌ、Ｒ２Ｌ、Ｒ１Ｒ、Ｒ２Ｒに供される画像は、明瞳孔画像及び暗瞳孔画像そのものではない。

このように、画像特徴追跡方法を利用した注視点追跡方法によれば、瞳孔中心点ＰＣを確実に追跡することが可能である。従って、被験者Ｈの注視点Ｑを確実に追跡することができる。

ところで、発明者らが提案する瞳孔―角膜反射を利用した注視点検出法は、非接触であること、被験者に近接する必要がないこと、被験者の頭部の動きを許容すること、といった特徴を有する。この注視点検出法では、明瞳孔画像（第１光画像）と暗瞳孔画像（第２光画像）との差分画像を利用して、瞳孔検出をする。明瞳孔画像とは、例えば、中心波長が８５０ｎｍである光（第１光）を照射して得た画像である。暗瞳孔画像とは、例えば、中心波長が９５０ｎｍである光（第２光）を照射して得た画像である。この差分によれば、瞳孔Ｐとは別の部分（以下「非瞳孔領域」）における画素値（例えば輝度）が相殺されて、瞳孔Ｐのみを検出できる。差分画像を利用する注視点追跡方法は、瞳孔Ｐをロバストに検出できる。

一方、注視点検出法は、明瞳孔画像のための光源及び暗瞳孔画像のための光源の調整が重要である。なぜならば、明瞳孔画像と暗瞳孔画像との差分によって非瞳孔領域の画素値を相殺しているからである。従って、非瞳孔領域における画素値は、明瞳孔画像と暗瞳孔画像とにおいて同じであることが要求される。しかし、明瞳孔用の光源位置に対して暗瞳孔用の光源位置が異なる場合には、光量の調整を行ったとしても、明瞳孔画像の画素値と暗瞳孔画像の画素値とが好適に一致しないことがある。そこで、発明者らは、このような問題を解決し得る技術を下記文献３、４にて提案している。
文献３：齊藤翔太、増田和也、福元清剛、海老澤嘉伸、「遠隔注視点検出装置における眼鏡着用者対応のための近赤外光源の提案」、ＶｉＥＷ２０１３ビジョン技術の実利用化ワークショップ講演予稿集、ＯＳ５−Ｈ５（ＩＳ２−Ｄ１３）、６ページ、２０１３年。
文献４：国際公開第２０１４／１８１７７５号。

これらの文献３、４に開示された技術は、明瞳孔画像の画素値と暗瞳孔画像の画素値とを好適に一致させることに加えて、さらに、眼鏡反射を相殺させる手法を提案している。具体的には、光源は、カメラ開口部の近傍に近接するように配置された発光素子を有する。明瞳孔画像は、この発光素子を利用して得る。一方、光源は、開口部から少し離れた位置に配置された別の発光素子をさらに有する。暗瞳孔画像は、明瞳孔用の発光素子又は別の発光素子を利用して得る。明瞳孔用の発光素子は、暗瞳孔を生じさせる効果が弱い。そこで、暗瞳孔画像を得るときには、別の発光素子をさらに利用する。そして、別の発光素子によれば、明瞳孔画像において生じる眼鏡反射像とほぼ同様の眼鏡反射像が暗瞳孔画像に生じる。従って、差分を得ることにより非瞳孔領域の画素値が相殺されると共に眼鏡反射像が相殺されるので、瞳孔Ｐを容易に検出できる。

ここで、明瞳孔画像を取得したタイミングと暗瞳孔画像を取得したタイミングとの間には、時間差が存在する。そして、被験者の頭部が移動すると、両画像内での瞳孔中心点ＰＣがずれるので、好適な差分画像を得ることが難しい。なぜならば、瞳孔中心点ＰＣがずれた状態で差分を得ると、差分画像における瞳孔Ｐが変形する。また、差分画像には、瞳孔Ｐのダミーが生じることがある。さらに、顔の輪郭など空間的に画素値の変化が大きいところは、差分により相殺できない部分が生じる。

被験者の動きに起因して、差分による相殺ができないものがさらに存在する。例えば、レンズやフレームにより生じる眼鏡反射像である。相殺できなかった要素は、瞳孔Ｐとして誤って検出される可能性がある。すなわち、瞳孔Ｐの誤検出を生じさせる。被験者の動きに起因する問題を解決する案として、例えば、２０００ｆｐｓ等の高速度カメラの適用が挙げられる。しかし、下記文献５に開示されるように高速度カメラはコスト的に不利である。
文献５：増田和也、海老澤嘉伸、「近赤外光源と高速度ビデオカメラによる瞳孔と角膜反射検出法の改善」、映像情報メディア学会誌、Ｖｏｌ．６６、Ｎｏ．２、４６−５５ページ、２０１２年。

発明者らは、通常のカメラを用いた場合でも、被験者の動きに起因する問題を解決し得る技術を文献６、７にて提案している。
文献６：海老澤嘉伸、中島彩、「角膜反射を利用した瞳孔中心点ＰＣ検出の高精度化」、映像情報メディア学会学会誌、Ｖｏｌ．６２、Ｎｏ．７、１１２２−１１２６ページ、２００８年。
文献７：特開２００８−２９７０２号公報。

ところで、眼鏡反射を相殺可能な光源では、瞳孔強調用発光素子による角膜反射点ＧＣと眼鏡反射相殺用発光素子による角膜反射点ＧＣが一体化して大きな塊として画像Ｇｎに含まれることがある。その結果、角膜中心検出精度が低くなる。これは、暗瞳孔を強調するための発光素子と、眼鏡反射を相殺するための発光素子との間の角度が瞳孔Ｐから見込んだ角度が十分に大きくないときに特に生じ得る。中心検出精度の低下は、角膜反射による差分位置補正の精度の低下を招き、結果的に、瞳孔中心点の検出精度の低下も招く。従って、注視点検出においてもばらつきが大きくなる傾向を生じさせる。

発明者らは、下記文献８、９において、上記の問題を解決する技術を開示する。暗瞳孔強調用発光素子２個を、眼鏡反射相殺用光源から角度的に大きく離れた位置、左右対称の位置にそれぞれ設置する。さらに、眼鏡反射相殺用発光素子の光量を、暗瞳孔強調用発光素子の光量に比較して小さくする（例えば１／３０）。その結果、明瞳孔用発光素子による眼鏡反射像は差分により十分に相殺される。
文献８：望月幸平・齊藤翔太、福元清剛、海老澤嘉伸、「遠隔注視点検出装置の眼鏡反射対応のための新光源と差分位置補正法の提案」、２０１４年映像情報メディア学会冬季大会、２０１４年。
文献９：特開２０１６−９５５８４号公報。

文献８、９に開示した技術は、次のとおりである。すなわち、２個の暗瞳孔強調用光源の中点の位置は、明瞳孔用発光素子の位置（カメラの位置）に相当する。従って、２個の暗瞳孔強調用発光素子によって生じる２個の角膜反射点ＧＣのそれぞれの位置を検出して、それらの中点を暗瞳孔画像における仮想的な角膜反射点ＧＣとする。当該角膜反射点ＧＣと明瞳孔画像で得られる角膜反射点ＧＣと位置合わせを行う。その後、明瞳孔画像と暗瞳孔画像とに基づく差分画像を得る。そして、差分画像を用いて瞳孔中心点を検出する。文献９で提案した技術は、複数の暗瞳孔強調用光源をあらゆる位置に設定した場合に差分を得るときに位置補正を行うものである。

ところが、明瞳孔用発光素子と暗瞳孔強調用発光素子とは、互いに異なる位置に配置している。この配置の相違に起因して、明瞳孔用光源に起因する顔の画素値分布は、暗瞳孔強調用光源に起因する顔の画素値分布と異なる。差分処理では、差分後における非瞳孔領域の画素値が零となる結果が理想である。しかし、明瞳孔画像の非瞳孔領域と、暗瞳孔画像の非瞳孔領域との間で画素値分布が異なると、差分画像における非瞳孔領域の画素値が零とならない。従って、差分画像においては、非瞳孔領域の画素値が場所によって変化してしまう。

例えば、画像Ｇｎにおいて瞳孔Ｐが占める面積が大きい場合には、差分画像において瞳孔領域の画素値が非常に高くなることがある。従って、非瞳孔領域の画素値が多少変化しても、瞳孔検出に問題はない。

しかし、周囲が明るいといった理由によって、画像Ｇｎにおいて瞳孔Ｐが占める面積が小さくなった場合には、瞳孔領域の画素値が小さくなる。従って、瞳孔検出に問題が生じる可能性がある。例えば、非瞳孔領域に瞳孔Ｐよりも画素値が高くなる部分（例えば眼鏡反射や顔画像の境界、鼻の影）が生じることがある。このような部分と瞳孔Ｐとを含む画像を二値化すると、眼鏡反射などが瞳孔Ｐとして誤って検出される場合が生じ得る。その場合は、検出された要素が、瞳孔Ｐであるか否かを評価する。当該評価には、要素の特徴や、目、鼻、口といった部位の位置関係を利用できる。

しかし、そのような複雑な画像処理を画像全体に対して行うと、長い処理時間を要する。その結果、瞳孔Ｐを検出する処理に０．３秒の時間を要したとする。すると、画像Ｇｎの取得は、０．３秒に１回となる。つまり、画像取得処理Ａｎは、１秒間に３回行われる。

処理時間の長期化の問題に対して、以下のような解決案がある。

まず、画像全体から瞳孔Ｐを検出する。そして、検出された瞳孔Ｐを中心とするウインドウを設定する。次に、別の画像に対して瞳孔Ｐを検出する処理を行う。このとき、処理の対象は画像全体ではなく、ウインドウ内だけである。この処理によれば、画像処理の対象が小さくなるので、処理に要する時間を短縮できる。例えば、ウインドウ内を対象とした処理は、０．００５秒の時間で足りる。そうすると、例えば、６０ｆｐｓで画像を取得できるカメラにおいても、確実にフレームごとに瞳孔Ｐを検出できる。

なお、我々は、このウインドウを与えた上で、角膜反射による位置ずれ補正も行っている。しかし、画像を取得し、画像全体から瞳孔Ｐを検出するまでに０．３秒の時間を要するとすれば、瞳孔Ｐが検出できない場合が生じ得る。すなわち、被験者の頭部が動くと、次に取得される画像Ｇｎにおいては、瞳孔Ｐが別の位置に移動している。従って、ウインドウ内に瞳孔Ｐが存在しない場合が生じ得る。そうすると、真の角膜反射が検出できないので、角膜反射による位置ずれ補正も正しく機能しない。ひいては、瞳孔Ｐが検出できないことに通ずる。その結果、ウインドウを解除し、再び、画像全体から瞳孔Ｐを０．３秒かけて探索する。

以上の内容をまとめると、瞳孔検出は、以下の問題を有する。つまり、画像処理に時間を要した場合に、その間に頭部が動くと、その次に取得される画像にでは、大きくずれた位置に瞳孔部が移動している。従って、最初に得られた瞳孔部を用いたウインドウは適切でない場合があり得る。その結果、瞳孔を検出することができない。

第３実施形態に係る注視点追跡方法によれば、特徴として瞳孔中心点ＰＣを追跡する。そして、この処理には、第１実施形態及び第２実施形態において説明した画像特徴追跡方法を適用する。この画像特徴追跡方法によれば、瞳孔中心点ＰＣを好適に追跡することが可能になる。従って、瞳孔中心点ＰＣを利用する注視点Ｑも確実に追跡することができる。

なお、特徴として選択し得る要素は、瞳孔中心点ＰＣに限定されない。特徴として角膜球中心点を選択してもよい。例えば、発明者らによる下記の文献１０は角膜球中心点を検出する技術を開示する。
文献１０：国際公開第２０１５／１９０２０４号。

また、特徴として２個の瞳孔Ｐを選択してもよい。この選択は、２個の瞳孔中心点ＰＣの間の三次元距離が一定であるという仮定に基づいている。例えば、発明者らによる下記の文献１１は、２個の瞳孔Ｐを利用した注視点の検出技術を開示する。
文献１１：国際公開第２０１３／１７６２６５号。

この構成によれば、カメラ２が２台の場合では、一方のカメラ２で左右どちらかの瞳孔Ｐが眼鏡反射などで検出できないことがあっても、他方のカメラ２で補完される。従って、ウインドウを解除することなく、追跡を継続することが可能になる。また、カメラ２が３台であるとき、そのうち２台のカメラ２で瞳孔Ｐが検出されたとする。そうすると、残りの１台のカメラ２の画像において、瞳孔Ｐが含まれていなくとも、残りの１台のカメラ２の画像における瞳孔Ｐの位置を推定できる。従って、ウインドウを与え続けることができる。つまり、実際にはカメラ画像に特徴が映っていなくても追跡処理を継続することができる。

さらに、特徴として、２個の瞳孔Ｐと、２個の鼻孔の中点である鼻孔間中点との組み合わせを選択してもよい。これらの瞳孔Ｐ及び鼻孔を含む画像は、１台のカメラ２によって得てもよい。例えば、発明者らによる下記の文献１２、１３は２個の瞳孔Ｐと鼻孔間中点との組み合わせを対象とした技術を開示する。具体的には、特徴間の距離が一定とする条件のもと、それらの瞳孔Ｐと鼻孔間中点を求めると同時にそれによって較正される三角形の位置と方向を求め次のフレーム（タイミング）でそれらを予測し、さらにそれらから同フレームの瞳孔中心点と鼻孔間中点を求める。なお、実際に追跡処理の対象となる部位は、鼻孔である。追跡の対象（つまり特徴）としては、鼻孔としてもよいし、鼻孔の情報から得られる鼻孔間中心として処理を行うこともできる。
文献１２：特開２００７−２７１５５４号公報。
文献１３：国際公開第２０１０／０１０９２６号。

さらに、鼻孔を追跡する場合には、上述した差分位置補正を適用してもよい。この場合における差分位置補正量とは、１台のカメラ２が取得した画像から瞳孔と鼻孔とを検出する際に、画像中における鼻孔の移動量をいう。例えば、発明者らによる下記の文献１４は鼻孔を検出対象とした技術を開示する。
文献１４：特開２００７−２６８０２６号公報。

さらに、特徴として被験者Ｈの鼻孔や口を選択してもよい。例えば、発明者らによる下記の文献１５、１６は鼻孔又は口を検出対象とした技術を開示する。
文献１５：特開２００７−２６８１６４号公報。
文献１６：国際公開第２０１６／１５９２５５号。

さらに、特徴として顔画像Ｗｎに含まれる被験者Ｈの眼を選択してもよい。この場合には、図１１における探索処理Ｄ１Ｌ、Ｄ１Ｒにおいて、特徴として被験者Ｈの眼を包含する領域を選択し、ウインドウを設定する。被験者Ｈの眼を検出する方法は、文献１７に開示された技術を利用してよい。
文献１７：松本吉央、アレクサンダー ツィリンスキー、「視線方向及び頭部姿勢のリアルタイムステレオ計測アルゴリズム」、第４回IEEE（米国電気電子協会）、顔およびジェスチャーの自動認識に関する国際会議プロシーディングス（予稿）、４９９〜５０４ページ、２０００年３月２６〜３０日。（Yoshio Matsumoto、Alexander Zelinsky、「An Algorithm for Real-Time Stereo VisionImplementation of Head Pose and Gaze Direction Measurement」、 Proceedings of the Fourth IEEE International Conference on AutomaticFace and Gesture Recognition 2000、Page 499 -504、March 26‐30、2000）。

眼を含むウインドウには、瞳孔Ｐ及び角膜も含まれる。従って、眼を含むウインドウから、瞳孔中心点ＰＣ及び角膜反射点ＧＣを検出することが可能である。そこで、後追い処理ＣｎＬ、ＣｎＲ及び追跡処理ＲｎＬ、ＲｎＲでは、眼を含むウインドウを設定（Ｓ２１）した後に、当該ウインドウから瞳孔中心点ＰＣを検出する（Ｓ２３）と共に角膜反射点ＧＣを検出する（Ｓ２４）。瞳孔中心点ＰＣ及び角膜反射点ＧＣを得た後の処理（注視点追跡処理）は、第３実施形態と同様である。

以下、第３実施形態に係る注視点追跡方法の変形例２、３について説明する。

＜変形例２＞
第３実施形態では、ｉ＋１番目の顔画像Ｗｉ＋１Ｌに対するウインドウを、ｉ番目の顔画像ＷｉＬに設定したウインドウに基づいて設定した。具体的には、ｉ番目の顔画像ＷｉＬにおける瞳孔中心点ＰＣからｉ＋１番目の顔画像Ｗｉ＋１Ｌにおける瞳孔中心点ＰＣを推定する。この推定により、特徴の移動を示す移動ベクトルが得られる。そして、当該移動ベクトルを利用してウインドウの位置をずらすことにより、ｉ＋１番目の顔画像Ｗｉ＋１Ｌにおけるウインドウが設定される。つまり、特徴の移動の推定は、顔画像ＷｎＬ、ＷｎＲに設定される二次元平面においてなされる。

変形例２では、特徴の移動の推定を三次元空間内において行う。つまり、単に一台のカメラ２の顔画像において特徴を追跡するものではなく、複数のカメラ２で捉えた顔画像ＷｎＬ、ＷｎＲに含まれる特徴の三次元的な位置を三次元的に推定する。そして、当該三次元位置を各カメラ２の顔画像ＷｎＬ、ＷｎＲ上における座標に変換してウインドウを与える。以下、特徴として瞳孔中心点ＰＣを選択した場合を例に説明する。

図１２は、変形例２に係る注視点追跡方法の主要な工程を示すフロー図である。図１２に示されるように、変形例３に係る特徴を検出する工程Ｓ２０Ａは、ウインドウを設定する工程Ｓ２１Ａを有する。ウインドウを設定する工程Ｓ２１Ａは、ｉ番目の顔画像ＷｉＬにおける瞳孔中心点ＰＣの三次元座標は、ｉ番目の注視点追跡処理（工程Ｓ３０）の工程Ｓ３１において得られる。そこで、ｉ番目までの顔画像ＷｉＬにおける瞳孔中心点ＰＣの三次元座標の履歴を利用して、ｉ＋１番目の顔画像Ｗｉ＋１Ｌにおける瞳孔中心点ＰＣの座標を推定する（工程Ｓ２１ａ）。次に、推定した瞳孔中心点ＰＣの三次元座標を、顔画像Ｗｉ＋１Ｌの座標系における二次元座標に変換する（工程Ｓ２１ｂ）。この処理には、ピンホールモデルをモデルに基づく座標変換処理を利用できる。そして、顔画像Ｗｉ＋１Ｌの座標系に変換された推定された瞳孔中心点ＰＣを利用して、ウインドウを設定する（工程Ｓ２１ｃ）。

なお、特徴の移動の推定を三次元空間内において行う変形例２において、追跡の対象は、瞳孔中心点ＰＣに限定されない。例えば、２個の瞳孔中心点ＰＣに加えて、鼻孔を追跡してもよい。このような技術として、発明者らによる下記文献１８、１９に開示された技術を用いてもよい。
文献１８：特開２００５−２６６８６８号公報。
文献１９：特開２００７−２６０７３号公報。

＜変形例３＞
第３実施形態において、差分画像を得る工程Ｓ２２では、例えば２枚の顔画像ＷｎＬ、Ｗｎ＋１Ｌに対して位置ずれを補正する処理を行った後に、差分画像を得る処理を行った。この明瞳孔画像と暗瞳孔画像とに対する差分処理によれば、顔画像ＷｎＬ、Ｗｎ＋１Ｌに含まれる瞳孔以外の要素が相殺される。従って、差分画像は、強調された瞳孔Ｐを含む。しかし、差分処理によって、瞳孔以外の別の要素が相殺されない場合もあり得る。例えば、顔画像ＷｎＬ、Ｗｎ＋１Ｌに含まれる太陽光などの周囲光（外乱光）は、差分処理によって相殺されないこともある。

例えば、発明者らによる下記の文献２０、２１は、外乱光を好適に相殺する技術を開示する。これらの技術によれば、明瞳孔画像及び暗瞳孔画像に加えて、無照明画像を得る。そして、明瞳孔画像と無照明画像との差分画像を生成すると共に、暗瞳孔画像と無照明画像との差分画像を生成する。これらの差分画像によれば、それぞれの光源による像だけが得られる。従って、外乱光の像を除去して容易に瞳孔Ｐや角膜反射点ＧＣを検出できる。
文献２０：特開２００８−２４６００４号公報。
文献２１：国際公開第２０１６／０２７６２７号。

第３実施形態に係る注視点追跡方法は、無照明画像を用いた差分画像を利用する上記技術にも適用してもよい。

図１３に示されるように、変形例３に係る注視点追跡方法は、顔画像を得る工程Ｓ１０Ａと、特徴を検出する工程Ｓ２０Ａと、注視点を検出する工程Ｓ３０と、を有する。これら工程Ｓ１０Ａ、Ｓ２０Ａ、Ｓ３０が繰り返し実行されることにより、注視点が追跡される。

工程Ｓ１０Ｂは、工程Ｓ１１ａ、工程Ｓ１１ｂ、工程Ｓ１２ａ、工程Ｓ１２ｂに加えて、さらに、無照明画像を得る工程Ｓ１３ａ、工程Ｓ１３ｂ、工程Ｓ１４ａ、工程Ｓ１４ｂを有する。例えば、工程Ｓ１０Ｂは、工程Ｓ１１ａ、工程Ｓ１３ａ、工程Ｓ１１ｂ、工程１３ｂの順に実施される。そして、これらの処理に対して所定のずれ時間をもって工程Ｓ１２ａ、工程Ｓ１４ａ、工程Ｓ１２ｂ、工程１４ｂがこの順に実施される。

工程Ｓ２０Ｂは、ウインドウを設定する工程Ｓ２１と、差分画像を得る工程Ｓ２２Ｂと、瞳孔中心点ＰＣを得る工程Ｓ２３と、角膜反射点ＧＣを得る工程Ｓ２４と、を有する。差分画像を得る工程Ｓ２２Ｂは、明瞳孔画像と無照明画像との差分画像を得ると共に、暗瞳孔画像と無照明画像との差分画像を得る。これらの差分画像は、それぞれ被処理画像とされて、瞳孔中心点を検出する処理（工程Ｓ２３）及び角膜反射点ＧＣを検出する処理（工程Ｓ２４）に供される。

ここで、無照明画像は、カメラ２が有する光源に起因する角膜反射点ＧＣを有しない。そうすると、取得した画像そのものを被処理画像として角膜反射点ＧＣを検出するとした場合に、無照明画像からは角膜反射点ＧＣが検出されないのでエラーが生じる可能性がある。一方、変形例３では、角膜反射点ＧＣの検出には、差分画像を供する。この差分画像には、明瞳孔画像又は暗瞳孔画像に起因する角膜反射点ＧＣが含まれる。従って、角膜反射点ＧＣを検出することが可能である。従って、複数の画像に基づく被処理画像を検出対象とする処理によれば、取得された個々の画像に必ずしも特徴が含まれていなくてもよい。

＜実施例１＞
コンピュータを用いて画像を処理する場合、カメラが画像データを得るステップ（露光処理）と、当該画像データをコンピュータに転送するステップ（転送処理）とを行う。近年では、画像のデータ量が増加傾向にあり、転送処理に要する時間が、露光処理に要する時間よりも長くなることがある。すなわち、露光処理よりも転送処理の方が律速段階となっている。そこで、画像データの全体を転送せずに、画像データの一部を転送するカメラが存在する。このようなカメラによれば、画像データの全体を転送する場合に比較して、転送速度を高めることができる。そこで、転送すべき領域を種々の情報によって指定し、当該領域のみをコンピュータに転送するカメラがある。例えば、転送すべき領域は、水平ラインの番号によって指定してもよいし、２個の座標によって指定してもよい。しかし、このようなカメラでは、最初の画像全体の転送が終わるまでは、次の小領域の転送を行うことができない。

第１実施形態では、画像取得処理Ａｎは、露光処理Ｅｎと転送処理Ｔｎを連続して行うものとした。しかし、画像Ｇｎのデータ量が多くなると、転送処理Ｔｎに要する時間が長くなる。転送処理Ｔｎに要する時間が長くなりすぎると、１回の画像取得処理Ａｎに要する時間が、サンプリング周期ＳＡより長くなる場合も生じ得る。そこで、実施例１では、上述したように、転送処理Ｔｎにおいて、画像Ｇｎの一部を転送する技術を取り入れた実施態様を説明する。

図１４は、実施例１に係る画像特徴追跡方法を説明するための概念図である。実施例１の実施に用いるカメラは、画像Ｇｎのデータを記録するメモリを有する。このメモリは、所定枚数（例えば１００枚）の画像Ｇｎのデータを記録する。そして、カメラは、予め設定したサンプリング周期ＳＡに基づいて露光処理Ｅｎを行い、画像Ｇｎのデータをメモリに記録する。また、カメラは、逐次に指定されるタイミングで露光処理Ｅｎを行い、画像Ｇｎのデータをメモリに記録してもよい。そして、カメラは、１０１枚目の画像Ｇｎをメモリにおける１枚目の記録領域に記録する。そうすると、カメラは、常に最新の１００枚の画像Ｇｎを記録する。

実施例１において、ウインドウの処理は、（ａ）コンピュータによる特徴の検出するステップと、（ｂ）検出された特徴を用いてウインドウを指定するステップと、（ｃ）ウインドウの情報をカメラに出力するステップと、（ｄ）指定された次の画像Ｇｎにおけるウインドウのデータをカメラからコンピュータへ転送するステップと、を含む。

実施例１では、露光処理Ｅ１によって画像Ｇ１を得る。そして、当該画像Ｇ１の全体を転送処理Ｔ１においてコンピュータへ転送する。この転送処理Ｔ１には、およそ１．５フレーム分の時間を要する。そして、転送された画像Ｇ１に対して探索処理Ｄ１を行う。この探索処理Ｄ１により、ウインドウが設定される。つまり、次に行われる後追い処理Ｃ１に用いる画像Ｇ２は、このウインドウに対応する領域のデータのみがあればよい。従って、転送処理Ｔ２では、ウインドウによって指定される画像Ｇ２の一部の領域のみをコンピュータに転送する。このような処理によれば、カメラのメモリからコンピュータに転送される画像Ｇｎのデータ量を著しく低減することができる。従って、後追い処理Ｃｎ及びリアルタイム処理Ｒｎの速度を高めることができる。

＜実施例２＞
特徴が移動しているように見えても、画像Ｇｎにおける特徴の位置がほとんど変化しない場合がある。例えば、実施例１で述べたような注視点の追跡を行うとき、被験者Ｈの頭部が常に振動し、当該振動に伴って瞳孔中心点ＰＣが動いているように見えることがある。しかし、画像Ｇｎに含まれた瞳孔中心点ＰＣは、フレーム間でほとんど変化しないことがある。この場合には、明瞳孔画像における瞳孔中心点ＰＣと暗瞳孔画像における瞳孔中心点ＰＣとの位置ずれは小さい。従って、第１実施形態に係る画像特徴追跡方法を利用した瞳孔検出が可能である。

図１５は、参考例９に係る画像特徴追跡方法を説明するための概念図である。瞳孔中心点ＰＣが移動する様子を示す図である。つまり、図１５は、移動する瞳孔中心点ＰＣを１３枚の画像Ｇ１〜Ｇ１３に捉え、当該画像Ｇ１〜画像Ｇ１３を重ね合わせたものである。プロットＶ１〜Ｖ１３は、それぞれの画像Ｇ１〜Ｇ１３に含まれた瞳孔中心点ＰＣを示す。これらのプロットＶ１〜Ｖ１３を利用して、瞳孔中心点ＰＣを検出する。図１５の例によれば、瞳孔中心点ＰＣは、プロットＶ１からプロットＶ１３へ弧状を描きつつ移動している。瞳孔中心点ＰＣは、プロットＶ１からプロットＶ７へ移動する間に徐々に加速する。そして、瞳孔中心点ＰＣは、プロットＶ７からプロットＶ１３へ移動する間に徐々に減速する。また、画像Ｇ１、Ｇ３、Ｇ５、Ｇ７、Ｇ９、Ｇ１１、Ｇ１３（プロットＶ１、Ｖ３、Ｖ５、Ｖ７、Ｖ９、Ｖ１１、Ｖ１３）は、明瞳孔画像であり、画像Ｇ２、Ｇ４、Ｇ６、Ｇ８、Ｇ１０、Ｇ１２（プロットＶ２、Ｖ４、Ｖ６、Ｖ８、Ｖ１０、Ｖ１２）は、暗瞳孔画像であるとする。

瞳孔中心点ＰＣを得るために、明瞳孔画像と暗瞳孔画像の差分を得る。まず、画像Ｇ１（明瞳孔画像）と、画像Ｇ２（暗瞳孔画像）と、の差分を得る。画像Ｇ２におけるプロットＶ２の位置は、画像Ｇ１におけるプロットＶ１の位置とほぼ変わらず、重複している。そこで、画像Ｇ２と画像Ｇ１との間の位置ずれ補正なしに、画像Ｇ２と画像Ｇ１の差分を得る。そして、差分画像から差分瞳孔（重複部）を検出する。

次に、ウインドウを設定する。ウインドウは、矩形であり差分画像から検出された差分瞳孔を含む。次に、画像Ｇ１に対してウインドウ（第１探索領域）を適用し、画像Ｇ１における角膜反射点ＧＣを検出する。同様に、画像Ｇ２に対してウインドウ（第２探索領域）を適用し、画像Ｇ２における角膜反射点ＧＣを検出する。画像Ｇ１と画像Ｇ２との間には瞳孔Ｐの移動が生じているので、画像Ｇ１の角膜反射点ＧＣの位置に対して画像Ｇ２の角膜反射点ＧＣの位置がずれる。

次に、画像Ｇ１における瞳孔中心点ＰＣと画像Ｇ２における瞳孔中心点ＰＣとを得る。画像Ｇ１における瞳孔中心点ＰＣを得る場合には、画像Ｇ２を移動させて画像Ｇ１に一致させる。具体的には、画像Ｇ２の角膜反射点ＧＣ２（第２角膜反射点）が画像Ｇ１の角膜反射点ＧＣ１（第１角膜反射点）に一致するように、画像Ｇ２を移動させる。このとき、画像Ｇ２は画像全体ではなく、画像Ｇ２におけるウインドウ内の一部領域を移動させてもよい。そして、画像Ｇ２の移動を行った後に、画像Ｇ１のウインドウ内画像と画像Ｇ２のウインドウ内画像との差分を得る。この差分によれば、画像Ｇ１における瞳孔中心点ＰＣが得られる。一方、画像Ｇ２における瞳孔中心点ＰＣを得る場合には、画像Ｇ１を移動させて画像Ｇ２に一致させる。具体的には、画像Ｇ１の角膜反射点ＧＣ１が画像Ｇ２の角膜反射点ＧＣ２に一致するように、画像Ｇ１を移動させる。そして、画像Ｇ１の移動を行った後に、画像Ｇ１と画像Ｇ２の差分を得る。この差分によれば、画像Ｇ２における瞳孔中心点ＰＣが得られる。

以上のステップにより、画像Ｇ１の瞳孔中心点ＰＣと、画像Ｇ２の瞳孔中心点ＰＣが得られた。次に、画像Ｇ３における瞳孔中心点ＰＣを予測する。具体的には、画像Ｇ１を得たタイミングと画像Ｇ２を得たタイミングの時間差を得る。そして、瞳孔中心点ＰＣから瞳孔中心点ＰＣへの移動ベクトルを得る。そして、瞳孔中心点ＰＣの移動は、画像Ｇ１〜Ｇ３において等速であると仮定する。そうすると、移動ベクトルと時間差とに基づく等速予測モデルが成り立つ。そして、等速予測モデルを用いて、画像Ｇ３における瞳孔中心点ＰＣの位置を予測する。つまり、画像Ｇ３に対して瞳孔中心点ＰＣを含むウインドウを設定する。次に、ウインドウを利用して画像Ｇ３における角膜反射点ＧＣ３を検出する。次に、角膜反射点ＧＣｎを利用した位置ずれ補正を行った後に、画像Ｇ２と画像Ｇ３との差分画像を得る。具体的には、画像Ｇ３の角膜反射点ＧＣ３と画像Ｇ２の角膜反射点ＧＣ２とが一致するように、画像Ｇ２を移動させる。そして、画像Ｇ２と画像Ｇ３の差分を得る。

以下、画像Ｇ４〜Ｇ１３まで同様の処理を繰り返す。その結果、画像Ｇ１〜Ｇ６、Ｇ１１からＧ１３の瞳孔中心点ＰＣは検出できる。しかし、画像Ｇ７、Ｇ８、Ｇ９、Ｇ１０の瞳孔中心点ＰＣは検出できない。

画像Ｇ７の瞳孔中心点ＰＣを検出するとき、まず、画像Ｇ５及び画像Ｇ６に基づく等速予測モデルを利用して画像Ｇ７における瞳孔中心点ＰＣの位置を予測する。つまり、画像Ｇ７に予め定められた大きさのウインドウを設定する。しかし、画像Ｇ６から画像Ｇ７への移動距離が大きいため、移動速度が変化すると（加速すると）予測が難しく、瞳孔中心点ＰＣが予測したウインドウ内に存在しない。この理由から、画像Ｇ７の瞳孔中心点ＰＣが検出できない。一方、画像Ｇ１１及び画像Ｇ１２にあっては、減速しており、瞳孔中心点ＰＣの移動距離が短くなる。そうすると、瞳孔中心点ＰＣの位置予測に成功し、ウインドウ内において瞳孔中心点ＰＣが検出できる。つまり、瞳孔Ｐ（特徴）の移動速度が大きすぎると、等速予測モデルに基づく予測が適合しなくなる。従って、瞳孔Ｐの移動速度が小さくなると等速予測モデルに基づく予測が適合できようになり、瞳孔中心点ＰＣの検出に成功する。具体的には、瞳孔中心点ＰＣの移動速度が減速し、画像Ｇ１１と画像Ｇ１２において、重なりが大きくなる。そうすると、上述の処理を行うことで画像Ｇ１１〜Ｇ１３の瞳孔中心点ＰＣの検出に成功する。要するに、瞳孔中心点ＰＣの移動速度が高速になると、次の画像での瞳孔中心点ＰＣの予測が難しくなる。従って、瞳孔中心点ＰＣの移動速度が減速するまでは瞳孔中心点ＰＣの検出に失敗する。従って、瞳孔中心点ＰＣの検出数が減少してしまう。

実施例２に係る画像特徴追跡方法によれば、瞳孔中心点ＰＣの検出数が減少するという問題を改善できる。

図１６は、実施例２に係る画像特徴追跡方法を説明するための概念図である。実施例２に係る画像特徴追跡方法は、まず、上述した参考例９と同様の処理を行う。その結果、画像Ｇ１〜Ｇ６、Ｇ１１からＧ１３の瞳孔中心点ＰＣは検出できるが、画像Ｇ７、Ｇ８、Ｇ９、Ｇ１０の瞳孔中心点ＰＣは検出できない。

ところで、画像Ｇ１１及び画像Ｇ１２に基づく等速予測モデルによれば、画像Ｇ１３の瞳孔検出に成功した。そうすると、画像Ｇ１１及び画像Ｇ１２に基づく等速予測モデルによれば、画像Ｇ１０における瞳孔中心点ＰＣを好適に予測できると考えられる。つまり、画像Ｇ１１及び画像Ｇ１２に基づく等速予測モデルに基づいて、過去の画像Ｇ１０における瞳孔中心点ＰＣを予測し、画像Ｇ１０にウインドウを設定する。そして、画像Ｇ１０は、当該ウインドウに基づいて瞳孔Ｐを検出する。この処理は、上述のとおり、ウインドウ内における角膜反射点ＧＣｎの検出と、画像Ｇｎの位置ずれ補正と、画像Ｇｎの差分とを含む。要するに、画像Ｇｎと画像Ｇｎ＋１とを利用して、過去の画像Ｇｎ−１の瞳孔中心点ＰＣを検出する。つまり、画像Ｇｎの取得順とは逆の順番に基づいて瞳孔中心点ＰＣを検出する。このような処理は、第２実施形態で述べた「後戻り法」と同じ主旨である。

後戻り法によれば、参考例９では検出できなかった画像Ｇ７、Ｇ８、Ｇ９、Ｇ１０の瞳孔中心点ＰＣのうち、画像Ｇ８〜Ｇ１０の瞳孔中心点ＰＣが検出できる。従って、参考例９の処理にさらに後戻り法を適用すると、画像Ｇ１〜Ｇ６、及び画像Ｇ８〜Ｇ１３の瞳孔中心点ＰＣを検出できる。従って、瞳孔Ｐの検出数を向上させることができる。

ただし、この方法は、完全なリアルタイム性はない。しかし、遡るフレーム数が、例えば、３枚であれば、カメラを６０ｆｐｓのフレームレートの駆動した場合、（１／６０）［ｓ］×３［枚］＝１／２０［ｓ］＝０．０５［ｓ］でしかない。従って、ほぼリアルタイム性があるといえる。

もしくは、リアルタイム性を要さない場合、後戻り処理は、全ての計測が追ってから行ってもよい。そのようなケースは、画像Ｇｎを被験者に見せて、被験者が何処に主に注意を示したかを注視点計測によって計測する場合などがある。リアルタイム性を要さない場合は、実施例２のように毎時刻に画像Ｇｎを得て、後から解析してもよい。

＜実施例３＞
後戻り法は、図１６に示される状況とは別の状況に適用しても瞳孔検出の検出数の向上に寄与する。図１７及び図１８は、後戻り法によって瞳孔Ｐの検出数が向上する状況の例示である。図１７及び図１８に示される状況に適用される処理方法（つまり後戻り法）自体は、実施例２にて説明した後戻り法とほぼ同様である。

まず、図１７に示されるように、参考例９に示した瞳孔追跡処理を行う。つまり、画像Ｇ１〜Ｇ１３について、明瞳孔画像と暗瞳孔画像の差分を利用して、瞳孔中心点ＰＣを検出する。ここで、図１７に示した過程では、瞳孔中心点ＰＣの誤検出が生じている。具体的には、画像Ｇ４〜Ｇ８において、プロットＶ４〜Ｖ８が正しい瞳孔中心点ＰＣを示す。一方、画像Ｇ４〜Ｇ８には、瞳孔Ｐとは別の要素（プロットＶＡ〜ＶＥ）が存在する。その結果、画像Ｇ１〜Ｇ３では、プロットＶ１〜Ｖ３が瞳孔中心点ＰＣとして検出された。また、画像Ｇ９〜Ｇ１３では、プロットＶ９〜Ｖ１３が瞳孔中心点ＰＣとして検出された。これら処理結果は、正しい。一方、画像Ｇ４〜Ｇ８では、プロットＶＡ〜ＶＥが瞳孔中心点ＰＣとして検出された。この処理結果は、誤りである。

次に、図１８に示されるように、後戻り法を行う。この後戻り法では、画像Ｇ１３を第１の画像とし、画像Ｇ１３、画像Ｇ１２、画像Ｇ１１の順に、画像Ｇ１まで瞳孔中心点ＰＣの検出を行う。画像Ｇ４では、瞳孔中心点ＰＣを示すプロットＶ４の近くに、別の要素を示すプロットＶＡが存在していた。従って、プロットＶＡが瞳孔中心点ＰＣであるとする誤検出が生じた。一方、画像Ｇ８にもプロットＶＥが含まれるが、プロットＶ８とは離間している。従って、プロットＶＥを瞳孔中心点ＰＣとして検出する可能性は低い。従って、画像Ｇ１３から画像Ｇ１に向けて瞳孔中心点ＰＣの追跡処理を行った場合には、プロットＶＡ〜ＰＥを瞳孔Ｐであるとする誤検出を防止できる。

そして、画像の取得順に従って瞳孔中心点ＰＣの追跡処理を行った結果と、取得順とは逆の順に従って瞳孔中心点ＰＣの追跡処理を行った結果と、を比較する。そして、より確からしい結果を、正しい結果として採用する。その結果、誤検出数を低減することが可能になるので、瞳孔検出の検出率を向上させることができる。

＜実験例＞
実施例３に示した内容について、後戻り法の効果を確認した。つまり、後戻り法を適用することによって、瞳孔Ｐの正検出率が高まることを実験により確認した。

実験例では、３名の被験者Ｈ１、Ｈ２、Ｈ３に対して瞳孔検出を試みた。被験者Ｈ１、Ｈ２、Ｈ３は、眼鏡を着用している。従って、誤検出の要因となる眼鏡反射が生じ得る。被験者Ｈ１、Ｈ２、Ｈ３の頭部とカメラとの間の距離は、約８０ｃｍに設定した。また、被験者Ｈ１、Ｈ２、Ｈ３は、首を中心として頭部を左右に振った。頭部の往復速度は、約５秒間で１往復とした。なお、頭部の移動は、画像Ｇｎにおいて眼鏡反射と瞳孔Ｐが重ならないように留意すると共に、眼鏡反射が瞳孔Ｐと近接するように留意した。

カメラのサンプリング周期は、１／６０ｓｅｃとした。画像Ｇｎの取得期間は、５秒間とした。従って、３００枚の画像Ｇｎを得た。

また、室内環境は蛍光灯が点灯している状況であり、瞳孔近傍の照度は約２６０ルクスとした。明瞳孔用光源の発光期間は、画像Ｇｎにおいて明瞳孔が飽和せず、かつ角膜反射が検出できるように調整した。この発光期間の調整は、被験者Ｈ１、Ｈ２、Ｈ３ごとに行った。また、明瞳孔用光源の強度は、高照度環境において小さくなった瞳孔Ｐにおける画素値を大きくするために、露光期間において最大強度とした。暗瞳孔用光源は、室内環境及び高照度環境において、顔領域の画素値を大きくするために、露光期間において補助光源（外側ＬＥＤ）を発光させた。

後追い法を適用しない方法（比較例）として、上記文献８に開示されたプログラムを用いた。

瞳孔検出の結果について、正検出、非検出、誤検出に分類した。正検出とは、画像Ｇｎから瞳孔Ｐ及び角膜反射点ＧＣが正しく検出されたことをいう。非検出とは、画像Ｇｎから瞳孔Ｐ及び角膜反射点ＧＣを検出できないことをいう。例えば、被験者Ｈ１、Ｈ２、Ｈ３がまぶたを閉じているような場合である。誤検出とは、眼鏡反射や眼鏡フレーム反射等の真の瞳孔Ｐ及び角膜反射点ＧＣでないものを瞳孔Ｐ又は角膜反射点ＧＣとして検出されたことをいう。

まず、画像Ｇｎを取得した順に辿ることにより（図１７参照）、瞳孔中心点ＰＣの検出を行った。その結果、眼鏡反射を瞳孔Ｐとして検出する誤検出が生じた。そして、誤検出が生じた後、数フレームに亘って眼鏡反射を瞳孔Ｐとして検出し続けた。次に、画像Ｇｎを取得順とは逆に辿ることにより（図１８参照）、瞳孔中心点ＰＣの検出を行った。その結果、誤検出を生じたフレームにおいて、瞳孔Ｐを正しく検出することができた。

図１９は、比較例及び実験例の結果をまとめた一覧表である。図２０は、比較例及び実験例の結果を示すグラフである。図１９に示す数値は、総画像数（３００枚）に対する正検出、非検出、誤検出の比率を示す。また、図２０は、図１９に示された数値をグラフ化したものである。

図１９及び図２０を参照すると、後戻り法を適用しない場合には、誤検出数が多く、その結果正検出率は低かった。後戻り法を適用しない比較例では、正検出率が５０％〜９０％程度であった。これは、眼鏡反射を瞳孔Ｐとして誤って検出し、眼鏡反射が消失するまで眼鏡反射に対してウインドウを設定し続ける状態が発生した。その結果、誤検出が生じたため、正検出率が低くなったと考えられる。

一方、後戻り法を適用した場合には、後戻り法を適用しない場合と比較すると誤検出が減少し、その結果正検出率は高かった。後戻り法を適用した実験例では、正検出率が全ての場合において９０％以上であった。これは、眼鏡反射にウインドウを設定することなく、瞳孔Ｐに対してウインドウを設定できているためであると考えられる。つまり、後戻り法を適用することにより、正しい検出結果が得られるので、誤検出結果の置き換えが可能であることがわかった。従って、後戻り法を適用することにより、瞳孔Ｐの正検出率が高まることが確認できた。

Ａｎ…画像取得処理、Ｂｎ…後戻り処理、Ｃｎ…後追い処理、Ｄｎ…探索処理、Ｅｎ…露光処理、Ｆｎ…追跡処理、Ｇｎ…画像、ＧＣｎ…角膜反射点、Ｈ…被験者、Ｋｎ…注視点追跡処理、ＯＰ…瞳孔ベクトル、Ｐ…瞳孔、Ｐｎ…追跡処理、ＰＣ…瞳孔中心点、ＰＴ…視線ベクトル、Ｑ…注視点、ＲＣ…ディスプレイ、Ｒｎ…リアルタイム処理、ｒ…ベクトル、ＳＡ…サンプリング周期、Ｗｎ…顔画像、Ｓ１…第１ステップ、Ｓ２…第２ステップ、Ｓ３…第３ステップ、Ｔ…注視点、ＴＣ…処理時間、Ｔｎ…転送処理、Ｍ…処理装置、ＸＧ、Ｘ’…水平軸、Ｚ…期間、φ、φ’、θ…角度、２…カメラ。

Claims (15)

1. 撮像装置から得た画像に含まれる特徴を追跡する画像特徴追跡方法であって、
   サンプリング周期が経過するごとに前記撮像装置から第１画像を得て前記第１画像を順次保存すると共に、前記第１画像に基づく代表画像に対して特徴を探索する特徴探索処理を行い、前記特徴探索処理の結果に基づいて前記特徴を含む探索領域を設定する第１ステップと、
   前記第１ステップの後に行われる第２ステップであって、前記サンプリング周期が経過するごとに前記撮像装置から第２画像を得て前記第２画像を順次保存すると共に、前記探索領域を用いて、前記代表画像よりも後に得られた少なくとも前記第１画像に基づく第１被処理画像及び少なくとも前記第２画像に基づく第２被処理画像に含まれるそれぞれの前記特徴を検出する処理を繰り返し行う前記第２ステップと、を有する画像特徴追跡方法。
2. 前記第２ステップの後に行われる第３ステップであって、前記サンプリング周期が経過するごとに前記撮像装置から第３画像を得ると共に、前記探索領域を用いて少なくとも前記第３画像に基づく第３被処理画像に含まれる前記特徴を検出する処理を繰り返し行う前記第３ステップをさらに有する、請求項１に記載の画像特徴追跡方法。
3. 前記第２ステップ又は前記第３ステップでは、前記探索領域を用いて、前記代表画像よりも前に得られた前記第１画像に基づく前記第１被処理画像に含まれる前記特徴をさらに検出する、請求項２に記載の画像特徴追跡方法。
4. 前記第１画像、前記第２画像及び前記第３画像を得て前記第１画像、前記第２画像及び前記第３画像を順次保存する処理に要する時間は、前記サンプリング周期より短く、
   前記特徴探索処理を行い、前記特徴探索処理の結果に基づいて前記特徴を含む探索領域を設定する処理に要する時間は、前記サンプリング周期より長く、
   前記探索領域を用いて前記第１被処理画像、前記第２被処理画像及び前記第３被処理画像に含まれる前記特徴を検出する処理に要する時間は、前記サンプリング周期より短い、請求項３に記載の画像特徴追跡方法。
5. 前記第１ステップは、
   前記特徴の検出が成功するまで、前記代表画像を変更しながら前記特徴探索処理を繰り返し行い、
   前記特徴探索処理を繰り返す処理では、前記特徴の検出に失敗した前記特徴探索処理が完了する前であって、当該特徴探索処理が完了したタイミングに最も近いタイミングで得られた前記第１画像に基づく前記第１被処理画像を、次の前記特徴探索処理に用いる前記代表画像として選択する、請求項１〜４の何れか一項に記載の画像特徴追跡方法。
6. 撮像装置から得た画像に含まれる特徴を追跡する画像特徴追跡方法であって、
   サンプリング周期が経過するごとに前記撮像装置から第４画像を得て前記第４画像を順次保存すると共に、複数の前記第４画像に基づく代表画像に対して特徴探索処理を行い、前記特徴探索処理の結果に基づいて前記特徴を含む探索領域を設定する第４ステップと、
   前記第４ステップの後に行われる第５ステップであって、前記探索領域を用いて、前記代表画像よりも前に得られた少なくとも前記第４画像に基づく第４被処理画像に含まれるそれぞれの前記特徴を検出する処理を、前記第４画像を得た順番とは逆の順番に沿って繰り返す前記第５ステップと、を有する画像特徴追跡方法。
7. 前記特徴は、被験者の瞳孔である、請求項１〜６の何れか一項に記載の画像特徴追跡方法。
8. 前記特徴は、被験者の角膜球中心である、請求項１〜６の何れか一項に記載の画像特徴追跡方法。
9. 被験者の顔を含み、前記第１被処理画像及び前記第２被処理画像としての顔画像を得るステップと、
   前記顔画像に対して請求項１に記載の画像特徴追跡方法を適用することにより、前記顔画像が含む前記特徴を検出するステップと、
   前記特徴を検出するステップの結果を利用して、前記被験者の視線を検出するステップと、を有する、視線追跡方法。
10. 前記顔画像を得るステップは、光源から提供される第１光を前記被験者に照射して第１顔画像を得るステップと、前記光源から提供される第２光を前記被験者に照射して第２顔画像を得るステップと、を有し、
    前記特徴を検出するステップでは、前記第１顔画像又は前記第２顔画像を利用して、前記特徴を検出し、
    前記特徴は、前記被験者の瞳孔、及び、前記第１光及び前記第２光が前記被験者の角膜において反射した点である角膜反射点の少なくとも一方である、請求項９に記載の視線追跡方法。
11. 前記顔画像を得るステップは、光源から提供される第１光を前記被験者に照射して第１顔画像を得るステップと、前記光源から提供される第２光を前記被験者に照射して第２顔画像を得るステップと、を有し、
    前記特徴を検出するステップでは、前記第１顔画像及び前記第２顔画像の合成を利用して、前記被験者の瞳孔を前記特徴として検出する請求項９に記載の視線追跡方法。
12. 前記特徴を検出するステップは、
    前記第１顔画像と前記第２顔画像との合成を得ることにより、前記第１顔画像における前記瞳孔と前記第２顔画像における前記瞳孔との重複部を検出するステップと、
    前記重複部を含む第１探索領域を前記探索領域として前記第１顔画像に設定すると共に、前記重複部を含む第２探索領域を前記探索領域として前記第２顔画像に設定するステップと、
    前記第１光が前記被験者の角膜において反射した点であって前記第１顔画像に含まれる第１角膜反射点を前記第１探索領域を利用して得ると共に、前記第２光が前記被験者の角膜において反射した点であって前記第２顔画像に含まれる第２角膜反射点を前記第２探索領域を利用して得るステップと、
    前記第１顔画像に対して前記第２顔画像を移動させることにより前記第１角膜反射点と前記第２角膜反射点とを互いに一致させた後に、移動させなかった前記第１顔画像と移動させた前記第２顔画像とを合成することにより前記第１顔画像における前記瞳孔を検出するステップと、
    前記第２顔画像に対して前記第１顔画像を移動させることにより前記第１角膜反射点と前記第２角膜反射点とを互いに一致させた後に、移動させた前記第１画像と移動させなかった前記第２画像とを合成することにより、前記第２画像における前記瞳孔を検出するステップと、を有する、請求項１１に記載の視線追跡方法。
13. 前記顔画像を得るステップは、光源から提供される光を前記被験者に照射して前記顔画像を得るステップを有し、
    前記特徴を検出するステップは、
    前記顔画像から前記被験者の眼を包含する領域を前記特徴として探索する前記特徴探索処理を行い、前記特徴探索処理の結果を利用して前記被験者の眼を包含する領域を含む前記探索領域を設定する前記第１ステップと、
    前記探索領域を利用して前記眼を包含する領域を前記特徴として検出する前記第２ステップと、
    前記第２ステップにおいて検出された前記眼を包含する領域から、前記被験者の瞳孔、及び、前記光が前記被験者の角膜において反射した点である角膜反射点を検出する第３ステップと、を有する、請求項９に記載の視線追跡方法。
14. 前記顔画像を得るステップは、少なくとも２台の前記撮像装置のそれぞれを利用して、同じタイミングで互いに異なる方向から複数の前記顔画像を得るステップを有し、
    前記特徴を検出するステップにおける前記第２ステップは、
    前記探索領域を利用して複数の前記顔画像のそれぞれから前記特徴を検出するステップと、
    複数の前記顔画像のそれぞれにおける前記探索領域の位置を更新するステップと、を有し、
    前記探索領域の位置を更新するステップは、
    前記特徴を検出するステップによって検出された前記特徴について、前記顔画像上における二次元座標を得るステップと、
    前記二次元座標に対してステレオ法を適用して、前記特徴の三次元座標を得るステップと、
    前記特徴の三次元座標を利用して、所定の期間が経過した後の前記特徴の位置を示す三次元座標を予測するステップと、
    前記特徴の位置を示す三次元座標を前記顔画像の二次元座標系に変換するステップと、
    前記二次元座標系に変換された前記特徴の位置を利用して前記探索領域を設定するステップと、を有する、請求項９に記載の視線追跡方法。
15. 請求項９〜１４の何れか一項に記載の視線追跡方法を実施して前記被験者の視線を追跡するステップと、
    前記被験者の視線を追跡するステップの結果を利用して、前記被験者の注視点を追跡するステップと、を有する、注視点追跡方法。

Images