JP2016532217A - グリントにより眼を検出する方法および装置 - Google Patents

Abstract

画像内における眼球の位置を特定する方法であって、（ａ）間隔を置いて配置した少なくとも二つの光源により所定の時間的手法で照射される一連の時系列画像フレームを、少なくとも一つの撮像センサにより撮像する工程と、（ｂ）上記一連の画像フレームを処理することにより、上記画像フレームにおける鏡面反射の位置を特定する工程と、（ｃ）上記鏡面反射の位置の時系列進展を用いることにより、上記特定された鏡面反射の位置から角膜反射を特定する工程と、を含む、方法が提供される。

Description

本発明は、対象を検出し監視する技術の分野に関し、具体的には、反射の構造に基づいて眼を検出する方法およびシステムを開示する。本発明の実施の形態は、たとえばコンピュータまたは（たとえばスマートフォンやタブレットのような）携帯機器のユーザ、あるいは車両の運転者の眼の位置追跡に適用可能である。

本願明細書全体を通して、たとえ背景技術を論じていても、そのような技術が既に広く知られているとか、当該技術分野における共通一般知識の一部であるなどと決して自認しているわけではないことには留意されたい。

検出されたノイズの多い画像において眼を正しく検出することは困難である。なかでも眼鏡が介在している場合は、そのフレームにより遮蔽（occlusion）が発生し、そのレンズ上で反射が生成するので、一層難しくなる。

眼の検出を目的とする従来のコンピュータビジョンアルゴリズムは、しばしば外見に依存する（たとえば、ViolaおよびJonesを譲受人とし、「画像内の対象を検出するシステムおよび方法（System and method for detecting objects in images）」と題する米国特許第７０２０３３７号明細書を参照）。この方法は、検出する対象の外見に基づくモデルを生成することに依存しているので、たとえば強力な反射および／または遮蔽のようなノイズの存在下では、そのロバスト性は大幅に低下することになる。また、この方法は、相対的には計算集約型でもある。

別の例としては、LoyおよびThomsenを譲受人とし、「顔の特徴を自動的に検出する方法および装置（Method and apparatus for the automatic detection of facial features）」と題する米国特許第７４６０６９３号明細書に記載された方法が挙げられる。この文献では、眼は高速対称変換（虹彩の円形対称を用いる）により検出され、その後、ハフ変換（画像における複数の円を検出する）により改善が施される。この方法は、眼の組織構造（texture）に依存するので、たとえば眼鏡のレンズ上での鏡面反射により虹彩が部分的に遮蔽される場合には、その性能は著しく低下することになる。

また、従来のシステムには、並行して動作する複数の全眼検出モジュールを備えるものもある。このようなシステムには内在する欠点がいくつかある。たとえば、ある状況では、眼の特徴は画像の相当大きな部分を占めることもある（たとえば携帯電話カメラを顔の近くに構えた場合、全画素の２０パーセントが眼の部分に相当することもある）。このような状況では、上記複数の眼検出器は、これだけ大量にオーバーラップする画像領域上で動作しなければいけなくなる。そうしなければ、眼が検出不可能になるからである（以下、この問題を「オーバーラップ問題」と呼ぶ）。オーバーラップの結果、同じ画素データを対象として冗長な追加処理が発生することになり、異なる複数の検出器が同じ眼を何回も検出する事態になり得る。その結果、曖昧さを排除するためにさらなる処理が必要になってしまう。

さらに、そのような眼検出器が複数のフレームを対象として動作し、かつ眼が運動している場合（すなわち軌跡を生じている場合）、そのような従来のシステムには、複数の眼検出領域にまたがって運動する眼の軌跡を分解して追従する（resolve）ことが不可能になる。それができない代わりに、互いに非連続となる複数の軌跡が検出結果として報告されることになる。

そこで、ノイズが多かったり、遮蔽が起こったりしている画像においても、よりロバストなかたちで眼検出を行う技術が広い方面で求められている。

本発明の目的は、好ましい実施の形態においては、画像内の眼の検出を含む、改良された画像対象検出技術を提供することにある。

本発明の第１の局面によれば、画像内における少なくとも一つの眼球の位置を特定する方法が提供される。この方法は、（ａ）間隔を置いて配置した少なくとも二つの光源により所定の時間的手法で照射される一連の時系列画像フレームを、少なくとも一つの撮像センサにより撮像する工程と、（ｂ）上記一連の画像フレームを処理することにより、上記画像フレームにおける鏡面反射の位置を特定する工程と、（ｃ）上記鏡面反射の位置の時系列進展を用いることにより、上記特定された鏡面反射の位置から角膜反射を特定する工程と、を含む。

上記工程（ｃ）は、好ましくは、角膜反射に対応する上記鏡面反射の位置をモデル化するに際して、位置進展の速度モデルまたは加速度モデルを用いることを含み得る。

上記工程（ｃ）は、好ましくは、上記モデルと、上記画像フレームにおける実際の鏡面反射の位置との間の誤差測度を用いることを含み得る。上記モデルは、好ましくは、最高速度または加速度を含み得る。

ある実施の形態において、第１の光源および第２の光源が用いられる。上記第１の光源は、上記時系列の偶数番目のフレームを撮像する時に上記眼球の片方または両方を照射するように操作され、上記第２の光源は、上記時系列の奇数番目のフレームを撮像する時に上記眼球の片方または両方を照射するように操作される。

別の実施の形態において、複数の光源が用いられる。上記複数の光源のそれぞれは、上記時系列の所定のフレームを撮像する時に上記眼球の片方または両方を照射するように操作される。

本発明の第２の局面によれば、画像内における眼球の位置を検出する画像処理システムが提供される。このシステムは、上記画像の領域を所定の時間的手法で照射する少なくとも二つの画像照明光源と、上記画像領域を表す複数の時間フレームから構成されたシーケンスを撮像するイメージセンサと、上記複数の時間フレームを処理することにより、上記時間フレームにおける鏡面反射の位置を特定するように構成されたプロセッサと、一連の時間フレームの上記鏡面反射の位置から推定角膜反射を特定する第２の処理手段と、を備える。

本発明の第３の局面によれば、一連の画像内の一つ以上の対象を追跡する方法が提供される。この方法は、
（ａ）間隔を置いて配置された少なくとも二つの光源を制御することにより、複数の所定期間のそれぞれを通じて上記一つ以上の対象を照射する工程と、
（ｂ）上記複数の所定の期間のいずれかにおいて、カメラを制御することにより、上記一つ以上の対象を含む画像を撮影する工程であって、上記画像は画像ストリームの一部を成す、工程と、
（ｃ）複数の画像内に存在する複数の鏡面反射を識別する工程と、
（ｄ）一つ以上の制約を適用することにより、上記複数の鏡面反射のいずれが、上記一つ以上の対象からの反射に対応するかを判断する工程と、
（ｅ）複数の画像フレーム中の少なくともあるサブセットにおける上記一つ以上の対象の位置を表す二次元座標を出力する工程と、
を含む。

上記一つ以上の制約を適用する工程は、好ましくは、複数の画像における上記複数の鏡面反射の位置に基づいて上記一つ以上の対象の動きモデルを適用することを含む。

本発明の第４の局面によれば、上記第３の局面による方法を実行するように構成されたコンピュータプログラムが提供される。

本発明の第５の局面によれば、上記第３の局面による方法を実行するように構成されたコンピュータシステムが提供される。

本発明の第６の局面によれば、上記第３の局面による方法を実行するように構成された装置が提供される。

図１は、一連の鏡面反射を有する第１の複合画像例を示す図である。 図２は、鏡面反射を有する第２の画像例を示す図である。 図３は、角膜反射を生成する幾何学構成（geometry）を模式的に示す図である。 図４は、好ましい実施の形態による各工程を示すフローチャートである。 図５は、好ましい実施の形態を実現するのに適した処理システムの一例を示す図である。 図６は、好ましい実施の形態による処理構成を示す図である。

以下、添付の図面を参照して、本発明の実施の形態を説明する。なお以下に記す実施の形態は一例を示すものにすぎない。

好ましい実施の形態によれば、撮影された画像における角膜反射を利用することにより、ロバストな形態で眼を検出する方法が提供される。眼からの角膜反射は、たとえ他の種類の強力な反射やノイズが存在している状況下であっても、通常依然として存在するものであるから、角膜反射の位置を検出し処理することによって、眼の位置および注視の方向を明確に示す指標が得られ得る。

図１は、帽子２、安全用眼鏡４、およびマスク３を着用した人の頭部を表す、ノイズの多い画像１の一例を示す。この画像１を子細に調べると、この画像の中には角膜反射が二か所５、６で起こっていることが分かる。

図２は、眼鏡２０着用中の片目の像を記録する撮像装置により得られた画像の別の例を示す。この例では、光源は、目的とする角膜反射２２の他、鏡面反射２１を複数箇所で発生させている。

好ましい実施の形態では、角膜鏡面反射の存在を効果的に利用する。その好ましい実施の形態では、角膜反射の位置を特定する目的で、少なくとも一つの撮像装置と、少なくとも二つの活性光源とを用いる。それらの光源は、その撮像装置に対して同期がとられる。使用する光源の個数を増やせば、グリントをより精度よく検出し、検出誤りの回数を減らすことが可能になる。二つ以上の撮像装置を用いる場合には、それらの積算期間の同期もとることになる。撮像装置としては、たとえば、デジタルカメラや、ＣＣＤカメラ等が挙げられる。

それらの光源を撮像装置の積算期間に対して同期をとることも可能であり、任意の組み合わせの光源がある与えられたフレームに対してオンまたはオフであるように、それらの光源を能動的に制御することも可能である。利用可能な光源としては、たとえば、ＬＥＤや、制御信号に応答して所定の期間発光可能である、電子的に制御可能なその他の光源が挙げられる。

光源がオンである時、その光源は、角膜表面上に（「グリント」とも呼ばれる）反射を生じさせる。図３は、その過程３０を模式的に図示する。図３において、光源３１および３２から光が眼球３３に対して投射され、角膜反射３４がカメラ３５により検出される。光源３１および３２は、角膜上に光をそれぞれ異なる角度から照射可能なように、互いに間隔を設けて配置される。これにより、特に片目または両目が部分的に遮蔽されている場合には、グリントをより効果的に検出することができる。

角膜の表面は、任意のパラメトリック曲面としてモデル化可能である。第１の例示的な実施の形態では、角膜は、中心Ｃおよび半径Ｒを有する球体としてモデル化される。図１および図２に示すように、光源３１および３２は、それ以外にも多くの鏡面反射を発生させる可能性がある。

好ましい実施の形態において提案された方法によれば、画像シーケンス中におけるすべての鏡面反射を検出した後、角膜についての一定の動きモデルを用いて（たとえば、角膜の中心Ｃが三次元空間内において一定の速度または一定の加速度で動くという仮定のもとに）、検出した鏡面反射のどれが角膜反射に対応するかを評価する。

以下、図４を参照してこの手順を詳細に説明する。図４は、一枚の画像または複数の時系列画像内において眼球の位置を特定する方法４０に最低限含まれる各工程を示すフローチャートである。本発明のさまざまな実施の形態は多種多様なハードウェアプラットフォーム（固定型または携帯型、ＰＤＡ、スマートフォン等）で実現可能ではあるが、方法４０では、図６に示す例示的な構成を有する、図５の配置５０に一例として図示されたハードウェアを用いるものとして以下に説明する。

配置５０では、監視される被写体５１は、光シーケンス化マイクロコントローラ５５により制御される、光源５２、５３から順次発光される赤外光に順次曝される。動画が動画撮影ユニット５４により撮影される。ユニット５４は、一つ以上のデジタルカメラを備えており、また必要であれば、内部プロセッサを備えていてもよい。動画の撮影は、以下に説明する方法４０に従って、プロセッサ５６により処理される。

まず工程４１において、ユニット５４を用いて、被写体５１の時系列画像が撮影される。これら時系列画像のサブセットは、図６に示すように、フレームｎ〜ｎ＋３（５７〜６０）となる。撮影中、被写体の眼球は光源５１および５３により照射される。二つの光源を用いるシステムにおいて、連続するフレームの照射は、好ましくは、二つの光源を切り替えて交互に用いることにより実現される。図６に示すように、光源０（５２）は偶数番目のフレームに対してオンであり、光源１（５３）は奇数番目のフレームに対してオンである。三つ以上の光源を用いるシステムにおいては、好ましくは、各フレームについて、それらの光源のうち少なくとも一つだけは照射プロファイルが異なるようにする。一例を挙げれば、三つの光源（Ｌ１、Ｌ２およびＬ３）を備えるシステムにおいては、時系列で連続する画像フレームは、以下の照射シーケンスを用いて照射され得る。
フレーム１：Ｌ１＋Ｌ２
フレーム２：Ｌ１＋Ｌ３
フレーム３：Ｌ２＋Ｌ３
フレーム４：Ｌ１＋Ｌ２＋Ｌ３
フレーム５：Ｌ１＋Ｌ２…

このシーケンス化は、プロセッサ５６および撮影ユニット５４と連携して、シーケンス化マイクロコントローラ５５により決定される。照射のタイミングは、上記時系列に含まれる複数の画像フレームが撮像されるタイミングと同期がとられる。鏡面反射をノイズとよりよく区別するためには、全般として、上記時系列中の連続する複数のフレーム間には照射プロファイルについて多少の変動がある（操作される光源が異なるとか、その組み合わせが異なるとか）ほうがよい。

工程４２において、上記撮影された時系列画像の中から、画像内の鏡面反射すなわちグリントが検出される。三つのフレームＦｎ、Ｆｎ＋１およびＦｎ＋２（５４〜５６）が与えられた場合、一セットの２ＤグリントＧｎ、Ｇｎ＋１およびＧｎ＋２が、画像内の画素の二次元座標として抽出される。グリントの抽出は、たとえばラプラス演算子の最大値のような、公知のコンピュータビジョン法を用いて実行されうる。これらのグリントは、画像内において角膜反射に対応する場合もあるし、その他の鏡面反射に対応する場合もある。画像内に検出されるグリントの個数は、撮像される環境および照明に依存して、数個から数百個の範囲で変動し得る。複数のグリント検出モジュールを設けるシステムでは、グリント抽出プロセスは並行して行ってもよい。画像内におけるグリントのサイズは小さいため、別々のモジュール間の画素同士のオーバーラップを大幅に低減することができる。

工程４３において、どの鏡面反射が（眼鏡から生じるような他の鏡面反射ではなく）角膜反射に相当するかを特定するために、動きモデルが用いられる。動きモデルとしては、たとえば、眼の一定速度モデルが挙げられる。動きモデルの別の例としては、眼の加速度モデルが挙げられる。理想的には、速度が一定と仮定される場合には最低三つのフレームが用いられ、加速度が一定と仮定される場合には、四つのフレームが用いられる。ここで好ましい実施の形態は、一定速度モデルを中心に説明しているが、それを一定加速度モデルや、その他の動きモデルに拡張して用いてもよい。そのモデルは、獲得した画像データを、プロセッサ５６により実行されるアルゴリズムを通して処理することにより適用される。それぞれのモデルは、眼の典型的な動きに関連する制約を課す。その他の対象の対応する動きモデルは、画像内のその他の対象を追跡する際に適用され得る。

連続する複数のフレームに含まれる三つのグリントが互いに関連するものかどうか調べる必要がある。各セットＧｎ、Ｇｎ＋１およびＧｎ＋２につき一つのグリントのみを取り上げる場合、同じ角膜上での三回の連続する角膜反射に対応する三つのグリントの特定を試みることが必要になる。この段階で最初の淘汰として、二つの連続するフレーム上のグリント位置が所定の閾値距離を超える三個セットを排除してもよい。その閾値距離は、たとえば、三次元空間における角膜の最高速度により導かれる距離に基づいていてもよい。既知の角膜半径Ｒ（これは全人類共通でごく近似した値である）を仮定し、最小化プロセスにより三個のグリントからなるセット（３×二次元位置で観測位置は六つになる）に適合する三次元空間（一定速度モデルを用いる場合、自由度は６となる）内の最良の角膜軌跡を特定すればよい。この段階で、図３の幾何学的構成を用いて、（たとえばレーベンバーグ・マーカート（Levenberg-Marquardt）法のような）何らかの反復的最適化プロセスを行い得る。図４に示す実施の形態では、この最適化問題に対する具体的で高速の解法を用いることができる。

数学的観点から見れば、角膜の軌跡は、以下の各要素を考慮に入れた上で、図３に示すようなシステムにより獲得される、二次元グリント位置のシーケンスから演算され得る。
・固有投射パラメータθが既知であるカメラＩ
・その軸（像面に平行なＸ、Ｙ軸、カメラの光軸と一直線上のＺ軸）がカメラの軸と合わせられ、その中心がカメラの投射中心位置と合わせられた、基準フレームＦ
・上記カメラ基準フレームＦにおける既知の三次元位置Ｌに位置する赤外線照射器
・その中心が、画像シーケンスに含まれる基準フレームＦにおける軌跡Ｃ＝｛Ｃ_１，…，Ｃ_ｎ｝に追従する、既知の半径Ｒを有する球面状の角膜
・動きモデルＣ_ｉ＝ｇ（α，ｉ）（ここで、αは軌跡Ｃを記述する動きパラメータ（たとえば一定速度または一定加速度）である）および
・カメラにより撮像される、赤外線照射器から発らせれた光の角膜表面上の反射に対応する、複数の二次元グリント位置Ｇ＝｛Ｇ_１，…，Ｇ_ｎ｝からなるシーケンス

球面鏡のもつ公知の反射を生じさせる幾何学的構成と、カメラのもつ公知の投射を生じさせる幾何学的構成と、を用いることにより得られた関数である、
が知られている。ここで、
は鏡面反射Ｇｉの理論上の位置である。次に、角膜軌跡のパラメータが、以下の誤差関数を最小化することにより計算され得る。

この関数の最小値は、公知の最適化方法を用いて見つけることができる。いったんパラメータα_ｍｉｎが見つかれば、角膜の軌跡Ｔは、公知の動きモデルを用いて算出することができる。

なお、簡単のため、角膜は既知の半径Ｒをもつ球体であるものとする。しかしながら、既に述べたように、この方法は、グリントの理論上の位置
が角膜の既知の位置（および必要な場合にはその向き）に基づいて算出可能である限り、角膜がその他任意のパラメトリックな形状（たとえば楕円状）を有していても依然有効である。

上記淘汰プロセスを行うことにより、候補となるグリントの個数はしばしば三つか四つ程度にまで絞られる。上に述べた距離または軌跡による評価に合格したグリントについては、その他所定の判断基準に基づいて、与えられたグリントの三個セットを排除するのか、受容するのかを決めればよい。たとえば、最適化の結果残っている候補に対して最大の閾値（グリントの観測された二次元位置と、最適化された三次元角膜軌跡に基づいて算出された、その最適化された二次元位置との間の誤差）を設定してもよい。あるいは、たとえば最小または最大の深さまたは速度のような、その他の閾値を最適化された角膜軌跡に対して設定してもよい。

すべての受容判断基準を満たした三個セットは、実際の角膜反射に由来するものと見なされるので、眼の二次元位置および角膜の三次元位置の両方が既に計算されたことになる。ある実施の形態では、二つの連続するグリント三個セットは、誤検出されていないかさらに確認するために、次に別の動きモデル（たとえば一定速度または一定加速度）を用いて四個セットとして評価され得る。

ここに提案する方法では、角膜の曲面に類似した曲面を有する反射性の対象物があれば、それらをすべて検出する。また、画像内にノイズ（多数の鏡面反射）が存在する場合も、誤検出が発生することもありうる。そのような場合、不要な誤検出をなくすためには、たとえば機械学習に基づく分類器や、外見に基づく判断基準のような更なる画像分析を用い得る。

最後に、工程４４において、角膜反射に基づいて特定した眼の位置を出力する。出力されるデータは、カメラの基準フレームにおける角膜位置を示す三次元座標であるか、または画像における二次元の投影の形態である。これらの座標は次に、その眼の位置を当該画像または時系列に含まれる他の画像に投影して戻すために使われる。さらに、検出された両目の座標は、それらの画像の更なる分析を通して注視の方向を特定するために用いてもよい。

なお、本願明細書に開示した実施の形態によれば、画像内の眼球の位置を特定するのに役立つさまざまな方法が提供されることは理解されたい。本発明は、片目または両目および／または単数または複数の顔の検出を必要とする、コンピュータビジョンに基づく顔追跡システムまたは眼追跡システムであれば、どのようなものにでも適用可能である。本発明は、顔が部分的に遮蔽され（たとえばユーザが埃よけ用または衛生用マスクを着用している場合）、その全体が見えるわけではない場合（たとえば顔の一部がカメラの視界の外にある場合）、あるいは、眼の組織構造が眼鏡の縁やレンズ上の反射により部分的に遮蔽されている場合、特に有用である。適用例としてはたとえば、疲労や注意散漫の兆候を検出する車両操縦者監視システムや、人間工学上または人間動作工学上の研究目的で注視の方向を（二次元の画面上または三次元の環境内で）算出する注視追跡システムや、眼鏡をかけた場合をバーチャル体験するための顔追跡システムや、アバターを動画化するための顔追跡システム等が挙げられる。

本発明は、単一のグリント検出モジュールを有するシステム、または並行して動作する複数のグリント検出モジュールを有するシステムにおいて実施可能である。後者の並行動作を行う実施の形態において、従来の技術に関して既に述べたオーバーラップの問題は大幅に抑制される。その理由は、接写している範囲においても、グリントは画像内のごく小さな特徴にすぎないからである（いくつかの実施の形態では、典型的には直径３、４画素である）。そういうものであるので、検出器領域のオーバーラップを非常に小さくすることが可能になる。同一のグリントを複数のグリント検出器が検出する場合には、角膜軌跡整合プロセスにおける曖昧さが解消される。

また、眼検出器が複数のフレームを対象に動作し、眼が複数の検出器の複数の領域にわたって移動するタイプの従来技術によるシステムとは対照的に、本発明によるシステムおよび方法によれば、軌跡を複数のグリント検出器により検出されたグリントに適合させる（多数の誤検出された眼の候補は排除する）ことにより、眼の検証段階が機能する（operate over）ことを可能にする単一の解決案を生成することが可能になる。これにより、眼が動いている場合でも、処理時間を短縮しつつ、眼をカバーする領域を検証するプロセスが、好結果を生む可能性を高めることが可能になる。

用語の解釈について
本願明細書全体を通して、「一実施の形態」、「いくつかの実施の形態」または「ある実施の形態」というとき、それは、当該実施の形態に関連して説明された、特定の特徴、構造または特性が、本発明の少なくとも一つの実施の形態に含まれることを意味する。したがって、本願明細書の各所で「一実施の形態において」、「いくつかの実施の形態において」または「ある実施の形態において」という表現が見られるが、それらのすべてが（可能性はあるものの）必ずしも同一の実施の形態に言及しているとは限らない。また、それらの特定の特徴、構造および特性は、一つ以上の実施の形態において、本願の開示から当業者には自明である何らかの適切な手法で組み合わせることも可能である。

また、本願明細書においては、共通の構成の対象を記載するにあたって序数形容詞である「第１の」、「第２の」、「第３の」等が用いられているが、これは特に断りのない限り、同様の対象のそれぞれ異なる事例に言及しているというだけのことであり、そのように記載された対象に対して、時間的、空間的、順位上、あるいはその他何らかの順列が与えられなければならないということを示唆しようとしているわけではない。

以下に述べる請求の範囲および以上に述べた説明において、「を備えている（comprising）」、「から構成される（comprised of）」または「を備える（which comprises）」という表現はいずれも、その表現の後に続く複数の要素／特徴が少なくとも含まれていることを意味し、その他の要素／特徴が排除されることは意味しない、開かれた表現である。したがって、「を備えている」という表現が請求の範囲で用いられる場合、その後に列挙される手段・要素・工程に限定されると解釈されるべきではない。一例を挙げれば、要素Ａおよび要素Ｂ「を備えている（comprising）」装置という表現の範囲は、要素Ａおよび要素Ｂのみから成る（consisting of）装置に限定されるべきではない。また本願明細書において用いられている、「を含んでいる（including）」、「を含む（which includes）」、および「を含んだ（that includes）」という表現のいずれもやはり、その表現の後に続く複数の要素／特徴が少なくとも含まれていることを意味し、その他の要素／特徴が排除されることは意味しない、開かれた表現である。したがって、本願において、「を含んでいる（including）」は「を備えている（comprising）」と同義であり、同じ意味を持つ。

また、本願明細書において、「例示的（exemplary）」という表現は、単なる例をいくつか挙げる意味で用いられているのであり、質的な表示を与えているわけではない。すなわち、「例示的な実施の形態（exemplary embodiment）」とは、単に一例として述べられた実施の形態を意味するにすぎず、必ずしも模範となる質を有する実施の形態に言及しているわけではない。

なお上に述べた本発明の例示的な実施の形態の説明において、本発明のさまざまな特徴が、単一の実施の形態、一つの図面、あるいはその説明の中に盛り込まれていることもあるが、それは、本願の開示を流れ良く行い、本発明のさまざまな局面のうちの一つ以上を理解する一助とすることが目的でなされているものである。したがって、このような開示の方法が採られているからといって、それは、請求の範囲に記載された発明では、各請求項に明確に記載された特徴よりも多数の特徴が必要になるという意図を反映していると解釈されるべきではない。むしろ以下に述べる請求の範囲が示すように、本発明の局面は、上に開示した単一の実施の形態の全特徴を下回る数の特徴の組み合わせにも存する。したがって、この「詳細な説明」の後に続く請求の範囲の内容は、このように断り書きをしているのであるから、「詳細な説明」においても明示的に援用されるものとする。ただし、それぞれの請求項は、本発明の別々の実施の形態を示すものとして、それ自体で完結したものでもあることも理解されたい。

また、本願明細書で述べたいくつかの実施の形態では、他の実施の形態に含まれる特徴のいくつかを含んではいるものの、含んでいない特徴もある場合があるが、異なる複数の実施の形態の各種特徴の組み合わせが本発明の範囲に入るものであり、それによりそれぞれ異なる複数の実施の形態が形成されることは、当業者には理解可能であろう。たとえば、以下に述べる請求の範囲において、請求の範囲に記載された複数の実施の形態をどのように組み合わせて用いてもよい。

また、本願明細書に述べた実施の形態の中には、コンピュータシステムのプロセッサや、その機能を実現するその他の手段により実現可能な方法として、またはそのような方法の各要素の組み合わせとして記載されている実施の形態もある。したがって、そのような方法、あるいは方法の各要素を実行するのに必要な各種命令を持つプロセッサは、その方法、あるいはその方法の各要素を実行する手段を形成する。また、装置の実施形態について本願明細書で記載した一要素は、本発明を実施することを目的として、その要素により実行される機能を実現する手段の一例である。

以上の説明において、具体的な細部について多数述べた。しかしながら、本発明の各種実施の形態は、そのような具体的細部なしでも実施可能であることは理解されたい。別の例では、既によく知られている方法、構造および技術については、本願明細書の理解の妨げとならないように、詳しくは述べていない。

また、「結合された（coupled）」という用語が、以下の請求の範囲において用いられるとき、それが直接の接続に限定されると解釈されるべきではないことにも留意されたい。「結合された（coupled）」および「接続された（connected）」という用語が、それらの派生語と共に用いられることもある。これらの用語が同義語として使われているわけではないことは理解されたい。したがって、「装置Ｂに結合された（coupled）装置Ａ」という表現の範囲は、装置Ａの出力が装置Ｂの入力に直接接続された装置またはシステムに限定されるわけではない。これはむしろ、装置Ａの出力と装置Ｂの入力との間には経路が存在し、その経路は、その他の装置や手段を含む経路でもありうることを意味する。「結合された（coupled）」は、二つ以上の要素が直接物理的または電気的に接触していることを意味する場合もあるし、二つ以上の要素が直接には接触していないが、互いに連携または相互作用することを意味する場合もある。

したがって、本出願人が本発明の好ましい実施の形態とみなすものを以上に述べたが、それらの実施の形態に対して、本発明の趣旨を逸脱することなく、その他さまざまな改良をさらに施すことが可能であることは当業者には理解可能であろう。また、そのような改変・改良のすべてを本発明の範囲に入るものとして請求の範囲に記載していることは理解されたい。たとえば、上に述べた各種方式はすべて、単に使用可能な各種手順を表しているにすぎない。上で参照した各ブロック図には機能性を付加または削除することも可能であり、各機能ブロック間でその動作を相互に交換することも可能である。また、上に述べた各方法について、本発明の範囲内で、複数の工程を追加または削除することも可能である。

Claims (12)

1. 画像内における眼球の位置を特定する方法であって、
   （ａ）間隔を置いて配置した少なくとも二つの光源により所定の時間的手法で照射される一連の時系列画像フレームを、少なくとも一つの撮像センサにより撮像する工程と、
   （ｂ）前記一連の画像フレームを処理することにより、前記画像フレームにおける鏡面反射の位置を特定する工程と、
   （ｃ）前記鏡面反射の位置の時系列進展を用いることにより、前記特定された鏡面反射の位置から角膜反射を特定する工程と、
   を含む、方法。
2. 前記工程（ｃ）は、角膜反射に対応する前記鏡面反射の位置をモデル化するに際して、位置進展の速度モデルまたは加速度モデルを用いることを含む、請求項１に記載の方法。
3. 前記工程（ｃ）は、前記モデルと、前記画像フレームにおける実際の鏡面反射の位置との間の誤差測度を用いることを含む、請求項２に記載の方法。
4. 前記モデルは、最高速度または加速度を含む、請求項２に記載の方法。
5. 第１の光源および第２の光源を用い、前記第１の光源は、前記時系列の偶数番目のフレームを撮像する時に前記眼球の片方または両方を照射するように操作され、前記第２の光源は、前記時系列の奇数番目のフレームを撮像する時に前記眼球の片方または両方を照射するように操作される、請求項１から４のいずれか一つに記載の方法。
6. 複数の光源を用い、前記複数の光源のそれぞれは、前記時系列の所定のフレームを撮像する時に前記眼球の片方または両方を照射するように操作される、請求項１から４のいずれか一つに記載の方法。
7. 画像内における眼球の位置を検出する画像処理システムであって、
   前記画像の領域を所定の時間的手法で照射する少なくとも二つの画像照明光源と、
   前記画像領域を表す複数の時間フレームから構成されたシーケンスを撮像するイメージセンサと、
   前記複数の時間フレームを処理することにより、前記時間フレームにおける鏡面反射の位置を特定するように構成されたプロセッサと、
   一連の時間フレームの前記鏡面反射の位置から推定角膜反射を特定する第２の処理手段と、
   を備える、システム。
8. 一連の画像内の一つ以上の対象を追跡する方法であって、
   （ａ）間隔を置いて配置された少なくとも二つの光源を制御することにより、複数の所定期間のそれぞれを通じて前記一つ以上の対象を照射する工程と、
   （ｂ）前記複数の所定の期間のいずれかにおいて、カメラを制御することにより、前記一つ以上の対象を含む画像を撮影する工程であって、前記画像は画像ストリームの一部を成す、工程と、
   （ｃ）複数の画像内に存在する複数の鏡面反射を識別する工程と、
   （ｄ）一つ以上の制約を適用することにより、前記複数の鏡面反射のいずれが、前記一つ以上の対象からの反射に対応するかを判断する工程と、
   （ｅ）複数の画像フレーム中の少なくともあるサブセットにおける前記一つ以上の対象の位置を表す二次元座標を出力する工程と、
   を含む、方法。
9. 前記一つ以上の制約を適用する工程は、複数の画像における前記複数の鏡面反射の位置に基づいて前記一つ以上の対象の動きモデルを適用することを含む、請求項８に記載の方法。
10. 請求項８または９に記載の方法を実行するように構成されたコンピュータプログラム。
11. 請求項８または９に記載の方法を実行するように構成されたコンピュータシステム。
12. 請求項８または９に記載の方法を実行するように構成された装置。