JP2023500210A - 高性能な明瞳孔アイトラッキング - Google Patents

Abstract

測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、アイトラッカーシステム（１００）における１つ以上の照明装置を制御するための方法（８００）及びシステムがここに記載される。方法（１００）は、ａ．所定の画像キャプチャ期間内に、被写体（１０２）の画像をキャプチャすることであって、画像は被写体の目の片方又は両方を含む画像、をキャプチャすることと、ｂ．所定の画像キャプチャ期間内に、１つ以上の照明装置（１０８及び１１０）から、被写体の目の片方又は両方を照らすことであって、照明装置（１０８及び１１０）のうちの少なくとも１つは、明瞳孔効果を生成するためにカメラのレンズの十分近くに配置されている、照らすことと、ｃ．キャプチャされた画像における測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、明瞳孔反射の強度を生成するために照明装置（１０８及び１１０）のうちの少なくとも１つの出力を選択的に変化されることとを含む。【選択図】図８

Description

本発明は、照明装置制御に関し、特に、アイトラッカーのための照明装置に関する。

本発明の実施形態は、明瞳孔条件下において、瞳孔のような顔の特徴を抽出するために、被写体の顔を照らすように特に構成される。しかし本発明は、より広いコンテキスト及び他の応用例において適用可能であることが理解されよう。

多くのアイトラッキングシステムは、被写体の視線を正確に追跡するために、瞳孔の輪郭の検出に依拠する。これらの輪郭を検出するためには、撮像された瞳孔と周囲の虹彩との間に、輪郭を特定できるだけのコントラストが存在しなければならない。

照明装置が、撮像カメラの光学軸から遠く離れて配置されているとき、瞳孔は暗く見え、瞳孔と周囲の明るい虹彩との間に大きなコントラストが存在する。

逆に、照明装置が、撮像カメラの光学軸の近くに（典型的にはカメラ光学軸から約3.25度以内）配置されているとき、瞳孔は、目からの逆反射（retroreflection）のため明るく見える場合もある。従来の写真では、これは、目の内部領域の光学的特性に起因して、よく知られた「赤目」現象として現れる。グレースケール画像が生成される赤外撮像では、これは、瞳孔が、白又はほとんど白に見え、典型的には虹彩より明るく見える「明瞳孔」効果として現れる。

アイトラッキングは、明瞳孔条件でも暗瞳孔条件でもカメラ及び照明装置を使用して実行され得る。暗瞳孔条件の下では、瞳孔のコントラストは典型的には高いので、アイトラッキングはより正確になる。しかし、ダッシュボードに搭載された典型的なドライバーモニタリングシステムでは、950 nmの波長において動作するときに暗瞳孔条件を実現するために、単一の照明装置又は複数の照明装置群は、カメラから少なくとも約2 cm離れて配置されることが要求される。これは、カメラ及び照明装置のユニットの大型化に直接つながる。車両のエレクトロニクス化が高度になるにつれて、車両のダッシュボード上で使用できる空間はますます高価になり、この傾向は半自動運転の出現で継続することが予想される。

よって、車両のドライバーモニタリングシステムの空間フットプリントを最小化する商業的要望がある。この理由で、将来は、明瞳孔アイトラッキングシステムを実装することが有利であるあるかもしれない。

明瞳孔画像を達成するために、カメラと照明装置との間の角度離隔は、非常に小さくなければならない。そのような小さな間隔は、レンズ及び照明装置の設計にとって大きな課題であるだけではなく、問題を引き起こす全反射の状況を作り出す。特に、このカメラ／照明装置の幾何学的配置の下では、瞳孔及び虹彩はほぼ同じ輝度で撮像され、それによって瞳孔のコントラストが非常に低くなる結果を招く。これらの状況は、「グレー瞳孔」状況と呼ばれる。上述の範囲内であれば、どんな角度離れていても、あるシナリオでは、グレー瞳孔状況を引き起こすであろう。瞳孔と虹彩との間のコントラストがないなら、瞳孔の位置を正確に特定することは不可能である。

明細書を通じての背景技術に関するいかなる説明も、そのような技術が周知であり、又は当該技術分野における公知の一般知識の一部を成すという自認であるとは決して解釈されるべきではない。

本発明の第１局面によれば、測定された瞳孔／虹彩のコントラストが、所定の最小瞳孔／虹彩コントラストを超えるように、アイトラッカーにおいて1つ以上の照明装置を制御するための方法が提供され、この方法は、
所定の画像キャプチャ期間の間、被写体の目の片方又は両方を含む、前記被写体の画像をキャプチャすることと、
前記所定の画像キャプチャ期間の間、1つ以上の照明装置から前記被写体の目の片方又は両方を照らすことであって、
少なくとも1つの照明装置は、明瞳孔効果を発生するようにカメラのレンズの十分近くに配置されている
照らすことと、
キャプチャされた画像における、測定された瞳孔／虹彩のコントラストが、所定の最小瞳孔／虹彩コントラストを超えるような明瞳孔反射強度を発生させるように、前記照明装置のうちの少なくとも1つの出力を選択的に変化させることを含む。

ある実施形態では、前記照明装置のうちの少なくとも1つの前記出力が、前記被写体の目の片方又は両方の虹彩領域に対する瞳孔領域の画素の強度によって求められる瞳孔／虹彩のコントラストの直接的な測定値に基づいて選択的に変化させられる。ある実施形態では、前記照明装置のうちの少なくとも１つの前記出力が、
ｉ．周囲光の測定値、
ｉｉ．前記被写体の瞳孔径の測定値、及び／又は
ｉｉｉ．前記被写体の現在の又は最近の視線方向
のうちの１つ以上に基づいて選択的に変化させられる。

ある実施形態では、前記周囲光の測定値は、前記カメラの露出設定及び／又は前記１つ以上の照明装置の照明設定から求められる。

ある実施形態では、前記照明装置のうち少なくとも１つの前記出力が、以前の画像キャプチャ期間からの、前記被写体の目の瞳孔のコントラストの測定値に基づいて、選択的に変化させられる。ある実施形態では、前記照明装置のうちの少なくとも１つの前記出力が、前記被写体の生理学的パラメータに基づいて選択的に変化させられる。ある実施形態では、前記照明装置のうちの少なくとも１つの前記出力が、画像キャプチャ期間内に、少なくとも２つの異なるパワーレベルで選択的に変化させられる。

ある実施形態では、前記カメラは、画像キャプチャ期間内に少なくとも２つの画像をキャプチャし、前記２つの画像は、異なる照明設定又は画像キャプチャ設定を用いてキャプチャされる。ある実施形態では、第１画像は、１つ以上の照明装置が第１出力レベルを有する間にキャプチャされ、第２画像は、１つ以上の照明装置が第１出力レベルとは異なる第２出力レベルを有する間にキャプチャされる。

ある実施形態では、瞳孔のコントラストが増加した、結果として得られる画像を生成するように、前記２つの画像に対して画像減算を実行するステップを含む。

ある実施形態では、前記アイトラッカーは単一の照明装置を含む。ある実施形態では、コントローラが、画像キャプチャ期間内に、前記照明装置の照明パワーを変調するように構成される。ある実施形態では、前記アイトラッカーは、前記カメラから異なる距離に配置される２つの照明装置を含む。好ましくは、それぞれの照明装置は、明瞳孔効果を生成するために前記カメラのレンズに十分近くに配置されるが、異なる明瞳孔反射の特性を生成するように前記レンズから異なる距離に配置される。

ある実施形態では、前記照明装置のうちの少なくとも１つの前記出力を選択的に変化させることは、画像キャプチャ期間内に、前記２つの照明装置のうちの１つを非アクティブ化することを含む。

本発明の第２局面によれば、測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、アイトラッカーにおいて２つ以上の照明装置を制御する方法が提供され、この方法は、
所定の画像キャプチャ期間内に、被写体の画像であって、前記画像は前記被写体の目の１つ又は両方を含む、被写体をキャプチャすることと、
２つ以上の照明装置のシステムから、前記所定の画像キャプチャ期間内に、前記被写体の目の片方又は両方を照らすことであって、前記それぞれの照明装置は、明瞳孔効果を生成するために前記カメラのレンズの十分近くに配置されるが、異なる明瞳孔反射の特性を生成するために前記レンズから異なる距離に配置される照明装置で照らすことと、
キャプチャされた画像における測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、明瞳孔反射の特性を生成するために前記２つ以上の照明装置の前記出力を選択的に変化させることを含む。

本発明の第３局面によれば、測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、アイトラッカーにおいて１つ以上の照明装置を制御するためのシステムが提供され、このシステムは、
所定の画像キャプチャ期間内に、被写体の画像をキャプチャするように構成されたカメラであって、前記画像は前記被写体の目の片方又は両方を含む、カメラと、
前記所定の画像キャプチャ期間内に、前記被写体の目の片方又は両方を選択的に照らすように構成された１つ以上の照明装置であって、前記照明装置のうちの少なくとも１つは、明瞳孔効果を生じるように前記カメラのレンズの十分近くに配置される、照明装置と、
キャプチャされた画像における測定された瞳孔／虹彩のコントラストが、瞳孔／虹彩コントラストの所定の最小値を超えるような明瞳孔反射の強度を生成するように、前記照明装置のうちの少なくとも１つの前記出力を選択的に変化させるよう構成されたコントローラを含む。

ある実施形態では、システムは、１つの照明装置を含む。好ましくは、照明装置は、カメラから7 mm－15 mmの距離内に配置される。より好ましくは、照明装置は、カメラから8 mm－14 mmの距離に配置される。他の実施形態では、システムは、2つの照明装置を含む。好ましくは、それぞれの照明装置は、明瞳孔効果を生成するために前記カメラのレンズに十分近くに配置されるが、異なる明瞳孔反射の特性を生成するように前記レンズから異なる距離に配置される。

本発明の第４局面によれば、測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、アイトラッカーにおいて２つ以上の照明装置を制御するためのシステムが提供され、このシステムは、
所定の画像キャプチャ期間内に、被写体の画像をキャプチャするように構成されたカメラであって、前記画像は、前記被写体の目の片方又は両方を含むカメラと、
前記所定の画像キャプチャ期間内に、前記被写体の目の片方又は両方を照らすように構成された２つ以上の照明装置であって、前記照明装置のそれぞれは、明瞳孔効果を生成するように前記カメラのレンズの十分近くに配置されるが、異なる明瞳孔反射の特性を生成するためようにレンズから異なる距離に配置される照明装置と、
キャプチャされた画像において測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、明瞳孔反射の特性を生成するために２つ以上の照明装置の出力を選択的に変化させるように構成されたコントローラを含む。

ある実施形態では、システムは２つの照明装置を含む。好ましくは、第１の照明装置は前記カメラから3 mm－15 mmの距離に配置され、第２の照明装置は前記カメラから7 mm－50 mmの距離に配置される。より好ましくは、第１の照明装置は前記カメラから8 mm－13 mmの距離に配置され、第２の照明装置は前記カメラから20 mm－30 mmの距離に配置される。

ある実施形態では、前記コントローラは、画像キャプチャ期間内に、前記照明装置のうちの１つを非アクティブ化するように構成される。

ある実施形態では、明瞳孔反射の特性は、被写体の目の片方又は両方による、再帰性反射効果（retroreflection effect）の測定値を含む。ある実施形態では、前記明瞳孔反射の特性は、前記被写体の目の片方又は両方の虹彩領域に対する瞳孔領域の画素の強度によって求められる瞳孔／虹彩のコントラストの直接的な測定値を含む。

本発明の第５局面によれば、アイトラッカーのための照明システムが提供され、このシステムは、
所定の画像キャプチャ期間内に、被写体の画像をキャプチャするように構成されたカメラであって、前記画像は前記被写体の目の片方又は両方を含む、カメラと、
前記所定の画像キャプチャ期間内に、前記被写体の目の片方又は両方を選択的に照らすように構成された１つ以上の照明装置であって、前記照明装置のうちの少なくとも１つは、明瞳孔効果を生じるように前記カメラのレンズの十分近くに配置される、照明装置と、
コントローラであって、前記コントローラは、
画像の少なくともサブセットにおいて、被写体の目の瞳孔のコントラストを測定するためにキャプチャされた画像を処理することと、
キャプチャされた画面における測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、明瞳孔反射の強度を生成するために制御された信号に基づいて１つ以上の照明装置の出力を制御することであって、前記制御信号は、以前の画像キャプチャ期間からの瞳孔コントラストの測定値に基づいて導出される、制御することと
を行うように構成されたコントローラと
を含む。

本発明の第５局面によれば、アイトラッキングシステムが提供され、このシステムは、
所定の画像キャプチャ期間内に、被写体の画像をキャプチャするように構成されたカメラであって、前記画像は前記被写体の目の片方又は両方を含む、カメラと、
前記所定の画像キャプチャ期間内に、前記被写体の目の片方又は両方を選択的に照らすように構成された１つ以上の照明装置であって、前記照明装置のうちの少なくとも１つは、明瞳孔効果を生じるように前記カメラのレンズの十分近くに配置される、照明装置と、
コントローラであって、前記コントローラは、
被写体の目を追跡するために視線トラッキングルーチンを実行するためにキャプチャされた画像を処理することであって、前記視線トラッキンルーチンは１つ以上の制御パラメータを求めることを含む、処理することと、
キャプチャされた画像における測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、明瞳孔反射の強度を生成するために１つ以上の制御パラメータに基づいて１つ以上の照明装置の出力を制御することと
を行うように構成されたコントローラと
を含む。

ある実施形態では、制御パラメータは、
ｉ．周囲光の測定値、
ｉｉ．前記被写体の瞳孔径の測定値、及び／又は
ｉｉｉ．前記被写体の現在の又は最近の視線方向
を含む。

ある実施形態では、制御パラメータは、被写体の生理学的パラメータを含む。

ある実施形態では、プロセッサは、被写体の目の瞳孔のコントラストの測定値を求めるためにキャプチャされた画像を処理するように構成され、前記以前の画像キャプチャ期間からの瞳孔のコントラストの測定値は、１つ以上の照明装置の照明パワーを制御するための制御パラメータとして使用される。よって任意の記載された実施形態においては、以前の画像キャプチャ期間からの瞳孔のコントラストの測定値は、照明装置のうちの少なくとも１つの照明パワーが選択的に変化される基になるパラメータ又は要素となり得る。

本開示の例示的実施形態は、添付の図面を参照して、例示としてここで説明される。
図１は、車両内部に取り付けられたカメラ及び２つのＬＥＤ光源を含むドライバーモニタリングシステムを有する車両の内部の透視図である。 図２は、自動車のダッシュボードに取り付けられた図１のドライバーモニタリングシステムを有する自動車のダッシュボードをドライバーが見た透視図である。 図３は、図１及び図２によるドライバーモニタリンスシステムの概略機能図である。 図４は、明瞳孔効果を図示するために赤外照明装置によって照らされている目の概略図である。 図５は、例示的な明瞳孔効果及び暗瞳孔効果の状況、並びに関連する画像の概略図である。 図６は、被写体に対するカメラ視野及びＬＥＤ照明視野を示す、図１－図３のドライバーモニタリングシステムの平面図である。 図７は、撮像されている被写体に対する照明幾何学及び撮像幾何学を示す、図１－図３のドライバーモニタリングシステムの平面図である。 図８は、アイトラッカーのための照明方法における主要なステップを図示する処理フロー図である。 図９は、カメラ及び１対のＬＥＤの第１実施形態の例示的な設定である。 図１０は、単一のＬＥＤが自動車のダッシュボードに取り付けられたドライバーモニタリングシステムを有する自動車のダッシュボードをドライバーが見た透視図である。 図１１は、異なるシステム要素間のデータフローを示す、図１－図３のドライバーモニタリングシステムの概略機能図である。 図１２は、遠い側のＬＥＤからの照明が好ましい例示的状況を図示している。 図１３は、近い側のＬＥＤからの照明が好ましい例示的状況を図示している。 図１４は、４つの異なる瞳孔の大きさについての、赤外光源及びカメラの視覚角度（visual angle）の関数としての、虹彩及び瞳孔の検出されたコントラストのグラフを図示している。

ここに記載されている照明システム及び照明方法は、多数のアイトラッキング環境において適用及び使用され得る。一例として、自動車、又は、バス、電車又は飛行機のような他の車両のドライバー又は乗客のモニタリングがある。加えて、記載されたシステムは、機械及びフライトシミュレータのような任意の他の機器を使用又は操作するオペレータに適用され得る。理解を容易にするために、本発明の実施形態は、車両のためのドライバーモニタリングシステムのコンテキストにおいてここでは記載される。さらに、照明装置は、発光ダイオード（ＬＥＤ）であるとして記載されているが、本発明は、垂直共振器型面発光レーザー（ＶＣＳＥＬ）のような、他のタイプの光源に適用できることが理解されよう。
［システムの概観］

初めに図１－図３を参照すると、車両１０４を操作中の車両ドライバー１０２の画像をキャプチャするためのドライバーモニタリングシステム１００が図示されている。システム１００は、顔検出、顔特徴検出、顔認識、顔特徴認識、顔追跡、又は人の目を追跡するような顔特徴追跡のような、キャプチャされた画像に対してさまざまな画像処理アルゴリズムを実行するようにさらに構成される。例示的画像処理パラメータは、Edwardsらによる「Facial Image Processing System」と題され及びSeeing Machines Pty Ltdに譲渡された米国特許第７，０４３，０５６号（以下「Edwardsら」）に記載されており、その内容は、相互参照によってここに援用される。

図２に最もよく図示されているように、システム１００は、車両のダッシュボード１０７の計器ディスプレイ上又は計器ディスプレイ内に配置され、１個以上の人間の顔の特徴を特定し、位置を特定し、及び追跡するために、赤外波長領域内でドライバーの顔の画像をキャプチャするように方向付けがなされている撮像カメラ１０６を含む。

カメラ１０６は、感光画素（又は光検出器）の２次元アレイを有し、及びオプションとして距離つまり奥行きを求める能力（１つ以上の位相検出要素を通してのような）を有する従来のＣＣＤ又はＣＭＯＳベースのデジタルカメラであってもよい。感光画素は、少なくとも赤外領域において、電磁放射を感知する能力がある。カメラ１０６はまた、ＴＯＦ（time-of-flight）カメラのような３次元カメラ、又は３次元でシーンを撮像することが可能である他のスキャニング又はレンジベースのカメラであってもよい。他の実施形態では、カメラ１０６は、ステレオの構成で動作し、カメラ１０６によってキャプチャされた画像における被写体の奥行き情報を抽出するように較正された一対の類似のカメラに置き換えられてもよい。カメラ１０６は、好ましくは、赤外波長領域で撮像するように構成されるが、代替の実施形態では、カメラ１０６は可視領域で撮像してもよいことが理解されよう。図示されていないが、カメラ１０６は、感光画素のアレイに対して光の焦点を合わせるための、第１撮像レンズを含む、撮像光学系も含む。

図２をさらに参照すると、第１実施形態において、システム１００はまた、発光ダイオード群（ＬＥＤ群）１０８及び１１０の形の一対の赤外照明装置を含み、それらは、車両のダッシュボード１０７上のカメラに近接して、水平方向に間隔を空けてそれぞれの位置に配置される。下で記載されるように、ＬＥＤ１０８及び１１０は、カメラ１０６から異なる距離に配置される。下に記載される他の実施形態では、単独のＬＥＤのみが使用される。また実施形態によっては、２つより多い光源が、システムにおいて採用されてもよい。

ドライバーの顔又は顔の特徴の高品質画像を取得できるようにドライバーの顔の撮像を向上させるために、ＬＥＤ１０８及び１１０は、カメラ１０６が画像をキャプチャしている、予め定義された画像キャプチャ期間中、赤外線放射でドライバー１０２を照らすよう構成されている。赤外領域でのカメラ１０６、ＬＥＤ１０８及び１１０の動作によって、ドライバーが視覚的に注意を散漫とさせられることが低減される。カメラ１０６及びＬＥＤ１０８及び１１０の動作は、コンピュータプロセッサ又はマイクロプロセッサと、カメラ１０６からのキャプチャされた画像を記憶させバッファリングするためのメモリとを備える、関連付けられたコントローラ１１２によって制御される。他の実施形態では、ＬＥＤの代わりに、ＶＣＳＥＬのような異なるタイプの光源が使用されてもよい。

図２に最もよく図示されているように、カメラ１０６及びＬＥＤ１０８及び１１０は、共通の筐体を有する単一のユニット１１１として製造され又は組み立てられてもよい。このユニット１１１は、車両のダッシュボード１０７に取り付けられた状態が示されているが、車両の製造の間に設置されてもよく、又はアフターマーケット製品として後で取り付けられてもよい。他の実施形態では、ドライバーモニタリングシステム１００は、車両内のドライバー、被写体、及び／又は同乗者の頭又は顔の特徴の画像をキャプチャするのに適する任意の位置に配置される１つ以上のカメラ及び光源を含み得る。例として、カメラ群及びＬＥＤ群は、車両のステアリングコラム、リアビューミラー、センターコンソール、又はドライバー側のフロントピラー上に配置されてもよい。図示されている実施形態では、第１光源及び第２光源はそれぞれ、単一のＬＥＤを含む。他の実施形態では、それぞれの光源が、個別のＬＥＤを複数個、それぞれ含んでもよい。

次に図３に目を向けると、システム１００の機能要素が概略的に図示されている。システムコントローラ１１２は、システム１００の中央処理装置として機能し、以下に記載のいくつかの機能を実行するように構成される。コントローラ１１２は、車両１０４のダッシュボード１０７内に配置され、車両のオンボードコンピュータと結合されてもよく、又は一体化されてもよい。別の実施形態では、コントローラ１１２は、カメラ１０６及びＬＥＤ１０８及び１１０とともに、筐体又はモジュールの中に配置されてもよい。この筐体又はモジュールは、アフターマーケット製品として販売され、車両のダッシュボードに取り付けられ、その車両での使用のためにその後、較正されてもよい。フライトシミュレータのような更なる実施形態では、コントローラ１１２は、パーソナルコンピュータのような外部コンピュータ又は外部ユニットであり得る。

コントローラ１１２は、例えばレジスタ及び／又はメモリからの電子データを処理して、その電子データを例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する、あらゆる形態のコンピュータ処理装置又はそのような装置の一部として実装され得る。図３に図示されるように、コントローラ１１２は、マイクロプロセッサ１１４を含み、それは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電子的に消去可能なプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、及び当業者には容易に分かるはずである他の同等なメモリ又は記憶システムのような、メモリ１１６に記憶されたコードを実行する。

コントローラ１１２のマイクロプロセッサ１１４は、ビジョンプロセッサ１１８及びデバイスコントローラ１２０を含む。ビジョンプロセッサ１１８及びデバイスコントローラ１２０は、両方がマイクロプロセッサ１１４によって実行される機能要素を表す。しかし代替の実施形態では、ビジョンプロセッサ１１８及びデバイスコントローラ１２０は、カスタム回路、つまり特化された回路と共に用いられるマイクロプロセッサのような別個のハードウェアとして実現され得ることが理解されよう。

ビジョンプロセッサ１１８は、ドライバーモニタリングを実行するために、キャプチャされた画像を処理するように構成される。例えば、ドライバーモニタリングは、モニタリング環境の中で、ドライバー１０２の、３次元的な頭部姿勢及び／又は視線の位置を求めることである。これを実現するために、ビジョンプロセッサ１１８は、１つ以上の視線決定のアルゴリズムを利用する。これは、例として、Edwardsらに記載された方法を含み得る。ビジョンプロセッサ１１８は、ドライバーの注意、眠気、又はドライバーの安全な車両の操作を妨げ得る他の問題を検出するために、閉眼、瞬きの速度のようなドライバー１０２の属性を求めること、及びドライバーの頭の動きを追跡することを含む、さまざまな他の機能もまた実行し得る。

ビジョンプロセッサ１１８で取得された生の画像データ、視線位置データ、及び他のデータは、メモリ１１６に記憶される。

デバイスコントローラ１２０は、シャッター速度及び／又は画像センサ露出／積分時間のようなカメラ１０６のさまざまなパラメータを制御し、カメラ１０６の露出時間と同期して、又はより一般的には予め定義された画像キャプチャ期間内に、下で記載された方法でＬＥＤ１０８及び１１０を選択的に作動させるように構成される。ＬＥＤ１０８及び１１０は、好ましくは、デバイスコントローラ１２０に電気的に結合されるが、それらはまた、Bluetooth（商標）又はWiFi（商標）通信のような無線通信を通して、コントローラ１２０によって無線で制御されてもよい。

よって、車両１０４の操作中、デバイスコントローラ１２０は、ビデオシーケンスの形でドライバー１０２の顔の画像群をキャプチャするために、カメラ１０６をアクティブ化する。ＬＥＤ１０８及び１１０は、予め定義された画像キャプチャ期間の間、ドライバーを照らすように、カメラ１０６によってキャプチャされる画像フレームと同期してアクティブ化されたり、非アクティブ化されたりする。デバイスコントローラ１２０及びビジョンプロセッサ１１８は、協働して、車両１０４の通常の操作中の眠気、注意、及び視線位置のようなドライバーの状態の情報を取得するために、ドライバーの画像をキャプチャすること、及び処理することを提供する。またデバイスコントローラ１２０及びビジョンプロセッサ１１８は、協働して、以下に記載の動的な照明制御を実行する。

システムの追加の構成要素はまた、ユニット１１１の共通の筐体中に含まれてもよく、又は他の追加の実施形態に従って別の構成要素として提供されてもよい。ある実施形態では、コントローラ１１２の動作は、カメラ１０６及びＬＥＤ１０８及び１１０と結合されているオンボート車両コンピュータシステムによって実行される。

本明細書を通して、ビジョンプロセッサ１１８又はデバイスコントローラ１２０によって実行される具体的な機能は、コントローラ１１２によって実行されるものとして、より広く記載され得る。
［明瞳孔条件］

次に図４を参照すると、明瞳孔状態の概略図が図示されている。この図を参照して、明瞳孔条件の概念が記載される。

赤外線ＬＥＤ４００のような点光源が目４０２を照らすために用いられるとき、目４０２のレンズ４０４は、点光源を網膜４０８の表面上の画像４０６に結像させる。レンズ４０４は不完全なレンズであるため、画像４０６は網膜４０８上でぼやけた円板になる。いくらかの光は網膜４０８から乱反射し、この光のサブセットはレンズ４０４上に入射する。この反射光のサブセットは、レンズ４０４によって、光源に戻るように集光される。再び、レンズ４０４は不完全であるため、反射光は、理想的な点ではなく、ＬＥＤ４００の周囲の有限直径の円板として結像される。円板は、撮像された画像が明瞳孔効果を示すであろう領域４１０を表す。

目の瞳孔４１２を通過する光のみが目４０２の内部に入ることができるので、領域４１０によって規定される明瞳孔領域は、瞳孔直径が小さくなって輝度が減少すると、小さくなる。空間において異なる領域（異なる視線角度（gaze angles））を見るように目が回転すると、網膜４０８上の画像４０６の位置、形状、及びサイズは変化する。結果として、領域４１０のサイズ及び輝度は、視線角度とともに変化する。

明瞳孔効果は、
・瞳孔の拡大（大きさ）、
・カメラに対する視線角度、
・被写体の年齢及び民族性、及び
・光の波長
を含む多くの要因に影響される。

明瞳孔効果の下では、グレースケール画像において、瞳孔は周囲の虹彩より明るくなる。カメラで撮像されるとき、虹彩は、非常に明るい瞳孔の周りにある暗い領域であるように見える。これは図５の左部に図示されており、それはまた、目が照らされた例示的角度を示す。図５の右部は、瞳孔が周囲の虹彩より暗い、より一般的な暗瞳孔条件を図示する。

人間の目の生理機能を考慮すると、明瞳孔効果は典型的には、撮像カメラが目に対して光源から3.25度未満の角度において配置されているときに表れる。しかし、明瞳孔効果が表れる特定の角度は、上の要因及び他の要因とともに変化することが理解されよう。

次に図６及び図７を参照すると、ドライバーモニタリングシステム１００の平面図が図示されている。図６は、ＬＥＤ１０８及び１１０の照明領域及びカメラ１０６の視野を図示する。図７は、カメラ１０６及びＬＥＤ１０８及び１１０の間の、カメラ光軸を含む幾何学的角度を図示する。通常の運転条件の下では、カメラ１０６及びＬＥＤ１０８及び１１０は、典型的には、ドライバー１０２の顔から30 cm及び80 cmの間の距離に配置される。明瞳孔条件を実現する（ＬＥＤ１０８及び１１０がカメラ１０６の光学軸から3.25度（図７におけるθ１及びθ２）未満の角度でドライバー１０２を照らす）ためには、ＬＥＤ１０８及び１１０は、カメラ１０６から約30 mm内に配置されるべきである。しかし、外側ＬＥＤ１１０は、カメラ１０６のレンズから最大で約50 mmの距離に配置されてもよい。

カメラ及び照明装置の間の角度の離隔としてある値が与えられたとき、瞳孔の大きさが大きいほど瞳孔の輝度が高くなる。同様に、カメラ／照明装置の角度としてある値が与えられたとき、カメラを真っ直ぐに見る被写体は、被写体が軸から外れた方向を見るときよりも瞳孔が暗くなる。

周囲に相当な照明があるとき、明瞳孔と虹彩とのコントラストは、瞳孔の輝度と虹彩の輝度とによって求められる。瞳孔の輝度は、ほぼ、ＬＥＤからの制御された照明だけに起因する明瞳孔効果による。周囲光は、明瞳孔の強度に大きな影響を与えない。虹彩の輝度は、制御された照明と周囲の照明との組み合わせによる。

したがって、他のモニタリング環境において及び異なる条件下では、ＬＥＤ１０８及び１１０は、依然として明瞳孔条件を達成できるように、カメラ１０６からより離れた距離で配置されてもよいことが理解されよう。

上述のように、虹彩及び瞳孔がほぼ同じ強度で撮像され、瞳孔のコントラストが非常に低くなる「グレー瞳孔」状況と呼ばれるシチュエーションが存在する。典型的には、グレー瞳孔は、瞳孔の大きさが小さいとき（瞳孔の輝度が比較的低いとき）にのみ発生するので、グレー瞳孔は典型的には、明るい可視の周囲条件下（虹彩の輝度が一般に高いとき）でのみ発生する。

グレー瞳孔状況は、
・明瞳孔効果の強度を変更すること（例えば、照明光源を撮像カメラのレンズに近づける又は遠ざけることによって）、
・制御された照明の強度を調節すること、及び
・周囲光の強度を調節すること
によって低減され得る。

センサの積分時間（シャッター期間）を変化させることのような、撮像カメラの露出期間を変えることによって、瞳孔／虹彩のコントラストを変えることも可能である。しかし、本願発明者は、照明パワーを動的に制御することが、デバイスコントローラ１２０の制御アルゴリズムの露出制御ループにおいて、複雑さが増すこと又は必要とされる変更点がないので有利であることをつきとめた。照明パワーを動的に制御することは、Nobleによる「System and Method for Improving Signal to Noise Ratio in Object Tracking Under Poor Light Conditions」と題され及びSeeing Machines Pty Ltdに譲渡されたＰＣＴ特許出願公開ＷＯ２０１９／０８４５９５号（以下「Noble」）に記載されているように、光の不十分な状況下で、被写体追跡における信号対雑音比を向上させるためにまた有利である。また動的な照明制御は、ある条件下で、システムのパフォーマンスを改善させるために、動的な露出制御と連動して実行されてもよいが、その代償として、制御アルゴリズムの複雑さが増す。
［照明制御］

次に図８を参照すると、システム１００のようなアイトラッカーシステムにおいて、目の瞳孔及び虹彩の最小瞳孔／虹彩コントラストが維持されることを確実にするための照明方法８００における主要なステップ群を示すプロセスフロー図が図示されている。方法８００は、ステップ８０１において、予め定義された画像キャプチャ期間中、被写体１０２の画像をキャプチャするようにカメラ１０６を構成することを含む。予め定義された画像キャプチャ期間は、通常のフレームレートにおいて動作するカメラ１０６の、通常のシャッター期間を表し得る。しかし、カメラ１０６は、単一のシャッター期間中に、画像センサの複数の積分が起こる、より高いフレームレートモードで動作するように構成されてもよい。同様に、いくつかのカメラは、画像データを記憶させるのと同時に、複数の画像センサを使用して、単一のシャッター期間中に複数の画像を記録するように構成される。ここで、予め定義された画像キャプチャ期間は、センサ積分の複数個の期間を表してもよい。よって、単一の画像キャプチャ期間内に複数の画像がキャプチャされることも可能である。「画像キャプチャ期間」という用語は、それがカメラ１０６のセンサ積分モードの標準のフレームレートであろうと、より高いフレームレートであろうと、画像キャプチャの全ての変化形をカバーするように意図される。

キャプチャされた画像は、被写体目の片方又は両方を含む。あるアイトラッカーシステムでは、それぞれの目のアイトラッキングは独立して実行され、他のアイトラッカーシステムでは、両方の目が同時に追跡される。ある画像フレームでは両方の目を追跡できないとき、片方の目だけが追跡されてもよい。どちらの目も追跡できないときは（例えば、被写体の目が閉じられているとき）、その画像フレームは、アイトラッキングの目的のために破棄されて、後続の画像が読み込まれてもよい。

ステップ８０２において、被写体の目の片方又は両方は、予め定義された画像キャプチャ期間中、ＬＥＤ１０８及び１１０の１つ又は両方によって照らされる。実際には、照明が予め定義された画像キャプチャ期間中に行われるように、ステップ８０１及び８０２は互いに同期して実行される。

ステップ８０３において、コントローラ１１２は、キャプチャされた画像における測定された瞳孔／虹彩のコントラストが、所定の最小の瞳孔／虹彩のコントラストを超えるような明瞳孔反射の強度を生成するように、ＬＥＤ１０８及び１１０のうちの少なくとも１つの出力を選択的に変化させる。このステップの一部として、ビジョンプロセッサ１１８は、現在又は過去の画像から、瞳孔／虹彩のコントラストを計算してもよい。このコントラストの計算は、下で詳細に記載される。

下でより詳細に記載されているように、本発明は、ＬＥＤ群（又は他の照明装置）の異なる組み合わせを有する異なる実施形態を含む。第１実施形態では、図１－３、６及び７で図示されている、２つのＬＥＤ（１０８及び１１０）が提供され、それぞれのＬＥＤは、明瞳孔効果を生成するためにカメラ１０６のレンズに十分近いが、異なる明瞳孔反射の特性を生成するためにレンズから異なる距離に配置される。例として、この第１実施形態の構成は図９に概略的に図示されており、ここでＬＥＤ１０８はカメラ１０６のレンズから9 mmの距離に配置され、ＬＥＤ１１０はカメラ１０６のレンズから50.3 mmの距離に配置される。

明瞳孔効果を生成し、異なる明瞳孔反射の特性を生成するためには、ＬＥＤ１０８及び１１０の他の配置が可能であることが理解されよう。例として、近い側のＬＥＤ１０８は、カメラ１０６のレンズから約3 mm－15 mmの範囲内に配置されてもよく、遠い側のＬＥＤ１１０は、カメラ１０６のレンズから約7 mm－50 mmの範囲内に配置されてもよい。いくつかの実施形態では、近い側のＬＥＤ１０８は、カメラ１０６のレンズから約8 mm－13 mmの範囲内に配置され、遠い側のＬＥＤ１１０は、カメラ１０６のレンズから約20 mm－30 mmの範囲内に配置されることが好ましい。

カメラ１０６及びＬＥＤ１０８及び１１２の間の最適な離隔距離は、カメラレンズ及びＬＥＤ／二次光学系の物理的な限界、及びカバーグラス（過度の内部反射を避けるための）の存在及び設計のような要因に依存することも理解されよう。

図１０に図示される第２実施形態のシステム２００においては、単一のＬＥＤ１０８だけが、被写体の片方の目又は両目を照らすように使用される。単一のＬＥＤ１０８は、明瞳孔効果を生成するように、カメラ１０６のレンズに十分に近くに配置される。両方の実施形態では、ＬＥＤ群は、キャプチャされた画像における測定された瞳孔／虹彩のコントラストが、所定の最低限の瞳孔／虹彩のコントラストを超えるような明瞳孔反射の強度を生成するように、それらの出力を選択的に変化させるために、コントローラ１１２によって動的に駆動される。最低限の瞳孔／虹彩のコントラストを実現することによって、アイトラッキングシステムのパフォーマンスが向上し、撮像されている被写体の視線を正しく検出し及び追跡することができる。

これらの実施形態の両方が、下に記載されている。それぞれの実施形態は、明瞳孔効果を誘起させるために、カメラのレンズの十分近くに配置されるＬＥＤ群（又はより一般的には照明装置）を制御することに関するだけであることが理解されよう。これは、光源がカメラのレンズから離れて配置され得るのでカメラの光軸から大きく外れる暗瞳孔条件で動作する、他の照明システムとは異なる。
［実施形態１－－２つのＬＥＤによる照明］

再び図９を参照すると、それぞれの照明装置は、明瞳孔効果（上述のように）を生成するためにカメラ１０６のレンズに十分近くに配置されるが、異なる明瞳孔反射の特性を生成するためにレンズから異なる距離に配置される。明瞳孔の特性は、照らされている目が受ける再帰性反射効果（retroreflection effect）の大きさの測定値を含む。再帰性反射効果の大きさは、与えられたＬＥＤの電力について、異なる照射位置において瞳孔及び虹彩の画素値を測定することによって定量化できる。これは、いくつかの実施形態では、キャプチャされた画像内の、虹彩領域内の1つ以上の画素及び瞳孔領域内の1つ以上の画素の輝度又は画素強度の測定値として測定可能である。これら輝度の測定は、カメラ１０６からの生の（raw）画像データの画像処理中に、ビジョンプロセッサ１１８によって実行される。

輝度の測定値は、グレースケールの輝度の測定値で表現され、典型的には、キャプチャされた画像（例えば１６ビット）のフォーマットで表現される。この輝度の測定値は、画像の虹彩及び瞳孔のそれぞれに位置すると判定された、複数の画素の平均の輝度値を含んでもよい。例えば、暗瞳孔の状況では、生の１６ビットの瞳孔の輝度は3,540で、虹彩の輝度は18,050かもしれない。明瞳孔の状況では、生の１６ビットの瞳孔の輝度は32,501で、虹彩の輝度は3,460かもしれない。目の異なる領域の判定は、エッジ検出、形状認識及び輪郭検出のような既知の画像処理技術によって、ビジョンプロセッサ１１８によって実行される。

虹彩領域及び瞳孔領域の判定は、Edwardsらに記載されているアルゴリズムのような、より普遍的なアイトラッキングアルゴリズムの一部として実行され得る。しかし、典型的には、これらの領域は、エッジ検出、形状認識及びハフ変換のような画像処理技術によって特定されてもよい。よって、画像内で、虹彩領域及び瞳孔領域は、個々の画素からなる２次元の領域又は領域群として定義され得る。

瞳孔／虹彩のコントラストの測定は、定義された瞳孔領域内の１つ以上の画素の輝度値を、定義された彩虹領域内の１つ以上の画素の輝度値と比較することによって実行され得る。画素のサンプルは、それぞれの領域からの単一の画素、それぞれの領域の周りに分布する画素のグループ、又はそれぞれの領域内の画素の一部又は全ての平均の画素値であり得る。

ここで図１１を参照すると、システム１００の異なる要素間で通信されるさまざまなデータを示す図３の変形例が図示されている。ここで、ビジョンプロセッサ１１８がカメラ１０６から生の画像データを受信し、さまざまなデータをデバイスコントローラ１２０に送信することが示される。簡単のため、メモリ１１６は図１１に図示されていないが、カメラ１０６、ビジョンプロセッサ１１８、及びデバイスコントローラ１２０の間のデータ通信は、メモリ１１６でのデータの記憶及び取得を含み得る。

方法８００の照明制御ステップ８０３の間、コントローラ１１２は、生成された制御信号１３０及び１３２に基づいて、ＬＥＤ１０８及び１１０の片方又は両方の出力をそれぞれ制御する。制御信号１３０及び１３２は、デバイスコントローラ１２０によって求められ、対応するＬＥＤが赤外線放射を発生させるように駆動される電流及び／又は電圧の信号を含む。典型的には、ＬＥＤ群は、定義されたピークパワー及びパルス幅を有するパルス出力を用いて制御される。システム１００において、パルス幅は、カメラ１０６の露出時間と実質的に一致するようにデバイスコントローラ１２０によって設定される。

デバイスコントローラ１２０による出力の変形例は、パルスピーク値、パルス波形、又はパルス幅を変化させることのような変形例をカバーする。ある実施形態では、パルスのエネルギー含有量がデバイスコントローラ１２０によって変化させられるようにＬＥＤ群は制御される。他の実施形態では、パルスのエネルギー含有量は一定のままであるが、パルスピーク値及び／又はパルス波形は変化させられる。例として、ＬＥＤ群は、上で参照されたNobleの公報に記載されているように、パルス処理の曲線に動的に基づいて制御されてもよい。

デバイスコントローラ１２０によって求められる制御信号は、１つ以上の以下の入力に基づき得る。
・周囲光の測定値
周囲光の測定値は、外部の周囲光センサ１５０から取得され、デバイスコントローラ１２０に供給されてもよい。代替として、周囲光の測定値は、多くの画像についての背景の特徴の比較を通じて、キャプチャされた画像からビジョンプロセッサ１１８によって推定され得る。ビジョンプロセッサ１１８は、物体の反射率、物体までの距離、及び制御された照明の量を考慮することによって、キャプチャされた画像から周囲光の測定値を抽出するアルゴリズムを実現し得る。もし、測定されている物体がカメラに対して固定されている（車両室内の物体のような）なら、距離のファクターは一定のままである。ある実施形態では、周囲光の代用の測定値は、カメラ１０６の露出設定及び／又はＬＥＤ群の照明設定から求められる。カメラは、光の条件に基づいて画像の露出時間を制御するように構成された内蔵のハードウェア及びソフトウェアを有するので、これらの露出設定を使用することは、周囲光の代用の測定値として使用されてもよい。例として、周囲光の光量が低い条件のシーンにおいては、カメラ１０６は、画像センサを介して自動的に光のレベルを検出し、より長い画像露出時間を設定する。
・被写体の瞳孔径の測定値
これは、瞳孔径が識別可能な前の画像から、ビションプロセッサ１１８によって測定される。直径の瞳孔が大きいほど、周囲光の量が少ないことを示し、瞳孔が小さいほど、周囲光の量が多いことを示す。瞳孔径の測定値はまた、存在する周囲光の代用の測定値として使用されてもよい。
・現在又は最近の、被写体の視線方向
人間の目の複雑な幾何学形状によって、光が入射する領域が異なると、反射の特性も異なることを意味する。目が光源の方にまっすぐに向いているとき、強い再帰性反射が発生し、明瞳孔効果が表れる。しかし、光源から離れるような異なる視線角度においては、異なる反射の特性が表れ、明瞳孔効果が得られる場合もあり、得られない場合もある。さらに、目の幾何学的形状は人によって異なるので、これら特性も人によって異なる。よって、ドライバーモニタリングシステム１００によって測定される現在又は最近の視線方向は、ＬＥＤ１０８及び１１０を制御するための入力として利用され得る。
・被写体の生理学的パラメータ
年齢及び民族が異なると、人間の個々人は、目のサイズにおいてばらつきを持つ、他人とは異なる目の幾何学的形状を有する。特に、人間の水晶体の大きさ及び瞳孔の拡大の分量は、人によって変わり得る。これは、与えられた光学システムについて、異なる明瞳孔反応及び暗瞳孔反応を生じる。人によって変わる例示的な生理学的パラメータは、眼底又は水晶体の大きさ、形状、及び反射率、並びに瞳孔の形状及び反応を含む。ある実施形態では、これらのパラメータは、デバイスコントローラ１２０に入力され、適切な制御信号１３０及び１３２を求めることにおいて考慮され得る。ある実施形態では、これらの生理学的パラメータは、直接的に測定される。他の実施形態では、生理学的パラメータは、トレーニングデータ及びその類似のものに基づいて、パラメータを最適化することによって当てはめがなされる。
・瞳孔のコントラストの直接測定
ある実施形態では、ビジョンプロセッサ１１８は、被写体の目の瞳孔のコントラストの測定値を求めるために、キャプチャされた画像を処理するように構成される。瞳孔のコントラストの、この測定値は、現在又は過去のキャプチャされた画像から取得されてもよいが、ＬＥＤ１０８及び１１０の出力を制御するために、デバイスコントローラ１２０への入力を形成してもよい。ある実施形態では、上述のように、瞳孔のコントラストの測定値は、定義された瞳孔領域内の１つ以上の画素の輝度値を、定義された虹彩領域内の１つ以上の画素の輝度値と比較することによって求められる。他の実施形態では、瞳孔のコントラストは、虹彩領域から瞳孔領域に至る画素値の傾きを求めることのような、他の技術によって導き出されてもよい。

デバイスコントローラ１２０は、１つ以上の上記入力に基づいて、ＬＥＤ１０８及び１１０のための所望の制御信号１３０及び１３２を生成する１つ以上のアルゴリズムを含む。制御信号の具体的な電圧値又は電流値は、制御アルゴリズムによって求められた上述の測定された入力の組み合わせに基づいてもよい。ある実施形態では、コントローラ１２０は、測定された入力に基づいて、ＬＥＤ１０８及び１１０のための所望の電圧及び／又は電流を設定する具体的な制御アルゴリズムを動作させる。ある実施形態では、それぞれの入力は、重要性に基づいて重み付けされる。

典型的には、暗い環境（周囲光が弱い）においては、近い側のＬＥＤ１０８がアクティブ化され、遠い側のＬＥＤ１１０は非アクティブ化されてもよい。拡大した瞳孔については、カメラ及びＬＥＤの間の角度の離隔の上限はより大きくてもよく、それは内部反射の問題を緩和する。瞳孔のサイズは小さいが被写体が軸から外れた方向を見ている状況、又は瞳孔のサイズが十分に大きい状況では、瞳孔／虹彩のコントラストを高めるように近い側のＬＥＤ１０８をアクティブ化することが好ましい。

典型的には、明るい環境（周囲光が強い）においては、遠い側のＬＥＤ１１０がアクティブ化され、近い側のＬＥＤ１０８は非アクティブ化されてもよい。収縮した瞳孔については、カメラ１０６及びＬＥＤ１０８及び１１０の間の角度の離隔の下限はより小さくてもよいので、カメラの組立品のサイズがより小型になることを意味する。被写体がカメラ１０６を見ている状況、又は瞳孔のサイズが十分に小さい状況では、遠い側のＬＥＤ１１０もアクティブ化され得る。

図１２は、遠い側のＬＥＤ１１０からの照明が好ましい例示的な状況を図示しており、図１３は、近い側のＬＥＤ１０８からの照明が好ましい例示的な状況を図示している。図１２と図１３との間には、ある重複する状況が存在することに注意されたい。これは、ある状況においては、近い側のＬＥＤ１０８又は遠い側のＬＥＤ１１０のどちらがアクティブ化されてもよいことを意味する。与えられたＬＥＤの位置及び瞳孔のサイズについて、もし、被写体がカメラをまっすぐに見つめるなら、その瞳孔は被写体が他の方向を見るときよりも暗くなる。

よって、ステップ８０３において、デバイスコントローラは、以下の例示的な照明条件が提供されるように、制御信号１３０及び１３２を実装し得る。
・ＬＥＤ１０８がアクティブ化され、ＬＥＤ１１０が非アクティブ化される。
・ＬＥＤ１１０がアクティブ化され、ＬＥＤ１０８が非アクティブ化される。
・ＬＥＤ１０８の出力が増加され、ＬＥＤ１１０が非アクティブ化される。
・ＬＥＤ１１０の出力が増加され、ＬＥＤ１０８が非アクティブ化される。
・ＬＥＤ１０８の出力が増加され、ＬＥＤ１１０が減少される。
・ＬＥＤ１１０の出力が増加され、ＬＥＤ１０８が減少される。
・ＬＥＤ１０８の出力が減少され、ＬＥＤ１１０が非アクティブ化される。
・ＬＥＤ１１０の出力が減少され、ＬＥＤ１０８が非アクティブ化される。

上の照明条件は、単に例示的なものであり、可能性のある条件を網羅したリストではないことが理解されよう。それぞれのＬＥＤが増加又は減少される量は、上の入力の組み合わせに基づいてもよい。ある実施形態では、それぞれのＬＥＤは、検出された入力の具体的な値又は範囲に基づいて、いくつかの予め定義された電圧又は電流のレベルのうちの１つにおいて駆動可能である。ある実施形態では、デバイスコントローラ１２０は、画像キャプチャ期間内において、１つ以上の照明装置の照明パワーを少なくとも２つの異なるパワーレベルに変化させる。

他の実施形態では、システム１００は、明瞳孔効果を生成するように配置された２つより多いＬＥＤ群を含むことが理解されよう。
［実施形態２－－単一のＬＥＤ］

ここで図１０を参照すると、システム２００は、近い側のＬＥＤ１０８のみが実装されている第２実施形態を表す。この実施形態では、ＬＥＤ１０８は、カメラ１０６のレンズから3 mm-15 mmの距離に配置されることが好ましいが、必ずしもそうでなくてもよい。

この単一のＬＥＤの実施形態は、周囲光と制御された光との比率が瞳孔／虹彩のコントラストを最小レベルに回復させるまで、ＬＥＤの制御された照明の強度を動的に調節することだけによって、照明の角度を変えることなくグレー瞳孔効果の存在が緩和され得るという事実に依拠する。ここで、制御された光は、ＬＥＤ１０８から制御される方法で生成される光の量を表し、周囲光は、カメラ１０６のフォトセンサアレイによって撮像された全ての他の光を表す。

ＬＥＤ１０８（及び、第１実施形態の場合はＬＥＤ１１０もまた）の動的な制御は、以下の理解に基づいてデバイスコントローラ１２０によって実行され得る。
ｉ． 低い周囲光の状況では、瞳孔は大きいが、周囲光が増えるに従って大きさが小さくなる。
ｉｉ． 虹彩は周囲光の増加とともに明るくなるが、瞳孔は明るくはならない。
ｉｉｉ. ＬＥＤ１０８（及び／又はＬＥＤ１１０）による制御された照明は、デバイスコントローラ１２０によって実行されるカメラの自動露出制御アルゴリズムによって減少され、それは瞳孔及び虹彩の輝度を、同じ割合で減少させることになる。すなわち、瞳孔の輝度は、より大きな絶対量で減少するが、これはより高い値において始まるからである。これにより、瞳孔と虹彩との絶対的なコントラストが低下する。

上の３つの効果の組み合わせは、明瞳孔条件下では、瞳孔の大きさは減少し、それは明瞳孔効果を減少させることになる（しかし、非常に低い周囲光の環境下では、使用可能な明瞳孔効果は、小さな瞳孔径に至るまで依然として存在する）。同時に、周囲光が明るくなること、及びＬＥＤ出力制御アルゴリズムの調節を行うことが組み合わせられると、瞳孔の輝度が低くなり、虹彩の輝度が高くなる。組み合わせられた全てのこれらの効果は、明瞳孔効果を大きく減少させるように作用し、グレー瞳孔効果がより小さな照明角度において現れるようにする。

よって、ＬＥＤの出力制御アルゴリズムは、周囲の条件とともに、瞳孔の大きさ及び虹彩の輝度の変動（ばらつき）を考慮すべきである。さらに、全ての周囲の条件、並びにその結果として生じる瞳孔の大きさ及び制御された照明レベルにわたって、明瞳孔をうまく生成し得るＬＥＤの配置は、おそらく存在しないであろう。

ここで図１４を参照すると、４つの異なる瞳孔の大きさについての、ＬＥＤとカメラのレンズとの角度の関数としての、検出された瞳孔／虹彩のコントラストのグラフが図示されている。このグラフは、与えられた距離についての、瞳孔の大きさ、瞳孔／虹彩のコントラスト、及びＬＥＤ／カメラの離隔の関係を図示している。これらの関係により、所望の虹彩／瞳孔のコントラストを実現するために、周囲光のレベルを推定することが可能になり、ＬＥＤ（群）を制御するために構築されるべき一連のルールが可能になる。

ある実施形態では、カメラ１０６は、１つの画像キャプチャ期間当たり、複数の画像をキャプチャするように構成される。これらの実施形態では、デバイスコントローラ１２０は、異なる照明条件下及び／又は画像キャプチャ条件下で、画像キャプチャ期間内で、例えばＬＥＤ１０８の出力を調節することによって、少なくとも２つの画像をキャプチャするようにＬＥＤ１０８を制御し得る。例えば、ある画像は、ＬＥＤ１０８が第１出力レベルにおいて駆動されている間にキャプチャされ得て、第２画像は、ＬＥＤ１０８が第１出力レベルとは異なる第２出力レベルにおいて駆動されている間に、キャプチャされる。この結果、制御された光のレベルは異なるが周囲光のレベルは共通である、２つの、同時の、又は非常に時間的間隔が狭い画像が得られる。他の実施形態では、露出時間又はセンサゲインのような画像キャプチャの設定は、画像間で変更されてもよい。

ビジョンプロセッサ１１８は、次に、瞳孔のコントラストが増加した、結果として得られる画像を生成するように、２つの画像に対して画像減算を実行してもよい。この画像減算プロセスでは、２つの画像の対応する画素の画素値が、周囲光の成分を除去し、明瞳孔効果を高めるように減算される。

同様の画像減算プロセスは、第１実施形態について、ＬＥＤ１０８及び１１０のうちの１つ又は両方が異なる出力レベルにおいて変調された状態で実行され得る。

上で記載された発明は、暗瞳孔モードで動作する標準的なアイトラッキングシステムと同等の性能を有しているがパッケージサイズにおいては５０パーセント削減した、瞳孔／虹彩のコントラストを使用した効率的なアイトラッキングを提供し得る（第１の実施形態の場合）。この小型化は、ダッシュボードの計器パネル上の空間が貴重である現代の車両においては有利である。第２実施形態（単一のＬＥＤ）の場合、瞳孔の大きさが小さい状況では、性能が低下するものの、パッケージサイズがさらに削減され得る。
［解釈］

「赤外線」という用語は、本記載及び明細書の全体にわたって使用される。本明細書の範囲では、赤外線は、近赤外線、赤外線、及び遠赤外線の周波数つまり光波を含む電磁スペクトルの一般的な赤外線領域を表す。

具体的に特段の記載がない限り、以下の議論から明らかなように、本明細書を通して、「処理」、「コンピューティング」、「計算」、「判定」、「分析」又はそれらの類似物のような語を利用した議論は、電子的のような物理的な量として表現されるデータを、物理的な量として同様に表現される他のデータに操作し及び／又は変換する、コンピュータ又はコンピューティングシステム又は類似の電子コンピューティング装置の動作及び／又は処理を表すことが理解されよう。

同様に、「コントローラ」又は「プロセッサ」の用語は、例えば、レジスタ及び／又はメモリからの電子データを処理して、その電子データを、例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する装置の、任意の装置又はその一部を表し得る。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含み得る。

本明細書を通して「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という言い方は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通してさまざまな箇所に「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という文言が現れることは、必ずしも全てが同一の実施形態を指すのではない。さらに、特定の特徴、構造、又は特性は、本開示から当業者には明らかなように、１つ以上の実施形態において任意の適切なやり方で組み合わせられてもよい。

ここで用いられるように、特にそうではないと述べられない限り、共通の物体を記載するために用いられる順序を表す形容詞「第１」、「第２」、「第３」等は、単に類似の物体の異なる例が参照されることを示すだけであり、そのように記載された物体が、時間的、空間的、序列において、又は任意の他の点において、与えられた順序で存在しなければならないことを示唆するようには意図されていない。

以下の特許請求の範囲及びここでの説明において、備える、備わった、又は備えられているという語のいずれも開放的な語であり、少なくとも後に続く要素／特徴を含むことを意味するのであって、他のものを排除することを意味しない。よって備えるという語は、特許請求の範囲で用いられるときは、その後に列挙された手段又は要素又はステップに限定されるようには解釈されるべきではない。例えば、Ａ及びＢを備える装置という表現の範囲は、要素Ａ及びＢだけからなる装置に限定されるべきではない。ここで使われているように含むという語のいずれもやはり開放的な語であり、その語の後に続く要素／特徴を少なくとも含むということを意味するが、他の物を排除する意味はない。よって含むは、備えると同義であり、備えるという意味である。

本開示の例示的実施形態の上の説明において、本開示のさまざまな特徴は、時として、本開示を効率的にし、１つ以上のさまざまな発明の局面の理解を助けるために、単一の実施形態、図、又はその記載においてまとめられている。しかしこの開示方法は、特許請求の範囲がそれぞれの特許請求の範囲において明示的に記載されたよりも多くの特徴を要求するという意図を反映するようには解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の局面は、単一の前述の開示された実施形態の全ての特徴よりも少ない所に存する。よって詳細な説明の後の特許請求の範囲は、ここで明示的にこの詳細な説明に援用され、それぞれの請求項は、本開示の別々の実施形態として、それ自身で有効である。

さらに、当業者に理解されるように、ここで記載されたいくつかの実施形態は、いくつかの特徴を含むが、他の実施形態中に含まれる他の特徴は含まないが、異なる実施形態の特徴の組み合わせも本開示の範囲内にあると意図され、異なる実施形態を形成するものと意図される。例えば、以下の特許請求の範囲において、請求された実施形態の任意のものは、任意の組み合わせにおいて用いられ得る。

ここに提供された記載において、多くの具体的な詳細が述べられている。しかし、本開示の実施形態は、これら具体的な詳細なしでも実施され得ることが理解されよう。換言すれば、本記載の理解を不明瞭にさせないために、よく知られた方法、構造、及び技術は詳細には示されていない。

同様に、結合されるという語は、特許請求の範囲で使われるときには、直接的接続だけに限定されて解釈されるべきではないことに注意されたい。「結合された」及び「接続された」という語が、それらの派生形もあわせて、用いられ得る。これら語は、互いの同義語としては意図されていない。よって装置Ｂに結合された装置Ａという表現の範囲は、装置Ａの出力が直接に装置Ｂの入力に接続されている装置又はシステムに限定されるべきではない。それは、Ａの出力及びＢの入力の間のパスが存在し、これは、他の装置又は手段を含むパスであってもよいということを意味する。「結合された」は、２つ以上の要素が直接的な物理的、電気的、又は光学的接触のいずれかにあること、又は２つ以上の要素が直接的な接触にはないが、依然として互いに協働又は相互作用することを意味し得る。

本明細書に記載された実施形態は、本発明のあらゆる適応又は変形を対象とすることを意図している。本発明は、特定の例示的な実施形態の観点で記載され、説明されてきたが、当業者には、本発明の範囲内にあるさらなる実施形態が容易に想定され得ることが理解されよう。

Claims (22)

1. 測定された瞳孔／虹彩のコントラストが、所定の最小瞳孔／虹彩コントラストを超えるように、アイトラッカーにおいて1つ以上の照明装置を制御する方法であって、前記方法は、
   所定の画像キャプチャ期間の間、被写体の目の片方又は両方を含む、前記被写体の画像をキャプチャすることと、
   前記所定の画像キャプチャ期間の間、1つ以上の照明装置から前記被写体の目の片方又は両方を照らすことであって、
   少なくとも1つの照明装置は、明瞳孔効果を発生するようにカメラのレンズの十分近くに配置されている
   照らすことと、
   キャプチャされた画像における、測定された瞳孔／虹彩のコントラストが、所定の最小瞳孔／虹彩コントラストを超えるような明瞳孔反射強度を発生させるように、前記照明装置のうちの少なくとも1つの出力を選択的に変化させることと
   を含む方法。
2. 前記照明装置のうちの少なくとも1つの前記出力が、前記被写体の目の片方又は両方の虹彩領域に対する瞳孔領域の画素の強度によって求められる瞳孔／虹彩のコントラストの直接的な測定値に基づいて選択的に変化させられる
   請求項１に記載の方法。
3. 前記照明装置のうちの少なくとも１つの前記出力が、
   ｉ．周囲光の測定値、
   ｉｉ．前記被写体の瞳孔径の測定値、及び／又は
   ｉｉｉ．前記被写体の現在の又は最近の視線方向
   のうちの１つ以上に基づいて選択的に変化させられる
   請求項１に記載の方法。
4. 前記周囲光の測定値は、前記カメラの露出設定及び／又は前記１つ以上の照明装置の照明設定から求められる
   請求項３に記載の方法。
5. 前記照明装置のうちの少なくとも１つの前記出力が、前記被写体の生理学的パラメータに基づいて選択的に変化させられる
   請求項１－４のいずれか１項に記載の方法。
6. 前記照明装置のうちの少なくとも１つの前記出力が、画像キャプチャ期間内に、少なくとも２つの異なるパワーレベルで選択的に変化させられる
   請求項１－５のいずれか１項に記載の方法。
7. 前記カメラは、画像キャプチャ期間内に少なくとも２つの画像をキャプチャし、前記２つの画像は、異なる照明設定又は画像キャプチャ設定を用いてキャプチャされる
   請求項６に記載の方法。
8. 瞳孔のコントラストが増加した、結果として得られる画像を生成するように、前記２つの画像に対して画像減算を実行するステップを含む
   請求項７に記載の方法。
9. 前記アイトラッカーは単一の照明装置を含む
   請求項１－８のいずれか１項に記載の方法。
10. コントローラが、画像キャプチャ期間内に、前記照明装置の照明パワーを変調するように構成される
    請求項１－９のいずれか１項に記載の方法。
11. 前記アイトラッカーは、前記カメラから異なる距離に配置される２つの照明装置を含む
    請求項１－８のいずれか１項に記載の方法。
12. 前記照明装置のうちの少なくとも１つの前記出力を選択的に変化させることは、画像キャプチャ期間内に、前記２つの照明装置のうちの１つを非アクティブ化することを含む
    請求項１１に記載の方法。
13. それぞれの照明装置は、明瞳孔効果を生成するために前記カメラのレンズに十分近くに配置されるが、異なる明瞳孔反射の特性を生成するように前記レンズから異なる距離に配置される
    請求項１１又は１２に記載の方法。
14. 測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、アイトラッカーにおいて１つ以上の照明装置を制御するためのシステムであって、前記システムは、
    所定の画像キャプチャ期間内に、被写体の画像をキャプチャするように構成されたカメラであって、前記画像は前記被写体の目の片方又は両方を含む、カメラと、
    前記所定の画像キャプチャ期間内に、前記被写体の目の片方又は両方を選択的に照らすように構成された１つ以上の照明装置であって、前記照明装置のうちの少なくとも１つは、明瞳孔効果を生じるように前記カメラのレンズの十分近くに配置される、照明装置と、
    キャプチャされた画像における測定された瞳孔／虹彩のコントラストが、瞳孔／虹彩コントラストの所定の最小値を超えるような明瞳孔反射の強度を生成するように、前記照明装置のうちの少なくとも１つの出力を選択的に変化させるよう構成されたコントローラと
    を含むシステム。
15. １つの照明装置を含む
    請求項１４に記載のシステム。
16. 前記システムは、２つの照明装置を含み、
    前記照明装置のそれぞれは、明瞳孔効果を生成するために前記カメラのレンズの十分近くに配置されるが、異なる明瞳孔反射の特性を生成するために前記レンズから異なる距離に配置される照明装置である
    請求項１４に記載のシステム。
17. 第１の照明装置は前記カメラから3 mm－15 mmの距離に配置され、第２の照明装置は前記カメラから7 mm－50 mmの距離に配置される
    請求項１６に記載のシステム。
18. 前記コントローラは、画像キャプチャ期間内に、前記照明装置のうちの１つを非アクティブ化するように構成される
    請求項１６又は１７に記載のシステム。
19. 前記明瞳孔反射の特性は、前記被写体の目の片方又は両方の虹彩領域に対する瞳孔領域の画素の強度によって求められる瞳孔／虹彩のコントラストの直接的な測定値を含む
    請求項１４－１８のいずれか１項に記載のシステム。
20. アイトラッキングシステムであって、
    所定の画像キャプチャ期間内に、被写体の画像をキャプチャするように構成されたカメラであって、前記画像は、前記被写体の目の片方又は両方を含むカメラと、
    前記所定の画像キャプチャ期間内に、前記被写体の目の片方又は両方を照らすように構成された１つ以上の照明装置であって、前記照明装置の少なくとも１つの照明装置は、明瞳孔効果を生成するように前記カメラのレンズの十分近くに配置される、照明装置と、
    コントローラであって、前記コントローラは、
    前記キャプチャされた画像を処理することによって、前記被写体の前記目を追跡するためのアイトラッキングルーチンを実行することであって、前記アイトラッキングルーチンは１つ以上の制御パラメータを求めることを含む、アイトラッキングルーチンを実行することと、
    キャプチャされた画像における測定された瞳孔／虹彩のコントラストが、所定の最小の瞳孔／虹彩のコントラストを超えるように明瞳孔反射の強度を生成するように、前記１つ以上の制御パラメータに基づいて前記１つ以上の照明装置の出力を制御することと
    を行うように構成されたコントローラと
    を備えるアイトラッキングシステム。
21. 測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、アイトラッカーにおいて２つ以上の照明装置を制御する方法であって、前記方法は、
    所定の画像キャプチャ期間内に、被写体の画像であって、前記画像は前記被写体の目の１つ又は両方を含む、被写体をキャプチャすることと、
    ２つ以上の照明装置のシステムから、前記所定の画像キャプチャ期間内に、前記被写体の目の片方又は両方を照らすことであって、前記照明装置のうちのそれぞれは、明瞳孔効果を生成するためにカメラのレンズの十分近くに配置されるが、異なる明瞳孔反射の特性を生成するために前記レンズから異なる距離に配置される照明装置で照らすことと、
    キャプチャされた画像における測定された瞳孔／虹彩のコントラストが所定の最小の瞳孔／虹彩のコントラストを超えるように、明瞳孔反射の特性を生成するために前記２つ以上の照明装置の出力を選択的に変化させることと
    を含む方法。
22. 前記照明装置のうち少なくとも１つの前記出力が、以前の画像キャプチャ期間からの、前記被写体の目の瞳孔のコントラストの測定値に基づいて、選択的に変化させられる
    請求項１－２１のいずれか１項に記載のシステム又は方法。

Images