JP2017097901A - 目追跡装置動作方法及び能動的電力管理を行う目追跡装置 - Google Patents

Abstract

【課題】予め決定した捕捉領域を有する目追跡装置動作方法及び目追跡装置を提供する。
【解決手段】撮像装置20と、照明ユニット30及び処理ユニット40とを具え、これらを調整する少なくとも２つの調整パラメータP_Ａを有する目追跡装置10を動作させる方法であって、目追跡装置10は、調整パラメータP_Ａを制御する制御ユニット42をさらに具える。方法は、目の画像60を捕捉し、目の追跡に関する品質又は撮像装置、照明ユニット及び処理ユニットの電力消費量に対する第１条件44を設定し、調整パラメータP_Ａを品質及び電力消費量に相関づける予め規定した相関関係42ａ提供し、制御ユニット42が予め規定した相関関係42ａに応じて調整パラメータP_Ａを制御し、設定された要素が第１条件44を満足するようにする。
【選択図】図１

Description

本発明は、予め決定した捕捉（記録）領域を有する目（眼球）追跡装置（アイトラッキ
ング装置）を動作させる方法に関するものであり、この目追跡装置は、構成部（コンポー
ネント）として、目追跡装置の捕捉領域内でユーザの少なくとも一方の目の画像を捕捉し
うる少なくとも１つの撮像装置と、捕捉領域内でユーザのこの少なくとも一方の目を照ら
す（照明する）ことのできる少なくとも１つの光源を有する少なくとも１つの照明ユニッ
トと、撮像装置により捕捉された画像を処理しうる処理ユニットとを具えるものである。
更に、目追跡装置は構成部の少なくとも１つを調整しうる少なくとも２つの調整パラメー
タを有し、この目追跡装置は更に、これら少なくとも２つの調整パラメータを設定するこ
とにより構成部の少なくとも１つを制御しうる少なくとも１つの制御ユニットを具える。
更に、ユーザの少なくとも一方の目の少なくとも１つの画像が捕捉される。本発明は更に
、目追跡装置に関するものである。

本発明は、ユーザの目の位置、目の向き及びその他の特性、例えば、瞳孔拡張、眼内距
離等を検出及び追跡する装置である目追跡装置との関連で適用されるものである。

目追跡装置がますます確立された技術となり、目追跡機能が組込まれたタブレット、ス
マートフォン、ヘッドマウントディスプレイ等のようなますますポータブルとなる装置の
有効性が増大するのと並行して、目追跡装置の電力消費量を低くすることが適切なことと
なる。米国特許ＵＳ７，９８０，６９８Ｂ２には、目を照らすための光源と、目から反射
される光をセンサに指向させるマイクロレンズアレイとを有する電力調整式収差計が開示
されている。この収差計によれば、センサが複数の光点を検出し、これら光点は最善の状
態でこれらの光点の画像から適切な目の特性を捕捉しうる許容域に入る光レベルを有する
ようにする必要がある。このことを達成させるために、信号品質が悪すぎる場合に光源の
光度が自動的に増大されるようになっている。この場合、可能な最良の画像品質（画質）
を達成させることのみを対処しているが、電力消費量は考慮されていない。

特開２００２‐２８２２０９には、ユーザの目を照らすための照明ユニットと、ユーザ
の目の画像を捕捉する捕捉ユニットとを有する視線検出器が開示されている。この場合、
視線検出を実行するための画像情報を捕捉する前に、目の幾つかの予備画像を取得し、次
いで目に対する視線検出器の距離を計算し、この距離に基づく照明光量を決定する。これ
により、ユーザの目を照らす光度をユーザの距離に適合させて画像品質を高めるようにし
うる。この場合も、目追跡装置の電力消費量は考慮されていない。

米国特許ＵＳ８，０２５，４０５Ｂ２には、被検者の少なくとも一方の目のそれぞれの
個所を自動的に登録及び追跡する目追跡装置が開示されている。照明ユニットの電力消費
量を低減させた、電力効率の良い目追跡装置を得るために、目の位置を推定するとともに
、照明ユニットにより行う照明をこの推定した位置に向けて指向させ、目があると予期さ
れる領域のみを照らす必要があり、従って、光力を節約しうるようにすることが提案され
ている。この目追跡装置の欠点は、目の位置を推定する必要があり、このことが完全なる
間違いの元となることである。推定位置が目の実際の位置に合致しないと、有用な画像を
得ることができず、このことが追跡品質に著しい悪影響を及ぼす。更に、推定された目の
位置に向かうこの照明方向が大型のＬＥＤアレイにより、又は可動ミラー及び光源により
達成される場合には、目追跡装置はモバイル装置に組込むのにあまり適していない。

米国特許出願公開ＵＳ２０１３／０１０６６８１Ａ１には、パーソナルコンピュータシ
ステムのエネルギー性能に悪影響を及ぼすことなくこのコンピュータシステム内に組込む
ことのできる目追跡システムにおける電力管理方法が開示されている。この目的のために
、この目追跡システムはアクティブ（能動的）モードと、レディ（準備完了）モードと、
アイドルモードとの間で切換えうるようになっており、アクティブモードでは目追跡デー
タに目の位置及び目の向きが含まれ、電力節約目的のレディモードでは目追跡データに目
の位置のみが含まれており目の向きは含まれていない。この方法の大きな欠点は、電力節
約のために目追跡システムにより与えられる機能範囲を低減させる必要があるということ
である。

米国特許ＵＳ７，９８０，６９８Ｂ２ 特開２００２‐２８２２０９ 米国特許ＵＳ８，０２５，４０５Ｂ２ 米国特許出願公開ＵＳ２０１３／０１０６６８１Ａ１

本発明の目的は、本発明の特許請求の範囲の独立請求項の序文に開示するように、電力
消費量の観点と追跡品質又は機能範囲の観点とをより良好に同時にもたらしうる目追跡装
置動作方法及び目追跡装置を提供することである。

この目的は、本発明の独立請求項の特徴事項を有する目追跡装置動作方法及び目追跡装
置により解決するものである。

本発明の第１の態様によれば、目の追跡に関する品質と、撮像装置、照明ユニット及び
処理ユニットである構成部の少なくとも１つの電力消費量との群の要素に対する少なくと
も１つの第１条件を設定する。更に、構成部の少なくとも１つを調整しうる少なくとも２
つの調整パラメータを品質及び電力消費量に相関づける予め規定した相関関係を提供し、
制御ユニットによりこの予め規定した相関関係に応じて前記少なくとも２つの調整パラメ
ータを制御し、第１条件が設定された要素がこの第１条件を満足するようにする。

本発明によれば、種々の状態の要件を考慮しうる大きな利点が得られる。このことは、
少なくとも１つの第１条件を品質又は電力消費量の何れかに対して設定することにより可
能としうる。この場合、状態に応じて優先度を設定しうる。例えば、ある状態では、電力
消費量を制限することを重要とすることができ、他の状態では、追跡品質を高くすること
を重要としうる。従って、本発明によれば、目追跡装置の動作を種々の状態の要件に適合
させる融通性を提供することにより、品質と電力消費量との間の矛盾を調和させる。更に
、このことは、調整パラメータを品質及び電力消費量に相関づける相関関係を提供するこ
とにより可能となる。本発明は、電力消費量に対する影響を有するようにする目追跡装置
の調整が同時に追跡品質に対する影響を有することを見いだしたことに基づいているもの
である。従って、調整パラメータに依存する品質及び電力消費量間の相互作用を予め規定
した相関関係により考慮でき、従って、この相関関係により種々の状態に適合する品質及
び電力消費量間の適切な調和を見いだしうるようになる。更に、構成部の少なくとも１つ
を調整しうる少なくとも２つの調整パラメータが提供される為、品質又は電力消費量の何
れかを最適にするとともにこれらの２つの要素の他方が第１条件を満足するある度合又は
自由度が提供される。特に、本発明は、以下に詳細に説明するように、電力消費量及び品
質に影響を与える２つよりも多くの調整パラメータを提供しうることを見いだしたことに
基づいている為、この複数の調整パラメータを用いて電力消費量を低減させるとともに、
同時に品質を最適にすることができる。

本発明の有利な例では、第１条件が目の追跡に関連する品質に対して設定された場合に
、この第１条件は、品質が超える必要がある予め決定した最小の品質値とする。又、例え
ば、ユーザにより設定しうる又は特定のアプリケーション等の要件に依存して設定しうる
複数の予め決定した最小の品質値が存在するようにもできる。第１条件が品質に対して設
定された場合には、ある最小の品質が達成されるとともに、例えば、電力消費量が低減さ
れることを確実行うことができるようにするのが有利である。

更に、第１条件は予め決定した最小品質値及び予め決定した最大品質値とし、この第１
条件が目の追跡に関連する品質に対して設定された場合に、品質が最小品質値及び最大品
質値間に存在する必要があるようにすることもできる。本発明のこの例は、特に有利であ
る。その理由は、一方では、ある最小の品質が達成することが確実に行われ、他方では、
経験的に追跡品質を高くすればするほど電力消費量が高くなるので、最大の品質値を設定
することにより、電力消費量をも同時に制限される為である。

他の例では、電力消費量に対して第１条件を設定した場合には、この第１条件を予め決
定した最大電力消費量の値とし、電力消費量がこの値よりも低くなるようにする必要があ
る。従って、電力消費量を制限しうるようにするのが有利である。この場合、複数の異な
る最大電力消費量の値をも提供でき、この場合これらを特定の状態の要件に応じて選択し
うるようになる。例えば、ユーザは電力消費量に対し制限値を、又は目追跡装置の電力節
約モードを入力することができ、或いはこの最大電力消費量の値を、目追跡装置の又は目
追跡装置が組込まれたシステムの電力利用可能性に応じて設定しうる。

本発明の更なる例によれば、電力消費量に対して第１条件を設定した場合には、この第
１条件は予め決定した最大電力消費量の値及び予め決定した最小電力消費量の値とし、電
力消費量がこれらの最大電力消費量の値及び最小電力消費量の値間にあるようにする。前
述したように、電力消費量は追跡品質に関連している為、最大電力消費量の値及び最小電
力消費量の値を提供することにより、電力消費量を制限でき、同時に、電力消費量を制限
することにより品質は必要以上とならないようにすることを確実に達成しうる。

電力の節約を達成するためにこれらの種々の段階の適応性を導入することにより、電力
節約を制約した可能な最良の品質か、又は品質を制約した最小の電力節約の何れかを達成
することができる。更に、品質の制約又は電力消費量の制約を入力において受けることが
できる為、目追跡装置の動作を最も有効に種々の状態に適合させることができる。

群のどの要素に条件を設定するかを決定するために、目追跡装置は、この要素を、結局
は条件自体をも特定する入力信号を受信ようにするのが好ましく、この場合、この目追跡
装置は、受信した入力信号に基づいて要素に関する条件を設定する。

更に、最適化を実現するために、各調整パラメータの値の複数の組合せが、第１条件が
設定された要素に関連し、この第１条件が満足される場合には、制御ユニットが予め規定
した相関関係に応じて前記少なくとも２つの調整パラメータを制御して前記複数の組合せ
のうち第１の組合せが設定されるようにし、第１条件が設定されていない要素に対して第
１条件が設定された群の要素の値が、前記複数の組合せの他の組合せと比較して極値化さ
れるようにするのが本発明の好適例である。例えば、第１条件が品質に対して設定された
場合には、品質がこの条件を満足し、同時に電力消費量ができる限り低減されるように調
整パラメータを制御する。一方、この条件が電力消費量に対して設定された場合には、こ
の電力消費量がこの条件を満足し、同時に品質ができる限り高められるように調整パラメ
ータを制御する。このことは、前記少なくとも２つの調整パラメータにより、特にこの最
適化に対する必要な自由度を提供する多数の調整パラメータにより可能となる。換言すれ
ば、例えば、必要とする最小品質を達成するのにこれらの調整パラメータを如何に設定し
うるかの異なる可能な組合せがある。従って、最低の電力消費量となりうるパラメータの
この組合せが選択される。又、電力消費量が予め決定した値よりも低く低下するように、
調整パラメータを設定する異なる可能性がある。従って、調整パラメータの値のこの組合
せは、品質が最大となるように設定しうる。このようにして、ユーザが電力を節約する必
要がある制限を最小に低減させるのが有利である。

この最適化を提供しうるようにするためには、どの調整パラメータが電力消費量及び品
質に如何にして影響を及ぼすかを知ることが有効である。例えば、目追跡装置は固定の又
は可変の周波数で動作させることができる。撮像装置は、周囲から光を収集する露出時間
窓と称するそのシャッタ開放期間と、シャッタ閉成期間とを変える。例えば、目追跡装置
が５０Hzで動作するように設定され、露出時間窓が３ms（ミリ秒）に設定されている場合
、１秒の間に、撮像装置はそのシャッタが開放している５０回の３msの期間とそのシャッ
タが閉成している５０回の１７msの期間とを交互に繰返す。照明ユニットは永続的にオン
状態にするか、又は撮像装置の露出時間窓と同期しているとともに撮像装置の露出時間窓
を同じにした又は異ならせたパルスを有するパルス照明を放出するようにしうる。撮像装
置又は照明ユニットを１つよりも多くする場合には、これらの全てはこの構成において同
期して動作する。照明ユニットは、パルスの持続時間（パルス長）及びパルス振幅（パル
ス強度）の双方を制御しうる。これらの２つの値の積、特にパルス強度の時間に亘る積分
は、各パルス当り照明ユニットにより放出された光量及び消費された電力量に直接関連す
る。撮像装置がローリングシャッタを有する場合には、同期及び時間窓に関する更なる考
慮が必要である。

従って、照明源のエネルギー消費量は電力曲線形状に依存する。これに加えて、一般的
に、撮像装置が収集しうる光が多くなればなるほど、追跡品質がより良好となる。照明ユ
ニットにより消費される電力が著しく多いが、目追跡装置の構成部の他の構成部もエネル
ギーを消費する。処理ユニットは通常、目の追跡以外の他の作業を実行するが、目追跡ア
ルゴリズムにとって必要とする追加の計算を行う為に、この処理ユニットの電力消費量は
増大する。従って、例えば、簡単化したアルゴリズムを用いることを選択することにより
、処理ユニットの電力消費量を低減させることができる。更に、撮像装置は、１つよりも
多いカメラを、例えば、１つは可視光用で他の１つは赤外線用の２つのカメラを具えるこ
とができ、従って、カメラの個数も電力消費量及び追跡品質に影響を及ぼす。

従って、前記少なくとも２つの調整パラメータが、照明ユニットの光度、特に照明ユニ
ットの少なくとも１つの光源であって画像を捕捉している間に目を照明するこの光源の光
度と、画像を捕捉している間の照明持続時間と、照明周波数と、照明ユニットの幾つかの
起動光源と、前記少なくとも一方の目の少なくとも１つの特性を決定するための少なくと
も２つの異なる目追跡アルゴリズムから１つの目追跡アルゴリズムを選択する調整パラメ
ータと、画像を捕捉する撮像装置の少なくとも２つの異なるカメラから少なくとも１つの
カメラを選択する調整パラメータと、撮像装置の電気利得と、更新周波数と、撮像装置の
絞りの大きさと、撮像装置のシャッタの調整と、撮像装置のサンプリングレートと、処理
ユニットのクロック周波数と、起動状態にある処理ユニットの幾つかの計算ユニットとの
何れか又はこれらの任意の組合せを参照するようにするのが本発明の極めて有利な例であ
る。これらの調整パラメータは全て、電力消費量や品質に影響を及ぼす。従って、有利な
ことに、電力消費量及び品質状態に具体的に適合する多くの可能性がある。

種々の状態を扱うためには、これらの種々の状態を特徴づけるのが極めて有利である。
従って、周囲の光度と、ユーザの行動と、ユーザの特性、特に目の色及び皮膚の色の双方
又は何れか一方とのうちの少なくとも１つを特徴づける少なくとも１つの状態パラメータ
を決定し、予め規定した相関関係を少なくとも、前記少なくとも１つの状態パラメータに
より予め規定するようにするのが好ましい。換言すれば、制御ユニットにより、調整パラ
メータを、決定した前記少なくとも１つの状態パラメータに依存して制御しうる。例えば
、周囲に多くの光が存在する場合には、照明ユニットの光度又は照明持続時間を減少させ
て、周囲にほんの僅かな光しか存在しない場合と比較して同じ品質を達成するようにしう
る。調整パラメータを設定するにはユーザの行動も関連性がある。例えば、露出時間窓中
に動き動作が生じた場合には、捕捉された画像が不所望なモーションブラー（動きのぶれ
）を呈するようになる。このモーションブラーは動きの速度及び時間窓の持続時間に比例
する。動きは、ユーザ及びユーザの目の双方と、装置自体とに関連させることができる。
動きの速度が速い場合には、露出時間窓を長くしすぎて許容しうる品質を達成することが
できないようにしてはならない。動きの速度が遅い場合には、調整パラメータを設定する
ための多くの自由度があり、例えば、露出時間窓を長く設定し、小さい光度をこの露出時
間窓中に放出されるように選択することができるか、又は露出時間窓を短く設定し、これ
に対応して照明ユニットの光度を高く設定することができる。ユーザの行動も目追跡装置
の更新レートの周波数の要件に影響を及ぼす。例えば、目の激しい動きがない場合には、
非常に小さい更新レートでも良好な品質を達成でき、一方、目の激しい動きがある場合に
は、同じ品質を達成するために更新レートを大きくする必要がある。ユーザの目の色及び
ユーザの皮膚の色の双方又は何れか一方も品質に、従って、調整パラメータの対応する設
定に影響を及ぼす。例えば、茶色の目の人は、可視領域とは相違して赤外線領域において
瞳及び虹彩間の高いコントラストを呈する。最良の目の特徴を抽出するには、目の色に関
する情報を用いて、可視光又は赤外光或いはこれらの双方の何れのカメラを使用する必要
があるかを決定することができる。又、ユーザが眼鏡を装着しているか否かのような他の
ユーザの特性も品質に影響を及ぼす。その理由は、ユーザが眼鏡を装着している場合には
、画像から目の特徴を抽出するのが一層困難となる為である。従って、例えば、ユーザが
眼鏡を装着していない場合には、目追跡装置は所望の最小の品質を得るために放出させる
光量を低減させることができる。更に、皮膚の色はユーザの顔又は目を検出するのに用い
ることができ、照明条件を調整することにより色の見え方（カラーアピアランス）を最適
にすることができる。従って、上述した状態パラメータの少なくとも１つが決定されると
、これにより、異なる状態へのより良好な適合を、特に品質の最適化及び電力消費量の低
減化をできる限り許容するようになる。

これらの状態パラメータは１つ以上の捕捉画像から取出しうるようにするのが有利であ
り、特に捕捉画像によれば、周囲の光の状態を特定できるとともに、ユーザの目の色又は
皮膚の色或いはその他のユーザの特性や、ユーザ又はユーザの目の動きの延長のようなユ
ーザの行動も捕捉しうる。従って、処理ユニットが捕捉画像を解析し、制御ユニットがこ
の解析結果に応じて調整パラメータを制御するようにするのが好ましい。

本発明の他の例では、処理ユニットにより前記少なくとも１つの画像を解析することに
より撮像装置により捕捉されたこの少なくとも１つの画像から、目の追跡に関連する品質
を取出すようにする。従って、品質を画像から取出すことにより条件をこの品質に対して
設定すれば、品質がこの条件を満足しているかを確認することができる。満足されていな
い場合には、例えば、閉ループ制御で調整パラメータを制御して品質が最終的にこの条件
を満足するようにする。

目の追跡に関連する品質は、画像品質又は推定した目追跡品質とすることができる。画
像品質は捕捉した画像から直接取出すことができ、更に画像品質を目追跡品質に関連させ
て、決定した画像品質から目追跡品質も推定しうるようにする。

画像品質は、前記少なくとも１つの画像から抽出された少なくとも１つの品質特徴、特
にこの少なくとも１つの画像における特にユーザの目の検出された目の部分間のコントラ
ストと、前記画像の信号対雑音比と、前記少なくとも１つの画像における検出された反射
の大きさと、前記少なくとも１つの画像における検出された反射の飽和度と、前記少なく
とも１つの画像における検出された反射の輝度との何れか又はこれらの任意の組合せによ
り決定することができる。目の追跡を実行するためには、虹彩又は瞳のようなある目の部
分を、同様に目から反射された反射光、特にグリントを画像において識別されるようにす
る必要がある。従って、瞳及び虹彩間又は虹彩及び強膜間のような目の部分間のコントラ
ストが高い場合には、これらの部分をより良好に識別しうる。更に、信号対雑音比が高い
場合、このことによっても関連の目の部分や関連の反射光の識別を高める。関連の反射光
の大きさ及び関連の反射光の輝度も目追跡品質に、従って、画像品質を特徴づける関連の
品質特徴に影響を及ぼす。従って、これらの特徴が捕捉された画像から抽出される場合、
画像品質を決定しうる。抽出されたこれらの品質特徴は、設定する又はある画像品質を得
る必要がある調整パラメータを決定する予め規定した相関関係に取入れることができる。

この画像品質も目追跡品質に関連する為、特に
‐画像を処理し、これによりこの画像から少なくとも１つの品質特徴を抽出するステップ
と、
‐前記少なくとも１つの品質特徴を画像品質に相関づけるとともにこの画像品質を推定し
た追跡品質に相関づける予め規定した相関関係を提供するステップと、
‐抽出された前記少なくとも１つの品質特徴を、前記予め規定した相関関係に応じて、前
記画像品質及び前記推定した追跡品質に割当てることにより、この推定した追跡品質を決
定し、この推定した追跡品質が前記目の実際の特性からの前記目のこの決定した追跡特性
のずれに対する目安となるようにするステップと
により、目追跡品質を、推定した目追跡品質として画像品質から取出すのが本発明の極め
て有利な例である。

これにより、追跡品質を、目の再構成された特性、例えば、再構成された視線が目の実
際の特性、例えば、ユーザの実際の監視方向に如何に厳密に一致しているに対する目安で
ある追跡正確度（accuracy）とすることができる。

追跡品質は、再現性に対する目安、すなわち同じ又は類似の入力条件を与えた場合に出
力結果が如何に一致しているかに対する目安、又は一定の入力に対して出力に如何に多く
の雑音が存在するかの目安である追跡精密度（precision ）とすることもできる。

再構成された目及び視線の品質は取得した目の画像の品質に著しく関連している為、画
像品質を予期した目追跡品質にマッピング（対応付け）させることができる。このマッピ
ングが一旦規定されると、目の追跡を行っている間に、この目の追跡装置により目の追跡
品質を計算することができる。“画像品質を目追跡品質に”のマッピングは、例えば装置
の校正時に一旦記録及び蓄積することができる。例えば、位置が目追跡装置にとって分か
っている幾つかの個所を、目追跡装置に関連しているスクリーン上に固定することをユー
ザに要求することができる。システムは、利得値、光度、シャッタ速度等のようなカメラ
及び光源の種々の特性を数秒に亘って調整する。これにより、捕捉された画像の品質を解
析し、目及び視線方向の双方又は何れか一方を再構成し、例えばスクリーン上の注視点を
計算し、再構成の正確度又は精密度におけるエラーを測定する。従って、これらの値はデ
ータ構造中に保存（セーブ）し、これにより画像品質と目追跡品質との間の相関関係を規
定するようにすることができる。

例えば、所望の目追跡品質を、例えば、対応する条件を設定することにより要求する場
合には、画像品質を目追跡品質に関連させるこのマッピングを用いてこの所望の目追跡品
質を所望の画像品質に変換することができ、且つ目の追跡を行っている際に目追跡装置に
より調整パラメータを調整して、前述したように捕捉された各画像から取出しうる所定の
画像品質を達成するようにすることができる。更に、３Ｄ（三次元）環境の又は装置のス
クリーン上の種々の領域に対する推定した目追跡品質を得ることもできる。例えば、視線
結果はスクリーンの中央領域に対してはより良好となり、スクリーンの周囲部分に対して
はより低くなるように推定しうる。視線品質に関するこの情報は、例えば、スクリーン上
にボタンのような大きい又は小さい或いは多かれ少なかれ互いに離間した選択区域を存在
させるか、又はこれらの選択区域を、システムにより視線出力がより良好となるであろう
ことを推定するスクリーンの領域内に存在させることにより、ユーザと結びづける方法を
適用するアプリケーションにより用いることができる。

従って、推定した目追跡品質を、ユーザの視野内に位置する容積（volume）又は表面（
surface ）の三次元座標の関数、特に三次元ワールド座標の関数で計算するか、又はユー
ザの視野内に位置する表面の２Ｄ（二次元）座標の関数、特に前記目追跡装置に接続され
たディスプレイデバイスの２Ｄ座標の関数で計算するのが本発明の極めて有利な例である
。これにより、ユーザの視野の種々の領域に対して、例えば、ユーザの視野におけるディ
スプレイの種々の領域に対して、推定した追跡品質を計算することができる。ディスプレ
イデバイスは、コンピュータ、タブレット、モバイル装置、ヘッドマウントディスプレイ
等のような、目追跡装置が一部分となっているか、一体化されているか又は少なくとも接
続されているデバイスの一部とし、目追跡装置の撮像装置とこのデバイスのディスプレイ
デバイスとの間の相対位置が目追跡装置にとって分かっているようにする。更に、撮像装
置に対するユーザの位置は画像を捕捉することにより決定することができる為、推定した
目追跡品質をユーザの視野内の幾つかの異なる領域に対し決定することができ、この場合
特に、異なる領域の個数を目追跡装置により予め設定することができる。従って、例えば
、推定した目追跡品質の種々の品質値は、仮想表面をも含むコンピュータスクリーン又は
その他の表面の種々の領域に属するものとしうる。

更に、上述した座標の関数で推定した追跡品質は目追跡装置の出力信号として提供する
ことができ、従って、例えば、この出力信号は、目追跡装置に接続されたデバイスを動作
させるアプリケーションに供給することができるとともに、上述したようにユーザと結び
づける方法を適用するアプリケーションにより用いることができる。

又、一般に、目の追跡に関連する品質、すなわち画像品質及び追跡品質の双方又は何れ
か一方は、目追跡装置により計算して、例えば、アプリケーション又は他の装置により更
に使用させるために、この目追跡装置の出力端に出力信号として出力させるか又は生ぜし
めることができる。

本発明の他の例によれば、適応パラメータを品質及び電力消費量に相関づける予め規定
する相関関係を、少なくとも目追跡装置に伝達される外部アプリケーションの要件により
予め規定するようにする。このことは、如何なる種類のユーザの目の動きが予測されるか
に関する情報が、アプリケーションの種類にも含まれていることを見いだすことに基づい
ている。例えば、ユーザが画像又は映像を見ている場合、ユーザが３Ｄシューターゲーム
をする場合よりも少ない目の動きが予期される。従って、調整パラメータを目追跡装置に
より決定しうる他の状態パラメータとして調整するために、アプリケーションの種類も相
関関係内に取入れることができる。

予め規定した相関関係は、前記少なくとも２つの調整パラメータの設定可能な値の組合
せの複数の組を、特にルックアップテーブル及び特性曲線族の双方又は何れか一方の形態
で、前記品質の品質値及び前記電力消費量の電力消費値に割当てることにより与えるか、
又は前記少なくとも２つの調整パラメータと電力消費量及び品質とを相関づける数学式と
数学モデルと関数との何れか又はこれらの任意の組合せにより与えることができる。例え
ば、捕捉しうる状態パラメータの組合せ又は種々の状態の各々に対して、対応する制御ユ
ニットによりルックアップテーブル及び特性曲線を制御ユニットにより設定でき、この場
合ルックアップテーブル及び特性曲線は特定の状態に対し設定する必要があり、従って、
品質か又は電力消費量の１つの要素が予め決定した条件を満足し、他の要素は随意ではあ
るが最適化されるようにできる。状態パラメータは上述した式、モデル及び関数に対する
入力パラメータとし、制御ユニットが、予め規定した相関関係に基づいて、状態パラメー
タにより特定された状態に依存する調整パラメータを設定するようにすることもできる。

更に、制御ユニットによれば、開ループ制御において又は閉ループ制御においても予め
規定した相関関係に応じて前記少なくとも２つの調整パラメータを制御しうる。従って、
例えば、状態を品質に対して設定した場合には、画像品質のような現在の品質を現在の画
像から決定するとともに相関関係に帰還させ、この相関関係により、品質が状態を満足す
ることを達成する調整ストラテジー（戦略）を提供するようにしうる。状態パラメータを
現在の画像から、又は現在捕捉された各画像からも決定したり、前記状態パラメータに対
する特性曲線のルックアップテーブルに応じて調整パラメータを設定したりすることも開
ループ制御として行うこともできる。

更に、前記少なくとも１つの第１条件は、ユーザの入力に応じて、又は所定の外部のア
プリケーション又は所定の電源モードにより設定することができる。例えば、ユーザは、
電力消費量又は品質を制限したいか、又は何を延長したいか、又はこれらの双方を望んで
いるかを入力することができる。又、種々のアプリケーションは追跡品質に関する種々の
要件をも有する。従って、必要とする追跡品質はアプリケーションから目追跡装置に伝達
して、目追跡装置が品質に対してそれぞれの条件を、例えば、最小値を設定するようにす
ることもできる。更に、目追跡装置は電源モードを、すなわちこの目追跡装置がプラグ接
続されるか又はバッテリにより給電されるかを決定しうるようにもできる。従って、目追
跡装置がプラグ接続されている場合には、電力消費量はそれほど関係がなくなり、品質に
対する条件を最大に設定することができる。目追跡装置がバッテリにより附勢される場合
には、目追跡装置は自動的に電力消費量に対する条件を設定するようにしうる。

本発明の第１の態様による目追跡装置は、予め決定した捕捉領域を有するとともに、構
成部として、捕捉領域内でユーザの少なくとも一方の目の画像を捕捉しうる少なくとも１
つの撮像装置と、捕捉領域内でユーザのこの少なくとも一方の目を照らすことのできる少
なくとも１つの光源を有する少なくとも１つの照明ユニットと、撮像装置により捕捉され
た画像を処理しうる処理ユニットとを具える。更に、この目追跡装置は、構成部の少なく
とも１つを調整しうる少なくとも２つの調整パラメータを有し、この目追跡装置は更に、
これらの少なくとも２つの調整パラメータを設定することにより前記構成部の少なくとも
１つを制御しうる少なくとも１つの制御ユニットを具える。この制御ユニットは、目の追
跡に関連する品質と前記構成部の前記少なくとも１つの電力消費量との群の要素に対して
少なくとも１つの第１条件を設定しうる。更に、目追跡装置は、前記少なくとも２つの調
整パラメータを品質及び電力消費量に相関づける予め規定した相関関係を有する。更に、
制御ユニットは予め規定した相関関係に応じて前記少なくとも２つの調整パラメータを制
御し、従って、前記少なくとも１つの第１条件を設定した要素がこの少なくとも１つの第
１条件を満足するようにしうる。

本発明の第１の態様による目追跡装置を動作させる方法に関して説明した好適例及びそ
の利点は、この本発明の第１の態様による目追跡装置にも同様に適用される。特に、目追
跡装置を動作させる方法及び本発明の第１の態様によるその例の上述したステップは本発
明の第１の態様による目追跡装置の更なる例を構成する。

本発明の第２の態様によれば、目追跡装置の捕捉領域内でユーザの少なくとも一方の目
の少なくとも１つの特性を捕捉する目追跡装置動作方法であって、前記目追跡装置は構成
部として、ユーザの前記少なくとも一方の目の画像を捕捉しうる少なくとも１つの撮像装
置と、ユーザのこの少なくとも一方の目を照らすことのできる少なくとも１つの光源を有
する少なくとも１つの照明ユニットと、前記撮像装置により捕捉された画像を処理しうる
処理ユニットとを具えているようにした当該目追跡装置動作方法が、
ａ）前記ユーザの目の画像を捕捉するステップと、
ｂ）画像を処理し、これにより画像から少なくとも１つの品質特徴を抽出するステップと
、
ｃ）前記少なくとも１つの品質特徴を画像品質に相関づけるとともにこの画像品質を推定
した追跡品質に相関づける予め規定した相関関係を提供するステップと、
ｄ）前記予め規定した相関関係に応じて、抽出された前記少なくとも１つの品質特徴を画
像品質及び推定された追跡品質に割当てることによりこの推定された追跡品質を決定し、
この推定された追跡品質が目の実際の特性からの目の決定された特性のずれの目安となる
ようにするステップと
を有するようにする目追跡装置動作方法。

本発明の第１の態様による例に関して前述したように、本発明の第２の態様による方法
には、再構成された目及び視線の品質が取得した目の画像の品質に著しく関連しているこ
とを見いだすことに基づいて、画像品質を予期された目追跡品質にマッピングでき、この
場合特にこのマッピングが予め規定された相関関係により与えられるという大きな利点が
ある。例えば、所望の目追跡品質が、例えば対応する条件を設定することにより要求され
る場合には、画像品質を目追跡品質に関連させるこの相関関係を用いてこの所望の目追跡
品質を所望の画像品質に変換させることができ、且つ目の追跡を行っている間に目追跡装
置により調整パラメータを調整して、前述したように各捕捉画像から取出すことのできる
所定の画像品質を達成するようにしうる。更に、３Ｄ環境又は装置のスクリーン上の種々
の領域に対して推定した目追跡品質を提供することもできる。例えば、視線結果はスクリ
ーンの中央領域に対してはより良好となり、スクリーンの周囲部分に対してはより低くな
るように推定しうる。視線品質に関するこの情報は、例えば、スクリーン上にボタンのよ
うな大きい又は小さい或いは多かれ少なかれ互いに離間した選択区域を存在させるか、又
はこれらの選択区域を、システムにより視線出力がより良好となることを推定するスクリ
ーンの領域内に存在させることにより、ユーザと結びづける方法を適用するアプリケーシ
ョンにより用いることができる。従って、目追跡品質を知ること又は目追跡品質を推定し
うるようにすることは、特に電力節約の目的にとって適切なことである。その理由は、こ
の場合、目追跡品質を制限する必要があるか、又はある条件を満足する必要があるか、又
は電力節約にも拘らずある最小の目追跡品質を保証する必要がある為である。従って、捕
捉した画像の画像品質に基づいて目追跡品質を推定するのを容易にする本発明の第２の態
様によるこの方法は、電力節約の観点に対しても特に有利である。

目追跡装置の捕捉領域内でユーザの少なくとも一方の目の少なくとも１つの特性を捕捉
するための本発明の第２の態様による目追跡装置は、構成部として、ユーザの前記少なく
とも一方の目の画像を捕捉しうる少なくとも１つの撮像装置と、捕捉領域内でユーザのこ
の少なくとも一方の目を照らすことのできる少なくとも１つの光源を有する少なくとも１
つの照明ユニットと、前記撮像装置により捕捉された画像を処理しうる処理ユニットとを
具えるものである。更に処理ユニットは、撮像装置により捕捉された画像を処理すること
ができ、これにより少なくとも１つの品質特徴を画像から抽出しうるものである。目追跡
装置は、前記少なくとも１つの品質特徴を画像品質に相関づけるとともに、この画像品質
を推定した追跡品質に相関づける予め規定した相関関係を有し、処理ユニットは更に、抽
出した前記少なくとも１つの品質特徴を、この予め規定した相関関係に応じて画像品質及
び推定した追跡品質に割当てることにより、この推定した追跡品質を決定し、この推定し
た追跡品質が目の実際の特性からの目のこの決定した特性のずれに対する目安となるよう
にする。

本発明の第１の態様による目追跡装置動作方法及び目追跡装置の好適例及び特徴は、本
発明の第２の態様による目追跡装置動作方法及び目追跡装置と組合せることもできる。本
発明の第１の態様による目追跡装置動作方法及び目追跡装置に関して説明した好適例及び
その利点は、本発明の第２の態様による目追跡装置動作方法及び目追跡装置に対応して適
用される。特に、本発明の第１の態様による目追跡装置動作方法及びその例の上述したス
テップは、本発明の第２の態様による目追跡装置動作方法や本発明の第２の態様による目
追跡装置の更なる例を構成する。

以下に、本発明の有利な実施例を、添付図面を参照してより詳細に説明する。

図１は、本発明の実施例による目追跡装置動作方法を可視化するために目追跡装置の構成部を示す線図である。 図２は、赤外線ＬＥＤに対する代表的な効率図表を示すグラフ線図である。

図１には目追跡装置１０及びその構成部の線図が示されている。この目追跡装置１０は
、構成部として、この目追跡装置１０の捕捉領域内でユーザの目の画像を捕捉するための
少なくとも１つのカメラ、すなわち赤外線カメラ及び可視光用カメラの一方又は双方を有
する撮像装置２０を具えている。更に、この目追跡装置１０は、少なくとも１つの光源、
特に１つ以上のカメラの付近に配置するのが好ましい２つ以上のＬＥＤを有する照明ユニ
ット３０を具えている。更に、この目追跡装置１０は、他の構成部として、例えば、パー
ソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、モバイル装置等により提供し
うる処理ユニット４０を具えている。この処理ユニット４０は、カメラからの画像を処理
するとともに、ユーザの目、通常、瞳及び虹彩の双方又は何れか一方の輪郭又は中心点を
検出する。この処理ユニット４０は、目の角膜上の光源のグリントを検出するようにする
のも好ましい。検出された特徴はその後、ユーザの目の３Ｄ位置及び向きの双方又は何れ
か一方や、対応する注視方向及び注視点の双方又は何れか一方や、又は目のその他の特性
を計算するのに用いることができる。

更に、目追跡装置１０の構成部には、これらの構成部及びこれらの動作を調整しうると
ともに、目追跡装置１０の電力消費量や目追跡品質に影響を及ぼす種々の調整パラメータ
Ｐ_Ａが含まれている。これらの調整パラメータＰ_Ａは以下で説明する。

撮像装置２０は、目追跡装置１０の動作中に、ある周波数でユーザの目の画像を捕捉す
る少なくとも１つのカメラを具えている。従って、カメラは、画像を捕捉するために開放
するとともに画像を捕捉する中間の時間では閉じるシャッタを有している。撮像装置２０
の動作中は、照明ユニット３０は絶えず発光させるようにしうるが、電力消費量に関して
は、照明ユニット３０がパルス照明で動作し、この照明ユニット３０により得られる照明
がカメラのシャッタと同期するようにするようにするのがより一層有効である。

このような設定構成の場合、照明ユニット３０をその光度（照明強度）３０ａにおいて
調整しうる。これにより、随意ではあるが、照明ユニット３０の各照明源をその光度３０
ａにおいて別々に調整しうる。更に、照明周波数３０ｂを同様にシャッタ周波数と同期さ
せて調整させることができ、照明持続時間３０ｃも好ましくはシャッタの露出時間窓と同
期させて調整させることができ、しかも画像を捕捉するのに起動している光源の個数３０
ｄも調整することができる。

撮像装置２０は、そのシャッタパラメータ２０ａ、すなわち前述したシャッタ周波数及
び露出時間窓に関して調整することができ、カメラセンサの感度を決定する電気利得２０
ｂを調整でき、画像を捕捉するカメラの個数２０ｃやそれぞれのカメラの絞りの大きさ２
０ｄも調整できる。

処理ユニット４０は、目の追跡に対し用いられるアルゴリズム４０ａ、そのクロック周
波数４０ｂ、動作させる計算ユニットの個数４０ｃに関し及びサンプル却下４０ｄが許容
されるか又は許容されないかに関し調整しうる。

更に、目追跡装置１０は前述した調整パラメータＰ_Ａを制御する制御ユニット４２を具
えている。この制御ユニット４２は図１において独立して示しているが、この制御ユニッ
ト４２は必ずしも独立した構成部とせずに処理ユニット４０の一部とすることもできる。

目追跡装置１０を動作させる場合、最初に、目の追跡に関する電力消費量又は品質の何
れかに関して条件４４を設定する。この条件４４は外部入力５０に依存して設定しうる。
例えば、ユーザにより所望の最小の追跡品質又は所望の電力制限のような所望の条件を入
力しうる。目追跡装置１０が組込まれているとともに目の追跡に用いられるシステムに向
けられている外部アプリケーションにより、最小の追跡品質に対する要件のような条件４
４を目追跡装置１０に伝達することができる。更に、目追跡装置１０により、この目追跡
装置が電力供給網に接続されているか又はバッテリにより給電されているかを確認するこ
ともできる。この目追跡装置がバッテリにより給電されている場合には、自動的に電力消
費量に関する制約を設定し、これをバッテリの充電状態に依存させることもできる。目追
跡装置１０により、これが電力供給網により電力供給されていることを検出する場合には
、品質に対する条件４４を最大に設定することができる。この条件４４は例えば、予め決
定した優先順序において上述した外部入力５０の組合せにより設定することもでき、例え
ば、目追跡装置１０が品質に対する条件でプラグ接続されて、他のユーザ入力が受信され
ない場合のみ、最大に設定される。

更に、撮像装置２０は、目の追跡に対する動作中で画像６０を繰返し捕捉する。このよ
うな画像６０には調整パラメータＰ_Ａを調整するために用いることもできる情報が含まれ
ている。画像品質６２は第一に、画像中のコントラスト６２ａ、グリントの大きさ６２ｂ
、飽和度６２ｃ、信号対雑音比６２ｄ及びグリントの輝度６２ｅのような画像品質パラメ
ータＰ_Ｑを構成する種々の画像特徴から取出すことができる。この情報は、処理ユニット
４０により画像６０から抽出させるとともに、画像品質パラメータＰ_Ｑの形態で特に制御
ユニット４２に与えることができる。

更に、処理ユニット４０により、捕捉画像６０から、特定の状態６４に関する情報をも
抽出することができ、例えば、周囲の光度６４ａを決定することができ、更にユーザの目
の色６４ｂ、ユーザの皮膚の色６４ｃ、ユーザ及びユーザの目の行動又は動き６４ｄ又は
ユーザが眼鏡６４ｅを装着しているか否か及び撮像装置２０に対するユーザの視線（凝視
）角６４ｆのようなその他のユーザの特性を決定することができ、これらは後に説明する
ような３Ｄ環境の種々の領域に対する出力結果の品質の推定を決定するために用いること
ができる。その後、この情報を状態パラメータＰ_Ｓの形態で提供することができる。抽出
された状態パラメータＰ_Ｓ及び画像品質パラメータＰ_Ｑを制御ユニット４２に供給して調
整パラメータＰ_Ａを制御するようにしうる。照明ユニット３０と、撮像装置２０と、処理
ユニット４０との電力メトリックを含むシステムの電力メトリック又は特性に関する情報
も制御ユニット４２内に保存することができる。更に、制御ユニット４２は、目の追跡、
電力消費量及び調整パラメータＰ_Ａに関連する品質を好ましくは状態パラメータＰ_Ｓに依
存させて相互に関連付けられている、予め規定した相関関係４２ａを有する。この相関関
係４２ａは、各々の所定の状態及び設定された条件４４に対する調整パラメータＰ_Ａの制
御を規定するルックアップテーブル、数式、モデル、最適化アルゴリズム又は機能の形態
で与えることができる。従って、調整パラメータＰ_Ａは、最初に、設定された条件４４が
満足されるように制御される。条件４４が例えば電力消費量に対して設定された場合には
、制御ユニット４２が相関関係４２ａに応じて調整パラメータＰ_Ａを制御し、条件４４が
満足され且つこれと同時に、達成された品質ができるだけ良好となるようにする。これに
より、制御ユニット４２は、調整パラメータＰ_Ａを相関関係４２ａに応じて、好ましくは
取得した状態パラメータＰ_Ｓの少なくとも１つに依存させて制御する。これと同じことが
、条件４４が画像品質に関して設定された場合にも適用される。

相関関係４２ａは、構成部の調整パラメータＰ_Ａが電力消費量と目の追跡に関連する品
質とに如何に影響を及ぼすかと、種々の状態によっても品質に如何に影響を及ぼし且つ目
追跡装置１０を種々の状態に適合させるのにこの影響を如何に用いうるかと、に関する検
出事項に基づいて与え、従って、最小の品質を保証した状態で電力消費量を低減しうるか
、又は所定の電力消費量の制約の下で品質を最大化しうることを可能にする。

目追跡装置１０の３つの主な構成部、すなわち、撮像装置２０と、照明ユニット３０と
、処理ユニット４０との全てがエネルギーを消費する。照明源により消費される電力は他
の構成部に比べて突出している。照明源により消費されるエネルギーは、この照明源から
放出される光の光度３０ａを制御するこの照明源の入力電力（ワットで測定しうる強度）
に依存する。

パルス照明の場合、時間窓に亘る、例えば１秒当り、照明源により消費されるエネルギ
ーは、オフ期間及びオン期間（方形波）にも依存し、より一般的には電力曲線形状及びそ
の時間に亘る積分値にも依存する。従って、パルス照明の場合、電力消費量は主として、
パルスの強度を調整し、パルスの持続時間３０ｃを調整し、動作周波数３０ｂ、特に照明
源の動作周波数及び目追跡装置１０全体の動作周波数を調整し、照明ユニット３０が１つ
よりも多い光源を有する場合に、起動する光源の個数３０ｄを調整することで制御するこ
とができる。

光源により消費される電力はその全てが光に変換されるものではないことに注意するこ
とが重要であり、このことを図２に示してある。この図２には、照明源により光に変換さ
れる入力電力の割合（効率η）が入力電力の種々の値に対し示されている。この図２から
明らかなように、効率ηは入力電力に対して変化している。効率ηの値は１００mAの入力
電流Ｉにおける効率ηに対して正規化されている。図２のグラフ線図は、電位を一定にし
て、入力電力に比例する入力電流の量を示している。従って、パルスの強度を、可能なら
ば最大効率ηで動作するように制御するのが好ましい。その理由は、この場合、大部分の
入力電力が光エネルギーに変換される為である。このような電力メトリックは、調整パラ
メータＰ_Ａを品質及び電力消費量に相関づけている予め規定した相関関係４２ａ内に含め
て、このような目追跡装置１０に対し効率ηの特定の特性を考慮するようにすることがで
きる。

更に、簡略化したアルゴリズム４０ａを用いることを選択することにより、処理ユニッ
ト４０の電力消費量を低減させることができる。

次に、入力画像品質の主たる態様を、特に画像品質６２が調整パラメータＰ_Ａ及び状態
パラメータＰ_Ｓにより如何に影響されるかを説明する。画像品質６２は幾つかの態様の下
で測定でき、これらの幾つかは強い相関関係があり、これらは特に信号対雑音比６２ｄや
、カメラによる光収集、モーションブラー及び目の追跡の特定の態様である。

信号対雑音比６２ｄに関して飽和効果を制御下に保つ場合、一般的な規則は、撮像装置
２０が特に集束した光を多く収集すればするほど、その出力画像６０がより良好となると
いうことである。このことに対する１つの手短な説明は、電気雑音の量がほぼ固定である
とすると、装置により収集される信号量を多くする、従って、その信号対雑音比６２ｄを
高くすることである。例えば、信号対雑音比６２ｄが低くなることにより、画像６０にお
けるエッジ特徴が乱され、これにより目の特徴個所の推定を悪くし、従って、視線の推定
を悪くする。雑音レベルが、瞳、虹彩、強膜等のような目の特徴間のコントラスト６２ａ
に相当するようになる場合には、これらの目の特徴を検出するのが不可能又は困難となる
おそれがある。

更に、カメラにより収集される光の量は、露出時間窓の持続時間２０ａと、光学絞り２
０ｄと、周囲に存在する光の量６４ａと、露出時間窓の持続時間２０ａ中に照明源により
放出され、カメラの前方の光景、すなわち捕捉領域内で物体／人物により反射される光の
量３０ａとに依存する。より具体的には、帯域通過フィルタ、例えば、赤外線フィルタ又
はカラーフィルタが撮像装置２０に装着されているか又は内蔵されている場合には、その
画像センサは異なる波長に応答する為、カメラに当る周囲の及び照明用の光源の全てが画
像６０の作成に寄与するものではなく、特に特定の波長を有する光波が主として排除され
るであろう。又、撮像装置２０により電気利得２０ｂを設定し、これにより電気雑音及び
カメラの電力消費量が増大する犠牲の下でセンサの感度を増大させるようにすることもで
きる。

モーションブラーに関しては、提示された時間窓２０ａ中に動きが生じた場合に、画像
６０は一般に不所望なモーションブラーを呈する。このモーションブラーは、動きの速度
及び時間窓２０ａの持続時間に比例する。この動きはユーザ及びその目の双方及び装置自
体に関する場合がある。

目の追跡の特定の態様に関しては、画像６０中のコントラスト６２ａが追跡品質に著し
い影響を及ぼし、特に瞳及び虹彩間や、虹彩及び強膜間や、一般に目の全ての構成部とこ
れらの周囲との間のコントラスト６２ａが追跡品質に著しい影響を及ぼし、且つグリント
、すなわち目への光源の反射光と周囲との間のコントラスト６２ａが追跡品質に著しい影
響を及ぼし、グリントの飽和度６２ｃの量と、グリントの大きさ６２ｂと、ユーザ追跡に
対する顔の特徴のような他の有用となる可能性のある情報のコントラスト６２ａ及び飽和
度６２ｃの量が追跡品質に著しい影響を及ぼす。コントラスト６２ａが高くなればなるほ
ど、これらの特徴をより一層確実に、正確に且つ精密に再構成できるとともに、追跡品質
をより一層良好とする。

要するに、照明パルス形状３０ａ、３０ｂ、３０ｃを変更する以外に、撮像装置２０に
より収集される光の量を制御するのに利用しうる他の選択肢は、シャッタ時間２０ａ及び
絞り２０ｄの双方又は何れか一方を大きくすることである。この場合の不都合な点は、カ
メラ特性が画像６０の品質６２に悪影響を及ぼすおそれのある他の副作用を有することで
ある。シャッタ時間２０ａを増大させることによりモーションブラーを増大させ、絞り２
０ｄを大きくすることにより画像６０の鮮明度に悪影響を及ぼすおそれがある。

本発明は、エネルギーを節約することと、所望の最小画像品質及び視線追跡品質の双方
又は何れか一方を保証することとの間のバランスを保つことを容易とする。本発明の方法
は、特に目の領域に関する画像品質６２を最適とする。このことを達成するために、以下
のパイプライン（情報ルート）を実行しうる。最初に、カメラにより捕捉された画像６０
を解析してユーザの目の概略位置を見いだす。次に、画像品質パラメータＰ_Ｑに関連する
とともに、目が検出される画像領域に依存する画像品質特性、特に画像特徴を計算する。
画像品質特性は例えば、画像のコントラスト６２ａとすることができる。その理由は、特
に瞳及び虹彩間や、虹彩及び強膜間や、一般に全ての目の構成部及びこれらの周囲間の良
好なコントラスト６２ａが目の検出の正確度及び精密度を高める為である。更なる画像品
質特性は画像雑音、特に信号対雑音比６２ｄである。代表的には、カメラにより捕捉され
る光が多くなればなるほど、これに比例して画像雑音が低くなる。従って、光をより長時
間又はより強く放出させることにより、すなわち照明ユニット３０からの照明持続時間３
０ｃ及び光度３０ａを増大させることにより、すなわち電力消費量の増大、モーションブ
ラーの増大又は焦点深度の低減化の不都合な点を伴うシャッタ時間２０ａ又は絞りの大き
さ２０ｄを増大させることにより、画像データと雑音との間の比６２ｄを低減させるおそ
れがある。更なる特性は飽和度６２ｃとすることができる。画像６０が目の領域において
過飽和度にある場合には、実際の目の形状に関する有益情報が失われる。他の品質特性は
、可視光のＲＧＢカメラに対してのみ関連する色歪みに見ることができる。又、種々の光
状態が画像中の色の種々の見え方に関連する。特に、顔又は目を検出するのに皮膚の色６
４ｃを用いる場合には、照明条件を調整することにより色の見え方を最適にすることがで
きる。

画像を解析するとともに上述した画像の特徴又は画像品質特性の１つ以上を抽出した後
、目追跡装置１０により、画像品質が所望の目追跡品質にとって充分であるかどうかを決
定し、これに応じて、制御ユニット４２に帰還を行ってその設定を調整するとともに次の
フレームに対し用いるエネルギーを調整する。この決定には、例えば、画像６０における
全てのグリントの輝度をそろえるために、複数の光源を別々に制御することをも含めるこ
とができる。

例えば、画像又は目追跡品質に対して例えば電力節約目的のために条件４４を設定し、
目追跡品質が予め決定した最小値を超えるようにする必要があるが予め決定した最大品質
値を越えないようにする必要があるようにする場合には、最小の所望品質を保証した状態
で電力節約を達成することができる。この場合、特定の最小の画像品質又は視線品質が維
持されるように、光源により消費される電力の量をできる限り減少させることにより、目
の追跡を行う際の電力の節約を達成できる。画像品質６２は、上述した画像特徴の１つ以
上から取出すことができる。従って、制御ユニット４２は、画像品質６２が捕捉画像６０
から持続的に取出されて制御ループに帰還されるようにした閉ループ制御で調整パラメー
タＰ_Ａを制御でき、この制御ユニット４２が、予め規定した相関関係４２ａに基づいて調
整パラメータＰ_Ａ、例えば光度３０ａを制御して、画像品質６２が設定条件４４を満足す
るようにしうる。

他の場合で、画像品質又は目追跡品質に対する条件４４が最大となるように設定されて
いる場合には、例えば、目追跡装置１０が電力供給網に接続されており、従って電力消費
量に対処することがないことをこの目追跡装置１０が検出する場合には、目の検出を正確
にするための最良の品質は、消費される電力に拘らず、目が検出される領域において画像
６０の品質を最適にすることにより達成させることができる。目的は、画像６０を最適に
し、（３Ｄの）目の位置及び（３Ｄの）視線方向の再構成ができる限り正確となるように
することである。このことには通常、瞳及び虹彩のコントラスト６２ａを最大にすること
と、画像雑音６２ｄを最小にするように輝度６２ｅを調整することとが含まれる。

目追跡品質に影響を与える他の可能性は、グリントの輝度６２ｅを調整することである
。ユーザの顔及び目は必ずしも均一に照明されているものではない。例えば、複数の光源
が互いに異なる光量を放出するか、又は複数の光源が向けられている場合には、光円錐中
の顔の位置及び更なる個々の特性に依存して画像６０内の光分布が不均一となるおそれが
ある。一方の目における幾つかのグリントが互いに異なる輝度レベル６２ｅを有するよう
になることが起きるおそれもある。目の検出及び再構成のためには、グリント又は画像６
０中の光分布の輝度６２ｅを均一にすることが有効となりうる。この場合、光源の電力は
各光源に対し個々に制御してこの均一化を達成するようにすることができる。これにより
、多くの電力を消費する必要なしに品質を高めることができる。その理由は、光出力を増
大させる必要がなく、再分布させるだけである為である。一方、これにより、例えば、条
件４４を品質に対し設定すれば、電力を節約することもできる。この場合、光出力の再分
布は光度３０ａを低減させることにより達成することができる。その理由は、光度３０ａ
を低減させることにより生ぜしめられる画像品質６２の減少を、グリントの輝度６２ｅの
最適化により達成される画像品質６２の増大により補償させることができる為である。従
って、この上述した処置は、調整パラメータＰ_Ａを調整するための制御ユニット４２の制
御ストラテジーにおいて実施することもできる。

更に、視線出力品質又は追跡品質は画像品質６２とは異なる他のパラメータにも依存す
る。視線出力品質は幾つかの視点の下で測定しうる。一方では、正確度により、再構成さ
れた視線がユーザ（目）の実際の監視方向に如何に厳密に一致しているかを測定し、他方
では、精密度により、再現性を測定するものであり、この再現性は、同じ又は類似する入
力条件を与えた場合に、出力結果に如何に一貫性があるか、又はしかも入力を一定にした
場合に出力にどの位の雑音があるかの目安を意味する。

追跡品質は、追跡出力、例えば、計算された目の位置又は視線方向が高周波数で更新さ
れる場合に、より良好であるとみなされる。正確度及び精密度が一定であると、視線の更
新を６０Hzで行う目追跡装置１０は、３０又は２０Hzで動作する装置よりも良好に機能す
る。

幾つかの状況下では、移動標的に対し露出時間窓２０ａを超える場合に、例えばモーシ
ョンブラーが生じた画像で起きるおそれのある散発的なサンプル却下４０ｄをともなうよ
うに動作することが許容されてしまうおそれもある。従って、捕捉された画像６０が予め
決定した最小の画像品質基準を満足しない場合には、この画像６０は、目の位置又は視線
方向のような目の特徴を計算するのに更に用いられないように却下することができる。

最後に、結果が得られるまでの遅延、すなわち目の位置又は視線方向のような目の特徴
の変化が出力に伝達されるまでにどの位の時間がかかるかも出力品質の一部である。

正確度及び精密度は更に分けることができ、例えば、ユーザは精密度においてスクリー
ンのｘ（水平）及びｙ（垂直）座標に対し別々に考察する。正確度及び精密度は３Ｄ環境
、特に装置のスクリーンの異なる領域に対して異ならせることができる。例えば、視線結
果はスクリーンの中央領域に対してはより良好となり、その周囲部分に対してはより低く
なるように推定することができる。この影響には幾つかの要因が拘っており、例えば、画
像６０におけるある目の位置に対しグリントが瞳のエッジの一部と重なり、これにより眼
球の位置及び向きを再構成する有効な情報を失うおそれがある。

本発明の他の実施例によれば、モバイルフォン、タブレット、コンピュータ、ヘッドマ
ウントディスプレイのような、目追跡装置１０が一体化されたデバイスも、追跡品質に応
じて、特に目の追跡を制御しうる間にこのデバイスを現在動作させているアプリケーショ
ンに応じて制御しうる。

あるアプリケーションを追跡品質に応じて制御するには、視線データを視線品質又は推
定した追跡品質と一緒に出力させることができる。これにより、目追跡ソフトウェアが、
捕捉された画像６０から、目及び視線方向の双方又は何れか一方を、再構成される目及び
視線方向の双方又は何れか一方の推測品質スコアと一緒に再構成させるようにする。品質
スコアは、スクリーン上の計算上の注視点の予期された正確度又は精密度とすることがで
きる。上述したアプリケーションはこのスコアを、例えばその内容を適合させることによ
り用いるようにしうる。目追跡装置１０は予期された視線品質を、３Ｄ環境の種々の領域
に対し、特にスクリーンの種々の領域に対し戻す又は出力することもできる。

例えば、スクリーン上のグラフィカルボタンのような選択区域の寸法を正確度のスコア
に基づいて調整し、視線を介する選択を確実に容易に入力しうるようにすることができる
。上述したアプリケーションは、その選択区域（ボタン）を、スクリーン領域毎に予期さ
れる正確度に基づいて、予期される視線品質がより高いスクリーンの領域に示すことを選
択する。

更に、アプリケーションにより要求される視線品質を生じるように目追跡装置１０を制
御することができる。このアプリケーションは再構成視線の最小品質を要求することがで
き、例えば、視線方向の正確度は１．５°又はそれよりも良好にする必要がある。目追跡
装置１０はこの情報を用いて、その目的を達成するとともに電力をできるだけ多く節約す
るようにこの目追跡装置１０の構成部を制御することができる。

品質条件は、例えばアプリケーションに応じて設定することができる。３Ｄシューター
ゲームやアーティストソフトウェアのような幾つかのアプリケーションは高い正確度を必
要とする。パズルゲームのような他のソフトウェア、又は視線に基づくスクローリングを
支援するアプリケーションは、目追跡装置１０に関して低い正確度要件を有し、従って、
低い電力モードで動作させるようにする。本発明は、正確度要件を設定しうるようにする
とともに、これを用いて画像品質６２を、従って、最終的な視線品質を調整するようにす
る。

他の例は、アプリケーションがこれらの現在の状態又は外部事象に基づいて必要とする
品質を調整することを望むことができる例である。この品質は、まさしく、スクリーン上
の特定の領域を探したり、テキストを読んだり、画像又はビデオを見たり、ペインティン
グ又はその他のために視線を用いたりするようなユーザの行動６４ｄに基づいて調整しう
る。

又、エネルギーの利用可能性を用いて、品質又は電力消費量の何れの条件が設定されて
いるかを決定することができる。例えば、装置をプラグ接続する場合、電力消費量の問題
はそれほど関係がなくなり、目追跡装置１０の焦点は最良の出力品質を維持することにシ
フトさせることができる。しかし、目追跡装置１０がバッテリにより附勢される場合には
、目追跡品質と電力消費量との間の妥協点を選択することにより、特に電力消費量を下げ
る必要がある最大消費値のような電力消費量の制約を設定することにより、少なくとも次
の再充電までこの目追跡装置がバッテリ寿命を高める貢献を行うようにしうる。

所望の追跡品質を達成するか、又は現在の追跡品質を出力する必要がある場合には、上
述した影響因子に基づいて行うことのできる追跡品質を推定する必要がある。前述したよ
うに、再構成された目及び視線の品質は得られた目の画像６０の品質６２に強く関連して
いる。本発明の技術によれば、画像品質６２、例えば、コントラスト６２ａ、輝度６２ｅ
等を、予期する目追跡品質にマッピングする必要がある。このマッピングが一旦規定され
ると、目追跡装置１０は目の追跡を行っている間に目追跡品質を計算することができる。

画像品質６２を目追跡品質にマッピングする相関関係は例えば、装置を較正する際に一
旦記録及び保存しておくことができる。人々の組は、位置が目追跡装置１０にとって分か
っている幾つかの個所をスクリーン上に固定することを要求される場合がある。目追跡装
置１０は、電気利得２０ｂ、光度３０ａ、シャッタ速度２０ａ等のようなカメラ及びＬＥ
Ｄの特性を数秒に亘って調整する。これにより、捕捉された画像６０の品質６２を解析し
、目及び視線方向を再構成し、スクリーン上の注視点を計算し、再構成の正確度又は精密
度におけるエラーを測定する。これらの値はデータ構造中に保存し、これにより画像品質
６２と目追跡品質との間の相関関係を規定するようにする。

更に、アプリケーションが所望の目追跡品質を与えている場合、上述したのと同様な方
法を用いることができる。画像品質６２を目追跡品質に関連付ける上述したことから発生
されたマッピングを用いて、所望の目追跡品質を所望の画像品質６２に変換することがで
きる。目追跡装置１０は、目追跡を行っている間に調整パラメータＰ_Ａを調整して所定の
画像品質６２を達成する。

この画像を視線品質にマッピングすることは、品質尺度をスクリーンの種々の領域に分
けることにより更に拡張させることができる。

入力品質は通常、電力消費量を低減させる必要がある場合と相反する方向に進ませる必
要がある。前述したように、可能な最短期間で、できるだけ多くの光量を集め（信号対雑
音比６２ｄを高め）て、モーションブラーを阻止する場合に、最良の画像品質が収集され
る。理想的な画像品質条件の場合、照明源は可能な最短期間で光エネルギーを生じて画像
６０を生ぜしめる。更に、サンプル品質が最大に維持されている間に目線更新周波数が目
追跡装置１０により達成しうる最大値に設定されると、最良の出力品質が得られる。目追
跡装置１０によれば、特に以下に説明するように、上述した制約を無くした場合に電力の
節約を達成することができる。

前述したように、種々の状況が追跡品質に種々の影響を及ぼす。従って、これらの状況
を特定することにより、追跡品質を高めることができるか、又は他方では追跡品質を同じ
にした場合には、電力消費量を低減させることができる。特に、適合可能性、すなわち周
囲光への適合、環境のダイナミシティへの適合、アプリケーションの必要性への適合、ユ
ーザの特性への適合や、低電力の固定追跡に対する可変の目追跡装置モードを以下に例示
として詳細に説明する。

“周囲光”とは、フィルタ（これは随意である）を含む撮像装置２０が感応し、特に各
波長における感度割合に対し考慮される、周囲の環境に存在する光の部分（波長スペクト
ル）を表すことを銘記すべきである。

周囲光は、入力画像６０を生ぜしめるのに寄与し、特に目の特徴の中で良好なコントラ
スト６２ａを生ぜしめるのに必要な光を収集するために寄与する。何れにしろ、照明源は
、３Ｄ位置の再構成を行うのに必要とするグリントを目内に形成するのに充分な光を生ぜ
しめる必要がある。周囲光の条件６４ａ及び目追跡装置１０のストラテジーを以下のよう
におおまかに要約しうる。
‐強い周囲光：目追跡装置１０は画像の飽和度６２ｃを回避することを目標とする、従っ
て、撮像装置２０の露出時間窓２０ａを減少させる必要がある。必要な目の特徴のコント
ラスト６２ａを生ぜしめるのに必要とする全ての光を周囲から収集することができる場合
、照明源はユーザの可視状態の目の中にグリントを形成するのに必要な光電力を放出する
必要があるだけである。照明パルスは露出時間窓２０ａ内に集中させる必要がある。
‐中間の周囲光：目追跡装置１０は露出時間２０ａをできるだけ長く延長させてできるだ
け（又は必要とするだけ）多くの周囲光を収集するようにしうる。“できるだけ長く”と
は、前述したようにモーションブラーの制約に対応させることを意図するものである。静
的環境の場合と、より高いサンプル却下４０ｄに関する出力の品質をより低くすることを
許容しうるものとみなす場合と、衝動的な目の動き６４ｄを却下する場合との何れか又は
これらの任意の組合せにおいては、露出時間窓２０ａを互いに異なる程度に延長させるこ
とができる。照明源は、露出時間窓２０ａ中にユーザの可視状態の目の中にグリントを形
成するのに必要な光電力を放出する必要があるとともに、必要であれば、光の必要とする
残りの部分を提供して必要とする目の品質のコントラスト６２ａを得るようにする必要が
ある。この光のエネルギーは、カメラの露出時間窓２０ａ中に放出させる必要があり、電
力曲線形状である波形３０ａ、３０ｂ、３０ｃは、最大エネルギー変換効率ηで動作する
のに最適となるようにしうる。
‐存在しない又は無視しうる周囲光：照明源は目の特徴の中で必要なコントラスト６２ａ
を生ぜしめるのに且つ好ましくは目の上にグリントを形成するのに必要な光を全て発生さ
せる必要がある。前述したように、露出時間窓２０ａを延長させる場合には、照明源はそ
の波形３０ａ、３０ｂ、３０ｃを、最大エネルギー変換効率で機能するように適合させる
。

更に、目追跡装置１０は、少なくとも２つの異なるウェーブフィルタ／センサ感度設定
を有する少なくとも２つの異なる撮像装置２０（カメラ）を用いて動作するようにしうる
。特に、少なくとも１つのカメラは、広範囲の光の波長に感応するように設定するととも
に、目の特徴の中で必要とするコントラスト６２ａを得るためにより多くの周囲光を収集
するようにすることができ、少なくとも１つのカメラは、照明源が動作する光波帯域上に
（ほぼ）中心が位置するようにしたより狭い光の波長範囲に感応するように設定するとと
もに、グリント情報を得るのに必要とする光を収集するようにすることができる。これら
の少なくとも２つの異なるカメラは互いに接近させて配置し、情報のマッチングを容易に
するか、又はこれらの少なくとも２つの異なるカメラは更に離間させて配置し、幾何学的
変換機能を用いることにより特徴を２つの画像領域間でマッピングするようにしうる。

上述したところで予期したように、環境のダイナミシティへの適合に関して、目追跡装
置１０によれば、露出時間窓２０ａを延長させるとともに、照明パルス形状３０ａ、３０
ｂ、３０ｃを最適化することにより電力消費量を低減させることができる。これに関連し
て、目追跡装置１０が、特にユーザ又はユーザの目の動き６４ｄとこの目追跡装置１０自
体の動き６４ｄとの双方又は何れか一方により与えられる環境のダイナミシティ６４に関
する情報を検出又は受信し、照明源に入力される電力を低減させるように調整パラメータ
Ｐ_Ａを設定する。

アプリケーションの必要性への適合については、前述したように、目追跡装置の出力品
質に関する要件を、使用中の現在のアプリケーションに依存させて変えることができる。
これらの出力品質の要件は、正確度、精密度、遅延、更新周波数等のうちの１つ以上に関
するものとしうる。目追跡装置１０は、明確な視線品質要求５０を受け、必要とする品質
を丁度達成するように電力消費量を低減させることができる。目追跡装置１０への入力５
０は、“自動スクロールを用いた読出し”のようなアプリケーションスコープに関するも
のとすることもでき、この目追跡装置１０は、作動中の動作を正しく実行するのに必要と
する品質を丁度達成するようにその電力消費量を低くする。この特定の例の場合、ｙ座標
（縦座標）における正確度をｘ座標（横座標）における正確度よりも重要とみなす必要が
あり、散発的なサンプル却下は重要でなく、更新周波数（目追跡装置１０の周波数）は低
くすることができる。

ユーザの特性への適合に関しては、種々のユーザの特性により、光電力の放出が異なる
同じ入力画像品質６２が得られるようにする。例えば、茶色の目の人は、可視領域とは相
違して赤外線領域において瞳及び虹彩間の高いコントラスト６２ａを呈する。目追跡装置
１０は、ユーザの目の反射率特性６４ｂを検出することにより、放出される光エネルギー
の量を、目の特徴を表す所望の最小のコントラスト６２ａが得られるように適合させる。

同様に、眼鏡６４ｅのような干渉面が可視状態のユーザの目により反射される光の量を
減少させるおそれがある。目追跡装置１０によりユーザが眼鏡６４ｅを装着していないこ
とを検出すると、この目追跡装置１０は、目の特徴であるコントラスト６２ａを所望通り
に最小にするのに放出される光エネルギーの量を低減させる。

少なくとも２つの異なるカメラを有する前述した目追跡装置１０を再び参照するに、こ
の目追跡装置１０は、現場に居るユーザに対し最良の目の特徴を抽出するカメラを用いる
ことを決定するか、又は２つのカメラから生じる画像６０中に含まれる情報の組合せを用
いることを決定しうる。

低電力の固定追跡に対する可変の目追跡装置１０のモードに関しては、幾つかの目の動
き行動６４ｄが存在し、その内で最も重要なのが固定（凝視）及びサッカードである。固
定中では、ユーザの注意は一点に集中しており、生じる目の動きは少なくなるか又は無視
しうるものとなる。サッカード中は、視線が一点から他の点に急速に移動する。大多数の
アプリケーションの場合、古い固定から新たな固定への遷移を、新たな固定の開始を検出
するキーピリオドとする固定点のみが重要である。目追跡装置１０は、その動作モードを
連続的に変え、固定が検出された後及びその持続時間中に周波数３０ｂ及び放出光を低減
させ従って電力を節約するとともに、遷移が検出されて少ない遅延で次の固定を検出しう
るようになると再びこれらの周波数及び放出光を高めるようにすることができる。おおま
かではあるが、殆どの時間、目は“固定モード”にあり（目がサッカードを実行している
際には視覚的な取入れは生じることはなく、自身を短期間の間有効に盲目状態にされる）
、従って、目追跡装置１０は、この技術を採用することにより、殆どの動作期間の間より
低い周波数３０ｂで動作しうるようになる。完全にするには、上述したことはあらゆる状
態に適用させず、例えば、ユーザが読取を行っている際には固定期間を目追跡装置１０の
更新期間よりもさらに短くし、目追跡装置１０が連続的な動き状態にある目を検出しうる
ようにすることができる。しかし、前述したように、読取は、エネルギー消費量の点で異
なる方法で扱うことのできるユーザの行動である。

以上要するに、上述した方法、すなわち本発明による目追跡装置動作方法及びその実施
例によれば、有利なことに、目追跡を所望の品質で、しかも電力消費量を低減させるとと
もに多くの異なる状態に柔軟に適合させて行うことができる。

Claims (21)

1. 予め決定した捕捉領域を有する目追跡装置（１０）を動作させる目追跡装置動作方法で
   あって、前記目追跡装置（１０）は構成部として、
   ‐この目追跡装置（１０）の捕捉領域内でユーザの少なくとも一方の目の画像（６０）を
   捕捉しうる少なくとも１つの撮像装置（２０）と、
   ‐前記捕捉領域内でユーザのこの少なくとも一方の目を照らすことのできる少なくとも１
   つの光源を有する少なくとも１つの照明ユニット（３０）と、
   ‐前記撮像装置（２０）により捕捉された画像（６０）を処理しうる処理ユニット（４０
   ）と
   を具えており、
   前記目追跡装置（１０）は前記構成部（２０；３０；４０）の少なくとも１つを調整しう
   る少なくとも２つの調整パラメータ（Ｐ_Ａ）を有し、前記目追跡装置（１０）は更に、前
   記少なくとも２つの調整パラメータ（Ｐ_Ａ）を設定することにより前記構成部（２０；３
   ０；４０）の少なくとも１つを制御しうる少なくとも１つの制御ユニット（４２）を具え
   ているようにした当該目追跡装置動作方法が、
   ａ）前記ユーザの少なくとも一方の目の少なくとも１つの画像（６０）を捕捉するステッ
   プを有しており、この目追跡装置動作方法が、
   ｂ）目の追跡に関連する品質と、前記構成部（２０；３０；４０）の少なくとも１つの電
   力消費量との群の要素に対して少なくとも１つの第１条件（４４）を設定する特徴ステッ
   プと、
   ｃ）前記少なくとも２つの調整パラメータ（Ｐ_Ａ）と前記品質及び前記電力消費量とを相
   関づける第１の予め規定した相関関係（４２ａ）を提供する特徴ステップと、
   ｄ）前記制御ユニット（４２）により前記第１の予め規定した相関関係（４２ａ）に応じ
   て前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御して、前記第１条件（４４）が設
   定された前記要素が前記第１条件（４４）を満足するようにする特徴ステップと
   を有している目追跡装置動作方法。
2. 請求項１に記載の目追跡装置動作方法において、
   前記ステップｂ）において、前記第１条件（４４）が目の追跡に関連する品質に対して設
   定された場合に、この第１条件（４４）は、品質が超える必要がある予め決定した最小の
   品質値とすることを特徴とする目追跡装置動作方法。
3. 請求項１又は２に記載の目追跡装置動作方法において、
   前記ステップｂ）において、前記第１条件（４４）が目の追跡に関連する品質に対して設
   定された場合に、この第１条件（４４）は、予め決定した最小の品質値及び予め決定した
   最大の品質値とし、品質がこれら最小の品質値及び最大の品質値間となるようにする必要
   があるようにすることを特徴とする目追跡装置動作方法。
4. 請求項１〜３の何れか一項に記載の目追跡装置動作方法において、
   前記ステップｂ）において、前記第１条件（４４）が電力消費量に対して設定された場合
   に、この第１条件（４４）は、予め決定した最大の電力消費量の値とし、電力消費量がこ
   の値よりも低くなるようにする必要があるようにすることを特徴とする目追跡装置動作方
   法。
5. 請求項１〜４の何れか一項に記載の目追跡装置動作方法において、
   前記ステップｂ）において、前記第１条件（４４）が電力消費量に対して設定された場合
   に、この第１条件（４４）は、予め決定した最大の電力消費量の値及び予め決定した最小
   の電力消費量の値とし、電力消費量がこれらの最大の電力消費量の値及び最小の電力消費
   量の値間にあるようにすることを特徴とする目追跡装置動作方法。
6. 請求項１〜５の何れか一項に記載の目追跡装置動作方法において、
   各調整パラメータ（Ｐ_Ａ）の値の複数の組合せが、前記第１条件（４４）が設定された前
   記要素に関連し、この要素が前記第１条件（４４）を満足している場合には、前記制御ユ
   ニット（４２）が前記第１の予め規定した相関関係（４２ａ）に応じて前記少なくとも２
   つの調整パラメータ（Ｐ_Ａ）を制御して、前記複数の組合せのうちの第１の組合せを設定
   し、前記第１条件（４４）が設定されていない前記群の前記要素の値が前記複数の組合せ
   のうちの他の組合せと比較して極値化されるようにすることを特徴とする目追跡装置動作
   方法。
7. 請求項１〜６の何れか一項に記載の目追跡装置動作方法において、
   前記少なくとも２つの調整パラメータ（Ｐ_Ａ）が、前記照明ユニット（３０）の光度（３
   ０ａ）、特に前記照明ユニット（３０）の少なくとも１つの光源であって目を照明するこ
   の光源の光度（３０ａ）と、照明持続時間（３０ｃ）と、照明周波数（３０ｂ）と、照明
   ユニット（３０）の幾つかの起動光源（３０ｄ）と、前記少なくとも一方の目の少なくと
   も１つの特性を決定するための少なくとも２つの異なる目追跡アルゴリズムから目追跡ア
   ルゴリズム（４０ａ）を選択する調整パラメータと、画像を捕捉する前記撮像装置（２０
   ）の少なくとも２つの異なるカメラから少なくとも１つのカメラ（２０ｃ）を選択する調
   整パラメータと、前記撮像装置（２０）の電気利得（２０ｂ）と、更新周波数と、前記撮
   像装置（２０）の絞りの大きさ（２０ｄ）と、前記撮像装置（２０）のシャッタ（２０ａ
   ）の調整と、前記撮像装置（２０）のサンプリングレートと、前記処理ユニット（４０）
   のクロック周波数（４０ｂ）と、起動状態にある前記処理ユニット（４０）の幾つかの計
   算ユニット（４０ｃ）との何れか又はこれらの任意の組合せを参照するようにすることを
   特徴とする目追跡装置動作方法。
8. 請求項１〜７の何れか一項に記載の目追跡装置動作方法において、
   周囲の光度（６４ａ）と、ユーザの行動（６４ｄ）と、目の色（６４ｂ）と、皮膚の色（
   ６４ｃ）との少なくとも１つを特徴づける少なくとも１つの状態パラメータ（Ｐ_Ｓ）を決
   定し、前記第１の予め規定した相関関係（４２ａ）を少なくとも、前記少なくとも１つの
   状態パラメータ（Ｐ_Ｓ）により予め規定するようにすることを特徴とする目追跡装置動作
   方法。
9. 請求項１〜８の何れか一項に記載の目追跡装置動作方法において、
   前記目の追跡に関連する品質を、前記処理ユニット（４０）により前記少なくとも１つの
   画像（６０）を解析することにより撮像装置により捕捉されたこの少なくとも１つの画像
   （６０）から取出すようにすることを特徴とする目追跡装置動作方法。
10. 請求項１〜９の何れか一項に記載の目追跡装置動作方法において、
    前記目の追跡に関連する品質を、画像品質（６２）又は推定した目追跡品質とすることを
    特徴とする目追跡装置動作方法。
11. 請求項１０に記載の目追跡装置動作方法において、
    前記画像品質（６２）は、前記少なくとも１つの画像（６０）から抽出された少なくとも
    １つの品質特徴、特にこの少なくとも１つの画像（６０）における特にユーザの目の検出
    された目の部分間のコントラスト（６２ａ）と、前記画像（６０）の信号対雑音比（６２
    ｄ）と、前記少なくとも１つの画像（６０）における検出された反射の大きさ（６２ｂ）
    と、前記少なくとも１つの画像（６０）における検出された反射の飽和度（６２ｃ）と、
    前記少なくとも１つの画像（６０）における検出された反射の輝度（６２ｅ）との何れか
    又はこれらの任意の組合せにより決定することを特徴とする目追跡装置動作方法。
12. 請求項１０又は１１に記載の目追跡装置動作方法において、
    前記推定した目追跡品質を、
    ｅ）前記画像（６０）を処理し、これにより前記画像（６０）から少なくとも１つの品質
    特徴（６２ａ；６２ｂ；６２ｃ；６２ｄ；６２ｅ）を抽出するステップと、
    ｆ）前記少なくとも１つの品質特徴（６２ａ；６２ｂ；６２ｃ；６２ｄ；６２ｅ）を画像
    品質（６２）に相関づけるとともに、この画像品質（６２）を推定した目追跡品質に相関
    づける第２の予め規定した相関関係を提供するステップと、
    ｇ）この第２の予め規定した相関関係に応じて、抽出された前記少なくとも１つの特徴を
    前記画像品質（６２）及び前記推定した目追跡品質に割当てることによりこの推定した目
    追跡品質を決定し、この推定した目追跡品質を、前記目の実際の特性からの、この目の決
    定した特性のずれに対する目安とするステップと
    により決定することを特徴とする目追跡装置動作方法。
13. 請求項１０〜１２の何れか一項に記載の目追跡装置動作方法において、
    前記推定した目追跡品質を、ユーザの視野内に位置する容積又は表面の三次元座標の関数
    、特に三次元ワールド座標の関数で計算するか、又はユーザの視野内に位置する表面の二
    次元座標の関数、特に前記目追跡装置（１０）に接続されたディスプレイデバイスの二次
    元座標の関数で計算することを特徴とする目追跡装置動作方法。
14. 請求項１〜１３の何れか一項に記載の目追跡装置動作方法において、
    前記第１の予め規定した相関関係（４２ａ）は、少なくとも、前記目追跡装置（１０）に
    伝達された外部アプリケーションの要件により予め規定することを特徴とする目追跡装置
    動作方法。
15. 請求項１〜１４の何れか一項に記載の目追跡装置動作方法において、
    前記第１の予め規定した相関関係（４２ａ）は、前記少なくとも２つの調整パラメータ（
    Ｐ_Ａ）の設定可能な値の組合せの複数の組を、特にルックアップテーブル及び特性曲線族
    の双方又は何れか一方の形態で、前記品質の品質値及び前記電力消費量の電力消費値に割
    当てることにより与えるか、又は前記少なくとも２つの調整パラメータ（Ｐ_Ａ）と前記電
    力消費量及び前記品質とを相関づける数学式及び関数の双方又は何れか一方により与える
    ことを特徴とする目追跡装置動作方法。
16. 請求項１〜１５の何れか一項に記載の目追跡装置動作方法において、
    前記制御ユニット（４２）により、開ループにおいて前記第１の予め規定した相関関係（
    ４２ａ）に応じて前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御することを特徴と
    する目追跡装置動作方法。
17. 請求項１〜１６の何れか一項に記載の目追跡装置動作方法において、
    前記制御ユニット（４２）により、閉ループにおいて前記第１の予め規定した相関関係（
    ４２ａ）に応じて前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御することを特徴と
    する目追跡装置動作方法。
18. 請求項１〜１７の何れか一項に記載の目追跡装置動作方法において、
    前記少なくとも１つの第１条件（４４）を、ユーザ入力に応じて、又は所定の外部アプリ
    ケーション或いは所定の電源モードにより設定することを特徴とする目追跡装置動作方法
    。
19. 予め決定した捕捉領域を有する目追跡装置（１０）であって、この目追跡装置が構成部
    として、
    ‐捕捉領域内でユーザの少なくとも一方の目の画像（６０）を捕捉しうる少なくとも１つ
    の撮像装置（２０）と、
    ‐前記捕捉領域内でユーザのこの少なくとも一方の目を照らすことのできる少なくとも１
    つの光源を有する少なくとも１つの照明ユニット（３０）と、
    ‐前記撮像装置（２０）により捕捉された画像（６０）を処理しうる処理ユニット（４０
    ）と
    を具えており、
    前記目追跡装置（１０）は前記構成部（２０；３０；４０）の少なくとも１つを調整しう
    る少なくとも２つの調整パラメータ（Ｐ_Ａ）を有し、前記目追跡装置（１０）は更に、前
    記少なくとも２つの調整パラメータ（Ｐ_Ａ）を設定することにより前記構成部（２０；３
    ０；４０）の少なくとも１つを制御しうる少なくとも１つの制御ユニット（４２）を具え
    ているようにした当該目追跡装置において、
    ａ）前記制御ユニット（４２）は、目の追跡に関連する品質と、前記構成部の少なくとも
    １つの電力消費量との群の要素に対して少なくとも１つの第１条件（４４）を設定しうる
    ようになっており、
    ｂ）前記目追跡装置（１０）は、前記少なくとも２つの調整パラメータ（Ｐ_Ａ）と前記品
    質及び前記電力消費量とを相関づける第１の予め規定した相関関係（４２ａ）を有してお
    り、
    ｃ）前記制御ユニット（４２）は、前記第１の予め規定した相関関係（４２ａ）に応じて
    前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御でき、前記少なくとも１つの第１条
    件（４４）が設定された前記要素が前記少なくとも１つの第１条件（４４）を満足するよ
    うになっていることを特徴とする目追跡装置。
20. 目追跡装置（１０）の捕捉領域内でユーザの少なくとも一方の目の少なくとも１つの特
    性を捕捉するこの目追跡装置（１０）を動作させる目追跡装置動作方法であって、前記目
    追跡装置（１０）は構成部として、
    ‐前記ユーザの少なくとも一方の目の画像（６０）を捕捉しうる少なくとも１つの撮像装
    置（２０）と、
    ‐前記ユーザのこの少なくとも一方の目を照らすことのできる少なくとも１つの光源を有
    する少なくとも１つの照明ユニット（３０）と、
    ‐前記撮像装置（２０）により捕捉された画像（６０）を処理しうる処理ユニット（４０
    ）と
    を具えているようにした目追跡装置動作方法が、
    ａ）前記ユーザの目の画像（６０）を捕捉するステップを有しており、この目追跡装置動
    作方法が、
    ｂ）前記画像を処理し、これによりこの画像から少なくとも１つの品質特徴（６２ａ；６
    ２ｂ；６２ｃ；６２ｄ；６２ｅ）を抽出するステップと、
    ｃ）前記少なくとも１つの品質特徴（６２ａ；６２ｂ；６２ｃ；６２ｄ；６２ｅ）を画像
    品質（６２）に相関づけるとともにこの画像品質（６２）を推定した追跡品質に相関づけ
    る予め規定した相関関係を提供するステップと、
    ｄ）抽出された前記少なくとも１つの品質特徴（６２ａ；６２ｂ；６２ｃ；６２ｄ；６２
    ｅ）を、前記予め規定した相関関係に応じて、前記画像品質（６２）及び前記推定した追
    跡品質に割当てることにより、この推定した追跡品質を決定し、この推定した追跡品質が
    前記目の実際の特性からの前記目のこの決定した特性のずれに対する目安となるようにす
    るステップと
    を有していることを特徴とする目追跡装置動作方法。
21. 目追跡装置（１０）の捕捉領域内でユーザの少なくとも一方の目の少なくとも１つの特
    性を捕捉するこの目追跡装置（１０）であって、この前記目追跡装置（１０）が構成部と
    して、
    ‐前記ユーザの少なくとも一方の目の画像（６０）を捕捉しうる少なくとも１つの撮像装
    置（２０）と、
    ‐前記ユーザのこの少なくとも一方の目を照らすことのできる少なくとも１つの光源を有
    する少なくとも１つの照明ユニット（３０）と、
    ‐前記撮像装置（２０）により捕捉された画像（６０）を処理しうる処理ユニット（４０
    ）と
    を具えているようにした当該目追跡装置において、
    ａ）前記処理ユニット（４０）は前記撮像装置（２０）により捕捉された画像（６０）を
    処理しうるとともに、これによりこの画像（６０）から少なくとも１つの品質特徴（６２
    ａ；６２ｂ；６２ｃ；６２ｄ；６２ｅ）を抽出するようになっており、
    ｂ）前記目追跡装置（１０）は、前記少なくとも１つの品質特徴（６２ａ；６２ｂ；６２
    ｃ；６２ｄ；６２ｅ）を画像品質（６２）に相関づけるとともにこの画像品質（６２）を
    推定した追跡品質に相関づける予め規定した相関関係を有しており、
    ｃ）前記制御ユニット（４２）は、前記予め規定した相関関係に応じて抽出された前記少
    なくとも１つの品質特徴（６２ａ；６２ｂ；６２ｃ；６２ｄ；６２ｅ）を前記画像品質（
    ６２）及び前記推定した追跡品質に割当てることによりこの推定した追跡品質を決定し、
    この推定した追跡品質を、前記目の実際の特性からの、この目の決定した特性のずれに対
    する目安とするようになっている
    ことを特徴とする目追跡装置。