JP2009505247A - 複数の観察者の眼のトラッキングとリアルタイム検出のための方法と回路配置 - Google Patents

Abstract

本発明は、リアルタイムで複数のユーザの眼の位置を非接触で認識しトラッキングするための方法及び回路配置に関する。入力データは、一連のディジタルビデオフレームを含んでいる。前記方法は、顔を検査するために用いられるフェイス・ファインダ・インスタンスと眼領域を検査するために用いられる用いられるアイ・ファインダ・インスタンスと眼の参照ポイントを認識しトラッキングするために用いられるアイ・トラッカ・インスタンスとを組み合わせるステップを含んでいる。本発明の目的は、階層的なインスタンスの手段内で眼の位置を目標に変換することであり、そのことにより、成功裡にビデオフレームＶＦ全体から出力され、処理されるデータセットを限定する。その結果、目標顔領域（ＧＺ）と後続の目標眼領域（ＡＺ）を形成する。また、１つのインスタンス若しくはインスタンスの集合は、各々の演算器において実行され、並行して処理される。

Description

本発明は、リアルタイムモードにおいて、複数の観察者の眼の位置若しくは瞳のトラッキングと非接触検出のための方法及び回路配置に関する。

入力データは、１つ若しくは複数のイメージセンサによって取得される一続きのディジタルビデオフレームの形式でのイメージ材料を含んでいる。

複数の観察者の眼の参照ポイントは、眼鏡やヘッドギアやスポット（spots）のような付加的で補助的ないかなる手段をも必要とせずに決定される。

静止したアプリケーションと対象的に、例えば、運転手やパイロットのモニタリングは、動きの範囲にあり、特に、領域深度が極めて限られほぼ静的である。本発明は、広い目標領域における眼の位置を検出することができ、速い観察者の動きに対処する。また、０．５ｍから３．５ｍまでの間の比較的広範囲での深度座標を決定する。

効率的で正確な眼のリアルタイムの検出の実現は、主なヒューマン・マシン・インタフェースである。本発明の主な分野は、自動立体ディスプレイ（autostereoscopic displays）のユーザの眼の位置をトラッキングし、検出する装置である。そのような装置は、観察者に偏向眼鏡のようないなかなる補助手段をも必要とせずに立体イメージの印象を与える。更に、本発明は、人や顔や視線方向の領域におけるビデオホログラフィやその実装等も含んでいる。

自動立体ディスプレイは、いわゆるトラッキング装置によってトラッキングされる表現であるが、複数の観察者に広範囲の視野領域における大きな可動性を提供する。眼のトラッキングとエラーのない（error-free）検出のために、眼の位置若しくは瞳は、イメージ提示の分野における重要なヒューマン・マシン・インタフェースでもある。

安全でエラーのないように機能するトラッキング装置は、通常、観察者によって気付かれることがない。多くのアプリケーションにおいて、しかしながら、トラッキングシステムのエラーが、望まない副作用を引き起こし、例えば、３Ｄの分野において、誤った復元若しくはクロストークを引き起こす。トラッキング装置は、高精度で、信頼性があり、正確であることが要求される。そのシステムは、適切な効率性と正確性を有し、全ての主な動きを正確にトラッキングでき、観察者に３次元において可能な限り自由に移動させることができる。

幾つかのタイプの非接触型トラッキングシステムが商業的に用いられている。単純なモデルは、一般的に、標準的なオペレーティングシステム用の基本的なアプリケーションソフトウェアであることを特徴とし、標準化されたハードウェア及びソフトウェアのインタフェースを有する。

特許文献１の「様々な光の条件下におけるリアルタイムの目の検出およびトラッキング(Real-time eye detection and tracking under various light conditions)」（Zhiwei Zhu Qiang Ji）には、主に、眼の位置の検出ステップと眼のトラッキングステップとを含む非接触型のリアルタイムな眼の検出方法が記載されている。その眼の位置の検出ステップは、アクティブ・イルミネーションとパターン認識の方法の組み合わせを含んでいる。眼のトラッキングが行われた後に初めて観察者の眼が検出された後のステップは、幾つかのアルゴリズムと技術との組み合わせ及び統合を含んでいる。幾つかの手段の組み合わせ及び統合であるにも関わらず、３次元における頭の主な不意の動きが、リアルタイムにトラッキングされないことと、位置データの提供とイメージの取得との間で、遅延によってリアルタイム処理が妨げられることが、今尚、問題として存在する。このことは、特に、好ましくない周囲の条件での深度次元（depth dimension）における眼の位置の検出に当てはまる。

車両においては、例えば、運転手の顔は、常に、計器パネルに対して予測できる距離の範囲内に位置している。更には、垂直方向にも水平方向にも、小さな動きの変化が存在しているだけである。特に、一般的に、唯一、一つのカメラが用いられたとしても、深度位置は十分な精度で推定することができるように、深度次元での実際の動きの範囲は極めて狭い。
国際公開第０３／０７９９０２Ａ１号パンフレット

本発明の目的は、短い計算時間を提供する一方で、視野空間の３次元全ての広範囲を提供することである。前述した従来技術と対照的に、３次元全てにおいて眼を検出することが必要であるので、深度次元を含んでいる。深度範囲は、好ましくは、０．５ｍから少なくとも３．５ｍまでの広範囲を含む。深度を決定するために、一方、独立に配置された多数のカメラは、幾つかの点から目標領域のイメージを取得することができることが要求される。更には、５、６ｍまでの距離においての眼の検出は、良い解像度を得るカメラを必要とする。そのようなことは、カメラ毎、ビデオフレーム毎に膨大な量のデータを生じる。

膨大なデータのリアルタイム処理の問題は、検出されるべき幾人かの観察者がいる場合に、より重大となる。特に、極めて計算集約型処理のステップは、照明効果や、反射や、単眼鏡のレンズによって識別することが難しい観察者を検出することができるように、要求される。経験が示すところによると、部分的に隠された若しくは、少しずれて立った３、４人の検出は、しばしば、大規模で時間を消費する計算の試みによって達成される。しかしながら、すぐに容易に検出される度合いが最も少なく、多くの計算によって検出され得るのみの観察者に対して要求される計算努力は、他の観察者のリアルタイムでのトラッキングにマイナスとなってはならない。

眼の位置の検出を伴う問題は、入力ビデオフレームがもはやリアルタイムモードで処理されないという事実を導く。人間毎、フレーム毎の最大に受諾できる計算時間は、単眼鏡やイヤホーンが眼を覆った場合や、観察者がカメラから突然、目を背けたり、一瞬の間であるが、程度を超える場合がある。

従来技術の不利点を認識すると、本発明の目的は、全ての３次元において、観察者が頭を大きく、突然に動かした場合に、複数の観察者の眼の位置を検出させる方法を提供することである。その方法は、広い目標領域において眼の位置を検出し、突然の観察者の動きを補償し、広範囲において深度座標を決定する。更に、エラー量を最小化する一方で、イメージの取得、即ちビデオフレームの読み込みと、結果出力、即ち、眼の位置の提供との間の応答時間は、継続して低下する。更に、その方法は、高解像度カメラが用いられたとしても、リアルタイムモードにおけるエラーのない（error-free）結果を達成することができる。

その方法は、複数の観察者の眼の参照ポイントのトラッキングとリアルタイム検出のために用いられる。入力データは、カメラのような１つか若しくは幾つかのイメージセンサによって取得された一連のディジタルビデオフレームの形式でのイメージデータを含んでいる。眼の参照ポイントとは、瞳の位置、及び、眼の角との少なくともいずれかである。

その方法は、顔を検出するためのフェイス・ファインダ・インスタンス（instance）と、階層的に下位になる眼の領域を検出するためのアイ・ファインダ・インスタンスと、眼の参照ポイントを検出しトラッキングするためのアイ・トラッカ・インスタンスとの協調動作を含む。アイ・トラッカ・インスタンスは、階層的にアイ・ファインダ・インスタンスに対して下位になる。

本発明は、眼の位置の発見が、総ビデオイメージで開始した検索領域を次第に低減していくことを目的とするように階層的に組織化されて実現されている。リアルタイムな動きは、アイ・ファインダ・インスタンス若しくはアイ・トラッカ・インスタンス用に低減された目標（target）顔領域へのフェイス・ファインダ用の総ビデオフレームで開始され、検索領域のインタリーブ（interleave）と、階層的に序序に低減していくことによって達成される。更に、それらのインスタンス又はインスタンスの集合はそれぞれのケースにおいて、並行して別個のプロセスを実行する一方で、専用の演算器において実行される。

フェイス・ファインダ・インスタンスは、各観察者の頭や顔の位置を総ビデオフレームの領域において検索する。そのインスタンスは、総ビデオフレームのデータから決定される。そのビデオフレームのデータは、各目標顔領域を表し、顔単位での極めて小さいデータであるが、アイ・ファインダ・インスタンスに限られた領域を提供する。

アイ・ファインダ・インスタンスは、フェイス・ファインダに対して階層的に下位である。提供された目標顔領域のデータから、アイ・ファインダ・インスタンスは、大きく低減されたデータ量のみを処理することを要求される。このデータにおいて、そのインスタンスは、眼若しくは眼の位置を決定し、目標顔領域よりも更に低いデータ量を、目標の眼の領域として再度決定する。この限られた検索領域のみが、次の階層的に下位であるアイ・トラッカ・インスタンスに提供される。

その後、アイ・トラッカ・インスタンスは、高速で、眼の検索領域の大きく低減されたデータ量において、求められている眼の参照ポイントを決定する。階層的に検索領域を縮小していき、データ量を低減していくことによって、アイ・トラッカ・インスタンスは、効率的に迅速に機能する。

本発明によると、処理の総遅延時間の低減のために、フェイス・ファインダ・インスタンスと、アイ・ファインダ・インスタンス／アイ・トラッカ・インスタンスは、別個の並行したプロセスで、相互に独立して実行される。

専用の演算器に対して、それらのインスタンスやインスタンスの集合を割り当てることによる並列化は、多数の実施例で実施され得る。

本発明に特に好ましい実施例において、１つのフェイス・ファインダ・インスタンスが、専用の演算器において、各カメラ用に実行される。その後、フェイス・ファインダ・インスタンスによって検出された各観察者に対して、専用の演算器が、アイ・ファインダ・インスタンスを実現するために割り当てられる。もし、フェイス・ファインダ・インスタンスが新たな顔を検出した場合には、アイ・トラッカ・インスタンスとアイ・ファインダ・インスタンスは、直ちに、指示されるか又は初期化される。そして、それらのインスタンスは、専用に特に割り当てられた演算器において実行されるであろう。顔の検出について直ちに行うトラッキングは、少しの間に失われた顔を認識するが、再検出する。

本発明の主な利点は、フェイス・ファインダがもはや妨げられず、また、遅延しないことである。というのも、下位のインスタンスが、専用の演算器で実行されるからである。このフェイス・ファインダ・インスタンスは、全ての他の計算リソースを維持する一方で、現在のビデオフレームのデータで、顔を検索し続ける。中間の部分的な検索結果は、既に決定されているが、更なる処理若しくは分配のためにコントロール・インスタンスに送信される。又は、アイ・トラッカ・インスタンス／アイ・ファインダ・インスタンスによって提供された部分的な結果が、コントロール・インスタンスによって受信され、その結果、ポジティブな制御ループにおいて、目標顔領域を推定することができる。

そのようなインスタンスの迅速な実現は、方法における応答時間を継続して削減し、リアルタイムな動きのための最初の基準を形成する。

リアルタイムな動きは、更に、階層的で段階的な低減と検索領域のインタリーブによって更にサポートされる。また、リアルタイムな動きは、アイ・ファインダ・インスタンス又はアイ・トラッカ・インスタンス用に低減された目標顔領域に対するフェイス・ファインダ・インスタンス用の総ビデオフレームで開始する。

最終的に、本発明によると、リアルタイムな動きは、専用の演算器における別個のプロセスと並行してそのようなインスタンス又はインスタンスの集合を実行することによって、更にサポートされ保証される。インスタンスの並行性については、更なるオプションが可能である。上記で述べたように、フェイス・ファインダ・インスタンスとアイ・ファインダ・インスタンス／アイ・トラッカ・インスタンスは、専用の演算器において実行され得る。更には、フェイス・ファインダ・インスタンス／アイ・ファインダ・インスタンスとアイ・トラッカ・インスタンスは、専用の演算器において実行され得る。アイ・ファインダ・インスタンスを専用の演算器において実行することも可能であろう。しかしながら、このことは、比較的に計算時間を殆ど要しないインスタンスであり、好ましくは、計算集約型のフェイス・ファインダ・インスタンス又はアイ・トラッカ・インスタンスによって用いられる演算器の１つに対して割り当てられるようにする。

インスタンスのプロセスとインスタンス間のデータ交換との両方は、好ましくは、コントロール・インスタンスによってモニタされる。特に、インスタンスは、専用の演算器上のアイ・ファインダ・インスタンス／アイ・トラッカ・インスタンス用に検出された顔若しくは目標顔領域の割り当てを制御する。データ交換は、主に、検索領域、インスタンスの部分的で最終的な結果の交換、外部インタフェースに対する結果として生じる眼の参照ポイントの転送を割り当てることによるインスタンスの再初期化を含んでいる。

例えば、コントロール・インスタンスは、既にトラッキングされた顔に対応するアイ・ファインダ・インスタンスとアイ・トラッカ・インスタンスを更新し、再初期化する。コントロール・インスタンスは、選択し、照合し、発見された目標顔領域と目標眼領域の確信を評価する。対応する評価パラメータは、コントロール・インスタンスによって用いられ、プロセスの過程でインスタンスによって決定され、最適なインスタンスのプロセス制御と有効な演算器の割り当てを実現する。

本発明に係る方法は、観察者が全ての３次元において、頭を大きく唐突に動かした場合においてさえ、リアルタイムに複数の観察者の眼の位置を検出することができる。更に証明されることには、その方法による結果は、高解像度カメラのデータ量を伴うリアルタイムモードでの結果を実現することができる。

図１は、方法におけるインスタンスのインターリーブされ、低減された検索領域を示している。ステレオ赤外線カメラ等の複数のイメージセンサの一連のディジタルビデオフレームとしてのイメージ材料が、入力データとして取得される。図１は、座標システムによって定義され、概略的にビデオフレームＶＦ全体の一部を示している。

第１のフェイス・ファインダ・インスタンスは、ビデオフレームＶＦ全体のデータを解析し、ビデオフレーム全体において、観察者の顔を検出する。図１において、２つの顔のデータが示されている。第１の顔（左）は、明らかにカメラの近くに位置している。一方、第２の顔（右）は、カメラに対してより離れて位置している。

フェイス・ファインダ・インスタンスは、各検出された顔のために、ビデオフレームＶＦ全体のデータから、目標顔領域ＧＺに対応する低減されたデータ領域を決定する。インデックスが、図の左に示された第１の顔に関連付けられている。決定された目標顔領域ＧＺが、後段のアイ・ファインダ・インスタンス用に低減された検索領域を形成する。アイ・ファインダ・インスタンスは、検索領域において眼の位置を決定し、結果として、目標顔領域ＧＺのデータ量を低減し、更に、目標眼領域ＡＺに対応するより低減されたデータ量を取得する。

眼の位置を伴う目標眼領域ＡＺのデータは、後段のアイ・トラッカ・インスタンスＥＴ用の入力データである。そのことにより、現在のビデオフレームでの目標眼領域ＡＺにおいて、また、既に決定された動きの連続に従って、後続のビデオフレームでのトラッキングされた目標眼領域ＡＺにおいて、結果として出力されるべき眼の参照ポイントが検出される。

過去のビデオフレームの参照ポイントの情報は、観察者の動きに従って、トラッキングし目標眼領域ＡＺを更新し、現在及び後続のビデオフレームでの領域を推定するために用いられる。もし、観察者が深度次元において移動した場合には、イメージ内容は、付加的に、サイズが変更される必要があるかもしれない。

図に示されるように、目標眼領域は、いくつかの離れた部分を含む場合がある。図に更に示されるように、これらの目標領域は不規則であり、好ましくは凸形状であるが、観察者の頭と視線方向の位置に依存する。単純な実施形態において、それらの領域は、楕円や円や長方形のようなパラメータ化された幾何学的な表面のリストによって現される。

図２は、最後の実施形態に基づいており、インスタンスの並列化のフローチャートを示している。図は、フェイス・ファインダ・インスタンスＦＦとアイ・ファインダ・インスタンスＥＦとアイ・トラッカ・インスタンスＥＴの階層的構造と、専用演算器Ｒ１〜Ｒ２への割り当てを示している。

３つの演算器Ｒ１〜Ｒ３が本実施形態において用いられる。第１の演算器Ｒ１は、フェイス・ファインダ・インスタンスＦＦに対して専ら用いられる。このインスタンスは、ビデオフレームのデータにおいて、第１の観察者の顔を検出し、目標顔領域ＧＺを決定する。そして、専用演算器は、直ちに目標顔領域に割り当てられ、その結果、アイ・ファインダ・インスタンスを、その後に、アイ・トラッカ・インスタンスを実行する。

図は、目標顔領域ＧＺと後段のインスタンスに対する目標眼領域ＡＺのような低減された目標領域のそれぞれのデータの流れを示す。アイ・トラッカ・インスタンスＥＴは、より高レベルのコントロール・インスタンス（不図示）若しくは外部インタフェースに、眼の参照ポイントのデータを提供する。また、同時に、従前のビデオフレームにおいて検出された参照ポイントの情報は、目標眼領域ＡＺをトラッキングするため、また、観察者が移動した場合に後続のフレーム用に推定するために用いられる。現在の目標眼領域のデータと、従前のフレームの領域のデータとは両方とも、図に示されるように、アイ・トラッカ・インスタンスによって用いられる。

第２の観察者が検出され、同様にトラッキングされる。もし、演算器よりも観察者の方が多い場合には、アイ・ファインダ／アイ・トラッカ・インスタンスは、好ましくは各観察者毎に（又は、言い換えると、各目標顔領域毎に）実行される。その結果、複数の独立した別個のプロセスが実行され、必然的に、複数のプロセスは、共通の演算器において実行される。

図３は、回路配置と本方法における並列化と、階層的に構成されたインスタンスの並列化のフローチャートを示しており、異なった位置の複数のカメラのイメージデータを用いている。眼の検出とトラッキングのために、各カメラは、上記の実施例に従う方法に基づいている。各カメラは、図１及び図２に示されるようにインスタンスの並列化に割り当てられている。

左のシステムは、第１の演算器Ｒ１において実行されたフェイス・ファインダ・インスタンスＦＦを用いて、第１の観察者の目標顔領域ＧＺ１−Ｌを、左のイメージデータＶＦＬ（video frame left）に基づいて検出する。対応するアイ・ファインダ・インスタンスＥＦとアイ・トラッカ・インスタンスＥＴは、演算器Ｒ２において実行される。回路配置については、これらの演算器は、一般的にＣＰＵやＤＳＰによって構成される。

演算器Ｒ３の第２のインスタンスの集合は、第２の観察者に対して割り当てられている。図に示される他のインスタンスと演算器は、ＶＦＲ（video frame right）で表示され、インデックスＲによって識別されており、右のイメージと、対応するインスタンス若しくは回路配置のエレメントに関連付けられている。

実行されたコントロールユニットは、図に示されていないが、個別のプロセスを制御し、かつ、プロセス間のデータ交換を纏める役割を果たしている。データ交換は、特に、観察者に関連付けられた演算器間において進められる。インスタンスえば、左のイメージの既に有効である情報は、許容可能な誤差を伴って、右のイメージにおける位置を推定し決定するために用いられる。右のイメージの内容は、実質的に、左のイメージと異なっていない。部分的な結果の変換は、左のイメージにおける眼のｘ−ｙピクセル位置に基づいて可能である。それは、従前の深度計算とカメラパラメータにおいて決定されたような観察者の距離である。例えば、左の半分のイメージにおいて発見された目標眼領域ＡＺ１−Ｌのデータは、右の半分のイメージＡＺ１−Ｒ用の入力パラメータとして定義され、必要に応じて、変換される。そして、左のプロセスに用いられたアルゴリズムやパラメータよりも、他のアルゴリズム若しくは他の制御パラメータを用いることが可能である。

本計算において必要とされる情報は、主に、カメラの解像度及びピクセルピッチと、対物鏡の焦点距離と、対物鏡とカメラのイメージ間の距離と、カメラの距離及び方向とを含んでいる。

回路配置は、主に、通信機能や、プログラマブル・ロジック・モジュール、プロセッサ、ＲＯＭやＲＡＭを含んでいる。演算器は、好ましくは、最適化のみされて意図された目的、特に上述のインスタンス用に構成される。更に、好ましい実施形態において、回路配置は、補助プロセスを実行するための専用演算器を付加的に含んでいる。それは、例えば、サイズの変更やガンマ補正といったものである。

以下の図面は、本発明に係る方法の実施形態を示し、自動立体ディスプレイ用のトラッキング装置とともに用いられる。
フェイス・ファインダ、アイ・ファインダとアイ・トラッカ・インスタンスのインタリーブされ、低減された検索領域の概要を示す図である。 本発明に係る方法の階層的に構成されたインスタンスの平行化を示すフローチャートである。 本発明に係る方法の階層的に構成されたインスタンスの並行化を示すフローチャートと、回路配置の概要を示す図である。

Claims (15)

1. 少なくとも１つのイメージセンサによって取得され、ビデオフレーム（ＶＦ）のイメージデータにおいて、複数の観察者の眼の参照ポイントの位置（ＥＰ１、・・・、ＥＰｎ）を検出してトラッキングする方法であって、
   前記ビデオフレーム全体から、各顔用の目標顔領域（ＧＺ）として、はるかに小さなサブ領域を抽出し、前記目標顔領域（ＧＺ）の情報を少なくとも１つの後段のアイ・ファインダ・インスタンス（ＥＦ）に送信する、ビデオフレーム（ＶＦ）における顔の位置を検出するためのフェイス・ファインダ・インスタンス（ＦＦ）と、
   各目標顔領域（ＧＺ）から、目標眼領域（ＡＺ）として、はるかに小さなサブ領域を抽出し、前記目標眼領域の情報を少なくとも１つの後段のアイ・トラッカ・インスタンス（ＥＴ）に送信する、眼の位置を検出するための前記アイ・ファインダ・インスタンス（ＥＦ）と、
   現在の前記ビデオフレームと後続の前記ビデオフレームでの前記目標眼領域（ＡＺ）において、眼の参照ポイントの位置（ＥＰ１、・・・、ＥＰｎ）を定義し、トラッキング装置のための情報を生成する、前記眼の位置をトラッキングするための前記アイ・トラッカ・インスタンス（ＥＴ）とを備え、
   １つのインスタンス又はインスタンスの集合が、専用の演算器において並行して処理されることを特徴とする方法。
2. 前記参照ポイントの位置（ＥＰ１、・・・、ＥＰｎ）の座標は、水平及び垂直の位置である、請求項１に記載の方法。
3. 前記眼の深度座標は、複数のイメージセンサの２次元参照ポイントの位置（ＥＰ１、・・・、ＥＰｎ）に基づいて決定される、請求項２に記載の方法。
4. フェイス・ファインダ・インスタンスとアイ・ファインダ／アイ・トラッカ・インスタンスの組み合わせ、若しくは、フェイス・ファインダ／アイ・ファインダ・インスタンスの組み合わせとアイ・トラッカ・インスタンスは、それぞれ専用の演算器において処理される、請求項３に記載の方法。
5. 各検出された顔用に、アイ・ファインダ・インスタンスとアイ・トラッカ・インスタンスは初期化され、少なくとも１つの専用の演算器において処理される、請求項３に記載の方法。
6. 評価順序は、前記観察者と、結果として生じる前記目標眼領域との少なくともいずれかに対して割り当てられ、前記順序は、前記演算器の割り当てのために用いられる、請求項３に記載の方法。
7. １つ若しくは幾つかのフェイス・ファインダ・インスタンスは恒久的に実行され、前記各割り当てられたアイ・ファインダ／アイ・トラッカ・インスタンスを再初期化する、請求項３に記載の方法。
8. 前記フェイス・ファインダ・インスタンスによって発見された目標顔領域は、既にトラッキングされた顔と、新たに検出された顔とのどちらに起因するかを判定し、前記アイ・トラッカ・インスタンス若しくはアイ・ファインダ／アイ・トラッカ・インスタンスを、該当する演算器に割り当てて初期化し、全ての前記インスタンスの実行を同期させる、請求項１に記載の方法。
9. イメージデータが複数のイメージセンサによって取得され、アイ・ファインダ・インスタンス、アイ・トラッカ・インスタンス、若しくは、アイ・ファインダ／アイ・トラッカ・インスタンスの組み合わせが、専用の演算器において観察者毎若しくはイメージセンサ毎に実行され、部分的な結果及び最終的な結果の少なくともいずれかが、観察者に各々関連付けられた前記それぞれのインスタンスの間で交換され処理される、請求項１乃至８のいずれか１項に記載の方法。
10. 前記イメージセンサのパラメータと同様に、前記観察者の位置と前記イメージセンサの位置とを知り、イメージセンサの前記インスタンスの部分的な結果及び最終的な結果の少なくともいずれかが、他のイメージセンサの前記インスタンス用に変換され、奥行きに適用される、請求項９に記載の方法。
11. 前記眼の参照ポイントの位置（ＥＰ１、・・・、ＥＰｎ）は、瞳の位置、及び、前記眼の角の位置の少なくともいずれかである、請求項１に記載の方法。
12. フェイス・ファインダ・インスタンス（ＦＦ）、アイ・ファインダ・インスタンス（ＥＦ）、アイ・トラッカ・インスタンス（ＥＴ）を備える複数の通信演算器（Ｒ１、・・・、Ｒｎ）で、ビデオフレーム（ＶＦ）のイメージデータにおいて、複数の観察者の眼の参照ポイントの位置（ＥＰ１、・・・、ＥＰｎ）を検出しトラッキングするための回路配置であって、
    前記フェイス・ファインダ・インスタンス（ＦＦ）は、ビデオフレーム（ＶＦ）において前記顔の位置を検出するように動作し、前記ビデオフレーム全体から、各顔用の目標顔領域（ＧＺ）として、はるかに小さなサブ領域を抽出し、前記目標顔領域（ＧＺ）の情報を少なくとも１つの後段の前記アイ・ファインダ・インスタンス（ＥＦ）に送信し、
    眼の位置を検出するための前記アイ・ファインダ・インスタンス（ＥＦ）は、各目標顔領域（ＧＺ）から目標眼領域（ＡＺ）として、はるかに小さなサブ領域を抽出し、前記目標眼領域（ＡＺ）の情報を少なくとも１つの後段の前記アイ・トラッカ・インスタンス（ＥＴ）に送信し、
    前記眼の位置をトラッキングするための前記アイ・トラッカ・インスタンス（ＥＴ）は、現在の前記ビデオフレームと後続の前記ビデオフレームでの前記目標眼領域（ＡＺ）において眼の参照ポイントの位置（ＥＰ１、・・・、ＥＰｎ）を定義し、トラッキング装置用の情報を生成し、
    １つのインスタンス又はインスタンスの集合が、専用の演算器において並行して処理される回路配置。
13. スケーリング、ガンマ補正、明度制御のような前記イメージデータの前記スケーリング若しくは補正のための別個の演算手段を備える、請求項１２に記載の回路配置。
14. 少なくとも２つのイメージセンサから判定された前記参照ポイント（ＥＰ１、・・・、ＥＰｎ）から前記深度座標を計算する演算手段を備える、請求項１２に記載の回路配置。
15. 演算器が例えば、ＣＰＵ、ＤＳＰ等である、請求項１２に記載の回路配置。

Images