JP2015514251A - 視線追跡の結果を評価する方法および装置 - Google Patents

Abstract

本発明は、注視検出の結果を評価する方法および装置に関する。これらの結果は、連続した複数の瞬間のそれぞれに対し、この瞬間において検出された注視方向、および、これによって、この瞬間に対して割り当てられるシーン画像（１０）中に特定される視点（１２）を定義する情報の形で存在する、または取得される。この目的のために、本発明は、実行されるべき以下の段階を備える。−異なる速度（ｖ）の目の動きによって互いに異なっている異なる複数の視覚的事象を特定するために、注視方向および／または視点（１２）における経時変化が評価される。ここで衝動性眼球運動（１４）および凝視（１６）および／または追従運動（１５）は、異なるタイプの視覚的事象として検出され、特定された複数の視覚的事象は、それらのタイプに従って分類される。−複数の瞬間にわたって広がる期間が、複数の間隔に分割される。ここでは、個々の視覚的事象の持続時間に対応する１つの間隔が、特定された複数の視覚的事象のそれぞれに対して割り当てられるようにされる。ここで、これらの複数の間隔のうちの少なくともいくつかは、それぞれ、一連の複数の瞬間を含む。−凝視（１６）または追従運動（１５）に割り当てられた複数の間隔（Ｉ１−Ｉ６）のそれぞれから、それぞれの場合において、複数の瞬間の正確に１つが、または複数の瞬間の真部分集合が選択される。−そして、これらの選択された複数の瞬間のそれぞれに対し、個々の瞬間に割り当てられたシーン画像（１０）において特定された視点（１２）が、参照画像（１１）において、この視点（１２）に対応する位置（１３）に描かれる。

Description

本発明は目の検出結果、すなわち視線追跡の結果を評価する方法および装置に関する。

視線追跡それ自体は知られており、例えば、人の注視あるいは動物の注視さえもが、どの視点に、いつ、どれだけ長くおよび／またはどんな順序で留まるのか、あるいは異なる視点間で注視または注視方向がどのように移動するのかを調査する必要があるような行動調査または市場調査において使用されている。これにより、例えば、通行人の注意を確実に得るためには、どこに、且つどのように商品を配置するのが供給者にとって最も好ましいのかについての情報を与えることができる。

視線追跡の最先端技術から知られている方法の場合、被験者（本開示におけるこの用語は、これ以降、人と動物の両方を表す）が見ることのできるシーンを再生する複数のシーン画像が記録される。この目的のために、例えば、被験者の頭に固定され、それ故に頭とともに移動するカメラを使用することができる。同時に、目の位置、従って被験者の注視方向が検出されるが、これは例えば被験者の両目に向けられたカメラを活用し、適切な画像評価方法を使用して行うことができる。そうした視線追跡器を校正した後、次いで、たとえ目の位置および頭の位置が変化したとしても、複数のシーン画像中の視点に関する結論がそれぞれ出される。視点という用語は（これは、本発明および実施形態の以下の記載にも当てはまる）、シーン画像が割り当てられているある瞬間において、被験者の注視が留まっているシーン画像中の点を指定するものである。

従って、視線追跡の結果は、多数の連続した瞬間のそれぞれについて、この瞬間に検出された注視方向、および、この瞬間に割り当てられたシーン画像において結果的に特定された視点をそれぞれ定義する情報として通常生じる。そのような結果を評価するために、極めて大量の情報が処理されねばならない。というのも、通常は、２０よりも多いシーン画像および像点が１秒間につき検出されるからである。従って、評価が手動、自動、または対話形式で実現されるのかどうかには関わらず、極めて多くの時間または演算を消費することにつながる。

本発明の根底にある目的は、記載したようなタイプの視線追跡の結果を評価するための複雑性を低減することができる方策を提案することである。

この目的は、本発明に従った、主たる請求項の特徴を有する方法によって、また、協調的な請求項の特徴を有する装置によって達成される。本発明の有利な実施例および発展が、従属請求項の特徴によって明らかにされる。

本発明に従った装置は、提案される方法を実施するのに適している。その方法は、この後まず記載されることが意図されており、また、これにより視線追跡結果の複数の結果を評価することに関連した複雑性が著しく低減される。従ってこの方法は、視線追跡の複数の結果を評価するのに役立つ。これら複数の結果は、多数の連続した瞬間のそれぞれに対し、あるこの瞬間において検出された注視方向、および、この瞬間に割り当てられたシーン画像において結果的に特定された視点をそれぞれ定義する情報として存在する、または（例えば視線追跡による上述の様式で）取得される。異なる複数のシーン画像が、概して異なる複数の瞬間に割り当てられるように、複数のシーン画像は時間依存性である。この方法は以下の段階を備える。
−異なる複数の視覚的事象を特定するために、注視方向および／または視点および／または目の動きにおける経時変化を評価する段階であって、少なくとも２つの異なるタイプの視覚的事象が認識され、それぞれのタイプに従って、特定された複数の視覚的事象が分類される段階。
−複数の瞬間を含む期間を複数の間隔に分割する段階であって、それぞれの視覚的事象の持続時間に対応する１つの間隔が、特定された複数の視覚的事象のそれぞれに割り当てられる段階。通常、これら複数の間隔の少なくともいくつかは、それぞれ一連の複数の瞬間を含んでいる。
−少なくとも１つの選択されたタイプの視覚的事象の１つの視覚的事象に対して割り当てられた複数の間隔のそれぞれから、複数の瞬間の正確に１つ、または複数の瞬間の真部分集合をそれぞれ選択する段階。
−これらの選択された複数の瞬間のそれぞれに対し、それぞれの瞬間に割り当てられたシーン画像中において特定された視点を、すなわち、視線追跡の結果によってこの瞬間に対して定義された視点を、参照画像において当該視点に対応する位置上に画像化する段階。

従って、期間を複数の時間間隔に分割することは、例えば、複数の瞬間または複数のシーン画像のそれぞれに割り当てられた属性であって、この瞬間またはこのシーン画像に割り当てられた瞬間が、複数の間隔または複数の視覚的事象のいずれに属するのかを示す属性によって実現することができる。通常、複数の間隔は分離している。異なる複数のシーン画像に対して参照画像は同一であってよい。しかしながら参照画像は、それぞれ、例えば参照ビデオによって定義され得る一連の複数の参照画像からの１つであることも可能である。複数のシーン画像と同様に、この場合、参照画像もまた時間依存性である。

評価の間、特に情報入力が実現される視覚的事象と情報入力が実現されない視覚的事象とが、異なるタイプの視覚的事象として、すなわち、情報入力を有する視覚的事象と情報入力を有さない視覚的事象として認識されれば特に好ましい。そうすると、少なくとも１つの選択されたタイプの複数の視覚的事象の上述した視覚的事象は、情報入力を有する視覚的事象となるであろう。次いで、複数の瞬間の１つ、または、複数の瞬間の部分集合をそれぞれ正確に選択することが、例えば概して、特に情報入力が実現される視覚的事象に割り当てられる複数の間隔のそれぞれに対して実現される。

このように評価の複雑性を大幅に低減するための提案の基礎となるものは、以下の３つの洞察である。第一に、視線追跡の多くの応用に対し、被験者がどの情報をいつ視覚的に捉えたかを単独でまたは最初に決定することが重要である。第二に、提案される方法の目的に関連する少なくとも１つの情報入力は、特定のタイプの視覚的事象の間にのみ、特に、被験者に対して静止しているまたは動いているある目的物に幾分長く注視が留まる凝視または追従運動の間にのみ行われる。しかし、例えば、異なるタイプの視覚的事象を表す衝動性眼球運動の場合には行われない。これは、目の動きが急激過ぎて、関連する情報入力をこの意味で事実上不可能とするからである。第三に、凝視または追従運動のように情報入力に関連する視覚的事象の進行の間には、この視覚的事象の間の情報入力に関して必要な全てを知るために、それぞれの凝視または追従運動から、この瞬間に割り当てられたシーン画像およびその中にて特定された視点を調査するのに十分なだけ、ほんの一瞬同じ点または同じ目的物に、常に幾分か注視が留まる。なお、ここに記載される発明については、凝視と追従運動とを互いに区別することが絶対に必要なわけではない。しかしながら、これらは、例えば衝動性眼球運動のような情報入力を有さない事象からは少なくとも区別されることが好ましい。

しかしながら、たとえこの知識を考慮した場合でも、視線追跡の結果の評価における不必要な複雑性を回避することが重要でないということではない。第一に、注視方向および／または視点および／または目の動きの経時変化の評価により、異なる複数の視覚的事象（好ましくは、情報入力を有する視覚的事象と情報入力を有さない視覚的事象、すなわち、例えば衝動性眼球運動と凝視および／または追従運動）が異なるタイプの視覚的事象として認識され、それぞれの視覚的事象の持続時間に対応する１つの間隔が、特定された複数の視覚的事象のそれぞれに対して割り当てられるように、複数の瞬間を含む期間が複数の間隔に分割されるという事実によって、これが可能となる。この結果としてのみ、複数の瞬間のうちの正確に１つまたは複数の瞬間の典型的な部分集合を、選択されたタイプの１つの視覚的事象（例えば情報入力を有する視覚的事象、または例えば凝視あるいは追従運動）に割り当てられた複数の間隔の各々からの１つの間隔から、それぞれ選択することができる。また、望ましくない情報損失のリスクを冒すことなく、複数のシーン画像およびこれらの瞬間に割り当てられた視点の評価を十分確実にすることができる。

従って、複数の個別の間隔から、１つよりも多くの瞬間を選択する必要は無い。しかしながら、後者は、その後行われ、そして、多分自動的に実行される参照画像への画像化に関して恐らくは避けることのできない誤り、あるいは不正確さを排除するため、または低減するためには有利となり得る。何れの場合も、選択された複数の瞬間の数、故に参照画像に取り込まれるべき複数の視点の画像化は、複数のシーン画像および複数の視点に関する情報のために存在する全ての複数の瞬間の数よりも著しく少ない。

参照画像中の対応する複数の位置へと複数の視点を画像化することは、最終的には、体系的な評価を可能にする。これは、被験者が動いており、そのため、異なる複数の瞬間に割り当てられた複数のシーン画像が互いに異なるということが認められねばならない場合、ここで決定された複数の位置は、被験者の注視が、何に、いつ、どれだけの長さ留まっていたかに関する客観的な情報を単に含むだけだからである。提案される手順によって、実行されるべき画像化の数が極めて狭い範囲内に維持され得ることによる、具体的な利点がここで明らかにされる。本方法は、連続して、または同時に観察されている何人かの被験者の視覚的挙動が、記載される態様にて解析されることを提供することもできる。よって、好ましくはこの目的のために選択され、全ての被験者に対してそれぞれ同じであるべき参照画像への複数の視点の画像化は、極めて複雑性の低い状況で、試験の結果の非常に客観的な評価を可能にする。

視覚的事象の特定および分類という状況において、ここで使用される、一方では"情報入力が実現される視覚的事象"または"情報入力を有する視覚的事象"という用語と、他方では"情報入力が実現されない視覚的事象"または"情報入力を有さない視覚的事象"という用語は、視覚的事象の間に、被験者が実際に情報を取り込むかどうか、およびどの程度取り込むかをそれぞれ直接に調査することを示唆するものではないということが明らかになるであろう。これは単に、典型的な生理的特性または運動特性から一般的に認識される異なる複数の視覚的事象が区別されるということ、および、経験的証拠またはもっともらしい判断に基づいて、これら複数の視覚的事象を、情報入力が予測されるものと、（例えば動きの速度が大き過ぎるので）少なくとも関連する情報入力が実現されないと仮定することのできるものとに分割することができるということを意味するだけである。従って、例えばこの意味においては、凝視または追従運動の場合には情報入力が実現されるが、衝動性眼球運動では実現されないと仮定することができる。異なるタイプの視覚的事象を区別することができ、これを用いることによってこうした視覚的事象を認識することのできる典型的な生理的特徴は、例えば、目の動きの速度または特定の期間内において広げられた角度範囲の大きさである。情報入力を有する視覚的事象および情報入力を有さない視覚的事象と命名することは、最終的に、正確にこれらが、およびこれらの２つのタイプの視覚的事象だけが区別されることを示唆することを意図したものでもない。それよりもむしろ、より多くの数の異なるタイプの視覚的事象が特定されることが可能である。これらの視覚的事象は、やはり、恐らくはより多くの数の異なる分類に割り当てられるであろうが、しかし上述の意味においては、恐らく情報入力を有するまたは有さない異なった考えられる複数の視覚的事象の１つとして、それぞれ解釈されることのできるものである。

既に述べことから明らかになるように、異なる複数の視覚的事象は、目の動きの異なる速度および／または振幅によって互いに区別されることができる。これに対応して、異なる複数の視覚的事象の特定を、例えば目の動きの速度および／または振幅を検出および評価することによって実現することができる。さらにこの目的のために、例えば、目の加速、またはこの目的のために画像評価を受けることができる複数のシーン画像中の複数の視点の周囲における画像内容に関連した追加の情報、または、頭部追跡器を用いて検出することができる頭の動きに関連した追加の情報を評価することができる。

特に、本方法の好ましい実施形態の場合においては、衝動性眼球運動は情報入力が実現されない視覚的事象として認識され、その一方、凝視および／または追従運動は、情報入力が実現される視覚的事象として認識されることができる。

選択されたタイプの１つの視覚的事象（例えば情報入力を有する視覚的事象であって、例えば凝視または追従運動である）に対して割り当てられた複数の間隔のそれぞれに対して、それぞれの視覚的事象の持続時間に関する情報と一緒に参照画像中の位置が画像化ターゲットまたは"マッピング終点"として格納されるように、本方法を設計することができる。この間隔から、複数の瞬間のうちの正確に１つが選択されるとすると、この間隔から選択された瞬間に対して定義される視点が画像化される位置として、この位置を選択することができる。この間隔から複数の瞬間が選択される場合、この間隔から選択された複数の瞬間に対して定義される複数の視点が画像化される複数の位置のうちの１つとして、あるいは、（必ずしも算術的ではないが）そうした複数の位置の平均値またはメジアンとして、この位置を選択することができる。正に述べている場合においては、例えば、この間隔から選択された最後の瞬間に対して定義される視点が画像化される位置として、あるいは、特に自動画像化の場合においては、それぞれの画像化の質の大きさの関数として、画像化ターゲットを選択することができる。それぞれの視覚的事象の持続時間に関する情報に加えてまた、例えば、始まりと終わり、視覚的事象の連続する数、あるいは、同じ位置が複数回発生する場合における示度といった、視覚的事象に関する情報を有する追加の属性を、位置と一緒に格納することができる。この情報の全てが、その後、広範囲に自動化され得る視線追跡の結果の評価を可能とする。

視線追跡の評価だけでなく、視線追跡自体に対しても本方法が役立つような実施形態は、上述した複数の瞬間における複数のシーン画像がカメラを用いて記録されることを提供し、このようにして取得された注視方向に関する情報の関数として、複数のシーン画像中の複数の視点を決定する視線追跡器によって注視方向が検出される。従ってカメラは、視線追跡器によってその注視方向が検出される被験者の頭によって身に付けられる。視線追跡器は、例えば、被験者の２つの目のうちの対応する１つを観測するための複数の視線カメラを有することができ、画像評価を提供することができる。後者は例えば、それぞれの目の角膜上の反射に対する瞳の位置を決定することができる。２つの視線カメラは、最初に述べたカメラと一緒に、複数のシーン画像を記録するためのメガネ様の担体によって保持することができる。

記載される評価の好ましい実施形態においては、参照画像は、複数のシーン画像中に見ることのできる、固定された視点に対応するシーンの１つの像であり、例えば写真で記録されることができ、あるいは、特徴の概略を有することができ、またあるいは、複数のシーン画像中にて検出されることのできる特有な特徴の抽象的な模写または符号化である。そのような抽象的な模写または符号化は、例えば、考慮されるべきことが意図される各特有な特徴に対して、この特徴の命名または位置の定義によって提供されて良い。

選択された複数の瞬間のそれぞれに対し、この瞬間に割り当てられたシーン画像が、その中に特定された視点と一緒に、それぞれ例えばスクリーン上に出力されることが提供される。これは、参照画像中への視点の画像化を、例えばマウスクリックにより手動で実行することに対して、あるいは、目視検査することに対して役立つことができる。同様に参照画像もこの目的のために出力されることが好ましく、例えば、現在のシーン画像の隣り、または上方、または下方においてスクリーン上に示されてよい。

選択された複数のシーン画像の個々から参照画像へと複数の像点の画像化が手動で実施されることは、除外されるべきではない。しかしながら、複数の位置への複数の視点の画像化およびそれによる上述の位置の決定は、以下によって、少なくとも自動的に実現されることが可能である。
−特徴検出用アルゴリズムを用いて、参照画像中の複数の特有な特徴と、これら複数の特徴の位置とを特定すること。
−同じアルゴリズムまたは対応するアルゴリズムをシーン画像に対して適用することにより、それぞれのシーン画像においてこれら複数の特徴を特定すること、および、これら複数の特徴の位置を決定すること。
−シーン画像中の複数の特徴の位置を、参照画像中の対応する位置、すなわち、参照画像における対応する複数の特徴の位置に画像化する変換を決定すること。
−それぞれのシーン画像中にて特定された視点に対してこの変換を適用すること、によってである。

例えば、所望の画像化特性を有するホモグラフィ変換であるという補助条件によって、変換を決定することができる。また、空間画像化として決定することもできる。これによって、複数の特徴の少なくとも一部分が同じシーンの目的物に位置付けられる。従って、ここで述べる４つの段階のうちの最後の３つは、選択された複数の瞬間のそれぞれに対して、またはこれら複数の瞬間に割り当てられた複数のシーン画像のそれぞれに対して、それぞれ実行される。画像評価の構成内のアルゴリズムによって特定された複数の特有な特徴は、例えば、角あるいは線に関連することができる。特徴検出についての対応するアルゴリズムそれ自体は、例えば、米国特許第６，７１１，２９３号明細書により知られている。

また、複数の瞬間の選択は、手動および自動の両者によって実現されてもよい。よって、例えば、それぞれの間隔の中央に位置付けられるという事実によって定義される１つの瞬間を、それぞれ選択することができる。

既に述べたことから明らかにされるように、提案される本装置は、低い複雑性で視線追跡の結果を評価することに対して有利にも適している。多数の連続した瞬間のそれぞれに対して、この瞬間に検出された注視方向を定義し、結果的にこの瞬間に対して割り当てられたシーン画像中にて特定された視点をそれぞれ定義する情報として、これらの結果は存在するか、読み込まれる、あるいは生成される。異なる複数のシーン画像が、異なる複数の瞬間に対して概して割り当てられるように、複数のシーン画像は時間依存性である。この目的のために、以下の段階を実行するためのプログラミング技術によってこの装置が備えられる。
−異なる複数の視覚的事象を特定するために、注視方向および／または視点および／または目の動きにおける経時変化を評価すること、および、少なくとも２つの異なるタイプの視覚的事象を認識し、また、それぞれのタイプに従って、特定された複数の視覚的事象を分類すること。
−それぞれの視覚的事象の持続時間に対応する１つの間隔が、特定された複数の視覚的事象のそれぞれに割り当てられるように、複数の瞬間を含む期間を通常は離散的な複数の間隔に分割すること。
−選択されたタイプの１つの視覚的事象に対して割り当てられた複数の間隔から選択された複数の瞬間に対して、シーン画像中の視点を定義する情報を出力すること。
−そして、選択された複数の瞬間のそれぞれに対し、この瞬間に対して定義された視点の像として参照画像中の位置を格納すること。また、属性としてこの位置に割り当てられた、視覚的事象の持続時間またはこの瞬間が属する間隔に関する情報を、恐らくは、この視覚的事象に関する情報、例えば、始まりと終わりおよび／または視覚的事象の継続数に関する情報を有する追加の属性と一緒に格納することである。

従って、複数の間隔または複数の視覚的事象のどれにこの瞬間が属するかを示し、複数の瞬間のそれぞれに対応して割り当てられる属性によって期間を複数の間隔に分割するために、本装置が備えられてよい。ここでもまた、参照画像は、異なる複数のシーン画像に対して同一であることができ、あるいは、時間依存性であることができる。

通常は、特に、情報入力を有する視覚的事象と有さない視覚的事象とが（上記にて説明した意味において）互いに区別されるように、上述した異なるタイプは、互いに異なることができる。従って好ましい実施形態において本装置は、情報入力が実現される視覚的事象と、情報入力が実現されない視覚的事象とを、異なるタイプの視覚的事象として認識するために備えられる。これに対応して、選択されたタイプの上述した複数の視覚的事象は、情報入力を有する視覚的事象に好ましくは関連する。

異なる複数の視覚的事象を区別するために、また、特に、情報入力が実現される視覚的事象として、および情報入力が実現されない視覚的事象として特定できるように、目の動きの異なる速度および／または振幅の関数として異なる複数の視覚的事象を特定するために、本装置が備えられてよい。好ましい実施形態の場合においては、特に、情報入力を有さない視覚的事象として衝動性眼球運動を認識するために、および／または、情報入力を有する視覚的事象として凝視および／または追従運動を認識するために、本装置が備えられる。

選択された複数の瞬間に対して定義される複数の視点を、参照画像中にてこれら複数の像点に対応する複数の位置に自動的に画像化し、こうして決定された複数の位置を複数の視点の複数の像として格納するためのプログラミング技術が備えられる本装置の実施形態が可能である。さらに、参照画像中の対応する複数の位置に複数の視点を自動画像化するために、以下の段階を実行するために本装置が備えられる。
−参照画像における複数の特有な特徴、およびこれら複数の特徴の複数の位置を、特徴検出用のアルゴリズムを用いて特定すること。
−同じアルゴリズムまたは対応するアルゴリズムをシーン画像に適用することにより、それぞれのシーン画像におけるこれら複数の特徴を特定すること、および、これら複数の特徴の複数の位置を決定すること。
−シーン画像における複数の特徴の複数の位置を、参照画像における対応する複数の特徴のこうして特定された複数の位置に画像化する変換を決定すること。
−この変換を、それぞれのシーン画像において特定された視点に対して適用すること、である。

この変換は、例えばホモグラフィ変換に関連することができる。所望される態様で参照画像中へと複数の像点が画像化されるように、例えばこれによって、上述した複数の特有な特徴の位置に関して必要とされる画像化の特性にホモグラフィ変換を関連させる補助条件下で、この変換をそれぞれ決定するために本装置が備えられてよい。

選択された複数のシーン画像から複数の視点の画像化を定義するために、本装置が手動入力を必要とすること、あるいは、手動入力によって、自動的に提案された像に対する補正を可能とすることも考えられる。この場合、選択された複数の瞬間のそれぞれに対し、参照画像中の対応する位置を、これらの位置にそれぞれ割り当てられた属性と一緒に格納するために本装置が備えられてよい。属性は、この位置を定義し、ある瞬間に、あるいは、あるこの瞬間に割り当てられたシーン画像にこの位置を関連付ける入力の関数として割り当てられている。例えば、選択された複数の瞬間のそれぞれに対して、この目的のために示される参照画像中のマウスクリックによって、この入力を実現することができる。

また、これら複数の瞬間を選択するための様々な可能性も考えられる。従って、選択された複数の瞬間をそのように（例えば、この目的のために複数の間隔が視覚的に表される時系列をそれぞれマウスクリックすることにより）定義する入力のために、あるいは、複数の間隔の関数としてこれら複数の瞬間を定義する仕様を適用することによって、これら複数の瞬間を自動選択するために、本装置が備えられてよい。この仕様は、例えば、複数の間隔のそれぞれ中央に位置付けられる瞬間が選択されるように定義することができる。

さらに、情報入力を有する１つの視覚的事象に対して割り当てられた同じ間隔から複数の瞬間が選択される場合、この間隔から選択された複数の瞬間に割り当てられる、複数のシーン画像からの複数の視点が画像化される複数の位置のうちの１つを、または複数の位置の平均を、この間隔に割り当てられた画像ターゲットとして格納するために本装置が備えられてよい。平均という用語は、ここでは、算術的な平均値のみを指定できるという意図ではなく、例えばメジアンも指定するよう意図されている。

本装置はさらに、注視方向を検出するための視線追跡器と、複数のシーン画像を記録するためのカメラを備えることができる。これは、この場合、視線追跡およびこの視線追跡の結果の評価用の装置に関連する。そして視線追跡器は、被験者の頭に固定するための取り付け具が備えられることが好ましい。これは、可能な限り現実的に被験者の視覚的な傾向についての情報を取得することができるように、被験者の自由な動きを可能とするためである。複数のシーン画像を記録するためのカメラは、視線追跡器の典型的な構成要素であり、同じ取り付け具によって支えることができる。これにより視線追跡器の校正が容易になる。

最後に、本装置はまた参照画像を記録するためのカメラを有することができる。

最初に記載した方法は、特にここに記載されるタイプの装置を用いて実施することができる。逆に、ここで述べられた必須のまたは任意の特徴に加えて、最初に記載された方法の任意の記載される実施例または設計を実現するために、記載される装置が備えられてよい。

図１から図４を参照して、本発明の実施例をこれ以降に説明する。図面は次を示す。
視線追跡のため、および、この視線追跡の結果を評価するための装置の模式図である。 この装置を用いて記録されたシーン画像であり、隣接した右側は、同様にこの装置を用いて記録された参照画像である。シーン画像中にて特定された視点が、参照画像中の対応する位置上にどのように画像化されるかが矢印によって示されている。 ある観測期間にわたって本装置を用いて検出された、目の動きの速度の時間経過を示す概略図である。 この観測期間が複数の間隔に分割されていることが表される時系列である。複数の間隔は、本装置を用いて特定された異なる複数の視覚的事象に対応する。

従って図１に示される装置は、視線追跡用の視線追跡器１を備え、さらにこの視線追跡器１を用いて取得された視線追跡の結果を、複雑性の低い、特に好ましい態様で評価するために備えられる機構に関連する。

視線追跡器１は、メガネ様のフレーム３によって保持され、ここには示されていないがフレーム３を着用した被験者の２つの目に向けられた２つの視線カメラ２を有する。さらに視線追跡器１は、同じフレーム３によって保持されたシーン画像記録用のカメラ４を有する。従ってこのカメラは、被験者の頭と共に動くように、且つ、このカメラ４の視野が被験者の視野にそれぞれおおよそ対応するように配置されている。

さらに視線追跡器は、画像評価方法を用いて視線カメラ２の出力を分析し、その結果として、狭い間隔で連続する多数の瞬間における被験者の現在の注視方向をそれぞれ決定する演算部５を備える。この目的のために、例えば、目の角膜上の定義された反射に対する、目の瞳の相対的位置を決定するために、演算部５が備えられてよい。反射は、対応して目標とされた目の照明によって生成することができる。上述した複数の瞬間のそれぞれにおいて、あるこの瞬間に割り当てられたシーン画像をカメラ４がそれぞれ記録する。従ってこれらの複数のシーン画像は、カメラ４によって記録されたフィルムの連続した複数のフレームを形成する。決定された注視方向の関数として、演算部５を有する視線追跡器１が、ここで、あるこの瞬間に割り当てられたシーン画像における、複数の瞬間のそれぞれに対する注視点を特定する。視点はまた"注視点"あるいは"焦点"とも呼ばれ、ある所与の瞬間に被験者が見るシーン画像中の点をそれぞれ指定するものである。

視線追跡器１に加えて、本装置はまた追加のカメラ６を有し、これによって参照画像が記録される。ここで参照画像は、定義された視点から記録された、被験者が見ることのできるシーンに対応し、複数のシーン画像によって再生されるシーンの画像に関連する。この場合、このシーンは、例えばスーパーマーケットにある商品棚に関連することのできる棚７を含み、そこには、例えば様々な商品である複数の物体８が置かれている。カメラ６がビデオカメラによって提供され、参照画像が時間依存性であるような実施例も考えられる。

最後に、本装置は、視線追跡器１を用いて取得された結果を評価するための評価部９を有する。これらの結果は、あるこの瞬間に割り当てられたシーン画像において特定された、この瞬間に検出された注視方向および視点を、上述した複数の瞬間のそれぞれに対してそれぞれ定義する、上記の手法で取得された情報に関連する。

図２の左側には、カメラ４を用いて記録された複数のシーン画像１０の１つが例として示され、一方、右隣りには、カメラ６を用いて記録された参照画像１１が示されている。写真のようなこの参照画像１１に代わって、変形例としてまた、シーンの模式図、あるいは、複数のシーン画像中にて検出されることのできる複数の特有な特徴（例えば棚７に置かれた複数の物体８）が、そのラベルや位置によって単純にコード化されている抽象的な模写も参照画像としての機能を果たすことができるであろう。シーン画像１０においてはまた、このシーン画像１０において特定された視点１２が×の形で表されている。

視線追跡の結果の体系的な評価のため、被験者が見ていた参照画像１１中の複数の位置がここで決定されるべきである。これら複数の位置は、いつ、どれだけの長さ被験者がそこを見ていたかについての情報と一緒に格納されるべきである。図２においては、この目的のために、視点１２が、この視点１２に対応する位置１３にどのようにして画像化されるかが矢印によって示されている。所望の情報を取得するために複数のシーン画像のそれぞれに対してこうした画像化を実行する必要が無いように、ここでは、この後記載される手法でプロセスが行われる。

プログラミング技術によって対応して備えられる評価部９は、注視方向および視点に関する連続した複数の瞬間に対して存在する情報を比較することにより、注視方向および／または視点の経時変化を検出する。図３においては、観測期間内における、速度ｖでの被験者の目の動きのこのようにして決定された時間経過が示されている。この観測期間はｔ_０からｔ_１まで延びる。それぞれ決定された速度ｖを閾値ｖ_ｔｈと比較することにより、異なる複数の視覚的事象が特定される。実際には、目が非常に迅速に動くのでｖ＞ｖ_ｔｈが当てはまる衝動性眼球運動１４、目が実質的にもっとゆっくりと動くのでｖ＜ｖ_ｔｈが当てはまる追従運動１５、および、目が静止した凝視１６が特定される。こうして特定された複数の視覚的事象は、それらのタイプに従って、ここに示される例においては、すなわちそれぞれ衝動性眼球運動１４、追従運動１５、または凝視１６として分類される。従って衝動性眼球運動１４は情報入力が実現されない視覚的事象のタイプとして認識される。一方、追従運動１５および凝視１６は、情報入力が実現される２つのタイプの視覚的事象として認識される。しかしながら、上述の方法にとって、追従運動１５と凝視１６との間を区別することが絶対に必要というわけではない。これら２つのタイプの視覚的事象はまた、分類において等しく扱うことが可能であり、情報入力を有する視覚的事象のカテゴリの事象として単に分類される。

前の段落は、例として、異なる複数の視覚的事象を特定するための比較的単純な方法のみを記載している。タイプの異なる複数の視覚的事象を認識するために、特に情報入力を有する視覚的事象と情報入力を有さない視覚的事象とを区別するために、さらに付加的な方策、例えば、頭部追跡器またはＩＭＵによって同時に検出される頭の動きの評価、および／または、シーンカメラデータの評価による複数の視点１２における画像内容の分析をさらに提供することができる。上記した目の動きの速度ｖの評価に代わって、またはこれに加えて、また、注視方向および／または複数の視点１２を異なる連続した複数の瞬間で比較することにより、目の動きの振幅を調べることができ、それぞれの視覚的事象が特定され、検出された振幅の関数として分類されることができる。従って、振幅と呼ばれる、特定の期間内での目の動きの間に観測された最大視角差がある。よって、例えば、大きな速度にもかかわらず情報入力が考慮されるべき微小衝動性眼球運動は、情報入力を有さない視覚的事象として扱うことのできる実際の衝動性眼球運動から区別されることができる。また、これに加えて、あるいはその代わりに、複数の視覚的事象を特定するのに役立つ、目の加速の検出も考えられる。

複数の視覚的事象の特定および分類の後、上述の観測期間は、それぞれの視覚的事象の持続時間に対応する１つの間隔が、特定された複数の視覚的事象のそれぞれに割り当てられるように、評価部９によって離散的な複数の間隔に分割される。これは図４に示されており、複数の間隔を持った時系列を示す。凝視１６または追従運動１５に対して割り当てられた複数の間隔は、全て間隔Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４、Ｉ_５、およびＩ_６として図４では指定されている。少なくともこれら複数の間隔Ｉ_１からＩ_６は、それぞれ、上述した複数の瞬間を含んでいる。複数の間隔へと観測期間を分割することは、複数の瞬間のそれぞれに対してそれぞれ割り当てられた複数の間隔または複数の視覚的事象のうち、どれにこの瞬間が属すのかを示す属性によって行われる。

ここで、凝視１６または追従運動１５に対して割り当てられた複数の間隔Ｉ_１からＩ_６のそれぞれに対し、１つの瞬間が選択される。選択された複数の瞬間は、それぞれ矢印によって図４中に示されている。実施例に従うと、これら複数の瞬間の選択は、例えばそれぞれの間隔の中心に位置付けられる瞬間としてそれぞれ選択される複数の瞬間を定義する仕様を適用することによって自動的に、あるいは、使用されるアルゴリズムにとってとにかく最適に、または、この目的のために評価部９のスクリーン１７上に再生された時系列上の所望の瞬間をクリックすることによって手動で実現することができる。従って時系列は、関連する複数の間隔Ｉ_１からＩ_６が見えるような方式で、図４に示されるような態様で再生されることができる。

選択された複数の瞬間のそれぞれに対し、この瞬間に割り当てられたシーン画像１０が、そこに特定された視点１２と一緒にスクリーン１７上にそれぞれ出力され、図２に示される態様でスクリーン１７上のシーン画像１０の隣に、または上方に、あるいは下方に参照画像１１がそれぞれ表されるように、評価部９が備えられる。

ここで、これら選択された複数の瞬間のそれぞれに対し、そしてこれら複数の瞬間に対してのみ、この瞬間に割り当てられたシーン画像１０中に特定された視点１２が、この視点１２に対応する参照画像１１中の位置１３上にそれぞれ画像化される。選択された複数の瞬間のそれぞれに対し、この瞬間に割り当てられた視点１２に対応する参照画像１１中の位置１３が、属性としてこの位置１３に割り当てられた情報と一緒に、視点１２の像としてそれぞれ格納される。この情報は、この瞬間が属する視覚的事象についてまたは間隔に関する。特に、それぞれの視覚的事象または間隔の持続時間を、この情報から推測することができる。さらに、例えば、視覚的事象の始まりと終わりに関するデータ、視覚的事象の継続数、または、同じ位置１３が複数回発生した場合の示度といった、この視覚的事象に関する情報を有する追加の属性も、位置１３と一緒にそれぞれ格納されてよい。

選択された複数のシーン画像１０からの視点１２の画像化を手動で実施することが提供される。これは、例えば入力マーカまたはカーソルが、スクリーン上に再生された参照画像中の対応する位置１３へと導かれた後に、マウスクリックによってそれぞれ行うことができる。従って、選択された複数の瞬間のそれぞれに対して、位置１３を定義し、これを当該瞬間に関連付ける、または当該瞬間に割り当てられたシーン画像１０に関連付ける入力の関数として、参照画像１１中の対応する位置１３を、これら複数の位置１３にそれぞれ割り当てられた属性と一緒に格納するために評価部９が備えられる。従って、例えば、当該瞬間を選択する入力に常にすぐ続く画像化を定義する入力によって、この関連付けを行うことができる。

しかしながら評価部９はまた、これら複数の視点１２に対応する複数の位置１３上に、選択された複数の瞬間に対して定義された複数の視点１２を自動的に画像化し、そのようにして自動的に決定された複数の位置を複数の視点１２の複数の像として格納するためにも備えられてよい。

次いで複数のシーン画像１０の図示および参照画像１１の図示は、自動的に決定された位置１３もまたそこに見えるように図示されている場合、参照画像１１中の視点１２の自動画像化を視覚的にチェックする機能を果たすことができる。

参照画像１１中の対応する複数の位置１３上への複数の視点１２の自動画像化のために、評価部９は、特徴検出用のアルゴリズムを用いて、例えば参照画像１１中の角や端等の複数の特有な特徴を特定し、これら複数の特徴の複数の位置を特定するために、さらに、選択された複数の瞬間のそれぞれに対して、それぞれ以下の段階を実行するために備えられてよい。
−シーン画像１０に対して同じアルゴリズムを適用することにより、それぞれのシーン画像１０中にて、これら複数の特有な特徴を特定する段階、および、これら複数の特徴の複数の位置を決定する段階。
−ホモグラフィ変換であり、参照画像１１におけるそれぞれの特徴のそのようにして特定された複数の位置に、シーン画像１０中の複数の特徴の複数の位置を画像化するための変換を決定する段階。
−それぞれのシーン画像１０において特定された視点１２に対してこの変換を適用する段階、である。

上述の記載とは異なるが、不完全な画像化によって生じる不正確さを最小限にするために、間隔Ｉ_１からＩ_６のそれぞれに対して、あるいは、これらの間隔Ｉ_１からＩ_６のいくつかに対して複数の瞬間を選択することも可能である。どの場合においても、それぞれの間隔が含むものよりも著しく少ない複数の瞬間が、それぞれ選択される。ここで"瞬間"という用語は、もちろん常に、複数の視点に関する情報が存在する複数の瞬間の最終的な数からの複数の瞬間だけを意味する。記載されるタイプのそれぞれの画像化が定義され、それ故に参照画像１１中のそれぞれ１つの位置１３が定義される１つの間隔から、複数の瞬間が選択される場合、これら複数の位置１３の１つ、またはこれら複数の位置１３の平均あるいはメジアンが、この位置１３に割り当てられた間隔の持続時間に関する属性としての情報と一緒に、この間隔に割り当てられた画像化ターゲットとして格納されてよい。

比較的低い複雑性を持つように、従って比較的迅速に決定および格納される情報は、視線追跡の結果のさらなる評価に必要な全てのデータを含み、この目的のために、機械により、あるいはまた手動により、最も多様な方法で統計的に評価されることができる。

Claims (17)

1. 視線追跡の複数の結果を評価する方法であって、前記複数の結果は、連続した複数の瞬間のそれぞれに対し、一の瞬間において検出された注視方向、および、前記一の瞬間に割り当てられたシーン画像において結果的に特定された視点をそれぞれ定義する情報として存在するまたは取得され、複数の前記シーン画像は、異なる前記複数の瞬間に割り当てられた前記複数のシーン画像が異なるように時間依存性であり、前記方法は、
   異なる複数の視覚的事象を特定するために、前記注視方向、前記視点、および、目の動きの少なくとも１つにおける経時変化を評価する段階であって、少なくとも２つの異なるタイプの複数の視覚的事象が認識され、前記特定された複数の視覚的事象がそれらのタイプに従って分類される段階と、
   前記複数の視覚的事象のそれぞれの持続時間に対応する一の間隔が、前記特定された複数の視覚的事象のそれぞれに割り当てられるように、前記複数の瞬間を含む期間を複数の間隔に分割する段階と、
   少なくとも１つの選択されたタイプの視覚的事象の一の視覚的事象に対して割り当てられた前記複数の間隔のそれぞれから、前記複数の瞬間の正確に１つ、または前記複数の瞬間の真部分集合をそれぞれ選択する段階と、
   前記選択された複数の瞬間のそれぞれに対し、前記複数の瞬間のそれぞれに割り当てられた前記シーン画像において特定された前記視点を、参照画像において前記視点に対応する位置に画像化する段階と、
   を備える方法。
2. 評価の間、情報入力が実現される複数の視覚的事象と情報入力が実現されない複数の視覚的事象とは異なるタイプの視覚的事象として認識され、情報入力を有する視覚的事象に割り当てられた前記複数の間隔のそれぞれに対して、前記複数の瞬間の正確に１つの選択、または前記複数の瞬間の部分集合の選択がそれぞれ実現される、請求項１に記載の方法。
3. （ｉ）前記異なる複数の視覚的事象が、目の動きの異なる速度および振幅の少なくとも一方によって互いに区別される、（ｉｉ）衝動性眼球運動が、情報入力が実現されない視覚的事象として認識される、および、（ｉｉｉ）凝視および追従運動の少なくとも一方が、情報入力が実現される視覚的事象として認識される、の少なくとも１つである、請求項１または２に記載の方法。
4. 選択されたタイプの視覚的事象に割り当てられた前記複数の間隔のそれぞれに対し、それぞれの前記視覚的事象の前記持続時間に関する情報と一緒に、前記参照画像における位置が画像化ターゲットとして格納され、
   前記一の間隔から前記複数の瞬間の正確に１つが選択される場合、前記一の間隔から前記選択された瞬間に対して定義される前記視点が画像化される前記位置として、前記位置が選択される、
   または、
   複数の前記瞬間が前記一の間隔から選択される場合、前記一の間隔から選択された前記複数の瞬間に対して定義される複数の前記視点が画像化される複数の前記位置の１つとしてまたは複数の前記位置の平均として、前記位置が選択される、請求項１から請求項３のいずれか１項に記載の方法。
5. 前記複数の瞬間における前記複数のシーン画像はカメラで記録され、前記注視方向は、前記複数のシーン画像における複数の前記視点を、前記注視方向に関する前記取得された情報の関数として決定する視線追跡器によって検出され、前記カメラは、好ましくは、自分の注視方向が前記視線追跡器を用いて検出される被験者の頭に着用される、請求項１から請求項４のいずれか１項に記載の方法。
6. 前記参照画像は、固定された視点に対応する前記複数のシーン画像に見ることのできるシーン中の一の像である、または、前記複数のシーン画像中に検出されることのできる複数の特有な特徴の抽象的な模写または符号化である、請求項１から請求項５のいずれか１項に記載の方法。
7. 前記選択された複数の瞬間のそれぞれに対し、前記参照画像中への前記視点の前記画像化の手動実行用または目視検査用に、前記一の瞬間に割り当てられた前記シーン画像がそれぞれ出力される、請求項１から請求項６のいずれか１項に記載の方法。
8. 特徴検出用アルゴリズムを用いて、前記参照画像において、複数の特有な特徴および前記複数の特有な特徴の複数の位置を特定することと、
   前記シーン画像に対して同じアルゴリズムまたは対応するアルゴリズムを適用することにより、それぞれの前記シーン画像において、前記複数の特有な特徴を特定すること、および、前記複数の特有な特徴の複数の位置を決定することと、
   前記シーン画像中の前記複数の特有な特徴の前記複数の位置を、前記参照画像中の前記対応する複数の位置に画像化する変換を決定することと、
   それぞれの前記シーン画像において特定された前記視点に対して前記変換を適用することと、により、
   前記複数の位置への複数の前記視点の前記画像化が自動的に実現される、請求項１から請求項７のいずれか１項に記載の方法。
9. 視線追跡の複数の結果を評価する装置であって、前記複数の結果は、連続した複数の瞬間のそれぞれに対し、一の瞬間において検出された注視方向、および、前記一の瞬間に割り当てられたシーン画像において結果的に特定された視点をそれぞれ定義する情報として存在する、または読み込むことができる、あるいは生成されることができ、複数の前記シーン画像は、異なる前記複数の瞬間に割り当てられた前記複数のシーン画像が異なるように時間依存性であり、前記装置は、
   異なる複数の視覚的事象を特定するために、前記注視方向、前記視点、および目の動きの少なくとも１つにおける経時変化を評価すること、および、少なくとも２つの異なるタイプの複数の視覚的事象を認識すること、および、前記特定された複数の視覚的事象をそれらのタイプに従って分類することと、
   前記複数の視覚的事象のそれぞれの持続時間に対応する一の間隔が、前記特定された複数の視覚的事象のそれぞれに割り当てられるように、前記複数の瞬間を含む期間を複数の間隔に分割することと、
   選択されたタイプの一の視覚的事象に対して割り当てられた前記複数の間隔から選択された複数の瞬間に対して、前記シーン画像中の前記視点を定義する前記情報を出力することと、
   前記選択された複数の瞬間のそれぞれに対し、前記一の瞬間に対して定義された前記視点の像として参照画像中の位置を格納すること、および、前記位置に割り当てられた情報であって、前記一の瞬間が属する前記一の視覚的事象または間隔の前記持続時間に関する情報を属性として格納することと、
   を実行するために備えられる装置。
10. 前記装置は、情報入力が実現される複数の視覚的事象と、情報入力が実現されない複数の視覚的事象とを、異なるタイプの視覚的事象として認識するために備えられる、請求項９に記載の装置。
11. 前記装置は、前記期間を前記複数の間隔に分割するために、前記一の瞬間が前記複数の間隔または前記複数の視覚的事象のどれに属するかを示す属性を、前記複数の瞬間のそれぞれに対してそれぞれ割り当てるために備えられる、請求項９または請求項１０に記載の装置。
12. 前記装置は、（ｉ）目の動きの異なる速度および振幅の少なくとも一方の関数として前記異なる複数の視覚的事象を特定するため、（ｉｉ）情報入力が実現されない視覚的事象として衝動性眼球運動を認識するため、および、（ｉｉｉ）情報入力が実現される視覚的事象として凝視および追従運動の少なくとも一方を認識するため、の少なくとも１つのために備えられる、請求項９から請求項１１のいずれか１項に記載の装置。
13. 前記装置は、前記選択された複数の瞬間に対して定義された複数の前記視点を、前記参照画像において、複数の前記視点に対応する複数の位置に自動的に画像化するため、および、複数の前記視点の複数の前記像として、決定された前記複数の位置を格納するために備えられる、請求項９から請求項１２のいずれか１項に記載の装置。
14. 前記参照画像における前記対応する複数の位置へと複数の前記視点を自動画像化するために、前記装置は、
    特徴検出用アルゴリズムを用いて、前記参照画像中において、複数の特有な特徴および前記複数の特有な特徴の複数の位置を特定することと、
    前記シーン画像に対して同じアルゴリズムまたは対応するアルゴリズムを適用することにより、それぞれの前記シーン画像において、前記複数の特有な特徴を特定すること、および、前記複数の特有な特徴の複数の位置を決定することと、
    前記シーン画像中の前記複数の特有な特徴の前記複数の位置を、前記参照画像中の前記複数の特有な特徴それぞれの前記特定された複数の位置に画像化する変換を決定することと、
    それぞれの前記シーン画像において特定された前記視点に対して前記変換を適用することと、
    を実行するために備えられる、請求項１３に記載の装置。
15. 前記装置は、前記選択された複数の瞬間のそれぞれに対し、前記参照画像中の前記対応する位置を、複数の前記位置にそれぞれ割り当てられた前記属性と一緒に格納するために備えられ、前記属性は、前記位置を定義し、前記一の瞬間または前記一の瞬間に割り当てられた前記シーン画像に対して前記位置を関連付ける入力の関数として割り当てられている、請求項９から請求項１２のいずれか１項に記載の装置。
16. 前記装置は、前記選択された複数の瞬間自体を定義する入力用に、または、前記複数の間隔の関数として前記複数の瞬間を定義する仕様を適用することによる前記複数の瞬間の自動選択用に備えられる、請求項９から請求項１５のいずれか１項に記載の装置。
17. 前記複数のシーン画像を記録するためのカメラ、および、前記参照画像を記録するためのカメラのうちの少なくとも一方を有し、前記注視方向を検出するための視線追跡器をさらに備える、請求項９から請求項１６のいずれか１項に記載の装置。

Images