JP2019505294A - 触覚インターフェースによって眼球運動を判定する装置及び方法 - Google Patents

Abstract

本発明は、眼球運動を判定する装置（１）に関し、
−タッチディスプレイ（１１）と、
−少なくとも１つの関心点（３０１）を含む画像（３００）を格納するデジタルメモリ（１４）と、
−前記タッチディスプレイ（１１）でユーザの接触点（３２５）の位置を判定し、前記タッチディスプレイ上に現在表示されている画像（３２０）内の対応する位置を特定するステップと、
−格納された前記画像から劣化画像（３２０）を生成するステップであって、前記劣化画像は、
−判定された前記接触点の位置及びその周囲を含むクリアゾーン（３２４）内の、格納された前記画像と実質的に同一であり、
−前記クリアゾーンを超えた周辺劣化パラメータで劣化するものであり、
−生成された前記劣化画像（３２０）を前記タッチディスプレイ（１１）に表示するステップと、
−前記接触点（３２５）の連続した位置を前記タッチディスプレイ（１１）で記録するステップと、
−のステップを繰り返し実行するように構成された処理装置（１３）と、
を備えることを特徴とする。
【選択図】図８

Description

本発明は、眼球運動の追跡に関し、詳細には、眼球運動を正確に記録することを目的とする装置に関する。

人間の目は、比較的長期の視線の固定と交互に行われる、眼球のサッカードと呼ばれる、視線の急速な動きによって視覚空間を探査する。これらの動きは、所定の時間において、中心窩と呼ばれる網膜の中心領域に対応する数度の視角の範囲内でのみ網膜画像が明瞭であるため、必要である。約１２０°の角度の、大きく、色付いた、詳細な視野を有する主観的感覚は、実際、視覚又は眼球探査シーケンスによって得られた連続視（successive views）を統合する皮質で行われる構築プロセスから生じる。

視覚探査は、人間の目によって継続的に実行される自然で拘束のないタスクである。最適化された視覚探査は、知覚、運動及び認知の能力を非常に多く必要とする。従って、眼球の挙動の記録、定量化及び分析は、この病理学的結果が特有の視覚探査をもたらす場合、病理を検出するのに特に適した方法である。

一例として：
−アイコンタクトを避けることによって特徴づけられる挙動は、自閉症スペクトラムの障害の特徴であり、
−シーンの半分に焦点を当てた視覚探査は、半側空間無視（unilateral spatial neglect）を示す可能性がある。

従って、臨床的観点から、眼球運動計測（oculometry）は神経精神病の病状を診断及び監視する大きな可能性を有する方法である。

医療分野とは別に、視覚及び観察行動は、一般に、将来の行動を予測するための良好な手段であることも認められる。具体的には、物体は、拾い上げられる前に観察されることが多く、同様に、見られていない物体は拾い上げられない。この簡単な例は、眼球運動計測を、特に、ヒューマンマシンインタフェース、製品パッケージング、又は宣伝文書を最適化するための、人間工学で広く用いられているツールにしている。

観察者又は被験者による視覚探査を正確に分析するために用いられる既知のツールの中で、眼球運動計測装置を挙げることができる。眼球運動計測装置は、通常、観察者の眼球運動を記録するために、ディスプレイ、１つ以上の高速カメラ、１つ以上の赤外線照明器、計算プロセッサ及び適切なソフトウェアスイートを含むシステムを用いる。このような眼球運動計測装置は、眼球探査の正確な測定を行うが、非常に高い取得コスト及び使用コストを有する。従って、このような眼球運動計測装置は、一般の人々がアクセスすることはできない。このようなデバイスへのアクセスの制限のために、信頼性を保証するのに十分な数の観察者で研究を行うことは困難である。

さらに、このような眼球運動計測装置は、観察者の動きに制約を与える較正段階を有する制御された環境で使用されなければならない。これらの状態は、特定の観察者の病理又は子供のような集中スパンの短い観察者とは相容れないことがある。観察者は、特に、ディスプレイから制御された距離に配置されることが最も多くなければならず、視能矯正用の顎受けを用いて設定された位置にとどまっていなければならない。

米国特許出願公開第２０１１／２７０１２３号明細書は、医療用途において目検出装置を利用する方法及び装置に関する。目検出装置は、認知的及び視覚的ステップを実行することによってユーザに対して較正される。ユーザのワークフローの視覚的なプロファイルが判定され、ユーザ固有のデータベースが作成される。

米国特許出願公開第２０１１／２０５１６７号明細書は、脳震盪の発生を示す、アスリートの脳機能の低下を検出するための方法及び装置を開示している。画面上に移動アイコンが表示される。アスリートは、特に視覚的にアイコンを追いかけなければならない。アスリートのパフォーマンスは、テスト結果の履歴と比較される。

米国特許第５６６８６２２号明細書には、ビデオスクリーン上の目の固定点の位置を測定するための装置が記載されている。この装置は、照明システム及びビデオカメラを備えた、目の近くに配置された可動支持体を備える。

米国特許出願公開第２０１１／２７０１２３号明細書 米国特許出願公開第２０１１／２０５１６７号明細書 米国特許第５６６８６２２号明細書

本発明は、これらの欠点の１つ以上を解決することを目的とする。従って、本発明は、添付の特許請求の範囲に定義されるような眼球運動を判定する装置に関する。また、本発明は、添付の特許請求の範囲に定義されるような方法に関する。

当業者であれば、従属請求項の特徴の各々は独立請求項の特徴と独立して組み合わせることができるが、中間一般化（Intermediate Generalization）を形成するものではないことを理解するであろう。

本発明の他の特徴及び利点は、完全に限定されない表示によって、添付された図面を参照して、以下に与えられる説明からより明確になるであろう。

人間の目の概略断面図である。 中心窩に対する角度の関数としての相対視力のグラフである。 画像と、画像の関心中心に依存する眼球運動の一例を示す。 画像と、画像の関心中心に依存する眼球運動の一例を示す。 画像と、画像の関心中心に依存する眼球運動の一例を示す。 画像と、画像の関心中心に依存する眼球運動の一例を示す。 関心の中心が注目されているときの図３の画像の瞬時の知覚の一例を示す。 本発明の一実施例にかかる眼球運動を判定するための装置の概略図である。 眼球運動を判定するための装置に格納された画像の一例の図である。 図９の格納された画像から生成された完全にぼやけた画像の図である。 眼球運動を判定するための装置で、ユーザの接触点に応じて表示される画像の一例の図である。 英数字情報を含む画像から生成された劣化画像の一例である。 装置によって最適な眼球探査を保証するパラメータを示すグラフである。

図１は、人間の目９の概略断面図である。光情報は、角膜９４を介して目に侵入し、光受容体を含む網膜９１に到達する前に、房水９５、水晶体９３及び硝子体９６を通過する。盲点９８は、視神経９７のレベルで定義される。

人間の視覚は、両眼視において視角約１２０°の広い領域にわたって広がっている。しかし、人間は、中心窩領域と呼ばれる、視野のわずかな部分でしか細部と色を完全に認識しない。中心窩領域（突起９２によって示される網膜９１のゾーン）は、１〜２°の間の円錐半角を有する領域を占める。中心窩領域を越えて、人間の網膜を覆う光受容体の密度は、まず約５°の円錐半角まで伸びる傍中心窩領域、そして、５°より大きい円錐半角の周辺領域で、大きく減少する。

人間の目の光受容体細胞の密度のグラフの一例が図２に示されている。相対視力はｙ軸上に示され、中心窩領域に対する角度はｘ軸上に示される。人間の視覚は、観察されたシーンがぼやけているかのように、中心窩領域を超えて比較的平均的な細部を識別する能力を有する。

それにもかかわらず、人間の環境に対する知覚は色づいており、非常に詳細である。具体的には、周囲の空間を捉えるために、目は連続的に移動して複数の画像を捕らえる。これらの様々な画像は、脳によって組み立てられる。人間が意識している全体的なイメージは、実際、眼球運動システム（oculomotor system）による環境の継続的な探査の統合の結果である。従って、眼球運動を記録することによって、可能性のある認知障害に関する多くの情報が得られる。

特に、網膜における光受容体の密度の急速な低下にもかかわらず、人間の眼球運動システムは、眼球運動探査行動を誘導するために、周辺領域から多くの情報を抽出することができる。

図３は、複数の関心点を含む例示的な画像８を示す。主な関心点は、ここでは大人のサルの顔８１と子どものサルの顔８２である。図４〜６は、これらの関心点に依存する眼球運動の例を示す。

図４において、画像８は被験者に提示される。被験者の注意及び視線は、大人のサルの顔８１によって捕えられる。被験者の視覚は、顔８１を含み、中心窩領域に対応する領域８３において明確で詳細である。領域８３は、視覚的分解能が明らかに低い傍中心窩領域８４によって囲まれている。傍中心窩領域８４の外側の周辺視野は、さらに低い分解能を有する。図７は、中心窩領域８３が顔８１の中心にあるときの、被験者による図３の画像８の知覚８９を示す。中心窩領域８３がはっきりとしており、傍中心窩領域８４がわずかにぼやけていると知覚され、周辺領域はよりぼやけていると知覚される。

図５では、中心窩領域８３の高解像度構造と、その周辺視野の低解像度情報に基づいて、被験者は、こどものサルの顔８２が画像８中の別の関心点であると判定することができる。

図６に示すように、この他の関心点の詳細な視覚を得るために、サッカードと呼ばれる急速な眼球運動が、中心窩領域８３を顔８２に移動させる。

本発明は、例えば図３に対応する格納された画像に基づいて、例えば図７に対応する劣化画像をタッチスクリーン上に表示することを目的とする。劣化画像は、中心窩領域と周辺領域の間の視力の低下を再現することを目的とする。

本発明を実施するための眼球運動を判定する装置１の一例が図８に示されている。装置１は、例えば、携帯電話又はタッチタブレットの形態で実施される。装置１は、タッチディスプレイ１１を備える。装置１は、１つ以上の画像を格納するデジタルメモリ１４を含む。格納された各画像は、１つ以上の関心点を含む。画像は、遠隔サーバによって配信され、デジタルメモリ１４に一時的にのみ格納されてもよい。さらに、装置１は、例えばソフトウェアアプリケーションによって制御されるプロセッサの形態で実施される処理装置１３を備える。処理装置１３は、デジタルメモリ１４に格納された画像を読み取ることができる。さらに、装置１は、タッチディスプレイ１１の表示を制御し、タッチディスプレイ１１との接触点の座標を収集する通信インターフェース１２を備える。通信インターフェースは処理装置１３に接続されている。従って、一般的で慣習的なハードウェア構造を有する装置１を使用することができ、低価格の装置で本発明を実施することができる。

図９は、装置のデジタルメモリ１４に格納された画像３００の簡略化された例を示す。画像３００は、関心点３０１を含む。例えば、関心点３０１は、画像３００の背景３０２に対して、小さな面積及び色又は光のコントラストを有する。図示の例では、関心点３０１は湾曲した線の内側で、点付きの背景３０２よりも暗く、より小さい領域である。画像３００はここでは単なる例示として提供され、１以上の関心点を含む他の画像を、当業者にそれ自体公知の方法で、使用することもできる。

図１０は、格納された画像３００から生成された全体的に劣化した画像３１０を示す。全体的に劣化するとは、画像３１０の領域の１００%が劣化していることを意味する。ここで、劣化画像３１０は、画像３００の領域全体をぼかすことによって生成される特定のケースである。従って、全体的な劣化画像３１０は、画像３００の関心点３０１のぼかしに対応するぼかしゾーン３１１と、背景３０２のぼかしに対応するぼかしゾーン３１２を含む。

全体的に劣化した画像３１０は、タッチ探査の測定によって視覚探査を判定するために、タッチディスプレイ１１に表示される第１画像であってもよい。従って、この画像３１０は、接触探査を開始するように機能することができ、被験者は、関心点３０１に対応するぼかしゾーン３１１を識別することができる。従って、被験者の第１接触点は、恐らくぼかしゾーン３１１に位置することになる。

図１１は、格納された画像３００から生成された部分的に劣化した画像３２０を示す。部分的に劣化した画像３２０は、画像３２０が格納された画像３００と実質的に同一であるクリアゾーン３２４を含み、特に、ゾーン３２６は、クリアゾーン３２４内に存在する関心点３０１の部分に対応する。現在表示されている画像に対する最後の接触点３２５の位置が判定される。クリアゾーン３２４は、最後に判定された接触点３２５及びその周囲の位置を含むように配置される。人間工学的理由から、クリアゾーン３２４はここでは接触点３２５の上に位置しているため、クリアゾーン３２４は被験者の指によって覆い隠されない。以下、被験者の指で定義される接触点３２５について説明するが、スタイラス又は任意の他のポインティングデバイスとの接触点を想定することも可能である。

部分的に劣化した画像３２０は、クリアゾーン３２４の周辺の劣化ゾーン３２３を含む。劣化ゾーン３２１は、劣化ゾーン３２３に存在する関心点３０１のぼかしゾーン３１１に対応する。ゾーン３２４の劣化は、
−関心点３０１の他のゾーンに関する情報及び周辺視野に対応する情報を表示させ、この表示に含まれる情報を発見したいという欲求を喚起して探査的行動を促し、また、
−被験者に、この情報を発見する目的で劣化ゾーン３２３のタッチ探査を実行することを義務付け、タッチ運動が確かに眼球探査に対応するようにする。周辺画像が明瞭である場合、ユーザは、指を動かすことなく、表示された画像の視覚探査を実行することができる。

ゾーン３２３は、例えば、そのマクロ構造を維持しながら、画像の微細構造を知覚できないようにすることを目的とする。具体的には、表示された画像のマクロ構造は、周辺視野で検出可能であり、この画像の視覚探査を促す。

実際には、装置１は以下の方法を実施することができる。
−タッチディスプレイ１１上に画像３１０を表示して、眼球運動の判定を開始する。
−タッチディスプレイ１１との接触点３２５が判定されると、画像３１０に対する対応する位置を特定する。この第１接触の判定は、方法の持続時間を制限するために任意にカウントダウンを引き起こす。
−格納された画像３００から第１劣化画像３２０、接触点３２５の判定された位置及びその周囲を含むクリアゾーン３２４、周辺劣化パラメータでの画像３００の劣化に対応する劣化ゾーン３２３を生成する。
−以下の連続ステップを繰り返す：
−タッチディスプレイ１１で最後の接触点３２５の位置を判定し、現在表示されている劣化画像内の対応する位置を特定する。
−最後の接触点３２５の位置をタッチディスプレイ１１に記録する。
−格納された画像３００から新たな劣化画像３２０を生成する。新たな劣化画像は、最後の接触点３２５の位置及びその周辺、周辺劣化パラメータでの画像３００の劣化に対応する劣化ゾーン３２３を含む、クリアゾーン３２４内の格納された画像３００と実質的に同一である。
−タッチディスプレイ１１に新たな劣化画像３２０を表示する。
−テストを終了するための条件が満たされているかどうか（例えば、タッチ探査持続時間が予め設定された閾値に達したかどうか、又は、タッチ探査距離が予め設定された閾値に達したかどうか）を検証する。

格納された画像３００と劣化画像３２０との間の劣化は、２００４年４月４日、「IEEE transactions on image processing」、Ｖｏｌ．１３、Ｎｏ．４において、Mrs. Zhou Wangらによって発行された「Image Quality Assessment: From Error Visibility to Structural Similarity」と題する刊行物に記載された方法を用いて、ＳＳＩＭ指標により判定することができる。

画像３２０のクリアゾーン３２４は、格納された画像３００の同じゾーンと実質的に同一である。これらの２つのゾーン間で計算された平均ＳＳＩＭ指標が少なくとも０．９に等しい場合、劣化画像３２０のクリアゾーン３２４は、例えば、格納された画像３００の対応するゾーンと実質的に同一であるとみなすことができる。

さらに、視覚探査を促進するために、ぼかしゾーン３１１と関心点３０１との間（又はゾーン３２３の関心点ゾーン３２１と、画像３００の関心点３０１の対応するゾーンとの間）で計算された平均ＳＳＩＭ指標が、有利に０．４〜０．８、好ましくは０．４〜０．７、例えば０．４５〜０．６５に含まれる場合、ゾーン３２３は、周辺視野に対応する最適な劣化パラメータを使用していると見なすことができる。このような劣化は、特に、周辺領域が実際に視力の対応する低下を表すように、周辺領域が視覚的及び触覚的探査を誘発するのに十分な情報を含み、過度の情報ではないことを保証する。

平均ＳＳＩＭ指標が低すぎるとゾーン３２３から過剰な情報が取り除かれ、最適な探査が行われる。平均ＳＳＩＭ指標が高すぎると、被験者が眼球探査を忠実に再現する探査を指で確実に行うため、ゾーン３２３から十分な情報が除去されない。

関心点３０１と劣化ゾーン３１１との間の平均ＳＳＩＭ指標は、以下のＳＳＩＭｍ指標と呼ばれる。ＳＳＩＭｍ指標は、例えば、関心点３０１のセットについて、以下のように計算される。
−顕著なゾーンからなる関心領域３０１のセットが画像３００において選択される。
例えば、写真の場合、カメラが焦点を当てた領域の問題である。ぼやけた領域及び／又は均一な領域は、一般に、視覚探査を行う被験者にとってほとんど関心がない。画像３１０のぼかしゾーン３１１は、これらの関心領域３０１に対応する。
−関心領域３０１及びぼかしゾーン３１１は、有限数の輝度レベル、例えば２５６輝度レベルに変換される。
−ＳＳＩＭ指標は、１１×１１ピクセルサイズ及び１．５ピクセル標準偏差の対称で円形のガウス重み付けウィンドウを用いて、パラメータＫ１＝０．０１及びＫ２＝０．０３で局所的に計算される。
−ＳＳＩＭ指標の得られたマップＩｓｓｉｍは、関心領域３０１及びぼかしゾーン３１１の寸法に補間される。このようにして、１つのＳＳＩＭ指標値がピクセルごとに得られる。そして、
−関心領域において、ＳＳＩＭ指標値の平均値ＳＳＩＭｍが計算される。

有利には、クリアゾーン３２４の面積は、被験者の指の動きが眼球運動を忠実に再現するのに十分に小さい。Ｓ１がクリアゾーン３２４の面積を示し、Ｓ２がタッチディスプレイ１１に表示される劣化画像３２０の面積を示す場合、比Ｓ１／Ｓ２は、視覚探査が移動される指の接触点を要求できるように、好ましくは最大で０．５に等しく、又はさらに最大で０．１５に等しい。好ましくは、Ｓ１は最大で６０ｃｍ^２に等しく、好ましくは最大で２５ｃｍ^２に等しい。これらの寸法を越えると、クリアゾーン３２４は、おそらく中心窩視覚に対して面積が大きすぎると考えられる。

比Ｓ１／Ｓ２は、クリアゾーン３２４が被験者によって十分に認識可能であり、被験者にとって視覚適応が過度に厳しくならないように、好ましくは少なくとも０．０１に等しいか、又はさらに少なくとも０．０２に等しい。子供の場合、又はスタイラスを用いてテキストを分析する場合、比Ｓ１／Ｓ２はより低くてもよい。クリアゾーン３２４のそのような寸法は、比較的低い解像度を有する小さなサイズのタッチディスプレイ１１にも適している。好ましくは、Ｓ１は少なくとも２ｃｍ^２に等しく、好ましくは少なくとも３ｃｍ^２に等しい。クリアゾーン３２４は、好ましくは、接触点３２５の上に少なくとも８ｍｍ、好ましくは少なくとも１２ｍｍの直径の円を含む。

図１３は、装置により最適な眼球探査を保証するパラメータを概略的に示すグラフである。グラフは、ｘ軸上の比Ｓ１／Ｓ２と、ｙ軸上のパラメータＳＳＩＭｍ（関心点３０１とぼかしゾーン３１１との間）を示す。参照５５に対応するゾーンは、指の動きと眼球運動との間の良好な忠実度を有する最適な視覚探査を可能にする。ゾーン５０は、クリアゾーン３２４の面積が最大値を超えないという要件に対応し、視覚探査を忠実に再現するタッチ探査を誘導する。ゾーン５１は、視覚探査に忠実に対応するタッチ探査には大きすぎるクリアゾーン３２４に対応する。ゾーン５２は、視覚探査に忠実なタッチ探査に至るには不十分なゾーン３２３の劣化に対応する。ゾーン５３は、主要構造を維持しながら、関心点３０１の微細構造を除去するのに適した劣化に対応する。このような劣化は、タッチ探査を求めるのに適していることが分かる。ゾーン５４は、例えば、ゾーン３２１におけるマクロ構造の損失に対応する、ゾーン３２３における画像の過度の劣化に対応する。このような過度の劣化は、視覚探査とタッチ探査の両方に悪影響を与える。

非常に幅広い種類の画像劣化方法を使用することができる。特に、ガウシアンぼかしを適用すること、平均化フィルタを適用すること、サブサンプリングを適用すること、又は非常に高い圧縮度を有するＪＰＥＧ符号化によって、格納された画像３００を劣化させ、劣化ゾーン３２３を生成することを想定することが可能である。

図１２は、格納された画像の関心点が英数字である部分的に劣化した画像４００を概略的に示す。画像４００は、被験者とタッチディスプレイとの接触点４０５を含むクリアゾーン４０４を含む。明確な英数字がゾーン４０４内に見られる場合がある。クリアゾーン４０４の外側には、劣化した英数字４０６を含む劣化ゾーン４０３がある。文字４０６はここでは解読可能であるが、実際に適用される劣化は、探査を誘発するために、それらを特定可能であるが判読不能にするように有利に実行される。クリアゾーン４０４の寸法は、英数字の寸法に合わせて調整することができ、クリアゾーンは、例えば、合計で１〜２０文字の英数字を含むことができる。クリアゾーン４０４のサイズは、例えば、被験者を促進させ、テキストを読むことを誘発するように、パラメータ化可能であってもよい。

眼球運動計測によって測定された眼球探査と、本発明に係る方法によって測定されたタッチ探査との間の優れた相関を確認するための試験が行われる。これを行うために、本発明に係る眼球運動を判定するための方法を用いたタッチ探査を、基準の眼球運動計測装置で行われる眼球探査と比較した。

眼球探査を眼球運動により測定した基準眼球探査実験のパラメータは、以下の通りである。この基準眼球探査実験は、商標名Clearviewで販売されているデータ前処理ソフトウェアパッケージに関連した商品名ＴＯＢＩＩシリーズ５０で販売されているシステムを用いて行った。５人の健康な被験者に対して試験を行った。

複数のテスト画像の提示のプロトコルは、以下の手順に従った。
−１− スクリーン上へ固定十字を表示し、時間経過後、被験者はボタンを用いて実験を開始する。
−２− スクリーン上へ１秒間、固定十字を事前表示する。
−３− ６秒間、非ぼかしテスト画像を表示し、自由探査する。
−４− 手順１に戻る。

合計６６枚の画像が、１２８０×１０２４画素解像度のスクリーン上で、６０ｃｍの目とスクリーンとの間の距離（即ち、約４０画素／視角）で、各被験者に提示された。各画像の解像度は、１２８０×１０２４及び１３６６×７６８解像度のスクリーン上で、変更せずに表示するために最適化されている。

刺激又は関心点は、人間の社会的シーン（３２画像）を表す２つのシリーズの画像又は様々な種のサルの社会的シーン（３４画像）を含むように選択された。

人間の社会的シーンはいくつかの理由から選ばれている。
−社会的なシーンをよく理解するには、予測可能で簡単に定量化できる特定の眼球探査行動が必要である。
−社会的シーンの最適な眼球探査には、完全な認知能力が必要である。
−社会的シーンの不十分な眼球探査は、潜在的に障害のある認知障害の兆候である可能性がある。
−多くの精神医学的及び神経学的病理（広汎性発達障害、自閉症、統合失調症、認知症など）には、確立された社会的シーンを理解することの困難が存在する。

眼球運動は、前処理ソフトウェアパッケージを用いて、サッカード／固定モデル（saccade／fixation model）でモデル化された。１００ｍｓ以上の持続時間の固定のみが分析に残った。各被験者及び各画像について、固定時間で重み付けした５００ピクセル分散のガウスカーネル（σ≒２２．４ピクセル≒０．５°の視角）を用いたカーネル密度推定（Parzen-Rosenblatt法とも呼ばれる）によりヒートマップを推定した。最後に、ヒートマップを、正規化された個々のヒートマップの平均として各刺激について計算した。

得られたヒートマップは、実際には社会的シーンの眼球探査の特徴であった。社会的シーンの様々な主役は、健全な被験者によって正しく検出された。通常、適切な場合、被験者は目の領域に注目する傾向がある。

タッチ探査による眼球運動の判定は、以下のように実施された。各画像は１３６６×７６８ピクセルの解像度のタッチスクリーン上に表示された。格納された各画像について、中心窩視覚、傍中心視覚及び周辺視野の間の空間分解能の低下をシミュレートするために、劣化画像が生成された。この空間分解能の低下のシミュレーションは、中心窩視覚をシミュレートするために、接触点及びその周囲のクリアゾーンを維持しながら実施された。クリアゾーンは、被験者の目に対して２°の円錐半角に対応するように、すなわち半径８０ピクセルの円に対応するように寸法決めされた。この例では、２°又は８０ピクセルの標準偏差のガウス窓を適用することによって、クリアひいては中心窩ゾーン及び傍中心窩ゾーンが生成された。周辺視野は、傍中心窩ゾーンの外に標準偏差１°のガウスぼかしを適用することによってシミュレートした。

人間工学的理由から、クリアゾーンは、劣化画像において、判定されたタッチスクリーンとの接触点のわずかに上の位置（２５ピクセル）に位置付けられた。色情報は、劣化画像内に一体的に保存されていた。

タッチ探査は、以下のパラメータで記録した：
−各接触点のx軸座標及びy軸座標、
−この接触点における連続接触の持続時間。

接触点における接触が１サンプリング周期Ｔｒより長い時間にわたって維持されるとき、眼の擬似固定が判定されてもよい。各擬似固定は、その位置及び接触の持続時間とともに記録されてもよい。

接触点が連続的に変化する場合、接触点の連続座標は、サンプリング周期Ｔｒに対応する間隔で記録される。

サンプリング周期Ｔｒの値は、一方では、タッチ運動の良好な記録を達成するために必要とされる時間分解能と、他方では、記録装置のタッチ容量との間の妥協点であり得る。２０〜３０ｍｓの間に含まれるサンプリング周期Ｔｒが適切であることが判明した。例えば、１０〜５０ｍｓのサンプリング期間が想定され得る。低い画像リフレッシュレート及び／又は高い処理能力を有する装置の場合、はるかに低いサンプリング周期値を用いることができる。

被験者のタッチスクリーンとの接触点の測定は、実際に、劣化画像上の指の動きが、非常に良好な相関関係で、視覚探査行動に対応することを特徴付けることを可能にした。

本発明によるタッチ探査は、眼球運動計測によって測定された眼球運動よりも遅い指の動きを明らかにした。各画像のそれぞれの探査時間は、それらを比較可能にするために、２つのタイプの探査に適合させた。タッチ探査は、例えば、眼球運動計測試験で用いられる予め設定された時間よりも長い、プリセットタイム後に中断されてもよい。タッチ探査持続時間は、少なくとも２秒に等しく、例えば、少なくとも５秒であることが有利である。

また、タッチ探査距離閾値を越えた場合にのみ、それを中断することによって、タッチ探査の継続時間を定義することを想定することも可能である。この距離閾値は、例えば、ピクセル数又は円錐半角の観点から表現されてもよい。タッチ探査距離は、６秒の時間の長さの被験者のグループによってカバーされる平均視覚探査距離に基づいて設定されてもよい。実施された試験では、この距離は、例えば、画像あたり２５００ピクセルであり、およそ５００ピクセルの標準偏差であると推定された。

各被験者及び各画像について、各擬似固定（最初のものを除く）について速度指標（speed index）を計算した。この計算は、２つの連続した擬似固定（例えば、指標ｎ−１とｎの間）に含まれる距離を、これら２つの擬似固定の最後の持続時間（この例では指標ｎの持続時間）で割ることによって行った。

各画像について、計算時間を最適化するために、分析から非常に急速な擬似固定を排除することを想定することが可能である。具体的には、非常に急速な擬似固定は、ほとんど情報を提供しない擬似サッカードに対応すると推定され得る。各画像について、例えば、疑似固定の最速２０％を解析から除外することを想定することが可能である。

各被験者及び各画像について、疑似固定時間で重みづけした５００ピクセル分散のガウスカーネル（σ≒２２．４ピクセル≒０．５°の視角）を用いて、カーネル密度推定（Parzen-Rosenblatt法とも呼ばれる）によりヒートマップを推定した。最後に、ヒートマップを、正規化された個々のヒートマップの平均として各刺激について計算した。ヒートマップは、この画像の各被験者の各ヒートマップの平均として各刺激について計算された。

眼球運動計測及びタッチ探査によって得られたヒートマップは非常に類似していることが観察された。特に、２つの方法のヒートマップが、画像の同じ関心点に疑似固定を明確に反映することが観察された。

第１の定量的指標を用いて、２つの方法を用いて得られたヒートマップを定量化した。この第１の指標は、２つの方法を用いて得られたヒートマップ間の相関の単純な測定値であった。人間の社会的シーンの画像では０．３４１〜０．８４９の相関値が観察された。サルの社会的シーンの画像では０．３８５〜０．８９３の相関値が観察された。このような相関値は、眼球探査に関するタッチ探査の忠実度を保証するのに十分高い。一般に、複数の生物を示す画像は、特に障害の識別への応用の目的で、社会的シーンを含めるために、試験に好ましい。

従って、本発明に係るタッチ探査は、特に、タッチ探査が被験者の網膜で実行される処理をシミュレートする生体模倣アプローチを用いるため、眼球探査を忠実に再現する。

相関値のばらつきは、２つの方法の間の探査行動の実際の差異よりも、試験画像の複雑さに関連しているようである。具体的には、画像が複雑になればなるほど、被験者は画像発見の戦略においてランダムな動きをする傾向がより強くなる。

Claims (10)

1. −タッチディスプレイ（１１）と、
   −少なくとも１つの関心点（３０１）を含む画像（３００）を格納するデジタルメモリ（１４）と、
   −前記タッチディスプレイ（１１）でユーザの接触点（３２５）の位置を判定し、前記タッチディスプレイ上に現在表示されている画像（３２０）内の対応する位置を特定するステップと、
   −格納された前記画像から劣化画像（３２０）を生成するステップであって、前記劣化画像は、
   −判定された前記接触点の位置及びその周囲を含むクリアゾーン（３２４）内の、格納された前記画像と実質的に同一であり、
   −前記クリアゾーンを超えた周辺劣化パラメータで劣化するものであり、
   −生成された前記劣化画像（３２０）を前記タッチディスプレイ（１１）に表示するステップと、
   −前記接触点（３２５）の連続した位置を前記タッチディスプレイ（１１）で記録するステップと、
   −のステップを繰り返し実行するように構成された処理装置（１３）と、
   を備えることを特徴とする、
   眼球運動を判定する装置（１）。
2. −タッチディスプレイ（１１）と、少なくとも１つの関心点（３０１）を含む画像（３００）を格納するデジタルメモリ（１４）とを含む装置（１）を準備し、
   −前記タッチディスプレイ（１１）でユーザの接触点（３２５）の位置を判定し、前記タッチディスプレイ上に現在表示されている画像（３２０）内の対応する位置を特定するステップと、
   −格納された画像から劣化画像（３２０）を生成するステップであって、前記劣化画像は、
   −判定された前記接触点（３２５）の位置及びその周囲を含むクリアゾーン（３２４）内の、格納された前記画像と実質的に同一であり、
   −前記クリアゾーンを超えた周辺劣化パラメータで劣化するもの（３２３）であり、
   −生成された前記劣化画像（３２０）を前記タッチディスプレイに表示するステップと、
   −前記接触点の連続した位置を前記タッチディスプレイで記録するステップと、
   −のステップを繰り返す、
   眼球運動を判定する方法。
3. 前記劣化画像（３２０）は、前記クリアゾーン（３２４）を超えて、格納された前記画像（３００）をぼかすことによって生成される、
   請求項２に記載の眼球運動を判定する方法。
4. 格納された前記画像からの前記劣化画像（３２０）の生成は、格納された前記画像（３００）と前記劣化画像（３２０）との間の平均ＳＳＩＭ指標が０．４から０．８の間に含まれるように構成され、前記クリアゾーン（３２４）の面積と生成された前記劣化画像（３２０）の面積との比は、０．０１から０．５の間に含まれる、
   請求項２又は３に記載の眼球運動を判定する方法。
5. 格納された前記画像からの前記劣化画像（３２０）の生成は、格納された前記画像（３００）と前記劣化画像（３２０）との間の平均ＳＳＩＭ指標が０．４から０．７の間に含まれるように構成され、前記クリアゾーン（３２４）の面積と生成された前記劣化画像（３２０）の面積との比は、０．０１から０．１５の間に含まれる、
   請求項４に記載の眼球運動を判定する方法。
6. 前記クリアゾーン（３２４）は、前記接触点（３２５）の上方に少なくとも８ｍｍの直径の円を含む、
   請求項２〜５のいずれか１項に記載の眼球運動を判定する方法。
7. 前記タッチディスプレイ（１１）での前記ユーザの前記接触点（３２５）の位置は、１０から５０ｍｓの間に含まれる期間でサンプリングされる、
   請求項２〜６のいずれか１項に記載の眼球運動を判定する方法。
8. 前記ステップの繰り返しが、少なくとも５秒間の長さの時間にわたって実行される、
   請求項２〜７のいずれか１項に記載の眼球運動を判定する方法。
9. 格納された前記画像（３００）は、それぞれが少なくとも１つの関心点を形成する複数の生物を示す、
   請求項２〜８のいずれか１項に記載の眼球運動を判定する方法。
10. −請求項２〜９のいずれか１項に記載の眼球運動を判定する方法を実行するステップと、
    −前記接触点の記録された連続した位置と基準視覚探査経路とを比較するステップと、
    −前記接触点の記録された連続した位置が、前記基準視覚探査経路から所定の閾値よりも大きくそれるときに、視覚探査異常を判定するステップと、
    を備える、
    視覚探査異常を判定する方法。

Images