JP2003521950A - 視標追跡システム - Google Patents

Abstract

(57)【要約】 【課題】 【解決手段】 物体の可視像を形成するための、顕微鏡又はカメラのような光学装置を提供する。該光学装置は、像面に可視像を形成する対物レンズ、該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ、及び探知された凝視の方向に応じた該光学装置の制御可能な機能の調節手段を含む。該視線センサは、利用者の網膜から反射された光をフォーカシングするセンサレンズ、利用者の網膜の部分に関する電気的像信号を生成するために、該センサレンズに関して前記像面と共役をなす面に位置する像変換器、利用者の網膜の像の情報を記憶するメモリ、及び利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器で生成した網膜の像の信号と、前記記憶された網膜の像の情報とを比較する回路を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

本発明は、利用者の凝視（視線）の方向を追跡（アイ・トラッキング）するた
めの装置及び方法に関する。本発明は、とりわけ物体の可視像（viewable image
）を形成する光学装置、例えば顕微鏡、望遠鏡等で使用する視標（視線）追跡装
置に関する。

【０００２】

【従来の技術及びその問題点】

本出願人は、既に国際特許出願PCT/EP95/04178及び国際公開公報WO96/13743に
おいて視標追跡技術を採用した顕微鏡システムを提案している。この視標追跡技
術により、接眼レンズを介して像を見る利用者の凝視の位置を追跡し、その凝視
情報（凝視に関する情報）は、例えばオートフォーカスシステムを制御するため
に使用される。これは、被写界深度がしばしば限定され及び視野全体のうち小さ
い部分のみが何れの一時点においても焦点がシャープに合っている高倍率の場合
にとりわけ有益である。この先行特許は、凝視情報が、顕微鏡の手を使う必要の
ない（ハンドフリーの）運動或は利用者の通常の視野に重ねられるメニュー方式
コンピュータシステムの操作を含む顕微鏡の他の機能を制御するために利用でき
ることも教示している。

【０００３】 視標追跡に利用できる種々の技術が多数存在する。これらのうち２つの最も一
般的な技術は、縁郭追跡装置（Limbus trackers）及びビデオ視標追跡装置（Vid
eo eye trackers）である。

【０００４】 縁郭追跡は、通常、利用者の眼を、典型的には１つ以上の赤外ＬＥＤで照明し
、かつ眼の白色部分（強膜：sclera）から反射された光を１つ以上の光検出器を
用いて検出することにより行われる。目の白色部分から反射された光の量は濃色
領域（瞳孔及び虹彩）の依存して変化するので、特定の視野において、利用者が
現実に見ている所を決定することができる。しかし、このタイプの視標追跡シス
テムは、虹彩−強膜間の境界の位置に関する情報しか提供しないので、凝視（視
線）の角度を明確に決定することはできない。さらに、縁郭追跡技術は、眼の表
面の水平（方向）位置に関する情報についてはかなり良好な情報を提供するので
あるが、睫毛及び瞼により妨害されるので垂直（方向）位置は正確に決定するこ
とはできない。

【０００５】 ビデオに基づく視標追跡技術も種々のものが多数存在する。それらの内あるも
のは、単に眼を照明しかつ結像システムを用いて瞳孔を見るだけである。像から
瞳孔の中心（の位置）を決定することにより、目が向いている方向に関する情報
を得ることができる。しかし、この技術は、観察者の頭の動きと眼の動きとを区
別することができないという問題がある。

【０００６】 更に高性能なビデオ利用視標追跡システムが他にも提案されたが、これは、角
膜及び水晶体の表面からの光源の反射光（しばしば、ハイライトないしグリント
（glint）と呼ばれる）であるプルキンエ像の位置を検出するものである。この
技術は、頭の動きとは独立しているので、比較的正確であるが、プルキンエ像の
中には極めて弱いものもあり、従ってはっきりと映すことが困難であるという問
題がある。

【０００７】

【発明が解決しようとする課題】

本発明の目的の１つは、物体の可視像を形成する、例えば顕微鏡、カメラ等の
光学装置で利用するための別個の（新規な）、正確な視標追跡技術を提供するこ
とである。

【０００８】

【課題を解決するための手段】

本発明は、第一の視点によれば、新規な視標（視線）追跡システム装置を一般
的に提供し、更に、以下の物体の可視像（viewable image）を形成するための光
学装置を提供する。即ち、物体の可視像を像面に形成する対物レンズ；該可視像
を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ；及び探知さ
れた凝視（注視）の方向に応じた、該光学装置の制御可能な機能の調節手段を含
む形式の視標追跡システム装置において、該視線センサは、（１）利用者の網膜
から反射された光をフォーカシングするセンサレンズ；（２）前記センサレンズ
を介して調べる（探知する）ことができる利用者の網膜の部分の電気的像信号を
生成するために、利用者が前記可視像を見るときに、利用者の眼の網膜に関して
前記像面と共通に共役の面に位置する像変換器；（３）網膜情報を記憶するメモ
リ；（４）利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器
で生成した網膜の像の信号を表わす信号と、前記記憶された網膜情報とを比較す
る比較手段を含むことを特徴とする視標追跡システム装置を提供する。このシス
テムには、前記視線センサで決定される凝視（視線）の方向は、利用者の頭のい
かなる動きとも独立である（頭の動きに左右されない）という長所がある。

【０００９】

【発明の実施の形態】

好ましくは、可視像を見ることを容易にするために、１つ以上の接眼レンズが
設けられる。本装置の好ましい一形態においては、像変換器で生成する網膜の像
の質を改善するために、利用者の眼の網膜を照明する光源が設けられる。好まし
くは、該光源は、複数の発光部を持ち、該発光部は、角膜のグリント（強い反射
光）の効果を防ぐために、該発光部の内選択されたものが何れの一時点において
も照明できるように、（装置の）光軸から外れて位置する。

【００１０】

【実施例】

本発明の実施例を図面を参照して以下に説明する。

【００１１】 図１は、外科用顕微鏡１の模式図である。該顕微鏡１は、対物レンズ３及び接
眼レンズ５を含み、それらは何れも単レンズにより模式的に記載されているが、
実際には、複数のレンズ及び付加的にズームレンズのようなものまで含みうる。
対物レンズ３は、破線９により示される中間像面で検査される物体７の像を生成
する機能を持つ。そしてこの像は、接眼レンズ５、角膜１５及び水晶体（eye le
ns）１７を介して観察者の眼１３の網膜１１でフォーカシング(焦点合わせ)され
る。

【００１２】 図１に示されるように、この（第一）実施例では、顕微鏡１は、顕微鏡１の光
軸に沿って位置する２つのビームスプリッタ２１及び２３も含む。ビームスプリ
ッタ２１は、光源２５から観察者の眼１３の網膜１１に達する、好ましくは非可
視光領域の適切な波長の光を反射する機能を持つ。光源２５から眼１３の角膜１
５に達する光をフォーカシングするために、光源２５とビームスプリッタ２１と
の間にレンズ２７を配置しても良い。網膜で直接行うよりむしろ好ましい、眼１
３の角膜１５でのフォーカシングにより、網膜１１のより広い部分が水晶体１７
の働きに応じて照明される。この照明光の一部は、(網膜で)反射して網膜１１の
表面から逆戻りし、水晶体１７及び角膜１５を通ってビームスプリッタ２１に達
し、そこで該反射光の一部は、反射して光源２５へ逆進し、(該反射光の)残りは
、そこを通過し接眼レンズ５に達する。眼１３は中間像面９にフォーカシングさ
れる(対物レンズ３により形成される物体７の像を見る)ので、水晶体１７及び接
眼レンズ５は、網膜１１の照明された部分の像を中間像面９に形成するように機
能する。そしてこの網膜の像は、ビームスプリッタ２３により反射され、センサ
２９、好ましくはＣＣＤセンサ等上にレンズ３１によりフォーカシングされる。
図１に示されるように、センサ２９により生成する像は、電子処理ユニット（な
いし装置又は回路）３３に入力される。該装置３３は、本実施例では、観察者の
凝視の方向を求め、それに応じて対物レンズ３のオートフォーカシングを制御す
るため、受け取った網膜の像を処理する操作ができる。この実施例では、本シス
テムは、顕微鏡の視野全体に亘って、例えば３０”ピクセル（画素）”×３０”
ピクセル(画素)”の解像度で凝視の方向を同定できる。換言すれば、(この実施
例の)本システムは、観察者が見つめている”ピクセル(画素)”を表す、（０，
０）から（２９，２９）の範囲のｘ、ｙ座標を出力する。

【００１３】 この（第一）実施例において本システムが観察者の凝視の方向を求める方法を
図２〜４を参照して説明する。図２は、本実施例において観察者の凝視の方向を
求めるために使用される視標追跡システムの基本要素を示すブロック線図である
。図示のように、センサ２９は、網膜の像の固有の特徴を強調する（ないし、際
立たせる）ためのセンサ２９により生成される網膜の像を処理する像処理ユニッ
ト４１に接続している。この（第一）実施例では、強調される特徴は血管である
。なぜなら、血管は、標準像処理輪郭(エッジないし縁郭)検出技術を使用するこ
とにより比較的容易に発見しかつ強調することができるからである。使用するこ
とができる適当な処理アルゴリズムの詳細は、例えば、論文 "Image Processing
for Improved eye Tracking Accuracy"（Mulligen著, 1997年, Behaviour Rese
arch methods, Instrumentation and Computersにて刊行）に見出すことができ
、その内容は引用をもってここに繰込まれる。図３ａは、オリジナルの網膜の像
(不図示)に存在する低周波強度変動(ないし、雑音)を除去するフィルタ処理後の
、センサ２９による二次元像出力を示している。図示のように、網膜表面の微細
構造及び細部は、はっきりと認識できる。そしてこの網膜の像は、像処理ユニッ
ト４１で処理されて、対応する白黒線図形を生成する。その線図形は図３ｂに記
載されている。図３ｂに示されるように、この実施例においては、血管の細部の
みが処理ユニット４１による処理後も残存している。

【００１４】 当業者であれば正しく認識できる通り、観察者の凝視(視線)が、眺める物体７
上を動くとき、センサ２９で生成する網膜の像は変化する。それゆえ、観察者に
視野に散在する複数の地点を見つめさせ、観察者がそれらの地点のそれぞれを見
つめるときの網膜のセンサ像、例えばＣＣＤ像を得ることにより、観察者の網膜
１１の”マップ（map）”を求めることができる。この（第一）実施例では、観
察者の網膜１１のこのマッピングは、顕微鏡がオペレーションの較正モードにあ
るとき行われる。そして顕微鏡がオペレーションの標準モードにあるとき、観察
者の凝視の方向を、センサ２９で生成した実際の網膜の像（網膜の実際像）と較
正段階で形成した網膜マップとを比較することにより求めることができる。

【００１５】 図２に示されるように、コントローラ４９が設けられており、これは、顕微鏡
１のオペレーションの上記各モードを制御する機能を持つ。特に、較正の要求(
必要)に応じて、新たな観察者による入力がユーザインターフェース５１、コン
トローラ４９を介してスイッチ４５の位置を調節し、像処理ユニット４１を像モ
ンタージュユニット４３に接続する。この実施例では、較正段階において、顕微
鏡１下で観察される物体としてテストカード(不図示)が用いられ、このカードに
は視野に亘って配列した多数の可視点(ドット)がある。そして新たな観察者は、
そのドットをそれぞれ順々に見つめるように指示される。その指示通りに行うと
、モンタージュユニット４３は、センサ２９で生成した網膜の像(複数)を受け取
り、新たな観察者の網膜表面のマップ４７を形成するためにそれら(センサ２９
で生成した複数の網膜の像)を合わせて”合成(モンタージュ)する”。図３ｃは
、ある観察者についてできた網膜マップ４７の結果を示している。そしてこの網
膜マップは、顕微鏡１のオペレーションの標準モードで使用するために、メモリ
(不図示)に記憶される。

【００１６】 較正段階完了後、コントローラ４９は、スイッチ４５を介して像処理ユニット
４１を像コンパレータ５３に接続することにより、顕微鏡をオペレーションの標
準モードに切り替える。オペレーションのこの標準モードでは、センサ２９は、
観察者の網膜１１の、センサ２９が今まさに探知できる部分(所定位置)の像を生
成する。そしてこの網膜の像は上述の方法で処理ユニット４１で処理され、網膜
表面の微細構造の線図が生成される。そしてこの線図は、像コンパレータ５３へ
伝達され、そこで目下の観察者の(較正された)網膜マップ４７と比較される。こ
の実施例では、この比較は、実際の網膜の像と網膜マップ４７とを二次元で相関
をとることにより行われる。そしてこの比較の結果は、コントローラ４９へ伝達
され、それ(その結果)から観察者の凝視の方向が求められる。そしてこの実施例
では、この情報は、オートフォーカスコントロールユニット５５へ伝達される。
該ユニット５５は、対物レンズ３のオートフォーカシングを制御する機能を持ち
、それにより観察者が今まさに見つめている物体の部分について焦点を合わせる
。

【００１７】 図２に示されるように、コントローラ４９は照明制御ユニット５７にも接続し
ており、該ユニット５７は光源２５を制御する機能を持つ。その(構成を採る)理
由はこれから説明する。図１には、光源２５は顕微鏡１の光軸と実質上同一の軸
上に位置する様子が示されている。その結果、角膜１５で反射する(このことは
角膜のハイライトないしグリントにより認識される)光源２５からの光は、像面
９で形成される網膜の像を不明瞭にするであろう。それゆえ、図４に示すように
、この実施例では、光軸の周りに配列される６つの発光部６１−１〜６１−６を
有する光源が使用される。作動中は、(実際の凝視方向に関する)網膜の像に角膜
のハイライトを生じさせないこれらの発光部のみが、どの任意の時点においても
使用される。ある特定の凝視の方向に対しどの発光部を消灯するかについては、
較正ルーチン中に予め決定することができるし、或いは実際の網膜の像の中にあ
る角膜のハイライト（強反射）の存在をモニタリングすることによりリアルタイ
ムで決定することもできる。この実施例では、観察者の凝視の方向は、一分間に
５０回求められ、後者の(リアルタイムの)アプローチが、どの発光部を消灯すべ
きかを制御するのに使用される。

【００１８】 光源２５は、好ましくは800〜950nmの範囲の波長で発光する機能を持つ。その
理由は、それらの波長においては、眼の媒質の透過率及び網膜の反射率は何れも
大きいからである。これらの波長(の光)は、人間の眼には不可視なものでもあり
、瞳孔の大きさのいかなる縮小又は顕微鏡を通して観察される像の質のいかなる
低下もまず引き起こさないであろう。しかし、当業者であれば正しく認識できる
ように、他の(範囲の)波長の光で動作する光源が使用されることもあるであろう
。この実施例では、光源２５は、850nmの高出力ＬＥＤを含み、これは眼の前部
表面に凡そ0.2mW(のエネルギー)を当てる機能をもつが、この値は、現在の眼の
安全基準（eye safety recommendations）と調和している。

【００１９】 当業者であれば正しく認識できるように、上述の視標追跡技術は、このような
顕微鏡での適用例では良く機能する。なぜなら、観察者の眼は、中間像面９でい
つもフォーカシングされるからである。その結果、網膜から反射されるどんな光
もこの中間像面９にシャープな網膜の像を形成するであろう。それゆえ、センサ
２９をレンズ３１に関し中間像面９と共役をなす面に配置することにより、セン
サ２９上に網膜の像が生ずる。

【００２０】 この視標追跡技術は、次の理由による優位性も持つ。その理由とは、頭の動き
と独立している(頭の動きにその機能が左右されない)こと及び眼の大きさ、形又
は位置の測定(この測定は、凝視(視線)の方向を求めるために眼の表面から反射
される光を使用する他の視標追跡技術では必要とされる)に関わる必要なく観察
者の凝視の位置(方向)を直接測定することである。

【００２１】 他の実施例 修正ないし変更例及び他の実施例の幾つかをこれから図５〜９を参照して説明
する。

【００２２】 上述の実施例では、凝視方向情報は、顕微鏡１のオートフォーカシングを制御
するために使用された。当業者であれば正しく認識できるように、凝視方向情報
は、他の目的にも使用することができる。図５は、凝視(視線)情報が顕微鏡１の
動作を制御するために使用される（第二）実施例で用いられる処理ブロックを示
している。図２で記載されたものと同一の処理ブロックは、同一の参照符号を付
している（以下、他の図においても同様）。図示のように、この（第二）実施例
における唯一の相違は、サーボコントローラ６５の存在であり、該コントローラ
６５は、コントローラ４９からの凝視(視線)情報出力を受け取る機能を持ち、こ
れに応答して、観察する物体上で顕微鏡を移動する幾つかのモータ６７の動作を
制御する機能を持つ。

【００２３】 図６は、本発明の他の（第三）実施例で使用される処理及び電子制御システム
の形態を示している。図６に示されるように、この（第三）実施例では、網膜マ
ップ４７を形成するのに使用される網膜の像のみが像処理ユニット４１で処理さ
れる。それゆえ、顕微鏡のオペレーションの標準モードでは、像コンパレータ５
３は、センサ２９による実際の網膜の像出力と網膜マップ４７とを比較する機能
を持つ。更に、図６に示すように、求められる凝視方向情報は、顕微鏡の位置決
め及び対物レンズ３のフォーカシングを制御するために使用される。図６に記載
された（第三）実施例によれば、凝視方向を決定するためにセンサ２９で生成す
る網膜の像を処理することは必須ではない。しかし、好ましい実施例において網
膜の像の処理を行うのは、像コンパレータ５３で比較される必要があるデータの
量を減らすためである。

【００２４】 図７は、本発明の他の更なる（第四）実施例で使用される処理及び制御ブロッ
クを示している。図示のように、この（第四）実施例では、顕微鏡の通常の使用
(通常モード)中に生じる網膜の像のみが、像コンパレータ５３により網膜マップ
４７と比較される前に像処理ユニット４１で処理される。この（第四）実施例で
は、コントローラにより得られた凝視方向情報は、ディスプレイドライバ７１に
伝達され、該ドライバ７１は、顕微鏡のファインダ内にあるディスプレイ７３上
のメニュの表示を制御する。

【００２５】 上述の各実施例では、顕微鏡の光軸の周囲に実質的に配列された複数の発光部
を持つ光源に設けられた発光部は、その幾つかのみがどの一時点においても使用
される。この配列は、角膜のハイライトの影響を低減するために使用された。こ
の問題を克服するために使用しうる他の技術は、円偏光を生じる光源を使用する
ことである。とりわけ、角膜の表面から反射された円偏光は、反転した極性（位
相）を持つであろう。しかし、網膜からの反射光は散乱して反射され、それゆえ
本来の極性（位相）のかなりの成分を依然として含んでいるであろう。従って、
四分の一波長板及び偏光器を組み合わせて使用することにより、角膜からセンサ
へ逆進する反射光の量を最小にすることが可能になり、網膜からの散乱光を観察
することが可能となる。

【００２６】 角膜のハイライトの問題を解決する他の技術は、角膜でフォーカシングされな
いように照明光線の焦点をぼかす（defocus）ことである。この技術は上手くい
くものの、瞳孔は眼に入射する光を制限するので、結像する網膜の大きさはかな
り小さくなるという結果に至る。

【００２７】 上述の各実施例では、網膜を照明するための光（源）は、接眼レンズ５の後方
（接眼レンズの眼側）に導入された。これに対し図８は、照明光（源）が接眼レ
ンズ５の前方（接眼レンズの物体側）に導入された顕微鏡の形態（第五実施例）
の模式図である。この（第五）実施例では、照明光は接眼レンズ５を通過しなけ
ればならないので、接眼レンズ５は、接眼レンズ５による照明光の直接の反射を
最小にするために反射防止膜で被覆されるのが好ましい。

【００２８】 上述の各実施例では、光源２５は、観察者の眼の網膜を照明するために使用さ
れた。当業者であれば正しく認識できるように、観察される物体からの光は、網
膜を照明するために十分なものであるかもしれず、そのような場合では、光源２
５は必要ではない。

【００２９】 本発明の改良された一実施例では、光源の光は、ＣＣＤセンサから読み出した
周波数で同期を取ったパルスの形で発せられる。これは、利用者の網膜の照射を
最小化するためである。

【００３０】 上述の実施例は全て光学顕微鏡で使用される視標追跡技術に関するものであっ
た。当業者であれば正しく認識できるように、上述の視標追跡技術は、カメラ、
望遠鏡等のような他の多くの光学装置でも使用することができる。図９は、上述
の視標追跡技術を採用したカメラ８１（第六実施例）の模式図である。図示のよ
うに、カメラ８１は、物体を中間像面でフォーカシングするための対物レンズ３
を含んでいる。しかし、カメラでは、拡散ガラススクリーン８３を中間面に配置
することにより、実像は中間像面で生成する。そして拡散ガラススクリーン８３
で生成した実像は、接眼レンズ５及びプリズム８５を介して観察者により観察さ
れる。該プリズム８５は、像の向きを換えて適切な進路へと導く機能を持つ。カ
メラは、物体からの光をフィルム８９でフォーカシングするために上下運動でき
る鏡８７も持っている。視標追跡システムの他の残りの要素は、上述の顕微鏡の
各実施例で使用されたものと同一であるので、ここでは言及しない。しかし、こ
こで注意すべきことは、この（第六）実施例では、センサ２９及びレンズ３１は
、拡散ガラススクリーン８３の正面側（物体からの光が該スクリーンから射出す
る側）に配置することである。なぜなら、網膜の像は、拡散ガラスプレート８３
を通過することができないからである。しかし、これはたいした問題ではない。
というのは、センサ２９は、中間像面と共役をなす面になお配置されているから
である。

【００３１】 上述の各実施例では、網膜表面の血管は、観察者の凝視（視線）の方向を同定
するために利用された。当業者であれば正しく認識できるように、網膜の他の特
徴も利用することができる。例えば、その（血管の）替わりに中心窩を利用する
こともできる。しかし、中心窩を利用するには比較的大きな倍率を必要とするの
で、より容易に認識できる特徴である血管を利用するのが好ましい。

【００３２】 上述の各実施例では、電子処理システムは、観察者の凝視の方向を毎秒５０回
求める。その結果、このシステムはひとたび実際の凝視方向を求めると、その情
報を、実際の網膜の像と網膜マップとを比較するのに必要な処理の量を減ずるた
めに使用することができる。とりわけ、該システムは、最後に得られた凝視の方
向を使用して、網膜マップの、実際の網膜の像に相応する位置を同定し、次いで
網膜マップのその位置を開始地点として使用することができる。

【００３３】 上述の各実施例では、各観察者の網膜の網膜マップがまず、好ましくは当該利
用者が顕微鏡を使用できるようになる以前の較正ルーチン中に、得られなければ
ならなかった。他の一実施例においては、数人の利用者の網膜マップを組み合わ
せて、調節を行う利用者の網膜の像の共通の特徴をモデル化するマスターテンプ
レートを作ることができる。そしてこのマスターテンプレートは、誰でも使用す
ることができ、その際新たな（マスターテンプレートのためのデータを取ってい
ない）利用者は構成ルーチンを行う必要はない。この実施例は、テンプレートが
利用者に独立に使用できるという長所がある一方で、前記システムは専らテンプ
レートの性能と同等であるという問題がある。

【００３４】 上述の各実施例では、観察者の凝視の方向が動いてその位置で視野の焦点がボ
ケると、前記システムは自動的に対物レンズの焦点を調節した。ある応用例では
、そのような自動焦点合わせは、望まれないかもしれない。そのような場合には
、電子処理システムは、以下のように構成されても良い。即ち、オートフォーカ
シングが行われるのは、利用者が所定の時間に亘り同一点で焦点が合わせられた
ままである場合、又は観察者が焦点の位置の変更を望むことを表す制御コマンド
を入力する場合のみに限るように、システムを構成できる。

【００３５】 上述の各実施例では、ビームスプリッタは、センサ及びセンサレンズを顕微鏡
の（光）軸上に実質的に配置するために使用された。当業者であれば正しく認識
できるように、そのようなビームスプリッタの使用は本質的ではない。例えば、
センサ及びセンサレンズは、顕微鏡の光軸に対し何らかの角度を付けて配置する
こと、即ちセンサがなお中間（像）面を”見る”ことができるように配置するこ
とができる。他方、センサが対物レンズの直径と比べて比較的小さい時は、セン
サは、対物レンズの軸に沿って（光路内に）配置することもできる。しかし、こ
の実施例は、観察者の眼に入射する光の量が減少するので好ましくない。

【００３６】 ビームスプリッタ２３を使用する代わりに、この実施例の一変形例は、センサ
が接眼レンズ５を介して中間像面９を望む（見る）ようにし、かつ網膜の像を光
源２５の反対側（ビームスプリッタ２１を挟んで光源２５と反対側）に反射する
ようにビームスプリッタ２１の裏側を利用すべきであろう。そこに調節（modifi
ed）レンズ３１とセンサ２９が配置されるであろう。破線９の位置には、部分透
過鏡（part transparent mirror）が、網膜の像を接眼レンズ５を介してセンサ
２９へ反射するために配置されるであろう。

【００３７】 上述の各実施例では、光学装置を通る単一の光学経路が記載されている。当業
者であれば正しく認識できるように、２つ（各眼に対し１つ）の光学経路がある
場合には、類似の視標追跡システムをもう１つの光学経路に設けることができる
であろう。一方、光学装置が、観察者が両目で物体を見ることができるものであ
る場合には、単一の切替可能な視標追跡システムを設けることもできるであろう
。 しかし、２つ（各光学経路につき１つ）の視標追跡システムの場合は、利用者
の２つの眼の間の距離に応じて、対向する２つの接眼レンズを自動的に動力調節
することも考慮に入れるであろう。また、この２経路システムは、両目の動きを
比べると利き眼（dominant eye）の動きが検出されるかもしれないので、いつも
利用者の利き眼を追跡することも考慮するであろう。 上述の実施例では、センサで生成する実際の網膜の像の出力と網膜マップとの
比較は、二次元相関技術を用いて行われる。当業者であれば正しく認識できるよ
うに、他の比較技術も採用することができる。例えば、Cootes他（the Universi
ty of Manchester）により開発された"動的形状モデル（active shape models）
"を網膜の固有の特徴をモデル化するために使用することができる。そしてこの
比較（技術）は、実際の網膜の像として生じた類似の形状モデルと網膜マップと
して記憶された形状モデルとを整合する作業を伴うであろう。論文"Use of Acti
ve Shape Models for Locating Structures in Medical Images"には、次に行う
同定を目的とする人体構造のモデル化の方法が記載されている。この論文の内容
は、前述の国際出願（PCT）の内容と同様に、ここに引用を持って繰込まれたも
のとする。 上述以外の他の実施例も今や当業者には明らかであろう。上述の各実施例及び
各変形例は、単なる例示として記載されたものに過ぎず、当業者であれば正しく
認識できるように、実施例の何れかになされた変形ないし修正は、他の実施例に
も適用できるであろう。 請求項の用語（原文）「包含する」"Comprising"は、「含む」"containing"も
意味する。

【図面の簡単な説明】

【図１】 本発明の実施例である外科用顕微鏡の基本要素の模式図。

【図２】 図１の顕微鏡の電子要素のブロック線図。

【図３ａ】 図１の顕微鏡の構成要素であるセンサで生成した利用者の網膜
部位を示す二次元像。

【図３ｂ】 図３ａの像を処理することにより生じた図３ａの利用者の網膜
部位の線図。

【図３ｃ】 利用者が予選択された幾つかの点を見つめているときに生じた
網膜の像をモンタージュして得られた利用者の網膜の全表面の線図。

【図４】 第一実施例で利用者の眼を照明するために使用される光源の模式
図。

【図５】 本発明の（第二）実施例である光学装置の電子要素のブロック線
図。

【図６】 本発明の（第三）実施例である光学装置の電子要素のブロック線
図。

【図７】 本発明の（第四）実施例である光学装置の電子要素のブロック線
図。

【図８】 本発明の（第五）実施例である顕微鏡の模式図。

【図９】 本発明の（第六）実施例であるカメラの模式図。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 13/02 Ｈ０４Ｎ 7/18 Ｚ ５Ｃ０２２ 13/36 Ａ６１Ｂ 3/10 Ｂ ５Ｃ０５４ Ｈ０４Ｎ 5/232 Ｇ０２Ｂ 7/11 Ｊ 7/18 Ｎ Ｇ０３Ｂ 3/00 Ａ Ｆターム(参考） 2H011 AA01 AA06 DA00 2H018 AA00 2H039 AA01 AB01 AB14 AC00 2H051 AA11 DA24 2H052 AB00 AB10 AC04 AD09 AF01 AF21 AF25 5C022 AA15 AB27 AC42 AC54 AC69 5C054 AA02 AA05 CC02 CE08 CG07 HA05

Claims (37)

【特許請求の範囲】
1. 【請求項１】 眼の凝視（視線)を検出するための視標追跡システム装置で
   あって、 （i） 利用者の眼の網膜から反射した光をフォーカシングするセンサレンズ
   ； （ii） 前記センサレンズにより前記網膜の像が投影される面に位置し、該網
   膜の部分の電気的像信号を発生する像変換器； （iii） 前記網膜に関する網膜の像の情報を記憶するメモリ；及び （iv） 利用者の眼の凝視(視線)の方向を示す凝視(視線)情報を生成するため
   に、前記像変換器で生成した前記網膜の像の信号を表わす信号と、前記記憶され
   た網膜の像の情報とを比較する比較手段、 を含む視標追跡システム装置。
2. 【請求項２】 物体の可視像を形成するための光学装置であって、 該物体の可視像を像面に形成する対物レンズ； 該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ；
   及び 該探知された凝視の方向に応じた、該光学装置の制御可能な機能の調節手段、
   を含む形式の光学装置において、 前記視線センサは、 （ｏ） 網膜の像の収集装置； （iii） 利用者の網膜の像の情報を記憶するメモリ；及び （iv） 利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器
   で生成した網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報とを
   比較する比較手段、 を含むことを特徴とする光学装置。
3. 【請求項３】 光学装置であって、 （i） 利用者の網膜から反射した光をフォーカシングするセンサレンズ、 （ii） 利用者の網膜の部分の電気的像信号を生成するために、利用者が前記
   可視像を見るとき、利用者の眼の網膜に関して（物体の可視像が形成される）前
   記像面と共通に共役をなす面に位置する像変換器、 を更に含むことを特徴とする請求項２に記載の装置。
4. 【請求項４】 光学装置であって、 利用者がそれを通して前記可視像を見ることができる接眼レンズ、 を更に含み、 好ましくは、該接眼レンズは、光学装置の明瞭に見える視野を拡大するレンズ
   システムを含む、 ことを特徴とする請求項２又は３に記載の装置。
5. 【請求項５】 前記センサレンズ及び前記像変換器は、該装置の光軸から外
   れて配置されている、 ことを特徴とする請求項１〜４の一に記載の装置。
6. 【請求項６】 網膜から反射された光を前記センサレンズ及び前記像変換器
   に反射するビームスプリッタを更に含む、 ことを特徴とする請求項５に記載の装置。
7. 【請求項７】 前記像変換器は、ＣＣＤセンサ、好ましくは二次元ＣＣＤセ
   ンサを含む、 ことを特徴とする請求項１〜６の一に記載の装置。
8. 【請求項８】 利用者の眼を照明する光源を更に含み、及び好ましくは、該
   光源からの光をフォーカシングする照明レンズを更に含む、 ことを特徴とする請求項１〜７の一に記載の装置。
9. 【請求項９】 前記照明レンズは、使用中に、光源からの光を利用者の眼の
   角膜にフォーカシングする機能を持つ、 ことを特徴とする請求項８に記載の装置。
10. 【請求項１０】 前記光源は、好ましくは可視光以外の領域の、所定の波長
    、とりわけ凡そ800nm〜凡そ950nmの範囲の波長の光を発光する機能を持つ、 ことを特徴とする請求項８又は９に記載の装置。
11. 【請求項１１】 前記光源は、850nmのＬＥＤを含む、 ことを特徴とする請求項１０に記載の装置。
12. 【請求項１２】 前記光源は、顕微鏡［光学装置］の光軸に対し一定の角度
    をなして配置している、 ことを特徴とする請求項８〜１１の一に記載の装置。
13. 【請求項１３】 光源からの光を眼に向かって反射するための、装置の光軸
    に配置するビームスプリッタを更に含む、 ことを特徴とする請求項１２に記載の装置。
14. 【請求項１４】 中間像面に半銀鏡化鏡（ハーフミラー）を、好ましくは網
    膜の像を反射して接眼レンズを通過させるために、含む、 ことを特徴とする請求項１〜１３の一に記載の装置。
15. 【請求項１５】 前記光源は、接眼レンズを介して眼を照明可能である、こ
    とを特徴とする請求項２又は３を引用する場合において請求項８〜１４の一に記
    載の装置。
16. 【請求項１６】 前記接眼レンズは、光源からの光が接眼レンズから像変換
    器へ反射するのを妨げる反射防止膜を含む、 ことを特徴とする請求項１５に記載の装置。
17. 【請求項１７】 前記光源は、利用者の眼をそれぞれ異なる角度で照明する
    機能を持つ複数の発光部を含む、 ことを特徴とする請求項８〜１６の一に記載の装置。
18. 【請求項１８】 １つ以上の前記発光部を選択的に発光させる制御手段を更
    に含む、 ことを特徴とする請求項１７に記載の装置。
19. 【請求項１９】 前記制御手段は、前記１つ以上の発光部を利用者の凝視の
    方向に応じて選択する、 ことを特徴とする請求項１８に記載の装置。
20. 【請求項２０】 前記制御手段は、前記１つ以上の発光部を前記像変換器に
    よる網膜の像の信号の出力に応じて選択する、 ことを特徴とする請求項１８に記載の装置。
21. 【請求項２１】 前記像変換器は、網膜の像の信号を毎秒複数回、好ましく
    は毎秒１０〜５０回出力する機能を持つ、 ことを特徴とする請求項１〜２０の一に記載の装置。
22. 【請求項２２】 光源は、前記像変換器の周波数と同期したパルスの形で発
    光する機能を持つ、 ことを特徴とする請求項２１に記載の装置。
23. 【請求項２３】 網膜の像の固有の特徴を強調する（際立たせる）ために網
    膜の像の信号を処理する手段（処理手段）を更に含む、 ことを特徴とする請求項１〜２２の一に記載の装置。
24. 【請求項２４】 前記固有の特徴は、血管を含む、 ことを特徴とする請求項２３に記載の装置。
25. 【請求項２５】 前記処理手段は、網膜の像の縁郭（エッジ）を検出する縁
    郭検出手段を含む、 ことを特徴とする請求項２３又は２４に記載の装置。
26. 【請求項２６】 前記記憶される網膜の像の情報は、利用者の網膜マップを
    含む、 ことを特徴とする請求項１〜２５に一に記載の装置。
27. 【請求項２７】 較正ルーチン中に予め前記網膜マップが形成され、該網膜
    マップは、較正ルーチン中に利用者が装置の視野において予選択された複数の異
    った場所を見つめ、像変換器が該予選択された複数の場所の各々について網膜の
    像を形成することにより、前記網膜マップが規定される、 ことを特徴とする請求項２６に記載の装置。
28. 【請求項２８】 前記制御可能な機能は、利用者が注視する視野中の部分（
    点）で焦点が合うようにするための対物レンズのオートフォーカシング及び／又
    は注視される物体上での（に対する,over）光学装置の運動、である、 ことを特徴とする請求項１〜２７の一に記載の装置。
29. 【請求項２９】 ２つの光路（立体光路）を持つ装置であって、 前記制御可能な機能は、利用者の両眼間の距離に関した、対向する接眼レンズ
    相互間での調節である、 ことを特徴とする請求項１〜２８の一に記載の装置。
30. 【請求項３０】 前記制御可能な機能は、装置の視野に光学的に重ねられる
    表示の内容である、 ことを特徴とする請求項１〜２９の一に記載の装置。
31. 【請求項３１】 前記像変換器は、前記センサレンズに関して前記像面と共
    役をなす面に配置される、 ことを特徴とする請求項１〜３０の一に記載の装置。
32. 【請求項３２】 前記装置は、顕微鏡であることを特徴とする請求項１〜３
    １の一に記載の装置。
33. 【請求項３３】 前記装置は、カメラであることを特徴とする請求項１〜３
    １の一に記載の装置。
34. 【請求項３４】 物体の可視像を形成するための光学装置であって、 物体の可視像を像面に形成する対物レンズ； 該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ；
    及び 該探知された凝視の方向に応じた、前記光学装置の制御可能な機能の調節手段
    ； を含む形式の光学装置において、 前記視線センサは、 （i） 利用者の網膜から反射された光をフォーカシングするセンサレンズ； （ii） 利用者の網膜の部分の電気的像信号を生成するための、該センサレン
    ズに関して前記像面と共役をなす面に配置される像変換器； （iii） 利用者の網膜の像の情報を記憶するメモリ；及び （iv） 利用者の眼の凝視の方向を示す凝視情報を生成するために、前記像変
    換器で生成した網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報
    とを比較する比較手段； を含むことを特徴とする光学装置。
35. 【請求項３５】 物体の可視像を形成する光学装置であって、 物体の可視像を像面に形成する対物レンズ； 利用者が該可視像をそれを通して見ることができる接眼レンズ； 該可視像を見る利用者の凝視（視線）の方向を該接眼レンズを介して探知する
    視線（アイ）センサ；及び 該探知された凝視の方向に応じた、該光学装置の制御可能な機能の調節手段；
    を含む形式の光学装置において、 前記視線センサは、 （i） 利用者の網膜から反射された光をフォーカシングするセンサレンズ； （ii） 前記接眼レンズを介して調べる（探知する）ことができる利用者の網
    膜の部分の電気的像信号を生成するための、利用者が前記可視像を見るときに、
    利用者の眼の網膜に関して前記像面と共通に共役をなす面に配置される像変換器
    ； （iii） 網膜の像の情報を記憶するメモリ；及び （iv） 利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器
    で生成した網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報とを
    比較する比較手段； を含むことを特徴とする光学装置。
36. 【請求項３６】 物体の可視像を形成するための光学装置であって、 物体の可視像を像面に形成する対物レンズ； 該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ；
    及び 探知された凝視の方向に応じた、前記光学装置の制御可能な機能の調節手段；
    を含む形式の光学装置において、 前記視線センサは、 （i） 利用者の網膜から反射された光をフォーカシングするセンサレンズ； （ii） 前記変換器上で前記センサレンズにより結像される利用者の網膜の部
    分の電気的像信号を生成するための、利用者が前記可視像を見るときに、利用者
    の眼の網膜に関して前記像面と共通に共役をなす面に位置する像変換器； （iii） 網膜の像の情報を記憶するメモリ；及び （iv） 利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器
    で生成した網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報とを
    比較する比較手段； を含むことを特徴とする光学装置。
37. 【請求項３７】 物体の可視像を形成するための光学装置の操作方法であっ
    て、 物体の可視像を像面に形成するため対物レンズを装備し； 該可視像を見る利用者の凝視（視線）の方向を探知し；及び 該探知された凝視の方向に応じて、前記光学装置の制御可能な機能を調節する
    ； ステップ（操作段階）を含む形式の操作方法において、 前記探知ステップは、 （i） 利用者の網膜から反射された光をフォーカシングするためにセンサレ
    ンズを使用し； （ii） 利用者の網膜の部分の電気的信号を生成するため、利用者が前記可視
    像を見るとき、利用者の眼の網膜に関して前記像面と共通に共役をなす面に位置
    するよう像変換器を装備し；及び （iii） 利用者の凝視の方向を示す凝視情報を生成するために、前記像変換
    器で生成した網膜の像の信号を象徴する信号と、記憶された網膜の像の情報とを
    比較する； ステップを含むことを特徴とする操作方法。