JP3711053B2

JP3711053B2 - Line-of-sight measurement device and method, line-of-sight measurement program, and recording medium recording the program

Info

Publication number: JP3711053B2
Application number: JP2001276169A
Authority: JP
Inventors: 健彦大野; 直樹武川; 厚吉川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-09-12
Filing date: 2001-09-12
Publication date: 2005-10-26
Anticipated expiration: 2021-09-12
Also published as: JP2003079577A

Description

【０００１】
【発明の属する技術分野】
本発明は、利用者の注視方向を測定する視線測定装置及びその方法と、その視線測定方法の実現に用いられる視線測定プログラム及びそのプログラムを記録した記録媒体とに関し、特に、利用者に負担をかけずに、かつ、頭部に特別な装置を装着することなく利用者の注視方向を測定できるようにする視線測定装置及びその方法と、その視線測定方法の実現に用いられる視線測定プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
身体にハンディキャップを持つ人がコンピュータを利用できるようにするためなどの理由から、視線を用いてコンピュータを操作する視線インタフェースに関する研究が進められている。この視線インタフェースでは、例えばコンピュータの画面上にメニューやボタンやアイコンなどを表示し、視線でそれを選択・操作することにより、コンピュータを利用できるようにしている。
【０００３】
このような視線インタフェースを実用的なものとするためには、利用者に負担をかけずに、かつ、頭部に特別な装置を装着することなく利用者の視線方向を測定できるようにする技術の構築が叫ばれている。
【０００４】
【従来の技術】
従来の技術では、利用者からある程度離れた距離（50cm〜100cm 程度）の位置に近赤外線光源およびカメラを設置して、角膜表面における近赤外線光源の反射光（プルキニエ像）および瞳孔を撮影し、その方向から利用者の視線方向を算出するようにしていた。
【０００５】
視線方向を算出するためには、３次元空間上における視線ベクトルおよび視線ベクトルの始点（以下、基準点と称する）を得る必要がある。
【０００６】
従来の技術では、基準点については、プルキニエ像の位置から算出したり、あるいは利用者の頭部や眼鏡にマーカーを装着し、マーカーからの相対位置を与えることにより算出する技術が用いられてきた。また視線ベクトルについては、例えば３次元空間における瞳孔とプルキニエ像を求め、それらの位置から算出するという技術が用いられてきた。
【０００７】
なお、以下の説明では、視線測定装置において視線補正手段を用いずにシステムが算出した視線方向を「システム算出視線方向」と呼び、利用者が実際に見ている方向を「注視方向」と呼ぶ。
【０００８】
システム算出視線方向はそのままでは注視方向とのずれが大きいため、個人キャリブレーションによってシステム算出視線方向を注視方向に一致させるための処理をおこなっている。以下の説明では、個人キャリブレーション後の視線方向を「システム補正視線方向」と呼ぶ。
【０００９】
【発明が解決しようとする課題】
システム補正視線方向は、利用者が眼球を上下左右に動かしてあちこちを見る場合のいずれの場合においても、注視方向と一致している必要がある。しかしながら、従来の技術では以下の問題があった。
【００１０】
（１）システム算出視線方向が注視方向と大きくずれている場合、想定した補正処理では十分に補正することができず、特定の方向に対しては正しく補正できるものの、別の方向に対しては十分な補正がおこなわれず、大きな測定誤差が発生する場合があった。
【００１１】
（２）測定開始直後は正しく補正されるものの、利用者の眼球位置が変化した場合に十分な補正がおこなわれず、測定誤差が拡大する場合があった。
【００１２】
これら測定誤差に関する問題は、精度の高い視線測定をおこなう上で大きな問題となっていた。
【００１３】
これらの測定誤差の大きな原因の一つとして、利用者の角膜表面における屈折がある。この屈折を考慮しないと、外界から観測した瞳孔の位置が実際の瞳孔の位置に対してずれを生じる。
【００１４】
従来の技術では、この屈折を考慮していないことから、外界から観測した瞳孔の位置を利用して視線を算出した場合、システム算出視線方向に必ず測定誤差が発生した。
【００１５】
特に、カメラの光軸方向に対して利用者の眼球方向が変化した場合、角膜表面における光の入射角が変化するため、瞳孔の位置のずれの割合が変化し、ずれが一定でなくなる。このずれを補正するためには２次関数以上の高次関数を利用した個人キャリブレーションをおこなう必要があるが、そのとき、利用者によっては想定した関数でずれを正しく近似できず、上記の問題（１）および（２）が発生した。
【００１６】
従来技術における異なるアプローチとして、「Sheng-Wen Shih,Yu-Te Wu and Jin Liu:"A Calibration-Free Gaze Tracking Technique", Proceedings of the International Conference on Pattern Recognition (ICPR'00),2000 」で報告されているように、外界から複数のカメラおよび光源を用いて眼球の形状を計測し、屈折補正を考慮した上で、キャリブレーションをおこなわずに視線計測をおこなう手法が提案されている。
【００１７】
この手法は、外部からの眼球形状の測定にたよるため、視線方向を角膜曲率中心と瞳孔中心とを結ぶベクトルと仮定することになっている。しかしながら真の視線ベクトルは、網膜上の中心窩と外部の視点とを結ぶベクトルであり、従ってこれを測定する方法は知られていない。
【００１８】
本発明はかかる事情に鑑みてなされたものであって、利用者に負担をかけずに、かつ、頭部に特別な装置を装着することなく利用者の注視方向を測定できるようにする新たな視線測定技術の構築を目的とする。
【００１９】
【課題を解決するための手段】
この目的を達成するために、本発明の視線測定装置では、▲１▼利用者の眼球を撮影する眼球撮影手段と、▲２▼眼球撮影手段の撮影した画像から、見かけの瞳孔位置を検出する瞳孔位置検出手段と、▲３▼瞳孔位置検出手段の検出した見かけの瞳孔位置から、角膜における屈折を考慮することで、実際の瞳孔位置を推定（補正）する瞳孔位置推定手段と、▲４▼眼球撮影手段の撮影した画像から、角膜表面における外部光の反射像を検出する反射像検出手段と、▲５▼瞳孔位置推定手段の推定した瞳孔位置と、反射像検出手段の検出した反射像とから、利用者の視線を算出する視線算出手段と、▲６▼複数の基準点の座標と、それを利用者が注視したときに視線算出手段により算出される視線とから、その利用者に適用される視線の変換規約を算出する個人別パラメータ算出手段と、▲７▼視線算出手段の算出した視線を、個人別パラメータ算出手段の算出した変換規約を使って利用者に合わせて補正する視線補正手段と、▲８▼個人別パラメータ算出手段の算出した変換規約を外部記憶装置に保存し、次に同じ利用者が測定対象となるときに、その変換規約をその外部記憶装置から読み出す個人別パラメータ保存手段とを備えるように構成する。
【００２０】
このように構成される本発明の視線測定装置では、瞳孔位置検出手段により見かけの瞳孔位置が検出されると、瞳孔位置推定手段は、眼球撮影手段からその見かけの瞳孔位置へ向かう光の屈折方向を算出して、その屈折方向上に位置し、かつ、角膜曲率中心から規定の距離の所に位置する輪郭座標を求めることで、実際の瞳孔位置を推定する。
【００２１】
一方、反射像検出手段は、角膜表面における外部光の反射像を検出し、これにより、眼球撮影手段の中心とその反射像とを通る直線上で、かつ、その反射像よりも角膜曲率半径だけ先に位置する角膜曲率中心の位置が検出されることになる。
【００２２】
これから、視線算出手段は、その検出された実際の瞳孔位置から瞳孔中心を検出して、その検出した瞳孔中心とその検出された角膜曲率中心とを結ぶ直線に従って、利用者の視線を算出する。
【００２３】
この視線の算出を受けて、個人別パラメータ算出手段は、複数の基準点の座標と、それを利用者が注視したときに算出される視線とから、その利用者に適用される視線の変換規約を算出するので、視線補正手段は、算出された視線を、この算出された変換規約を使って利用者に合わせて補正する。
【００２４】
このようにして、本発明の視線測定装置では、外界から観察した瞳孔位置から実際の瞳孔を推定し、その推定した瞳孔位置から視線方向を算出する。そして、その算出した視線方向に対して、眼球の中心窩と外部の視点とが一致するように個人別に補正をおこなう。
【００２５】
その結果、本発明の視線測定装置によれば、外界から観測した瞳孔の位置が実際の瞳孔の位置に対してずれていることにより発生する測定誤差が解消され、測定誤差の発生しにくい視線測定が可能となる。
【００２６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。
【００２７】
図１に、本発明の視線測定装置の一実施形態例を図示する。
【００２８】
この図に示すように、本発明の視線測定装置は、眼球撮影手段１２を構成する近赤外線照射手段１と、眼球撮影手段１２を構成する眼球撮影用カメラ２と、瞳孔輪郭検出手段３と、瞳孔輪郭補正手段４と、プルキニエ像検出手段５と、瞳孔中心算出手段６と、視線ベクトル算出手段７と、視線補正手段８と、個人別パラメータ算出手段９と、個人別パラメータ保存手段１０と、外部記憶装置１１とを備える。
【００２９】
ここで、図中に示すように、利用者の眼球は眼球撮影用カメラ２の前方に位置するものとする。
【００３０】
近赤外線照射手段１では、人の目に感じにくい７５０ｎｍ程度の近赤外線の点光源あるいは一定面積を持つ面光源から、近赤外線を人の眼球方向に向けて照射する。
【００３１】
眼球撮影用カメラ２では、近赤外線が照射された眼球を撮影するために、近赤外光を撮影可能なＣＣＤ等を内蔵する。
【００３２】
この眼球撮影用カメラ２で撮影される眼球像には、図２に示すように、瞳孔輪郭２１およびプルキニエ像２２が含まれる。
【００３３】
瞳孔輪郭検出手段３では、眼球撮影用カメラ２で撮影された画像から瞳孔を検出し、その輪郭を求める。
【００３４】
瞳孔輪郭補正手段４では、瞳孔輪郭検出手段３によって検出された瞳孔輪郭について、角膜表面における瞳孔の屈折を補正し、実際の瞳孔輪郭位置を推定する。
【００３５】
プルキニエ像検出手段５では、眼球撮影用カメラ２によって撮影された眼球像からプルキニエ像２２を検出する。それと同時に、プルキニエ像検出手段５では、検出されたプルキニエ像２２から、３次元空間中のプルキニエ像座標および角膜曲率中心座標を求める。
【００３６】
瞳孔中心算出手段６では、瞳孔輪郭補正手段４によって得られた瞳孔輪郭座標から、瞳孔中心を算出（検出）する。
【００３７】
視線ベクトル算出手段７では、プルキニエ像検出手段５で検出した角膜曲率中心座標と、瞳孔中心算出手段６で検出した瞳孔中心とを用いて、視線方向を算出する。
【００３８】
視線補正手段８では、視線ベクトル算出手段７によって算出された視線方向に対して、個人パラメータを用いて視線補正をおこなう。
【００３９】
個人別パラメータ算出手段９では、視線補正手段８で利用する個人パラメータの算出をおこなう。
【００４０】
個人別パラメータ保存手段１０では、算出された個人パラメータを外部記憶装置１１（ハードディスク、メモリなど）に記録し、必要に応じて外部記憶装置１１から読み出す。
【００４１】
以上に説明した各処理手段（近赤外線照射手段１および眼球撮影用カメラ２を除く）は、具体的にはコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００４２】
次に、これらの各処理手段について説明することで、本発明について詳細に説明する。
【００４３】
（イ）瞳孔輪郭検出手段３における瞳孔輪郭の検出処理
図３に、瞳孔輪郭検出手段３における瞳孔輪郭の検出処理の流れ図を示す。
【００４４】
瞳孔輪郭検出手段３は、図３に示すように、まず最初に、眼球撮影用カメラ２で撮影した画像から、周辺より暗い領域を連結することでセグメント化をおこなう（３０１の状態）。
【００４５】
続いて、セグメント化された各領域において各領域の形状を調べ、瞳孔に類似した形状の領域を候補として列挙する（３０２の状態）。
【００４６】
続いて、列挙された候補領域から、瞳孔の形状にもっとも近い領域を選択して瞳孔領域とする（３０３の状態）。
【００４７】
続いて、得られた瞳孔領域に対してエッジ検出をおこない、瞳孔の輪郭座標ｐ_i（ｉ＝１〜ｎ）を求める（３０４の状態）。このとき求める瞳孔輪郭の個数ｎは多いほど精度が高くなるが、５から４０点ほど求めればよい。
【００４８】
このようにして、瞳孔輪郭検出手段３は、瞳孔輪郭を検出するように処理するのである。
【００４９】
（ロ）プルキニエ像検出手段５におけるプルキニエ像の検出処理
図４に、プルキニエ像検出手段５におけるプルキニエ像の検出処理の流れ図を示す。
【００５０】
プルキニエ像検出手段５は、図４に示すように、まず最初に、あらかじめ定めた、人の角膜曲率半径Ｌ、瞳孔半径Ｒ、角膜曲率中心から瞳孔中心までの距離Ｍを取得する（５０１の状態）。
【００５１】
すなわち、あらかじめ、図５中に示す角膜曲率半径Ｌと、瞳孔半径Ｒと、角膜曲率中心から瞳孔中心までの距離Ｍとが得られているので、それらを取得するのである。
【００５２】
ここで、後述する個人別キャリブレーションによって、最終的に視線ベクトルが補正されることになるので、このとき取得するＬ，Ｒ，Ｍについては、視線を測定する本人のものである必要はなく、例えば日本人の平均値とか、男性の平均値とか、女性の平均値といったような平均的な値を取得すれば足りる。
【００５３】
続いて、眼球撮影用カメラ２で撮影した画像について、瞳孔輪郭検出手段３で求めた瞳孔位置付近に分布する輝度の高い領域を、プルキニエ像の候補領域として列挙する（５０２の状態）。
【００５４】
続いて、列挙された候補領域の中から、あらかじめ定めた形状および大きさにもっとも近い領域をプルキニエ像であると定める（５０３の状態）。
【００５５】
続いて、３次元空間におけるプルキニエ像の座標を求める（５０４の状態）。画像上のプルキニエ像位置から３次元空間におけるプルキニエ像の座標Ｕを求めるには、２台以上の眼球撮影用カメラ２を利用してステレオ計測する方法や、１台の眼球撮影用カメラ２を使って焦点位置から距離を算出する方法などを用いることになる。
【００５６】
続いて、３次元空間上の角膜曲率中心Ｅを算出する（５０５の状態）。眼球撮影用カメラ２のレンズ中心からプルキニエ像を通る直線を考えたとき、プルキニエ像の位置Ｕより角膜曲率半径Ｌだけ先の位置が３次元空間中の角膜曲率中心座標Ｅとなるので、その関係に従って角膜曲率中心Ｅを算出するのである。
【００５７】
このようにして、プルキニエ像検出手段５は、プルキニエ像を検出して、それを使って、角膜曲率中心Ｅの座標を算出するように処理するのである。
【００５８】
（ハ）瞳孔輪郭補正手段４における瞳孔輪郭の補正処理
瞳孔輪郭補正手段４では、瞳孔輪郭検出手段３で検出された瞳孔輪郭座標ｐ_iから正しい瞳孔輪郭座標ｐ’_iを推定する処理を行う。
【００５９】
人の角膜表面では光の屈折が発生するため、眼球撮影用カメラ２で撮影した瞳孔像は実際の瞳孔像位置とずれた位置にある。そのため、眼球撮影用カメラ２でで撮影した瞳孔像から視線方向を算出すると、実際の視線方向とはずれた方向に視線が算出される。
【００６０】
そこで、瞳孔輪郭補正手段４では、角膜表面での屈折を考慮した補正をおこなうことで、正しい瞳孔輪郭座標を推定する処理を行う。
【００６１】
図６に、瞳孔輪郭補正手段４における瞳孔輪郭の補正処理の流れ図を示す。また、図７に、角膜表面における屈折の模式図を示し、図８に、瞳孔断面の模式図を示す。
【００６２】
この瞳孔輪郭の補正処理では、眼球撮影用カメラ２で撮影されたプルキニエ像と瞳孔輪郭像とが同一平面上に含まれていることを利用する。
【００６３】
瞳孔輪郭補正手段４では、図６に示すように、まず最初に、３次元空間におけるプルキニエ像の座標Ｕから、プルキニエ像および瞳孔輪郭像が含まれる平面Ｓを求める（４０１の状態）。すなわち、図７及び図８に示す平面Ｓを求めるのである。
【００６４】
続いて、眼球撮影用カメラ２から平面Ｓに含まれる瞳孔輪郭像へ向けた直線と、角膜表面との交点Ｑを求める（４０２の状態）。
【００６５】
この直線の方向ベクトルを＜ｑ＞と表すならば、図８に示すように、ベクトル＜ｑ＞と角膜表面との交点Ｑを求めるのである。このとき、主に屈折が発生するのはこのＱの位置である。
【００６６】
続いて、角膜曲率中心ＥからＱまでの方向ベクトル＜ｅ＞を求める（４０３の状態）。すなわち、図７に示すように、角膜曲率中心ＥからＱまでの方向ベクトル＜ｅ＞を求めるのである。
【００６７】
Ｑにおける屈折は、ベクトル＜ｅ＞が法線ベクトルとなる平面に光が入射して発生した屈折であると考えることができる。
【００６８】
そこで、続いて、角膜外にある空気の屈折率ｎ₁と角膜内の房水における屈折率ｎ₂とを使って、ベクトル＜ｅ＞およびベクトル＜ｑ＞から、屈折後の方向ベクトル＜ｑ’＞を求める（４０４の状態）。すなわち、図８に示すように、屈折後の方向ベクトル＜ｑ’＞を求めるのである。
【００６９】
続いて、角膜曲率中心Ｅから瞳孔輪郭までの距離Ｎを、瞳孔半径Ｒと角膜曲率中心Ｅから瞳孔中心までの距離Ｍとを使って、
Ｎ＝（Ｍ²＋Ｒ²）^1/2
に従って算出して、図８に示すように、屈折後の方向ベクトル＜ｑ’＞上にあって、角膜曲率中心Ｅからの距離がこの距離Ｎである点を屈折補正後の瞳孔輪郭座標ｐ’_iとして算出する（４０５の状態）。
【００７０】
このようにして、瞳孔輪郭補正手段４は、正しい瞳孔輪郭座標ｐ’_iを推定するように処理するのである。
【００７１】
（ニ）視線ベクトル算出手段７における視線ベクトルの算出処理
視線ベクトル算出手段７では、３次元座標における角膜曲率中心Ｅの位置（プルキニエ像の位置と角膜曲率半径とから求められる）と、瞳孔輪郭補正手段４で得られた補正済みの瞳孔輪郭座標の集合｛ｐ’_i｝とから、視線ベクトルを算出する処理を行う。
【００７２】
図９に、視線ベクトル算出手段７における視線ベクトルの算出処理の流れ図を示す。
【００７３】
視線ベクトル算出手段７では、図９に示すように、まず最初に、補正済みの瞳孔輪郭座標の集合｛ｐ’_i｝から、３次元空間における瞳孔中心Ｐを、例えば楕円近似などの手法によって求める（７０１の状態）。
【００７４】
続いて、３次元空間において、瞳孔中心Ｐおよび角膜曲率中心Ｅを通る方向ベクトル＜ｇ＞を求める（７０２の状態）。
【００７５】
瞳孔中心Ｐの位置ベクトルを＜Ｐ＞、角膜曲率中心Ｅの位置ベクトルを＜Ｅ＞で表すならば、ベクトル＜ｇ＞は、
＜ｇ＞＝＜Ｐ＞−＜Ｅ＞
で得られる。この手順で得られた方向ベクトル＜ｇ＞を、視線ベクトルと定める。
【００７６】
さらに、プルキニエ像Ｕの位置ベクトルを＜Ｕ＞で表すならば、視線方向を表す直線Ｈは、
＜Ｕ＞＋ｍ・＜ｇ＞
と定められる。但し、ｍはパラメータ（ｍ＞０）であり、ｍを指定することで、直線Ｈ上の任意の点が得られる。
【００７７】
このようにして、視線ベクトル算出手段７は、補正済みの瞳孔輪郭座標から得られる瞳孔中心と角膜曲率中心Ｅとを通る方向ベクトルに従って、視線方向Ｈを算出するように処理するのである。
【００７８】
（ホ）視線補正手段８における視線ベクトルの補正処理
視線補正手段８では、視線ベクトル算出手段７で得られた視線方向Ｈから視線を求め、さらに個人パラメータによる補正をおこなう。
【００７９】
利用者が見ている先の平面Ｔと、視線方向Ｈの交点を視線Ｖ（ｘ，ｙ，ｚ）と定める。このとき、例えば前方のディスプレイを見ているときの視線Ｖを求める場合には、ディスプレイ表面を含む平面をＴで表し、ＴとＨとの交点におけるパラメータｍを求めればよい。
【００８０】
以下、このように得られた視線Ｖに対して、補正後の視線Ｗを求める一実施形態例を示す。
【００８１】
補正後の視線Ｗは、例えば元の視線Ｖを移動および縦横のスケーリングすることによって得られる。
【００８２】
そこで、
【００８３】
【数１】

【００８４】
で定義される視線Ｖの位置ベクトルの斉次ベクトルを、
【００８５】
【数２】

【００８６】
で表し、
【００８７】
【数３】

【００８８】
で定義される補正後の視線Ｗの位置ベクトルの斉次ベクトルを、
【００８９】
【数４】

【００９０】
で表す。
【００９１】
このとき、個人別パラメータを斉次行列Ｈで表すと、補正後の視線Ｗの位置ベクトルの斉次ベクトルは、
【００９２】
【数５】

【００９３】
で求められる。
【００９４】
ただし、補正後の視線Ｗが元の視線Ｖを移動および縦横のスケーリングすることによって得られることから、斉次行列Ｈは、
【００９５】
【数６】

【００９６】
となる。
【００９７】
このようにして得られた〔数５〕式から、補正後の視線Ｗが求められることになる。
【００９８】
個人別パラメータＨは、利用者が最初に本発明を利用する時点で、個人別パラメータ算出手段９によって求められて、個人別パラメータ保存手段１０によってディスクやメモリなどの外部記憶装置１１に保存される。
【００９９】
そして、次に同一の人が本発明を利用するときに、外部記憶装置１１に保存された個人別パラメータＨが読み出されることで、新たに個人別パラメータを求めることなく視線測定が可能になる。
【０１００】
個人別パラメータＨは、利用者が複数の基準点を順次注視するときに、そのときに見ていた基準点の座標と、実際に得られた視線データとを用いて算出することができる。例えば２点以上の基準点を見たときにおける基準点の座標と、基準点を見たときの視線とから最小２乗法などによって個人別パラメータＨを求めればよい。
【０１０１】
図１０に、個人パラメータＨの算出方法の一例を示す。
【０１０２】
利用者８０５がディスプレイ８０２上に配置された２点以上のｎ個の基準点８０１を注視したときに、そのとき得られた視線データを注視点８０４とする。このとき、ｉ番目の基準点の座標をＭ_i（ｘ，ｙ）、そのときの視線データをＧ_i（ｘ，ｙ）とおく。
【０１０３】
このとき、視線データのＸ座標のみに注目すると、
Ｍ₁（ｘ）＝Ｇ₁（ｘ）・ａ₁＋ａ₃＋Ｅ₁（ｘ）
Ｍ₂（ｘ）＝Ｇ₂（ｘ）・ａ₁＋ａ₃＋Ｅ₂（ｘ）
・
・
・
Ｍ_n（ｘ）＝Ｇ_n（ｘ）・ａ₁＋ａ₃＋Ｅ_n（ｘ）
と示せる。ただし、Ｅ_i（ｘ）はｉ番目の基準点を見た時のＸ方向の誤差成分である。
【０１０４】
このとき、誤差成分Ｅ_i（ｘ）の二乗和
【０１０５】
【数７】

【０１０６】
が最小となるようなａ₁およびａ₃を最小二乗法によって求める。
【０１０７】
Ｙ座標についても同様に算出することで、ａ₂およびａ₄が得られる。
【０１０８】
このようにして、個人別パラメータ算出手段９は、個人別パラメータＨを算出し、これを受けて、視線補正手段８は、〔数５〕式に従って、視線ベクトル算出手段７で得られた視線方向に対して個人別パラメータＨによる補正をおこなうように処理するのである。
【０１０９】
【発明の効果】
以上説明したように、本発明では、人の瞳孔およびプルキニエ像を検出し、屈折の補正をおこない視線方向を算出する。さらに、個人別キャリブレーションをおこない視線方向を個人毎に補正する。
【０１１０】
その結果、高い精度で視線測定が可能となり、例えば、画面上に各点間の距離が均等な格子状に配置した複数の点を注視した場合に、測定して得られたシステム算出視線方向も各点間の距離が均等な格子状となる。従って、補正処理においては注視方向の一次変換をおこなうだけで、精度の高い視線位置が得られる。
【０１１１】
そして、視線の測定精度に関して、画面上の特定の位置では測定精度が高いものの、別の点では測定精度が低くなるという問題も回避される。
【０１１２】
また、個人別パラメータは一度算出しておけば、同一の利用者において再利用可能であるため、毎回、視線測定前にキャリブレーションをする手間を省略することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態例である。
【図２】眼球撮影用カメラで撮影した眼球の模式図である。
【図３】瞳孔輪郭検出手段の処理の流れ図である。
【図４】プルキニエ像検出手段の処理の流れ図である。
【図５】眼球の模式図である。
【図６】瞳孔輪郭補正手段の処理の流れ図である。
【図７】角膜表面における屈折の模式図である。
【図８】瞳孔断面の模式図である。
【図９】視線ベクトル算出手段の処理の流れ図である。
【図１０】個人別パラメータの算出処理の説明図である。
【符号の説明】
１近赤外線照射手段
２眼球撮影用カメラ
３瞳孔輪郭検出手段
４瞳孔輪郭補正手段
５プルキニエ像検出手段
６瞳孔中心算出手段
７視線ベクトル算出手段
８視線補正手段
９個人別パラメータ算出手段
１０個人別パラメータ保存手段
１１外部記憶装置
１２眼球撮影手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a line-of-sight measurement apparatus and method for measuring a gaze direction of a user, a line-of-sight measurement program used for realizing the line-of-sight measurement method, and a recording medium on which the program is recorded. Gaze measurement device and method for measuring gaze direction of user without putting special device on head and gaze measurement program used for realizing gaze measurement method and the same The present invention relates to a recording medium on which a program is recorded.
[0002]
For the purpose of making it possible for a person with a handicap in the body to use a computer, research on a gaze interface that uses a gaze to operate a computer is underway. In this line-of-sight interface, for example, menus, buttons, icons, and the like are displayed on a computer screen, and the computer can be used by selecting and operating the line of sight.
[0003]
In order to make such a line-of-sight interface practical, it is possible to measure the user's line-of-sight direction without placing a burden on the user and without wearing a special device on the head. Is being screamed.
[0004]
[Prior art]
In the conventional technology, a near-infrared light source and a camera are installed at a position some distance away from the user (about 50 cm to 100 cm), and the reflected light (Purkinje image) and pupil of the near-infrared light source on the cornea surface are photographed. The user's line-of-sight direction is calculated from the direction.
[0005]
In order to calculate the line-of-sight direction, it is necessary to obtain a line-of-sight vector and a start point of the line-of-sight vector (hereinafter referred to as a reference point) in a three-dimensional space.
[0006]
In the prior art, a technique has been used for calculating the reference point by calculating from the position of the Purkinje image, or by attaching a marker to the user's head or glasses and giving a relative position from the marker. . For the line-of-sight vector, for example, a technique has been used in which a pupil and a Purkinje image in a three-dimensional space are obtained and calculated from their positions.
[0007]
In the following description, the line-of-sight direction calculated by the system without using the line-of-sight correction unit in the line-of-sight measurement device is referred to as the “system-calculated line-of-sight direction”, and the direction actually viewed by the user is referred to as the “gaze direction”. .
[0008]
Since the system calculated line-of-sight direction has a large deviation from the gaze direction as it is, processing for matching the system calculated line-of-sight direction to the gaze direction is performed by personal calibration. In the following description, the line-of-sight direction after personal calibration is referred to as “system-corrected line-of-sight direction”.
[0009]
[Problems to be solved by the invention]
The system-corrected line-of-sight direction needs to match the gaze direction in any case where the user moves the eyeball up, down, left, or right to look around. However, the conventional technique has the following problems.
[0010]
(1) When the system-calculated line-of-sight direction deviates significantly from the gaze direction, it cannot be corrected sufficiently with the assumed correction process, and it can be corrected correctly for a specific direction, but for other directions In some cases, sufficient correction is not performed and a large measurement error occurs.
[0011]
(2) Although the correction is correctly performed immediately after the start of measurement, when the user's eyeball position is changed, sufficient correction is not performed, and the measurement error may increase.
[0012]
These problems related to measurement errors have become major problems in performing high-precision line-of-sight measurements.
[0013]
One of the major causes of these measurement errors is refraction at the user's cornea surface. If this refraction is not taken into account, the position of the pupil observed from the outside will be deviated from the actual position of the pupil.
[0014]
Since the conventional technique does not consider this refraction, when the line of sight is calculated using the position of the pupil observed from the outside, a measurement error always occurs in the system calculated line of sight.
[0015]
In particular, when the user's eyeball direction changes with respect to the optical axis direction of the camera, the incident angle of light on the corneal surface changes, so the rate of pupil position shift changes, and the shift is not constant. In order to correct this deviation, it is necessary to perform personal calibration using a higher-order function of a quadratic function or more, but at that time, the user cannot approximate the deviation correctly with the assumed function, and the above problem (1) and (2) occurred.
[0016]
A different approach in the prior art is reported in "Sheng-Wen Shih, Yu-Te Wu and Jin Liu:" A Calibration-Free Gaze Tracking Technique ", Proceedings of the International Conference on Pattern Recognition (ICPR'00), 2000". As described above, a method has been proposed in which the shape of the eyeball is measured from the outside using a plurality of cameras and light sources, and the line of sight is measured without performing calibration after taking into account refraction correction.
[0017]
Since this method is based on the measurement of the eyeball shape from the outside, it is assumed that the line-of-sight direction is a vector connecting the corneal curvature center and the pupil center. However, the true line-of-sight vector is a vector that connects the fovea on the retina and an external viewpoint, and a method for measuring this is not known.
[0018]
The present invention has been made in view of such circumstances, and is a new device that can measure a user's gaze direction without burdening the user and without wearing a special device on the head. The purpose is to build gaze measurement technology.
[0019]
[Means for Solving the Problems]
In order to achieve this object, the eye gaze measuring apparatus of the present invention detects an apparent pupil position from (1) eyeball photographing means for photographing a user's eyeball and (2) an image photographed by the eyeball photographing means. Pupil position detection means, and (3) pupil position estimation means for estimating (correcting) the actual pupil position by considering refraction in the cornea from the apparent pupil position detected by the pupil position detection means, and (4) Reflected image detecting means for detecting a reflected image of external light on the cornea surface from an image photographed by the eyeball photographing means, (5) the pupil position estimated by the pupil position estimating means, and the reflected image detected by the reflected image detecting means From the line-of-sight calculation means for calculating the line of sight of the user, and (6) the coordinates of a plurality of reference points and the line-of-sight calculated by the line-of-sight calculation means when the user gazes at the reference point. Gaze conversion rules An individual parameter calculating means for calculating the visual line; and (7) a visual line correcting means for correcting the visual line calculated by the visual line calculating means according to the user using the conversion rule calculated by the individual parameter calculating means; The conversion rule calculated by the individual parameter calculation means is stored in an external storage device, and the individual parameter storage means for reading the conversion rule from the external storage device when the same user is to be measured next. Configure.
[0020]
In the line-of-sight measurement device of the present invention configured as described above, when the apparent pupil position is detected by the pupil position detection unit, the pupil position estimation unit is configured to refract the light from the eyeball imaging unit toward the apparent pupil position. Is calculated and contour coordinates located at a prescribed distance from the center of corneal curvature are obtained, and the actual pupil position is estimated.
[0021]
On the other hand, the reflected image detecting means detects the reflected image of the external light on the cornea surface, and thereby, on the straight line passing through the center of the eyeball photographing means and the reflected image, and only by the corneal curvature radius than the reflected image. The position of the corneal curvature center located first is detected.
[0022]
From this, the line-of-sight calculation means detects the pupil center from the detected actual pupil position, and calculates the user's line of sight according to a straight line connecting the detected pupil center and the detected corneal curvature center.
[0023]
Upon receiving this gaze calculation, the individual parameter calculation means determines the gaze conversion rules applied to the user from the coordinates of the plurality of reference points and the gaze calculated when the user gazes at the reference point. Therefore, the line-of-sight correction means corrects the calculated line-of-sight according to the user using the calculated conversion rule.
[0024]
In this way, in the gaze measurement apparatus of the present invention, the actual pupil is estimated from the pupil position observed from the outside, and the gaze direction is calculated from the estimated pupil position. Then, correction is performed for each individual so that the fovea of the eyeball and the external viewpoint coincide with the calculated line-of-sight direction.
[0025]
As a result, according to the line-of-sight measurement device of the present invention, the measurement error caused by the deviation of the pupil position observed from the outside world from the actual pupil position is eliminated, and the line-of-sight measurement is less likely to cause a measurement error. Is possible.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0027]
FIG. 1 illustrates an embodiment of a line-of-sight measurement apparatus according to the present invention.
[0028]
As shown in this figure, the line-of-sight measurement device of the present invention includes a near-infrared irradiation means 1 constituting an eyeball photographing means 12, an eyeball photographing camera 2 constituting a eyeball photographing means 12, a pupil contour detecting means 3, Pupil contour correcting means 4, Purkinje image detecting means 5, pupil center calculating means 6, line-of-sight vector calculating means 7, line-of-sight correcting means 8, individual parameter calculating means 9, individual parameter storing means 10, And an external storage device 11.
[0029]
Here, it is assumed that the user's eyeball is located in front of the eyeball camera 2 as shown in the figure.
[0030]
The near-infrared irradiation means 1 irradiates near-infrared rays toward the human eyeball from a near-infrared point light source of about 750 nm or a surface light source having a certain area that is difficult to be felt by human eyes.
[0031]
The eye photography camera 2 incorporates a CCD or the like capable of photographing near infrared light in order to photograph the eyeball irradiated with near infrared light.
[0032]
The eyeball image photographed by the eyeball photographing camera 2 includes a pupil contour 21 and a Purkinje image 22 as shown in FIG.
[0033]
The pupil contour detecting means 3 detects the pupil from the image photographed by the eyeball photographing camera 2 and obtains its contour.
[0034]
The pupil contour correcting means 4 corrects the refraction of the pupil on the corneal surface for the pupil contour detected by the pupil contour detecting means 3, and estimates the actual pupil contour position.
[0035]
The Purkinje image detection means 5 detects the Purkinje image 22 from the eyeball image photographed by the eyeball photographing camera 2. At the same time, the Purkinje image detection means 5 obtains the Purkinje image coordinates and the corneal curvature center coordinates in the three-dimensional space from the detected Purkinje image 22.
[0036]
The pupil center calculation means 6 calculates (detects) the pupil center from the pupil contour coordinates obtained by the pupil contour correction means 4.
[0037]
The line-of-sight vector calculation means 7 calculates the line-of-sight direction using the corneal curvature center coordinates detected by the Purkinje image detection means 5 and the pupil center detected by the pupil center calculation means 6.
[0038]
The line-of-sight correction unit 8 performs line-of-sight correction on the line-of-sight direction calculated by the line-of-sight vector calculation unit 7 using personal parameters.
[0039]
The individual parameter calculation means 9 calculates personal parameters used by the line-of-sight correction means 8.
[0040]
The individual parameter storage means 10 records the calculated personal parameters in the external storage device 11 (hard disk, memory, etc.) and reads them from the external storage device 11 as necessary.
[0041]
Each processing means described above (except for the near-infrared irradiation means 1 and the eyeball camera 2) can be specifically realized by a computer program, and this computer program is recorded on a recording medium such as a semiconductor memory. Can be provided.
[0042]
Next, the present invention will be described in detail by explaining each of these processing means.
[0043]
(A) Pupil Contour Detection Processing in Pupil Contour Detection Unit 3 FIG. 3 shows a flowchart of pupil contour detection processing in the pupil contour detection unit 3.
[0044]
As shown in FIG. 3, the pupil contour detection means 3 first performs segmentation by connecting regions darker than the periphery from the image captured by the eyeball camera 2 (state 301).
[0045]
Subsequently, the shape of each region is examined in each segmented region, and regions having shapes similar to the pupil are listed as candidates (state 302).
[0046]
Subsequently, an area closest to the shape of the pupil is selected from the listed candidate areas to be a pupil area (state 303).
[0047]
Subsequently, edge detection is performed on the obtained pupil region, and the contour coordinates p _i (i = 1 to n) of the pupil are obtained (state 304). As the number n of pupil contours to be obtained increases, the accuracy increases. However, it is sufficient to obtain about 5 to 40 points.
[0048]
In this way, the pupil contour detection means 3 performs processing so as to detect the pupil contour.
[0049]
(B) Purkinje image detection processing in the Purkinje image detection means 5 FIG. 4 shows a flowchart of the Purkinje image detection processing in the Purkinje image detection means 5.
[0050]
As shown in FIG. 4, the Purkinje image detection means 5 first acquires a predetermined human corneal curvature radius L, pupil radius R, and distance M from the corneal curvature center to the pupil center (state 501). ).
[0051]
That is, the corneal curvature radius L, the pupil radius R, and the distance M from the corneal curvature center to the pupil center shown in FIG. 5 are obtained in advance, and these are acquired.
[0052]
Here, since the line-of-sight vector is finally corrected by individual calibration described later, L, R, and M acquired at this time do not need to be those of the person who measures the line-of-sight, For example, it is sufficient to obtain an average value such as a Japanese average value, a male average value, or a female average value.
[0053]
Subsequently, for the image captured by the eyeball camera 2, areas with high luminance distributed in the vicinity of the pupil position obtained by the pupil contour detection means 3 are listed as candidate areas for the Purkinje image (state 502).
[0054]
Subsequently, an area closest to a predetermined shape and size is determined to be a Purkinje image from the listed candidate areas (state 503).
[0055]
Subsequently, the coordinates of the Purkinje image in the three-dimensional space are obtained (state 504). In order to obtain the coordinates U of the Purkinje image in the three-dimensional space from the position of the Purkinje image on the image, a method of performing stereo measurement using two or more eyeball cameras 2 or one eyeball camera 2 is used. Thus, a method for calculating the distance from the focal position is used.
[0056]
Subsequently, the corneal curvature center E in the three-dimensional space is calculated (state 505). Considering a straight line passing through the Purkinje image from the lens center of the eyeball camera 2, the position ahead of the position U of the Purkinje image by the corneal curvature radius L becomes the corneal curvature central coordinate E in the three-dimensional space. Accordingly, the corneal curvature center E is calculated.
[0057]
In this way, the Purkinje image detection means 5 detects the Purkinje image and uses it to process so as to calculate the coordinates of the corneal curvature center E.
[0058]
(C) Pupil contour correction processing in the pupil contour correcting means 4 The pupil contour correcting means 4 performs processing for estimating the correct pupil contour coordinates p ′ _i from the pupil contour coordinates p _i detected by the pupil contour detecting means 3.
[0059]
Since light refraction occurs on the surface of the human cornea, the pupil image captured by the eyeball camera 2 is shifted from the actual pupil image position. Therefore, when the line-of-sight direction is calculated from the pupil image captured by the eyeball camera 2, the line-of-sight is calculated in a direction deviating from the actual line-of-sight direction.
[0060]
Therefore, the pupil contour correcting unit 4 performs a process of estimating correct pupil contour coordinates by performing correction in consideration of refraction on the corneal surface.
[0061]
FIG. 6 shows a flowchart of pupil contour correction processing in the pupil contour correcting means 4. FIG. 7 shows a schematic diagram of refraction on the corneal surface, and FIG. 8 shows a schematic diagram of a pupil cross section.
[0062]
In this pupil contour correction process, the fact that the Purkinje image photographed by the eyeball camera 2 and the pupil contour image are included in the same plane is used.
[0063]
As shown in FIG. 6, the pupil contour correcting unit 4 first obtains a plane S including the Purkinje image and the pupil contour image from the coordinates U of the Purkinje image in the three-dimensional space (state 401). That is, the plane S shown in FIGS. 7 and 8 is obtained.
[0064]
Subsequently, an intersection point Q between the straight line directed from the eyeball camera 2 toward the pupil contour image included in the plane S and the corneal surface is obtained (state 402).
[0065]
If the direction vector of this straight line is represented as <q>, as shown in FIG. 8, the intersection point Q between the vector <q> and the corneal surface is obtained. At this time, refraction occurs mainly at the position of Q.
[0066]
Subsequently, a direction vector <e> from the corneal curvature center E to Q is obtained (state 403). That is, as shown in FIG. 7, the direction vector <e> from the corneal curvature center E to Q is obtained.
[0067]
The refraction at Q can be considered as the refraction generated by the incidence of light on a plane where the vector <e> is a normal vector.
[0068]
Therefore, subsequently, using the refractive index n _{1 of the} air outside the cornea and the refractive index n ₂ of the aqueous humor in the cornea, from the vector <e> and the vector <q>, a directional vector <q ′ after refraction. > Is obtained (state 404). That is, as shown in FIG. 8, the direction vector <q ′> after refraction is obtained.
[0069]
Subsequently, using the distance N from the corneal curvature center E to the pupil contour, the pupil radius R and the distance M from the corneal curvature center E to the pupil center,
N = (M ² + R ² ) ^1/2
As shown in FIG. 8, a point on the directional vector <q ′> after refraction and having a distance N from the corneal curvature center E is the pupil outline coordinate p ′ after refraction correction. _i is calculated (state 405).
[0070]
In this way, the pupil contour correcting means 4 performs processing so as to estimate the correct pupil contour coordinate p ′ _i .
[0071]
(D) Line-of-sight vector calculation processing in line-of-sight vector calculation means 7 In line-of-sight vector calculation means 7, the position of the corneal curvature center E in three-dimensional coordinates (obtained from the position of the Purkinje image and the corneal curvature radius) and pupil contour correction From the corrected pupil outline coordinate set {p ′ _i } obtained by the means 4, a process of calculating a line-of-sight vector is performed.
[0072]
FIG. 9 shows a flow chart of the gaze vector calculation process in the gaze vector calculation means 7.
[0073]
As shown in FIG. 9, the line-of-sight vector calculation means 7 first obtains the pupil center P in the three-dimensional space from the corrected set of pupil contour coordinates {p ′ _i } by a technique such as ellipse approximation. (State of 701).
[0074]
Subsequently, a direction vector <g> passing through the pupil center P and the corneal curvature center E is obtained in the three-dimensional space (state 702).
[0075]
If the position vector of the pupil center P is represented by <P> and the position vector of the corneal curvature center E by <E>, the vector <g>
<G> = <P>-<E>
It is obtained by. The direction vector <g> obtained by this procedure is defined as a line-of-sight vector.
[0076]
Furthermore, if the position vector of the Purkinje image U is represented by <U>, the straight line H representing the line-of-sight direction is
<U> + m ・ <g>
It is determined. However, m is a parameter (m> 0), and an arbitrary point on the straight line H can be obtained by specifying m.
[0077]
In this way, the line-of-sight vector calculation means 7 performs processing so as to calculate the line-of-sight direction H according to the direction vector passing through the pupil center and the corneal curvature center E obtained from the corrected pupil contour coordinates.
[0078]
(E) Line-of-sight vector correction processing in the line-of-sight correction means 8 The line-of-sight correction means 8 obtains the line of sight from the line-of-sight direction H obtained by the line-of-sight vector calculation means 7, and further performs correction based on personal parameters.
[0079]
An intersection point between the plane T viewed by the user and the line-of-sight direction H is defined as a line of sight V (x, y, z). At this time, for example, when obtaining the line of sight V when looking at the front display, the plane including the display surface is represented by T, and the parameter m at the intersection of T and H may be obtained.
[0080]
Hereinafter, an exemplary embodiment for obtaining the corrected line of sight W with respect to the line of sight V thus obtained will be described.
[0081]
The corrected line of sight W is obtained, for example, by moving and scaling the original line of sight V in the vertical and horizontal directions.
[0082]
there,
[0083]
[Expression 1]

[0084]
The homogeneous vector of the position vector of the line of sight V defined by
[0085]
[Expression 2]

[0086]
Represented by
[0087]
[Equation 3]

[0088]
A homogeneous vector of the position vector of the line of sight W after correction defined by
[0089]
[Expression 4]

[0090]
Represented by
[0091]
At this time, if the individual parameter is represented by a homogeneous matrix H, the homogeneous vector of the position vector of the line of sight W after correction is
[0092]
[Equation 5]

[0093]
Is required.
[0094]
However, since the corrected line of sight W is obtained by moving and scaling the original line of sight V, the homogeneous matrix H is
[0095]
[Formula 6]

[0096]
It becomes.
[0097]
The corrected line of sight W is obtained from the equation [5] obtained in this way.
[0098]
The individual parameter H is obtained by the individual parameter calculation unit 9 when the user first uses the present invention, and is stored in the external storage device 11 such as a disk or a memory by the individual parameter storage unit 10. .
[0099]
Then, when the same person uses the present invention next time, the individual parameter H stored in the external storage device 11 is read, so that the line-of-sight measurement can be performed without obtaining a new individual parameter.
[0100]
The individual parameter H can be calculated using the coordinates of the reference point viewed at that time and the actually obtained line-of-sight data when the user sequentially looks at the plurality of reference points. For example, the individual parameter H may be obtained by the least square method or the like from the coordinates of the reference point when viewing two or more reference points and the line of sight when viewing the reference point.
[0101]
FIG. 10 shows an example of a method for calculating the personal parameter H.
[0102]
When the user 805 gazes two or more n reference points 801 arranged on the display 802, the line-of-sight data obtained at that time is set as a gaze point 804. At this time, the coordinates of the i-th reference point are set as M _i (x, y), and the line-of-sight data at that time is set as G _i (x, y).
[0103]
At this time, paying attention only to the X coordinate of the line-of-sight data,
M ₁ (x) = G ₁ (x) · a ₁ + a ₃ + E ₁ (x)
M ₂ (x) = G ₂ (x) · a ₁ + a ₃ + E ₂ (x)
・
・
・
M _n (x) = G _n (x) · a ₁ + a ₃ + E _n (x)
It can be shown. E _i (x) is an error component in the X direction when the i-th reference point is viewed.
[0104]
At this time, the sum of squares of the error component E _i (x)
[Expression 7]

[0106]
A ₁ and a ₃ are determined by the method of least squares so that is minimized.
[0107]
By calculating similarly for the Y coordinate, a ₂ and a ₄ can be obtained.
[0108]
In this way, the individual parameter calculation unit 9 calculates the individual parameter H, and in response to this, the gaze correction unit 8 obtains the gaze direction obtained by the gaze vector calculation unit 7 according to the formula [5]. Therefore, the correction is performed by the individual parameter H.
[0109]
【The invention's effect】
As described above, in the present invention, a human pupil and a Purkinje image are detected, refraction is corrected, and the line-of-sight direction is calculated. Further, individual calibration is performed to correct the line-of-sight direction for each individual.
[0110]
As a result, it is possible to measure the line of sight with high accuracy. The distance between each point is a uniform grid. Therefore, in the correction process, a highly accurate line-of-sight position can be obtained simply by performing primary conversion of the gaze direction.
[0111]
As for the measurement accuracy of the line of sight, the problem that the measurement accuracy is low at a specific position on the screen but is low at another point is also avoided.
[0112]
In addition, once the individual parameters are calculated, they can be reused by the same user, so that it is possible to omit the labor of calibration before the line-of-sight measurement every time.
[Brief description of the drawings]
FIG. 1 is an example of an embodiment of the present invention.
FIG. 2 is a schematic diagram of an eyeball imaged by an eyeball camera.
FIG. 3 is a flowchart of processing of pupil contour detection means.
FIG. 4 is a flowchart of processing performed by a Purkinje image detection unit.
FIG. 5 is a schematic diagram of an eyeball.
FIG. 6 is a flowchart of processing of a pupil contour correcting unit.
FIG. 7 is a schematic diagram of refraction at the corneal surface.
FIG. 8 is a schematic view of a pupil cross section.
FIG. 9 is a flowchart of processing of a line-of-sight vector calculating unit.
FIG. 10 is an explanatory diagram of individual parameter calculation processing;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Near-infrared irradiation means 2 Eyeball camera 3 Pupil outline detection means 4 Pupil outline correction means 5 Purkinje image detection means 6 Pupil center calculation means 7 Gaze vector calculation means 8 Gaze correction means 9 Individual parameter calculation means 10 Individual parameter storage Means 11 External storage device 12 Eyeball photographing means

Claims

Eyeball photographing means for photographing the user's eyeball;
Pupil position detection means for detecting an apparent pupil position from an image captured by the eyeball imaging means;
From the apparent pupil position detected by the pupil position detection means, considering the refraction in the cornea, the pupil position estimation means for estimating the actual pupil position;
A reflected image detecting means for detecting a reflected image of external light on the cornea surface from an image taken by the eyeball photographing means;
Line-of-sight calculating means for calculating the line of sight of the user from the pupil position estimated by the pupil position estimating means and the reflected image detected by the reflected image detecting means;
Line-of-sight correction means for correcting the line of sight calculated by the line-of-sight calculation means according to the user who is the calculation target of the line of sight,
Characteristic eye gaze measuring device.

The line-of-sight measurement apparatus according to claim 1.
The eyeball photographing means includes
Near-infrared irradiation means for irradiating near-infrared rays from the outside of the eyeball;
Having a near-infrared camera for photographing the pupil,
Characteristic eye gaze measuring device.

In the line-of-sight measurement apparatus according to claim 1 or 2,
The pupil position estimating means calculates a refraction direction of light directed from the eyeball photographing means to the apparent pupil position, is located on the refraction direction, and is located at a specified distance from the corneal curvature center. Estimating the actual pupil position by finding the contour coordinates,
Characteristic eye gaze measuring device.

The line-of-sight measurement device according to claim 3,
The pupil position estimating means calculates the distance between the corneal curvature center and the pupil contour using the pupil radius given in advance and the distance between the corneal curvature center given beforehand and the pupil center, Estimating the actual pupil position using the calculated distance and the position of the corneal curvature center calculated from the reflected image and the corneal curvature radius given in advance,
Characteristic eye gaze measuring device.

The line-of-sight measurement apparatus according to any one of claims 1 to 4,
Individual parameter calculation means for calculating a line-of-sight conversion rule applied to the user from the coordinates of the plurality of reference points and the line of sight calculated by the line-of-sight calculation means when the user gazes at the reference point ,
The line-of-sight correction means corrects the line of sight calculated by the line-of-sight calculation means using the conversion protocol.
Characteristic eye gaze measuring device.

The line-of-sight measurement device according to claim 5.
The conversion rule calculated by the individual parameter calculation means is stored in an external storage device, and the individual parameter storage means for reading the conversion rule from the external storage device when the same user is to be measured next. The
Characteristic eye gaze measuring device.

A line-of-sight measurement method executed by a line-of-sight measurement device comprising eyeball imaging means, pupil position detection means, pupil position estimation means, reflected image detection means, line-of-sight calculation means, and line-of-sight correction means,
The eyeball shooting means is to shoot the eye of a Subscriber,
It said pupil position detection means, from the captured image of the eye ball shooting means, it detects the pupil position of the apparent
The pupil position estimating means, the pupil position of an apparent it detects the pupil position detecting means, by considering the refraction at the cornea, and estimate the actual pupil position,
The reflected image detection means, from the images taken of the upper Symbol eye imaging means, it detects the reflected image of the external light on the corneal surface,
The sight calculating means, the pupil position was estimated boss of the pupil position estimation means, and a reflected image has detected the reflected image detection unit issues calculate the line of sight of the user,
The line-of-sight correction means, the calculated out line-of-sight of the line-of-sight calculating means, and Turkey be corrected in accordance with the user who has become a calculation target of the line-of-sight,
A characteristic gaze measurement method.

The line-of-sight measurement method according to claim 7,
The pupil position estimating means calculates the refraction direction of light traveling from the upper Symbol eye imaging means to the pupil position of the apparent, located on the refraction direction and located at a defined distance from the center of corneal curvature To estimate the actual pupil position by finding the contour coordinates to
A characteristic gaze measurement method.

The line-of-sight measurement method according to claim 8.
The pupil position estimation means, using the pupil radius given Me pre, and the distance between the center of corneal curvature and pupil center previously given, by calculating the distance between the center of corneal curvature and pupil contours, Estimating the actual pupil position using the calculated distance and the position of the corneal curvature center calculated from the reflected image and the corneal curvature radius given in advance,
A characteristic gaze measurement method.

The line-of-sight measurement method according to any one of claims 7 to 9,
In the case with the line-of-sight measurement device further personalized parameter calculating means calculates, individual human-specific parameter calculating means, the coordinates of the reference point of the multiple, by the line of sight calculating means when the user it has gaze from a line-of-sight to be, out calculate the conversion terms of the line-of-sight to be applied to the user,
The line-of-sight correction means, using the above Symbol conversion rule, so as to correct the calculated view line of the line-of-sight calculating means,
A characteristic gaze measurement method.

The line-of-sight measurement method according to claim 10.
In the case with a more personalized parameter storage means the visual line measuring device, individual human-specific parameter storage unit stores the conversion terms calculated for the individual-specific parameter calculating means in the external storage device, then the same use when a person is measured, and the score read out the conversion rule from the external storage device,
A characteristic gaze measurement method.

A line-of-sight measurement program for causing a computer to execute processing used to realize the line-of-sight measurement method according to claim 7.

A recording medium for a line-of-sight measurement program in which a program for causing a computer to execute processing used to realize the line-of-sight measurement method according to claim 7 is recorded.