JP2003079577A - 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 - Google Patents
視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体Info
- Publication number
- JP2003079577A JP2003079577A JP2001276169A JP2001276169A JP2003079577A JP 2003079577 A JP2003079577 A JP 2003079577A JP 2001276169 A JP2001276169 A JP 2001276169A JP 2001276169 A JP2001276169 A JP 2001276169A JP 2003079577 A JP2003079577 A JP 2003079577A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- pupil
- calculated
- pupil position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Complex Calculations (AREA)
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【課題】本発明は、利用者に負担をかけずに、かつ、特
別な装置を装着することなく注視方向を測定できるよう
にする視線測定技術の構築を目的とする。 【解決手段】カメラの画像から見かけの瞳孔位置を検出
し、カメラからその見かけの瞳孔位置へ向かう光の屈折
方向を算出して、その屈折方向上に位置し、かつ、角膜
曲率中心から規定の距離の所に位置する輪郭座標を求め
ることで、実際の瞳孔位置を推定する。そして、角膜表
面における外部光の反射像を検出し、カメラの中心とそ
の反射像とを通る直線上で、かつ、その反射像よりも角
膜曲率半径だけ先に位置する角膜曲率中心の位置を検出
する。そして、実際の瞳孔位置から瞳孔中心を検出し、
それと角膜曲率中心とを結ぶ直線に従って利用者の視線
を算出する。そして、複数の基準点の座標とそれを利用
者が注視したときに算出される視線とから視線の変換規
約を算出し、それを使って視線を補正する。
別な装置を装着することなく注視方向を測定できるよう
にする視線測定技術の構築を目的とする。 【解決手段】カメラの画像から見かけの瞳孔位置を検出
し、カメラからその見かけの瞳孔位置へ向かう光の屈折
方向を算出して、その屈折方向上に位置し、かつ、角膜
曲率中心から規定の距離の所に位置する輪郭座標を求め
ることで、実際の瞳孔位置を推定する。そして、角膜表
面における外部光の反射像を検出し、カメラの中心とそ
の反射像とを通る直線上で、かつ、その反射像よりも角
膜曲率半径だけ先に位置する角膜曲率中心の位置を検出
する。そして、実際の瞳孔位置から瞳孔中心を検出し、
それと角膜曲率中心とを結ぶ直線に従って利用者の視線
を算出する。そして、複数の基準点の座標とそれを利用
者が注視したときに算出される視線とから視線の変換規
約を算出し、それを使って視線を補正する。
Description
【０００１】
【発明の属する技術分野】本発明は、利用者の注視方向
を測定する視線測定装置及びその方法と、その視線測定
方法の実現に用いられる視線測定プログラム及びそのプ
ログラムを記録した記録媒体とに関し、特に、利用者に
負担をかけずに、かつ、頭部に特別な装置を装着するこ
となく利用者の注視方向を測定できるようにする視線測
定装置及びその方法と、その視線測定方法の実現に用い
られる視線測定プログラム及びそのプログラムを記録し
た記録媒体とに関する。
を測定する視線測定装置及びその方法と、その視線測定
方法の実現に用いられる視線測定プログラム及びそのプ
ログラムを記録した記録媒体とに関し、特に、利用者に
負担をかけずに、かつ、頭部に特別な装置を装着するこ
となく利用者の注視方向を測定できるようにする視線測
定装置及びその方法と、その視線測定方法の実現に用い
られる視線測定プログラム及びそのプログラムを記録し
た記録媒体とに関する。
【０００２】身体にハンディキャップを持つ人がコンピ
ュータを利用できるようにするためなどの理由から、視
線を用いてコンピュータを操作する視線インタフェース
に関する研究が進められている。この視線インタフェー
スでは、例えばコンピュータの画面上にメニューやボタ
ンやアイコンなどを表示し、視線でそれを選択・操作す
ることにより、コンピュータを利用できるようにしてい
る。
ュータを利用できるようにするためなどの理由から、視
線を用いてコンピュータを操作する視線インタフェース
に関する研究が進められている。この視線インタフェー
スでは、例えばコンピュータの画面上にメニューやボタ
ンやアイコンなどを表示し、視線でそれを選択・操作す
ることにより、コンピュータを利用できるようにしてい
る。
【０００３】このような視線インタフェースを実用的な
ものとするためには、利用者に負担をかけずに、かつ、
頭部に特別な装置を装着することなく利用者の視線方向
を測定できるようにする技術の構築が叫ばれている。
ものとするためには、利用者に負担をかけずに、かつ、
頭部に特別な装置を装着することなく利用者の視線方向
を測定できるようにする技術の構築が叫ばれている。
【０００４】
【従来の技術】従来の技術では、利用者からある程度離
れた距離（50cm〜100cm 程度）の位置に近赤外線光源お
よびカメラを設置して、角膜表面における近赤外線光源
の反射光（プルキニエ像）および瞳孔を撮影し、その方
向から利用者の視線方向を算出するようにしていた。
れた距離（50cm〜100cm 程度）の位置に近赤外線光源お
よびカメラを設置して、角膜表面における近赤外線光源
の反射光（プルキニエ像）および瞳孔を撮影し、その方
向から利用者の視線方向を算出するようにしていた。
【０００５】視線方向を算出するためには、３次元空間
上における視線ベクトルおよび視線ベクトルの始点（以
下、基準点と称する）を得る必要がある。
上における視線ベクトルおよび視線ベクトルの始点（以
下、基準点と称する）を得る必要がある。
【０００６】従来の技術では、基準点については、プル
キニエ像の位置から算出したり、あるいは利用者の頭部
や眼鏡にマーカーを装着し、マーカーからの相対位置を
与えることにより算出する技術が用いられてきた。また
視線ベクトルについては、例えば３次元空間における瞳
孔とプルキニエ像を求め、それらの位置から算出すると
いう技術が用いられてきた。
キニエ像の位置から算出したり、あるいは利用者の頭部
や眼鏡にマーカーを装着し、マーカーからの相対位置を
与えることにより算出する技術が用いられてきた。また
視線ベクトルについては、例えば３次元空間における瞳
孔とプルキニエ像を求め、それらの位置から算出すると
いう技術が用いられてきた。
【０００７】なお、以下の説明では、視線測定装置にお
いて視線補正手段を用いずにシステムが算出した視線方
向を「システム算出視線方向」と呼び、利用者が実際に
見ている方向を「注視方向」と呼ぶ。
いて視線補正手段を用いずにシステムが算出した視線方
向を「システム算出視線方向」と呼び、利用者が実際に
見ている方向を「注視方向」と呼ぶ。
【０００８】システム算出視線方向はそのままでは注視
方向とのずれが大きいため、個人キャリブレーションに
よってシステム算出視線方向を注視方向に一致させるた
めの処理をおこなっている。以下の説明では、個人キャ
リブレーション後の視線方向を「システム補正視線方
向」と呼ぶ。
方向とのずれが大きいため、個人キャリブレーションに
よってシステム算出視線方向を注視方向に一致させるた
めの処理をおこなっている。以下の説明では、個人キャ
リブレーション後の視線方向を「システム補正視線方
向」と呼ぶ。
【０００９】
【発明が解決しようとする課題】システム補正視線方向
は、利用者が眼球を上下左右に動かしてあちこちを見る
場合のいずれの場合においても、注視方向と一致してい
る必要がある。しかしながら、従来の技術では以下の問
題があった。
は、利用者が眼球を上下左右に動かしてあちこちを見る
場合のいずれの場合においても、注視方向と一致してい
る必要がある。しかしながら、従来の技術では以下の問
題があった。
【００１０】（１）システム算出視線方向が注視方向と
大きくずれている場合、想定した補正処理では十分に補
正することができず、特定の方向に対しては正しく補正
できるものの、別の方向に対しては十分な補正がおこな
われず、大きな測定誤差が発生する場合があった。
大きくずれている場合、想定した補正処理では十分に補
正することができず、特定の方向に対しては正しく補正
できるものの、別の方向に対しては十分な補正がおこな
われず、大きな測定誤差が発生する場合があった。
【００１１】（２）測定開始直後は正しく補正されるも
のの、利用者の眼球位置が変化した場合に十分な補正が
おこなわれず、測定誤差が拡大する場合があった。
のの、利用者の眼球位置が変化した場合に十分な補正が
おこなわれず、測定誤差が拡大する場合があった。
【００１２】これら測定誤差に関する問題は、精度の高
い視線測定をおこなう上で大きな問題となっていた。
い視線測定をおこなう上で大きな問題となっていた。
【００１３】これらの測定誤差の大きな原因の一つとし
て、利用者の角膜表面における屈折がある。この屈折を
考慮しないと、外界から観測した瞳孔の位置が実際の瞳
孔の位置に対してずれを生じる。
て、利用者の角膜表面における屈折がある。この屈折を
考慮しないと、外界から観測した瞳孔の位置が実際の瞳
孔の位置に対してずれを生じる。
【００１４】従来の技術では、この屈折を考慮していな
いことから、外界から観測した瞳孔の位置を利用して視
線を算出した場合、システム算出視線方向に必ず測定誤
差が発生した。
いことから、外界から観測した瞳孔の位置を利用して視
線を算出した場合、システム算出視線方向に必ず測定誤
差が発生した。
【００１５】特に、カメラの光軸方向に対して利用者の
眼球方向が変化した場合、角膜表面における光の入射角
が変化するため、瞳孔の位置のずれの割合が変化し、ず
れが一定でなくなる。このずれを補正するためには２次
関数以上の高次関数を利用した個人キャリブレーション
をおこなう必要があるが、そのとき、利用者によっては
想定した関数でずれを正しく近似できず、上記の問題
（１）および（２）が発生した。
眼球方向が変化した場合、角膜表面における光の入射角
が変化するため、瞳孔の位置のずれの割合が変化し、ず
れが一定でなくなる。このずれを補正するためには２次
関数以上の高次関数を利用した個人キャリブレーション
をおこなう必要があるが、そのとき、利用者によっては
想定した関数でずれを正しく近似できず、上記の問題
（１）および（２）が発生した。
【００１６】従来技術における異なるアプローチとし
て、「Sheng-Wen Shih,Yu-Te Wu andJin Liu:"A Calibr
ation-Free Gaze Tracking Technique", Proceedings o
f theInternational Conference on Pattern Recogniti
on (ICPR'00),2000 」で報告されているように、外界か
ら複数のカメラおよび光源を用いて眼球の形状を計測
し、屈折補正を考慮した上で、キャリブレーションをお
こなわずに視線計測をおこなう手法が提案されている。
て、「Sheng-Wen Shih,Yu-Te Wu andJin Liu:"A Calibr
ation-Free Gaze Tracking Technique", Proceedings o
f theInternational Conference on Pattern Recogniti
on (ICPR'00),2000 」で報告されているように、外界か
ら複数のカメラおよび光源を用いて眼球の形状を計測
し、屈折補正を考慮した上で、キャリブレーションをお
こなわずに視線計測をおこなう手法が提案されている。
【００１７】この手法は、外部からの眼球形状の測定に
たよるため、視線方向を角膜曲率中心と瞳孔中心とを結
ぶベクトルと仮定することになっている。しかしながら
真の視線ベクトルは、網膜上の中心窩と外部の視点とを
結ぶベクトルであり、従ってこれを測定する方法は知ら
れていない。
たよるため、視線方向を角膜曲率中心と瞳孔中心とを結
ぶベクトルと仮定することになっている。しかしながら
真の視線ベクトルは、網膜上の中心窩と外部の視点とを
結ぶベクトルであり、従ってこれを測定する方法は知ら
れていない。
【００１８】本発明はかかる事情に鑑みてなされたもの
であって、利用者に負担をかけずに、かつ、頭部に特別
な装置を装着することなく利用者の注視方向を測定でき
るようにする新たな視線測定技術の構築を目的とする。
であって、利用者に負担をかけずに、かつ、頭部に特別
な装置を装着することなく利用者の注視方向を測定でき
るようにする新たな視線測定技術の構築を目的とする。
【００１９】
【課題を解決するための手段】この目的を達成するため
に、本発明の視線測定装置では、利用者の眼球を撮影
する眼球撮影手段と、眼球撮影手段の撮影した画像か
ら、見かけの瞳孔位置を検出する瞳孔位置検出手段と、
瞳孔位置検出手段の検出した見かけの瞳孔位置から、
角膜における屈折を考慮することで、実際の瞳孔位置を
推定（補正）する瞳孔位置推定手段と、眼球撮影手段
の撮影した画像から、角膜表面における外部光の反射像
を検出する反射像検出手段と、瞳孔位置推定手段の推
定した瞳孔位置と、反射像検出手段の検出した反射像と
から、利用者の視線を算出する視線算出手段と、複数
の基準点の座標と、それを利用者が注視したときに視線
算出手段により算出される視線とから、その利用者に適
用される視線の変換規約を算出する個人別パラメータ算
出手段と、視線算出手段の算出した視線を、個人別パ
ラメータ算出手段の算出した変換規約を使って利用者に
合わせて補正する視線補正手段と、個人別パラメータ
算出手段の算出した変換規約を外部記憶装置に保存し、
次に同じ利用者が測定対象となるときに、その変換規約
をその外部記憶装置から読み出す個人別パラメータ保存
手段とを備えるように構成する。
に、本発明の視線測定装置では、利用者の眼球を撮影
する眼球撮影手段と、眼球撮影手段の撮影した画像か
ら、見かけの瞳孔位置を検出する瞳孔位置検出手段と、
瞳孔位置検出手段の検出した見かけの瞳孔位置から、
角膜における屈折を考慮することで、実際の瞳孔位置を
推定（補正）する瞳孔位置推定手段と、眼球撮影手段
の撮影した画像から、角膜表面における外部光の反射像
を検出する反射像検出手段と、瞳孔位置推定手段の推
定した瞳孔位置と、反射像検出手段の検出した反射像と
から、利用者の視線を算出する視線算出手段と、複数
の基準点の座標と、それを利用者が注視したときに視線
算出手段により算出される視線とから、その利用者に適
用される視線の変換規約を算出する個人別パラメータ算
出手段と、視線算出手段の算出した視線を、個人別パ
ラメータ算出手段の算出した変換規約を使って利用者に
合わせて補正する視線補正手段と、個人別パラメータ
算出手段の算出した変換規約を外部記憶装置に保存し、
次に同じ利用者が測定対象となるときに、その変換規約
をその外部記憶装置から読み出す個人別パラメータ保存
手段とを備えるように構成する。
【００２０】このように構成される本発明の視線測定装
置では、瞳孔位置検出手段により見かけの瞳孔位置が検
出されると、瞳孔位置推定手段は、眼球撮影手段からそ
の見かけの瞳孔位置へ向かう光の屈折方向を算出して、
その屈折方向上に位置し、かつ、角膜曲率中心から規定
の距離の所に位置する輪郭座標を求めることで、実際の
瞳孔位置を推定する。
置では、瞳孔位置検出手段により見かけの瞳孔位置が検
出されると、瞳孔位置推定手段は、眼球撮影手段からそ
の見かけの瞳孔位置へ向かう光の屈折方向を算出して、
その屈折方向上に位置し、かつ、角膜曲率中心から規定
の距離の所に位置する輪郭座標を求めることで、実際の
瞳孔位置を推定する。
【００２１】一方、反射像検出手段は、角膜表面におけ
る外部光の反射像を検出し、これにより、眼球撮影手段
の中心とその反射像とを通る直線上で、かつ、その反射
像よりも角膜曲率半径だけ先に位置する角膜曲率中心の
位置が検出されることになる。
る外部光の反射像を検出し、これにより、眼球撮影手段
の中心とその反射像とを通る直線上で、かつ、その反射
像よりも角膜曲率半径だけ先に位置する角膜曲率中心の
位置が検出されることになる。
【００２２】これから、視線算出手段は、その検出され
た実際の瞳孔位置から瞳孔中心を検出して、その検出し
た瞳孔中心とその検出された角膜曲率中心とを結ぶ直線
に従って、利用者の視線を算出する。
た実際の瞳孔位置から瞳孔中心を検出して、その検出し
た瞳孔中心とその検出された角膜曲率中心とを結ぶ直線
に従って、利用者の視線を算出する。
【００２３】この視線の算出を受けて、個人別パラメー
タ算出手段は、複数の基準点の座標と、それを利用者が
注視したときに算出される視線とから、その利用者に適
用される視線の変換規約を算出するので、視線補正手段
は、算出された視線を、この算出された変換規約を使っ
て利用者に合わせて補正する。
タ算出手段は、複数の基準点の座標と、それを利用者が
注視したときに算出される視線とから、その利用者に適
用される視線の変換規約を算出するので、視線補正手段
は、算出された視線を、この算出された変換規約を使っ
て利用者に合わせて補正する。
【００２４】このようにして、本発明の視線測定装置で
は、外界から観察した瞳孔位置から実際の瞳孔を推定
し、その推定した瞳孔位置から視線方向を算出する。そ
して、その算出した視線方向に対して、眼球の中心窩と
外部の視点とが一致するように個人別に補正をおこな
う。
は、外界から観察した瞳孔位置から実際の瞳孔を推定
し、その推定した瞳孔位置から視線方向を算出する。そ
して、その算出した視線方向に対して、眼球の中心窩と
外部の視点とが一致するように個人別に補正をおこな
う。
【００２５】その結果、本発明の視線測定装置によれ
ば、外界から観測した瞳孔の位置が実際の瞳孔の位置に
対してずれていることにより発生する測定誤差が解消さ
れ、測定誤差の発生しにくい視線測定が可能となる。
ば、外界から観測した瞳孔の位置が実際の瞳孔の位置に
対してずれていることにより発生する測定誤差が解消さ
れ、測定誤差の発生しにくい視線測定が可能となる。
【００２６】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。
の形態について説明する。
【００２７】図１に、本発明の視線測定装置の一実施形
態例を図示する。
態例を図示する。
【００２８】この図に示すように、本発明の視線測定装
置は、眼球撮影手段１２を構成する近赤外線照射手段１
と、眼球撮影手段１２を構成する眼球撮影用カメラ２
と、瞳孔輪郭検出手段３と、瞳孔輪郭補正手段４と、プ
ルキニエ像検出手段５と、瞳孔中心算出手段６と、視線
ベクトル算出手段７と、視線補正手段８と、個人別パラ
メータ算出手段９と、個人別パラメータ保存手段１０
と、外部記憶装置１１とを備える。
置は、眼球撮影手段１２を構成する近赤外線照射手段１
と、眼球撮影手段１２を構成する眼球撮影用カメラ２
と、瞳孔輪郭検出手段３と、瞳孔輪郭補正手段４と、プ
ルキニエ像検出手段５と、瞳孔中心算出手段６と、視線
ベクトル算出手段７と、視線補正手段８と、個人別パラ
メータ算出手段９と、個人別パラメータ保存手段１０
と、外部記憶装置１１とを備える。
【００２９】ここで、図中に示すように、利用者の眼球
は眼球撮影用カメラ２の前方に位置するものとする。
は眼球撮影用カメラ２の前方に位置するものとする。
【００３０】近赤外線照射手段１では、人の目に感じに
くい７５０ｎｍ程度の近赤外線の点光源あるいは一定面
積を持つ面光源から、近赤外線を人の眼球方向に向けて
照射する。
くい７５０ｎｍ程度の近赤外線の点光源あるいは一定面
積を持つ面光源から、近赤外線を人の眼球方向に向けて
照射する。
【００３１】眼球撮影用カメラ２では、近赤外線が照射
された眼球を撮影するために、近赤外光を撮影可能なＣ
ＣＤ等を内蔵する。
された眼球を撮影するために、近赤外光を撮影可能なＣ
ＣＤ等を内蔵する。
【００３２】この眼球撮影用カメラ２で撮影される眼球
像には、図２に示すように、瞳孔輪郭２１およびプルキ
ニエ像２２が含まれる。
像には、図２に示すように、瞳孔輪郭２１およびプルキ
ニエ像２２が含まれる。
【００３３】瞳孔輪郭検出手段３では、眼球撮影用カメ
ラ２で撮影された画像から瞳孔を検出し、その輪郭を求
める。
ラ２で撮影された画像から瞳孔を検出し、その輪郭を求
める。
【００３４】瞳孔輪郭補正手段４では、瞳孔輪郭検出手
段３によって検出された瞳孔輪郭について、角膜表面に
おける瞳孔の屈折を補正し、実際の瞳孔輪郭位置を推定
する。
段３によって検出された瞳孔輪郭について、角膜表面に
おける瞳孔の屈折を補正し、実際の瞳孔輪郭位置を推定
する。
【００３５】プルキニエ像検出手段５では、眼球撮影用
カメラ２によって撮影された眼球像からプルキニエ像２
２を検出する。それと同時に、プルキニエ像検出手段５
では、検出されたプルキニエ像２２から、３次元空間中
のプルキニエ像座標および角膜曲率中心座標を求める。
カメラ２によって撮影された眼球像からプルキニエ像２
２を検出する。それと同時に、プルキニエ像検出手段５
では、検出されたプルキニエ像２２から、３次元空間中
のプルキニエ像座標および角膜曲率中心座標を求める。
【００３６】瞳孔中心算出手段６では、瞳孔輪郭補正手
段４によって得られた瞳孔輪郭座標から、瞳孔中心を算
出（検出）する。
段４によって得られた瞳孔輪郭座標から、瞳孔中心を算
出（検出）する。
【００３７】視線ベクトル算出手段７では、プルキニエ
像検出手段５で検出した角膜曲率中心座標と、瞳孔中心
算出手段６で検出した瞳孔中心とを用いて、視線方向を
算出する。
像検出手段５で検出した角膜曲率中心座標と、瞳孔中心
算出手段６で検出した瞳孔中心とを用いて、視線方向を
算出する。
【００３８】視線補正手段８では、視線ベクトル算出手
段７によって算出された視線方向に対して、個人パラメ
ータを用いて視線補正をおこなう。
段７によって算出された視線方向に対して、個人パラメ
ータを用いて視線補正をおこなう。
【００３９】個人別パラメータ算出手段９では、視線補
正手段８で利用する個人パラメータの算出をおこなう。
正手段８で利用する個人パラメータの算出をおこなう。
【００４０】個人別パラメータ保存手段１０では、算出
された個人パラメータを外部記憶装置１１（ハードディ
スク、メモリなど）に記録し、必要に応じて外部記憶装
置１１から読み出す。
された個人パラメータを外部記憶装置１１（ハードディ
スク、メモリなど）に記録し、必要に応じて外部記憶装
置１１から読み出す。
【００４１】以上に説明した各処理手段（近赤外線照射
手段１および眼球撮影用カメラ２を除く）は、具体的に
はコンピュータプログラムで実現できるものであり、こ
のコンピュータプログラムは、半導体メモリなどの記録
媒体に記録して提供することができる。
手段１および眼球撮影用カメラ２を除く）は、具体的に
はコンピュータプログラムで実現できるものであり、こ
のコンピュータプログラムは、半導体メモリなどの記録
媒体に記録して提供することができる。
【００４２】次に、これらの各処理手段について説明す
ることで、本発明について詳細に説明する。
ることで、本発明について詳細に説明する。
【００４３】（イ）瞳孔輪郭検出手段３における瞳孔輪
郭の検出処理 図３に、瞳孔輪郭検出手段３における瞳孔輪郭の検出処
理の流れ図を示す。
郭の検出処理 図３に、瞳孔輪郭検出手段３における瞳孔輪郭の検出処
理の流れ図を示す。
【００４４】瞳孔輪郭検出手段３は、図３に示すよう
に、まず最初に、眼球撮影用カメラ２で撮影した画像か
ら、周辺より暗い領域を連結することでセグメント化を
おこなう（３０１の状態）。
に、まず最初に、眼球撮影用カメラ２で撮影した画像か
ら、周辺より暗い領域を連結することでセグメント化を
おこなう（３０１の状態）。
【００４５】続いて、セグメント化された各領域におい
て各領域の形状を調べ、瞳孔に類似した形状の領域を候
補として列挙する（３０２の状態）。
て各領域の形状を調べ、瞳孔に類似した形状の領域を候
補として列挙する（３０２の状態）。
【００４６】続いて、列挙された候補領域から、瞳孔の
形状にもっとも近い領域を選択して瞳孔領域とする（３
０３の状態）。
形状にもっとも近い領域を選択して瞳孔領域とする（３
０３の状態）。
【００４７】続いて、得られた瞳孔領域に対してエッジ
検出をおこない、瞳孔の輪郭座標ｐ i （ｉ＝１〜ｎ）を
求める（３０４の状態）。このとき求める瞳孔輪郭の個
数ｎは多いほど精度が高くなるが、５から４０点ほど求
めればよい。
検出をおこない、瞳孔の輪郭座標ｐ i （ｉ＝１〜ｎ）を
求める（３０４の状態）。このとき求める瞳孔輪郭の個
数ｎは多いほど精度が高くなるが、５から４０点ほど求
めればよい。
【００４８】このようにして、瞳孔輪郭検出手段３は、
瞳孔輪郭を検出するように処理するのである。
瞳孔輪郭を検出するように処理するのである。
【００４９】（ロ）プルキニエ像検出手段５におけるプ
ルキニエ像の検出処理 図４に、プルキニエ像検出手段５におけるプルキニエ像
の検出処理の流れ図を示す。
ルキニエ像の検出処理 図４に、プルキニエ像検出手段５におけるプルキニエ像
の検出処理の流れ図を示す。
【００５０】プルキニエ像検出手段５は、図４に示すよ
うに、まず最初に、あらかじめ定めた、人の角膜曲率半
径Ｌ、瞳孔半径Ｒ、角膜曲率中心から瞳孔中心までの距
離Ｍを取得する（５０１の状態）。
うに、まず最初に、あらかじめ定めた、人の角膜曲率半
径Ｌ、瞳孔半径Ｒ、角膜曲率中心から瞳孔中心までの距
離Ｍを取得する（５０１の状態）。
【００５１】すなわち、あらかじめ、図５中に示す角膜
曲率半径Ｌと、瞳孔半径Ｒと、角膜曲率中心から瞳孔中
心までの距離Ｍとが得られているので、それらを取得す
るのである。
曲率半径Ｌと、瞳孔半径Ｒと、角膜曲率中心から瞳孔中
心までの距離Ｍとが得られているので、それらを取得す
るのである。
【００５２】ここで、後述する個人別キャリブレーショ
ンによって、最終的に視線ベクトルが補正されることに
なるので、このとき取得するＬ，Ｒ，Ｍについては、視
線を測定する本人のものである必要はなく、例えば日本
人の平均値とか、男性の平均値とか、女性の平均値とい
ったような平均的な値を取得すれば足りる。
ンによって、最終的に視線ベクトルが補正されることに
なるので、このとき取得するＬ，Ｒ，Ｍについては、視
線を測定する本人のものである必要はなく、例えば日本
人の平均値とか、男性の平均値とか、女性の平均値とい
ったような平均的な値を取得すれば足りる。
【００５３】続いて、眼球撮影用カメラ２で撮影した画
像について、瞳孔輪郭検出手段３で求めた瞳孔位置付近
に分布する輝度の高い領域を、プルキニエ像の候補領域
として列挙する（５０２の状態）。
像について、瞳孔輪郭検出手段３で求めた瞳孔位置付近
に分布する輝度の高い領域を、プルキニエ像の候補領域
として列挙する（５０２の状態）。
【００５４】続いて、列挙された候補領域の中から、あ
らかじめ定めた形状および大きさにもっとも近い領域を
プルキニエ像であると定める（５０３の状態）。
らかじめ定めた形状および大きさにもっとも近い領域を
プルキニエ像であると定める（５０３の状態）。
【００５５】続いて、３次元空間におけるプルキニエ像
の座標を求める（５０４の状態）。画像上のプルキニエ
像位置から３次元空間におけるプルキニエ像の座標Ｕを
求めるには、２台以上の眼球撮影用カメラ２を利用して
ステレオ計測する方法や、１台の眼球撮影用カメラ２を
使って焦点位置から距離を算出する方法などを用いるこ
とになる。
の座標を求める（５０４の状態）。画像上のプルキニエ
像位置から３次元空間におけるプルキニエ像の座標Ｕを
求めるには、２台以上の眼球撮影用カメラ２を利用して
ステレオ計測する方法や、１台の眼球撮影用カメラ２を
使って焦点位置から距離を算出する方法などを用いるこ
とになる。
【００５６】続いて、３次元空間上の角膜曲率中心Ｅを
算出する（５０５の状態）。眼球撮影用カメラ２のレン
ズ中心からプルキニエ像を通る直線を考えたとき、プル
キニエ像の位置Ｕより角膜曲率半径Ｌだけ先の位置が３
次元空間中の角膜曲率中心座標Ｅとなるので、その関係
に従って角膜曲率中心Ｅを算出するのである。
算出する（５０５の状態）。眼球撮影用カメラ２のレン
ズ中心からプルキニエ像を通る直線を考えたとき、プル
キニエ像の位置Ｕより角膜曲率半径Ｌだけ先の位置が３
次元空間中の角膜曲率中心座標Ｅとなるので、その関係
に従って角膜曲率中心Ｅを算出するのである。
【００５７】このようにして、プルキニエ像検出手段５
は、プルキニエ像を検出して、それを使って、角膜曲率
中心Ｅの座標を算出するように処理するのである。
は、プルキニエ像を検出して、それを使って、角膜曲率
中心Ｅの座標を算出するように処理するのである。
【００５８】（ハ）瞳孔輪郭補正手段４における瞳孔輪
郭の補正処理 瞳孔輪郭補正手段４では、瞳孔輪郭検出手段３で検出さ
れた瞳孔輪郭座標ｐiから正しい瞳孔輪郭座標ｐ’i を
推定する処理を行う。
郭の補正処理 瞳孔輪郭補正手段４では、瞳孔輪郭検出手段３で検出さ
れた瞳孔輪郭座標ｐiから正しい瞳孔輪郭座標ｐ’i を
推定する処理を行う。
【００５９】人の角膜表面では光の屈折が発生するた
め、眼球撮影用カメラ２で撮影した瞳孔像は実際の瞳孔
像位置とずれた位置にある。そのため、眼球撮影用カメ
ラ２でで撮影した瞳孔像から視線方向を算出すると、実
際の視線方向とはずれた方向に視線が算出される。
め、眼球撮影用カメラ２で撮影した瞳孔像は実際の瞳孔
像位置とずれた位置にある。そのため、眼球撮影用カメ
ラ２でで撮影した瞳孔像から視線方向を算出すると、実
際の視線方向とはずれた方向に視線が算出される。
【００６０】そこで、瞳孔輪郭補正手段４では、角膜表
面での屈折を考慮した補正をおこなうことで、正しい瞳
孔輪郭座標を推定する処理を行う。
面での屈折を考慮した補正をおこなうことで、正しい瞳
孔輪郭座標を推定する処理を行う。
【００６１】図６に、瞳孔輪郭補正手段４における瞳孔
輪郭の補正処理の流れ図を示す。また、図７に、角膜表
面における屈折の模式図を示し、図８に、瞳孔断面の模
式図を示す。
輪郭の補正処理の流れ図を示す。また、図７に、角膜表
面における屈折の模式図を示し、図８に、瞳孔断面の模
式図を示す。
【００６２】この瞳孔輪郭の補正処理では、眼球撮影用
カメラ２で撮影されたプルキニエ像と瞳孔輪郭像とが同
一平面上に含まれていることを利用する。
カメラ２で撮影されたプルキニエ像と瞳孔輪郭像とが同
一平面上に含まれていることを利用する。
【００６３】瞳孔輪郭補正手段４では、図６に示すよう
に、まず最初に、３次元空間におけるプルキニエ像の座
標Ｕから、プルキニエ像および瞳孔輪郭像が含まれる平
面Ｓを求める（４０１の状態）。すなわち、図７及び図
８に示す平面Ｓを求めるのである。
に、まず最初に、３次元空間におけるプルキニエ像の座
標Ｕから、プルキニエ像および瞳孔輪郭像が含まれる平
面Ｓを求める（４０１の状態）。すなわち、図７及び図
８に示す平面Ｓを求めるのである。
【００６４】続いて、眼球撮影用カメラ２から平面Ｓに
含まれる瞳孔輪郭像へ向けた直線と、角膜表面との交点
Ｑを求める（４０２の状態）。
含まれる瞳孔輪郭像へ向けた直線と、角膜表面との交点
Ｑを求める（４０２の状態）。
【００６５】この直線の方向ベクトルを＜ｑ＞と表すな
らば、図８に示すように、ベクトル＜ｑ＞と角膜表面と
の交点Ｑを求めるのである。このとき、主に屈折が発生
するのはこのＱの位置である。
らば、図８に示すように、ベクトル＜ｑ＞と角膜表面と
の交点Ｑを求めるのである。このとき、主に屈折が発生
するのはこのＱの位置である。
【００６６】続いて、角膜曲率中心ＥからＱまでの方向
ベクトル＜ｅ＞を求める（４０３の状態）。すなわち、
図７に示すように、角膜曲率中心ＥからＱまでの方向ベ
クトル＜ｅ＞を求めるのである。
ベクトル＜ｅ＞を求める（４０３の状態）。すなわち、
図７に示すように、角膜曲率中心ＥからＱまでの方向ベ
クトル＜ｅ＞を求めるのである。
【００６７】Ｑにおける屈折は、ベクトル＜ｅ＞が法線
ベクトルとなる平面に光が入射して発生した屈折である
と考えることができる。
ベクトルとなる平面に光が入射して発生した屈折である
と考えることができる。
【００６８】そこで、続いて、角膜外にある空気の屈折
率ｎ1 と角膜内の房水における屈折率ｎ2 とを使って、
ベクトル＜ｅ＞およびベクトル＜ｑ＞から、屈折後の方
向ベクトル＜ｑ’＞を求める（４０４の状態）。すなわ
ち、図８に示すように、屈折後の方向ベクトル＜ｑ’＞
を求めるのである。
率ｎ1 と角膜内の房水における屈折率ｎ2 とを使って、
ベクトル＜ｅ＞およびベクトル＜ｑ＞から、屈折後の方
向ベクトル＜ｑ’＞を求める（４０４の状態）。すなわ
ち、図８に示すように、屈折後の方向ベクトル＜ｑ’＞
を求めるのである。
【００６９】続いて、角膜曲率中心Ｅから瞳孔輪郭まで
の距離Ｎを、瞳孔半径Ｒと角膜曲率中心Ｅから瞳孔中心
までの距離Ｍとを使って、Ｎ＝（Ｍ2 ＋Ｒ2 ）1/2に従
って算出して、図８に示すように、屈折後の方向ベクト
ル＜ｑ’＞上にあって、角膜曲率中心Ｅからの距離がこ
の距離Ｎである点を屈折補正後の瞳孔輪郭座標ｐ’i と
して算出する（４０５の状態）。
の距離Ｎを、瞳孔半径Ｒと角膜曲率中心Ｅから瞳孔中心
までの距離Ｍとを使って、Ｎ＝（Ｍ2 ＋Ｒ2 ）1/2に従
って算出して、図８に示すように、屈折後の方向ベクト
ル＜ｑ’＞上にあって、角膜曲率中心Ｅからの距離がこ
の距離Ｎである点を屈折補正後の瞳孔輪郭座標ｐ’i と
して算出する（４０５の状態）。
【００７０】このようにして、瞳孔輪郭補正手段４は、
正しい瞳孔輪郭座標ｐ’i を推定するように処理するの
である。
正しい瞳孔輪郭座標ｐ’i を推定するように処理するの
である。
【００７１】（ニ）視線ベクトル算出手段７における視
線ベクトルの算出処理 視線ベクトル算出手段７では、３次元座標における角膜
曲率中心Ｅの位置（プルキニエ像の位置と角膜曲率半径
とから求められる）と、瞳孔輪郭補正手段４で得られた
補正済みの瞳孔輪郭座標の集合｛ｐ’i ｝とから、視線
ベクトルを算出する処理を行う。
線ベクトルの算出処理 視線ベクトル算出手段７では、３次元座標における角膜
曲率中心Ｅの位置（プルキニエ像の位置と角膜曲率半径
とから求められる）と、瞳孔輪郭補正手段４で得られた
補正済みの瞳孔輪郭座標の集合｛ｐ’i ｝とから、視線
ベクトルを算出する処理を行う。
【００７２】図９に、視線ベクトル算出手段７における
視線ベクトルの算出処理の流れ図を示す。
視線ベクトルの算出処理の流れ図を示す。
【００７３】視線ベクトル算出手段７では、図９に示す
ように、まず最初に、補正済みの瞳孔輪郭座標の集合
｛ｐ’i ｝から、３次元空間における瞳孔中心Ｐを、例
えば楕円近似などの手法によって求める（７０１の状
態）。
ように、まず最初に、補正済みの瞳孔輪郭座標の集合
｛ｐ’i ｝から、３次元空間における瞳孔中心Ｐを、例
えば楕円近似などの手法によって求める（７０１の状
態）。
【００７４】続いて、３次元空間において、瞳孔中心Ｐ
および角膜曲率中心Ｅを通る方向ベクトル＜ｇ＞を求め
る（７０２の状態）。
および角膜曲率中心Ｅを通る方向ベクトル＜ｇ＞を求め
る（７０２の状態）。
【００７５】瞳孔中心Ｐの位置ベクトルを＜Ｐ＞、角膜
曲率中心Ｅの位置ベクトルを＜Ｅ＞で表すならば、ベク
トル＜ｇ＞は、 ＜ｇ＞＝＜Ｐ＞−＜Ｅ＞ で得られる。この手順で得られた方向ベクトル＜ｇ＞
を、視線ベクトルと定める。
曲率中心Ｅの位置ベクトルを＜Ｅ＞で表すならば、ベク
トル＜ｇ＞は、 ＜ｇ＞＝＜Ｐ＞−＜Ｅ＞ で得られる。この手順で得られた方向ベクトル＜ｇ＞
を、視線ベクトルと定める。
【００７６】さらに、プルキニエ像Ｕの位置ベクトルを
＜Ｕ＞で表すならば、視線方向を表す直線Ｈは、 ＜Ｕ＞＋ｍ・＜ｇ＞ と定められる。但し、ｍはパラメータ（ｍ＞０）であ
り、ｍを指定することで、直線Ｈ上の任意の点が得られ
る。
＜Ｕ＞で表すならば、視線方向を表す直線Ｈは、 ＜Ｕ＞＋ｍ・＜ｇ＞ と定められる。但し、ｍはパラメータ（ｍ＞０）であ
り、ｍを指定することで、直線Ｈ上の任意の点が得られ
る。
【００７７】このようにして、視線ベクトル算出手段７
は、補正済みの瞳孔輪郭座標から得られる瞳孔中心と角
膜曲率中心Ｅとを通る方向ベクトルに従って、視線方向
Ｈを算出するように処理するのである。
は、補正済みの瞳孔輪郭座標から得られる瞳孔中心と角
膜曲率中心Ｅとを通る方向ベクトルに従って、視線方向
Ｈを算出するように処理するのである。
【００７８】（ホ）視線補正手段８における視線ベクト
ルの補正処理 視線補正手段８では、視線ベクトル算出手段７で得られ
た視線方向Ｈから視線を求め、さらに個人パラメータに
よる補正をおこなう。
ルの補正処理 視線補正手段８では、視線ベクトル算出手段７で得られ
た視線方向Ｈから視線を求め、さらに個人パラメータに
よる補正をおこなう。
【００７９】利用者が見ている先の平面Ｔと、視線方向
Ｈの交点を視線Ｖ（ｘ，ｙ，ｚ）と定める。このとき、
例えば前方のディスプレイを見ているときの視線Ｖを求
める場合には、ディスプレイ表面を含む平面をＴで表
し、ＴとＨとの交点におけるパラメータｍを求めればよ
い。
Ｈの交点を視線Ｖ（ｘ，ｙ，ｚ）と定める。このとき、
例えば前方のディスプレイを見ているときの視線Ｖを求
める場合には、ディスプレイ表面を含む平面をＴで表
し、ＴとＨとの交点におけるパラメータｍを求めればよ
い。
【００８０】以下、このように得られた視線Ｖに対し
て、補正後の視線Ｗを求める一実施形態例を示す。
て、補正後の視線Ｗを求める一実施形態例を示す。
【００８１】補正後の視線Ｗは、例えば元の視線Ｖを移
動および縦横のスケーリングすることによって得られ
る。
動および縦横のスケーリングすることによって得られ
る。
【００８２】そこで、
【００８３】
【数１】
【００８４】で定義される視線Ｖの位置ベクトルの斉次
ベクトルを、
ベクトルを、
【００８５】
【数２】
【００８６】で表し、
【００８７】
【数３】
【００８８】で定義される補正後の視線Ｗの位置ベクト
ルの斉次ベクトルを、
ルの斉次ベクトルを、
【００８９】
【数４】
【００９０】で表す。
【００９１】このとき、個人別パラメータを斉次行列Ｈ
で表すと、補正後の視線Ｗの位置ベクトルの斉次ベクト
ルは、
で表すと、補正後の視線Ｗの位置ベクトルの斉次ベクト
ルは、
【００９２】
【数５】
【００９３】で求められる。
【００９４】ただし、補正後の視線Ｗが元の視線Ｖを移
動および縦横のスケーリングすることによって得られる
ことから、斉次行列Ｈは、
動および縦横のスケーリングすることによって得られる
ことから、斉次行列Ｈは、
【００９５】
【数６】
【００９６】となる。
【００９７】このようにして得られた〔数５〕式から、
補正後の視線Ｗが求められることになる。
補正後の視線Ｗが求められることになる。
【００９８】個人別パラメータＨは、利用者が最初に本
発明を利用する時点で、個人別パラメータ算出手段９に
よって求められて、個人別パラメータ保存手段１０によ
ってディスクやメモリなどの外部記憶装置１１に保存さ
れる。
発明を利用する時点で、個人別パラメータ算出手段９に
よって求められて、個人別パラメータ保存手段１０によ
ってディスクやメモリなどの外部記憶装置１１に保存さ
れる。
【００９９】そして、次に同一の人が本発明を利用する
ときに、外部記憶装置１１に保存された個人別パラメー
タＨが読み出されることで、新たに個人別パラメータを
求めることなく視線測定が可能になる。
ときに、外部記憶装置１１に保存された個人別パラメー
タＨが読み出されることで、新たに個人別パラメータを
求めることなく視線測定が可能になる。
【０１００】個人別パラメータＨは、利用者が複数の基
準点を順次注視するときに、そのときに見ていた基準点
の座標と、実際に得られた視線データとを用いて算出す
ることができる。例えば２点以上の基準点を見たときに
おける基準点の座標と、基準点を見たときの視線とから
最小２乗法などによって個人別パラメータＨを求めれば
よい。
準点を順次注視するときに、そのときに見ていた基準点
の座標と、実際に得られた視線データとを用いて算出す
ることができる。例えば２点以上の基準点を見たときに
おける基準点の座標と、基準点を見たときの視線とから
最小２乗法などによって個人別パラメータＨを求めれば
よい。
【０１０１】図１０に、個人パラメータＨの算出方法の
一例を示す。
一例を示す。
【０１０２】利用者８０５がディスプレイ８０２上に配
置された２点以上のｎ個の基準点８０１を注視したとき
に、そのとき得られた視線データを注視点８０４とす
る。このとき、ｉ番目の基準点の座標をＭi （ｘ，
ｙ）、そのときの視線データをＧi（ｘ，ｙ）とおく。
置された２点以上のｎ個の基準点８０１を注視したとき
に、そのとき得られた視線データを注視点８０４とす
る。このとき、ｉ番目の基準点の座標をＭi （ｘ，
ｙ）、そのときの視線データをＧi（ｘ，ｙ）とおく。
【０１０３】このとき、視線データのＸ座標のみに注目
すると、 Ｍ1 （ｘ）＝Ｇ1 （ｘ）・ａ1 ＋ａ3 ＋Ｅ1 （ｘ） Ｍ2 （ｘ）＝Ｇ2 （ｘ）・ａ1 ＋ａ3 ＋Ｅ2 （ｘ） ・ ・ ・ Ｍn （ｘ）＝Ｇn （ｘ）・ａ1 ＋ａ3 ＋Ｅn （ｘ） と示せる。ただし、Ｅi （ｘ）はｉ番目の基準点を見た
時のＸ方向の誤差成分である。
すると、 Ｍ1 （ｘ）＝Ｇ1 （ｘ）・ａ1 ＋ａ3 ＋Ｅ1 （ｘ） Ｍ2 （ｘ）＝Ｇ2 （ｘ）・ａ1 ＋ａ3 ＋Ｅ2 （ｘ） ・ ・ ・ Ｍn （ｘ）＝Ｇn （ｘ）・ａ1 ＋ａ3 ＋Ｅn （ｘ） と示せる。ただし、Ｅi （ｘ）はｉ番目の基準点を見た
時のＸ方向の誤差成分である。
【０１０４】このとき、誤差成分Ｅi （ｘ）の二乗和
【０１０５】
【数７】
【０１０６】が最小となるようなａ1 およびａ3 を最小
二乗法によって求める。
二乗法によって求める。
【０１０７】Ｙ座標についても同様に算出することで、
ａ2 およびａ4 が得られる。
ａ2 およびａ4 が得られる。
【０１０８】このようにして、個人別パラメータ算出手
段９は、個人別パラメータＨを算出し、これを受けて、
視線補正手段８は、〔数５〕式に従って、視線ベクトル
算出手段７で得られた視線方向に対して個人別パラメー
タＨによる補正をおこなうように処理するのである。
段９は、個人別パラメータＨを算出し、これを受けて、
視線補正手段８は、〔数５〕式に従って、視線ベクトル
算出手段７で得られた視線方向に対して個人別パラメー
タＨによる補正をおこなうように処理するのである。
【０１０９】
【発明の効果】以上説明したように、本発明では、人の
瞳孔およびプルキニエ像を検出し、屈折の補正をおこな
い視線方向を算出する。さらに、個人別キャリブレーシ
ョンをおこない視線方向を個人毎に補正する。
瞳孔およびプルキニエ像を検出し、屈折の補正をおこな
い視線方向を算出する。さらに、個人別キャリブレーシ
ョンをおこない視線方向を個人毎に補正する。
【０１１０】その結果、高い精度で視線測定が可能とな
り、例えば、画面上に各点間の距離が均等な格子状に配
置した複数の点を注視した場合に、測定して得られたシ
ステム算出視線方向も各点間の距離が均等な格子状とな
る。従って、補正処理においては注視方向の一次変換を
おこなうだけで、精度の高い視線位置が得られる。
り、例えば、画面上に各点間の距離が均等な格子状に配
置した複数の点を注視した場合に、測定して得られたシ
ステム算出視線方向も各点間の距離が均等な格子状とな
る。従って、補正処理においては注視方向の一次変換を
おこなうだけで、精度の高い視線位置が得られる。
【０１１１】そして、視線の測定精度に関して、画面上
の特定の位置では測定精度が高いものの、別の点では測
定精度が低くなるという問題も回避される。
の特定の位置では測定精度が高いものの、別の点では測
定精度が低くなるという問題も回避される。
【０１１２】また、個人別パラメータは一度算出してお
けば、同一の利用者において再利用可能であるため、毎
回、視線測定前にキャリブレーションをする手間を省略
することが可能である。
けば、同一の利用者において再利用可能であるため、毎
回、視線測定前にキャリブレーションをする手間を省略
することが可能である。
【図１】本発明の一実施形態例である。
【図２】眼球撮影用カメラで撮影した眼球の模式図であ
る。
る。
【図３】瞳孔輪郭検出手段の処理の流れ図である。
【図４】プルキニエ像検出手段の処理の流れ図である。
【図５】眼球の模式図である。
【図６】瞳孔輪郭補正手段の処理の流れ図である。
【図７】角膜表面における屈折の模式図である。
【図８】瞳孔断面の模式図である。
【図９】視線ベクトル算出手段の処理の流れ図である。
【図１０】個人別パラメータの算出処理の説明図であ
る。
る。
１ 近赤外線照射手段
２ 眼球撮影用カメラ
３ 瞳孔輪郭検出手段
４ 瞳孔輪郭補正手段
５ プルキニエ像検出手段
６ 瞳孔中心算出手段
７ 視線ベクトル算出手段
８ 視線補正手段
９ 個人別パラメータ算出手段
１０ 個人別パラメータ保存手段
１１ 外部記憶装置
１２ 眼球撮影手段
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 吉川 厚
東京都千代田区大手町二丁目３番１号 日
本電信電話株式会社内
Ｆターム(参考） 5B056 AA08 BB31 BB51
5B087 AD01 BC05 BC12 BC13 BC26
BC32
Claims (13)
- 【請求項１】 利用者の眼球を撮影する眼球撮影手段
と、 上記眼球撮影手段の撮影した画像から、見かけの瞳孔位
置を検出する瞳孔位置検出手段と、 上記瞳孔位置検出手段の検出した見かけの瞳孔位置か
ら、角膜における屈折を考慮することで、実際の瞳孔位
置を推定する瞳孔位置推定手段と、 上記眼球撮影手段の撮影した画像から、角膜表面におけ
る外部光の反射像を検出する反射像検出手段と、 上記瞳孔位置推定手段の推定した瞳孔位置と、上記反射
像検出手段の検出した反射像とから、利用者の視線を算
出する視線算出手段と、 上記視線算出手段の算出した視線を、その視線の算出対
象となった利用者に合わせて補正する視線補正手段とを
備えることを、 特徴とする視線測定装置。 - 【請求項２】 請求項１記載の視線測定装置において、 上記眼球撮影手段は、 眼球の外部から近赤外線を照射する近赤外線照射手段
と、 瞳孔を撮影するための近赤外線カメラとを備えること
を、 特徴とする視線測定装置。 - 【請求項３】 請求項１又は２記載の視線測定装置にお
いて、 上記瞳孔位置推定手段は、上記眼球撮影手段から上記見
かけの瞳孔位置へ向かう光の屈折方向を算出して、その
屈折方向上に位置し、かつ、角膜曲率中心から規定の距
離の所に位置する輪郭座標を求めることで、実際の瞳孔
位置を推定することを、 特徴とする視線測定装置。 - 【請求項４】 請求項３記載の視線測定装置において、 上記瞳孔位置推定手段は、予め与えられる瞳孔半径と、
予め与えられる角膜曲率中心と瞳孔中心との間の距離と
を使って、角膜曲率中心と瞳孔輪郭との間の距離を算出
して、その算出した距離と、上記反射像と予め与えられ
る角膜曲率半径とから算出される角膜曲率中心の位置と
を用いて、実際の瞳孔位置を推定することを、 特徴とする視線測定装置。 - 【請求項５】 請求項１ないし４のいずれか１項に記載
の視線測定装置において、 複数の基準点の座標と、それを利用者が注視したときに
上記視線算出手段により算出される視線とから、その利
用者に適用される視線の変換規約を算出する個人別パラ
メータ算出手段を備え、 上記視線補正手段は、上記変換規約を使って、上記視線
算出手段の算出した視線を補正することを、 特徴とする視線測定装置。 - 【請求項６】 請求項５記載の視線測定装置において、 上記個人別パラメータ算出手段の算出した変換規約を外
部記憶装置に保存し、次に同じ利用者が測定対象となる
ときに、その変換規約をその外部記憶装置から読み出す
個人別パラメータ保存手段を備えることを、 特徴とする視線測定装置。 - 【請求項７】 利用者の眼球を撮影する眼球撮影手段の
撮影した画像から、見かけの瞳孔位置を検出する過程
と、 上記検出した見かけの瞳孔位置から、角膜における屈折
を考慮することで、実際の瞳孔位置を推定する過程と、 上記眼球撮影手段の撮影した画像から、角膜表面におけ
る外部光の反射像を検出する過程と、 上記推定した瞳孔位置と上記検出した反射像とから、利
用者の視線を算出する過程と、 上記算出した視線を、その視線の算出対象となった利用
者に合わせて補正する過程とを備えることを、 特徴とする視線測定方法。 - 【請求項８】 請求項７記載の視線測定方法において、 上記瞳孔位置を推定する過程では、上記眼球撮影手段か
ら上記見かけの瞳孔位置へ向かう光の屈折方向を算出し
て、その屈折方向上に位置し、かつ、角膜曲率中心から
規定の距離の所に位置する輪郭座標を求めることで、実
際の瞳孔位置を推定することを、 特徴とする視線測定方法。 - 【請求項９】 請求項８記載の視線測定方法において、 上記瞳孔位置を推定する過程では、予め与えられる瞳孔
半径と、予め与えられる角膜曲率中心と瞳孔中心との間
の距離とを使って、角膜曲率中心と瞳孔輪郭との間の距
離を算出して、その算出した距離と、上記反射像と予め
与えられる角膜曲率半径とから算出される角膜曲率中心
の位置とを用いて、実際の瞳孔位置を推定することを、 特徴とする視線測定方法。 - 【請求項１０】 請求項７ないし９のいずれか１項に記
載の視線測定方法において、 複数の基準点の座標と、それを利用者が注視したときに
算出される視線とから、その利用者に適用される視線の
変換規約を算出する過程を備え、 上記視線を補正する過程では、上記変換規約を使って視
線を補正することを、特徴とする視線測定方法。 - 【請求項１１】 請求項１０記載の視線測定方法におい
て、 上記変換規約を外部記憶装置に保存し、次に同じ利用者
が測定対象となるときに、その変換規約をその外部記憶
装置から読み出す過程を備えることを、 特徴とする視線測定方法。 - 【請求項１２】 請求項７ないし１１のいずれか１項に
記載の視線測定方法の実現に用いられる処理をコンピュ
ータに実行させるための視線測定プログラム。 - 【請求項１３】 請求項７ないし１１のいずれか１項に
記載の視線測定方法の実現に用いられる処理をコンピュ
ータに実行させるためのプログラムを記録した視線測定
プログラムの記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001276169A JP3711053B2 (ja) | 2001-09-12 | 2001-09-12 | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001276169A JP3711053B2 (ja) | 2001-09-12 | 2001-09-12 | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003079577A true JP2003079577A (ja) | 2003-03-18 |
| JP3711053B2 JP3711053B2 (ja) | 2005-10-26 |
Family
ID=19100913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001276169A Expired - Lifetime JP3711053B2 (ja) | 2001-09-12 | 2001-09-12 | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3711053B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006141862A (ja) * | 2004-11-24 | 2006-06-08 | Saga Univ | 視線方向特定システム |
| JP2007209384A (ja) * | 2006-02-07 | 2007-08-23 | Gen Tec:Kk | 視線ベクトル検出方法及び同装置 |
| JP2008264341A (ja) * | 2007-04-24 | 2008-11-06 | Chube Univ | 眼球運動計測方法および眼球運動計測装置 |
| US7660479B2 (en) | 2005-02-23 | 2010-02-09 | Fujifilm Corporation | Image processing method, image processing apparatus and program for the same |
| JP2011115460A (ja) * | 2009-12-04 | 2011-06-16 | Saga Univ | 視線制御装置、視線制御方法、及びそのプログラム |
| JP2012065781A (ja) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | 視線検出装置および補正係数算出プログラム |
| JP2013190942A (ja) * | 2012-03-13 | 2013-09-26 | Nippon Hoso Kyokai <Nhk> | 視線誤差補正装置、そのプログラム及びその方法 |
| CN113662822A (zh) * | 2021-07-29 | 2021-11-19 | 广州视景医疗软件有限公司 | 一种基于眼动的视标调整方法、视觉训练方法及装置 |
| CN114360043A (zh) * | 2022-03-18 | 2022-04-15 | 南昌虚拟现实研究院股份有限公司 | 模型参数标定方法、视线追踪方法、装置、介质及设备 |
| WO2022153759A1 (ja) | 2021-01-14 | 2022-07-21 | ソニーグループ株式会社 | 画像表示装置および画像表示システム |
-
2001
- 2001-09-12 JP JP2001276169A patent/JP3711053B2/ja not_active Expired - Lifetime
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006141862A (ja) * | 2004-11-24 | 2006-06-08 | Saga Univ | 視線方向特定システム |
| JP4654434B2 (ja) * | 2004-11-24 | 2011-03-23 | 国立大学法人佐賀大学 | 視線方向特定システム |
| US7660479B2 (en) | 2005-02-23 | 2010-02-09 | Fujifilm Corporation | Image processing method, image processing apparatus and program for the same |
| JP2007209384A (ja) * | 2006-02-07 | 2007-08-23 | Gen Tec:Kk | 視線ベクトル検出方法及び同装置 |
| JP2008264341A (ja) * | 2007-04-24 | 2008-11-06 | Chube Univ | 眼球運動計測方法および眼球運動計測装置 |
| JP2011115460A (ja) * | 2009-12-04 | 2011-06-16 | Saga Univ | 視線制御装置、視線制御方法、及びそのプログラム |
| JP2012065781A (ja) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | 視線検出装置および補正係数算出プログラム |
| JP2013190942A (ja) * | 2012-03-13 | 2013-09-26 | Nippon Hoso Kyokai <Nhk> | 視線誤差補正装置、そのプログラム及びその方法 |
| WO2022153759A1 (ja) | 2021-01-14 | 2022-07-21 | ソニーグループ株式会社 | 画像表示装置および画像表示システム |
| CN113662822A (zh) * | 2021-07-29 | 2021-11-19 | 广州视景医疗软件有限公司 | 一种基于眼动的视标调整方法、视觉训练方法及装置 |
| CN113662822B (zh) * | 2021-07-29 | 2023-09-12 | 广州视景医疗软件有限公司 | 一种基于眼动的视标调整方法、视觉训练方法及装置 |
| CN114360043A (zh) * | 2022-03-18 | 2022-04-15 | 南昌虚拟现实研究院股份有限公司 | 模型参数标定方法、视线追踪方法、装置、介质及设备 |
| CN114360043B (zh) * | 2022-03-18 | 2022-06-17 | 南昌虚拟现实研究院股份有限公司 | 模型参数标定方法、视线追踪方法、装置、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3711053B2 (ja) | 2005-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11867978B2 (en) | Method and device for determining parameters for spectacle fitting | |
| JP4649319B2 (ja) | 視線検出装置、視線検出方法、および視線検出プログラム | |
| JP6586523B2 (ja) | 構造化光を用いた視線追跡 | |
| EP3339943A1 (en) | Method and system for obtaining optometric parameters for fitting eyeglasses | |
| US20220100268A1 (en) | Eye tracking device and a method thereof | |
| CN107357429B (zh) | 用于确定视线的方法、设备和计算机可读存储介质 | |
| US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
| JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
| JP2008264341A (ja) | 眼球運動計測方法および眼球運動計測装置 | |
| KR102195268B1 (ko) | 근거리 시력 지점을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| JP6840697B2 (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
| US11313759B2 (en) | Method and device for measuring the local refractive power and/or the refractive power distribution of a spectacle lens | |
| JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
| JP3711053B2 (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
| JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
| KR102444768B1 (ko) | 안경 렌즈의 국부적 굴절력 및/또는 굴절력 분포를 측정하기 위한 방법 및 장치 | |
| JP6906943B2 (ja) | 車載器 | |
| US20190357767A1 (en) | Measuring a posterior corneal surface of an eye | |
| JP2015123262A (ja) | 角膜表面反射画像を利用した視線計測方法及びその装置 | |
| WO2022018271A1 (en) | Method for determining a coronal position of an eye relative to the head | |
| CN112528714A (zh) | 基于单光源的注视点估计方法、系统、处理器及设备 | |
| JP6533925B2 (ja) | レンズ装着情報の算出方法、同算出方法を実行するための電子システム及び同電子システムに使用するプログラム | |
| García-Dopico et al. | Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups. | |
| WO2023203530A1 (en) | Interpupillary distance estimation method | |
| IL310806A (en) | Device for tracking eye movement and method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050609 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050811 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3711053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080819 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100819 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100819 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110819 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130819 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |