JP2002102172A - 視線検出方法及びシステム - Google Patents

Abstract

(57)【要約】 【課題】 反射点の大きさが小さい場合、或いは反射点
が複数ある場合にも、誤り無く反射光重心位置を計測す
ることを目的としている。 【解決手段】 本発明は、複数の画像を取り込んで、反
射光形状及び瞳孔形状を計測して、反射光重心位置、及
び瞳孔を楕円近似することにより短軸の傾き、短軸長軸
比、及び瞳孔中心を計算する。反射光重心位置と角膜を
球の一部としたとき球の中心である角膜曲率中心の位置
関係及び眼球が回転する際の不動点である眼球回転中心
-角膜曲率中心距離を計測し、その後、反射位置を求め
る際に、瞳孔中心位置(xp,yp)、眼球回転中心位置(xo,y
o)、反射光重心位置と角膜を球の一部としたとき球の中
心である角膜曲率中心の位置との距離(alpha,beta)、瞳
孔中心回転半径（r）、角膜曲率中心回転半径（rr）か
ら反射光重心位置(rx,ry)を予測し、その近傍のみを探
すことにより反射光重心位置を計測する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラに対する視
線ベクトルを求める視線検出方法及びシステムに関す
る。特に、本発明は、反射光重心位置検出、反射光検
出、視線検出方法の自動切り替え、頭部のズレの自動補
正、NTSC信号による画像の処理、瞳孔検出、瞳孔を楕円
で近似する際の精度向上、目蓋のかかり具合の検出、検
出の精度の計測に関する。

【０００２】

【従来の技術】従来より、視線位置を計測する簡便な視
線位置計測システムが求められている。このようなシス
テムを、より低価格で提供することができるならば、例
えば、以下のような分野に使用できると考えられる。 1)視覚に関する心理学的研究 2)医療検査 3)マンマシンインターフェース（視線入力装置） 4)3)と重なるが障害者に対する補助装置。 5)ヘッドマウントディスプレーに内蔵し、視線入力装置
として用いる。 6)装置を２台用い、カメラの位置を厳密に設定すること
により、両眼の視差を受動的な校正（視標を提示して、
凝視してもらうのでは無く、だだ、眼を動かすだけ）で
計測することができる。医療検査、心理実験、行動実験
などに用いることができる。

【０００３】先に、本出願人は、視線検出方法及びシス
テムについての提案をした（特願２０００−２２８１６
３）。この提案について、図１〜図８を参照して説明す
る。CCDカメラにより、人もしくはサルの眼球を撮影す
る。瞳孔を暗く撮影するため、赤外線LEDにて照明を行
う。カメラ、光源、及び眼球の位置関係を、図１に示
す。カメラは、眼球の略水平方向の前方に位置するよう
図示しているが、カメラの位置は、瞳孔が撮影できる範
囲で任意の場所に設定することができる。光源も、反射
位置が角膜上になる場所ならば、任意の場所に配置させ
ることができる。CCDカメラには、図２のような映像が
撮影される。

【０００４】図１を簡略化して、瞳孔中心、角膜曲率中
心、眼球回転中心を書き入れた図を図３に示す。簡略化
した図３において、反射点が生ずる場所を図４に示す。
反射点は、光源、角膜曲率中心、カメラを結ぶ角の２等
分線と角膜の交わる位置に生じる。角膜曲率中心と反射
点を結ぶベクトルとを反射光ベクトルと名付ける。（光
源は、無限遠にあると仮定する。カメラには、平行投影
されると仮定する。）

【０００５】眼球が動いた時、反射点と角膜曲率中心の
位置関係を図５に記する。光源が、十分遠くにあれば、
角膜曲率中心への反射光ベクトルの角度は、眼球が回転
しても同一になる。そのため、眼球が回転しても、角膜
曲率中心と反射点の距離が一定に保たれる。図５は、x
方向の距離のみを表している。図６に、カメラ方向から
撮影された時の、角膜曲率中心と、反射点の位置関係を
表示する。反射点、角膜曲率中心、瞳孔中心、眼球回転
中心の位置関係は図７で表される。この図を、簡略化す
ると図８になる。

【０００６】カメラにより複数の画像を取り込み、それ
ぞれの画像について、反射光形状、瞳孔形状を計測し
て、反射光重心位置、瞳孔を楕円近似することにより短
軸の傾き、短軸長軸比、瞳孔中心を計算することができ
る。このような視線検出方法及びシステムには以下のよ
うな問題点があった。 i)反射光重心位置計測について １）瞳孔中心を領域の中心とする120x90 pixelの画像を
3pixel置きに取り出し40x30の画像を生成する。 ２）ある閾値以上の点を取り出し、それを塊毎にラベル
をつけてゆく。 ３）一定以上の大きさがあり、かつ瞳孔中心に最も近い
塊の重心を測定する。という方法で行っていた。しか
し、この反射光重心位置計測方法には、以下の問題点が
あった。 １）反射点の大きさが小さいと、取りこぼされてしま
う。 ２）反射点が複数ある場合、間違った反射点を選んでし
まう（角膜上には、n次プルキニエ反射が存在する。注
目しているのは、１次反射である）。

【０００７】ii)反射光選別について 上述の方法では、検出したものを全て用いていたため、
選別は行っていなかった。そのため、図９にあるよう
に、角膜上ではなく、強膜上で反射した場合の反射光を
検出して計算を行ってしまう。このような場合は、反射
点が角膜上にあるという前提がなくなり、計算結果が正
確でなくなってしまう。このような場合は、計算不能と
する必要がある。

【０００８】iii)自動方式切り替えについて。 先に提案した方法は、校正の後、被験者の瞳孔中心位置
と反射光重心から視線位置を求めることが可能である。
しかし、この方法は、頭部が動いても計測が可能という
利点があるが、反射点が角膜上から外れてしまうと計測
できなくなることになる。瞳孔中心のみから測定する場
合に比べ測定範囲が狭い。

【０００９】iv)瞳孔中心-眼球回転中心方法の自動補正 上述の提案した方法は、頭部が動いてしまうと正確な計
測ができなかった。頭部を固定して計測している場合で
も、断続的なずれが生じる場合があり、その場合は再校
正を行わないといけなかった。

【００１０】v)６０Hzで計測を行う場合 NTSC信号を用いて計測する際に、フレーム単位で無く、
フィールドにわけて計算する場合、偶数フィールドと奇
数フィールドは、上下方向に互い違いになっている。先
に提案した方法のようにして、眼球回転中心-角膜曲率
中心距離を計測したり、或いは、カメラに対する視線ベ
クトルを求める場合に値（眼球回転中心位置、反射光重
心位置-角膜曲率中心位置関係、瞳孔中心位置、反射点
位置等）をフィールドの区別なく計算した場合、フィー
ルド毎に上下に振動した計測値を得ることになる。

【００１１】vi)瞳孔を検出する際の閾値の複数使用に
ついて。 瞳孔の検出方法は、つぎの二段階で検出を行っている。 １）8pixelごとに画像をサンプルし、瞳孔のおおまかな
位置を検出する。 ２）おおまかな楕円をもとめその近傍を探査し、瞳孔の
縁を検出する。 先に提案した方法は、この二段階共に同一の閾値を用い
ていた。ノイズが多い場合（瞳孔と同じくらい暗い場所
が多い場合）第一段階でおおまかな検出に失敗する場合
があった。そのような場合は、閾値を下げることにより
ノイズを減らすことが可能であるが、そのような処理を
行うと、瞳孔の縁を正確に検出できなくなってしまうこ
とがあった。

【００１２】vii)瞳孔の縁の検出方法について 楕円の幾何学的な性質を利用し、瞳孔の縁以外を除去す
る。楕円には、次のような幾何学的な性質がある。図１
０に示すように、楕円と交わる３本の平行な直線l、m、
n を考える。l、n はm から等距離にあるとする。楕円
と直線l との交点をa、b 、直線n の交点をc、d とす
る。楕円と直線m の交点の中点をo とする。a、b の中
点とc、d の中点を結ぶ線の中点をo'とすると、o'はo
と重なるという性質がある。瞳孔の画像について瞳孔画
像のほぼ中央に引いた直線m から等距離にあるN 個の平
行線の組のo'i （i=1‐N）に当たる点を求める。求めら
れた点は、直線m の上に分布する。誤って検出された縁
が十分少ないときは、最も多くの点o'が集まった位置が
o の位置に相当する。その位置から離れている点は、楕
円の軌跡上にない点を含んでいることになるので、それ
らを除外する。どのくらい離れていたら、除外するか
は、プログラムで指定することにより、許容範囲の設定
が可能になる。４点が相補的に誤差を含んでしまった場
合には、除外されなくなるが、確率的にそのようなこと
は起こりにくい。o に十分近いo'iを持つ点a i ,b i ,c
i ,d i は、楕円の軌跡上の点なので、これらの点の座
標を［数１］に代入し正確な楕円近似を行うことができ
る。（電子情報通信学会技術研究報告書 vol.100 no.4
7 「視線位置計測システムの開発」 ISSN0913-5685、TL
2000-1-6「思考と言語」2000年５月１２日 より抜粋）

【数１】 上記の連立方程式を解くことにより、最小自乗法により
以下の楕円の方程式［数２］の係数を求めることができ
る。

【数２】

【００１３】ix)瞳孔の検出の精度について（横方向に
入ったノイズの割り合い）。反射光が瞳孔の縁に掛か
る、ピントがずれているため瞳孔の縁が明確に捕らえら
れていないなどの場合の、定量的な評価が無かった。

【００１４】

【発明が解決しようとする課題】そこで、本発明は、係
る問題点を解決して、反射点の大きさが小さい場合、或
いは反射点が複数ある場合にも、誤り無く反射光重心位
置を計測することを目的としている。また、本発明は、
校正時に、反射点の幅と高さの平均を求め、かつ、計測
時に、反射点の幅、高さと比較し大きく異なる物を排除
することにより、正確に計測を行うことを目的としてい
る。また、本発明は、瞳孔中心-反射点法で計算できな
くなった場合、自動的に瞳孔中心法に切り替えることに
より計測の中断をなくすことを目的としている。また、
本発明は、反射点が計測できない場合であっても、再校
正なしに、瞳孔中心のみで視線方向を計算することを目
的としている。また、本発明は、計測に用いる値をフィ
ールド毎に求めて、フィールド毎のばらつきをなくする
ことを目的としている。また、本発明は、瞳孔の縁を正
確に検出することを目的としている。また、本発明は、
高精度に、楕円を求めることを目的としている。また、
本発明は、どの程度目蓋がおりてきていたら、計測を中
断するかの定量的な評価を行うことを目的としている。
また、本発明は、反射光が瞳孔の縁に掛かる、ピントが
ずれているため瞳孔の縁が明確に捕らえられていないな
どの場合に、定量的な評価をすることを目的としてい
る。

【００１５】

【課題を解決するための手段】本発明の視線検出方法及
びシステムは、頭部が固定された被験者において、反射
位置が角膜上に位置するように配置された光源により照
明された瞳孔を撮影可能のカメラによって、複数の画像
を取り込み、それぞれの画像について、反射光形状及び
瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円
近似することにより短軸の傾き、短軸長軸比、及び瞳孔
中心を計算する。反射光重心位置と角膜を球の一部とし
たとき球の中心である角膜曲率中心の位置関係及び眼球
が回転する際の不動点である眼球回転中心-角膜曲率中
心距離を計測し、その後、反射位置を求める際に、瞳孔
中心位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光重
心位置と角膜を球の一部としたとき球の中心である角膜
曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半
径（r）、角膜曲率中心回転半径（rr）から反射光重心
位置(rx,ry)を予測し、その近傍のみを探すことにより
反射光重心位置を計測する。

【００１６】また、本発明は、反射光重心位置と角膜を
球の一部としたとき球の中心である角膜曲率中心の位置
関係及び眼球が回転する際の不動点である眼球回転中心
-角膜曲率中心距離を計測し、その校正時に、反射光の
幅、高さを記録し、以後の反射点計測の際に、幅高さの
値を比較することによって、不正な反射光を取り除く。
また、本発明は、反射光重心位置と角膜を球の一部とし
たとき球の中心である角膜曲率中心の位置関係及び眼球
が回転する際の不動点である眼球回転中心-角膜曲率中
心距離を計測し、計測された値と反射光重心と瞳孔中心
位置を用いて視線位置計測する方法と計測された値と瞳
孔中心位置を用いて視線位置計測する方法を自動的に切
り替えて視線位置計測を行う。

【００１７】また、反射光重心位置と角膜を球の一部と
したとき球の中心である角膜曲率中心の位置関係及び眼
球が回転する際の不動点である眼球回転中心-角膜曲率
中心距離を計測し、瞳孔中心位置(xp,yp)、反射光重心
位置(rx,ry)、反射光重心位置と角膜を球の一部とした
とき球の中心である角膜曲率中心の位置との距離(alph
a,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半
径（rr)から眼球回転中心(xo,yo)を計算し、頭部の動き
を検出し、新たな眼球回転中心を設定することにより、
瞳孔中心位置を用いて視線位置計測を行う際に、頭部の
動きのズレを補正する。

【００１８】また、本発明は、反射光重心位置、及び瞳
孔を楕円近似することにより短軸の傾き、短軸長軸比、
及び瞳孔中心を計算して、反射光重心位置と角膜を球の
一部としたとき球の中心である角膜曲率中心の位置関係
及び眼球が回転する際の不動点である眼球回転中心-角
膜曲率中心距離を計測し、NTSCにおける入力の際は、前
述の計測値は、フィールド毎に独立に計測し、その値を
用いて視線位置計測を行う。

【００１９】

【発明の実施の形態】以下、本発明の視線検出方法及び
システムを例示に基づき説明する。 i)反射光重心位置計測について １）図１１は、反射光重心位置計測を説明するための図
であり、眼球をカメラ方向から見た図であり、また、図
１２は、その眼球を横方向から見た図である。瞳孔中心
位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光重心位
置と角膜を球の一部としたとき球の中心である角膜曲率
中心の位置との距離(alpha,beta)、瞳孔中心回転半径
（r）、角膜曲率中心回転半径（rr)が分かっている場合
には、以下の式より反射光重心位置(rx,ry)を予測する
ことができる。 rx=(xp-xo)*rr/r+xo+alpha ry=(yp-yo)*rr/r+yo+beta ２）予測点を中心とした、40x30pixelの画像を生成す
る。 ３）ある閾値以上の点を取り出し、それを塊毎にラベル
をつけてゆく。 ４）一定以上の大きさがあり、かつ予測に最も近い塊の
重心を測定する。

【００２０】図１３に示す画像から、反射光重心を計測
する例を考える。画面の十字は、瞳孔中心位置を表して
いる。十字の上の白い点が、第１プルキニエ像、右下の
白い点が第２プルキニエ像である。いずれも照明光の反
射であるが、眼球内の反射する場所が異なるため複数の
反射像が出現する。 １）瞳孔中心位置（xp,yp）、眼球回転中心位置（xo,y
o）、角膜曲率中心（α、β）、瞳孔中心回転半径r、角
膜曲率中心回転半径rrがすでにわかっている際、反射光
重心位置(rx,ry)を上記の式より予測する。 ２）予測位置は図１４のXの位置になる。Xを中心とした
四角で示した40x30pixelの画像より反射光重心を求め
る。 ３）ある閾値以上の点を取り出だしラベリングをおこな
い、一定以上の大きさがあり、重心が予測値に最も近い
ものを選ぶ。図１５において反射光重心を十字で表し
た。

【００２１】ii)反射光選別について 校正時に反射点の幅と高さの平均を求める。計測時に、
反射点の幅、高さと比較し大きく異なる物を排除するこ
とにより、正確に計測を行うことが可能となる。図１６
に示された反射点の大きさは、縦６pixel 横７pixelで
ある。これは、平均値からの差が十分に小さい。どの程
度の誤差を許容するかはプログラムによって設定可能で
ある。図１７に示すように、反射光が強膜に存在すると
きは、大きさが大きく異なる（縦１９pixel横５０pixe
l）。この場合は、反射点を用いた計測は断念する。

【００２２】iii)自動方式切り替えについて。 瞳孔中心-反射点法で計算できなくなった場合、自動的
に瞳孔中心法に切り替えることにより計測の中断をなく
すことができる。反射点が強膜上に存在すると、反射点
を用いた視線計測ができない。しかし、この状態でも、
瞳孔中心座標の計測は可能である。瞳孔中心-眼球回転
中心法により、視線方向を求めることが可能である。眼
球回転中心の動きについては、自動補正により、修正を
行うことにより対応する。

【００２３】iv)瞳孔中心-眼球回転中心方法の自動補正 視線方向を瞳孔中心位置（xp,yp）、眼球回転中心（xo,
yo）瞳孔中心回転半径ｒより求めることができる。カメ
ラに対する視線方向は、以下の［数３］で表すことがで
きる。

【数３】 頭部が動かないときは、瞳孔回転中心(xo,yo)は、一定
値である。しかし、どのように頭部を固定しても、動い
てしまう場合がある。従来は、頭部が動いてしまった場
合は、再度校正を行っていたが、これを、反射点を用い
て自動的に校正を行う方法を提案する。瞳孔中心位置と
反射光重心から眼球回転中心を求めることができる。瞳
孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重
心位置と角膜を球の一部としたとき球の中心である角膜
曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半
径（r）、角膜曲率中心回転半径（rr)から眼球回転中心
(xo,yo)とすると以下の式で求められる。 xo=(rx-alpha-xp*rr/r)/(1-rr/r) yo=(ry-beta-yp*rr/r)/(1-rr/r) 反射点は、計測できない場合がある、また、断続的なズ
レを想定しているので、計測時以前の何秒間（設定によ
り変更可能、20秒程度を規定値に想定）の眼球回転中心
（xo,yo）の平均値をその時点の眼球回転中心とする。
この値を用いることにより、再校正なしに、瞳孔中心の
みで視線方向を計算することができるようになる。ま
た、十分に短い時間ならば、頭部は動いていないと仮定
できるので、瞳孔中心-反射点法が使えない場合の、補
助として使用することが可能である。

【００２４】v)６０Hzで計測を行う場合 それぞれ、計測に用いる値をフィールド毎に求める。具
体的には、偶数フィールドと奇数フィールド毎に、瞳孔
中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重心
位置と角膜を球の一部としたとき球の中心である角膜曲
率中心の位置との距離(alpha,beta)、瞳孔中心回転半径
（r）、角膜曲率中心回転半径（rr）、眼球回転中心(x
o,yo)を校正により計測する。視線を計算する場合に
は、奇数フィールドの画像については、奇数フィールド
の画像から求めた値、偶数フィールドの画像について
は、偶数フィールドの画像から求めた値を用いて計算す
る。これにより、フィールド毎に値が振動する現象を排
除できる。

【００２５】vi)瞳孔を検出する際の閾値の複数使用に
ついて。 第一段階と第二段階で異なる閾値を用いることにより、
その問題を解決する。明るさが変わらない場合は、それ
ぞれ、独立な固定値設定し、自動的に閾値を変化させて
いる場合は、第一段階の閾値(th1)と第二段階の閾値(th
2)の比率(a),（th1=a*th2という関係）を設定すること
により、連続的な変化にも対応できるようにする。図１
８に示すように、輪郭を検出するのに必要な閾値(th2)
の場合は、周辺ノイズが多い。図１９に示すように、閾
値（th1）を下げることにより、周辺ノイズを低減する
ことができる。

【００２６】vii)瞳孔の縁の検出方法について １）従来の方法で楕円を求める。 楕円の幾何学的な性質を利用し、瞳孔の縁以外を除去す
る。楕円には、次のような幾何学的な性質がある。楕円
と交わる３本の平行な直線l、m、n を考える。l、n はm
から等距離にあるとする。楕円と直線l との交点をa、
b 、直線n の交点をc、d とする。楕円と直線m の交点
の中点をo とする。a、b の中点とc、dの中点を結ぶ線
の中点をo'とすると、o'はo と重なるという性質がある
（図１０）。瞳孔の画像について瞳孔画像のほぼ中央に
引いた直線m から等距離にあるN個の平行線の組のo'i
（i=1‐N）に当たる点を求める。求められた点は、直線
mの上に分布する。誤って検出された縁が十分少ないと
きは、最も多くの点o'が集まった位置がo の位置に相当
する。その位置から離れている点は、楕円の軌跡上にな
い点を含んでいることになるので、それらを除外する。
どのくらい離れていたら、除外するかは、プログラムで
指定することにより、許容範囲の設定が可能になる。４
点が相補的に誤差を含んでしまった場合には、除外され
なくなるが、確率的にそのようなことは起こりにくい。
o に十分近いo'i を持つ点a i ,b i ,c i ,d i は、楕
円の軌跡上の点なので、これらの点の座標を［数１］に
代入し正確な楕円近似を行うことができる。

【００２７】２）上記の場合、例えば、a12のみが、何
らかの理由により楕円の軌跡上に無かったとする。する
と、b12,c12,d12が楕円の軌跡上に存在するにもかかわ
らず、楕円の軌跡を計算するのに用いられないことにな
る。そこで従来方法で楕円の軌跡を求めた後、再度検出
された瞳孔の縁の点について、求めた楕円軌跡との距離
を計算し、その距離が一定以下であれば、瞳孔の縁とす
る。 ３）新たな点を加えて、最小自乗法により楕円を算出す
る。これにより、従来よりも高精度に、楕円を求めるこ
とが可能になる。

【００２８】viii)目蓋の掛かり具合の計測法について １）図２０に示すように、検出した瞳孔の縁から、楕円
を近似し楕円の上下方向の距離（eh）を得る。 ２）検出した瞳孔の縁（楕円近似に用いたもの）の、上
下方向の最大値と最小値の差（ph)を得る。 ３）ph/eh＊１００を瞳孔検出率（％）とする。 瞳孔検出率を用いることにより、どの程度目蓋がおりた
時に計測を中断するか？といった定量的な評価を行うこ
とが可能になる。

【００２９】ix)瞳孔の検出の精度について（横方向に
入ったノイズの割合）。 1）楕円近似に用いた瞳孔の縁の上下方向の最大値と最
小値の差（ph）を得る。 2）楕円近似に用いた瞳孔の縁の数を得る（en）。 3)（en/2）/ph*100を縁検出率（％）とする。 enは、検出の際に左右の縁を検出しているので、二等分
する必要がある。縁検出率を用いることにより、どの程
度正確に縁を検出できているかを定量的に評価すること
ができる。比較的ノイズが少ない図２１は、縁検出率７
０％である。また、ノイズが多い場合の図２２は、縁検
出率４０％である。

【００３０】

【発明の効果】本発明は、反射点の大きさが小さい場
合、或いは反射点が複数ある場合にも、誤り無く反射光
重心位置を計測することができる。また、本発明は、校
正時に、反射点の幅と高さの平均を求め、かつ、計測時
に、反射点の幅、高さと比較し大きく異なる物を排除す
ることにより、正確に計測を行うことができる。また、
本発明は、瞳孔中心-反射点法で計算できなくなった場
合、自動的に瞳孔中心法に切り替えることにより計測の
中断をなくすことができる。また、本発明は、反射点が
計測できない場合であっても、再校正なしに、瞳孔中心
のみで視線方向を計算することができる。また、本発明
は、計測に用いる値をフィールド毎に求めて、フィール
ド毎のばらつきをなくすることができる。また、本発明
は、瞳孔の縁を正確に検出することができる。また、本
発明は、高精度に、楕円を求めることができる。また、
本発明は、どの程度目蓋がおりてきていたら、計測を中
断するかの定量的な評価を行うことができる。また、本
発明は、反射光が瞳孔の縁に掛かる、ピントがずれてい
るため瞳孔の縁が明確に捕らえられていないなどの場合
に、定量的な評価をすることができる。

【図面の簡単な説明】

【図１】カメラと目の位置関係を示す図である。

【図２】撮影された眼球を示す図である。

【図３】図１を簡略化した図である。

【図４】反射点出現位置を示す図である。

【図５】眼球が回転した時の角膜反射光重心と角膜曲率
中心の位置関係を示す図である。

【図６】眼球が回転しても角膜反射光重心と角膜曲率中
心の位置関係が変化しないことを説明するための図であ
る。

【図７】瞳孔中心、角膜曲率中心、眼球回転中心が瞳孔
の短軸の延長線上に存在することを説明するための図で
ある。

【図８】図７を簡略化した図であり、角膜反射光重心、
瞳孔中心、角膜曲率中心、眼球回転中心の位置関係を表
す図である。

【図９】角膜上ではなく、強膜上で反射した場合の反射
光の検出を説明するための図である。

【図１０】瞳孔の縁の検出方法を説明するための図であ
る。

【図１１】反射光重心位置計測を説明するための図であ
り、眼球をカメラ方向から見た図である。

【図１２】図１１に示す眼球を、横方向から見た図であ
る。

【図１３】反射光重心の計測を説明するための画像であ
る。

【図１４】反射光重心を求める方法を説明するための図
である。

【図１５】重心が予測値に最も近いものを選ぶ方法を説
明するための図である。

【図１６】反射点の大きさを説明するための図である。

【図１７】強膜に存在する反射光を説明するための図で
ある。

【図１８】輪郭を検出する際の周辺ノイズを説明するた
めの図である。

【図１９】閾値（th1）を下げることにより、周辺ノイ
ズを低減する方法を説明するための図である。

【図２０】目蓋の掛かり具合の計測法を説明するための
図である。

【図２１】比較的ノイズが少ない場合の縁検出率を例示
する図である。

【図２２】ノイズが多い場合の縁検出率を例示する図で
ある。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 圭司 茨城県つくば市東１−１−１ 独立行政法 人産業技術総合研究所 つくばセンター内 (72)発明者 永見 武司 茨城県つくば市東１−１−１ 独立行政法 人産業技術総合研究所 つくばセンター内 Ｆターム(参考） 2F065 AA03 AA17 AA46 AA51 BB07 CC16 DD12 EE00 FF27 FF42 GG07 GG21 HH12 JJ03 JJ08 JJ09 JJ26 QQ00 QQ17 QQ21 QQ25 QQ26 QQ28

Claims (18)

【特許請求の範囲】
1. 【請求項１】 頭部が固定された被験者において、反射
   位置が角膜上に位置するように配置された光源により照
   明された瞳孔を撮影可能のカメラによって、複数の画像
   を取り込み、それぞれの画像について、反射光形状及び
   瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円
   近似することにより短軸の傾き、短軸長軸比、及び瞳孔
   中心を計算して、反射光重心位置と角膜を球の一部とし
   たとき球の中心である角膜曲率中心の位置関係及び眼球
   が回転する際の不動点である眼球回転中心-角膜曲率中
   心距離を計測し、その後、反射位置を求める際に、瞳孔
   中心位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光重
   心位置と角膜を球の一部としたとき球の中心である角膜
   曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半
   径（r）、角膜曲率中心回転半径（rr)から反射光重心位
   置(rx,ry)を予測し、その近傍のみを探すことにより反
   射光重心位置を計測する方法。
2. 【請求項２】 被験者において、反射位置が角膜上に位
   置するように配置された光源により照明された瞳孔を撮
   影可能のカメラによって、複数の画像を取り込み、それ
   ぞれの画像について、反射光形状及び瞳孔形状を計測し
   て、反射光重心位置、及び瞳孔を楕円近似することによ
   り短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、
   反射光重心位置と角膜を球の一部としたとき球の中心で
   ある角膜曲率中心の位置関係及び眼球が回転する際の不
   動点である眼球回転中心-角膜曲率中心距離を計測し、
   その校正時に、反射光の幅、高さを記録し、以後の反射
   光重心計測の際に、幅高さの値を比較することによっ
   て、不正な反射光を取り除く方法。
3. 【請求項３】 被験者において、反射位置が角膜上に位
   置するように配置された光源により照明された瞳孔を撮
   影可能のカメラによって、複数の画像を取り込み、それ
   ぞれの画像について、反射光形状及び瞳孔形状を計測し
   て、反射光重心位置、及び瞳孔を楕円近似することによ
   り短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、
   反射光重心位置と角膜を球の一部としたとき球の中心で
   ある角膜曲率中心の位置関係及び眼球が回転する際の不
   動点である眼球回転中心-角膜曲率中心距離を計測し、
   計測された値と反射光重心と瞳孔中心位置を用いて視線
   位置計測する方法と計測された値と瞳孔中心位置を用い
   て視線位置計測する方法を自動的に切り替えて視線位置
   計測を行う方法。
4. 【請求項４】 被験者において、反射位置が角膜上に位
   置するように配置された光源により照明された瞳孔を撮
   影可能のカメラによって、複数の画像を取り込み、それ
   ぞれの画像について、反射光形状及び瞳孔形状を計測し
   て、反射光重心位置、及び瞳孔を楕円近似することによ
   り短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、
   反射光重心位置と角膜を球の一部としたとき球の中心で
   ある角膜曲率中心の位置関係及び眼球が回転する際の不
   動点である眼球回転中心-角膜曲率中心距離を計測し、
   瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光
   重心位置と角膜を球の一部としたとき球の中心である角
   膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転
   半径（r）、角膜曲率中心回転半径（rr)から眼球回転中
   心(xo,yo)を計算し、頭部の動きを検出し、新たな眼球
   回転中心を設定することにより、瞳孔中心位置を用いて
   視線位置計測を行う際に、頭部の動きのズレを補正する
   方法。
5. 【請求項５】 被験者において、反射位置が角膜上に位
   置するように配置された光源により照明された瞳孔を撮
   影可能のカメラによって、複数の画像を取り込み、それ
   ぞれの画像について、反射光形状及び瞳孔形状を計測し
   て、反射光重心位置、及び瞳孔を楕円近似することによ
   り短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、
   反射光重心位置と角膜を球の一部としたとき球の中心で
   ある角膜曲率中心の位置関係及び眼球が回転する際の不
   動点である眼球回転中心-角膜曲率中心距離を計測し、N
   TSCにおける入力の際は、前述の計測値は、フィールド
   毎に独立に計測し、その値を用いて視線位置計測を行う
   方法。
6. 【請求項６】 請求項１〜５のいずれかに記載の方法に
   おいて、被験者の眼球が撮影された画像から、瞳孔を検
   出する際に、瞳孔の縁を検出する場合と異なった閾値を
   用いて画像処理をする方法。
7. 【請求項７】 請求項１〜５のいずれかに記載の方法に
   おいて、瞳孔の縁を楕円で近似する際に、検出した楕円
   の軌跡との距離を用いて、瞳孔の縁を再度検出し、その
   値を組み込んで再度楕円で近似することにより、高精度
   で瞳孔を楕円で近似する方法。
8. 【請求項８】 請求項１〜５のいずれかに記載の方法に
   おいて、瞳孔の縁を検出し、瞳孔を楕円で近似した後、
   検出した瞳孔の縁の範囲と、楕円で近似した際の瞳孔の
   範囲を比較し、どの程度目蓋が開いていたかを計測する
   方法。
9. 【請求項９】 請求項１〜５のいずれかに記載の方法に
   おいて、楕円の縁を検出し、瞳孔を楕円で近似した後、
   検出した瞳孔の範囲に対する、検出した縁の割り合いを
   計算し、どのくらいの精度で検出できているかを計測す
   る方法。
10. 【請求項１０】 頭部が固定された被験者において、反
    射位置が角膜上に位置するように配置された光源により
    照明された瞳孔を撮影可能のカメラによって、複数の画
    像を取り込み、それぞれの画像について、反射光形状及
    び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕
    円近似することにより短軸の傾き、短軸長軸比、及び瞳
    孔中心を計算して、反射光重心位置と角膜を球の一部と
    したとき球の中心である角膜曲率中心の位置関係及び眼
    球が回転する際の不動点である眼球回転中心-角膜曲率
    中心距離を計測する手段と、反射位置を求める際に、瞳
    孔中心位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光
    重心位置と角膜を球の一部としたとき球の中心である角
    膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転
    半径（r）、角膜曲率中心回転半径（rr）から反射光重
    心位置(rx,ry)を予測し、その近傍のみを探す手段とか
    ら成る反射光重心位置を計測するシステム。
11. 【請求項１１】 被験者において、反射位置が角膜上に
    位置するように配置された光源により照明された瞳孔を
    撮影可能のカメラによって、複数の画像を取り込み、そ
    れぞれの画像について、反射光形状及び瞳孔形状を計測
    して、反射光重心位置、及び瞳孔を楕円近似することに
    より短軸の傾き、短軸長軸比、及び瞳孔中心を計算する
    手段と、反射光重心位置と角膜を球の一部としたとき球
    の中心である角膜曲率中心の位置関係及び眼球が回転す
    る際の不動点である眼球回転中心-角膜曲率中心距離を
    計測する手段とを備え、その校正時に、反射光の幅、高
    さを記録し、以後の反射点計測の際に、幅高さの値を比
    較することによって、不正な反射光を取り除くシステ
    ム。
12. 【請求項１２】 被験者において、反射位置が角膜上に
    位置するように配置された光源により照明された瞳孔を
    撮影可能のカメラによって、複数の画像を取り込み、そ
    れぞれの画像について、反射光形状及び瞳孔形状を計測
    して、反射光重心位置、及び瞳孔を楕円近似することに
    より短軸の傾き、短軸長軸比、及び瞳孔中心を計算する
    手段と、反射光重心位置と角膜を球の一部としたとき球
    の中心である角膜曲率中心の位置関係及び眼球が回転す
    る際の不動点である眼球回転中心-角膜曲率中心距離を
    計測し、計測された値と反射光重心と瞳孔中心位置を用
    いて視線位置計測する手段と計測された値と瞳孔中心位
    置を用いて視線位置計測する手段を自動的に切り替える
    ことから成る視線位置計測を行うシステム。
13. 【請求項１３】 被験者において、反射位置が角膜上に
    位置するように配置された光源により照明された瞳孔を
    撮影可能のカメラによって、複数の画像を取り込み、そ
    れぞれの画像について、反射光形状及び瞳孔形状を計測
    して、反射光重心位置、及び瞳孔を楕円近似することに
    より短軸の傾き、短軸長軸比、及び瞳孔中心を計算する
    手段と、反射光重心位置と角膜を球の一部としたとき球
    の中心である角膜曲率中心の位置関係及び眼球が回転す
    る際の不動点である眼球回転中心-角膜曲率中心距離を
    計測する手段と、瞳孔中心位置(xp,yp)、反射光重心位
    置(rx,ry)、反射光重心位置と角膜を球の一部としたと
    き球の中心である角膜曲率中心の位置との距離(alpha,b
    eta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径
    （rr）から眼球回転中心(xo,yo)を計算する手段とを備
    え、頭部の動きを検出し、新たな眼球回転中心を設定す
    ることにより、瞳孔中心位置を用いて視線位置計測を行
    う際に、頭部の動きのズレを補正するシステム。
14. 【請求項１４】 被験者において、反射位置が角膜上に
    位置するように配置された光源により照明された瞳孔を
    撮影可能のカメラによって、複数の画像を取り込み、そ
    れぞれの画像について、反射光形状及び瞳孔形状を計測
    して、反射光重心位置、及び瞳孔を楕円近似することに
    より短軸の傾き、短軸長軸比、及び瞳孔中心を計算する
    手段と、反射光重心位置と角膜を球の一部としたとき球
    の中心である角膜曲率中心の位置関係及び眼球が回転す
    る際の不動点である眼球回転中心-角膜曲率中心距離を
    計測する手段とを備え、NTSCにおける入力の際は、前述
    の計測値は、フィールド毎に独立に計測し、その値を用
    いて視線位置計測を行うシステム。
15. 【請求項１５】 請求項１０〜１４のいずれかに記載の
    システムにおいて、被験者の眼球が撮影された画像か
    ら、瞳孔を検出する際に、瞳孔の縁を検出する場合と異
    なった閾値を用いて画像処理をするシステム。
16. 【請求項１６】 請求項１０〜１４のいずれかに記載の
    システムにおいて、瞳孔の縁を楕円で近似する際に、検
    出した楕円の軌跡との距離を用いて、瞳孔の縁を再度検
    出し、その値を組み込んで再度楕円で近似することによ
    り、高精度で瞳孔を楕円で近似するシステム。
17. 【請求項１７】 請求項１０〜１４のいずれかに記載の
    システムにおいて、瞳孔の縁を検出し、瞳孔を楕円で近
    似した後、検出した瞳孔の縁の範囲と、楕円で近似した
    際の瞳孔の範囲を比較し、どの程度目蓋が開いていたか
    を計測するシステム。
18. 【請求項１８】 請求項１０〜１４のいずれかに記載の
    システムにおいて、楕円の縁を検出し、瞳孔を楕円で近
    似した後、検出した瞳孔の範囲に対する、検出した縁の
    割り合いを計算し、どのくらいの精度で検出できている
    かを計測するシステム。