JP2002143094A

JP2002143094A - 視線検出装置

Info

Publication number: JP2002143094A
Application number: JP2000338456A
Authority: JP
Inventors: Shozo Hosoya; 昭三細谷; Jiro Hatake; 二郎畠; Yoshinori Suzuki; 良規鈴木; Shogo Nakamura; 祥悟中村; Shigetomo Mizuno; 重智水野; Masahiro Kato; 雅浩加藤
Original assignee: NAC IMAGE TECHNOLOGY Inc
Current assignee: NAC IMAGE TECHNOLOGY Inc
Priority date: 2000-11-07
Filing date: 2000-11-07
Publication date: 2002-05-21

Abstract

(57)【要約】（修正有）【課題】従来の頭部搭載型の視線検出装置において
は、複雑な演算処理を行なう必要があり、また、測定後
にデータ処理を行なう必要があり、時間的、コスト的に
多くの欠点があった。【解決手段】近赤外光により眼球を照明するための照
明手段と、眼球撮影カメラとを被験者の頭部に取付け、
近赤外光により眼球を照明するための1個または複数個
の照明手段を被験者の頭部から離れた位置に配置し、前
記撮影カメラから得られる眼の画像を処理することによ
り、頭部に取付けた照明手段からの照明光が角膜で反射
して作る反射像の位置と、頭部から離れた位置に配置さ
れた照明の照明光が角膜で反射して作る反射像の位置
と、瞳孔の中心座標、各照明手段の座標等を検出し、空
間座標における視線を演算せしめる。また、基準座標に
対する頭部の姿勢と、角膜の曲率中心を基準とした視線
方向を出力する出力手段を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は視線検出装置、特
に、人の眼の角膜からの光の反射像を利用して頭部運動
と眼球運動を同時に検出し、空間座標に対する視線を検
出するようにした視線検出装置に関するものである。

【０００２】

【従来の技術】人間の認知・判断・行動を計測する上で
視線の推移の計測は欠くべからざる計測項目である。

【０００３】従来、視線検出装置としては、人の眼の動
きを捉えるためのセンサーと、人間の視野に相当する影
像を撮影するための視野カメラとを頭部に搭載する頭部
搭載型の装置と、人の眼の動きを捉えるためのセンサー
を頭部から離れた位置に設置する非接触型の装置とがあ
る。

【０００４】頭部搭載型の視線検出装置は、例えば特開
平6−70884号公報や特開2000−5130号公報に示されてお
り、人の視野に相当する視野カメラの映像上に被験者が
見ている場所をマーカーで表示することで、歩行中など
の運動時でも視線計測ができるようにしている。この装
置で扱われる視線のデータは、人の顔が向く方向に視野
があるものとして観察領域を映像で確保し、その観察領
域内で視線がどこに到達しているかを表現している。こ
の装置を用いる場合には被験者は動き回ることができる
ため、広い空間での定性的な視線計測に使用されてい
る。然しながら、視線を視野カメラ映像上の座標に対応
づけて扱うシステムであるため、その視線データは眼球
の回転角度に準ずるものとなり、実空間の座標系に対す
る視線ベクトルとは異なる。

【０００５】例えば、頭部搭載型の視線検出装置を用い
文書の編集、印刷等のDTP作業におけるディスプレイ上
の被験者の視線を解析しようとする場合、計測対象であ
るモニタ画面の中心を見ながら頭を動かすと、視野映像
の上で視線を示すカーソルは、常に計測対象であるモニ
タ画面の中心に一致する。然しながら、頭を動かしてい
るため、視野映像の中の計測対象であるモニタ画面の中
心は縦横に移動し、視線データもそれに追従し変動す
る。視線がどの部分に集まっているかを定量的に解析す
るためには、視野映像の中の計測対象であるモニタ画面
の中心の移動量を検出し、それをもとに視線データを座
標変換しなければならない。

【０００６】即ち、頭部搭載型の視線検出装置を用いて
実空間の座標系に対する視線ベクトルを定量的に求める
ためには、アゴ台などで頭部を固定するか、実空間にお
ける基準位置から被測定眼球の回転中心に至る位置ベク
トルと、頭部の方向ベクトルを計測しなければならな
い。

【０００７】現在、磁気検出部またはジャイロセンサー
と頭部搭載型の視線検出装置とを組み合わせ、計測空間
における頭部の座標と方向を算出する方法が知られてい
る。磁気検出部は、計測空間の一点を基準とした空間座
標を定義し、磁気検出部の位置座標（X、Y、Z）と、磁
気検出部中心に定義されるローカルな空間座標のX軸、Y
軸、Z軸に対する回転（ロール、ピッチ、ヨー）を測定
することができる。磁気検出部の他にジャイロセンサー
も同様に使用できる。ジャイロセンサーではロール角、
方位角、ヨー角のみが計測され、位置座標はデータから
算出される移動方位ベクトルの時間積分値として得られ
るが、時間の経過と共に誤差も積分されるため、研究用
途にはあまり使用されていない。

【０００８】図７及び図８は磁気検出部を使用した従来
の装置とそのブロック図であって、１は被験者、２はモ
ニタ画面、３は照明手段、４は眼球撮影カメラ、５は視
野カメラ、６はディスプレイ装置、７はコントローラ、
８は磁気検出部、９は磁気発生部、１０は磁気センサー
制御部、１１は計算機、１２は従来の頭部搭載型視線検
出装置、１３はスーパーインポーザ、１４は画像処理
部、１５は演算部、１６は制御部を示す。

【０００９】

【発明が解決しようとする課題】然しながら、磁気検出
部８は、磁気発生部９が発する磁場をとらえるもので、
計測環境中にある磁性体、磁場発生体の近辺では誤差が
生じる。計測環境を整え、的確な補正を行なうことがで
きれば、分解能、精度共に実用的なデータを得ることが
できるが、現実的には補正に限界がある。

【００１０】また、視線検出装置１２に磁気検出部８や
ジャイロセンサーなどを組み合わせ、計測空間における
視線を検出しようとすると、視線検出装置１２からの出
力と磁気センサー制御部１０からの出力を夫々計算機１
１に入力し、時間的な同期を取った上で、双方のデータ
をパラメータとし、視線の演算を行なう等の手順が必要
である。従来それらはオフラインで処理されるのが一般
的で、測定後にデータ処理の手間がかかるという問題点
がある。また、頭部搭載型視線検出装置１２と磁気検出
部８やジャイロセンサーなどを組み合わせるには、装置
が独立しているためコストがかかるという問題点があ
る。

【００１１】従って、本発明の目的は、計測を行う空間
のある位置を基準とした視線ベクトルが算出できないと
いう頭部搭載型の視線検出装置弱点を解決することにあ
る。

【００１２】また、本発明の他の目的は、従来、別の処
理系で頭部の動きと視線の検出を行っていたので、デー
タの処理に手間がかかり、独立した装置が必要であるた
め、コストがかかるという問題を解決し、視線検出と同
じ処理系で頭部の動きを演算し、コストとデータ処理時
間を押さえることができる装置を提供することにある。

【００１３】

【課題を解決するための手段】本発明の視線検出装置
は、被験者の頭部に取付ける不可視光により眼球を照明
するための照明手段及び眼球を撮影するための撮影手段
と、被験者頭部から離れた位置に配置した不可視光によ
り眼球を照明するための照明手段と、上記撮影手段から
得られる眼の画像から、頭部に取付けられた照明手段の
照明光が角膜で反射して作る反射像の位置と、頭部から
離れた位置に配置された照明手段からの照明光が角膜で
反射して作る反射像の位置と、瞳孔の位置とを検出する
手段と、この検出結果を用いて空間座標における視線を
演算する手段とより成ることを特徴とする。

【００１４】上記頭部から離れた位置に配置された照明
手段は、複数であることを特徴とする。

【００１５】本発明の視線検出装置は、基準座標に対す
る頭部の姿勢（ピッチ角、方位角、ロール角）と、角膜
の曲率中心を基準とした視線方向（ピッチ角、方位角）
を出力する出力手段を有することを特徴とする。

【００１６】

【発明の実施の形態】以下図面によって本発明の実施例
を説明する。

【００１７】本発明の視線検出装置においては、図１及
び図２に示すように不可視光である近赤外光により眼球
を照明するための照明手段３と眼球撮影カメラ４とを被
験者１の頭部に取付け、同じく不可視光である近赤外光
により眼球を照明するための1個または複数個、例えば3
個の照明手段１７，１８及び１９を被験者１の頭部から
離れた位置例えばモニタ画面２の近傍に配置し、前記撮
影カメラ４から得られる眼の画像を画像処理部１４で処
理することにより、頭部に取付けた照明手段３からの照
明光が角膜で反射して作る反射像の位置と、頭部から離
れた位置に配置された不可視光の3個の照明手段１７，
１８及び１９からの照明光が角膜で反射して作る3個の
反射像の位置と、瞳孔の中心座標、各照明手段３，１
７，１８及び１９の座標等を検出し、その検出結果を用
いて演算部１５により演算を行い、空間座標における視
線を演算せしめる。

【００１８】被験者１の視野に応じた映像上に被験者１
の視線情報を重ね合わせて表示する必要がある場合に
は、視野カメラ５を被験者１の頭部に取り付け、これを
使用することができる。また、人間の視野に相当する映
像を撮影する視野カメラ５を頭部に近い位置に設置する
か、予め視野に相当する画像を撮影しておく方法もあ
る。何れの方法においても、視野映像と実際の空間の座
標との対応は、視野画像に照明手段１７，１８及び１９
の像が映っておりカメラの配置座標がわかれば演算によ
り算出することができる。視野カメラ５の出力画像はス
ーパーインポーザ１３に与え、また、空間座標に対応す
る視線データを演算部１５からスーパーインポーザ１３
に与える。スーパーインポーザ１３では、演算部１５か
ら与えられたデータに従い視野カメラ５の出力画像の上
に視線情報を重ね合わせた視線映像をディスプレイ装置
６に出力する。

【００１９】図３は被験者１が頭部に搭載する部分の具
体例を示し、この例では帽子２０に眼球撮影カメラ４を
設け、照明手段３と、眼の像を眼球撮影カメラ４へ導く
ためのミラー２１とをアーム２２を介して帽子２０によ
り支える。

【００２０】図４は固定の照明手段１７を基準位置とし
た空間座標系と被験者１の角膜の曲率中心を中心とする
極座標系の関係を示すものである。図４は、図１を真上
から眺めた状態を反映し、3次元空間のベクトル成分の
内XY平面に含まれる成分のみを考えたものである。図５
は図４の瞳孔付近を拡大した図である。

【００２１】図４における眼球２３の構造は単純化せし
めている。角膜２４はある曲率の球面であると考える。
また、瞳孔中心２５を通り瞳孔に垂直な直線を視線２６
と定義し、角膜曲率中心２７と眼球回転中心は、視線２
６上にあるものとする。固定の光源手段１７，１８及び
１９はXZ平面上に立体的に配置されるが、ここではXY平
面に含まれる成分のみで考えるためX軸上に置かれてい
る。また、固定の光源手段１７はY軸上に置かれてい
る。角膜２４の曲率中心２７からX軸におろす垂線２８
を考え、その垂線２８と視線２６が成す角を視線角度ψ
で表す。頭部に搭載する照明手段３と角膜曲率中心２７
を通る直線２９と上記垂線２８とがなす角を頭部回転角
θで表す。瞳孔中心２５から直線２９に降ろした垂線３
０の長さをP₀とし、角膜の曲率中心２７から瞳孔中心２
５までの距離をPrとすると、

【００２２】P₀＝ Pr sin（θ−ψ）・・・（１）

【００２３】ここで、θ−ψは照明手段３の角膜反射像
３１の位置を基準とした眼球の回転角度を表している。
これは頭部を基準とした眼球の回転運動と同義である。
直線２９をレンズ光軸とする眼球撮影カメラ４の出力画
像を図６に示す。眼球撮影カメラ４には被験者１の瞳孔
の像３２、照明手段３の角膜反射像３１の像３３、固定
の光源１７，１８及び１９の夫々の角膜反射像３４，３
５及び３６の像３７，３８及び３９が結像する。この画
像を画像処理部１４で処理し、瞳孔像３２、角膜反射像
３１の像から眼球撮影カメラ４上での瞳孔中心座標Spと
角膜反射像座標Scを検出し、カメラレンズの倍率Bを使
用して演算部１５でP₀＝B（Sc−Sp）と演算を行うこと
により垂線３０の長さP₀を求めることができる。照明手
段３の角膜反射像３１は、凸面鏡による反射の原理によ
り、角膜の曲率中心２７から角膜の曲率半径の約1／2の
距離の球面上にできる。また、瞳孔中心２５も角膜頂点
から約4mm内側にあるとされており、角膜の曲率半径は
解剖学的に約7.8mm程度であるので、角膜の曲率中心２
７からの距離は略同じであると考えてよい。角膜の曲率
中心２７から瞳孔中心２５までの距離Prは、直線２９に
対する角度が既知である位置に照明手段を設け眼球を照
らすことによりできる角膜反射像と照明手段３の角膜反
射像３１との距離を検出することにより式（１）から求
められる。

【００２４】固定の照明手段１７の角膜反射像３４は、
凸面鏡による反射の原理により、角膜の曲率中心２７か
ら角膜の曲率半径の約１／２の距離の球面上にできる。
角膜反射像３４から直線２９に降ろした垂線４０の長さ
をP₂、垂線２８と固定の照明手段１７が成す角をφとす
ると、

【００２５】P₂= Pr sin（θ−φ）・・・（２）

【００２６】角膜の曲率に対し、角膜から固定の照明手
段１７間までの距離が十分遠く、頭部の動きが少ない場
合、即ち垂線２８と固定の照明手段１７が成す角φが一
定の場合はP₂を測定すれば、式（２）から頭部の回転角
θを求めることができる。よって、式（１）を利用し
て、垂線２８と視線２６が成す視線角度ψを算出するこ
とができる。

【００２７】固定の照明手段１８の角膜反射像３５は、
凸面鏡による反射の原理により、角膜の曲率中心２７か
ら角膜の曲率半径の約１／２の距離の球面上にできる。
頭部に搭載する照明手段３と角膜曲率中心２７を通る直
線２９に降ろした垂線４１の長さをP3、固定照明手段１
８と角膜の曲率中心２７を結ぶ直線と固定の照明手段１
８と角膜の曲率中心２７を結ぶ直線とが成す角４２をα
とすると

【００２８】 P₃＝Pr sin（α＋（θ−φ））・・・（３）

【００２９】固定の照明手段１９の角膜反射像３６は、
凸面境による反射の原理により、角膜の曲率中心２７か
ら角膜の曲率半径の約１／２の距離の球面上にできる。
頭部に搭載する照明手段３と角膜曲率中心２７を通る直
線２９に降ろした垂線４３の長さをP₄、固定の照明手段
１７と角膜の曲率中心２７を結ぶ直線と固定の照明手段
１９と角膜の曲率中心２７を結ぶ直線とが成す角４４を
βとすると

【００３０】 P₄＝Pr sin（β＋（θ−φ））・・・（４）

【００３１】頭部に搭載する照明手段３と角膜曲率中心
２７を通る直線２９に降ろした垂線４０の長さP₂と、頭
部に搭載する照明手段３と角膜曲率中心２７を通る直線
２９に降ろした垂線４１の長さP₃と、頭部に搭載する照
明手段３と角膜曲率中心２７を通る直線２９に降ろした
垂線４３の長さP₄をそれぞれ検出できれば、式（２）か
ら（θ−φ）が求められ、式（３），（４）から角４２
（α）と角４４（β）をそれぞれ求めることが出来る。
固定の照明手段１７，１８及び１９の座標が既知であれ
ば、その座標値と角４２（α）と角４４（β）を使い、
角膜の曲率中心２７の空間座標を算出することができ
る。また、垂線２８と固定の照明手段１７が成す角φ
は、角膜の曲率中心２７の空間座標を使い、三角関数に
より導出できる。よって、（θ−φ）−φにより頭部の
回転角θを求めることができる。従って、式（１）によ
り視線角度ψを求められる。以上はXY平面上の図式を使
い2次元的に説明したが、3次元座標系に於いても同じ関
係が成り立つ。本実施例により計測できる数値の表現は
例えば、角膜の曲率中心２７の位置座標（X，Y，Z）、
頭部の姿勢（Sφ，Sθ，Sψ）、視線方向（eφ，eθ，e
ψ）のように表現できる。（X，Y，Z）は直行座標系で
あり各成分は位置を表す。（Sφ，Sθ，Sψ）、（eφ，
eφ，eψ）は直行座標系のXYZ各座標軸の周りの回転を
表していて、成分はそれぞれピッチ角、方位角、ロール
角である。

【００３２】

【発明の効果】上記のように本発明に係る視線検出装置
は、角膜反射像を利用する頭部搭載型の視線検出装置に
空間に配置する1個または複数個の照明手段を付け加え
ることにより構成されているので、磁気センサーの様な
特別な計測装置を使用せずに済み、コストが安くなる。
また、空間の任意の点を基準とした視線ベクトルを得る
ことができるため、注視点を空間座標で得ることがで
き、頭部の動きのデータも得ることができる。

【図面の簡単な説明】

【図１】本発明の視線検出装置の説明図である。

【図２】本発明の視線検出装置のブロック図である。

【図３】被験者が頭部に搭載する部分の具体例を示す斜
視図である。

【図４】固定の照明を基準位置とした空間座標系と被験
者の角膜の曲率中心を中心とする極座標系の関係につい
ての説明図である。

【図５】図４の瞳孔付近を拡大した図である。

【図６】眼球撮影カメラの出力画像説明図である。

【図７】磁気センサーを使用した従来の視線検出装置の
説明図である。

【図８】磁気センサーを使用した従来の視線検出装置の
ブロック図である。

【符号の説明】

１被験者２モニタ画面３照明手段４眼球撮影カメラ５視野カメラ６ディスプレイ装置７コントローラ８磁気検出部９磁気発生部１０磁気センサー制御部１１計算機１２視線検出装置１３スーパーインポーザ１４画像処理部１５演算部１６制御部１７照明手段１８照明手段１９照明手段２０帽子２１ミラー２２アーム２３眼球２４角膜２５瞳孔中心２６視線２７角膜曲率中心２８垂線２９直線３０垂線３１角膜反射像３２瞳孔の像３３像３４角膜反射像３５角膜反射像３６角膜反射像３７像３８像３９像４０垂線４１垂線４２（α）角４３垂線４４（β）角

フロントページの続き (72)発明者鈴木良規東京都千代田区三番町８−７第25興和ビル株式会社ナックイメージテクノロジー内 (72)発明者中村祥悟東京都千代田区三番町８−７第25興和ビル株式会社ナックイメージテクノロジー内 (72)発明者水野重智東京都千代田区三番町８−７第25興和ビル株式会社ナックイメージテクノロジー内 (72)発明者加藤雅浩東京都千代田区三番町８−７第25興和ビル株式会社ナックイメージテクノロジー内Ｆターム(参考） 2H020 MA07 MD16 5B087 AA10 AB05 BC05 BC12 BC13 BC26 BC32

Claims

【特許請求の範囲】

【請求項１】被験者の頭部に取付ける不可視光により
眼球を照明するための照明手段及び眼球を撮影するため
の撮影手段と、被験者頭部から離れた位置に配置した不
可視光により眼球を照明するための照明手段と、上記撮
影手段から得られる眼の画像から、頭部に取付けられた
照明手段の照明光が角膜で反射して作る反射像の位置
と、頭部から離れた位置に配置された照明手段からの照
明光が角膜で反射して作る反射像の位置と、瞳孔の位置
とを検出する手段と、この検出結果を用いて空間座標に
おける視線を演算する手段とより成ることを特徴とする
視線検出装置。
【請求項２】上記頭部から離れた位置に配置された照
明手段が複数であることを特徴とする請求項１記載の視
線検出装置。
【請求項３】基準座標に対する頭部の姿勢（ピッチ
角、方位角、）と、角膜の曲率中心を基準とした視線方
向（ピッチ角、方位角）を出力する出力手段を有するこ
とを特徴とする請求項１記載の視線検出装置。
【請求項４】基準座標に対する頭部の姿勢（ピッチ
角、方位角、ロール角）と、角膜の曲率中心を基準とし
た視線方向（ピッチ角、方位角）を出力する出力手段を
有することを特徴とする請求項２記載の視線検出装置。