JP2000308618A - 視線計測方法、視線計測装置 - Google Patents

Abstract

(57)【要約】 【課題】 正確な校正によって視線計測を可能とする。 【解決手段】 眼球位置計測手段１１と、被験者の視線
方向に対応した物理量を計測する物理量計測手段１３
と、眼球が特定の対象を注視しているときの物理量を複
数回求め、複数の物理量を複数の特定した各対象毎に複
数組求め、複数組の各組毎に各複数の物理量に基づき眼
球が移動する複数の特定された位置毎に複数の物理量を
複数組推定して記憶する特定の物理量推定記憶手段１５
と、複数組の各組毎に推定された複数の物理量に基づ
き、選択された眼球位置における校正データポイントを
各組毎に算出する校正データポイント演算手段１７と、
複数の校正データポイントに基づき選択された眼球位置
における校正データラインを算出する校正データライン
演算手段１７とを備え、校正データラインを用いて視線
方向を求めることを特徴とする。

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明は、人の視線の方向を
正確に計測することのできる視線計測方法及び視線計測
装置に関する。

【従来の技術】従来の視線方向計測装置としては、例え
ば特開平９−２３８９０５に示されたようなものがあ
る。かかる装置においては、眼球位置と眼球回転角を検
出することにより視線方向を算出することができる。

【発明が解決しようとする課題】しかしながら、同じ対
象を見ていても眼球の位置がずれると、眼球回転角が変
化し、正確な視線方向を算出することができなくなる。
そこで従来は、図１２のような校正方法を採用してい
た。図１２（ａ）は、眼球１が校正用の第１の視標３を
見ている状態を真上から見たものである。なお、図１２
（ａ）には第１の視標３の他に第２の視標５、第３の視
標７をそれぞれ示している。同図において、眼球がＸ_０
の位置にある時、第１の視標３を見ていれば、眼球回転
角がθ＝θ_０と検出される。ここで、眼球回転角を検出
しているときに人の頭は常に同一位置に正確に位置して
いるものではなく、時間と共に左右に若干ずれる傾向に
あり、例えば頭が左方向にずれて眼球位置がＸ_１にあっ
たとすると、第１の視標３に対し眼球回転角はθ＝θ_１
と検出されることになる。従って、同じ第１の視標３に
視線方向がありながら眼球回転角θが異なって検出され
ることになり、眼球回転角θ_１から視線方向を算出する
と、算出される視線方向がずれるという問題がある。こ
うした、従来の視線計測装置にあっては、図１２（ｂ）
のような校正データライン９を作成して視線方向の校正
が行われる。この校正方法は、以下のように行なわれ
る。例えば眼球１が第１の視標３を見ているときに頭部
移動に応じた眼球回転角θ＝θ_１，θ_０等、複数の眼球
回転角を検出し、かかる検出を第２の視標５及び第３の
視標７についても行い、それぞれ複数、例えば図１２
（ｂ）のようにそれぞれの視標毎に２個のデータをそれ
ぞれ検出する。これらのデータに基づいて最小二乗法を
適用し、校正データライン９を得る。そして、例えば眼
球回転角θ_１が検出された場合に、その眼球回転角θ_１
と校正データライン９との交点における左右方向の位置
１０が校正された視線方向を表すことになる。尚、図１
２においては水平方向の頭部の移動についての校正を示
したが、垂直方向の頭部の移動による校正も同様に行
う。このような校正方法にあっては、眼球回転角θ＝θ
_１が検出されたとき、図１２（ｂ）のように校正データ
ライン９による視線方向は本来の視線方向である第１の
視標３から距離Ｓだけずれることになり、校正を行って
も正確な校正にはならないという問題があった。本発明
は、眼球位置も考慮した、より正確な校正によって視線
方向の計測を行うことのできる視線計測方法及び視線計
測装置の提供を課題とする。

【課題を解決するための手段】請求項１の発明は、眼球
が特定の対象を注視しているときの視線方向に対応した
物理量を該眼球が移動する複数の特定された位置毎にそ
れぞれ求め、該複数の物理量を複数の特定の対象につい
て各対象毎に複数組求め、該複数組の各組毎に求められ
た複数の物理量に基づき、選択された眼球位置における
校正データポイントを各組毎に求め、該複数の校正デー
タポイントに基づき前記選択された眼球位置における校
正データラインを求め、該校正データラインを用いて視
線方向を求めることを特徴とする。請求項２の発明は、
眼球が特定の対象を注視しているときの視線方向に対応
した物理量を複数回求め、該複数の物理量を複数の特定
の対象について各対象毎に複数組求め、該複数組の各組
毎に各複数の物理量に基づき眼球が移動する複数の特定
された位置毎に視線方向に対応した複数の物理量を複数
組推定し、該複数組の各組毎に推定された複数の物理量
に基づき、選択された眼球位置における校正データポイ
ントを各組毎に求め、該複数の校正データポイントに基
づき前記選択された眼球位置における校正データライン
を求め、該校正データラインを用いて視線方向を求める
ことを特徴とする。請求項３の発明は、請求項１又は２
記載の視線計測方法であって、前記校正データラインと
前記選択された眼球位置における視線方向に対応した物
理量とから視線方向を求めることを特徴とする。請求項
４の発明は、被験者の眼球位置を計測する眼球位置計測
手段と、被験者の視線方向に対応した物理量を計測する
物理量計測手段と、眼球が特定の対象を注視していると
きの視線方向に対応した物理量を該眼球が移動する複数
の特定された位置毎にそれぞれ求め、該複数の物理量を
複数の特定の対象について各対象毎に複数組抽出して記
憶する特定の物理量抽出記憶手段と、該複数組の各組毎
に抽出された複数の物理量に基づき、選択された眼球位
置における校正データポイントを各組毎に算出する校正
データポイント演算手段と、該複数の校正データポイン
トに基づき前記選択された眼球位置における校正データ
ラインを算出する校正データライン演算手段とを備え、
該校正データラインを用いて視線方向を求めることを特
徴とする。請求項５の発明は、被験者の眼球位置を計測
する眼球位置計測手段と、被験者の視線方向に対応した
物理量を計測する物理量計測手段と、眼球が特定の対象
を注視しているときの視線方向に対応した物理量を複数
回求め、該複数の物理量を複数の特定した各対象毎に複
数組求め、該複数組の各組毎に各複数の物理量に基づき
眼球が移動する複数の特定された位置毎に視線方向に対
応した複数の物理量を複数組推定して記憶する特定の物
理量推定記憶手段と、該複数組の各組毎に推定された複
数の物理量に基づき、選択された眼球位置における校正
データポイントを各組毎に算出する校正データポイント
演算手段と、該複数の校正データポイントに基づき前記
選択された眼球位置における校正データラインを算出す
る校正データライン演算手段とを備え、該校正データラ
インを用いて視線方向を求めることを特徴とする。請求
項６の発明は、請求項４又は５記載の視線計測装置であ
って、前記校正データラインと前記眼球位置計測手段で
計測され選択された眼球位置における視線方向に対応し
た物理量とから視線方向を算出する視線方向算出手段を
備えたことを特徴とする。請求項７の発明は、請求項４
〜６のいずれかに記載の視線計測装置であって、前記眼
球位置計測手段は、被験者の目を含む顔の画像を撮像す
る撮像手段と、該撮像手段による顔画像から円形領域を
抽出し、該円形領域の重心位置を眼球位置とする眼球位
置算出手段とからなることを特徴とする。請求項８の発
明は、請求項７に記載の視線計測装置であって、前記物
理量計測手段は、前記被験者の顔を照射する照明手段
と、該照明手段に基づく角膜反射像と前記眼球位置算出
手段による重心位置との距離を物理量に対応した眼球特
徴量とする眼球特徴量計測手段とからなることを特徴と
する。請求項９の発明は、請求項８記載の視線計測装置
であって、前記眼球特徴量計測手段は、前記円形領域の
回りに角膜の大きさを上回る矩形の領域を設定し、該矩
形の領域内の最も明るい点を角膜反射像とすることを特
徴とする。請求項１０の発明は、請求項４記載の視線計
測装置であって、前記特定の物理量抽出記憶手段は、前
記特定の対象として視標を特定位置に投影する視標投影
手段と、該視標投影手段を制御し前記特定位置を複数と
する視標制御手段とを備えていることを特徴とする。請
求項１１の発明は、請求項５記載の視線計測装置であっ
て、前記特定の物理量推定記憶手段は、前記特定の対象
として視標を特定位置に投影する視標投影手段と、該視
標投影手段を制御し前記特定位置を複数とする視標制御
手段とを備えていることを特徴とする。

【発明の効果】請求項１の発明では、視線方向に対応し
た物理量を眼球が移動する複数の特定された位置、例え
ば視線計測装置が検出可能な限界位置毎にそれぞれ求め
て、該複数の物理量を複数の特定の対象について複数組
求めることにより校正データラインを作成するから、正
確な校正データラインを得ることができる。すなわち視
線計測装置の計測可能な限界位置というのは、その中間
位置とは異なり、常に一定した位置であり、かかる一定
した位置における視線方向に対応した物理量に基づいて
校正データラインを作成すると、正確な校正データライ
ンを得ることができ、該校正データラインによって正確
な視線方向を求めることができる。請求項２の発明で
は、検出された複数の物理量に基づき眼球が移動する複
数の特定された位置毎に視線方向に対応した複数の物理
量を複数組推定することに基づいて校正データラインを
作成するから、上記同様特定された位置の物理量を用い
ることができ、正確な校正データラインを得ることがで
きて正確な視線方向を計測することができる。請求項３
の発明では、請求項１又は２の発明の効果に加え、得ら
れた校正データラインに対し、計測等によって選択され
た眼球位置における視線方向に対応した物理量を当ては
めることによって、正確な視線方向を得ることができ
る。請求項４の発明では、検出された複数の物理量に基
づき、眼球が移動する複数の特定された位置毎に視線方
向に対応した複数の物理量を複数組求めることに基づい
て校正データラインを作成するから正確な校正データラ
インを得ることができ、正確な視線方向を計測すること
ができる。請求項５の発明では、検出された複数の物理
量に基づき眼球が移動する複数の特定された位置毎に視
線方向に対応した複数の物理量を複数組推定することに
基づいて校正データラインを作成するから正確な校正デ
ータラインを得ることができ、正確な視線方向を計測す
ることができる。請求項６の発明では、請求項４又は５
の発明の効果に加え、得られた校正データラインに眼球
位置計測手段で計測され選択された眼球位置における視
線方向に対応した物理量を当てはめることによって、視
線方向算出手段により正確な視線方向を算出することが
できる。請求項７の発明では、請求項４〜６の何れかの
発明の効果に加え、被験者の目を含む顔の画像を撮像
し、該顔画像から円形領域を抽出し、円形領域の重心位
置を眼球位置とするため、眼球位置を正確に計測するこ
とができ、より正確な視線方向を得ることができる。請
求項８の発明では、請求項７の発明の効果に加え、角膜
反射像と重心位置との距離によって物理量に対応した眼
球特徴量を計測することができ、より正確な物理量計測
により正確な視線方向を得ることができる。請求項９の
発明では、請求項８の発明の効果に加え、眼球位置を特
定する円形領域の回りに角膜の大きさを考慮した矩形の
領域を設定するから、より正確に角膜反射像を得ること
ができ、正確な視線方向を得ることができる。請求項１
０の発明では、請求項４の発明の効果に加え、視標を複
数の所定位置のそれぞれに正確に投影することができ、
特定の物理量を迅速かつ確実に抽出記憶することができ
る。請求項１１の発明では、請求項５の発明の効果に加
え、視標を複数の所定位置のそれぞれに正確に投影する
ことができ、特定の物理量を迅速かつ確実に推定記憶す
ることができる。

【発明の実施の形態】図１は本発明の一実施形態に係る
視線計測装置の概略ブロック図を示している。ここで、
視線計測の手法については被験者にゴーグル状の計測器
を装着させるタイプや、「ドイツのＳｅｎｓｏ Ｍｏｔ
ｏｒｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ社（日本輸入総代理
店モンテシステム）の注視点解析装置」のように非接触
で視線方向を計測可能なタイプ等々いずれの計測装置に
も適用可能である。但し、本実施形態では非接触型の視
線計測装置を例に挙げている。図１の視線計測装置は、
眼球位置計測手段１１と物理量計測手段１３と物理量推
定記憶手段１５と校正データ作成手段１７と視線方向算
出手段２１と視線方向出力手段２３とからなっている。
前記眼球位置計測手段１１は被験者の眼球位置を計測す
るもので、撮像手段２５と眼球位置算出手段２７とから
なっている。前記撮像手段２５は、ＣＣＤカメラで構成
され、近赤外域にも感度を持ち、被験者の目位置を含む
顔の画像を撮像する。前記眼球位置算出手段２７は、撮
像手段２５による顔画像から被験者の瞳孔を抽出する。
前記物理量計測手段１３は、被験者の視線方向に応じた
物理量を計測するもので、照明手段２９と眼球特徴量計
測手段３１とからなっている。照明手段２９は、近赤外
線照明であり、眼球を含む顔面を照明する。この照明手
段２９は常時点灯しても画像入力時のみ点灯しても良
い。前記眼球特徴量計測手段３１は、照明手段２９に基
づく角膜反射像と眼球位置算出手段２７による瞳孔重心
位置との距離δ_Ｈ，δ_ｖ（後述）を物理量に対応した眼
球特徴量として計測する。前記物理量推定記憶手段１５
は、眼球が特定の対象、図１では視標３３を注視してい
るときの視線方向に対応した物理量を複数回求め、該複
数の特定した各対象毎に複数組求め、該複数組の各組毎
に各複数の物理量に基づき眼球が移動する複数の特定さ
れた位置毎に視線方向に対応した複数の物理量を複数組
推定して記憶するもので、視標投影手段３５と視標制御
手段３７と校正データ一時記憶手段３９と校正データ作
成手段１７の一部からなっている。前記視標投影手段３
５は、プロジェクタで構成され、校正用の視標３３を特
定された位置に投影する。前記視標制御手段３７は、前
記視標投影手段３５を制御して投影位置を決定し、視標
３３を投影する特定位置を複数とする。前記校正データ
一時記憶手段３９は、眼球が特定の対象を注視している
ときの視線方向に対応した物理量を複数回求め、該複数
の物理量を複数の特定した位置の各視標毎に複数組求め
たもの、すなわち、校正時に取得した後述する瞳孔重心
位置とδ_Ｈ，δ_ｖを一時記憶する。前記校正データ作成
手段１７は、前記複数組の各組毎に各複数の物理量とし
てのδ_Ｈ，δ_ｖに基づき眼球が移動する複数の特定され
た位置毎にδ_Ｈ，δ_ｖを複数組推定して記憶する。眼球
が移動する複数の特定された位置については後述する。
また、前記校正データ作成手段１７は校正データポイン
ト演算手段及び校正データライン演算手段を構成する。
校正データポイント演算手段は、複数組の各組毎に推定
した複数の物理量であるδ_Ｈ，δ_ｖに基づき、眼球位置
に応じた校正データポイントを各組毎に算出するもので
ある。また校正データライン演算手段は、複数の校正デ
ータポイントに基づき選択された眼球位置における校正
データラインを算出する。前記視線方向算出手段２１
は、校正データ作成手段１７において作成された校正デ
ータラインと眼球位置計測手段１１で計測され選択され
た眼球位置における視線方向に対応した物理量としての
δ_Ｈ，δ_ｖとから被験者の視線方向を算出する。前記視
線方向出力手段２３は、算出した視線方向を出力するも
ので、例えば画面に表示するようなものである。本装置
の座標系を含めたレイアウト図を図２に示している。図
２では視線計測可能範囲３９の中央位置（Ｘ_０，Ｙ_０）
における視線方向を示し、被験者の前方に位置Ａ，Ｂ，
Ｃ，Ｄ，Ｅの横方向、及び位置Ｆ，Ｇ，Ｈ，Ｉ，Ｊの縦
方向にそれぞれ視標３３を切り替えて投影する状態を示
している。但し、この図２では、便宜上すべての位置に
おいて視標３３を示している。そして、眼球位置
（Ｘ_０，Ｙ_０）において位置Ａの視標３３を注視した場
合の視線の水平方向偏角をθ_Ｈとし、位置Ｆの視標３３
を注視した場合の垂直方向偏角をθ_ｖとして示してい
る。また視線計測可能範囲の端の位置Ｘ_ｍｉｎ，Ｘ
_ｍａｘ，Ｙ_ｍａｘ，Ｙ_ｍｉｎを眼球が移動する複数の特
定された位置、すなわち特別な位置としている。校正デ
ータを作成する場合には、視標３３の投影位置をＡから
Ｊまで切替え、かつ各位置毎に複数回視線方向に対応し
た物理量である水平方向偏角θ_Ｈ、垂直方向偏角θ_ｖに
応じた眼球特徴量δ_Ｈ，δ_ｖを後述するように計測す
る。そして、まず校正においては、照明手段２９を点灯
し、撮像手段２５により被験者の眼球１を含む画像を撮
像する。次いで、照明手段２９を消灯し、眼球位置算出
手段２７によって入力画像から瞳孔が抽出され、その重
心位置が計測される。処理の詳細は後述する。次に、眼
球特徴量計測手段３１によって照明手段２９に基づく角
膜反射像と眼球位置算出手段２７による瞳孔重心位置と
の距離δ_Ｈ，δ_ｖを物理量に対応した眼球特徴量として
算出する。処理の詳細は後述する。次いで、校正データ
一時記憶手段３９に図２の位置Ａにおける視標３３の注
視時に得られたデータである旨を付与して、上記瞳孔重
心位置δ_Ｈ，δ_ｖが記憶される。この記憶は被験者の頭
の動きに対応して複数回行われる。すなわち眼球１が特
定の対象である視標３３を注視しているときの視線方向
に対応した物理量を複数回求めて記憶している。更に、
視標制御手段３７によって視標投影手段３５が制御さ
れ、同時に校正データ一時記憶手段３９へも信号が入力
されることによって、各投影位置における視標３３毎に
瞳孔重心位置とδ_Ｈ，δ_ｖが記憶される。すなわち複数
の物理量を複数の特定した各対象毎に複数組求めてい
る。更に、校正データ作成手段１７が、校正データ一時
記憶手段３９に保持されたデータから、眼球１が図２の
計測可能領域４０の端である位置Ｘ_ｍｉｎ，Ｘ_ｍａｘ，
Ｙ_ｍｉｎ，Ｙ_ｍａｘにあると仮定したときのδ_Ｈ，δ_ｖ
を、複数組推定して記憶する。すなわち各対象毎の複数
組の各組毎に各複数の物理量に基づき眼球が移動する複
数の特定された位置毎に視線方向に対応した複数の物理
量を複数組推定して記憶している。処理の詳細は後述す
る。次に、視線計測においては、図１の視標制御手段３
７、視標投影手段３５、校正データ一時記憶手段３９を
除いた構成で実行される。被験者が作業を行っている
間、以下の処理が繰り返し実行される。すなわち、まず
照明手段２９が点灯され、撮像手段２５により被験者の
眼球位置を含む画像が撮像される。次いで照明手段２９
が消灯され、眼球位置算出手段２７によって入力画像か
ら瞳孔が抽出され、その重心位置が計測される。処理の
詳細は後述する。次に、眼球特徴量計測手段３１によっ
てδ_Ｈ，δ_ｖが算出される。処理の詳細は後述する。次
に、視線方向算出手段２１において得られた瞳孔重心位
置を用いて前記のように作成された校正データを基にそ
の選択された眼球位置で予測される校正データを推定す
る。すなわち複数組の各組毎に推定された複数の物理量
に基づき選択された眼球位置における構成データポイン
トを各組毎に算出し、複数の構成データポイントに基づ
き選択された眼球位置における構成データラインを算出
する。処理の詳細は後述する。そして、視線方向算出手
段２１は、校正データラインを用いて視線方向を求め
る。即ち、被験者の眼球１の眼球特徴量を取り込み、校
正データラインにより視線方向を算出する。該算出され
た視線方向は、視線方向出力手段２３によって出力す
る。そして、かかる正確な視線方向の出力を用いること
により、「工場プラントのモニタ監視作業」に代表され
る視環境設計（計器の配置、大きさ等の設計）に利用す
ることができる。また、自動車のメータパネル表示装置
において、被験者にそのメータパネルを見せ、そのメー
タの出来の良さを評価したり、目の見ている方向に応じ
て情報を出し入れし、カメラマンが覗いた位置にピント
を合わせる等の作用効果を奏することができる。次に図
３，図４のフローチャートを用い、図１、図２を参照し
つつ視線計測方法及び視線計測装置の作用を説明する。
図２のフローが実行されると、まずステップＳ１におい
て眼球位置検出が行われる。この眼球位置検出は、前記
のように、図１の眼球位置算出手段２７の眼球位置を読
み込むことによって行われる。ステップＳ２では眼球回
転角検出が行われる。この眼球回転角検出は、図１の眼
球特徴量計測手段３１の計測結果を読み込むことによっ
て行われる。眼球回転角と眼球特徴量との関係は後述す
る。ステップＳ３においては、被験者の頭部の動きを考
慮するため、眼球位置、眼球回転角を複数回検出したか
否かが判断され、決められた回数例えばｎ＝５回検出さ
れた場合に、ステップＳ４へ移行し、複数の視標位置に
つき検出したか否かの判断が行われる。この複数位置の
視標は、前記のように図１の視標制御手段３７による視
標投影手段３５の制御によるものであり、視標３３が図
２のＡ〜Ｊの異なった特定位置に投影されるもので、前
記判断は、該それぞれの特定の位置における視標３３に
ついて前記眼球位置、眼球回転角の検出がそれぞれ行な
われたか否かとなる。複数の視標位置につき検出された
場合はステップＳ５へ移行し、特定位置データの予測が
行われる。特定位置というのは、前記図２のＸ_ｍｉｎ，
Ｘ_ｍａｘ，Ｙ_ｍｉｎ，Ｙ_ｍａｘである。そして該特定位
置における眼球回転角が、位置の異なる各視標３３毎に
複数組予測推定される。次いで、ステップＳ６におい
て、眼球位置が読み込まれ、該眼球位置における校正デ
ータが作成される。この校正データの作成は前記のよう
に校正データ作成手段１７において校正データポイント
を算出し、更に校正データラインを算出するものであ
る。以上のステップＳ１〜ステップＳ６までが校正ステ
ップを表している。次いで、ステップＳ７において、眼
球回転角検出が行われる。この眼球回転角検出は、前記
眼球特徴量計測手段３１において眼球特徴量が計測され
ることによって行われる。ステップＳ８では、前記校正
データと眼球回転角を用いて視線方向の算出が行われ
る。このステップＳ７，Ｓ８が計測ステップである。前
記ステップＳ６の校正データ作成の詳細フローは図４の
ようになっている。この図４の（ａ）は横方向の校正デ
ータ作成、（ｂ）は縦方向の校正データ作成のフローを
それぞれ示している。まず（ａ）のように、ステップＳ
３１において横方向の眼球位置Ｘ_ｉが読込まれ、ステッ
プＳ３２において眼球位置Ｘ_ｉでの校正データポイント
が予測される。ステップＳ３３では位置の異なる各視標
３３毎に校正データポイントが予測されたか否かの判断
が行われ、各視標位置毎に予測された場合はステップＳ
３４において眼球位置Ｘ_ｉにおける予測校正データライ
ンの出力が行われる。また、横方向の校正データライン
の出力が行われると、（ｂ）のフローが実行され、前記
同様な処理によりステップＳ３５〜Ｓ３８が実行され、
眼球位置Ｙ_ｉにおける予測校正データラインが出力され
る。従って、かかる横方向、縦方向の校正データライン
を用いることにより、前記のように視線方向算出手段２
１において視線方向が正確に算出され、視線方向出力手
段２３において正確な視線方向を出力することができ
る。図５〜図７は、前記眼球位置算出手段２７及び眼球
特徴量計測手段３１における前記ステップＳ１の眼球位
置検出及びステップＳ２の眼球回転角検出の処理を示し
たものである。まず図５のステップＳ１１１は、入力さ
れた顔画像が読み込まれた状態を示している。ステップ
Ｓ１１２では二値化処理を行い、一定の明るさ以下の領
域を残している。ステップＳ１１３では円形領域の抽出
を行っている。この抽出はテンプレートマッチングある
いは領域の形状解析等によって行っている。前記テンプ
レートマッチングは、予め検出したい形状を持つテンプ
レートを準備しておき、このテンプレートを対象となる
画像上のすべての点に対して重ね合わせ、一致度を算出
する。一致度の高い場所に、作用させたテンプレートと
同じ形状が存在することがわかる。本実施形態の場合、
円形もしくは楕円形のテンプレートを数種類用意してお
き、それらのテンプレートとの一致度を計数している。
また領域の形状解析による場合は、領域の円形度を測る
手法として、領域の面積と周囲長を基に評価する方法が
よく知られている。これは領域の面積をＳ、周囲長をＬ
としたとき、対象領域が円に近いほどＬ＊Ｌ／Ｓが４π
に近いという判定方法に基づくものである。次に検出さ
れた円形領域の重心を算出する。すなわち図６のステッ
プＳ１１４において瞳孔抽出結果が読み込まれ、ステッ
プＳ２１２において角膜反射像探索領域設定が行われ
る。角膜反射像は必ず瞳孔の近傍にあるので、抽出した
瞳孔近傍に矩形領域を設定する。すなわち円形領域の回
りに角膜の大きさを上回る矩形の領域を設定する。ステ
ップＳ２１３では、入力された画像の上で設定した矩形
の領域内の最も明るい点Ｐを探索する。この点Ｐが角膜
反射像となる。次いでステップＳ２１４において視線方
向に応じて変化する眼球の特徴量δ_Ｈ，δ_ｖを算出す
る。この算出は例えば図７のように行なう。図７はステ
ップＳ２１３の探索結果を示したもので、瞳孔４１、瞳
孔重心４３、角膜反射像Ｐが示されている。この図７の
ように、瞳孔重心４３位置と角膜反射像Ｐとの位置ず
れ、すなわち横方向、縦方向の距離δ_Ｈ，δ_ｖを算出す
る。この距離δ_Ｈ，δ_ｖは、視線方向に応じて変化する
眼球の特徴量であり、該眼球の特徴量δ_Ｈ，δ_ｖは、視
線方向に対応した物理量、例えば前記眼球の回転角θに
対応している。図８は校正方法の一例を示したもので、
（ａ）は水平方向、（ｂ）は垂直方向をそれぞれ示して
いる。視線方向に対応した物理量（例えば眼球の回転角
θ）とそれに応じて変化する眼球の特徴量（例えば瞳孔
重心と角膜反射像との位置ずれδ）の関係は、例えばこ
の図８のようになる。この関係を得るのが校正作業であ
る。すなわち校正によって（δ_Ｈｉ，θ_Ｈｉ）（ｉ＝
１，２，…，ｎ）が得られたとする。この場合水平方向
のみについて考える。図８よりθ＝ａδ＋ｂと近似し、
予測される視線方向（ａδ_Ｈｉ＋ｂ）と実際の視線方向
（θ_Ｈｉ）との差の二乗和で記述される誤差をＳとする
と、

【数１】 ★となる。一般に、このような手順によって校正を行っ
ている（最小二乗法）。尚、視線方向は水平、垂直の各
成分を持っているため、上記操作を水平方向図８
（ａ）、垂直方向図８（ｂ）のそれぞれについて行うも
のである。図９は前記校正データ一時記憶手段３９によ
り記憶した各指標位置Ａ〜Ｊ毎の複数組の眼球特徴量δ
_Ｈ，δ_ｖを示している。（ａ）は水平方向、（ｂ）は垂
直方向である。各位置において、δ_Ｈ，δ_ｖが複数示さ
れているのは、前記のように被験者の頭は絶えず移動
し、これに応じて眼球位置が移動するからである。この
δ_Ｈ，δ_ｖのバラツキは、眼球位置と一対一に対応して
いるため、眼球が特別な位置Ｘ_ｍｉｎ，Ｘ_ｍａｘ，Ｙ
_ｍｉｎ，Ｙ_ｍａｘにあると仮定したときのδ_Ｈ，δ_ｖを
推定可能である。推定は前述した最小二乗近似によって
実行可能である。例えば、位置Ａにおける視標を注視し
たときに得られたｎ個の計測値を眼球位置Ｘ_ｉに応じて
図１０のように再配置し、そのグラフに最小二乗近似を
適用し、得られた近似直線にＸ＝Ｘ_ｍｉｎ，Ｘ_ｍａｘを
与え、対応するδ_{Ｈ１ｍｉｎ}，δ_{Ｈ２ｍａｘ}を得る。す
なわち前記（１），（２），（３）式においてθ_Ｈｉを
Ｘ_ｉに置き換えれば良い。同様にして、各位置Ｂ，Ｃ，
Ｄ，Ｅ各々を注視したときのデータに対して同じ処理を
行うと、図１１に示すデータが得られる。すなわち前記
図２で説明した視線計測可能範囲３９の端の位置Ｘ
_ｍｉｎ，Ｘ_ｍａｘにおける眼球特徴量δ_Ｈが算出され
る。例えば図１１は計測により選択された眼球位置Ｘ＝
Ｘ_０におけるデータを示しており、例えば指標位置Ａに
おいてＸ＝Ｘ_ｍａｘ，Ｘ＝Ｘ_ｍｉｎで算出されたデータ
４７，４９は、δ_{Ｈ１ｍａｘ}，δ_{Ｈ１ｍｉｎ}となる。ま
た指標位置Ａにおいて視標を臨んだ視線の水平方向辺角
はθ_Ｈ１となる。同様にして、Ｘ＝Ｘ_ｍａｘ，Ｘ＝Ｘ
_ｍｉｎにおいて指標位置Ｂ，Ｃ，Ｄ，Ｅにおける眼球特
徴量δ_Ｈをそれぞれ示したのが上下のポイント（５１，
５３），（５５，５７），（５９，６１），（６３，６
５）となっている。またこの時の視線の水平方向辺角も
θ_Ｈ２からθ_Ｈ５となっている。そしてこのＸ＝Ｘ
_ｍｉｎに対する結果、Ｘ＝Ｘ_ｍａｘに対する結果に対
し、それぞれ最小二乗近似を施すと同図に示す眼球位置
を考慮した校正データポイント６７，６９，７１，７
３，７５、校正データライン７７を得ることができる。
又、垂直方向についても同一処理を行い、Ｙ＝
Ｙ_ｍｉｎ，Ｙ＝Ｙ_ｍａｘにおける校正データラインを推
定する。作成された校正データラインは校正データ作成
手段１７に保持されることになる。尚、他の眼球位置Ｘ
_ｉにおける校正データラインの予測も同様に行われる。
このようにして前記ステップＳ３１〜Ｓ３４，Ｓ３５〜
Ｓ３８が実行され、校正データライン７７等が校正デー
タ作成手段１７に記憶されることになる。そして視線方
向算出手段２１では、眼球回転角検出Ｓ８によって検出
された眼球特徴量δ_Ｈを図１１のＸ＝Ｘ_０における校正
データライン７７に適合させたとき、対応するθ_δＨが
眼球位置Ｘ＝Ｘ_０での視線の水平方向になる。最終的に
算出される視線方向は水平垂直２成分で記述され、（θ
_δＨ，θ_δｖ）で表現される。算出された視線方向は、
視線方向出力手段２３において座標データとして表示さ
れ、あるいは一時記憶される。計測終了後にその結果を
読み出して作業中の視線の動きの分析を行う。かかる分
析は、正確な校正によって正確に行うことができる。
尚、上記実施形態では、計測可能範囲の端の位置におけ
る眼球特徴量を最小二乗近似で推定することにより求め
ていたが、この端の位置に被験者の眼球を固定して実際
に眼球特徴量を計測して求めることもできる。例えば被
験者の眼球を計測可能範囲の端の位置の４点
（Ｘ_ｍｉｎ，０），（Ｘ_ｍａｘ，０），（０，
Ｙ_ｍｉｎ），（０，Ｙ_ｍａｘ）に固定するように顎乗せ
台等を用いて被験者の頭を固定し、校正を行うのであ
る。従って、眼球が特定の対象を注視しているときの視
線方向に対応した物理量を該眼球が移動する複数の特定
された位置毎にそれぞれ求め、該複数の物理量を複数の
特定の対象について各対象毎に複数組求めることにな
る。この場合、前記物理量推定記憶手段１５に代えて、
顎乗せ台等を含めた物理量抽出記憶手段を設けることに
なる。さらに、前記特定の位置Ｘ_ｍｉｎ，Ｘ_ｍａｘ…
は、計測可能範囲の端の位置としたが、位置が空間的に
特定できるものであれば、他の位置におけるデータ
δ_Ｈ，δ_ｖを計測して用いることもできる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る構成図である。

【図２】一実施形態に係るレイアウト図である。

【図３】一実施形態に係るフローチャートである。

【図４】一実施形態に係る校正データ作成のフローチャ
ートであり、（ａ）は水平方向、（ｂ）は垂直方向のフ
ローチャートである。

【図５】一実施形態に係る画像処理のフローチャートで
ある。

【図６】一実施形態に係る画像処理のフローチャートで
ある。

【図７】眼球特徴量を示す拡大図である。

【図８】最小二乗近似を説明するもので、（ａ）は水平
方向、（ｂ）は垂直方向の説明図である。

【図９】それぞれ５個の眼球特徴量のデータを示し、
（ａ）は水平方向、（ｂ）は垂直方向の説明図である。

【図１０】最小二乗近似による校正を示す説明図であ
る。

【図１１】最小二乗近似により校正データラインを求め
た説明図である。

【図１２】従来例に係り、（ａ）は特定の視標を見たと
きの眼球の回転角を示す平面図、（ｂ）は校正結果を示
す説明図である。

【符号の説明】

１ 眼球 １１ 眼球位置計測手段 １３ 物理量計測手段 １５ 物理量推定記憶手段 １７ 校正データ作成手段（校正データポイント演算手
段、校正データライン演算手段） ２１ 視線方向算出手段 ２３ 視線方向出力手段 ２５ 撮像手段 ２７ 眼球位置算出手段 ２９ 照明手段 ３１ 眼球特徴量計測手段 ３３ 視標

Claims (11)

【特許請求の範囲】
1. 【請求項１】 眼球が特定の対象を注視しているときの
   視線方向に対応した物理量を該眼球が移動する複数の特
   定された位置毎にそれぞれ求め、 該複数の物理量を複数の特定の対象について各対象毎に
   複数組求め、 該複数組の各組毎に求められた複数の物理量に基づき、
   選択された眼球位置における校正データポイントを各組
   毎に求め、 該複数の校正データポイントに基づき前記選択された眼
   球位置における校正データラインを求め、 該校正データラインを用いて視線方向を求めることを特
   徴とする視線計測方法。
2. 【請求項２】 眼球が特定の対象を注視しているときの
   視線方向に対応した物理量を複数回求め、 該複数の物理量を複数の特定の対象について各対象毎に
   複数組求め、 該複数組の各組毎に各複数の物理量に基づき眼球が移動
   する複数の特定された位置毎に視線方向に対応した複数
   の物理量を複数組推定し、 該複数組の各組毎に推定された複数の物理量に基づき、
   選択された眼球位置における校正データポイントを各組
   毎に求め、 該複数の校正データポイントに基づき前記選択された眼
   球位置における校正データラインを求め、 該校正データラインを用いて視線方向を求めることを特
   徴とする視線計測方法。
3. 【請求項３】 請求項１又は２記載の視線計測方法であ
   って、 前記校正データラインと前記選択された眼球位置におけ
   る視線方向に対応した物理量とから視線方向を求めるこ
   とを特徴とする視線計測方法。
4. 【請求項４】 被験者の眼球位置を計測する眼球位置計
   測手段と、 被験者の視線方向に対応した物理量を計測する物理量計
   測手段と、 眼球が特定の対象を注視しているときの視線方向に対応
   した物理量を該眼球が移動する複数の特定された位置毎
   にそれぞれ求め、該複数の物理量を複数の特定の対象に
   ついて各対象毎に複数組抽出して記憶する特定の物理量
   抽出記憶手段と、 該複数組の各組毎に抽出された複数の物理量に基づき、
   選択された眼球位置における校正データポイントを各組
   毎に算出する校正データポイント演算手段と、 該複数の校正データポイントに基づき前記選択された眼
   球位置における校正データラインを算出する校正データ
   ライン演算手段とを備え、 該校正データラインを用いて視線方向を求めることを特
   徴とする視線計測装置。
5. 【請求項５】 被験者の眼球位置を計測する眼球位置計
   測手段と、 被験者の視線方向に対応した物理量を計測する物理量計
   測手段と、 眼球が特定の対象を注視しているときの視線方向に対応
   した物理量を複数回求め、該複数の物理量を複数の特定
   した各対象毎に複数組求め、該複数組の各組毎に各複数
   の物理量に基づき眼球が移動する複数の特定された位置
   毎に視線方向に対応した複数の物理量を複数組推定して
   記憶する特定の物理量推定記憶手段と、 該複数組の各組毎に推定された複数の物理量に基づき、
   選択された眼球位置における校正データポイントを各組
   毎に算出する校正データポイント演算手段と、 該複数の校正データポイントに基づき前記選択された眼
   球位置における校正データラインを算出する校正データ
   ライン演算手段とを備え、 該校正データラインを用いて視線方向を求めることを特
   徴とする視線計測装置。
6. 【請求項６】 請求項４又は５記載の視線計測装置であ
   って、 前記校正データラインと前記眼球位置計測手段で計測さ
   れ選択された眼球位置における視線方向に対応した物理
   量とから視線方向を算出する視線方向算出手段を備えた
   ことを特徴とする視線計測装置。
7. 【請求項７】 請求項４〜６のいずれかに記載の視線計
   測装置であって、 前記眼球位置計測手段は、被験者の目を含む顔の画像を
   撮像する撮像手段と、 該撮像手段による顔画像から円形領域を抽出し、該円形
   領域の重心位置を眼球位置とする眼球位置算出手段とか
   らなることを特徴とする視線計測装置。
8. 【請求項８】 請求項７に記載の視線計測装置であっ
   て、 前記物理量計測手段は、前記被験者の顔を照射する照明
   手段と、該照明手段に基づく角膜反射像と前記眼球位置
   算出手段による重心位置との距離を物理量に対応した眼
   球特徴量とする眼球特徴量計測手段とからなることを特
   徴とする視線計測装置。
9. 【請求項９】 請求項８記載の視線計測装置であって、 前記眼球特徴量計測手段は、前記円形領域の回りに角膜
   の大きさを上回る矩形の領域を設定し、該矩形の領域内
   の最も明るい点を角膜反射像とすることを特徴とする視
   線計測装置。
10. 【請求項１０】 請求項４記載の視線計測装置であっ
    て、 前記特定の物理量抽出記憶手段は、前記特定の対象とし
    て視標を特定位置に投影する視標投影手段と、該視標投
    影手段を制御し前記特定位置を複数とする視標制御手段
    とを備えていることを特徴とする視線計測装置。
11. 【請求項１１】 請求項５記載の視線計測装置であっ
    て、 前記特定の物理量推定記憶手段は、前記特定の対象とし
    て視標を特定位置に投影する視標投影手段と、該視標投
    影手段を制御し前記特定位置を複数とする視標制御手段
    とを備えていることを特徴とする視線計測装置。