JP2003070742A - 視線検出装置及び視線検出方法 - Google Patents

Abstract

(57)【要約】 【課題】検出対象者の頭部位置に影響されることなく好
適に視線を検出することができる視線検出方法及び視線
検出装置を提供する。 【解決手段】複数のカメラ用パソコン１４は、各々接続
されたビデオカメラ１１により撮像した画像データに含
まれる目領域から瞳領域を検出し、検出された瞳領域の
形状に対して円形度を算出する。メインパソコン１６
は、各カメラ用パソコン１４から受信した円形度を比較
することで視線を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線検出装置及び
視線検出方法に関するものである。

【０００２】

【従来の技術】人物の視線や動作など、人間をセンシン
グして得られる情報と、物体センシングにより構築され
た周辺環境とから、その人の要望を察知し、その人の意
図に適したサービスを提供することが提案されている。
これらを実現するためには、人間とその周辺環境をセン
シングし、その人が何を見て、どのような動作を行って
いるかを知ることが重要なこととなる。このとき、視線
情報はその人が注目している物、又はその人の意図や状
況を推定するのに欠かせない情報の１つである。

【０００３】そこで、従来、視線を検出するための視線
検出装置及びその方法としては、例えば、以下のような
ものが知られている。即ち、視線検出装置にはビデオカ
メラ、視線検出用光源、受光センサ、記憶装置、及び判
定制御装置等が備えられている。前記記憶装置には、視
線検出判定を行うための参照データが予め記憶されてい
る。そして、ビデオカメラによって検出対象者を拡大し
て撮像し、拡大した目領域の画像データから瞳孔を検出
する。このとき、前記参照データとの比較処理に利用可
能な状態にするために、検出した瞳孔に対して較正（キ
ャリブレーション）を行う。

【０００４】また、前記視線検出用光源から検出対象者
に赤外光を照射して、同赤外光を検出対象者の眼部に照
射し、前記受光センサにより眼部（瞳孔と角膜）にて反
射する反射光を受光する。その結果、前記瞳孔と反射光
の位置関係と前記参照データが判定制御装置おいて比較
され、視線が検出されるようになっていた。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
ような視線検出方法では、以下のような問題があった。
即ち、瞳孔は瞳領域内において、虹彩と明確な色（彩
度）の違いがないため、瞳孔検出においては、可能な限
りビデオカメラをズームアップさせた状態で、拡大した
目領域の画像データを用いる。このため、瞳孔検出可能
（即ち、撮像可能）な位置から、検出対象者の頭部位置
が少し移動しただけでも、ビデオカメラで検出対象者を
捕らえきれなくなってしまう。従って、非常に限定され
た範囲に検出対象者が位置しているときでないと視線検
出ができないという問題があった。

【０００６】本発明は上記問題点を解決するためになさ
れたものであり、その目的は、検出対象者の頭部位置に
影響されることなく、好適に視線を検出することができ
る視線検出方法及び視線検出装置を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記問題点を解決するた
めに、請求項１に記載の発明は、検出対象者を撮像する
撮像手段と、撮像手段が撮像した画像データに含まれる
顔の目領域から瞳領域を検出する瞳領域検出手段と、前
記瞳領域検出手段が検出した瞳領域の形状に対して円形
度を算出する円形度算出手段と、円形度算出手段が算出
した円形度に基づいて視線を検出する視線検出手段とを
備えたことを要旨とする。

【０００８】請求項２に記載の発明は、請求項１におい
て、前記撮像手段は互いに異なる位置に複数設けられ、
前記視線検出手段は、各撮像手段から得た画像データに
含まれる瞳領域の各円形度を比較することで視線を検出
することを要旨とする。

【０００９】請求項３に記載の発明は、請求項１又は請
求項２において、前記円形度算出手段は、前記瞳領域を
含む画像データをハフ変換し、ハフ変換の投票空間にお
いて、投票数が最大となる投票数最大点を含む第１領
域、及び前記投票数最大点を含み前記第１領域よりも大
きい第２領域における各投票数から円形度を算出するこ
とを要旨とする。

【００１０】請求項４に記載の発明は、請求項１又は請
求項２において、前記円形度算出手段は、瞳領域の面積
及び瞳領域の輪郭線の長さに基づいて円形度を算出する
ことを要旨とする。

【００１１】請求項５に記載の発明は、所定の撮像ポイ
ントから検出対象者を撮像する撮像工程と、撮像した画
像データに含まれる顔の目領域から瞳領域を検出する瞳
領域検出工程と、検出した瞳領域の形状に対して円形度
を算出する円形度算出工程と、算出した円形度に基づい
て視線を検出する視線検出工程とを備えたことを要旨と
する。

【００１２】（作用）請求項１の発明によれば、撮像手
段が撮像した画像データに含まれる顔の目領域から瞳領
域が瞳領域検出手段によって検出され、その検出された
瞳領域の形状に対して円形度が円形度算出手段により算
出される。そして、視線検出手段により、円形度算出手
段が算出した円形度に基づいて視線が検出される。従っ
て、目領域の中から白目領域と容易に区別して検出可能
な瞳領域を用いて視線検出を行うため、従来と異なり、
瞳孔を検出可能なまで目領域を拡大して撮像する必要が
ない。このため、視線検出に瞳孔を用いる場合と比較し
て検出対象者の頭部位置の影響を受けにくい。

【００１３】請求項２の発明によれば、画像データは、
互いに異なる位置に設けられた複数の撮像手段でそれぞ
れ取得され、各画像データに含まれる瞳領域の各円形度
が前記視線検出手段により比較される。そして、この比
較結果に基づいて視線が検出される。従って、算出され
た複数の円形度を比較することで視線を検出しているた
め、例えば、記憶装置に予め記憶されていた参照データ
と比較して視線を検出する従来と異なり、検出した瞳領
域に対して前記参照データと比較可能な状態にするため
に較正（キャリブレーション）を行う必要がなく、簡便
に視線検出が行われる。

【００１４】請求項３の発明によれば、前記瞳領域を含
む画像データはハフ変換され、ハフ変換の投票空間にお
いて、投票数が最大となる投票数最大点を含む第１領
域、及び前記投票数最大点を含み前記第１領域よりも大
きい第２領域における各投票数から円形度算出手段によ
り円形度が算出される。従って、ハフ変換の投票空間へ
の投票数を利用して好適に円形度の算出が実現される。

【００１５】請求項４の発明によれば、円形度は、検出
された瞳領域の面積及び瞳領域の輪郭線の長さに基づい
て円形度算出手段により算出される。従って、面積及び
輪郭線の長さを利用して好適に円形度の算出が実現され
る。

【００１６】請求項５の発明によれば、撮像工程におい
て所定の撮像ポイントから検出対象者が撮像された後、
撮像した画像データに含まれる顔の目領域から瞳領域が
検出される瞳領域検出工程を経て、円形度算出工程で検
出した瞳領域の形状に対して円形度が算出される。そし
て、視線検出工程で算出した円形度に基づいて視線が検
出される。

【００１７】

【発明の実施の形態】以下、本発明の視線検出装置を具
体化した一実施の形態を図１〜図１２を参照して説明す
る。

【００１８】本実施形態の視線検出装置１０は、複数台
の電気機器１７（例えば、テレビ、オーディオ、エアコ
ン等）をオンオフ等の制御をする場合に、視線検出装置
１０が検出した視線上の電気機器１７に対して対応する
コマンド信号を付与するためのものである。

【００１９】例えば、テレビがオフ状態（又はオン状
態）の際に、テレビが配置されている方向に視線が向け
られた際に、その視線を検出して、コマンド信号として
オン信号（又はオフ信号）を付与する。

【００２０】視線検出装置１０は、撮像手段としての複
数台（本実施形態では４台）のビデオカメラ（ＣＣＤカ
メラ）１１、カメラ用パソコン１４、メインパソコン１
６等を備えている。前記ビデオカメラ１１は、複数台の
電気機器１７（例えば、テレビ、オーディオ、エアコン
等）が配置された地点と同一箇所に配置されている。本
実施形態ではカメラ用パソコン１４が瞳領域検出手段、
及び円形度算出手段に相当し、メインパソコン１６が視
線検出手段に相当する。また、ビデオカメラ１１は、視
線検出空間内における任意の位置に配置されており、各
ビデオカメラ１１の位置が所定の撮像ポイントに相当す
る。なお、本実施形態におけるビデオカメラ１１は全て
所定高さ（例えば、１．１５ｍ）に配置されている。

【００２１】各ビデオカメラ１１には、カメラ用パソコ
ン１４がそれぞれ接続されている。カメラ用パソコン１
４には、ビデオカメラ１１で撮影された個々のフレーム
（画像データ）が、ビデオレートのカラー画像（６４０
×４８０）として入力されるようになっている。

【００２２】カメラ用パソコン１４はメインパソコン１
６に接続されており、メインパソコン１６は、各カメラ
用パソコン１４との通信をイーサネットを介したソケッ
ト通信で行うようにしている。また、ネットワーク・タ
イムサーバシステムが用いられており、メインパソコン
１６がタイムサーバとして設定され、各カメラ用パソコ
ン１４の時刻がメインパソコン１６に合わされるように
なっている。又、メインパソコン１６は、各電気機器１
７（例えば、テレビ、オーディオ、エアコン等）に電気
的に接続されており、視線検出装置１０の視線検出結果
に応じてオンオフ制御する。すなわち、現在の電気機器
１７の状態に応じたコマンド信号を出力する。例えば、
電気機器１７がオン状態のときには、コマンド信号とし
てオフ信号が、オフ状態のときには、コマンド信号とし
てオン信号が出力される。なお、メインパソコン１６と
各電気機器１７を有線接続せずに、赤外線でコントロー
ルしてもよく、つまり無線で制御する態様をとってもよ
い。

【００２３】（視線検出方法）以下、本実施形態の視線
検出方法について説明する。まず、視線検出装置１０が
行う視線検出の概要を説明する。

【００２４】各ビデオカメラ１１は、検出対象者Ｈを撮
像し、各カメラ用パソコン１４に入力する。各カメラ用
パソコン１４はビデオカメラ１１からの画像のキャプチ
ャを行い、続いて肌色領域抽出、顔向き推定を行い、顔
向き推定結果が所定条件を満たすか否かを判定し、条件
を満たす画像データから目領域３２を検出する。そし
て、検出された目領域３２から、瞳領域３５を検出する
と共に、瞳領域３５の大きさを正規化し、この瞳領域３
５の形状に対して円形度を算出する。カメラ用パソコン
１４はその円形度の算出結果をメインパソコン１６に送
信し、メインパソコン１６は、各円形度を比較すること
で複数のビデオカメラ１１のうち何れのビデオカメラ１
１に視線を送っているか、即ち視線を検出する。なお、
「円形度」とは、真円に対する近似度合いを示すもので
あり、真円に近いほど円形度が高いと表現し、例えば、
長軸と短軸との差が大きい楕円になっていくように、円
が変形するほど円形度が低いと表現する。そして、本実
施形態においては、円形度は後述する式（８）により算
出される評価値Ｅに比例し、評価値Ｅが大きければ円形
度は高く、評価値が小さければ円形度は低くなる。従っ
て、本実施形態において、円形度を算出するというのは
後記する評価値Ｅを算出することを示す。

【００２５】以下、図２のフローチャートを参照して詳
細に説明する。メインパソコン１６からカメラ用パソコ
ン１４へ、開始要求信号が送信されるとこのフローチャ
ートは開始される。そして、メインパソコン１６からカ
メラ用パソコン１４へ、終了要求信号が送信されるま
で、Ｓ１〜Ｓ１１の処理が繰り返し行われる。

【００２６】ステップ（以下「Ｓ」と略す）１におい
て、まず、カメラ用パソコン１４は、ビデオカメラ１１
からの画像のキャプチャを行うか否かの判定を行う。即
ち、本実施形態では、ビデオカメラ１１からの画像のキ
ャプチャは所定間隔（例えば０．３秒）毎に行われるよ
うになっており、各カメラ用パソコン１４は、その時刻
か否かを判定する。そして、画像をキャプチャする時刻
であると判断した場合は（Ｓ１がＹＥＳ）、各カメラ用
パソコン１４はビデオカメラ１１からの画像のキャプチ
ャを行う（Ｓ２）。一方、カメラ用パソコン１４が画像
をキャプチャする時刻ではないと判断した場合は（Ｓ１
がＮＯ）、この判定を繰り返す。なお、各カメラ用パソ
コン１４の時刻はメインパソコン１６に合わされている
ため、各カメラ用パソコン１４は、同時刻に画像のキャ
プチャを行うようになっている。

【００２７】（顔領域検出）各カメラ用パソコン１４
は、ビデオカメラ１１からのフレーム（画像データ、例
えば図３（ａ）参照）をキャプチャした後、顔領域検出
を行う。顔領域検出は、色情報を用いた公知の肌色基準
値による手法を用いている。本実施形態では、均等知覚
色空間の１つであるCIE L*u*v 表色系を用いている。

【００２８】まず、入力された画像データから、画像の
全領域に亘り、Ｕ，Ｖ座標値による２次元色ヒストグラ
ムを求め、予め定めた肌色有効範囲内のピーク値（度数
が最大の値）を肌色基準値とする。その基準値からの色
差に対して公知の判別分析法を適用して閾値を決定し、
その閾値に基づいて肌色領域とその他の領域に２値化す
る（図３（ｂ）参照）。本実施形態では、検出対象者Ｈ
が一人の場合を想定しているため、複数の肌色領域が検
出された場合には、各カメラ用パソコン１４は最大領域
を顔領域３１と判定する（Ｓ３）。すなわち、抽出され
た複数の肌色領域にて、画素数（面積）を求め、最大面
積Ｓmax の領域を顔領域３１とする。なお、以下の説明
において、前記Ｕ，Ｖ座標値は、説明の便宜上ＵＶ値又
はＵ値，Ｖ値というときもある。

【００２９】（顔向き推定）次に、Ｓ４において、各カ
メラ用パソコン１４は対応するビデオカメラ１１から得
た画像データに基づいて顔向き推定を行う。

【００３０】本実施形態では、顔向き推定は、４方向面
特徴抽出した結果を線形判別分析により、顔向きの判別
空間を作成する方法で行っている。４方向面特徴抽出で
は、画像データの濃淡値の勾配により各画素での４方向
（縦、横、右斜め４５度、左斜め４５度）のベクトル場
を求め、方向別に分割したエッジ画像を得る。得られた
エッジ画像は方向性を持った濃淡画像となる。

【００３１】具体的には、Ｓ３において入力した画像デ
ータからPrewitt オペレータを用いて、微分フィルタと
してのプレヴィットフィルタ処理を行い、水平（横）、
垂直（縦）、右上がり４５度（右斜め４５度）、右下が
り４５度（左斜め４５度）の４方向のそれぞれのエッジ
画像を生成する。これらのエッジ画像を、以下、方向面
という。次に、これらの４方向面のそれぞれの画像を顔
領域３１で正規化し、８×８に低解像度化して、各方向
面の画素の濃淡値を特徴量（以下、特徴ベクトルとい
う。）として抽出する。

【００３２】この特徴ベクトルは４つの方向面に分けて
から解像度を低くしているため、入力画像の解像度を直
接低くする場合よりも、高解像度でエッジ情報が保持さ
れる。その結果、位置ずれや、形状変化の影響を受けに
くく、かつ計算コストを削減して処理の高速化が可能と
なる。

【００３３】次に、各カメラ用パソコン１４は線形判別
分析を行う。なお、線形判別分析は、抽出された特徴量
（特徴ベクトル：ｘｉ）が、どのクラスに属するかを判
別するためのものであり、クラス内の分散が小さく、各
クラスの平均特徴ベクトルが互いに離れるような判別空
間を構成すると高い判別力が得られる。図４は判別分析
に係るクラスを示した概念図である。

【００３４】本実施形態では、予め、学習データに基づ
いた係数行列Ａが各カメラ用パソコン１４の記憶装置
（図示しない）に記憶されている。なお、学習データ
は、複数の検出対象者Ｈである人物を撮像して得た画像
データに基づいたデータである。すなわち、図６に示す
ように、光軸を室内中心に向けるように等角度間隔（本
実施形態では２２．５度間隔）で放射状に配置された１
６台のビデオカメラ１１により、１６方向から得た画像
データを得て、上記と同様に顔領域検出と、同顔領域３
１における４方向面特徴抽出を行い、特徴ベクトルｘを
求める。

【００３５】ｘ＝｛ｘ１，ｘ２，……ｘ２５６｝ なお、１６台のビデオカメラ１１を使用する代わりに、
例えば、１台のビデオカメラ１１を使用して、検出対象
者Ｈが室内中心を中心に等角度毎に回転するたびに撮像
し、そのときの画像データを学習用データに使用しても
よい。

【００３６】この特徴ベクトルｘから判別空間の特徴ベ
クトルｙ（＝Ａｘ）へ線形写像する係数行列Ａが求めら
れており、かつ各クラス（本実施形態では学習データを
取り込むときに使用した２２．５度間隔に配置したビデ
オカメラ１１に応じた１６のクラス）が生成され、クラ
スの平均特徴ベクトルｙj が算出されている。そして、
前記係数行列Ａと、各クラスの平均特徴ベクトルｙj の
データが、予め各カメラ用パソコン１４の記憶装置に記
憶されている。

【００３７】なお、本実施形態では、クラス番号ｊは、
０、２２．５、４５、６７．５、９０、１１２．５、１
３５、１５７．５、１８０、−１５７．５、−１３５、
−１１２．５、−９０、−６７．５、−４５、−２２．
５の等差となる１６の値である。図６に示すように、各
クラス番号（数値）はカメラ用パソコン１４に係るビデ
オカメラ１１の光軸（カメラ方向）に対する相対顔方向
（相対的な顔向き）とのなす角度と一致する。図６は検
出対象者Ｈを中心に２２．５度間隔で１６方向に配置し
たビデオカメラ１１の配置を示し、各カメラから検出対
象者Ｈを撮像した場合の、各カメラから得られる画像デ
ータに対するクラス付与の内容を示している。同図にお
いて、例えば−２２．５が付与されたカメラから検出対
象者Ｈを撮像した画像データには、クラス−２２．５が
付与される。本実施形態では、相対顔方向に係るクラス
番号０度が、正面顔を撮像した場合としている。なお、
「−」は、図６において、当該ビデオカメラ１１の光軸
から反時計回り方向の角度を示す。

【００３８】そして、未知データの識別を行う線形判別
分析では、前記係数行列Ａに基づいて、未知データから
抽出した４方向面特徴に係る特徴ベクトルｘi を写像変
換し、特徴ベクトルｙi （＝Ａｘi ）を生成する。次
に、生成された特徴ベクトルｙi と、各クラスの平均特
徴ベクトルｙj とのユークリッド距離の２乗である距離
（以下、２乗距離という）Ｄijを、以下の式（１）で算
出し、２乗距離Ｄijが最小値となるクラスを決定するこ
とにより、パターン認識を行う（図５参照）。その後、
最小値を含む下位３つの２乗距離Ｄijの値に対応したク
ラスを用いて以下の式（２）にて、カメラ方向（ビデオ
カメラ１１の光軸γが向く方向、図１参照）と相対顔方
向（光軸γに対する相対的な顔向き）βとのなす角度Ｆ
を推定する。なお、図５中のＤｊは、ｉが省略されてお
り、本明細書中では、Ｄijに相当する。

【００３９】Ｄij＝｜ｙi −ｙj ｜² …（１）

【００４０】

【数１】 なお、式（２）において、ｉはクラス番号を示し、本実
施形態ではｎ＝３を想定している。このため、最小値を
含む下位３つの２乗距離Ｄijに対応したクラス番号が、
最小値に対応するクラス番号から順にｉに代入される。
θは各クラスにおける顔向きの相対角度（カメラ方向に
対する相対顔方向のなす角度＝クラス番号）を示す。ま
た、式（２）中において、２乗距離Ｄijはj が省略され
ている。

【００４１】（顔向き判定）Ｓ５においては、各カメラ
用パソコン１４はＳ４で行った顔向き推定の結果を利用
して、相対顔方向においてその推定された顔向きの角度
Ｆが所定角度（本実施形態では±２０度）範囲内である
か否かを判定する。そして、所定角度内であれば（Ｓ５
がＹＥＳ）、Ｓ６に進む。この推定された角度が所定角
度（例えば±２０度）範囲内であるか否かという条件
を、本実施形態では所定条件ということがある。

【００４２】ここで、本実施形態では、相対顔方向の角
度Ｆが所定角度内の正面顔を撮像したカメラ１１が少な
くとも２つ以上存在するように各ビデオカメラ１１は予
め配置されている。換言すれば、本実施形態では、検出
対象者Ｈがビデオカメラ１１の方向に視線を向けている
場合は、必ず２以上のカメラ用パソコン１４において、
所定条件が満たされていると判断されるようになってい
る。以下の説明では、ビデオカメラ１１Ａ及びビデオカ
メラ１１Ｂで捉えた画像データが所定条件を満たし、後
述する目領域検出の対象として各カメラ用パソコン１４
Ａ，１４Ｂに判断されたものとする。

【００４３】ところで、推定された顔向きの角度Ｆが所
定条件を満たしていない（Ｓ５がＮＯ）と判定したカメ
ラ用パソコン１４は、今回の画像データについては、以
下のステップを行わず、このフローチャートを終了す
る。

【００４４】（視線検出）次のＳ６〜Ｓ１０の概要を説
明すると、カメラ用パソコン１４Ａ，１４Ｂは、顔領域
３１の中から目領域３２を検出する。そして、さらにそ
の目領域３２の中から瞳領域３５を検出すると共に、そ
の瞳領域３５の大きさを正規化する。そして、瞳領域３
５の形状に対して円形度を算出し、その算出結果をメイ
ンパソコン１６に送信する。メインパソコン１６は各カ
メラ用パソコン１４Ａ，１４Ｂから受信した各円形度の
算出結果を比較して視線を検出する。

【００４５】（目領域検出）さて、Ｓ６において、ま
ず、カメラ用パソコン１４Ａ，１４Ｂは、画像データに
ついて肌色基準値を再算出し、肌色領域を抽出する。抽
出された肌色領域のうち、最大領域を顔領域３１と判定
する。

【００４６】カメラ用パソコン１４Ａ，１４Ｂは、その
顔領域３１に基づき、４方向面特徴と色差面特徴を用い
たテンプレートマッチング手法により、それぞれ目領域
３２、並びに口領域を検出する。

【００４７】ところで、今回の画像データの１つ前に本
フローチャートを用いて処理された画像データにおい
て、このＳ６で目領域３２及び口領域が検出されていた
場合は、前回の検出結果に基づいて、今回得られた顔領
域３１を所定領域削除し、顔領域３１が前記所定領域分
狭められた探索範囲として設定されるようになってい
る。そして、今回の画像データに関しては、前記探索範
囲が用いられ、テンプレートマッチング手法により目領
域３２及び口領域の検出が行われる。なお、テンプレー
トマッチングを行った結果、前記探索範囲に対して目領
域３２及び口領域が検出されなかった場合は、再度、顔
領域３１に対して両領域の検出が行われるようになって
いる。

【００４８】ここで、前記テンプレートマッチング手法
について説明する。この手法は、得られた画像データか
ら、前述した４方向面特徴抽出にて４方向面特徴（方向
面）、及びＵ，Ｖ座標値による色差面特徴を抽出し、肌
色領域抽出で得られた肌色領域（顔領域３１）又は探索
範囲に対して、右目、左目、口の各テンプレートを用い
て類似度を計算する。

【００４９】なお、前記色差面特徴は、肌色基準値から
のＵ値の差、及びＶ値の差を示すものである。また、前
記テンプレートとは、予め、右目、左目、口の画像を複
数枚用意し、４方向面特徴及び色差面特徴を抽出した画
像データを、所定比率で縮小し、横幅を所定ピクセル
（例えば３２ピクセル）に揃え、大きさの正規化を行
う。そして、４方向面特徴に関しては、エッジ方向情報
を４方向に分解し、さらに、４方向面特徴及び色差面特
徴に対してガウシャンフィルタで平滑化し、各画像デー
タを８×８の解像度に変換したものである。このテンプ
レートは、記憶装置（図示しない）に記憶されている。

【００５０】そして、前記テンプレートＴと画像データ
（入力画像）Ｉとの４方向面特徴の類似度ａを以下の式
（３）で算出し、色差面特徴の類似度ｂを以下の式
（４）で算出する。

【００５１】

【数２】 式（３）、（４）中、Ｉは入力画像を示し、Ｔはテンプ
レートを示す。ｉ、ｊは、１〜ｍ、１〜ｎの値であり、
ｍ×ｎ画素のテンプレート及び入力画像に対応してい
る。（ｘ，ｙ）は入力画像の左上座標を示す。また、式
（４）中Ｔｕ，ＴｖはテンプレートのＵＶ値、Ｉｕ，Ｉ
ｖは画像データのＵＶ値を示し、Ｕmax ，Ｖmax はＵＶ
値の最大範囲を示す。本実施形態では、CIE L*u*v 表色
系を用いており、このCIE L*u*v 表色系において、処理
の高速化及び記憶装置の空間を節約するため、Ｕmax ＝
２５６，Ｖmax ＝２５６としている。

【００５２】次いで、これらの式（３），（４）で算出
した、各類似度ａ，ｂに基づいて、以下の式（５）によ
り、最終的な類似度ｋを算出する。 ｋ＝Ｗa ×ａ＋Ｗb ×ｂ …（５） 式（５）中Ｗa ，Ｗb は、重み付けとして、各類似度
ａ，ｂに掛け合わせられる所定の定数であり、Ｗa ＋Ｗ
b ＝１を満たしている。なお、本実施形態では、Ｗa ＝
Ｗb ＝０．５としている。

【００５３】その算出結果を元に、前記類似度ｋが予め
設定された閾値以上の箇所を、目の候補領域とする。そ
して、入力画像（画像データ）には、左上座標が予め付
与されており、その座標に基づき目、口の位置関係が把
握できる。従って、その座標に基づいて、例えば、目は
口より上にある、右目と左目の配置等、目、口の大まか
な位置関係（座標位置）を満たし、最も類似度ｋの高い
組み合わせを目領域３２並びに口領域として決定する。
この結果、顔領域３１の中で目領域３２が検出される。

【００５４】（瞳領域検出）次にＳ７において、検出さ
れた目領域３２からカメラ用パソコン１４Ａ，１４Ｂは
瞳領域３５の検出を行う。なお、本実施形態では、Ｓ６
にて検出された目領域３２のうち何れか一方（例えば右
目）の目領域３２について、以下に説明する瞳領域検出
を行う。

【００５５】まず、目領域画像の彩度値ヒストグラムを
作成して、公知の判別分析法を適用し、顔領域３１を目
領域３２と肌領域（顔領域の目領域３２以外の領域）と
に分離する。一般的に、肌領域の彩度は高く、目領域３
２の彩度は低い。このため、この分離処理はその特性を
利用している。次いで、前記目領域画像の輝度ヒストグ
ラムを作成して、公知の判別分析法を適用し、分離され
た目領域３２を、瞳領域３５と白目領域３４とに分割す
る。このとき、白目領域３４と瞳領域３５の彩度の違い
は明らかであるため、例えば瞳領域３５を瞳孔と虹彩と
に分割する場合と比較して、拡大された画像データでな
くても簡便に分割処理ができる。

【００５６】その後、瞳領域３５の検出結果を元に、瞳
領域３５を縮小又は拡大し、所定の大きさに正規化す
る。そして、瞳領域３５に対して円形状の補完を行う。
この際、前述したように、彩度値ヒストグラム及び輝度
ヒストグラムにそれぞれ判別分析法を適用して分割する
ことで得られた瞳領域３５内には図７（ａ）に示すよう
に、瞼による陰影３５ａの存在が考えられる。このと
き、通常、画像の濃淡値を８ビットで表した場合、濃淡
値０が黒、濃淡値２５６が白となる。従って、領域分割
結果における濃淡値０（黒色）の領域に対して、図７
（ｂ）に示すような水平射影ヒストグラムを作成し、同
ヒストグラムにおいて縦軸方向（図７（ｂ）において上
下方向）の上部に示されるように、極端なピークをもつ
部分を予め設定された閾値に基づいて削除する。つま
り、瞼による陰影３５ａの部分は該ヒストグラム上でピ
ークとして現れ、それを削除することで、図７（ｃ）に
示すような、瞳領域３５のみが抽出される。

【００５７】（円形度算出）次に、Ｓ８において、カメ
ラ用パソコン１４Ａ，１４Ｂは、検出された瞳領域３５
に対して円のハフ変換を行い、このハフ変換で用いられ
るパラメータ空間における投票数によって円形度の算出
を行う。

【００５８】まず、目領域３２に対して、白目領域３４
と検出された瞳領域３５の濃淡の違いを利用して、Prew
itt オペレータを用い図７（ｄ）に示すような瞳領域３
５のエッジ画像を生成することで、エッジ（輪郭）３５
ｂを抽出する。その後、そのエッジ３５ｂを構成する点
（以下「エッジ点」という）群に対して公知の円のハフ
変換を行う。

【００５９】ここで、円のハフ変換について図８（ａ）
及び図８（ｂ）を用いて簡単に説明する。図８（ａ）に
示すようなあるｘ−ｙ平面において、円は次の方程式で
表される。

【００６０】 （ｘ−ａ）²＋（ｙ−ｂ）²＝ｒ² …（６） ｘ−ｙ平面上の１つの円は、円の中心（ａ，ｂ）及び半
径ｒに関する（ａ，ｂ，ｒ）パラメータ空間（以下、単
に「パラメータ空間」という）では１点で表現される。
円のハフ変換は、ｘ−ｙ平面を円の特徴を示す３次元の
パラメータ空間に変換する。そして、この円のハフ変換
は、前記式（６）を変換した次式で実現する。

【００６１】 ｂ＝±√｛ｒ²−（ｘ−ａ）²｝＋ｙ …（７） この式（７）を利用して、ｘ−ｙ平面における円上の任
意の点（ｘ０，ｙ０）をハフ変換すると、パラメータ空
間では、ｂ＝±√｛ｒ²−（ｘ０−ａ）²｝＋ｙ０上に乗
った画素（点（ａ，ｂ，ｒ））に投票がなされる。する
と、パラメータ空間において、投票結果である点群は、
（ｘ０，ｙ０）を通る全ての円の集まりで表現される。
例えば、図８（ａ）に示したｘ−ｙ平面上の３点ｅ（ｘ
１，ｙ１）、ｆ（ｘ２，ｙ２）、ｇ（ｘ３，ｙ３）を前
記式（７）でパラメータ空間に投射すると、それぞれの
半径の値ｒに対するａ−ｂ平面について、各点ｅ，ｆ，
ｇが図８（ｂ）に示すような１つずつの円に変換され
る。なお、図８（ｂ）は、ｒ＝ｒ０におけるａ−ｂ平面
を示している。このハフ変換によって得られた円をハフ
曲線という。

【００６２】前記ハフ曲線は、パラメータ空間において
互いに交じり合うため、交点が複数生じる。そして、交
わるハフ曲線の数（即ち、投票数）が最大の交点を見つ
けることにより、ｘ−ｙ平面の円の中心座標と半径が検
出可能になっている。なお、図８（ｂ）においては、交
点（ａ０，ｂ０，ｒ０）において、３つのハフ曲線が交
わり、交点に対する投票数は３となっている。それに対
して、それ以外の点では投票数が２以下であるため、ｘ
−ｙ平面の円の中心座標は（ａ０，ｂ０）となり、半径
はｒ０と決定される。

【００６３】さて、瞳領域３５のエッジ画像におけるエ
ッジ点群には左上座標（ｘ，ｙ）が付与される。そし
て、前記円のハフ変換を行い、図７（ｄ）に示すような
エッジ点群が付されたｘ−ｙ平面を、図９に示すような
瞳領域３５の中心座標（ａ１，ｂ１）と半径ｒ１を示す
ための３次元パラメータ空間へ変換する。そして、ｘ−
ｙ平面における各エッジ点が、パラメータ空間におい
て、前記式（７）を満たす所定の画素（点（ａ，ｂ，
ｒ））に投票する。そして、図形空間におけるエッジ３
５ｂをくまなく走査して、パラメータ空間において、最
大投票数を得た点が瞳中心点Ｃとなる。前記瞳中心点Ｃ
が投票数最大点に相当し、パラメータ空間が投票空間に
相当する。なお、図９のａ軸及びｂ軸の値は中心座標を
示し、ｒ軸の値は半径を示す。また、瞳領域３５の半径
ｒの範囲（ｒ_min〜ｒ_max）は予めカメラ用パソコン１４
の記憶装置（図示しない）に記憶されており、ハフ変換
の際には、その範囲（ｒ_min〜ｒ_max）内の所定の画素
（点（ａ，ｂ，ｒ））に投票がなされる。

【００６４】ところで、図１０に示すように、例えば検
出対象者Ｈがビデオカメラ１１Ａを真正面から直視して
いるとき、ビデオカメラ１１Ａにて撮像された画像にお
ける瞳（瞳領域３５）の形状は図１１（ａ）に示すよう
に真円になる。また、このとき、ビデオカメラ１１Ａの
近傍に位置するビデオカメラ１１Ｂの方向から検出対象
者Ｈを見ると、同検出対象者Ｈは他の方向を見ているこ
とになり、ビデオカメラ１１Ｂにて撮像された画像にお
ける瞳（瞳領域３５）の形状は図１１（ｂ）に示すよう
に、楕円のような変形した円になる。

【００６５】つまり、検出対象者Ｈの視線が向けられて
いれば、撮像した瞳（瞳領域３５）の形状は真円若しく
は真円に近い形を示すのである。その一方で、視線が外
れていれば、外れるほど撮像した瞳（瞳領域３５）の形
状は短軸と長軸の距離の差が広がった楕円を示すのであ
る。なお、本実施形態においては、ビデオカメラ１１は
全て同じ高さに配置されているため、図１１（ｂ）に示
す視線が外れた状態の瞳（瞳領域３５）の形状は縦長の
楕円となる。従って、複数のビデオカメラ１１で撮像し
た瞳（瞳領域３５）の形状を比較して、ある瞳（瞳領域
３５）の形状がより真円に近いということは、検出対象
者Ｈがそのビデオカメラ１１へ視線を向けていることを
示す。

【００６６】一方、ハフ変換を行った際のパラメータ空
間での投票数において、ｘ−ｙ平面たるエッジ画像の瞳
領域３５（エッジ３５ｂ）の形状が真円に近いほど図１
２（ａ）に示すように瞳中心点Ｃとされる点（ａ１，ｂ
１，ｒ１）に投票数が集中し、その周辺の投票数との差
が大きくなるという特性がある。また、エッジ画像の瞳
領域３５（エッジ３５ｂ）の形状が楕円形になった場
合、その長軸と短軸の長さが異なるほど投票数がばらつ
き、図１２（ｂ）に示すように、瞳中心点Ｃとされる点
（ａ１，ｂ１，ｒ１）の投票数とその周辺の投票数との
差が開きにくくなるという特性がある。なお、図１２
（ａ），（ｂ）に示す３次元空間は、中心座標（ａ１，
ｂ１）を示すためのａ−ｂ平面に、投票数を示すｖ軸が
直交した三次元空間を示し、図９に示すパラメータ空間
とは異なる。また、図１２（ａ），（ｂ）は共に半径ｒ
＝ｒ１のａ−ｂ平面における投票数を示している。

【００６７】以上の結果により、パラメータ空間におい
て決定された瞳中心点Ｃの投票数（以下、「中心投票
数」という）Ｖｃと、この瞳中心点Ｃを中心とした比較
領域Ｐ内の投票数（以下、「領域投票数」という）Ｖｒ
とから、次式（８）により円形度を示す評価値Ｅを算出
する。

【００６８】Ｅ＝ｋ×Ｖｃ／Ｖｒ …（８） 式（８）中、ｋは、重み付けとして掛け合わせられる所
定の定数である。また、本実施形態において、前記比較
領域Ｐとは、瞳中心点Ｃにおける中心座標（ａ１，ｂ
１）を中心として５×５画素の範囲を示し、領域投票数
Ｖｒは図１２に示すようなｒ＝ｒ１における投票数だけ
ではなく、比較領域Ｐに含まれたそれぞれのｒにおける
投票数も含む。前記瞳中心点Ｃが第１領域に相当し、比
較領域Ｐが第２領域に相当する。

【００６９】そして、前述したように、瞳領域３５が真
円に近くなるほど、瞳中心点Ｃに投票数が集中するた
め、前記式（８）においては、分子の中心投票数Ｖｃが
大きくなり、評価値Ｅも大きくなる。また、瞳領域３５
が真円から離れるほど投票数がばらつくため、式（８）
においては、分子の中心投票数Ｖｃが小さくなる一方
で、分母の領域投票数Ｖｒが大きくなり、評価値Ｅが小
さくなる。この結果、前記評価値Ｅが大きくなれば円形
度が高くなり、評価値Ｅが小さくなれば円形度は低くな
る。

【００７０】このようにして算出された円形度（評価値
Ｅ）の結果をカメラ用パソコン１４Ａ，１４Ｂはメイン
パソコン１６に送信する。なお、各カメラ用パソコン１
４Ａ，１４Ｂの時刻はメインパソコン１６に合わされて
いるため、各カメラ用パソコン１４Ａ，１４Ｂから送信
される円形度（評価値Ｅ）の算出結果はそれぞれ同時刻
にキャプチャした画像データから算出されたものになっ
ている。

【００７１】（視線検出（カメラ決定））そして、Ｓ９
において、メインパソコン１６は、カメラ用パソコン１
４Ａから受信した評価値Ｅと、カメラ用パソコン１４Ｂ
から受信した評価値Ｅとの大小を比較する。そして、評
価値Ｅが大きい方、即ち検出した瞳領域が真円により近
い方を視線が向けられているビデオカメラとして、視線
検出が行われる。（Ｓ１０）。視線が検出されると、メ
インパソコン１６は、視線が向けられたビデオカメラに
対応する電気機器１７へコマンド信号を出力する（Ｓ１
１）。なお、各カメラ用パソコン１４Ａ，１４Ｂから受
信した評価値Ｅが所定の許容範囲内で等しいとメインパ
ソコン１６が判断した場合は、何れのビデオカメラ１１
Ａ，１１Ｂも検出対象者Ｈは見ておらず、両ビデオカメ
ラ１１Ａ，１１Ｂのほぼ中央を見ているものと判断す
る。そして、このときは、電気機器１７へコマンド信号
を出力しない。

【００７２】従って、上記実施形態によれば、以下のよ
うな効果を得ることができる。 （１）上記実施形態では、各カメラ用パソコン１４は、
各ビデオカメラ１１により撮像した画像データに含まれ
る目領域３２から瞳領域３５を検出し、この瞳領域３５
の形状に対して円形度を算出する。そして、各カメラ用
パソコン１４はその算出結果をメインパソコン１６に送
信し、メインパソコン１６では、その円形度に基づいて
視線を検出する。従来と異なり、視線検出に瞳孔を利用
せず、瞳孔よりも大きく、目領域３２の中から白目領域
３４と容易に区別できる瞳領域３５の円形度に基づいて
視線検出を行ったため、瞳孔を検出可能な位まで目領域
３２を拡大して撮像する必要がなく、各ビデオカメラ１
１にて検出対象者Ｈを捕捉可能な範囲が広がる。従っ
て、検出対象者Ｈの位置に影響されることなく、好適に
視線を検出することができる。

【００７３】（２）上記実施形態では、視線検出空間内
に複数のビデオカメラ１１を互いに異なる位置に配置
し、各ビデオカメラ１１でそれぞれ同時に検出した各瞳
領域３５の円形度をメインパソコン１６により比較し
て、どのビデオカメラ１１に視線を向けているかを検出
する。従って、従来と異なり、各カメラ用パソコン１４
で算出された円形度（評価値Ｅ）を予め記憶した参照デ
ータと比較しないため、検出した瞳領域３５に対して較
正（キャリブレーション）を行う必要がなく、簡便に視
線検出を行うことができる。

【００７４】また、図１には、４つのビデオカメラ１１
しか描いていないが、設置するビデオカメラ１１はカメ
ラ用パソコン１４を介してメインパソコン１６に接続す
るだけで容易に追加できる。このため、視線検出の精度
向上及び検出領域の拡張を容易に図ることができる。

【００７５】（３）上記実施形態では、瞳領域３５のエ
ッジ画像をハフ変換し、変換先のパラメータ空間におい
て、投票数が最大となる瞳中心点Ｃと、同瞳中心点Ｃを
含む比較領域Ｐにおける各投票数から円形度を示す評価
値Ｅを算出した。従って、パラメータ空間における投票
数を利用して好適に円形度の算出が実現できる。

【００７６】（４）上記実施形態では、メインパソコン
１６において、２つのカメラ用パソコン１４Ａ，１４Ｂ
から受信した評価値Ｅが所定の許容範囲内で等しいと判
断した場合は、何れのビデオカメラ１１Ａ，１１Ｂも見
ておらず、両ビデオカメラ１１Ａ，１１Ｂのほぼ中央を
見ているものと判断する。このため、ビデオカメラ１１
間の中間点に視線を向けている場合も容易に検出でき
る。

【００７７】なお、上記実施形態は以下のように変更し
てもよい。・上記実施形態では、カメラ用パソコン１４
における円形度（即ち、評価値Ｅ）の算出に、瞳領域３
５のエッジ画像をハフ変換する際におけるパラメータ空
間の投票数を利用したが、以下の方法で円形度を算出し
てもよい。すなわち、Ｓ７において検出され、円形状の
補完が行われた瞳領域３５全体の画素数から面積Ｓを求
め、瞳領域３５のエッジ画像からエッジ３５ｂの画素数
を数えることでエッジ３５ｂ（即ち、輪郭線）の長さＬ
を求める。そして、各カメラ用パソコン１４では、次式
（９）から円形度を示す評価値Ｒａｔｅを算出する。

【００７８】Ｒａｔｅ＝４πＳ／Ｌ² …（９） これによれば、円形度は式（９）により算出される評価
値Ｒａｔｅに基づいて決定され、前記評価値Ｒａｔｅが
１に近づくほど円形度は高く、１から離れるほど円形度
は低くなる。従って、この別例においては、円形度を算
出するというのは前記評価値Ｒａｔｅを算出することを
示す。

【００７９】そして、各カメラ用パソコン１４で算出さ
れる評価値Ｒａｔｅを受信したメインパソコン１６で
は、より１に近いほうを視線方向として検出する。この
ようにしても、瞳領域３５の面積Ｓ及びエッジ３５ｂの
長さＬを利用して好適に円形度の算出が実現できる。

【００８０】・上記実施形態では、式（８）における分
子の中心投票数Ｖｃは、投票数が最大である瞳中心点Ｃ
のみの投票数であったが、例えば、瞳中心点Ｃとその隣
の点を合せた領域の投票数の合計を中心投票数Ｖｃとす
る等、少なくとも比較領域Ｐよりも狭い領域の投票数で
あれば、中心投票数Ｖｃとしてもよい。この場合、瞳中
心点Ｃとその隣の点を合せた領域が第１領域に相当す
る。

【００８１】・上記実施形態では、Ｓ７における瞳領域
検出を、Ｓ６において検出された目領域３２のうち何れ
か一方の目領域３２について行ったが、右・左、両方の
目領域３２に対して行ってもよい。この場合、各瞳領域
３５から算出された円形度（評価値Ｅ）の平均値が算出
され、その値が、各画像データの円形度とされ、比較さ
れる。このようにすれば、片目について、円形度を算出
する場合と比較して、高精度に視線検出を行うことがで
きる。

【００８２】・上記実施形態では、複数台のビデオカメ
ラ１１を視線検出空間内に設け、各ビデオカメラ１１の
カメラ用パソコン１４にて算出された円形度（評価値
Ｅ）をメインパソコン１６が比較することで、視線を検
出したが、撮像された画像データに基づく各円形度同士
の比較ではなく、予めメインパソコン１６に記憶した閾
値との比較で視線を検出してもよい。すなわち、各カメ
ラ用パソコン１４から送信された評価値Ｅのうち何れか
１つが閾値を超えた場合に、そのビデオカメラ１１に視
線を向けているという視線検出を行う。なお、この場
合、複数の円形度を比較することはないため、設置する
ビデオカメラ１１を１台としてもよい。

【００８３】・上記実施形態では、ビデオカメラ１１は
全て同じ高さに配置されていたが、それぞれ異なる高さ
に配置してもよい。 ・上記実施形態では、メインパソコン１６と各カメラ用
パソコン１４との通信をイーサネット（登録商標）を介
したソケット通信にて行っていたが、無線電波にて行っ
てもよい。

【００８４】次に、上記実施形態及び各別例から把握で
きる技術的思想について以下に記載する。 （１）請求項５に記載の視線検出方法において、前記所
定の撮像ポイントは複数あり、前記視線検出工程では、
複数の撮像ポイントにおける各円形度を比較することで
視線を検出する視線検出方法。

【００８５】（２）請求項５又は上記技術的思想（１）
に記載の視線検出方法において、前記円形度算出工程で
は、前記瞳領域を含む画像データをハフ変換し、ハフ変
換の投票空間において、投票数が最大となる投票数最大
点を含む第１領域、及び前記投票数最大点を含み前記第
１領域よりも大きい第２領域における各投票数から円形
度が算出される視線検出方法。

【００８６】（３）請求項５又は上記技術的思想（１）
に記載の視線検出方法において、前記円形度算出工程で
は、瞳領域の面積及び瞳領域の輪郭線の長さに基づいて
円形度を算出することを特徴とする視線検出方法。

【００８７】

【発明の効果】以上詳述したように、請求項１の発明に
よれば、検出対象者の頭部位置に影響されることなく、
好適に視線を検出することができる。

【００８８】請求項２の発明によれば、請求項１の効果
に加えて、複数の撮像手段から取得される各画像データ
の円形度を比較することで視線を検出しているため、検
出した瞳領域に対して較正（キャリブレーション）を行
う必要がなく、簡便に視線検出ができる。

【００８９】請求項３の発明によれば、請求項１又は請
求項２の発明の効果に加えて、ハフ変換の投票空間にお
ける投票数を利用して好適に円形度の算出を実現でき
る。請求項４の発明によれば、請求項１又は請求項２の
発明の効果に加えて、瞳領域の面積及び輪郭線の長さを
利用して好適に円形度の算出を実現できる。

【００９０】請求項５の発明によれば、請求項１の発明
の効果と同様の効果を奏す。

【図面の簡単な説明】

【図１】本発明に係る実施形態の視線検出装置の構成を
示すブロック図。

【図２】同じく視線検出方法を示すフローチャート。

【図３】（ａ）はビデオカメラが撮像した画像データの
説明図、（ｂ）は肌色基準で抽出した画像データの説明
図。

【図４】判別分析に係るクラスを示した概念図。

【図５】パターン認識の概念図。

【図６】ビデオカメラの光軸（カメラ方向）に対する相
対顔方向とのなす角度Ｆとの関係を示す説明図。

【図７】（ａ）、（ｃ）は瞳領域検出を示す説明図、
（ｂ）は水平射影ヒストグラムを示す説明図、（ｄ）は
瞳領域のエッジ画像を示す説明図。

【図８】（ａ）、（ｂ）は円のハフ変換の説明図。

【図９】パラメータ空間を示す説明図。

【図１０】ビデオカメラ１１Ａを直視した検出対象者を
示す概念図。

【図１１】（ａ）は円形度が高い瞳領域を示す説明図、
（ｂ）は円形度が低い瞳領域を示す説明図。

【図１２】（ａ）、（ｂ）は投票数と中心座標の関係を
示す説明図。

【符号の説明】

Ｈ…検出対象者、１１…ビデオカメラ（撮像手段）、１
４…カメラ用パソコン（瞳領域検出手段、円形度算出手
段）、１６…メインパソコン（視線検出手段）、３２…
目領域、３５…瞳領域

フロントページの続き (72)発明者 本郷 仁志 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン内 Ｆターム(参考） 2H051 AA00 BA80 DA24 5C054 AA01 AA04 CC02 FC11 FF07 HA05 5L096 AA02 AA06 FA06 FA24 FA35 FA59 FA67 GA02 GA38 GA41 JA03 JA09

Claims (5)

【特許請求の範囲】
1. 【請求項１】 検出対象者を撮像する撮像手段と、 撮像手段が撮像した画像データに含まれる顔の目領域か
   ら瞳領域を検出する瞳領域検出手段と、 前記瞳領域検出手段が検出した瞳領域の形状に対して円
   形度を算出する円形度算出手段と、 円形度算出手段が算出した円形度に基づいて視線を検出
   する視線検出手段とを備えたことを特徴とする視線検出
   装置。
2. 【請求項２】 前記撮像手段は互いに異なる位置に複数
   設けられ、前記視線検出手段は、各撮像手段から得た画
   像データに含まれる瞳領域の各円形度を比較することで
   視線を検出する請求項１に記載の視線検出装置。
3. 【請求項３】 前記円形度算出手段は、前記瞳領域を含
   む画像データをハフ変換し、ハフ変換の投票空間におい
   て、投票数が最大となる投票数最大点を含む第１領域、
   及び前記投票数最大点を含み前記第１領域よりも大きい
   第２領域における各投票数から円形度を算出する請求項
   １又は請求項２に記載の視線検出装置。
4. 【請求項４】 前記円形度算出手段は、瞳領域の面積及
   び瞳領域の輪郭線の長さに基づいて円形度を算出する請
   求項１又は請求項２に記載の視線検出装置。
5. 【請求項５】 所定の撮像ポイントから検出対象者を撮
   像する撮像工程と、 撮像した画像データに含まれる顔の目領域から瞳領域を
   検出する瞳領域検出工程と、 検出した瞳領域の形状に対する円形度を算出する円形度
   算出工程と、 算出した円形度に基づいて視線を検出する視線検出工程
   とを備えたことを特徴とする視線検出方法。