JP2006285531A - 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム - Google Patents

Abstract

【課題】 １つのカメラより撮影された画像情報に基づいて、リアルタイムに視線を追跡する視線方向の推定装置を提供する。
【解決手段】 視線方向の検出装置は、カメラにより撮影された対象画像領域内において、虹彩を抽出し虹彩中心位置を算出するステップ（Ｓ２０４）と、対象画像領域内において、複数の参照点の投影位置を検出し、複数の較正用画像内の参照点の投影位置に基づいて、人間の眼球中心の投影位置を推定するステップ（Ｓ２０６）と、抽出された虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定するステップ（Ｓ２０８）という各処理を行う。
【選択図】 図７

Description

この発明はカメラ等からの画像を処理する画像処理に関し、特に、画像中の人物の視線方向を検出するための画像認識の分野に関する。

人物の視線方向の検出は、マンマシンインタフェースの１つの方法として従来研究されてきた。

一方、たとえば、痴呆患者の介護者にとって、患者が例えばビデオ映像に心を集中してじっとしていてくれる時間が増えれば、負荷が軽減される。そこで、ビデオ映像を見ている患者をカメラで観察し、飽きてきたようすがみられたならばビデオの内容を切り替えて、引き続き興味を惹きつけ、じっとしている時間をより長くする方策が考えられる。患者がビデオ映像に心を集中しているかどうかは、たとえば、患者の目を検出追跡し、視線方向の時系列データを解析することにより判定できる可能性がある。

そして、視線検出についてはすでにさまざまな手法が提案されている（たとえば、非特許文献１を参照）。

ただし、たとえば、上述したような応用を考える場合は、対象が痴呆患者であり、非装着型のシステムとすることが前提となる。たとえば、２眼ステレオ方式で精度の高い実時間視線検出を実現した報告がある（たとえば、非特許文献２を参照）。しかし、２眼ステレオ方式では作動範囲が２つのカメラの共通視野領域に限定されるため、あらかじめ対象者の位置を限定できない場合には使いにくい。

そこで、対象者がビデオ映像装置から数ｍの範囲ならどの位置にいてもパン、チルト、ズームを制御して顔画像を得ることができるものとして、１台のビデオカメラの画像から、視線方向を推定する手法としては、従来、以下のような報告がある。

たとえば、顔の向きの変化にも対応するため、左右の目尻と口の両端（口角）から形成される台形を利用して顔の向きを推定すると同時に、両目尻の中点と左右の虹彩の中点の差から正面視からの目の片寄り量を推定し、両方合わせて視線方向を推定する原理を示した報告や（非特許文献３を参照）、眼球の幾何学的モデルから、両目尻ではなく、二つの眼球の中心を結ぶ直線が顔表面と交差する左右の２点（具体的には顔側面の目尻より少し上後方の点、以下、「三宅特徴点」と呼ぶ）を参照点とすれば、画像上のその中点と左右の虹彩の中点から、顔の向きに関係なく視線方向が計算できることを示し、実験でもよい結果を得た報告もある（非特許文献４を参照）。しかし、二つの三宅特徴点を画像から決定することは難しく、実験では人為的なマークを貼付し利用している。

なお、以下に説明する本発明の視線方向の検知方法においては、画像中からまず人物の顔を検出する。そこで、従来の画像中からの顔の検出手法の従来技術については、以下のようなものがある。

つまり、これまでに、肌色情報を用いた顔検出システムや、色情報を用いない（濃淡情報を用いる）顔検出手法では、テンプレートマッチングやニューラルネットワーク等の学習的手法を利用した手法については報告が数多くなされている。

たとえば、本発明の発明者も、安定性が高く、かつ実時間での顔の追跡が可能な手法として、安定した顔の特徴点として両目の間の点（以下では眉間（Ｂｅｔｗｅｅｎ−ｔｈｅ−Ｅｙｅｓ）と呼ぶ）に着目し、眉間の周囲は、額部と鼻筋は相対的に明るく、両サイドの目と眉の部分は暗いパターンになっており、それを検出するリング周波数フィルタを用いるとの手法を提案している（たとえば、非特許文献５、特許文献１を参照）。

さらに、本発明の発明者は、他の手法として、たとえば、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出し、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択する、というような顔を検出する方法も提案している（たとえば、特許文献２を参照）。

さらに、本発明の発明者らは、顔画像中から鼻位置をリアルタイムで追跡する手法についても報告している（たとえば、非特許文献６を参照）。
特開２００１−５２１７６号公報明細書 特開２００４−１８５６１１号公報明細書 大野健彦：視線を用いたインターフェース、情報処理、Vol．44、 No．7、pp．726−732（2003） 松本吉央、小笠原司、Zelinsky，A．：リアルタイム視線検出・動作認識システムの開発、信学技報ＰＲＭＵ99−151、pp．9−14 （1999） 青山宏、河越正弘：顔の面対称性を利用した視線感知法、情処研報89−CV−61、pp.1-8（1989） 三宅哲夫、春田誠司、堀畑聡：顔の向きに依存しない特徴量を用いた注視判定法、信学論（Ｄ−ＩＩ）、Vol．J86−D-II、No．12、 pp．1737−1744（2003） 川戸慎二郎、鉄谷信二、"リング周波数フィルタを利用した眉間の実時間検出"信学論（Ｄ−ＩＩ），ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，ｎｏ１２，ｐｐ．２５７７−２５８４，Ｄｅｃ．２００１． 川戸慎二郎、鉄谷信二：鼻位置の検出とリアルタイム追跡：信学技報IE2002−263、pp．25−29（2003）

以上説明したような視線検出の方法は、１つのカメラより撮影された画像を用いる場合に、リアルタイムに視線を精度よく追跡する方法や装置については、必ずしもどのようにして実現すればよいかが明確となっていない、という問題があった。

それゆえに本発明の目的は、１つのカメラより撮影された画像情報に基づいて、リアルタイムに視線を追跡する視線方向の検知装置、視線方向の検知方法およびコンピュータに当該視線方向の検知方法を実行させるためのプログラムを提供することである。

この発明のある局面に従うと、視線方向の検知装置であって、複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影して獲得するための撮影手段と、人間が撮影手段を見ている状態で撮影手段により撮影された複数の較正用画像を予め取得する較正画像取得手段と、撮影手段により撮影された対象画像領域内において複数の参照点の投影位置を検出し、複数の較正用画像内の参照点の投影位置に基づいて、人間の眼球中心の投影位置を推定する眼球中心推定手段と、対象画像領域内において、虹彩を抽出し虹彩中心位置を算出する虹彩中心抽出手段と、抽出された虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定する視線推定手段とを備える。

好ましくは、眼球中心推定手段は、複数の較正用画像内の複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、較正用画像内の眼球中心の投影位置を表現するための線形結合定数を算出する眼球中心表現算出手段と、撮影手段により撮影された対象画像領域内において検出された複数の参照点と線形結合定数とにより、眼球中心の投影位置を推定する推定演算手段とを含む。

この発明の他の局面に従うと、視線方向の検出方法であって、複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影手段により撮影して準備するステップと、人間が撮影手段を見ている状態で撮影手段により撮影された複数の較正用画像を予め取得するステップと、撮影手段により撮影された対象画像領域内において複数の参照点の投影位置を検出し、複数の較正用画像内の参照点の投影位置に基づいて、人間の眼球中心の投影位置を推定するステップと、対象画像領域内において、虹彩を抽出し虹彩中心位置を算出するステップと、抽出された虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定するステップとを備える。

好ましくは、複数の較正用画像内の複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、較正用画像内の眼球中心の投影位置を表現するための線形結合定数を算出するステップをさらに備え、眼球中心の投影位置を推定するステップは、撮影手段により撮影された対象画像領域内において検出された複数の参照点と線形結合定数とにより、眼球中心の投影位置を推定するステップを含む。

この発明のさらに他の局面に従うと、コンピュータに、対象となる画像領域内の顔について視線方向の検出方法を実行させるためのプログラムであって、プログラムは、複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影手段により撮影して準備するステップと、人間が撮影手段を見ている状態で撮影手段により撮影された複数の較正用画像を予め取得するステップと、撮影手段により撮影された対象画像領域内において複数の参照点の投影位置を検出し、複数の較正用画像内の参照点の投影位置に基づいて、人間の眼球中心の投影位置を推定するステップと、対象画像領域内において、虹彩を抽出し虹彩中心位置を算出するステップと、抽出された虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定するステップとを備える。

好ましくは、プログラムは、複数の較正用画像内の複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、較正用画像内の眼球中心の投影位置を表現するための線形結合定数を算出するステップをさらに備え、眼球中心の投影位置を推定するステップは、撮影手段により撮影された対象画像領域内において検出された複数の参照点と線形結合定数とにより、眼球中心の投影位置を推定するステップを含む。

［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態にかかる「視線方向の検知装置」について説明する。この視線方向の検知装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像に基づいて、視線方向を推定・検出するためのものである。図１に、この視線方向の検知装置の外観を示す。

図１を参照して、この視線方向の検知装置を構成するシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）ドライブ（以下、「光学ディスクドライブ」と呼ぶ）５０、あるいはＦＤ（Flexible Disk ）ドライブ５２のような記録媒体からデータを読み取るためのドライブ装置を備えたコンピュータ本体４０と、コンピュータ本体４０に接続された表示装置としてのディスプレイ４２と、同じくコンピュータ本体４０に接続された入力装置としてのキーボード４６およびマウス４８と、コンピュータ本体４０に接続された、画像を取込むためのカメラ３０とを含む。この実施の形態の装置では、カメラ３０としてはＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconduct-or）センサのような固体撮像素子を含むカメラを用い、カメラ３０の前にいてこのシステム２０を操作する人物の顔の位置および視線を推定・検出する処理を行うものとする。

すなわち、カメラ３０により、人間の顔領域を含む画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。

図２は、カメラ３０により撮影された画像に基づいて、コンピュータ本体４０の処理結果がディスプレイ４２に表示される一例を示す図である。

図２に示すように、カメラ３０で撮影された画像は、ディスプレイ４２の撮影画像表示領域２００にリアルタイムに動画として表示される。特に限定されないが、たとえば、撮影画像表示領域２００上に、視線方向を示す指標として、垂直な線を表示してもよい。すなわち、このように垂直な線のみを指標として表示する場合は、視線方向が中央から右を向いているか、あるいは左を向いているかのみを検出して、この指標のディスプレイの中央位置からのずれとして表示していることになる。

図３に、このシステム２０の構成をブロック図形式で示す。図３に示されるようにこのシステム２０を構成するコンピュータ本体４０は、光学ディスクドライブ５０およびＦＤドライブ５２に加えて、それぞれバス６６に接続されたＣＰＵ（Central Processing Unit ）５６と、ＲＯＭ（Read Only Memory) ５８と、RAM （Random Access Memory）６０と、ハードディスク５４と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。光学ディスクドライブ５０にはＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２が装着される。ＦＤドライブ５２にはＦＤ６４が装着される。

既に述べたようにこの視線方向の検知装置の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２、ＦＤ６４等の記憶媒体に格納されて流通し、光学ドライブ５０またはＦＤドライブ５２等により記憶媒体から読取られてハードディスク５４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク５４にコピーされる。そうしてさらにハードディスク５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される。なお、ネットワーク接続されている場合には、ハードディスク５４に格納することなくＲＡＭ６０に直接ロードして実行するようにしてもよい。

図１および図３に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２、ＦＤ６４、ハードディスク５４等の記憶媒体に記憶されたソフトウェアである。

なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該視線方向の検知装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて視線方向の検知装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。

［視線方向の推定処理の動作］
以下では、本発明による視線の検知方法について説明する。

以下では、１つのカメラ３０により撮影された画像において、ユーザの目の虹彩の中心位置の検出に加えて、ユーザの顔に添付されたマーカ（または自然特徴点）、あるいは、めがねに固定されたマーカの検出により眼球中心位置の推定を行うことにより、視線検出を行う。

（シングルカメラによる視線計測）
以下では、まず、本発明の視線方向の検出方法を説明する前提として、ビデオ画像から眼球中心の位置を推定するための原理について説明しておく。

（画像上の任意の投影点の位置の推定）
３次元空間上の点をベクトルＸ_iを以下のように表す。

３次元の物体上で同一平面上にはない４点Ｘ₀，Ｘ₁，Ｘ₂，Ｘ₃を定めると、ベクトル（Ｘ₁−Ｘ₀），（Ｘ₂−Ｘ₀），（Ｘ₃−Ｘ₀）は一次独立（線形独立）で、物体上の任意の点Ｘ_rに対して、以下の関係を満たすような線形結合定数α、β、γが存在する。

物体の回転や並進移動によって、点Ｘ₀，Ｘ₁，Ｘ₂，Ｘ₃が点Ｘ₀´，Ｘ₁´，Ｘ₂´，Ｘ₃´に移動したとき、互いに相対位置関係は変化しないので、同じα、β、γを用いて、やはり、以下の関係が成り立つ。

式（１）、式（２）にはＸ₀からの相対ベクトルしか現れないので、座標原点はどこにとっても問題ないが、便宜上、物体の重心を座標原点とし、以下では物体の回転のみを考える。

カメラは平行投影(正射影)モデルで考える。すなわち（ｘ，ｙ，ｚ）^Tは画像の座標（ｘ，ｙ）^Tに投影(射影)されるとする。カメラから対象までの距離に比べて、対象の奥行き(ｚ方向)が十分小さければ、カメラは平行投影モデルで近似しても誤差は小さいことが知られている。式（２）から、任意の姿勢の物体を観測した画像上で、以下の式（３）が常に成立する。

また、回転マトリクスを以下の式（４）で表す。

すると、物体の回転Ｒ^kによって点Ｘ_iは、以下の式（５）のように移動する。

物体に回転Ｒ⁰、Ｒ¹、Ｒ²を施したときの画像上の観測点と、式（３）の関係から次の方程式（６）が成り立つ。

方程式（６）を解いて、一旦α、β、γが得られると任意の回転Ｒ^kを施した物体の観測において、点Ｘ_rが画像上で観測できなくても、Ｘ₀，Ｘ₁，Ｘ₂，Ｘ₃の観測座標（ｘ₀ ^k，ｙ₀ ^k）^T、（ｘ₁ ^k，ｙ₁ ^k）^T、（ｘ₂ ^k，ｙ₂ ^k）^T、（ｘ₃ ^k，ｙ₃ ^k）^Tから、式（３）を用いて、以下の式（７）のように、点Ｘ_rの画像上の投影点を推定することができる。

以下では画像として現れないが計算によって得られる画像座標の点を投影点と呼ぶことがあるが、実質は画像上の点と同じである。

なお、方程式（６）が解けるためには、回転Ｒ⁰、Ｒ¹、Ｒ²の回転軸の全てが平行であってはならない。

（視線推定の原理）
図４は、眼球中心、虹彩中心、および視線方向が画像面の法線とのなす角度との関係を示す概念図である。

以下では、「視線」は眼球中心と、虹彩中心を結ぶ直線であるとみなす。虹彩は画像として観測できるので、虹彩を円とみなしてその中心を画像処理により求めることができる。

一方、眼球中心は観測できないので、上述した画像上の任意の投影点の位置の推定法により、観測できる点Ｘ₀，Ｘ₁，Ｘ₂，Ｘ₃の観測点の線形結合で画像上の投影点を推定する。

視線方向は画像面内では眼球中心から虹彩中心へ向う方向で、画像面の法線とのなす角度θは、眼球半径をｒ、観測された眼球中心と虹彩中心の画像上の距離をdとすると、以下の式（８）のようになる。

ここで、眼球半径ｒの値は、解剖学的なモデルを用いてもいいし、別途キャリブレーションで求めてもよい。たとえば、解剖学的には、典型的には、成人では眼球半径は２４ｍｍであることが知られている。また、キャリブレーションとしては、ユーザの眼球から既知の距離にある平面上において、当該平面上の正面中央位置のマークとこの中央位置から所定距離だけ離れたマークとを、この平面に正対するユーザが見たときの虹彩中心のずれｄを画像上で求めれば、式（８）から逆算して、眼球半径ｒを求めることができる。

眼球中心は、上述した点Ｘ_rに相当する。眼球中心を直接観測することはできないが、線形結合定数α、β、γを求めるためには、ユーザが画像内で回転Ｒ⁰、Ｒ¹、Ｒ²を行ったとした時のユーザの眼球中心の投影座標を知る必要がある。そこで、眼球中心の投影座標が画像上にあらわれる特殊なケースを考える。

つまり、視線がカメラのレンズを向いているとき、レンズ中心、虹彩中心、眼球中心の３点は１直線上に並び、画像上、虹彩中心と眼球中心は同じ点に投影される。つまり、この特殊なケースでは眼球中心の投影座標は虹彩中心の画像座標として求まる。

そして、回転Ｒ⁰、Ｒ¹、Ｒ²を行った場合について、線形結合定数α、β、γを求めておけば、任意の画像中において、眼球中心の位置を推定することが可能である。

図５は、画像上で、虹彩中心を求め、さらに、眼球中心を推定することで、視線方向を求めた場合を示す図である。

推定された眼球中心から虹彩中心へ向かう線分として視線方向が求まることになる。

以下では、画像上で虹彩中心および眼球中心を求めて、視線方向を検知する方法の手続きを説明する。

（初期設定処理）
図６は、視線検出システムの初期設定の処理のフローを説明するためのフローチャートである。

まず、図６を参照して、このような視線検出を行うためのシステム初期設定の処理について説明する。

まず、初期設定処理では、ユーザの目の近くに４つのマークを付けて、点Ｘ₀，Ｘ₁，Ｘ₂，Ｘ₃とする（Ｓ１０２）。

なお、以下の説明では、マークを用いるものとして説明するが、顔上の適切な自然特徴点を自動的に抽出、選択して利用することとしてもよい。このような自然特徴点としては、鼻の頂点、眉間の中央点、目尻、目頭、鼻孔中心、ホクロ、眉端等が想定される。自然特徴点のうちには、ユーザの表情により位置が動くものもあるが、このような表情の影響を無視する範囲では、マークの代わりとして用いることができる。以下、マークおよびこのような自然特徴点を総称して、「顔画像中の参照点」と呼ぶ。

参照点は、所定のマークを顔表面に貼付してもよいし、マークのついた眼鏡型のフレームを装着してもよい。自然特徴点を用いる場合は、互いに相対的位置が変化しないことが望ましいので、ユーザは顔表情を変化させないことが望まれる。あるいは表情が変ってもほとんど動かない点を自然特徴点として利用する必要がある。

次に、ユーザに対して、カメラの前で、カメラのレンズを見ながら顔の姿勢を回転軸が平行とならないように３回変化することを促す表示をして、画像(キャリブレーション用画像)を３枚撮る（Ｓ１０４）。

各画像から画像処理により各マーク点Ｘ₀，Ｘ₁，Ｘ₂，Ｘ₃を抽出し（Ｓ１０６）、さらに、虹彩中心の座標を抽出する（Ｓ１０８）。

このとき、虹彩中心の座標は眼球中心の座標とみなす。これで方程式（６）に必要なデータが得られる。

このような虹彩の中心位置の検出は、特に限定はされないが、たとえば、以下のような手続きで行うことができる。

１）ビデオ画像から顔を抽出し、目と鼻を追跡する。このような顔の検出と目と鼻の追跡アルゴリズムも、特に限定されないが、たとえば、上述した非特許文献５および非特許文献６で述べたものを使用することができる。

２）追跡された目と鼻の位置に関連するビデオ画像内の所定の領域内において、新たに円のフィッティングによる虹彩中心の抽出を行うことができる。つまり、目の位置が画像中で特定されているので、虹彩の概略位置は既知である。したがって、この虹彩の概略位置を含む所定の大きさの領域において、周辺に向かって暗から明に変化する点を輪郭点候補としてラプラシアンのゼロクロス法で抽出し、いわゆる「ハフ変換」で最適な円の半径と中心を決定する。この際、虹彩の上辺、下辺は瞼によって隠されることが多いので、円の上辺１／６、下辺１／６に相当する部分はハフ変換の際に投票しない。なお、このような「ハフ変換」については、たとえば、文献：川口 剛、モハメッド リゾン、日高 大輔 著、「ハフ変換と分離度フィルタによる人物顔からの両目の検出」電子情報通信学会論文誌 Ｄ−ＩＩ Vol.J84-D-II No.10, pp.2190-2200 2001年10月に開示されている。

最後に、方程式（６）を解いて、線形結合定数α、β、γを求める（Ｓ１１０）。

（視線方向のリアルタイム検出）
図７は、視線検出システムが実行するリアルタイム視線検出の処理のフローを説明するためのフローチャートである。

図７を参照して、まず、任意の視線方向と顔の向きに対して、図６における初期設定と同じカメラで撮像し、マーク位置（マーカ）Ｘ₀，Ｘ₁，Ｘ₂，Ｘ₃を抽出し（Ｓ２０２）、さらに、上述したのと同様の方法で虹彩中心の座標を抽出する（Ｓ２０４）。

次に、式（７）により眼球中心の投影座標を計算する（Ｓ２０６）。

続いて、眼球中心の投影座標と、虹彩中心の画像座標から視線方向を計算する（Ｓ２０８）。追跡を継続する場合（Ｓ２１０）、処理はステップＳ２０２に復帰し、一方、追跡を終了する場合は、視線検出処理を終了する。

なお、キャリブレーション用画像を４枚以上撮影する場合、方程式（６）の等式の数が増えるが、そのような場合には最小自乗法を用いて最適な線形結合定数α、β、γを求めることができる。

（マーク配置例）
図８は、図６のステップＳ１０２におけるマーク配置の例を示す図である。

図８においては、主として眼鏡にマークを付けた場合を示している。

図８（ａ）のマーク配置は、マークを片眼の周囲に集中しているため、図８（ｂ）（ｃ）の場合に比べて撮像倍率を大きくとることができので、より精度の高い視線が得られる。しかし、図８（ｂ）（ｃ）に比べて、わずかに顔が動いただけでマークがカメラ視野からはずれるため、顔の可動範囲が狭く、ユーザはそれだけ拘束される。

図８（ｂ）のマーク配置は４個以上のマークを用いている。メガネのツルに配置したマークは、顔が大きく横を向くと隠れることがあり、そのような場合でも観測できるマークを選択的に利用することにより視線計測が可能である。したがって、顔の向きや位置の許容度が高く、ユーザの拘束感は少なくなる。また、口の領域も画像として得られるため、必要に応じて、口のジェスチャーを同時にユーザインタフェース等として利用することができる。

図８（ｃ）のマーク配置は、図８（ｂ）よりも更に顔の向きや位置の許容度が広い。ただし、マークを鼻頭や眉間に貼付するため、ユーザには図８（ｂ）よりも違和感が生じる可能性がある。

図８（ｂ）および（ｃ）のマーク配置では、両眼の視線を独立に計測できるので、片目が開眼の場合でも、開眼状態の方の目の視線を利用できる。また両目が開眼状態ならば、その平均を計算することにより精度を向上させることができる。

図８（ｂ）および（ｃ）のマーク配置のように、両目を観測できる場合、左右の虹彩中心の中点を仮想の虹彩中心と考えると、上述したキャリブレーション手順によって、左右の眼球中心の中点が仮想の眼球中心として求まり、仮想の眼球中心と仮想の虹彩中心を結ぶ直線も視線と考えることができる。この場合、両眼の情報を利用しているので片眼の情報から得られる視線より精度の高い視線が得られる。また、左右の目の視線を独立に計算してから平均をとるより計算が簡単である。

（キャリブレーション用画像の例）
図９は、図６のステップＳ１０４で撮影するキャリブレーション用画像の例を示す図である。

図９に示すように、ユーザが３種の異なった姿勢でカメラ３０の方向を見ている画像をキャリブレーション用画像として撮影する。

（眼球中心推定の他の方法）
以上の説明では、式（７）により、眼球中心の位置を推定するものとして説明した。ただし、眼球中心を推定する方法としては、以下のような他方法を用いることもできる。

（他の方法１：中心投影モデルとシェイプ・フロム・モーション（Shape from Motion））
カメラとして中心投影モデルを考えると、２枚の画像８点の対応点がわかると、(大きな物体を遠くから撮像したものと小さな物体を近くから撮像したものは区別がつかないから)スケールをのぞいて、８点の３次元座標と、２枚の画像間での物体の回転、並進移動のパラメータを計算することができる(シェイプ・フロム・モーション（Shape from Motion）の理論)。対応点が９点以上ある場合、画像が３枚以上ある場合には最小自乗法による最適な推定アルゴリズムも知られている。

そこで、以下のような手続きが眼球中心の位置を推定することも可能である。

（１）８点の参照点を利用して、２枚のキャリブレーション画像(一枚を基準画像とする)から参照点と眼球中心の３次元座標を求めておく。

（２）視線計算画像の参照点とキャリブレーション基準画像の参照点(８点)から視線計算画像における顔の回転、並進移動パラメータを求める。

（３）（１）で求めてあった眼球中心の３次元座標に（２）で得られた回転、並進移動パラメータを適用して、視線計算画像の撮像時における眼球中心の３次元座標を計算する。

（４）カメラの中心投影モデルから、画像上の眼球中心の投影点を計算する。

（５）虹彩中心と眼球中心の画像座標から視線を計算する。

（他の方法２：平行投影モデルとシェイプ・フロム・モーション）
カメラとして平行投影モデルを考えると、参照点を４点にして、中心投影モデルの場合と同じことが言える。ただし、平行投影モデルでは並進移動によって奥行きの情報は得られないので、回転パラメータのみを考える。

以下のようにベクトルＶ_iを定義する。

このとき、２枚のキャリブレーション画像の内の一枚を基準画像として、他方は物体の回転Ｒによって、Ｖ_iがＶ_i´に変化した画像とする。

このとき、以下の式（９）が成り立つ。

Ｖ_１、Ｖ_２、Ｖ_３、Ｖ_ｒをまとめて成分表示すれば、以下の式（１０）となる。

ただし、画像上では、ｕ，ｖしか観測できないから、以下の式（１１）が成り立つ。

また、Ｒは回転マトリクスであるから、以下の式（１２）も成り立つ。

式（１１）（１２）を見ると、未知数が１０個に対して、等式が１１個なので、解くことができる。

視線の計算を行う画像（視線計算画像）ではｕ_r´，ｖ_r´が得られない(推定対象)が、その場合でも、式（１１）（１２）は未知数が９個に対して、等式も９個になるので解くことができ、得られたr_ijと、キャリブレーション画像から得たｕ_r，ｖ_r，ｗ_rを式（１１）に代入して、視線計算画像におけるｕ_r´，ｖ_r´が得られる。眼球中心の投影点は、以下の式（１３）により与えられる。

以上説明したような処理により、１台のカメラ３０で撮影した画像に基づいて、リアルタイムにユーザの視線方向を追跡することが可能となる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態にかかるシステムの外観図である。 視線検出装置の外観を示す図である。 本発明の実施の形態にかかるシステムのハードウェア的構成を示すブロック図である。 眼球中心、虹彩中心、および視線方向が画像面の法線とのなす角度との関係を示す概念図である。 画像上で、虹彩中心を求め、さらに、眼球中心を推定することで、視線方向を求めた場合を示す図である。 視線検出システムの初期設定の処理のフローを説明するためのフローチャートである。 視線検出システムが実行するリアルタイム視線検出の処理のフローを説明するためのフローチャートである。 マーク配置の例を示す図である。 キャリブレーション用画像の例を示す図である。

符号の説明

２０ 視線方向の検知装置
３０ カメラ
４０ コンピュータ本体
４２ モニタ

Claims (6)

1. 複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影して獲得するための撮影手段と、
   前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された複数の較正用画像を予め取得する較正画像取得手段と、
   前記撮影手段により撮影された前記対象画像領域内において前記複数の参照点の投影位置を検出し、前記複数の較正用画像内の前記参照点の投影位置に基づいて、前記人間の眼球中心の投影位置を推定する眼球中心推定手段と、
   前記対象画像領域内において、虹彩を抽出し虹彩中心位置を算出する虹彩中心抽出手段と、
   抽出された前記虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定する視線推定手段とを備える、視線方向の検出装置。
2. 前記眼球中心推定手段は、
   前記複数の較正用画像内の前記複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、前記較正用画像内の前記眼球中心の投影位置を表現するための線形結合定数を算出する眼球中心表現算出手段と、
   前記撮影手段により撮影された前記対象画像領域内において検出された前記複数の参照点と前記線形結合定数とにより、前記眼球中心の投影位置を推定する推定演算手段とを含む、請求項１記載の視線方向の検出装置。
3. 複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影手段により撮影して準備するステップと、
   前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された複数の較正用画像を予め取得するステップと、
   前記撮影手段により撮影された前記対象画像領域内において前記複数の参照点の投影位置を検出し、前記複数の較正用画像内の前記参照点の投影位置に基づいて、前記人間の眼球中心の投影位置を推定するステップと、
   前記対象画像領域内において、虹彩を抽出し虹彩中心位置を算出するステップと、
   抽出された前記虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定するステップとを備える、視線方向の検出方法。
4. 前記複数の較正用画像内の前記複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、前記較正用画像内の前記眼球中心の投影位置を表現するための線形結合定数を算出するステップをさらに備え、
   前記眼球中心の投影位置を推定するステップは、
   前記撮影手段により撮影された前記対象画像領域内において検出された前記複数の参照点と前記線形結合定数とにより、前記眼球中心の投影位置を推定するステップを含む、請求項３記載の視線方向の検出方法。
5. コンピュータに、対象となる画像領域内の顔について視線方向の検出方法を実行させるためのプログラムであって、前記プログラムは、
   複数の参照点が関連付けられた人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影手段により撮影して準備するステップと、
   前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された複数の較正用画像を予め取得するステップと、
   前記撮影手段により撮影された前記対象画像領域内において前記複数の参照点の投影位置を検出し、前記複数の較正用画像内の前記参照点の投影位置に基づいて、前記人間の眼球中心の投影位置を推定するステップと、
   前記対象画像領域内において、虹彩を抽出し虹彩中心位置を算出するステップと、
   抽出された前記虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線を推定するステップとを備える、プログラム。
6. 前記プログラムは、
   前記複数の較正用画像内の前記複数の参照点の投影位置を結ぶ複数の線形独立なベクトルの線形結合により、前記較正用画像内の前記眼球中心の投影位置を表現するための線形結合定数を算出するステップをさらに備え、
   前記眼球中心の投影位置を推定するステップは、
   前記撮影手段により撮影された前記対象画像領域内において検出された前記複数の参照点と前記線形結合定数とにより、前記眼球中心の投影位置を推定するステップを含む、請求項５記載のプログラム。