JP2005066358A

JP2005066358A - 計測装置およびその方法

Info

Publication number: JP2005066358A
Application number: JP2004316219A
Authority: JP
Inventors: Toshiaki Yagi; 聰明八木; Satoshi Abe; 聡阿部; Junichi Nishitsuji; 順一西辻
Original assignee: AREI KK
Current assignee: AREI KK
Priority date: 2004-10-29
Filing date: 2004-10-29
Publication date: 2005-03-17
Anticipated expiration: 2017-11-13
Also published as: JP3686418B2

Abstract

【課題】瞳孔画像は円であるという仮定の下に眼球の運動を解析すると、瞳孔が眼の中心から大きく移動した場合や、瞳孔に瞼がかかった状態など、瞳孔画像が円ではない状態では眼球運動を正確に解析することができない。
【解決手段】眼球の運動が記録された動画像の各フレーム画像を取得し(S21)、所定の視線方向を示すフレーム画像に基づき眼球の中心および半径を演算し(S26、S27)、取得されたフレーム画像の一つを基準画像にして(S28)、その基準画像から眼球の動きを追跡するための複数の特徴領域を抽出し(S29)、眼球の中心および半径、並びに、複数の特徴領域に基づき、各フレーム画像における眼球の動きを検出する。
【選択図】図4

Description

本発明は計測装置およびその方法に関し、とくに、眼球の運動の計測に関する。

身体の平衡は、三つの感覚装置（前庭覚、視覚、深部知覚）からの入力と、それらを統合する脳幹や小脳、あるいは大脳の働きによって保たれている。これらの末消感覚装置からの入力は、脳幹や小脳などの中枢神経系を経て最終的に身体と眼球の筋肉に出力され、頭部運動中の視線の保持や静的あるいは動的な身体平衡を維持している。従って、末梢感覚装置からの入力の乱れや、それらを統合する中枢神経系の障害は、眼球運動異常や身体の平衡失調として出力される。そこで、この出力を正確に分析すれば、入力の乱れ、あるいは統合の異常が正しく診断できる。そのためには、眼球の運動を記録し、それを正確に、定量的に解析する必要がある。

眼球の運動は、本来、眼球内の一点、すなわち回旋点を中心として行われる回旋運動として捉えることができる。図1に示すように、眼球が前方を注視している位置で、眼球内の回旋点を含む前額面を考えると、この面は大体眼球の赤道面に一致していて、リスティング面と呼ばれる。眼球には、このリスティング面上で回旋点を通って、水平および垂直に直交する二軸（X軸、Z軸）と、同回旋点を通りこの面に垂直な軸（前後軸、Y軸）の三軸が想定される。Y軸は、眼球の固視線に相当する。

リスティング面内における垂直軸（Z軸）および水平軸（X軸）を中心とした運動、すなわち水平および垂直の運動を眼球の主要運動といっているが、実際の眼球運動には、多くの場合、前後軸（Y軸）を回る運動（回旋運動）が加わる。従って、眼球運動を的確に捉え、定量分析するためには、三次元的な解析が必須になる。

一方、眼球運動は生理学的に独立した二つの神経機構によって制御された運動から成り立っている。第一の運動は急速眼球運動と呼ばれ、ある固視点から他の固視点に眼球が不随意に変化するときに生じる眼球の急速な共同運動である。急速眼球運動の始まりと終わりの加速度は40,000度/秒にもなり、運動中の最高速度は400から600度/秒である。また、視標が提示されてから急速眼球運動が生じるまでの潜時は、一般に100から300ミリ秒である。第二の運動は指標追跡運動と呼ばれ、指標を追跡する共同運動である。その運動速度は1から30度/秒であり、ゆっくりと動く視標を網膜上の一点に捉えるための運動である。

このような眼球運動を記録し解析するために、照明用の赤外線LEDおよび小型赤外線CCDカメラを備えたゴーグルを被検者に装着し、被検者の眼球運動をビデオ録画した後、コンピュータによる画像処理によって眼球運動を解析する技術が、非特許文献1や非特許文献2で提案されている。

石川等「新しいめまい検査システムの開発」、医用電子と生体工学、Vol.33、No.3、1995 八木「眼球運動の3次元解析からみた平衡機能とその異常」、医学書院、1997年発行

図2は上記の文献により提案されている技術における眼球運動の解析処理を説明するフローチャートである。まず、眼球の画像がビデオ録画されディジタル化される（ステップS1からS4）。次に、眼球のフレーム画像に基づき、コンピュータが自動追跡し易いと思われる虹彩紋理画像が、オペレータにより指定される（ステップS5）。次に、フレーム画像を二値化して（ステップS6）、瞳孔画像を認識するとともに、瞳孔画像の重心を演算して得られた重心座標を瞳孔画像の中心点とする（ステップS7）。そして、連続するフレーム画像において、瞳孔画像の中心点の移動を追跡することにより眼球運動の水平および垂直成分（以下「水平・垂直運動」という）を解析するとともに、指定された虹彩紋理画像の輝度および面積情報などに基づき虹彩紋理画像の移動を追跡して、瞳孔画像の重心に対する虹彩紋理画像の回旋、つまり眼球運動の回旋成分（以下「回旋運動」という）を解析する（ステップS8)。上記のステップS5からS8までの処理を任意フレーム分繰り返すことにより三次元の眼球運動を解析することができる。

上記の解析処理によれば、高い精度で垂直・水平運動を解析することができる。しかし、上記の解析処理は、瞳孔の形状は円で近似でき、瞳孔の中心は円の中心と一致するという仮定の下に眼球運動を解析するものである。このため、瞳孔が眼の中心から大きく移動した場合や、瞳孔に瞼がかかった状態など、瞳孔画像が円ではない状態があると重心と中心とが一致しないので、眼球運動を正確に解析することができないという問題がある。

さらに、上記の解析処理においては、回旋運動を解析するための虹彩紋理画像がオペレータによって指定されるが、どの虹彩紋理画像が自動追跡し易いかを判断するには熟練が必要である。もし、眼球運動の解析中に、指定された虹彩紋理画像の自動追跡が困難になった場合は、虹彩紋理画像の指定（ステップS5）からやり直さなければならないという欠点がある。

本発明は、眼球運動を解析するための指標の設定を容易にすることを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる計測装置は、眼球の運動を計測する計測装置であって、前記眼球の運動が記録された動画像の各フレーム画像を取得する取得手段と、所定の視線方向を示すフレーム画像に基づき眼球の中心および半径を演算する演算手段と、前記取得手段により取得されたフレーム画像の一つを基準画像にして、その基準画像から前記眼球の動きを追跡するための複数の特徴領域を抽出する抽出手段と、前記眼球の中心および半径、並びに、前記複数の特徴領域に基づき、前記各フレーム画像における眼球の動きを検出する検出手段とを有することを特徴とする。

本発明にかかる計測方法は、計測装置を制御して、眼球の運動を計測する計測方法であって、前記眼球の運動が記録された動画像の各フレーム画像を取得してメモリに格納するステップと、所定の視線方向を示すフレーム画像に基づき眼球の中心および半径を演算するステップと、前記メモリに格納したフレーム画像の一つを基準画像にして、その基準画像から前記眼球の動きを追跡するための複数の特徴領域を抽出するステップと、前記眼球の中心および半径、並びに、前記複数の特徴領域に基づき、前記メモリに格納した各フレーム画像における眼球の動きを検出するステップとを有することを特徴とする。

本発明によれば、眼球運動を解析するための指標の設定を容易にすることができる。

以下、本発明の実施例の計測装置およびその方法を図面を参照して詳細に説明する。

［計測システムの構成］
図3は眼球運動を計測するシステムの基本的な構成を示すブロック図である。

図3において、1は赤外線LEDおよび赤外線CCDカメラを備えるゴーグルで、被検者の頭部に装着される。赤外線CCDカメラから出力されるビデオ信号はビデオカセットレコーダ(VCR)2によって録画される。3は眼球運動を解析する画像処理装置である。画像処理装置3のCPU 14は、ROM 13に格納された制御プログラムに基づき、バス17を介して画像処理装置3の各構成を制御するとともに、必要であればVCR 2の動作およびゴーグル1の照明やCCDカメラを制御する。また、CPU 14は、ROM 13に格納された画像処理プログラムや解析プログラムに従い、後述する眼球運動の解析を実行する。これらの画像処理や解析はRAM 15をワークメモリとして実行される。

また、画像処理や解析の状況・結果、フレーム画像または映像、および、処理メニューなどは、CPU 14によってビデオインタフェイス18に接続されたモニタ4に表示される。オペレータは、モニタ4に表示される画像に基づき、入力デバイスインタフェイス16に接続されたマウスなどのポインティングデバイス5を使用してCPU 14に各種の指示を発行する。勿論、入力デバイスインタフェイス16には、マウスとともにキーボードなどの入力デバイスを接続することもできる。

VCR 2から出力されるビデオ信号は、ビデオキャプチャカード11に入力され、1フレームごとに例えば8ビットのグレースケール画像データにディジタル化され、JPEG圧縮されて、RAMまたは高速ハードディスクからなる画像メモリ12に、Windows(R)標準の動画像ファイルであるavi形式で格納される。VCR 2によって録画された眼球運動の映像のすべて、または、必要な部分の動画像ファイル化が終了すると、CPU 14は、最初のフレーム画像またはオペレータにより指示されたフレーム画像をモニタ4に表示する。その後、CPU 14は、オペレータから必要な情報および解析開始の指示が入力されると、画像メモリ12からフレーム画像を順次読出して眼球運動の解析処理を実行する。

なお、30フレーム/秒以上の処理速度をもつビデオキャプチャカード11を用いれば、CCDカメラ1から出力されるビデオ信号をリアルタイムにディジタル化して画像メモリ12に格納することもでき、その場合、VCR2は不要である。また、ビデオキャプチャカード11および画像メモリ12を追加すればパーソナルコンピュータを画像処理装置3として利用することができる。その場合、眼球運動の計測に必要なプログラムはフロッピディスクなどの記憶媒体を介して供給すればよい。また、ビデオ信号の圧縮方式や動画像ファイルの形式などは上記に限定されるものではなく、使用する装置や環境に応じて適切なものを選べばよい。

［処理手順］
以下では、本発明にかかる眼球運動の解析処理について詳細に説明するが、同処理はキャリブレーションと角度解析とからなるので、それらを順に説明する。

●キャリブレーション
キャリブレーションとは、眼の中心および半径を推定し、回旋角を求める際に利用する眼球画像の特徴領域を設定するものである。なお、眼の中心には、ほぼ真球である眼球の三次元的な中心である上述した回旋点と、正面から眼球を観たときの二次元的な中心とがある。以下では、三次元的な中心を「眼球の中心」、二次元的な中心を「眼の中心」と呼ぶことにする。

キャリブレーションに先立って、キャリブレーション用に被検者の眼球の動きを撮影する。つまり、被検者に、正面を向いたまま、正面（零度方向）および左右上下の所定角度方向（例えば各五度方向）の目標を視認させ、それぞれの眼球の動きをCCDカメラ1によって撮影し、VCR 2により記録する。このようにして得られたキャリブレーション用の映像から、眼球の中心および半径を推定し、回旋角を求める際に利用する眼球画像の特徴領域を設定する。

図4はキャリブレーション手順の一例を示すフローチャートで、CPU 14によって実行されるものである。

ステップS21で動画像をキャプチャし、ステップS22で各フレームの瞳孔画像の中心（以下「瞳孔中心」と省略する）を推定する。なお、瞳孔中心の推定方法の詳細は後述する。次に、ステップS23で瞳孔中心の動きを示すグラフを作成し、モニタ4に表示する。表示されたグラフに基づき、ステップS24で、眼球が左右に動いたときにフレーム範囲、および、眼球が上下に動いたときのフレーム範囲が、ユーザによって指定される。さらに、ステップS25で、眼球が正面を向いたときのフレーム範囲が、ユーザによって指定される。なお、眼球の左右、上下動を示すフレーム範囲、および、眼球が正面を向いたときのフレーム範囲が指定されるのが好ましいが、少なくとも、眼球の左右動または上下動を示すフレーム範囲が指定されれば後の解析は実行できる。

続いて、ステップS26で、ユーザの指定に基づき、瞳孔が左右上下の所定角度を向いたときのフレームを推定する。通常は、瞳孔が左右上下各五度の方向を向いたときの四つのフレームを推定する。また、瞳孔が左右上下各五度の方向を向いたときの眼球画像に対する瞳孔の位置を「瞳孔左右五度位置」および「瞳孔上下五度位置」と呼ぶ場合がある。

続いて、ステップS26で推定されたフレームの瞳孔中心に基づき、ステップS27で眼の中心および半径を計算する。なお、眼の中心および半径の計算方法の詳細は後述する。

続いて、ステップS28で眼球が正面を向いたときのフレームを一枚選択し、その画像を基準画像にする。なお、ステップS25で眼球が正面を向いたときのフレームが指定されていないときは、すべてのフレームから基準画像にするフレームを一枚選択する。

そして、ステップS29で基準画像から複数（x個）の特徴的なパターンを抽出する。これらの特徴的なパターンは、眼球の回転運動、とくに回旋運動を追跡するためのもの（言い換えれば、基準画像とは回旋角が零度の状態の眼球を表す画像である）で、基準画像に含まれる虹彩紋理パターンからパターンマッチングに適したものを、自動的に複数抽出する。ただし、オペレータは、抽出された特徴的なパターンの中からさらに適切だと考えるものを取捨選択することができる。なお、以下の説明においては、抽出された特徴的なパターンを「特徴領域」と呼ぶ。また、特徴領域の抽出方法は、各画像からエッジを検出し、所定値以上の立上りまたは立下りを示すエッジ、つまりエッジ強度の強いエッジを特徴領域にする。

図5は瞳孔五度位置を示すフレームの推定方法の一例を示すフローチャートである。

ステップS31で、ユーザに指定されたフレーム範囲において瞳孔中心の軌跡を直線近似し、ステップS32で各フレームの瞳孔中心を近似直線上に写像する。次に、ステップS33で、近似直線上に並んだ写像された瞳孔中心のうち、その両端部近傍にある瞳孔中心を除外する。具体的には、写像された瞳孔中心がn個だとすると、各端部近傍の5%(0.05n)に相当する瞳孔中心を除外し、残る90%(0.9n)の瞳孔中心により以降の処理を行う。

続いて、ステップS34で、近似直線上に並んだ瞳孔中心のうち、その両端にある瞳孔中心間の距離をLとし、一端から距離0.1Lの位置までにある瞳孔中心の中央値Mを求め、それを両端について実行する。次に、ステップS35で、得られた中央値Mに基づき瞳孔五度位置を求める。

●角度解析
次に、角度解析、つまり眼球の回旋運動の解析を説明する。図8は角度解析手順の一例を示すフローチャートで、CPU 14によって実行されるものである。

ステップS41で動画像をキャプチャし、一枚目のフレームについて、ステップS42で瞳孔中心の検出を行う。ただし、瞳孔中心を検出する際に、瞳孔が瞼に隠されたり、瞳孔画像の近傍にCCDカメラ1の照明の反射光が写っていたりすると、瞳孔画像が円や楕円にならないので、瞳孔中心が正確に得られないという問題がある。そこで、詳細は後述するが、パターンマッチングにより瞳孔画像の円弧を検出し、検出された円弧に基づき瞳孔中心を正確に検出するようにしている。

ステップS43で瞳孔中心が検出されたか否かを判定する。瞳孔中心が検出された場合は、キャリブレーションにより眼の中心および眼球半径が得られているので、ステップS44で検出された瞳孔中心の水平角θおよび垂直角ψを計算する。なお、水平角θおよび垂直角ψの計算方法は後述する。また、瞳孔中心が検出されなかった場合は処理を終了する。

次に、ステップS45で、キャリブレーション時に抽出したx個の特徴領域に対応するパターンをパターンマッチングにより瞳孔周辺において検出する。そして、マッチングの程度を表すマッチング率が上位n(≦x)個の検出されたパターンを集合Aとする。なお、ステップS45におけるパターンマッチングの詳細は後述する。また、特徴領域が検出されたなかった場合はステップS46の判定により処理を終了する。

ステップS44において水平角θおよび垂直角ψが得られ、ステップS45で検出された特徴領域からおおよその回旋角Tを得ることができる。従って、これら三つの角度に基づき回転させた基準画像に基づきパターンマッチングを行えば、特徴領域に対応するパターンをより高精度に検出することが可能になる。また、ステップS45における特徴領域に対応するパターンの検出は、個々の特徴領域と瞳孔周辺という比較的広い領域のパターンマッチングによるものである。言い換えれば、ステップS45においては、特徴領域相互の位置関係は無視されている。このような点を考慮したものが続くステップS47からS51の処理である。

まず、ステップS47でカウンタiを零に初期化し、ステップS48で集合Aから一つのパターンAiを取出し、回旋角Tを計算する。続いて、ステップS49で、得られた水平角、垂直角および回旋角により基準画像を回転し、ステップS50でパターンAiと回転された基準画像とでパターンマッチングを行い、所定値以上のマッチング率（例えば85%以上）が得られた場合、パターンAiを集合Bに含める。そして、ステップS51の判定により、集合Aに含まれるすべてのパターンに実行する。

続いて、ステップS52で、集合Bに含まれるパターンそれぞれを用いて回旋角を計算し、得られた回旋角の中央値を求め、その中央値±三度以内にあるパターンPjにより、次式を用いて注目フレームの回旋角Tおよび集合Bのマッチング率Mを計算する。
T = Σ_j=1 ^k{T(Pj)×M(Pj)}/ ΣM(Pj) …(1)
M = Σ_j=1 ^kM(Pj) / k …(2)
ただし、T(Pj): パターンPjから得られる回旋角
M(Pj): パターンPjのマッチング率
k: パターンPjの数

そして、ステップS53の判定により、ステップS42からS52の処理を繰り返して、すべてのフレームの角度解析を行う。

［眼の中心および半径の計算方法］
前述したように、キャリブレーション用に正面（零度方向）および左右上下の所定角度方向（例えば各五度方向）の目標を視認させた場合の眼球の動きを撮影するが、その際、眼球が向いている実際の角度は不明である。そこで、眼の中心を求める場合、図6に示すように、瞳孔五度位置に基づいて眼の中心を演算により決定する。つまり、瞳孔左右五度位置61aおよび61bを結ぶ線分62を二等分する直線63と、瞳孔上下五度位置64aおよび64bを結ぶ線分65を二等分する直線66との交点を眼の中心67にする。勿論、瞳孔上下五度位置64aおよび64bが得られなかった場合は、線分62の二等分点を眼の中心67にする。

図7に示すように、眼球を真球と仮定すれば、眼の中心67および瞳孔五度位置（例えば61b）から眼球の半径を計算することができる。つまり、眼球が角度θ回転したときの瞳孔中心の変位Xは、眼球の半径をrとすれば次式で表される。
X = r・sinθ …(3)

従って、眼球の半径rは次式で示される。
r = X/sinθ …(4)

また、図9に示す瞳孔の重心69の画像上での座標を(x, z)とすると、瞳孔の重心69の三次元座標(xa, ya, za)は次式で表される。
xa = x, ya = √(r² - x² - y²), za = z

従って、水平角θおよび垂直角ψは次式で表される。
θ= tan^-1(x / ya) …(5)
ψ= sin^-1(za²/r²) …(6)

［瞳孔中心の推定方法］
CCDカメラ1によって撮影される瞳孔画像の形状は、眼の中心67の近傍にある場合、つまり、ほぼ正面を向いている場合はほぼ円である。同様に、キャリブレーションに使用する瞳孔五度位置の瞳孔画像の形状も、ほぼ円であるといえる。このような場合、瞳孔画像の重心を求めることにより瞳孔中心を推定することができる。しかし、瞳孔が、五度を超え、さらに大きな角度の方向を向いた場合、瞳孔画像の形状は円とはいえず楕円になる。

その後、任意の方向を向いている瞳孔画像の重心を仮の瞳孔中心として、仮の瞳孔中心が正面にくるように画像処理を行い、その結果から任意の方向を向いている瞳孔画像の瞳孔中心を得る。つまり、仮の瞳孔中心である瞳孔画像の重心は、真の瞳孔中心の近傍にあるはずであるから、仮の瞳孔中心と眼の中心67とが一致するように、眼球の中心（球体としての中心）68に対して眼球画像を回転させることにより、正面を向いた形状がほぼ円である瞳孔画像を得ることができる。そして、この状態で瞳孔中心を求めた後、眼球画像を逆回転させれば、任意の方向を向いた瞳孔画像の瞳孔中心を正確に得ることができる。

具体的には、眼の中心67および眼球半径rが得られているので、仮の瞳孔中心の水平角θおよび垂直角ψを求め、眼球の中心68に対して眼球画像を-θおよび-ψ回転する（プログラムとしては、θおよびψの回転行列の逆行列を用いる）。そして、回転された眼球画像の瞳孔画像である円の中心座標を求めた後、眼球の中心68に対して眼球画像をθおよびψ回転する（プログラムとしては、θおよびψの回転行列を用いる）。これにより、回転前の位置に戻された瞳孔画像の先に求めた中心に対応する座標が、任意方向を向いた瞳孔画像の瞳孔中心に対応することになる。

［瞳孔円の検出］
前述したように、瞳孔が瞼に隠されたり、CCDカメラ1の照明の反射光が写ったりするので、瞳孔画像は必ずしも円または楕円にならない。そこで、本発明においては、パターンマッチングにより瞳孔画像の円弧を検出し、検出された円弧に基づき瞳孔中心を得る。

図11は瞳孔中心の検出手順の一例を示すフローチャートである。

ステップS61で瞳孔中心を検出しようとするフレームの画像を二値化し、ステップS62で二値画像に瞳孔画像が含まれるか否かを判定し、瞳孔画像が含まれないと判定した場合は処理を終了する。

二値画像に瞳孔画像が含まれると判定した場合は、ステップS63で瞳孔画像の重心を求め、ステップS64で、得られた重心から瞳孔中心の仮の水平角および垂直角を求め、ステップS65で瞳孔画像の輪郭を抽出する。そして、既に眼球の中心および半径がわかっているので眼球の三次元モデルを構築することができ、この三次元モデルにステップS66で瞳孔画像の輪郭を射影し、ステップS67で仮の水平角および垂直角分、三次元モデルを回転し、瞳孔が正面を向いた状態にする。

続いて、ステップS68で瞳孔画像の輪郭から瞳孔画像の仮の直径を求め、ステップS69で、得られた仮の直径に基づき、円を例えば八分割した円弧のテンプレートを作成する。なお、円を何分割するかは、検出精度と処理時間の関係から決定する。そして、ステップS70で円弧のテンプレートと瞳孔画像の輪郭とのパターンマッチングを行い、ステップS71でマッチング率の高かった円弧のテンプレートにより瞳孔円の中心座標を決定する。

次に、ステップS72で、得られた瞳孔円の中心座標を眼球の三次元モデルに射影し、ステップS73で三次元モデルを逆回転、つまり、仮の水平角および垂直角分、三次元モデルを逆回転することにより、瞳孔を元の位置に戻し、ステップS73で、三次元モデルに射影された中心座標により瞳孔中心を求める。

［特徴領域の検出］
まず、ステップS45におけるパターンマッチングによる特徴領域の検出について説明する。同ステップにおける特徴領域の検出は大まかな回旋角Tを求めるためのものであるが、基準画像と注目フレームの画像との水平角および垂直角が大きく異なると充分なマッチング率が得られない。そこで、水平角および垂直角に基づき特徴領域を回転させた後、パターンマッチングを行う。

しかし、例えば±30度の回旋角Tの検出が要求されるような場合、回旋角Tが大きいと水平角および垂直角成分の補正を特徴領域に施しただけでは、まだ充分なマッチング率を得ることができない。これに対応するためには回旋角成分の補正を特徴領域に施さなくてはならないが、この時点で回旋角Tは得られていないという問題が残る。そこで、本発明においては、図10に示すように、特徴領域71を回旋角Tの検出範囲に応じて回転させた複数のテンプレート72を作成し、これらのテンプレート72を用いてパターンマッチングを行うことにする。

具体的には、回旋角Tの検出範囲が±30度だとすると、例えば-26、-17、-9、+9、+17および+26度のテンプレートを作成し、回旋角零度の特徴領域と合わせた七組のパターンと注目フレームとのパターンマッチングを行う。なお、さらに細かな角度でテンプレートを作成すればより高いマッチング精度を得ることができるが、当然、パターンマッチングの回数が増加する分、処理に要する時間も長くなる。

また、ステップS50におけるパターンマッチングにおいては、パターンマッチングを行う必要のある領域がステップS45に比べて少なくなる。つまり、ステップS45では回旋角Tの検出範囲に対応する扇形の領域においてパターンマッチングする必要があるが、ステップS50ではおおよその回旋角Tがわかっているので、回旋角Tの検出範囲の1/10程度に対応する扇形の領域においてパターンマッチングを行えばよい。そのため、ステップS50では前述したテンプレートを用意する必要はない。

眼球の運動を説明するための図、眼球運動の解析処理を説明するためのフローチャート、本発明にかかる眼球運動を計測するシステムの基本的な構成を示すブロック図、本発明にかかる解析処理におけるキャリブレーション手順の一例を示すフローチャート、キャリブレーションにおける瞳孔五度位置を示すフレームの推定方法の一例を示すフローチャート、眼の中心を求める方法を説明する図、眼球の半径を求める方法を説明する図、本発明にかかる解析処理における角度解析手順の一例を示すフローチャート、瞳孔の向きを表す水平角および垂直角を求める方法を説明する図、テンプレートを用いたパターンマッチングを説明する図、瞳孔中心の検出手順の一例を示すフローチャートである。

Claims

眼球の運動を計測する計測装置であって、
前記眼球の運動が記録された動画像の各フレーム画像を取得する取得手段と、
所定の視線方向を示すフレーム画像に基づき眼球の中心および半径を演算する演算手段と、
前記取得手段により取得されたフレーム画像の一つを基準画像にして、その基準画像から前記眼球の動きを追跡するための複数の特徴領域を抽出する抽出手段と、
前記眼球の中心および半径、並びに、前記複数の特徴領域に基づき、前記各フレーム画像における眼球の動きを検出する検出手段とを有することを特徴とする計測装置。
前記眼球の動きは眼球の回旋角および視線方向を示す角度として検出されることを特徴とする請求項1に記載された計測装置。
計測装置を制御して、眼球の運動を計測する計測方法であって、
前記眼球の運動が記録された動画像の各フレーム画像を取得してメモリに格納するステップと、
所定の視線方向を示すフレーム画像に基づき眼球の中心および半径を演算するステップと、
前記メモリに格納したフレーム画像の一つを基準画像にして、その基準画像から前記眼球の動きを追跡するための複数の特徴領域を抽出するステップと、
前記眼球の中心および半径、並びに、前記複数の特徴領域に基づき、前記メモリに格納した各フレーム画像における眼球の動きを検出するステップとを有することを特徴とする計測方法。
計測装置を制御して、請求項3に記載された計測を実行するプログラムコードが記録されたことを特徴とする記録媒体。