JP2014061085A - 瞳孔部分を近似する楕円の検出を行う方法 - Google Patents

瞳孔部分を近似する楕円の検出を行う方法 Download PDF

Info

Publication number
JP2014061085A
JP2014061085A JP2012207362A JP2012207362A JP2014061085A JP 2014061085 A JP2014061085 A JP 2014061085A JP 2012207362 A JP2012207362 A JP 2012207362A JP 2012207362 A JP2012207362 A JP 2012207362A JP 2014061085 A JP2014061085 A JP 2014061085A
Authority
JP
Japan
Prior art keywords
image
ellipse
pupil
camera
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012207362A
Other languages
English (en)
Other versions
JP5995217B2 (ja
Inventor
Keiji Matsuda
圭司 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2012207362A priority Critical patent/JP5995217B2/ja
Publication of JP2014061085A publication Critical patent/JP2014061085A/ja
Application granted granted Critical
Publication of JP5995217B2 publication Critical patent/JP5995217B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】高速の画像処理を行う上で、視線位置検出の精度を向上させる。
【解決手段】被験者11の頭部を固定することができる椅子12と、視覚刺激提示装置としてのディスプレイ13とが設置され、被験者の瞳孔を撮影できる位置に高速デジタルカメラ14を配置する。高速デジタルカメラ14から出力されたデジタル画像信号は、画像処理装置であるコンピュータ16に入力される。
【選択図】図3

Description

本発明は、瞳孔部分を近似する楕円の検出を行う方法に関し、より詳細には、眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法に関する。
従来、視線位置を計測することができる視線位置検出システムが知られており(例えば、特許文献1,2参照)、脳機能解明のために、無麻酔行動中のサルを実験動物に使う研究、人の視覚に関する心理学的研究、医療検査、マンマシンインターフェースへの応用研究などに用いられている。
図1に、従来の視線位置検出システムを示す。被験者1の頭部を固定することができる椅子2と、視覚刺激提示装置としてのディスプレイ3とが設置され、被験者の瞳孔を撮影できる位置にCCDカメラ4を配置する。CCDカメラ4から出力された画像信号(NTSC信号)は、ビデオ入力装置5によりデジタル画像信号に変換され、画像処理装置であるコンピュータ6に入力される。また、瞳孔を暗く撮影するために、赤外線LED7により照明を行う。このような構成により、無侵襲計測によって視線位置の計測を行うので、被験者に対する負担が少ない。視線位置に加え、心理実験などに用いられる瞳孔径の測定が可能である。瞳孔の撮影できる範囲ならば、任意の位置にカメラを設置することができるなどの特徴を有している。
図2に示すように、CCDカメラ11により瞳孔を撮影すると、いくつかの前提条件のもと、視線位置を計測することができる(例えば、非特許文献1参照)。瞳孔12を空間に存在する厚みのない円盤と考える。この円盤(瞳孔12)は、ある点を中心に回転する球(眼球13)の一部を切り取った面(虹彩)に含まれ、かつその面の中心と、円盤の中心は一致する。円盤の中心座標を(Xc,Yc,Zc)とする。球の中心の座標(回転中心座標)を(Xo,Yo,Zo)とする。円盤の中心(Xc,Yc,Zc)から、球の中心(Xo,Yo,Zo)までの距離をR(回転半径)とする。xy平面は、CCDカメラ面に平行とする。ここで、設定されている座標系をカメラ座標系とする。円盤の法線ベクトル(Vx,Vy,Vz)は、(Xc−Xo,Yc−Yo,Zc−Zo)と表すことができる。これが、視線方向を表すベクトルとなる。
非特許文献1によれば、カメラ座標系における視線方向を求めるためには、眼球回転中心位置(Xo,Yo)、瞳孔中心位置(Xc,Yc)および瞳孔回転半径(R)が求められれば、視線方向を示す視線ベクトル(Vx,Vy,Vz)を求めることができる。
平面に投影された円盤は、xy平面において楕円になるので、この楕円の短軸の延長線上に平面に投影された回転中心が存在する。そこで、複数の瞳孔画像を撮影し、それぞれの瞳孔を楕円で近似し、楕円の短軸の延長線の交点を、最小自乗法を用いて求めた位置を眼球回転中心位置とする。また、眼球の回転により、楕円の短軸と長軸の比は、変化してゆく。この関係を、xy平面と視線ベクトルのなす角度θを用いて表すと、瞳孔回転半径が求められるので、複数の画像から求めた平均値を瞳孔回転半径とする。また、画像処理により、瞳孔を楕円で近似し、楕円の中心座標を瞳孔中心位置とする。
このようにしてカメラ座標系で求めた視線ベクトルを、対象物座標系における視線ベクトルに変換することにより、被験者の視線位置を算出することができる。
特許第3726122号公報 特許第3834636号公報
松田圭司、永見武司、山根茂、「視線位置計測システムの開発」、電子情報通信学会技術研究報告、Vol.100, No.47, TL2000-2, p9-p16, (2000)
従来の視線位置検出システムは、CCDカメラ4からNTSC信号を取り込んでいたので、以下のような問題があった。
1)従来のビデオ入力は、60Hzのインターレースなので、1つの画面の露光時間は、最大で16.7msであった。従って、700deg/secといった速い眼球運動では、露光中に11.69度も移動してしまい、結果として、ぶれた画像が記録されてしまう。従来、静止している眼球位置の計測はできても、眼球運動の計測は不可能であった。
2)従来のビデオ入力は、インターレース方式のため、偶数画像と奇数画像の画素の位置のずれがあるため、すべての画像を扱う場合には、偶数画像と奇数画像のそれぞれにおいて、別の処理を行う必要があった。
3)従来の視線位置検出システムにおいては、ビデオ入力装置5によりA/D変換の際に縦横比が変わってしまうという問題があった。上述したように、画像処理において楕円の形状を扱うが、縦横比が変わってしまうと正確な視線検出ができないので、縦横比を補正する処理が必要であった。
そこで、本発明にかかる眼球運動計測システムにおいては、高速のデジタルカメラを用いて、プログレッシブ方式のデジタル画像信号を直接コンピュータに入力し、デジタル画像処理を行う。本発明の目的は、高速の画像処理を行う上で、視線位置検出の精度を向上させるために、高速のデジタルカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出精度を向上させることにある。
このような目的を達成するために、本発明の一実施態様は、眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法であって、前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、輝度信号として格納する第1ステップと、前記輝度信号から、処理を行う画像の全ての画素から輝度値ごとのピクセル数のヒストグラムを作成する第2ステップと、前記ヒストグラムの輝度値から閾値を設定するステップであって、前記処理を行う画像の1フレーム前の画像から検出された瞳孔を楕円で近似し、該楕円の式より算出された楕円の面積である基準ピクセル数を算出し、処理を行う画像の前記ヒストグラムに対して、輝度値0からピクセル数を累積してゆき、前記基準ピクセル数を超えたときの輝度値を閾値として設定する第3ステップと、前記閾値以下の輝度値を有する画素から瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第4ステップとを備えることを特徴とする。
本発明の他の実施態様は、眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法において、前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、原画像から縮小画像を作成して、二値化された縮小画像に変換する第1ステップと、前記二値化された縮小画像から瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第2ステップと、前記第2ステップで近似された楕円を前記原画像に重ね合わせ、前記近似された楕円の縁の近傍を探査し、所定の閾値の近傍で画素の明るさの変化が最大の点を瞳孔の縁として座標を記録する第3ステップと、前記原画像の瞳孔の縁の座標を用いて楕円の式を算出する第4ステップとを備え、前記第3ステップは、処理を行う画像の1フレーム前の画像の楕円の式を用いて楕円の近傍を探査し、前記1フレーム前の画像において瞳孔部分を抽出できなかった場合にのみ前記第1および第2ステップで近似さたれた楕円の式を用いることを特徴とする。
本発明の他の実施態様は、眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法において、前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、二値化を行って瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第1ステップと、前記楕円と交わる任意の線分に平行なn個の線分を設定し、各線分上における前記抽出された瞳孔の縁との2つの交点の座標の中点について、任意の2つの中点を結ぶ線分の角度を算出し、全体のn*(n−1)/2個の角度の最頻値と、特定の中点に対してのn−1個の角度の最頻値とを比較して、一定の範囲内に入っていない場合は、前記特定の中点を含む線分上の前記瞳孔の縁の座標を除外する第2ステップと、前記第2ステップにより残された複数の前記瞳孔の縁の座標を用いて楕円近似を行う第3ステップとを備えたことを特徴とする。
本発明によれば、処理を行う画像の1フレーム前の画像から検出された閾値を用いることにより、ノイズに左右されず、瞳孔部分を抽出することができる。
また、処理を行う画像の1フレーム前の画像の楕円の式を用いて楕円の近傍を探査するので、少ない探査範囲で、精度よく瞳孔の縁の検出を行うことができる。
さらに、楕円近似を行う際に用いられるn個の線分上における瞳孔の縁の座標を、2点を一組とするため、1点にノイズが含まれていた場合に無駄になるのは1点となるので、楕円近似を行うためのデータのうち、破棄されるデータを少なくすることができる。
従来の視線位置検出システムを示す図である。 視線位置を算出する原理を説明するための模式図である。 本発明の一実施形態にかかる眼球運動計測システムを示す図である。 本発明の一実施形態にかかる瞳孔抽出の方法を示す図である。 瞳孔の縁の抽出方法における第1段階を示す図である。 瞳孔の縁の抽出方法における第2段階を示す図である。 瞳孔の縁の抽出方法における第2段階を示す図である。 楕円近似の方法を説明するための図である。 楕円近似の方法を説明するための図である。 楕円近似においてノイズを除去する方法を説明するための図である。
以下、図面を参照しながら本発明の実施形態について詳細に説明する。上述したように、瞳孔中心位置を求めるために、取得した眼球の画像から瞳孔部分を抽出し、抽出された瞳孔を楕円で近似して、楕円の中心座標を求めている。本実施形態においては、高速のデジタルカメラから取得した画像から、精度よく瞳孔を検出し、楕円に近似する方法を詳しく述べる。
図3に、本発明の一実施形態にかかる眼球運動計測システムを示す。被験者11の頭部を固定することができる椅子12と、視覚刺激提示装置としてのディスプレイ13とが設置され、被験者の瞳孔を撮影できる位置に高速デジタルカメラ14を配置する。高速デジタルカメラ14から出力されたデジタル画像信号は、画像処理装置であるコンピュータ16に入力される。
また、被験者に対して、赤外線照明装置17により照明を行うことにより、瞳孔を黒く、虹彩を明るく撮影することができる。高速デジタルカメラ14には、赤外線透過フィルターまたは可視光遮断フィルターを装着することにより、外光の外乱を抑制し、安定して画像を取得することができる。
高速デジタルカメラ14は、高速のCCDカメラ、CMOSカメラなどの半導体撮像素子を備えたデジタルカメラである。高速デジタルカメラ14は、334Hzのプログレッシブ方式のデジタル画像信号を出力する。1つの画面の露光時間は3msとなり、非常に速い眼球運動(700deg/sec)においても、露光中の眼球運動は2.1度の移動に相当するので、眼球の運動の計測が可能になる。また、プログレッシブ方式なので、画素の位置を補正する処理を行う必要が無く、撮像素子の各画素のデータを、そのままコンピュータ16に転送するので、縦横比の変動も生じない。
赤外線照明装置17は、赤外線LED、またはハロゲン投光器に赤外線透過フィルターを装着したものを用いる。
(瞳孔部分の抽出)
画像処理装置であるコンピュータ16は、高速デジタルカメラ14から出力されたデジタル画像信号を入力し、1つの画像の全ての画素から輝度値(0−255)ごとのピクセル数のヒストグラムを作成する。1フレーム前の画像から瞳孔の面積を求め、その面積とヒストグラムとを比較することにより閾値を推定する。推定された閾値を用いて、入力された画像の二値化を行って、1つの画像から瞳孔部分を抽出する。
図4に、本発明の一実施形態にかかる瞳孔抽出の方法を示す。図4(a)は、高速デジタルカメラ14により撮影された眼球部分の画面であり、この1つの画面から作成したヒストグラムを図4(b)に示す。横軸は輝度(0−255)、縦軸はピクセル数である。瞳孔部分は、輝度値の低い方から最初のピーク部分にあることがわかっているので、最適な閾値は、最初のピークを越えた後、最小の輝度値となる点Aである。また、瞳孔の全体に占める面積は、ある一定値以下になるので、その範囲におけるピークの右の谷を、閾値とすることにより最適な閾値を設定することもできる。
二値化された画像から、この閾値A以下の輝度値を有する画素を抽出し、画素のラベリング(画素の塊毎に番号をつける)を行う。ラベリングにおいて、大きさが1画素のものは無視し、上下方向のみ連結を行う。面積が最大の塊に注目する。このようにして、瞳孔部分を抽出した画像が、図4(c)であり、図4(a)の瞳孔部分が抽出されていることがわかる。
しかしながら、撮影の際に、瞳孔に背景画像が映り込んだり、システムのノイズの影響により、図4(d)に示すようなヒストグラムが得られる場合がある。このとき、最初のピークを越えた最小値となる点Bを閾値とすると、正確に瞳孔を検出することができない。特に、高速デジタルカメラ14では、露光時間が短いために、画像が暗くなる傾向があり、ヒストグラムから閾値を決定することが難しくなる。
そこで、以下の方法により、瞳孔部分抽出の精度を向上させる。
1)処理を行う画像の1フレーム前の画像(図4(b))から検出された楕円の式を参照する。
2)楕円の式より楕円の面積(基準ピクセル数)を算出する。
3)処理を行う画像(図4(d))のヒストグラムについて、輝度値0からピクセル数を累積してゆき、2)で算出した楕円の面積を超えた点Cを閾値とする。
高速デジタルカメラ14では、前の画像と次の画像の撮影間隔が、光に反応して瞳孔の大きさが変化する時間よりも十分に小さいので、処理を行う画像の1フレーム前の画像から検出された楕円の面積を用いることにより、ノイズに左右されず、瞳孔部分を抽出することができる。従って、撮影場所の明るさが変わった場合、背景画像が瞳孔に映り込んだ場合などでも確実に瞳孔部分だけを切り出すことが可能になる。
なお、従来の閾値判定法では、輝度の小さい方向にだけ不正な値が出るわけではなく、輝度の大きい方向にも出ることがある。1フレーム前の画像から楕円を近似できず、基準ピクセル数が得られなかった場合は、1)従来の閾値判定法により求める、2)予め設定された固定値を使用する、3)処理を行う画像の前の直近のフレームにおいて設定された閾値を用いる、という3通りの方法が考えられる。例えば、大きく明るさの変わることの無い実験室での使用においては、2)の固定値を用いることができる。
また、撮影された眼球部分の画面には、瞼の縁の影など一定の面積が、瞳孔と同じ輝度を有している場合がある。従って、閾値を算出する際に、予め設定した一定値を加えた値を閾値とすることにより、より精度よく瞳孔部分を検出することができる。
(瞳孔の縁の抽出)
上述した瞳孔部分の抽出においては、1つの画面の全ての画素についてラベリングを行うと、処理の負荷が大きい。そこで、高速化のために2段階の検出を行う。
図5に、瞳孔の縁の抽出方法における第1段階を示す。第1段階は、上述した瞳孔部分の抽出である。このとき、例えば320x240ピクセルの原画像から40x30ピクセルの縮小画像を作成し、縮小画像の二値化を行う。二値化された縮小画像から、最小自乗法により楕円の式を算出して、瞳孔部分を抽出する。
図6に、瞳孔の縁の抽出方法における第2段階を示す。上記で求めた楕円の式を、320x240ピクセルの原画像に重ね合わせる(図6(a))。楕円の式で算出された楕円の縁の近傍を探査し、瞳孔部分の抽出で求めた閾値の近傍で画素の明るさの変化が最大の点を瞳孔の縁として座標を記録する(図6(b))。このようにして得られた瞳孔の縁の座標を用いて、楕円の式を算出する。このような2段階の処理によって、画像が蓄積されているメモリに対し、少ないアクセスで測定することできるので、高速の処理に適している。
しかしながら、この方法は、縮小画像を用いて検出しているので、楕円の式で算出された楕円の軌跡と原画像の瞳孔の縁との誤差が大きい。このため、ある程度の探査範囲の確保が必要になり、処理に時間がかかってしまう。例えば、図7(a)に示したように、瞼の影が写り込んでしまった場合、縮小画像を生成して二値化を行うと、図7(b)のようになる。この縮小画像において楕円の式を求めると、図7(c)に示したように、瞳孔から大きくはみ出した楕円が検出されてしまう。第2段階において、楕円の式で算出された楕円の縁の近傍を探査しても、瞳孔の縁が見つからないという現象が生じてしまう(図7(d))。
そこで、第2段階において、楕円の縁の近傍を探査する際に、処理を行う画像の1フレーム前の画像から算出された楕円の式を用いる。高速デジタルカメラ14では、前の画像と次の画像の撮影間隔が、光に反応して瞳孔の大きさが変化する時間よりも十分に小さく、眼球運動による瞳孔位置移動時間よりも十分に小さい。従って、前の画像から求められた楕円の式を用いることにより、少ない探査範囲で、精度よく瞳孔の縁の検出を行うことができる。
また、第1段階におけるラベリング等の処理が不要になるので、より高速な処理が可能になる。さらに、漸近的に処理を行うので、瞬きのように少しずつ瞳孔の影が増えてくるような場合にも対応が可能である。
(瞳孔の縁のノイズ除去)
上述した第1段階の瞳孔部分の抽出においては、最小自乗法を用いて楕円近似を行っていた(例えば、非特許文献1参照)。図8を参照して、楕円近似の方法を詳しく説明する。また、図9(a)に示したように、瞳孔部分に背景画像が写りこんでいた場合に、図9(b)に示したように、瞳孔部分が検出される。このとき、瞳孔の縁すべての点を用いて、楕円の式を求めると、図9(a)の白線に示されているように、実際よりも細い楕円を検出してしまうことになる。そこで、楕円の幾何学的な性質を用いて、以下の方法で楕円の周上に存在しない点(瞳孔の縁以外の点)を除去する。
1)楕円と交わる3本の平行な直線l、m、nを考える。l、nはmから等距離にあるとする。楕円と直線lとの交点をa、b、直線nの交点をc、dとする。楕円と直線mの交点の中点をoとする。a、bの中点とc、dの中点を結ぶ線の中点をo’とすると、o’はoと重なるという性質がある(図8(a))。
2)原画像の瞳孔のほぼ中央に引いた直線mから、等距離にあるN個の平行線の組のo’i(i=1−N)に当たる点を求める。求められた点は、直線mの上に分布する。誤って検出された縁が十分少ないときは、最も多くの点o’が集まった位置がoの位置に相当する。その位置から離れている点は、楕円の軌跡上にない点を含んでいることになるので、それらを除外する(図8(b))。
しかしながら、N個の平行線の組は、4点を一組とするため、1点にノイズがあるだけで他の3点も利用できなくなる。図8(c)に示すような形に1/4の楕円の周が隠れていると、楕円として検出ができないことになる。
図10を参照して、正確な楕円近似をするため瞳孔の縁以外の点を除去する方法を説明する。
1)xy座標上の瞳孔の縁に対して、x軸に平行かつ楕円と交わる複数の線分を引く(Si〜Si+3)。瞳孔の縁とi番目の線分Si上の左側交点をxLi、右側交点をxRi、y座標をyi、xLiとxRiの中点をxiとする。
2)線分Siの数をn本(交点は2n個なる)とする。真の楕円であれば、n個の線分Siの中点(xi,yi)は、1本の直線(図10において一点鎖線で示す)上に乗るという性質がある。
3)n個の中点(x,y)の中から任意の2点(xi,yi),(xj,yj)を取り出し、2点を結ぶ線分の角度θは、yi>yjのとき、
θ(degree)=arctan((yi-yj)/(xi-xj))*180/π (式1)
と求められる。
4)yiに対して、n−1個の傾きの角度が求められ、全体として、n*(n−1)/2個の角度が求められる。真の楕円であれば、すべての角度θは同一である。
5)原画像の瞳孔の縁は、ある程度の分散があるため、全体のn*(n−1)/2個の角度の最頻値と、yiに対してのn−1個の角度の最頻値とを求める。両者を比較して、一定の範囲内に入っていない場合は、ノイズを含む点と判断する。すなわち、一定の範囲内に入っていないyiを含む線分Si上の瞳孔の縁との交点の座標を、楕円を近似するための座標から除外する。
図10に示したように、線分Siに対して線分Si+1と線分Si+2とは、一定の範囲内に入っていると判定され、線分Siに対して線分Si+3は、一定の範囲内に入っていないと判定され、楕円近似を行う際に用いられない。この方法によれば、2点を一組とするため、1点にノイズが含まれていた場合に無駄になるのは1点となるので、楕円近似を行うためのデータのうち、破棄されるデータを少なくすることができる。
従って、瞳孔の一部が隠れるような図8(c)に示した場合であっても、楕円の検出精度の向上が見込まれる。また、楕円近似を行って検出された楕円の大きさと、瞳孔の縁の抽出によって計測された楕円の縁とを比較することにより、どの程度、瞼が瞳孔にかかっているかの判別を行うことができる。
本実施形態によれば、高速デジタルカメラを使用するので、眼球運動の計測が可能となる。従来のNTSC方式のビデオカメラにおいては、瞬きと速い眼球運動は、どちらも画像がぶれてしまい判別不可能であったが、高速デジタルカメラを利用することにより両者の判別が可能となる。また、高速デジタルカメラに使用されているCCD/CMOSの画素数に依存した大きさで、デジタル画像信号を取得することができるので、高精細の画像から、任意の大きさの画像まで容易に得ることができる。さらに、画像を取得する間隔も、CCD/CMOSの性能および伝送経路(例えば、IEEE1394b/USB3.0)の転送速度の許す範囲で可変にすることができる。
本実施形態では、1台のカメラにより、一方の眼球の運動を計測する場合について述べたが、2台のカメラにより、両方の眼球の運動を計測することも可能である。
1,11 被験者
2,12 椅子
3,13 ディスプレイ
4 CCDカメラ
5 ビデオ入力装置
6,16 コンピュータ
7,17 赤外線照明装置
14 高速デジタルカメラ

Claims (6)

  1. 眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法において、
    前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、輝度信号として格納する第1ステップと、
    前記輝度信号から、処理を行う画像の全ての画素から輝度値ごとのピクセル数のヒストグラムを作成する第2ステップと、
    前記ヒストグラムの輝度値から閾値を設定するステップであって、前記処理を行う画像の1フレーム前の画像から検出された瞳孔を楕円で近似し、該楕円の式より算出された楕円の面積である基準ピクセル数を算出し、処理を行う画像の前記ヒストグラムに対して、輝度値0からピクセル数を累積してゆき、前記基準ピクセル数を超えたときの輝度値を閾値として設定する第3ステップと、
    前記閾値以下の輝度値を有する画素から瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第4ステップと
    を備えることを特徴とする方法。
  2. 前記第3ステップは、前記処理を行う画像の1フレーム前の画像から前記基準ピクセル数を算出できなかった場合に、前記ヒストグラムの輝度値の低い方から最初のピークを越えた後の最小の輝度値、予め設定された固定値、または前記処理を行う画像の前の直近のフレームにおいて設定された閾値のいずれかを閾値とすることを特徴とする請求項1に記載の方法。
  3. 眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法において、
    前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、原画像から縮小画像を作成して、二値化された縮小画像に変換する第1ステップと、
    前記二値化された縮小画像から瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第2ステップと、
    前記第2ステップで近似された楕円を前記原画像に重ね合わせ、前記近似された楕円の縁の近傍を探査し、所定の閾値の近傍で画素の明るさの変化が最大の点を瞳孔の縁として座標を記録する第3ステップと、
    前記原画像の瞳孔の縁の座標を用いて楕円の式を算出する第4ステップとを備え、
    前記第3ステップは、処理を行う画像の1フレーム前の画像の楕円の式を用いて楕円の近傍を探査し、前記1フレーム前の画像において瞳孔部分を抽出できなかった場合にのみ前記第1および第2ステップで近似さたれた楕円の式を用いることを特徴とする方法。
  4. 眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法において、
    前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、二値化を行って瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第1ステップと、
    前記楕円と交わる任意の線分に平行なn個の線分を設定し、各線分上における前記抽出された瞳孔の縁との2つの交点の座標の中点について、任意の2つの中点を結ぶ線分の角度を算出し、全体のn*(n−1)/2個の角度の最頻値と、特定の中点に対してのn−1個の角度の最頻値とを比較して、一定の範囲内に入っていない場合は、前記特定の中点を含む線分上の前記瞳孔の縁の座標を除外する第2ステップと、
    前記第2ステップにより残された複数の前記瞳孔の縁の座標を用いて楕円近似を行う第3ステップと
    を備えたことを特徴とする方法。
  5. 請求項1ないし4のいずれかに記載の方法を、前記画像処理装置に実行させるためのコンピュータ実行可能命令からなることを特徴とするコンピュータプログラム。
  6. 被験者の眼球を撮影するカメラと、
    前記被験者の眼球に赤外線を照射する照明装置と、
    前記カメラに接続され、前記カメラで撮像した眼球の画像から、瞳孔部分を近似する楕円の検出を行う画像処理装置であって、請求項1ないし4のいずれかに記載の方法を実行する画像処理装置と
    を備えたことを特徴とする眼球運動計測システム。
JP2012207362A 2012-09-20 2012-09-20 瞳孔部分を近似する楕円の検出を行う方法 Active JP5995217B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012207362A JP5995217B2 (ja) 2012-09-20 2012-09-20 瞳孔部分を近似する楕円の検出を行う方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012207362A JP5995217B2 (ja) 2012-09-20 2012-09-20 瞳孔部分を近似する楕円の検出を行う方法

Publications (2)

Publication Number Publication Date
JP2014061085A true JP2014061085A (ja) 2014-04-10
JP5995217B2 JP5995217B2 (ja) 2016-09-21

Family

ID=50616981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012207362A Active JP5995217B2 (ja) 2012-09-20 2012-09-20 瞳孔部分を近似する楕円の検出を行う方法

Country Status (1)

Country Link
JP (1) JP5995217B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016184305A (ja) * 2015-03-26 2016-10-20 オムロン株式会社 画像処理装置および画像処理方法
JP2016209198A (ja) * 2015-05-01 2016-12-15 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム
WO2019117247A1 (ja) * 2017-12-14 2019-06-20 オムロン株式会社 瞳孔検出装置および検出システム
JP2019217388A (ja) * 2019-10-02 2019-12-26 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム
CN110929672A (zh) * 2019-11-28 2020-03-27 联想(北京)有限公司 瞳孔定位方法和电子设备
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08145644A (ja) * 1994-11-28 1996-06-07 Agency Of Ind Science & Technol ノイズに強い楕円近似による計測システム
JP2002000567A (ja) * 2000-06-23 2002-01-08 Kansai Tlo Kk 瞳孔中心位置計測方法及び視点位置検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08145644A (ja) * 1994-11-28 1996-06-07 Agency Of Ind Science & Technol ノイズに強い楕円近似による計測システム
JP2002000567A (ja) * 2000-06-23 2002-01-08 Kansai Tlo Kk 瞳孔中心位置計測方法及び視点位置検出方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016184305A (ja) * 2015-03-26 2016-10-20 オムロン株式会社 画像処理装置および画像処理方法
JP2016209198A (ja) * 2015-05-01 2016-12-15 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム
US10383516B2 (en) 2015-05-01 2019-08-20 Canon Kabushiki Kaisha Image generation method, image generation apparatus, and storage medium
WO2019117247A1 (ja) * 2017-12-14 2019-06-20 オムロン株式会社 瞳孔検出装置および検出システム
JP2019103744A (ja) * 2017-12-14 2019-06-27 オムロン株式会社 瞳孔検出装置および検出システム
JP2019217388A (ja) * 2019-10-02 2019-12-26 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム
JP6992030B2 (ja) 2019-10-02 2022-01-13 キヤノン株式会社 画像生成装置、画像生成方法およびプログラム
CN110929672A (zh) * 2019-11-28 2020-03-27 联想(北京)有限公司 瞳孔定位方法和电子设备
CN110929672B (zh) * 2019-11-28 2024-03-01 联想(北京)有限公司 瞳孔定位方法和电子设备
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统

Also Published As

Publication number Publication date
JP5995217B2 (ja) 2016-09-21

Similar Documents

Publication Publication Date Title
JP5529660B2 (ja) 瞳孔検出装置及び瞳孔検出方法
JP6930223B2 (ja) 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
JP5995217B2 (ja) 瞳孔部分を近似する楕円の検出を行う方法
JP5949319B2 (ja) 視線検出装置及び視線検出方法
EP3225154A2 (en) Gaze detection apparatus and gaze detection method
KR102212209B1 (ko) 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
JP3143819B2 (ja) まぶたの開度検出装置
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
US20080049185A1 (en) Eye location and gaze detection system and method
KR20140125713A (ko) 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
JP2008234208A (ja) 顔部位検出装置及びプログラム
JP2016512765A (ja) 軸上視線追跡システム及び方法
JP6123694B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9082000B2 (en) Image processing device and image processing method
US20220100268A1 (en) Eye tracking device and a method thereof
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
EP4095744A1 (en) Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device
JP2018205819A (ja) 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
JP2019097675A (ja) 視線検出校正方法、システム、及びコンピュータプログラム
JP5719216B2 (ja) 視線測定装置および視線測定プログラム
KR20100038897A (ko) 눈동자 시선 추정 장치 및 추정 방법
JP2002000567A (ja) 瞳孔中心位置計測方法及び視点位置検出方法
JP4055858B2 (ja) 視線検出システム
JP6468755B2 (ja) 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160816

R150 Certificate of patent or registration of utility model

Ref document number: 5995217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250