JP2014061085A - 瞳孔部分を近似する楕円の検出を行う方法 - Google Patents
瞳孔部分を近似する楕円の検出を行う方法 Download PDFInfo
- Publication number
- JP2014061085A JP2014061085A JP2012207362A JP2012207362A JP2014061085A JP 2014061085 A JP2014061085 A JP 2014061085A JP 2012207362 A JP2012207362 A JP 2012207362A JP 2012207362 A JP2012207362 A JP 2012207362A JP 2014061085 A JP2014061085 A JP 2014061085A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ellipse
- pupil
- camera
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】被験者11の頭部を固定することができる椅子12と、視覚刺激提示装置としてのディスプレイ13とが設置され、被験者の瞳孔を撮影できる位置に高速デジタルカメラ14を配置する。高速デジタルカメラ14から出力されたデジタル画像信号は、画像処理装置であるコンピュータ16に入力される。
【選択図】図3
Description
画像処理装置であるコンピュータ16は、高速デジタルカメラ14から出力されたデジタル画像信号を入力し、1つの画像の全ての画素から輝度値(0−255)ごとのピクセル数のヒストグラムを作成する。1フレーム前の画像から瞳孔の面積を求め、その面積とヒストグラムとを比較することにより閾値を推定する。推定された閾値を用いて、入力された画像の二値化を行って、1つの画像から瞳孔部分を抽出する。
1)処理を行う画像の1フレーム前の画像(図4(b))から検出された楕円の式を参照する。
2)楕円の式より楕円の面積(基準ピクセル数)を算出する。
3)処理を行う画像(図4(d))のヒストグラムについて、輝度値0からピクセル数を累積してゆき、2)で算出した楕円の面積を超えた点Cを閾値とする。
上述した瞳孔部分の抽出においては、1つの画面の全ての画素についてラベリングを行うと、処理の負荷が大きい。そこで、高速化のために2段階の検出を行う。
上述した第1段階の瞳孔部分の抽出においては、最小自乗法を用いて楕円近似を行っていた(例えば、非特許文献1参照)。図8を参照して、楕円近似の方法を詳しく説明する。また、図9(a)に示したように、瞳孔部分に背景画像が写りこんでいた場合に、図9(b)に示したように、瞳孔部分が検出される。このとき、瞳孔の縁すべての点を用いて、楕円の式を求めると、図9(a)の白線に示されているように、実際よりも細い楕円を検出してしまうことになる。そこで、楕円の幾何学的な性質を用いて、以下の方法で楕円の周上に存在しない点(瞳孔の縁以外の点)を除去する。
1)xy座標上の瞳孔の縁に対して、x軸に平行かつ楕円と交わる複数の線分を引く(Si〜Si+3)。瞳孔の縁とi番目の線分Si上の左側交点をxLi、右側交点をxRi、y座標をyi、xLiとxRiの中点をxiとする。
2)線分Siの数をn本(交点は2n個なる)とする。真の楕円であれば、n個の線分Siの中点(xi,yi)は、1本の直線(図10において一点鎖線で示す)上に乗るという性質がある。
3)n個の中点(x,y)の中から任意の2点(xi,yi),(xj,yj)を取り出し、2点を結ぶ線分の角度θは、yi>yjのとき、
θ(degree)=arctan((yi-yj)/(xi-xj))*180/π (式1)
と求められる。
4)yiに対して、n−1個の傾きの角度が求められ、全体として、n*(n−1)/2個の角度が求められる。真の楕円であれば、すべての角度θは同一である。
5)原画像の瞳孔の縁は、ある程度の分散があるため、全体のn*(n−1)/2個の角度の最頻値と、yiに対してのn−1個の角度の最頻値とを求める。両者を比較して、一定の範囲内に入っていない場合は、ノイズを含む点と判断する。すなわち、一定の範囲内に入っていないyiを含む線分Si上の瞳孔の縁との交点の座標を、楕円を近似するための座標から除外する。
2,12 椅子
3,13 ディスプレイ
4 CCDカメラ
5 ビデオ入力装置
6,16 コンピュータ
7,17 赤外線照明装置
14 高速デジタルカメラ
Claims (6)
- 眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法において、
前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、輝度信号として格納する第1ステップと、
前記輝度信号から、処理を行う画像の全ての画素から輝度値ごとのピクセル数のヒストグラムを作成する第2ステップと、
前記ヒストグラムの輝度値から閾値を設定するステップであって、前記処理を行う画像の1フレーム前の画像から検出された瞳孔を楕円で近似し、該楕円の式より算出された楕円の面積である基準ピクセル数を算出し、処理を行う画像の前記ヒストグラムに対して、輝度値0からピクセル数を累積してゆき、前記基準ピクセル数を超えたときの輝度値を閾値として設定する第3ステップと、
前記閾値以下の輝度値を有する画素から瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第4ステップと
を備えることを特徴とする方法。 - 前記第3ステップは、前記処理を行う画像の1フレーム前の画像から前記基準ピクセル数を算出できなかった場合に、前記ヒストグラムの輝度値の低い方から最初のピークを越えた後の最小の輝度値、予め設定された固定値、または前記処理を行う画像の前の直近のフレームにおいて設定された閾値のいずれかを閾値とすることを特徴とする請求項1に記載の方法。
- 眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法において、
前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、原画像から縮小画像を作成して、二値化された縮小画像に変換する第1ステップと、
前記二値化された縮小画像から瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第2ステップと、
前記第2ステップで近似された楕円を前記原画像に重ね合わせ、前記近似された楕円の縁の近傍を探査し、所定の閾値の近傍で画素の明るさの変化が最大の点を瞳孔の縁として座標を記録する第3ステップと、
前記原画像の瞳孔の縁の座標を用いて楕円の式を算出する第4ステップとを備え、
前記第3ステップは、処理を行う画像の1フレーム前の画像の楕円の式を用いて楕円の近傍を探査し、前記1フレーム前の画像において瞳孔部分を抽出できなかった場合にのみ前記第1および第2ステップで近似さたれた楕円の式を用いることを特徴とする方法。 - 眼球運動計測システムにおいて、画像処理装置がカメラで撮像した眼球の画像から瞳孔部分を近似する楕円の検出を行う方法において、
前記カメラで撮像した眼球の画像のデジタル画像信号を入力し、二値化を行って瞳孔部分を抽出し、抽出された瞳孔部分を楕円で近似する第1ステップと、
前記楕円と交わる任意の線分に平行なn個の線分を設定し、各線分上における前記抽出された瞳孔の縁との2つの交点の座標の中点について、任意の2つの中点を結ぶ線分の角度を算出し、全体のn*(n−1)/2個の角度の最頻値と、特定の中点に対してのn−1個の角度の最頻値とを比較して、一定の範囲内に入っていない場合は、前記特定の中点を含む線分上の前記瞳孔の縁の座標を除外する第2ステップと、
前記第2ステップにより残された複数の前記瞳孔の縁の座標を用いて楕円近似を行う第3ステップと
を備えたことを特徴とする方法。 - 請求項1ないし4のいずれかに記載の方法を、前記画像処理装置に実行させるためのコンピュータ実行可能命令からなることを特徴とするコンピュータプログラム。
- 被験者の眼球を撮影するカメラと、
前記被験者の眼球に赤外線を照射する照明装置と、
前記カメラに接続され、前記カメラで撮像した眼球の画像から、瞳孔部分を近似する楕円の検出を行う画像処理装置であって、請求項1ないし4のいずれかに記載の方法を実行する画像処理装置と
を備えたことを特徴とする眼球運動計測システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012207362A JP5995217B2 (ja) | 2012-09-20 | 2012-09-20 | 瞳孔部分を近似する楕円の検出を行う方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012207362A JP5995217B2 (ja) | 2012-09-20 | 2012-09-20 | 瞳孔部分を近似する楕円の検出を行う方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014061085A true JP2014061085A (ja) | 2014-04-10 |
JP5995217B2 JP5995217B2 (ja) | 2016-09-21 |
Family
ID=50616981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012207362A Active JP5995217B2 (ja) | 2012-09-20 | 2012-09-20 | 瞳孔部分を近似する楕円の検出を行う方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5995217B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016184305A (ja) * | 2015-03-26 | 2016-10-20 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP2016209198A (ja) * | 2015-05-01 | 2016-12-15 | キヤノン株式会社 | 画像生成装置、画像生成方法およびプログラム |
WO2019117247A1 (ja) * | 2017-12-14 | 2019-06-20 | オムロン株式会社 | 瞳孔検出装置および検出システム |
JP2019217388A (ja) * | 2019-10-02 | 2019-12-26 | キヤノン株式会社 | 画像生成装置、画像生成方法およびプログラム |
CN110929672A (zh) * | 2019-11-28 | 2020-03-27 | 联想(北京)有限公司 | 瞳孔定位方法和电子设备 |
CN116974370A (zh) * | 2023-07-18 | 2023-10-31 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08145644A (ja) * | 1994-11-28 | 1996-06-07 | Agency Of Ind Science & Technol | ノイズに強い楕円近似による計測システム |
JP2002000567A (ja) * | 2000-06-23 | 2002-01-08 | Kansai Tlo Kk | 瞳孔中心位置計測方法及び視点位置検出方法 |
-
2012
- 2012-09-20 JP JP2012207362A patent/JP5995217B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08145644A (ja) * | 1994-11-28 | 1996-06-07 | Agency Of Ind Science & Technol | ノイズに強い楕円近似による計測システム |
JP2002000567A (ja) * | 2000-06-23 | 2002-01-08 | Kansai Tlo Kk | 瞳孔中心位置計測方法及び視点位置検出方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016184305A (ja) * | 2015-03-26 | 2016-10-20 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP2016209198A (ja) * | 2015-05-01 | 2016-12-15 | キヤノン株式会社 | 画像生成装置、画像生成方法およびプログラム |
US10383516B2 (en) | 2015-05-01 | 2019-08-20 | Canon Kabushiki Kaisha | Image generation method, image generation apparatus, and storage medium |
WO2019117247A1 (ja) * | 2017-12-14 | 2019-06-20 | オムロン株式会社 | 瞳孔検出装置および検出システム |
JP2019103744A (ja) * | 2017-12-14 | 2019-06-27 | オムロン株式会社 | 瞳孔検出装置および検出システム |
JP2019217388A (ja) * | 2019-10-02 | 2019-12-26 | キヤノン株式会社 | 画像生成装置、画像生成方法およびプログラム |
JP6992030B2 (ja) | 2019-10-02 | 2022-01-13 | キヤノン株式会社 | 画像生成装置、画像生成方法およびプログラム |
CN110929672A (zh) * | 2019-11-28 | 2020-03-27 | 联想(北京)有限公司 | 瞳孔定位方法和电子设备 |
CN110929672B (zh) * | 2019-11-28 | 2024-03-01 | 联想(北京)有限公司 | 瞳孔定位方法和电子设备 |
CN116974370A (zh) * | 2023-07-18 | 2023-10-31 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
CN116974370B (zh) * | 2023-07-18 | 2024-04-16 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5995217B2 (ja) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5529660B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP6930223B2 (ja) | 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法 | |
JP5995217B2 (ja) | 瞳孔部分を近似する楕円の検出を行う方法 | |
JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
EP3225154A2 (en) | Gaze detection apparatus and gaze detection method | |
KR102212209B1 (ko) | 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체 | |
JP3143819B2 (ja) | まぶたの開度検出装置 | |
CN109690553A (zh) | 执行眼睛注视跟踪的系统和方法 | |
US20080049185A1 (en) | Eye location and gaze detection system and method | |
KR20140125713A (ko) | 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치 | |
US10311583B2 (en) | Eye motion detection method, program, program storage medium, and eye motion detection device | |
JP2008234208A (ja) | 顔部位検出装置及びプログラム | |
JP2016512765A (ja) | 軸上視線追跡システム及び方法 | |
JP6123694B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US9082000B2 (en) | Image processing device and image processing method | |
US20220100268A1 (en) | Eye tracking device and a method thereof | |
JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
EP4095744A1 (en) | Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device | |
JP2018205819A (ja) | 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法 | |
JP2019097675A (ja) | 視線検出校正方法、システム、及びコンピュータプログラム | |
JP5719216B2 (ja) | 視線測定装置および視線測定プログラム | |
KR20100038897A (ko) | 눈동자 시선 추정 장치 및 추정 방법 | |
JP2002000567A (ja) | 瞳孔中心位置計測方法及び視点位置検出方法 | |
JP4055858B2 (ja) | 視線検出システム | |
JP6468755B2 (ja) | 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150313 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150430 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5995217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |