JP2020018474A - 瞳孔推定装置および瞳孔推定方法 - Google Patents
瞳孔推定装置および瞳孔推定方法 Download PDFInfo
- Publication number
- JP2020018474A JP2020018474A JP2018143754A JP2018143754A JP2020018474A JP 2020018474 A JP2020018474 A JP 2020018474A JP 2018143754 A JP2018143754 A JP 2018143754A JP 2018143754 A JP2018143754 A JP 2018143754A JP 2020018474 A JP2020018474 A JP 2020018474A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- vector
- calculation unit
- estimating device
- center position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Discrete Mathematics (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
【課題】効率よく瞳孔中心位置の推定を行うことができる技術を提供する。【解決手段】瞳孔推定装置12は、周囲点検出部と、位置算出部と、第1演算部と、第2演算部と、を備える。周囲点検出部は、S11にて、撮影画像から眼の外縁を示す複数の周囲点を検出する。位置算出部は、S12にて、複数の周囲点を用いて、基準位置を算出する。第1演算部は、S13−S18にて、基準位置、及び、撮影画像の所定領域の輝度を用いて、瞳孔中心位置と基準位置との差を表す差分ベクトルを、回帰関数を用いて算出する。第2演算部は、S19にて、第1演算部により算出された差分ベクトルを、基準位置に加算することで瞳孔中心位置を算出する。【選択図】図6
Description
本開示は、撮影された画像から瞳孔の中心の位置を推定する技術に関する。
画像に含まれる特定オブジェクトを検出する方法が検討されている。下記非特許文献1には、機械学習を用いて実現する方法が開示されている。また下記非特許文献2には、ランダムフォレストやブースティングされた木構造を使う方法が開示されている。
Paul Viola, and Michael Jones, Rapid object detection using a boosted cascade of simple features, Proc.CVPR,2001, 511-518
Nenad Markusら Pattern Recognition Volume 47 Issue 2, February, 2014, 578-587
しかしながら、発明者の詳細な検討の結果、上述した文献に開示された方法は、効率的とは言えず、高速かつ高精度に瞳孔検出を行うことが難しいという課題が見出された。なぜならば、上述した文献に開示された方法は、いずれもウインドウ内の特定パターンに反応するように学習された検出器を、スライディングウインドウの方法で画像上の位置や大きさをずらして逐次スキャンしながらマッチングするパターンを発見する構成となっているためである。このような構成では、異なるサイズや位置で切り出されたウインドウを何度も評価する必要があり、また毎回評価すべきウインドウの大部分が前回と重複することもあり効率が悪く、速度やメモリ帯域の面からは多いに改善の余地がある。また、スライディングウインドウ方式では検出すべきオブジェクトの角度にバリエーションがあると、ある程度の角度の範囲ごとに検出器を構成する必要があり、この点でも効率は良いとは言えなかった。
本開示の1つの局面は、効率よく瞳孔中心位置の推定を行うことができる技術を提供する。
本開示の一態様は、眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定装置(12)であって、周囲点検出部(21、S11)と、位置算出部(21、S12)と、第1演算部(21、S13−S18)と、第2演算部(21、S19)と、を備える。周囲点検出部は、撮影画像から眼の外縁を示す複数の周囲点を検出するように構成される。位置算出部は、周囲点検出部により検出された複数の周囲点を用いて、基準位置を算出するように構成される。第1演算部は、位置算出部にて算出された基準位置、及び、撮影画像の所定領域の輝度を用いて、瞳孔中心位置と基準位置との差を表す差分ベクトルを、回帰関数を用いて算出するように構成される。第2演算部は、第1演算部により算出された差分ベクトルを、基準位置に加算することで瞳孔中心位置を算出するように構成される。
このような構成であれば、回帰関数を利用することにより、スライディングウインドウの使用による効率低下を抑制して、効率よく瞳孔中心位置の推定を行うことができる。
本開示の一態様は、眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定方法であって、撮影画像から眼の外縁を示す複数の周囲点を検出する。複数の周囲点を用いて、基準位置を算出する。基準位置、及び、撮影画像の所定領域の輝度を用いて、瞳孔中心位置と基準位置との差を表す差分ベクトルを、回帰関数を用いて算出する。算出された差分ベクトルを、基準位置に加算することで瞳孔中心位置を算出する。
本開示の一態様は、眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定方法であって、撮影画像から眼の外縁を示す複数の周囲点を検出する。複数の周囲点を用いて、基準位置を算出する。基準位置、及び、撮影画像の所定領域の輝度を用いて、瞳孔中心位置と基準位置との差を表す差分ベクトルを、回帰関数を用いて算出する。算出された差分ベクトルを、基準位置に加算することで瞳孔中心位置を算出する。
このような構成であれば、回帰関数を利用することにより、スライディングウインドウの使用による効率低下を抑制して、効率よく瞳孔中心位置の推定を行うことができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
以下、図面を参照しながら、本開示の実施形態を説明する。
[1.第1実施形態]
[1−1.構成]
図1に示す瞳孔位置推定システム1は、カメラ11と、瞳孔推定装置12と、を含むシステムである。
[1.第1実施形態]
[1−1.構成]
図1に示す瞳孔位置推定システム1は、カメラ11と、瞳孔推定装置12と、を含むシステムである。
カメラ11は、例えば公知のCCDイメージセンサやCMOSイメージセンサなどを用いることができる。カメラ11は、撮影画像のデータを瞳孔推定装置12に出力する。
瞳孔推定装置12は、CPU21と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ22)と、を有するマイクロコンピュータを備える。瞳孔推定装置12の各機能は、CPU21が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ22が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、瞳孔推定装置12は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
瞳孔推定装置12は、CPU21と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ22)と、を有するマイクロコンピュータを備える。瞳孔推定装置12の各機能は、CPU21が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ22が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、瞳孔推定装置12は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
[1−2.推定方法]
眼が含まれる撮影画像から瞳孔中心位置を推定する方法を説明する。瞳孔中心位置とは、眼の瞳孔の中心位置であって、瞳孔を構成する円形領域の中心である。瞳孔推定装置12は、以下に説明する方法により瞳孔中心位置を推定する。
眼が含まれる撮影画像から瞳孔中心位置を推定する方法を説明する。瞳孔中心位置とは、眼の瞳孔の中心位置であって、瞳孔を構成する円形領域の中心である。瞳孔推定装置12は、以下に説明する方法により瞳孔中心位置を推定する。
図2で示すように、瞳孔中心の推定位置は、以下の式(1)を用いて求めることができる。
g:目の周囲点から決まる重心位置ベクトル
S:推定された瞳孔中心位置と、重心位置の差分ベクトル
以下に、重心位置ベクトルg及び差分ベクトルSの推定方法を説明する。
(i)重心位置ベクトルgの算出
図2を用いて重心位置ベクトルgの推定方法を説明する。重心位置とは、撮影画像において、眼球が表示されている領域である眼領域31の重心の位置である。重心位置ベクトルgは、眼領域31の外縁部分を示す特徴点である複数の目の周囲点Qに基づいて求められる。周囲点Qを取得する方法は特に限定されず、重心位置ベクトルgを求めることができる様々な方法にて取得することができる。例えば、Active Shape Modelを用いる方法や、One Millisecond Face Alignment with an Ensemble of Regression Trees(Vahid Kazemi and Josephine Sullivan, The IEEE Conference on CVPR, 2014,1867-1874、以下、参考文献1)に開示されるような特徴点検出により求めることができる。なお図2においては、目尻及び目頭の2点と、それらを結ぶ直線の垂直四等分線と眼領域31との交点と、の8点の周囲点Qを例示しているが、周囲点Qの数はこれに限定されない。重心位置は、例えば、複数の目の周囲点Qの平均位置である。周囲点Qの位置が眼領域31の外縁において適切に分散していることにより、重心位置ベクトルgの精度は向上する。
図2を用いて重心位置ベクトルgの推定方法を説明する。重心位置とは、撮影画像において、眼球が表示されている領域である眼領域31の重心の位置である。重心位置ベクトルgは、眼領域31の外縁部分を示す特徴点である複数の目の周囲点Qに基づいて求められる。周囲点Qを取得する方法は特に限定されず、重心位置ベクトルgを求めることができる様々な方法にて取得することができる。例えば、Active Shape Modelを用いる方法や、One Millisecond Face Alignment with an Ensemble of Regression Trees(Vahid Kazemi and Josephine Sullivan, The IEEE Conference on CVPR, 2014,1867-1874、以下、参考文献1)に開示されるような特徴点検出により求めることができる。なお図2においては、目尻及び目頭の2点と、それらを結ぶ直線の垂直四等分線と眼領域31との交点と、の8点の周囲点Qを例示しているが、周囲点Qの数はこれに限定されない。重心位置は、例えば、複数の目の周囲点Qの平均位置である。周囲点Qの位置が眼領域31の外縁において適切に分散していることにより、重心位置ベクトルgの精度は向上する。
(ii)差分ベクトルSの算出
差分ベクトルSは、以下の式(2)に示される関数で示すことができる。
差分ベクトルSは、以下の式(2)に示される関数で示すことができる。
上式(2)、(3)に示されるように、本実施形態の瞳孔推定方法では、差分ベクトルSは、現在の差分ベクトルS(K)に関数fKを作用させることにより(言い換えると、回帰関数gkを用いて補正を行うことにより)、更新された差分ベクトルS(K+1)を求める。そして、これを繰り返すことにより高精度な差分ベクトルSを求める。
ここで、fKは回帰関数gkを含む関数であって、上述した参考文献1、及び、Greedy Function Approximation : A gradient boosting machine (Jerome H. Friedman, The Annals of Statistics Volume 29, Number 5 (2001),1189-1232、以下、参考文献2)等に示されるようなGradient Boostingを用いた回帰関数の加法モデルを適用した関数である。以下、式(3)の各要素について説明する。
(ii−1)初期値f0(S(0))
上式において、初期値f0(S(0))は、学習サンプルとして用いられる複数の画像に基づいて、以下の式(4)、式(5)に示されるように求められる。
上式において、初期値f0(S(0))は、学習サンプルとして用いられる複数の画像に基づいて、以下の式(4)、式(5)に示されるように求められる。
N:学習サンプルの画像数
i:学習サンプルのインデックス
Sπ:学習サンプルの正しい瞳孔中心位置を示す教師データ
ν:回帰学習の効きを制御するパラメータであって、0<ν<1
S(0):複数の学習サンプルの平均瞳孔位置
上述したf0(S(0))は、式(4)において右辺が最も小さくなるようなγが入力されたときの値である。
(ii−2)回帰関数gk(S(k))
上記式(3)におけるgk(S(k))は、現在の瞳孔予測位置S(k)をパラメータにとる回帰関数であり、参考文献2に記載されるように、図3に示すような回帰木41に基づいて取得される。gk(S(k))は、撮影画像面内での移動方向及び移動量を表す相対変位量ベクトルである。このgk(S(k))が、差分ベクトルSの補正に用いられる補正ベクトルに相当する。
上記式(3)におけるgk(S(k))は、現在の瞳孔予測位置S(k)をパラメータにとる回帰関数であり、参考文献2に記載されるように、図3に示すような回帰木41に基づいて取得される。gk(S(k))は、撮影画像面内での移動方向及び移動量を表す相対変位量ベクトルである。このgk(S(k))が、差分ベクトルSの補正に用いられる補正ベクトルに相当する。
回帰木41の各ノード42では、現在の瞳孔予測位置S(k)からの相対座標で定義される2点のピクセルの組み合わせ(以下、ピクセルペア)の輝度差と、予め定められたスレッショルドθと、を比較する。そして、輝度差がスレッショルドよりも高いか低いかに応じて、回帰木41のたどる左右方向が決定される。回帰木41の各葉43には回帰量rkが定義されている。この回帰量rkが、現在の瞳孔予測位置(g+S(k))に対するgk(S(k))の値となる。なお、重心位置に現在の瞳孔予測位置(g+S(k))を加算して得られた位置が、仮瞳孔中心位置に相当する。回帰木41、即ち、各ノードのピクセルペア及びスレッショルド、また端部(即ち、回帰木41の葉43)に設定される回帰量rkは、学習により取得される。なおピクセルペアの位置は、後述するように補正された値が用いられる。
なお、入力情報としてピクセルペアの輝度差を用いる理由は次のとおりである。回帰木41の各ノード42は、2つのピクセルの一方が瞳孔部分を構成し、かつ、他方が瞳孔以外の部分を構成しているか否かを判定する。撮影画像において、瞳孔部分は相対的に色が濃く、瞳孔以外の部分は相対的に色が薄い。そのため、入力情報としてピクセルペアの輝度差を用いることで、上述した判定を行いやすくなる。
このように取得されたgk(S(k))を用いて、以下の式(6)により、差分ベクトルS(k)を更新することができる。
(ii−2−1)ピクセルペアの位置
ピクセルペアの位置は、gk(S(k))を取得するための回帰木41における各ノード42それぞれに定められている。回帰木41において参照される各ピクセルペアの撮影画像におけるピクセルの位置は、その時点の仮瞳孔中心位置(g+S(k))からの相対座標で決まる座標位置となる。ここで、相対座標を定めるベクトルは、標準となる画像である標準画像に対して予め定められた標準ベクトルに、標準画像における眼と、撮影画像における眼と、の間のずれ量を小さくするSimilarity行列(以下、変換行列R)による修正を加えた修正ベクトルである。ここでいう標準画像とは、多数の学習サンプルにより求められた平均的な画像である。
ピクセルペアの位置は、gk(S(k))を取得するための回帰木41における各ノード42それぞれに定められている。回帰木41において参照される各ピクセルペアの撮影画像におけるピクセルの位置は、その時点の仮瞳孔中心位置(g+S(k))からの相対座標で決まる座標位置となる。ここで、相対座標を定めるベクトルは、標準となる画像である標準画像に対して予め定められた標準ベクトルに、標準画像における眼と、撮影画像における眼と、の間のずれ量を小さくするSimilarity行列(以下、変換行列R)による修正を加えた修正ベクトルである。ここでいう標準画像とは、多数の学習サンプルにより求められた平均的な画像である。
図4を用いて、ピクセルペアの位置特定方法を具体的に説明する。図4の左側の図が、標準画像であり、左側の図が撮影画像である。標準画像に対して定められた標準ベクトルが(dx,dy)である。
事前に、複数の学習サンプルに関するM個の眼の周囲点Qを取得し、その各点の平均位置として、M個のQmを学習する。そして、撮影画像から同様に周囲点をM個のQm´を算出する。そして、上記QmとQm´との間において、以下の式(7)が最小になる変換行列Rを求める。この変換行列Rを用いて、ある仮瞳孔中心位置(g+S(k))での相対的に決定されるピクセルの位置は、以下の式(8)により設定する。
(iii)まとめ
以上のように本実施形態では、回帰木41の各ノード42に設定された異なる2点のピクセルペアの輝度差を用いて、差分ベクトルSを求めるための回帰関数推定をした。また、その回帰木22(回帰関数gk)を定めるために、Gradient Boostingを行い、輝度差と瞳孔位置の関係を得た。なお回帰木22へ入力する情報は、ピクセルペアの輝度差でなくてもよい。例えば、ピクセルペアの輝度の絶対値を用いたり、一定範囲の輝度の平均値を求めたりしてもよい。即ち、仮瞳孔中心位置の周囲における輝度に関する様々な情報を入力情報とすることができる。しかしながら、ピクセルペアの輝度差を用いると、その特徴量が大きくなりやすいため都合がよいことに加え、処理負荷の増加を抑制できる。
以上のように本実施形態では、回帰木41の各ノード42に設定された異なる2点のピクセルペアの輝度差を用いて、差分ベクトルSを求めるための回帰関数推定をした。また、その回帰木22(回帰関数gk)を定めるために、Gradient Boostingを行い、輝度差と瞳孔位置の関係を得た。なお回帰木22へ入力する情報は、ピクセルペアの輝度差でなくてもよい。例えば、ピクセルペアの輝度の絶対値を用いたり、一定範囲の輝度の平均値を求めたりしてもよい。即ち、仮瞳孔中心位置の周囲における輝度に関する様々な情報を入力情報とすることができる。しかしながら、ピクセルペアの輝度差を用いると、その特徴量が大きくなりやすいため都合がよいことに加え、処理負荷の増加を抑制できる。
[1−3.処理]
瞳孔推定装置12は、事前に学習を行うことにより、回帰木41、平均画像に基づくピクセルペアの選択、スレッショルドθを取得する。また瞳孔推定装置12は、カメラ11により取得される撮影画像である検出対象画像から、学習により取得した回帰木41、ピクセルペア、スレッショルドθを用いて、効率的に瞳孔位置の推定を行う。なお、事前の学習は必ずしも瞳孔推定装置12で行う必要は無く、瞳孔推定装置12は他の装置にて学習により取得された回帰木等の情報を用いることができる。
瞳孔推定装置12は、事前に学習を行うことにより、回帰木41、平均画像に基づくピクセルペアの選択、スレッショルドθを取得する。また瞳孔推定装置12は、カメラ11により取得される撮影画像である検出対象画像から、学習により取得した回帰木41、ピクセルペア、スレッショルドθを用いて、効率的に瞳孔位置の推定を行う。なお、事前の学習は必ずしも瞳孔推定装置12で行う必要は無く、瞳孔推定装置12は他の装置にて学習により取得された回帰木等の情報を用いることができる。
[1−3−1.学習処理]
瞳孔推定装置12のCPU21が実行する学習処理について、図5のフローチャートを用いて説明する。
瞳孔推定装置12のCPU21が実行する学習処理について、図5のフローチャートを用いて説明する。
まずS1では、CPU21は、複数の学習サンプルに対して、各学習サンプルの眼領域の周囲点Qを検出する。
S2では、CPU21は、全ての学習サンプルの周囲点Qそれぞれの平均位置Qmを算出する。
S2では、CPU21は、全ての学習サンプルの周囲点Qそれぞれの平均位置Qmを算出する。
S3では、CPU21は、各学習サンプルに対して、Similarity変換行列Rを求める。この変換行列Rは、上述したように、式(7)を最小にする変換行列である。
S4では、CPU21は、回帰関数の初期値f0(S(0) )を、上述した式(4)を用いて求める。
S4では、CPU21は、回帰関数の初期値f0(S(0) )を、上述した式(4)を用いて求める。
S5では、CPU21は、瞳孔中心推定に用いる回帰木、即ち各ノードに対するピクセルペアの位置及びスレッショルドなどを、いわゆるgradient boostingを用いた学習により構成する。ここでは、まず、(a)回帰木として実現される回帰関数gkを求める。この際の各二分木での分割方法は、例えば、上述した参考文献1“One Millisecond Face Alignment with an Ensemble of Regression Trees”の2.3.2項に記載される方法を用いてもよい。そして、(b)回帰木を各学習サンプルに適用し、現在の瞳孔位置を、上述した式(3)を用いて更新する。更新後、再度上記(a)を行い回帰関数gkを求め、その後、上記(b)を行う。これをK回繰り返し、回帰木を学習により構成する。
このS5の後、この学習処理を修了する。
このS5の後、この学習処理を修了する。
[1−3−2.検出処理]
次に、瞳孔推定装置12のCPU21が実行する検出処理について、図6のフローチャートを用いて説明する。
次に、瞳孔推定装置12のCPU21が実行する検出処理について、図6のフローチャートを用いて説明する。
まずS11では、CPU21は、検出対象画像の眼領域31の周囲点Qを検出する。このS11が、周囲点検出部の処理に相当する。
S12では、CPU21は、S11にて取得した周囲点Qから重心位置ベクトルgを算出する。このS12が、位置算出部の処理に相当する。
S12では、CPU21は、S11にて取得した周囲点Qから重心位置ベクトルgを算出する。このS12が、位置算出部の処理に相当する。
S13では、CPU21は、検出対象画像に対して、Similarity変換行列Rを求める。回帰木41の各ノード42で用いるピクセルペアのピクセル位置は、事前学習により定められているが、それらはあくまで上述した標準画像を基準とした相対的な位置である。そこで、標準画像を検出対象画像に近似させる変換行列Rを用いて、検出対象画像にて対象となるピクセル位置を修正することで、そのピクセル位置が学習により生成した回帰木等により適合するものとなり、瞳孔中心の検出精度が向上する。なお式(7)にて用いるQmは、図5のS2にて、学習により得られた値を用いてもよい。このS13が、行列取得部の処理に相当する。
S14では、CPU21は、k=0として、初期化を行う。なお、f0(S(0) )は、例えば、図5のS4にて、学習により得られた値を用いてもよい。
S15では、CPU21は、学習済みの回帰木をたどることにより、gk(S(k))を取得する。このS15が、補正量算出部の処理に相当する。
S15では、CPU21は、学習済みの回帰木をたどることにより、gk(S(k))を取得する。このS15が、補正量算出部の処理に相当する。
S16では、CPU21は、S15にて取得したgk(S(k))を用い、上述した式(6)に基づいてgk(S(k))をS(k)に加算することで、現在の瞳孔の位置を特定するための差分ベクトルS(k)を更新する。このS16が、更新部の処理に相当する。また、続くS17において、k=k+1とする。
S18では、CPU21は、k=Kであるか否かを判断する。このKは、例えば数十程度の値とすることができる。k=Kであれば、即ち、S15及びS16による更新を所定回数繰り返していれば、処理がS19に移行する。一方、k=Kでなければ、即ち、S15及びS16による更新をK回数繰り返していなければ、処理がS15に戻る。このS18が、演算制御部の処理に相当する。またS13−S18の処理が、第1演算部の処理に相当する。
S19では、CPU21は、最後のS17にて求めたS(K)と、S12にて求めた重心位置ベクトルgと、を用いて、式(1)に従い、検出対象画像上の瞳孔位置を確定する。即ち、S19では、最終的な瞳孔中心位置の推定値を算出する。その後、この検出処理を終了する。このS19が、第2演算部の処理に相当する。
[1−4.効果]
以上詳述した実施形態によれば、以下の効果を奏する。
(1a)本実施形態では、重心位置と瞳孔位置との差分ベクトルを、回帰関数の手法を用いて関数予測することで、瞳孔中心の位置推定を行う。そのため、例えばスライディングウインドウを繰り返し実行することで瞳孔位置を特定する手法と比較して、効率的に瞳孔中心の位置を推定することができる。
以上詳述した実施形態によれば、以下の効果を奏する。
(1a)本実施形態では、重心位置と瞳孔位置との差分ベクトルを、回帰関数の手法を用いて関数予測することで、瞳孔中心の位置推定を行う。そのため、例えばスライディングウインドウを繰り返し実行することで瞳孔位置を特定する手法と比較して、効率的に瞳孔中心の位置を推定することができる。
(1b)本実施形態では、回帰木への入力情報として所定のピクセルペアの輝度差を用いているため、他の情報、例えば輝度の絶対値や一定範囲の輝度を用いる場合と比較して、特徴量が大きくなりやすい好適な値を、低い負荷で取得することができる。
(1b)本実施形態では、Similarity行列を用いて、標準ベクトルを修正ベクトルに変換してピクセルペアを特定し、輝度差を求める構成であるため、検出対象画像における眼の大きさや角度の影響を低減した精度の高い瞳孔中心位置の推定を行うことができる。
[2.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(3a)上記実施形態では、複数の周囲点Qを用いて重心位置ベクトルgを算出する構成を例示したが、周囲点Qを用いて算出される基準位置は重心位置に限定されるものではない。言い換えると、眼の基準となる位置は重心位置に限定されず、様々な位置を基準とすることができる。例えば、目尻と目頭の中点を基準位置としてもよい。
(3b)上記実施形態では、回帰木を用いて回帰関数gk(S(k))を取得する方法を例示したが、回帰関数を用いる方法であれば、回帰木を用いていなくともよい。また回帰木はGradient Boostingを用いて学習により構成する方法を例示したが、他の手法により回帰木を構成してもよい。
(3c)上記実施形態では、差分ベクトルS(k)を複数回更新して瞳孔中心を求める構成を例示したが、これに限定されるものではなく、差分ベクトルを一度だけ加算して瞳孔中心を求めてもよい。また、差分ベクトルの更新を行う回数、言い換えると更新を終了する条件は上記実施形態の構成に限定されず、予め設定された何らかの条件を満たすまで繰り返すように構成されていてもよい。
(3d)上記実施形態では、Similarity行列を用いて、回帰木への入力となる輝度差を算出するピクセルペアの位置を修正する構成を例示したが、Similarity行列を用いない構成であってもよい。
(3e)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
(3f)上述した瞳孔推定装置12の他、当該瞳孔推定装置12を構成要素とするシステム、当該瞳孔推定装置12としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、瞳孔推定方法など、種々の形態で本開示を実現することもできる。
12…瞳孔推定装置、21…CPU
Claims (8)
- 眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定装置(12)であって、
前記撮影画像から眼の外縁を示す複数の周囲点を検出するように構成された周囲点検出部(21、S11)と、
前記周囲点検出部により検出された複数の前記周囲点を用いて、基準位置を算出するように構成された位置算出部(21、S12)と、
前記位置算出部にて算出された基準位置、及び、前記撮影画像の所定領域の輝度を用いて、前記瞳孔中心位置と前記基準位置との差を表す差分ベクトルを、回帰関数を用いて算出するように構成された第1演算部(21、S13−S18)と、
前記第1演算部により算出された前記差分ベクトルを、前記基準位置に加算することで前記瞳孔中心位置を算出するように構成された第2演算部(21、S19)と、を備える、瞳孔推定装置。 - 請求項1に記載の瞳孔推定装置であって、
前記基準位置は、眼の重心位置である、瞳孔推定装置。 - 請求項1又は請求項2に記載の瞳孔推定装置であって、
前記第1演算部は、
前記基準位置に前記差分ベクトルを加算して得られた瞳孔中心位置を仮瞳孔中心位置とし、当該仮瞳孔中心位置の周囲における輝度の情報を入力情報として、前記撮影画像面内での移動方向及び移動量を表し前記差分ベクトルの補正に用いられる補正ベクトルを算出するように構成された補正量算出部(21、S15)と、
前記補正量算出部にて算出された補正ベクトルを前記差分ベクトルに加算することにより前記差分ベクトルを更新するように構成された更新部(21、S16)と、
前記更新部にて更新された前記差分ベクトルを用いて、前記補正量算出部による前記補正ベクトルの算出、及び、当該補正ベクトルを用いた前記更新部による前記差分ベクトルの更新を、予め設定された条件を満たすまで繰り返すように構成された演算制御部(21、S18)と、を備える、瞳孔推定装置。 - 請求項3に記載の瞳孔推定装置であって、
前記補正量算出部は、回帰木(21)を用いて前記補正ベクトルを算出するように構成されており、
前記回帰木は、各端点(23)に前記補正ベクトルが設定されている、瞳孔推定装置。 - 請求項4に記載の瞳孔推定装置であって、
前記回帰木は、前記仮瞳孔中心位置を基準として設定される2つのピクセルの輝度差が各ノード(22)における入力情報として用いられる、瞳孔推定装置。 - 請求項5に記載の瞳孔推定装置であって、
標準となる画像である標準画像における眼と、前記撮影画像における眼と、の間のずれ量を小さくするSimilarity行列を取得する行列取得部(21、S13)を備え、
前記2つのピクセルの位置は、前記標準画像に対して予め定められた標準ベクトルに、前記行列取得部により取得された前記Similarity行列による修正を加えた修正ベクトルを、前記仮瞳孔中心位置に加えた位置である、瞳孔推定装置。 - 請求項4から請求項6のいずれか1項に記載の瞳孔推定装置であって、
前記回帰木は、Gradient Boostingを用いて構成されている、瞳孔推定装置。 - 眼が含まれる撮影画像から瞳孔中心位置を推定する瞳孔推定方法であって、
前記撮影画像から眼の外縁を示す複数の周囲点を検出し、
前記複数の前記周囲点を用いて、基準位置を算出し、
前記基準位置、及び、前記撮影画像の所定領域の輝度を用いて、前記瞳孔中心位置と前記基準位置との差を表す差分ベクトルを、回帰関数を用いて算出し、
算出された前記差分ベクトルを、前記基準位置に加算することで前記瞳孔中心位置を算出する、瞳孔推定方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018143754A JP2020018474A (ja) | 2018-07-31 | 2018-07-31 | 瞳孔推定装置および瞳孔推定方法 |
PCT/JP2019/029828 WO2020027129A1 (ja) | 2018-07-31 | 2019-07-30 | 瞳孔推定装置および瞳孔推定方法 |
US17/161,043 US20210145275A1 (en) | 2018-07-31 | 2021-01-28 | Pupil estimation device and pupil estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018143754A JP2020018474A (ja) | 2018-07-31 | 2018-07-31 | 瞳孔推定装置および瞳孔推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020018474A true JP2020018474A (ja) | 2020-02-06 |
JP2020018474A5 JP2020018474A5 (ja) | 2020-07-16 |
Family
ID=69231887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018143754A Pending JP2020018474A (ja) | 2018-07-31 | 2018-07-31 | 瞳孔推定装置および瞳孔推定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210145275A1 (ja) |
JP (1) | JP2020018474A (ja) |
WO (1) | WO2020027129A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100343223B1 (ko) * | 1999-12-07 | 2002-07-10 | 윤종용 | 화자 위치 검출 장치 및 그 방법 |
US10016130B2 (en) * | 2015-09-04 | 2018-07-10 | University Of Massachusetts | Eye tracker system and methods for detecting eye parameters |
US9633250B2 (en) * | 2015-09-21 | 2017-04-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for estimating locations of facial landmarks in an image of a face using globally aligned regression |
US10872272B2 (en) * | 2017-04-13 | 2020-12-22 | L'oreal | System and method using machine learning for iris tracking, measurement, and simulation |
JP7178403B2 (ja) * | 2017-09-01 | 2022-11-25 | マジック リープ, インコーポレイテッド | ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル |
WO2019190174A1 (en) * | 2018-03-26 | 2019-10-03 | Samsung Electronics Co., Ltd. | Electronic device for monitoring health of eyes of user and method for operating the same |
-
2018
- 2018-07-31 JP JP2018143754A patent/JP2020018474A/ja active Pending
-
2019
- 2019-07-30 WO PCT/JP2019/029828 patent/WO2020027129A1/ja active Application Filing
-
2021
- 2021-01-28 US US17/161,043 patent/US20210145275A1/en not_active Abandoned
Non-Patent Citations (3)
Title |
---|
JEONG MIRA,ET AL.: "Eye pupil detection system using an ensemble of regression forest and fast radial symmetry transform", INFRARED PHYSICS & TECHNOLOGY, vol. 85, JPN6019039100, 30 May 2017 (2017-05-30), pages 44 - 51, ISSN: 0004550530 * |
KAZEMI VAHID,ET AL.: "One Millisecond Face Alignment with an Ensemble of Regression Trees", 2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6019039103, 25 September 2014 (2014-09-25), pages 1867 - 1874, ISSN: 0004550532 * |
MARKUS NENAD,ET AL.: "Eye pupil localization with an ensemble of randomized trees", PATTERN RECOGNITION, vol. 47, JPN6019039102, 16 August 2013 (2013-08-16), pages 578 - 587, ISSN: 0004550531 * |
Also Published As
Publication number | Publication date |
---|---|
US20210145275A1 (en) | 2021-05-20 |
WO2020027129A1 (ja) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
US11126888B2 (en) | Target recognition method and apparatus for a deformed image | |
CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
Oron et al. | Extended lucas-kanade tracking | |
JP6961797B2 (ja) | プレビュー写真をぼかすための方法および装置ならびにストレージ媒体 | |
JP6798183B2 (ja) | 画像解析装置、画像解析方法およびプログラム | |
US9773192B2 (en) | Fast template-based tracking | |
Qian et al. | Recurrent color constancy | |
US20190220685A1 (en) | Image processing apparatus that identifies object and method therefor | |
CN109919971B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
JP6688277B2 (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
CA3122315A1 (en) | Eye tracking method and system | |
US9967516B2 (en) | Stereo matching method and device for performing the method | |
JP2019028843A (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
JP2018028899A5 (ja) | ||
WO2018082308A1 (zh) | 一种图像处理方法及终端 | |
CN108985443B (zh) | 动作识别方法及其神经网络生成方法、装置和电子设备 | |
RU2697627C1 (ru) | Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ | |
CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
CN110837781A (zh) | 一种人脸识别方法、人脸识别装置及电子设备 | |
CN108875506B (zh) | 人脸形状点跟踪方法、装置和系统及存储介质 | |
US20230401737A1 (en) | Method for training depth estimation model, training apparatus, and electronic device applying the method | |
JP2016148588A (ja) | デプス推定モデル生成装置及びデプス推定装置 | |
WO2020027129A1 (ja) | 瞳孔推定装置および瞳孔推定方法 | |
JP2015187769A (ja) | 物体検出装置、物体検出方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220208 |