JP2019017491A - 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 - Google Patents
画像特徴追跡方法、視線追跡方法及び注視点追跡方法 Download PDFInfo
- Publication number
- JP2019017491A JP2019017491A JP2017136404A JP2017136404A JP2019017491A JP 2019017491 A JP2019017491 A JP 2019017491A JP 2017136404 A JP2017136404 A JP 2017136404A JP 2017136404 A JP2017136404 A JP 2017136404A JP 2019017491 A JP2019017491 A JP 2019017491A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- pupil
- search
- tracking method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 696
- 230000000007 visual effect Effects 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 133
- 238000005070 sampling Methods 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims description 489
- 210000001747 pupil Anatomy 0.000 claims description 252
- 238000001514 detection method Methods 0.000 claims description 83
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000001678 irradiating effect Effects 0.000 claims description 13
- 210000004087 cornea Anatomy 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 28
- 238000012546 transfer Methods 0.000 description 18
- 210000003128 head Anatomy 0.000 description 15
- 230000001965 increasing effect Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 8
- 230000002441 reversible effect Effects 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 102220585520 T cell receptor gamma constant 1_S20A_mutation Human genes 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 102220486681 Putative uncharacterized protein PRO1854_S10A_mutation Human genes 0.000 description 2
- 102220585521 T cell receptor gamma constant 1_S21A_mutation Human genes 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000009790 rate-determining step (RDS) Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
Description
図1を参照しながら、第1実施形態に係る画像特徴追跡方法を詳細に説明する。図1は、第1実施形態に係る画像特徴追跡方法を説明するための概念図である。第1実施形態に係る画像特徴追跡方法は、画像を取得する処理(以下「画像取得処理An」と呼ぶ)と、画像全体から特徴を探索(特徴探索処理)した後にウインドウ(探索領域)を設定する処理(以下「探索処理Dn」と呼ぶ)と、ウインドウを用いて特徴を検出する処理(以下「追跡処理Fn」と呼ぶ)と、を有する。さらに、追跡処理Fnは、後追い処理Cnと、リアルタイム処理Rnとを有する。本明細書において「探索」とは、画像全体から特徴を検出することをいう。また、「検出」とは、画像の一部に設定されるウインドウ領域内のみを対象として特徴を検出することをいう。さらに、「追跡」とは、追跡処理Fnを繰り返すことにより、特徴を追うことをいう。
図2の(a)部は、参考例1に係る画像特徴追跡方法を説明するための概念図である。参考例1の画像特徴追跡方法では、例えば、1回の画像取得処理A1と1回の追跡処理P1とを含む処理がサンプリング周期SA内に完了している。従って、参考例1に係る画像特徴追跡方法では、画像取得処理Anと追跡処理Pnとはカスケードに行うことができ、処理の遅延は生じない。
図2の(b)部は、参考例2に係る画像特徴追跡方法を説明するための概念図である。図2の(b)部に示されるように、画像取得処理A1は、サンプリング周期SAの期間内に完了する。しかし、追跡処理P1に要する時間は、参考例1における追跡処理P1に要する時間よりも長い。そうすると、1回の画像取得処理A1と1回の追跡処理P1とを含む処理に要する時間は、サンプリング周期SAよりも長くなる場合があり得る。ここで、追跡処理Pnは、画像Gnに対する種々の検出のための処理を含む。すなわち、追跡処理Pnは、探索処理Dn、後追い処理Cn、リアルタイム処理Rn、及び後戻り処理Bn(第5ステップ)などを含む。
図3の(a)部は、参考例3に係る画像特徴追跡方法を説明するための概念図である。参考例3において、画像取得処理Anに要する時間は、参考例2における画像取得処理Anに要する時間と同じである。また、追跡処理Pnに要する時間も、参考例2における追跡処理Pnに要する時間と同じである。すなわち、画像取得処理Anに要する時間と追跡処理Pnに要する時間の合計がサンプリング周期SAよりも長い。このような場合であっても、処理の態様を変更することによりフレーム落ちの発生を抑制できる。具体的には、画像取得処理Anと追跡処理Pnとを並列に行えばよい。なお、参考例3では、画像取得処理Anに要する時間はサンプリング周期SAより短いものとする。さらに、追跡処理Pnに要する時間もサンプリング周期SAより短いものとする。
図3の(b)部は、参考例4に係る画像特徴追跡方法を説明するための概念図である。参考例4に係る画像特徴追跡方法は、参考例3の画像特徴追跡方法と同様に画像取得処理Anと追跡処理Pnとを並列に行う。一方、参考例3に係る画像特徴追跡方法は、追跡処理Pnを開始するタイミングが画像取得処理Anを開始するタイミングと一致していた。参考例4に係る画像特徴追跡方法は、追跡処理Pnを開始するタイミングが画像取得処理Anを開始するタイミングと一致しない。具体的には、追跡処理Pnを開始するタイミングは、画像取得処理Anが完了したタイミングと一致する。参考例4の処理によれば、参考例3の処理に対して追跡処理Pnの結果を早く得ることができる。
図4の(a)部は、参考例5に係る画像特徴追跡方法を説明するための概念図である。参考例1〜4の方法において、画像取得処理Anは、予め設定されたサンプリング周期SAごとに行われた。つまり、カメラ(撮像装置)は、一定周期で画像Gnを取得することを前提とした。この場合、画像取得処理Anが開始されるタイミングは、各フレームの開始タイミングに一致する。一方、参考例5の方法において、画像取得処理Anが開始されるタイミングは、各フレームの開始タイミングに一致しなくてよい。つまり、コンピュータは、カメラに対して画像取得処理Anを開始するタイミングを指示する。この処理おいて、画像取得処理Anと追跡処理Pnとを含む処理に要する時間は、参考例3と同じである。しかし、参考例5の方法によれば、画像取得数を最大化することが可能である。具体的には、図3の(b)部を参照すると、参考例4の方法では、5フレーム終了した時点で、画像G1〜G4が得られる。一方、図4の(a)部を参照すると、参考例5の方法では、5フレーム終了した時点で、画像G1〜G5が得られる。つまり、参考例5の方法の方が、画像取得数が1だけ多い。
上記参考例1〜5では、個々の追跡処理Pnに要する時間が常に一定であった。参考例6では、画像Gnに対して互いに異なる2個の処理を行う場合を仮定する。
図5は、参考例7に係る画像特徴追跡方法を説明するための概念図である。参考例6では、画像取得処理Anが開始されるタイミングがフレームの開始タイミングに一致する必要がなかった。参考例7では、参考例1〜4のように、画像取得処理Anが開始されるタイミングがフレームの開始タイミングに一致する。
次に、第2実施形態に係る画像特徴追跡方法について説明する。第2実施形態に係る画像特徴追跡方法の詳細を説明する前に、参考例8に係る画像特徴追跡方法について説明する。図6は、参考例8に係る画像特徴追跡方法を説明するための概念図である。
ところで、画像G3と画像G7との間に取得された画像G4、G5、G6(第4被処理画像)は、なんらの処理もなされていない。そこで、これらの画像G4、G5、G6に対して、事後的に処理を行う。以後の説明において、このような処理を、後戻り処理Bnと呼ぶ。後戻り処理Bnとは、探索処理Dnに成功した画像Gn(画像G7)を取得したタイミング(第7フレーム)より、前(第4〜第6フレーム)に取得された画像Gn(画像G4、G5、G6:第4画像)に対して行う追跡処理と定義してもよい。一方、後追い処理Cnとは、探索処理Dnに成功した画像Gn(画像G7)を取得したタイミング(第7フレーム)より後(第8フレーム以降)に取得された画像Gn(画像G8〜G13)に対して行う追跡処理と定義してもよい。
なお、後追い処理Cnと後戻り処理Bnとは、種々の実施態様を取り得る。例えば、図7に示されるように、第2ステップS2において、後追い処理Cnと後戻り処理Bnとを並列して行ってもよい。また、図8の(a)部に示されるように、第2ステップS2において、後追い処理Cnと後戻り処理Bnとを交互に行ってもよい。また、図8の(b)部に示されるように、第3ステップS3において、リアルタイム処理Rnと後戻り処理Bnとを並列して行ってもよい。また、図8の(c)部に示されるように、第3ステップS3において、リアルタイム処理Rnと後戻り処理Bnとを交互に行ってもよい。
次に、第3実施形態に係る視線追跡方法及び注視点追跡方法について説明する。図9は、第3実施形態に係る視線追跡方法及び注視点追跡方法を説明するためのシステム図である。図9に示されるように、視線追跡方法は、ディスプレイRC(表示装置)の前に立つ被験者Hの視線を追跡する。ここでいう「視線」とは、被験者Hの瞳孔と対象物を結ぶ線をいう。そして、注視点追跡方法は、ディスプレイRC(表示装置)の前に立つ被験者Hが、ディスプレイRCのどの位置を注視しているかを検出する。つまり、注視点Qとは、被験者Hが注視するディスプレイRC上の位置をいう。この注視点Qは、被験者Hの視線を示すベクトルと、ディスプレイRCを示す平面との交点として得られる。注視点追跡方法によれば、ディスプレイRC上の注視点Qの座標が得られる。なお、注視点追跡に用いる注視点を検出する方法の詳細は、発明者らによる下記の文献1、2などを利用してよい。
文献1:国際公開第2012/020760号。
文献2:国際公開第2012/077713号。
θ=k|r|…(1)
文献3:齊藤翔太、増田和也、福元清剛、海老澤嘉伸、「遠隔注視点検出装置における眼鏡着用者対応のための近赤外光源の提案」、ViEW2013ビジョン技術の実利用化ワークショップ講演予稿集、OS5−H5(IS2−D13)、6ページ、2013年。
文献4:国際公開第2014/181775号。
文献5:増田和也、海老澤嘉伸、「近赤外光源と高速度ビデオカメラによる瞳孔と角膜反射検出法の改善」、映像情報メディア学会誌、Vol.66、No.2、46−55ページ、2012年。
文献6:海老澤嘉伸、中島彩、「角膜反射を利用した瞳孔中心点PC検出の高精度化」、映像情報メディア学会学会誌、Vol.62、No.7、1122−1126ページ、2008年。
文献7:特開2008−29702号公報。
文献8:望月幸平・齊藤翔太、福元清剛、海老澤嘉伸、「遠隔注視点検出装置の眼鏡反射対応のための新光源と差分位置補正法の提案」、2014年映像情報メディア学会冬季大会、2014年。
文献9:特開2016−95584号公報。
文献10:国際公開第2015/190204号。
文献11:国際公開第2013/176265号。
文献12:特開2007−271554号公報。
文献13:国際公開第2010/010926号。
文献14:特開2007−268026号公報。
文献15:特開2007−268164号公報。
文献16:国際公開第2016/159255号。
文献17:松本吉央、アレクサンダー ツィリンスキー、「視線方向及び頭部姿勢のリアルタイムステレオ計測アルゴリズム」、第4回IEEE(米国電気電子協会)、顔およびジェスチャーの自動認識に関する国際会議プロシーディングス(予稿)、499〜504ページ、2000年3月26〜30日。(Yoshio Matsumoto、Alexander Zelinsky、「An Algorithm for Real-Time Stereo VisionImplementation of Head Pose and Gaze Direction Measurement」、 Proceedings of the Fourth IEEE International Conference on AutomaticFace and Gesture Recognition 2000、Page 499 -504、March 26‐30、2000)。
第3実施形態では、i+1番目の顔画像Wi+1Lに対するウインドウを、i番目の顔画像WiLに設定したウインドウに基づいて設定した。具体的には、i番目の顔画像WiLにおける瞳孔中心点PCからi+1番目の顔画像Wi+1Lにおける瞳孔中心点PCを推定する。この推定により、特徴の移動を示す移動ベクトルが得られる。そして、当該移動ベクトルを利用してウインドウの位置をずらすことにより、i+1番目の顔画像Wi+1Lにおけるウインドウが設定される。つまり、特徴の移動の推定は、顔画像WnL、WnRに設定される二次元平面においてなされる。
文献18:特開2005−266868号公報。
文献19:特開2007−26073号公報。
第3実施形態において、差分画像を得る工程S22では、例えば2枚の顔画像WnL、Wn+1Lに対して位置ずれを補正する処理を行った後に、差分画像を得る処理を行った。この明瞳孔画像と暗瞳孔画像とに対する差分処理によれば、顔画像WnL、Wn+1Lに含まれる瞳孔以外の要素が相殺される。従って、差分画像は、強調された瞳孔Pを含む。しかし、差分処理によって、瞳孔以外の別の要素が相殺されない場合もあり得る。例えば、顔画像WnL、Wn+1Lに含まれる太陽光などの周囲光(外乱光)は、差分処理によって相殺されないこともある。
文献20:特開2008−246004号公報。
文献21:国際公開第2016/027627号。
コンピュータを用いて画像を処理する場合、カメラが画像データを得るステップ(露光処理)と、当該画像データをコンピュータに転送するステップ(転送処理)とを行う。近年では、画像のデータ量が増加傾向にあり、転送処理に要する時間が、露光処理に要する時間よりも長くなることがある。すなわち、露光処理よりも転送処理の方が律速段階となっている。そこで、画像データの全体を転送せずに、画像データの一部を転送するカメラが存在する。このようなカメラによれば、画像データの全体を転送する場合に比較して、転送速度を高めることができる。そこで、転送すべき領域を種々の情報によって指定し、当該領域のみをコンピュータに転送するカメラがある。例えば、転送すべき領域は、水平ラインの番号によって指定してもよいし、2個の座標によって指定してもよい。しかし、このようなカメラでは、最初の画像全体の転送が終わるまでは、次の小領域の転送を行うことができない。
特徴が移動しているように見えても、画像Gnにおける特徴の位置がほとんど変化しない場合がある。例えば、実施例1で述べたような注視点の追跡を行うとき、被験者Hの頭部が常に振動し、当該振動に伴って瞳孔中心点PCが動いているように見えることがある。しかし、画像Gnに含まれた瞳孔中心点PCは、フレーム間でほとんど変化しないことがある。この場合には、明瞳孔画像における瞳孔中心点PCと暗瞳孔画像における瞳孔中心点PCとの位置ずれは小さい。従って、第1実施形態に係る画像特徴追跡方法を利用した瞳孔検出が可能である。
後戻り法は、図16に示される状況とは別の状況に適用しても瞳孔検出の検出数の向上に寄与する。図17及び図18は、後戻り法によって瞳孔Pの検出数が向上する状況の例示である。図17及び図18に示される状況に適用される処理方法(つまり後戻り法)自体は、実施例2にて説明した後戻り法とほぼ同様である。
実施例3に示した内容について、後戻り法の効果を確認した。つまり、後戻り法を適用することによって、瞳孔Pの正検出率が高まることを実験により確認した。
Claims (15)
- 撮像装置から得た画像に含まれる特徴を追跡する画像特徴追跡方法であって、
サンプリング周期が経過するごとに前記撮像装置から第1画像を得て前記第1画像を順次保存すると共に、前記第1画像に基づく代表画像に対して特徴を探索する特徴探索処理を行い、前記特徴探索処理の結果に基づいて前記特徴を含む探索領域を設定する第1ステップと、
前記第1ステップの後に行われる第2ステップであって、前記サンプリング周期が経過するごとに前記撮像装置から第2画像を得て前記第2画像を順次保存すると共に、前記探索領域を用いて、前記代表画像よりも後に得られた少なくとも前記第1画像に基づく第1被処理画像及び少なくとも前記第2画像に基づく第2被処理画像に含まれるそれぞれの前記特徴を検出する処理を繰り返し行う前記第2ステップと、を有する画像特徴追跡方法。 - 前記第2ステップの後に行われる第3ステップであって、前記サンプリング周期が経過するごとに前記撮像装置から第3画像を得ると共に、前記探索領域を用いて少なくとも前記第3画像に基づく第3被処理画像に含まれる前記特徴を検出する処理を繰り返し行う前記第3ステップをさらに有する、請求項1に記載の画像特徴追跡方法。
- 前記第2ステップ又は前記第3ステップでは、前記探索領域を用いて、前記代表画像よりも前に得られた前記第1画像に基づく前記第1被処理画像に含まれる前記特徴をさらに検出する、請求項2に記載の画像特徴追跡方法。
- 前記第1画像、前記第2画像及び前記第3画像を得て前記第1画像、前記第2画像及び前記第3画像を順次保存する処理に要する時間は、前記サンプリング周期より短く、
前記特徴探索処理を行い、前記特徴探索処理の結果に基づいて前記特徴を含む探索領域を設定する処理に要する時間は、前記サンプリング周期より長く、
前記探索領域を用いて前記第1被処理画像、前記第2被処理画像及び前記第3被処理画像に含まれる前記特徴を検出する処理に要する時間は、前記サンプリング周期より短い、請求項3に記載の画像特徴追跡方法。 - 前記第1ステップは、
前記特徴の検出が成功するまで、前記代表画像を変更しながら前記特徴探索処理を繰り返し行い、
前記特徴探索処理を繰り返す処理では、前記特徴の検出に失敗した前記特徴探索処理が完了する前であって、当該特徴探索処理が完了したタイミングに最も近いタイミングで得られた前記第1画像に基づく前記第1被処理画像を、次の前記特徴探索処理に用いる前記代表画像として選択する、請求項1〜4の何れか一項に記載の画像特徴追跡方法。 - 撮像装置から得た画像に含まれる特徴を追跡する画像特徴追跡方法であって、
サンプリング周期が経過するごとに前記撮像装置から第4画像を得て前記第4画像を順次保存すると共に、複数の前記第4画像に基づく代表画像に対して特徴探索処理を行い、前記特徴探索処理の結果に基づいて前記特徴を含む探索領域を設定する第4ステップと、
前記第4ステップの後に行われる第5ステップであって、前記探索領域を用いて、前記代表画像よりも前に得られた少なくとも前記第4画像に基づく第4被処理画像に含まれるそれぞれの前記特徴を検出する処理を、前記第4画像を得た順番とは逆の順番に沿って繰り返す前記第5ステップと、を有する画像特徴追跡方法。 - 前記特徴は、被験者の瞳孔である、請求項1〜6の何れか一項に記載の画像特徴追跡方法。
- 前記特徴は、被験者の角膜球中心である、請求項1〜6の何れか一項に記載の画像特徴追跡方法。
- 被験者の顔を含み、前記第1被処理画像及び前記第2被処理画像としての顔画像を得るステップと、
前記顔画像に対して請求項1に記載の画像特徴追跡方法を適用することにより、前記顔画像が含む前記特徴を検出するステップと、
前記特徴を検出するステップの結果を利用して、前記被験者の視線を検出するステップと、を有する、視線追跡方法。 - 前記顔画像を得るステップは、光源から提供される第1光を前記被験者に照射して第1顔画像を得るステップと、前記光源から提供される第2光を前記被験者に照射して第2顔画像を得るステップと、を有し、
前記特徴を検出するステップでは、前記第1顔画像又は前記第2顔画像を利用して、前記特徴を検出し、
前記特徴は、前記被験者の瞳孔、及び、前記第1光及び前記第2光が前記被験者の角膜において反射した点である角膜反射点の少なくとも一方である、請求項9に記載の視線追跡方法。 - 前記顔画像を得るステップは、光源から提供される第1光を前記被験者に照射して第1顔画像を得るステップと、前記光源から提供される第2光を前記被験者に照射して第2顔画像を得るステップと、を有し、
前記特徴を検出するステップでは、前記第1顔画像及び前記第2顔画像の合成を利用して、前記被験者の瞳孔を前記特徴として検出する請求項9に記載の視線追跡方法。 - 前記特徴を検出するステップは、
前記第1顔画像と前記第2顔画像との合成を得ることにより、前記第1顔画像における前記瞳孔と前記第2顔画像における前記瞳孔との重複部を検出するステップと、
前記重複部を含む第1探索領域を前記探索領域として前記第1顔画像に設定すると共に、前記重複部を含む第2探索領域を前記探索領域として前記第2顔画像に設定するステップと、
前記第1光が前記被験者の角膜において反射した点であって前記第1顔画像に含まれる第1角膜反射点を前記第1探索領域を利用して得ると共に、前記第2光が前記被験者の角膜において反射した点であって前記第2顔画像に含まれる第2角膜反射点を前記第2探索領域を利用して得るステップと、
前記第1顔画像に対して前記第2顔画像を移動させることにより前記第1角膜反射点と前記第2角膜反射点とを互いに一致させた後に、移動させなかった前記第1顔画像と移動させた前記第2顔画像とを合成することにより前記第1顔画像における前記瞳孔を検出するステップと、
前記第2顔画像に対して前記第1顔画像を移動させることにより前記第1角膜反射点と前記第2角膜反射点とを互いに一致させた後に、移動させた前記第1画像と移動させなかった前記第2画像とを合成することにより、前記第2画像における前記瞳孔を検出するステップと、を有する、請求項11に記載の視線追跡方法。 - 前記顔画像を得るステップは、光源から提供される光を前記被験者に照射して前記顔画像を得るステップを有し、
前記特徴を検出するステップは、
前記顔画像から前記被験者の眼を包含する領域を前記特徴として探索する前記特徴探索処理を行い、前記特徴探索処理の結果を利用して前記被験者の眼を包含する領域を含む前記探索領域を設定する前記第1ステップと、
前記探索領域を利用して前記眼を包含する領域を前記特徴として検出する前記第2ステップと、
前記第2ステップにおいて検出された前記眼を包含する領域から、前記被験者の瞳孔、及び、前記光が前記被験者の角膜において反射した点である角膜反射点を検出する第3ステップと、を有する、請求項9に記載の視線追跡方法。 - 前記顔画像を得るステップは、少なくとも2台の前記撮像装置のそれぞれを利用して、同じタイミングで互いに異なる方向から複数の前記顔画像を得るステップを有し、
前記特徴を検出するステップにおける前記第2ステップは、
前記探索領域を利用して複数の前記顔画像のそれぞれから前記特徴を検出するステップと、
複数の前記顔画像のそれぞれにおける前記探索領域の位置を更新するステップと、を有し、
前記探索領域の位置を更新するステップは、
前記特徴を検出するステップによって検出された前記特徴について、前記顔画像上における二次元座標を得るステップと、
前記二次元座標に対してステレオ法を適用して、前記特徴の三次元座標を得るステップと、
前記特徴の三次元座標を利用して、所定の期間が経過した後の前記特徴の位置を示す三次元座標を予測するステップと、
前記特徴の位置を示す三次元座標を前記顔画像の二次元座標系に変換するステップと、
前記二次元座標系に変換された前記特徴の位置を利用して前記探索領域を設定するステップと、を有する、請求項9に記載の視線追跡方法。 - 請求項9〜14の何れか一項に記載の視線追跡方法を実施して前記被験者の視線を追跡するステップと、
前記被験者の視線を追跡するステップの結果を利用して、前記被験者の注視点を追跡するステップと、を有する、注視点追跡方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136404A JP7116978B2 (ja) | 2017-07-12 | 2017-07-12 | 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136404A JP7116978B2 (ja) | 2017-07-12 | 2017-07-12 | 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019017491A true JP2019017491A (ja) | 2019-02-07 |
JP7116978B2 JP7116978B2 (ja) | 2022-08-12 |
Family
ID=65352446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017136404A Active JP7116978B2 (ja) | 2017-07-12 | 2017-07-12 | 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7116978B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022169255A1 (ko) * | 2021-02-02 | 2022-08-11 | 삼성전자 주식회사 | 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005099953A (ja) * | 2003-09-22 | 2005-04-14 | Fuji Xerox Co Ltd | 画像処理装置、それを備えるオブジェクト追跡システム、画像処理方法及び画像処理プログラム |
JP2006167256A (ja) * | 2004-12-17 | 2006-06-29 | National Univ Corp Shizuoka Univ | 瞳孔検出装置 |
JP2008029702A (ja) * | 2006-07-31 | 2008-02-14 | National Univ Corp Shizuoka Univ | 瞳孔を検出する方法及び装置 |
WO2012020760A1 (ja) * | 2010-08-09 | 2012-02-16 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
JP2014217744A (ja) * | 2013-04-11 | 2014-11-20 | キヤノン株式会社 | 眼科装置及びその制御方法、並びに、プログラム |
WO2015190204A1 (ja) * | 2014-06-09 | 2015-12-17 | 国立大学法人静岡大学 | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム |
JP2016512765A (ja) * | 2013-03-18 | 2016-05-09 | ミラメトリックス インコーポレイテッド | 軸上視線追跡システム及び方法 |
US20160140394A1 (en) * | 2014-11-14 | 2016-05-19 | Intel Corporation | Visual object tracking system with model validation & management |
-
2017
- 2017-07-12 JP JP2017136404A patent/JP7116978B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005099953A (ja) * | 2003-09-22 | 2005-04-14 | Fuji Xerox Co Ltd | 画像処理装置、それを備えるオブジェクト追跡システム、画像処理方法及び画像処理プログラム |
JP2006167256A (ja) * | 2004-12-17 | 2006-06-29 | National Univ Corp Shizuoka Univ | 瞳孔検出装置 |
JP2008029702A (ja) * | 2006-07-31 | 2008-02-14 | National Univ Corp Shizuoka Univ | 瞳孔を検出する方法及び装置 |
WO2012020760A1 (ja) * | 2010-08-09 | 2012-02-16 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
JP2016512765A (ja) * | 2013-03-18 | 2016-05-09 | ミラメトリックス インコーポレイテッド | 軸上視線追跡システム及び方法 |
JP2014217744A (ja) * | 2013-04-11 | 2014-11-20 | キヤノン株式会社 | 眼科装置及びその制御方法、並びに、プログラム |
WO2015190204A1 (ja) * | 2014-06-09 | 2015-12-17 | 国立大学法人静岡大学 | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム |
US20160140394A1 (en) * | 2014-11-14 | 2016-05-19 | Intel Corporation | Visual object tracking system with model validation & management |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022169255A1 (ko) * | 2021-02-02 | 2022-08-11 | 삼성전자 주식회사 | 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP7116978B2 (ja) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11442539B2 (en) | Event camera-based gaze tracking using neural networks | |
US9292765B2 (en) | Mapping glints to light sources | |
US9959678B2 (en) | Face and eye tracking using facial sensors within a head-mounted display | |
EP3158424B1 (en) | System and method for display enhancement | |
US8942419B1 (en) | Position estimation using predetermined patterns of light sources | |
EP3252566B1 (en) | Face and eye tracking and facial animation using facial sensors within a head-mounted display | |
CN110502099B (zh) | 可靠地检测注视与刺激之间的关联的方法 | |
KR102144040B1 (ko) | 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션 | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
US10430988B2 (en) | Facial animation using facial sensors within a head-mounted display | |
US20220100268A1 (en) | Eye tracking device and a method thereof | |
US20160104036A1 (en) | Method and apparatus for detecting blink | |
US20220276717A1 (en) | Head and eye-based gesture recognition | |
JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
CN106576156A (zh) | 穿戴式介导现实系统和方法 | |
JPWO2018164104A1 (ja) | 眼部画像処理装置 | |
JP7116978B2 (ja) | 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 | |
Othman et al. | CrowdEyes: Crowdsourcing for robust real-world mobile eye tracking | |
KR20200121584A (ko) | 시선 추적 장치 | |
Malakhova et al. | Temporal data processing from webcam eye tracking using artificial neural networks | |
US12066545B2 (en) | Power-efficient hand tracking with time-of-flight sensor | |
KR101601508B1 (ko) | 시선 추적 방법 | |
EP4167199A1 (en) | Method and system for tracking and quantifying visual attention on a computing device | |
JP4543810B2 (ja) | 鼻検出装置 | |
JP2022131345A (ja) | 瞳孔検出装置及び瞳孔検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7116978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |