JP2005198743A - 三次元視点計測装置 - Google Patents

三次元視点計測装置 Download PDF

Info

Publication number
JP2005198743A
JP2005198743A JP2004006359A JP2004006359A JP2005198743A JP 2005198743 A JP2005198743 A JP 2005198743A JP 2004006359 A JP2004006359 A JP 2004006359A JP 2004006359 A JP2004006359 A JP 2004006359A JP 2005198743 A JP2005198743 A JP 2005198743A
Authority
JP
Japan
Prior art keywords
camera
pupil
light source
sight
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004006359A
Other languages
English (en)
Other versions
JP4500992B2 (ja
Inventor
Yoshinobu Ebisawa
嘉伸 海老澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2004006359A priority Critical patent/JP4500992B2/ja
Priority to US10/584,635 priority patent/US7533989B2/en
Priority to PCT/JP2004/019311 priority patent/WO2005063114A1/ja
Publication of JP2005198743A publication Critical patent/JP2005198743A/ja
Application granted granted Critical
Publication of JP4500992B2 publication Critical patent/JP4500992B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Abstract

【課題】2台のカメラと2個の光源で両目の視線を同時測定する。
【解決手段】カメラ1,2により顔7を撮影する。カメラ1近傍の光源5を点灯するとカメラ1に左眼の瞳孔が明るく写る。カメラ2近傍の光源6を点灯するとカメラ2に右目の瞳孔が明るく写る。また、角膜反射の像も得られる。これら瞳孔位置及び角膜反射像から両目の視線が同時測定できることで、輻輳角(両目の視線のなす角度)が計測でき、奥行き方向の視点(両目の視線の交差点)が計測でき、どのくらいの距離のところを見ているかもわかる。結果的に3次元空間における視点がわかる。
【選択図】 図6

Description

この発明は、人の両目の視線方向を同時に検出することにより、三次元視点を計測する装置に関する。
・特許文献1(特許2739331号:ATR)には、網膜の反射を使用することによって瞳孔検出し、顔画像から瞳孔中心30の3次元位置を2台のカメラで捉えて三角測量によって決める技術が記載されている。これは瞳孔の3次元位置を検出しているものと考えられる。また、照明光として別の波長のものを用意する必要がある。
・特許文献2(特開平10−066678号公報:NTT,NAC)には、顔面に3点のマーカを貼付し、ステレオタイプの2台のワイドカメラにより眼球位置を検出し、1台のナローカメラにより眼球トラッキングを行なう技術が記載されている。
・特許文献3(特許第2988235号:日産自動車)には、複数の照明により角膜反射像から角膜球中心を求め、角膜球中心と瞳孔中心とから視線方向を求める技術が記載されている。
・特許文献4(特許第3324295号:日産自動車)には、特許文献3と同様に複数の照明により角膜反射像から角膜球中心を求め、角膜球中心と瞳孔中心とから視線方向を求める技術が記載されている。これらの技術はいずれも視線方向の向いている視点の位置を求めるものではなく、あくまでも視線方向を検出する技術である。
特許第2739331号 特開平10−066678号公報 特許第2988235号 特許第3324295号
この発明は、従来の視線方向の検出に留まらず視線の収束点を求めることにより、視点の3次元位置を求めるものである。
本装置は、被験者の顔から離れた2台のカメラの開口近傍に設けた光源で顔全体を照らし、それら2台のカメラで捉えた両目を含む顔画像から、頭部の前後、左右の大きな動き(たとえば、30cm)を許容しながら非接触で両目の視線を同時に検出できる非接触視線検出装置であって2台のカメラで捉えた顔画像から三角測量により、2つの瞳孔の3次元位置を検出し、さらに2つの顔画像のそれぞれにおいて検出される2つの瞳孔のそれぞれの周りを詳細に解析し、2つの正確な瞳孔中心と2つの角膜反射中心を検出し、2つの眼の視線を検出する。それら2本の視線の交点が視点であり、三次元の視点の計測ができる。
図1のように、2台のカメラ1、2を被験者の顔7から離れたところに設置し、それら2台のカメラのレンズ3,4の実質的に開口の中、もしくは、開口の近くに同一の波長の光源5、6を設け、顔7の全体を照らす。2つのカメラ1、2を同期させて駆動させ、2つのカメラに取り付けられている光源5、6を奇数フィールドと偶数フィールドに同期させて交互に点灯させる。
図2に示すように、カメラ1に取り付けてある光源5を奇数フィールドで点灯させると、カメラ1の奇数フィールドの画像では瞳孔が周囲より明るく写る現象が起こり(明瞳孔:図3左)、カメラ2の奇数フィールドの画像には瞳孔が周囲よりも暗く写る現象が起こる(暗瞳孔:図3右)。
同様に、カメラ2に取り付けてある光源6を偶数フィールドで点灯させると、カメラ1とカメラ2の偶数フィールドの画像において、それぞれの暗瞳孔(図4左)と明瞳孔(図4右)が観察される。
基本的に各カメラから得られる連続する明瞳孔画像から暗瞳孔画像を画像差分することにより、瞳孔以外の部分が相殺しあって、瞳孔部のみが容易に検出できる。
瞳孔検出処理の高速化のためには、初期画像においては、画面全体に対して、飛び飛びの画素を解析することにより、2つの瞳孔のおよそのありかを検出する。その後、検出したおよその瞳孔を中心にウインドウを与え(図5中の2つの四角)、次のフレームからは、同ウインドウ内だけを画像解析をするか、もしくは、はじめからカメラからウインドウ内の画像だけを取り込み、画像解析にかかる時間を短縮する。
2つのウインドウ内の解析においては、基本的に全画素を詳細に解析し、両目の瞳孔中心と角膜反射中心を精度よく検出し、視線を決定する(図6)。
イメージセンサとしては高細精度でかつランダムアクセスもしくはウインドウ切り出しのできるCMOSセンサなどを利用し、イメージセンサから画像処理部へのデータ転送を高速化する。それにより、瞳孔中心と角膜反射中心の座標の検出を頻繁に行えることにする。得られる視線もしくは視点データを移動平均することにより、よりこれらを安定させることができる。
さらに、差分をする連続する2つの画像間の時間間隔を短くすることによって、2つの画像における瞳孔像に位置ずれが生じにくいために、視点や視線だけでなく、三次元瞳孔位置の精度や検出率の向上に寄与する。それにより頭部が移動して瞳孔像がカメラフレーム内をすばやく移動しても、差分により瞳孔が検出しやすくすると同時に、2つのカメラの同期を実質的に取ることを可能にする。
なお、カメラ2台を使用することは変わらないが、光源を増やしたり光学フィルターを利用したり、専用のカメラを製作することで、カメラ同士の同期のずれを改善する方法などが考えられる。
基本的に2つのカメラのそれぞれにおいて両方の目の視線を検出することができる。いま、図7に示すように、片目の視線は、まず、2台のカメラのカメラ較正を行った際に構成される世界座標系における瞳孔の三次元座標を2台のカメラから得られる瞳孔座標から推定する。いま、向かって左側のカメラのみに注目すると、カメラ較正により 求まるこのカメラの座標と推定された瞳孔三次元座標より、世界座標系におけるカメラ−瞳孔ベクトルが求まる。視線ベクトルを瞳孔から視点へ向かうベクトルとすると、カメラ−瞳孔ベクトルと視線ベクトルのなす角度は図中のθとφで表現できる。ここで、θは±30度程度の範囲で、図8に示す画像中の角膜反射中心から瞳孔中心へ向かうベクトルrの長さ|r|とほぼ線形関係がある(θ=k|r|、ただし、kは定数)。また、φはrの方向を示すφ’とφ=φ’の関係がある。視点Gは、視線ベクトルと視対象との交点として求まる。
視対象の存在する平面が不明であるときには、両目の視線ベクトルの交点が視点Gである。
これらの処理は、片目の視線ベクトルについても、2つのカメラのそれぞれから求まるので、それらの平均を最終的な視線ベクトルとすることもできる。また、θが大きくなると角膜反射が消失し、代わりに白目が光るようになり、事実上、瞳孔中心と角膜反射中心との相対位置関係から視線を検出することが不可能となったとき(例えば、図7において向かって右側のカメラのさらに右側を見たとき)、左側のカメラによって視線を検出するのは難しいので、右側のカメラから求まる視線ベクトルのみを利用するなどの工夫をする。
さらに大きく右を見たときは、右側のカメラでさえも角膜反射が検出できなくなる。その場合は、瞳孔の楕円度からおよその視線方向を検出する。θ>30°のとき、もしくは何らかの理由(例えば、眼鏡反射やまつげが角膜反射に重なったとき)で角膜反射が検出不可能なとき瞳孔の楕円度を利用することとする。このように、瞳孔の楕円度を利用する方法は精度の面で問題があるものの、正面に対して大きくずれたところを見た場合であって精度を必要としない場合などに有効である。
ここで、角膜反射と瞳孔中心との相対座標から視線方向が検出できる理由を以下に述べる。
<角膜反射の特徴>
図11左のように、光源21(点光源)から発射した光が、反射平面で反射し、カメラに入射する場合、入射角と反射角が等しいため、このように表現される。ここで、対象は平面ではなく、球面だとすると図11右のように表現できる。この場合、カメラ20から見たとき、あたかも光源21は、球面の接平面25と球面24との接点22にあるように見える。このとき球面の中心23と接点22とを結ぶ直線に対し、入射角と反射角が等しくなる。
ここで、もし、球面(眼球の角膜)が空間内をカメラ20と光源21に対して移動すると、図12左のように、カメラ20から見ると光源21の反射はカメラから視角が変化するため画像中で移動する。このように一般に球面を角膜球面と考えると、角膜が頭部の動きなどで移動すると角膜反射像が画像中で移動することがわかる。さらに、光源21の位置や、カメラ20の位置や方向が異なった場合も、角膜反射像の位置がカメラ画像内で異なってくることが容易に想像できる。
今、光源とカメラの位置が一致している場合を考える(図12右)。この場合は、光源から球面へ向かう光線と球面からカメラへ戻る光線とは一致する。このような条件では、光源とカメラが異なる位置にある場合よりも優れている。なぜならば、光源とカメラの位置が不一致の場合は,図13左のように、光源とカメラに対して奥行き方向の動きをすると、角膜反射像が画像中で移動するが、一致している場合(図13右)には、カメラの撮影方向に対する固定した角度上を角膜球が移動する場合に画像中では同じ位置に撮影されるという特徴がある。したがって、光源とカメラの位置が一致している場合は、角膜反射像について問題になるのは、カメラ(光源)周りの回転だけである。
<撮影画像中の角膜反射中心と瞳孔中心の間の距離|r|からカメラ-瞳孔ベクトルと視線ベクトルとのなす角度がわかる理由と方法>
図14のように、視線検出用カメラの視野内を眼球が移動するとする。いま、ステレオカメラによって、瞳孔の三次元位置がわかっているので、瞳孔がカメラおよび光源から同一の距離上を移動したとする。ただし、そのとき、カメラ-瞳孔ベクトルと視線ベクトルのなす角度θは変化しなかったとする。ただし、ここでは、簡単のため、カメラの水平軸上を瞳孔(眼球)が動いたとする。このとき、注意すべきことは、カメラから見た角膜反射像と瞳孔像の位置関係は全く変化しないことである。瞳孔がカメラ(レンズ,光源)を中心とした円周上を動くときは、画像上で角膜反射像と瞳孔像の相対距離は変化しない。
一方で、図15左のように、視線ベクトルの起点が同じ(瞳孔の3次元位置が同一)方向ベクトルが異なるときを考えると、このとき、図のように角膜反射の位置が変化する。カメラから見ると、カメラ−瞳孔ベクトルに対する視線ベクトルのなす角度が大きくなるほど、すなわちθが大きくなると画像中の角膜反射中心―瞳孔中心間の距離|r|は、大きくなることがわかる。また、図15右が示すように、目がカメラの方を向いているとき、基本的に瞳孔中心に角膜反射中心が位置し、|r|=0となる。
したがって、カメラ−瞳孔ベクトルと視線ベクトルのなす角度θと画像中の角膜反射中心−瞳孔中心ベクトルrの大きさ|r|には図16のような原点を通る単純増加関係がある。この関係は、眼球の光学系の違いから、個々の被験者によって異なる。θ-|r|関係を求めることが本手法の視線の較正であるということができる。さらに、通常は、眼の光学系の光軸と視軸とのずれがあるため、上の関係は、原点を必ずしも通らないので、補正する必要がある。これらについては、後述する。
さて、図15の左右のどちらの場合にも、カメラの向き(点O周りの撮影方向)が変わっただけでは、θおよび|r|は変化しないことに注意しなければならない。したがって、カメラの向きの情報は必要はなく、単にカメラのフレーム内に瞳孔と角膜反射が写っていれば良い。さらに、図14を使用して述べたように、点O周りに眼球が動いたとしても、θを一定に保ったまま、点Oから瞳孔中心Pまでの距離を一定に保っていれば、やはり|r|は一定となることを再度述べておく。
しかし、カメラ位置の点Oと瞳孔中心Pの距離(OP)が変わると、θが変化しなくとも|r|は変化する。すなわち、カメラレンズが固定焦点レンズであるとすると、カメラの物体との距離が長くなると物体は小さく写ることに起因する。したがって、これを補正する必要がある。上述のように、カメラ−瞳孔ベクトルのカメラの光軸とのなす角度にかかわりなく同一のθ-|r|関係が常に成立するということを利用して考える。今、図示しやすくするために、図17のように、カメラから瞳孔中心までの距離は変化するが、視線の向きが変わらない位置に瞳孔が存在するとする。この図からわかるように、カメラから見た距離が変わると、カメラに写る瞳孔中心と角膜反射中心の距離|r|は変化する。(なお、このとき、当然、画像中の瞳孔中心座標は変化する。しかし、これを考慮する必要はなく、あくまでも角膜反射と瞳孔中心の相対的な位置関係だけに注目すればよい。)
しかし、今、このように|r|が変化するのが距離OPの変化によるためであるので、これを補正していつも物体を同一の大きさで撮影するカメラがあると仮定することにし、図18のように、距離OPに応じて、物体(今は眼球)の大きさを変えて作図すると、距離OPに関係なく|r|を一定に保つことができる。距離が変わっても物体を同一の大きさに撮影することができない固定焦点カメラの場合、距離OPに応じて、画像中の|r|を補正すればよい。ただし、補正するための距離OPと|r|の関係はあらかじめ調べておく必要がある。ただし、これは視線の較正とは違い、いわば、カメラの補正であるので、被験者には関係ない。なお、OPは、ステレオカメラから求まるPの座標から計算する。
また、図17において、実際には、光源と瞳孔中心とを結ぶ光経路は直線ではなく、空気と角膜前面との境界面,角膜後面と房水との境界面などで屈折する。図17で明らかなように、距離OPが変化すると、光源と瞳孔中心とを結ぶ光経路は変化し、その経路は別の角膜位置を通る。角膜位置に依存して、前記境界面への光の入射角度が変化するため、境界面における屈折角度も変化する。したがって、前記のカメラの補正をしても、|r|は距離OPの影響を微妙に受ける。必要に応じて、人間の標準的な角膜及び房水の屈折率および角膜曲率半径情報を用いるなどして、|r|を補正する。
<カメラ-瞳孔ベクトル周りの視線ベクトルの角度(φ)と視線の較正>
ところで、視線ベクトルを決定するためには、θだけでなくφを明らかにしなければならない。ただし、以前述べたように、基本的には、φと画像中の角膜反射から瞳孔中心へ向かうベクトルrとカメラの水平軸(図8中の横軸)とのなす角度φ’は等しくなるはずである。
したがって、カメラ-瞳孔ベクトル周りの視線ベクトルの角度(φ)に関しては、較正が必要ないことを示唆する。もし、それが正しく、さらに、図16に示したθ-|r|関係に線形性があり、原点を通るならば、視線の較正は、どこか一点を被験者に見させさえすればできることになる。
両目の視線が同時測定できることで、輻輳角(両目の視線のなす角度)が計測でき、奥行き方向の視点(両目の視線の交差点)が計測でき、どのくらいの距離のところを見ているかもわかる。結果的に3次元空間における視点がわかる。
このことは、発展型3Dディプレイなどへの応用が考えられる。通常の3Dディスプレイでは、眼の焦点はディスプレイ上に合っていなければクリアーな画像を見ることができない。よって、輻輳角は変わっても目の焦点が変わらないという人間の通常の視覚機能とは異なった不自然な見方をしなければならない。ところが、奥行き方向に焦点をずらしてもそれに応じてピントが合うような発展型3Dディスプレイを用いれば、より自然な立体視感を持つことができる。
この種のディスプレイでは、眼の空間位置と眼の焦点位置を与えれば、それに合わせて2つの眼の方向に映像を選択的に映し出すと同時に眼の焦点位置において実際にピントが合うようにディスプレイを調整することができる。これを行うための情報(2つの瞳孔の三次元位置および両目の視線の交差した点、3D視点)を本システムから得ることができる。また、視線による3次元的なポインティングが可能となる。
すなわち、普通の2Dディスプレイと片目による視点マウスにおいては、単に2次元平面に並んだウインドウの選択に視点マウスが用いられるだけだが、上述の本格的な3Dディスプレイにおいては、ウインドウが3D空間に配列されることになり、奥に隠れているウインドウを三次元視点により瞬時に手前に表示させることなどができる。このように、本システムは立体的なポインティングにも使用できる。
これまで述べた構成により、2つの瞳孔の三次元位置を計測することができる。瞳孔は、視線の出所であり、したがってユーザがどこから見ているか(どこを見ているかではなく)がわかる。
1つの応用としては、仮想現実や現実の世界において、ユーザの前方にスクリーンと壁があり、その先をみることができないと仮定する(図9)。しかし、スクリーンの先には、スクリーンに映し出す画像を撮影するためのカメラがおいてあるとし、スクリーン以外のところは壁があるとする。
このとき、あたかもスクリーンが窓であり、窓の外を眺めるように作用させることができる。つまり頭部が動いたら(図10)、それに合わせて、広角のカメラで撮影した画像の内の一部をスクリーンに表示させるわけである。このように臨場感あふれた形態で必要な画像を表示することができる。
本発明者が提案する「瞳孔移動によるポインティングシステム」の概念では、単にカメラフレーム内の瞳孔の動きをカーソルの動きに反映させたものであったが、本方式では、瞳孔の三次元位置がわかるために、スクリーンに対する奥行き方向の頭部の動きを反映させることができる。
スクリーンとカメラの配置は、応用により異なる。いずれにしても、拡大して映し出している画像において隠れて見えていない場所を頭部の動きにとって窓の外を覗くように見ることができるものである。よってスクリーンに映し出す画像は、必ずしもすぐそばのものである必要はなく、遠方のものや、ミクロの世界のものを拡大撮影したものでもよい。頭を左右、上下に動かすことにより(回転でもよい)、見たい部分を変え、さらに頭部の前後の動きにより、拡大率を大きく変化させ、好きなアングル、拡大率で対象を見ることができる。
したがって、パソコンと組み合わせて使用すれば、3次元物体(例えば分子モデル)をパソコン画面に表示してそれを回転させるなどして見たいとき、通常はデスクトップパソコン用のマウスを利用するが、本装置を利用すれば、頭を回転させたり、平行移動させたりするだけで、対象の物体を自然な雰囲気で自由に動かすことができるようになる。
この方式では、このままだと、2つの眼に同一の映像が映ることになる。これが、不都合であれば、3Dディスプレイを用いて、カメラも2台用いて、左右の眼に、別々のカメラからの映像を入射させればよい。
この応用には、セキュリティーシステムなど人に見られたくない環境で有用である。たとえば、銀行のATMのシステムなどの使用時に、他人に覗き込まれても、ディスプレイが見えないようにするために、使用者の2つの瞳孔位置もしくはその近傍の方向からしか、ディスプレイが見えないようにディスプレイを制御する方式に使用できる。
同様に、周囲に人がいる中で(例えば、新幹線の中で)他人に見られたくないパソコン作業をしたいとき、ある特定の方向にからしか内容が見えないようにできるディスプレイを本方式と組み合わせることによって、操作している人にしか見えないようにできる。
この目的のためには、液晶ディスプレイのような視野角が狭く、かつ制御可能な表示装置が好適である。
この方法では、べつの利点がある。強い指向性をディスプレイに持たせることができるため、電気消費量を少なくして強い光を眼に送り込むことができる。
また,他の実施形態として電子図書の分野が考えられる。電子図書の利点の一つとして、専用装置を用いることにより、ページめくりがボタン1つでできることが挙げられる。しかし、相変わらず手による操作が必要である。このような、電子図書用専用装置に視点検出手段を組み合わせれば、例えば縦書きテキストにおいて視点が左から右に大きく動いたら自動的にページがめくれるようにできる。または、画面あるいは装置の左下にページめくり用のボタン領域を設け、それに視点が一致したら自動的にページがめくれるようにできる。このような装置によれば、手を使わずにベッド等に横になりながら本が読めるようになる。これにより、読書は楽になり、電子図書の利点が更に増すこととなる。四肢麻痺患者にとっては非常に有効な手段となる。本発明の視点検出手段は小型化が可能であり、このような形態の実施が容易である。
ここでは、電子図書用専用装置に視点検出手段を組み合わせるものとして説明したが、ノートパソコン使用状況下であっても有効であり、液晶ディスプレイの周辺に2つのカメラを埋め込めば、ユーザの視線を利用して、アクティブウインドウの選択や、高速マウス移動などに視線を利用できる。
1.最低2台のカメラと2個の光源で両目の視線が同時測定できることで、輻輳角(両目の視線のなす角度)が計測でき、奥行き方向の視点(両目の視線の交差点)が計測でき、どのくらいの距離のところを見ているかもわかる。結果的に3次元空間における視点がわかる(両目の視線の交差した点、3D視点)。
2.2つの瞳孔の三次元位置を計測することができる。瞳孔は、視線の出所であり、したがってユーザがどこから見ているか(どこを見ているかではなく)がわかる。したがって、どこから見ているかを厳密に知る必要のあるシステムにおいて有効である。
(従来は、頭部に磁気センサ等を取り付けて頭の動きを計ることによってこれを実現しなければならなかったが、頭部にセンサを取り付けねばならないだけでなく、瞳孔のありかを正確に測ることができなかった)
3.本方式は、駆動部がなく、2個のカメラは固定されているので、実現が容易である。
また、カメラの感度さえあれば、カメラの開口部を小さくできるし、光源も高輝度のものを製作すれば、小型化が容易である。
4.2つのカメラの両方で視線検出ができるため、それらから得られる検出結果を平均するなどの処理により、より視線精度を高めることができる。
2台のカメラと被験者との配置を示す図 光源の点灯・消灯と、明瞳孔・暗瞳孔の対応を示す図 光源5の点灯と、被験者の瞳孔の画像を示す図 光源6の点灯と、被験者の瞳孔の画像を示す図 顔全体と、トラッキング対象範囲を示す図 両目の視線検出により視点を求める模式図 視線ベクトルとφ,θとの関連を示す図 瞳孔中心と角膜反射から視線ベクトルを求める図 瞳孔の三次元位置を検出し、スクリーンに映し出す映像の大きさ、位置を制御する模式図 瞳孔位置の変化により映像の画角が変化する様子を示す図 スネルの定理を示す図 球面がカメラと光源に対して横方向に移動する場合を示す図。(a)は光源とカメラの位置が不一致である場合、(b)は光源とカメラの位置が一致している場合 球面が奥行き方向に移動する場合を示す図。(a)は光源とカメラの位置が不一致である場合、(b)は光源とカメラの位置が一致している場合 瞳孔がカメラ及び光源から同一の距離上を移動する場合を示す図 瞳孔中心の位置を一定にしたときに、視線ベクトルの変化と角膜反射との関係を示す図 カメラ−瞳孔ベクトルと視線ベクトルのなす角度θと、カメラ画像中の角膜反射中心−瞳孔中心ベクトルrの大きさ|r|との関係を示す図 カメラと瞳孔中心までの距離の変化による|r|への影響を示す図 カメラと瞳孔中心までの距離の変化に応じて眼球の大きさを変化させるよう補正する例を示す図
符号の説明
1,2 カメラ1,カメラ2
3,4 レンズ
5,6 光源
7 顔
8 瞳孔
9 角膜反射
10 カメラ
11 スクリーン
20 カメラ
21 光源
22 球面の接平面と球面との接点
23 球面の中心
24 球面
25 球面の接平面
26 眼球

Claims (4)

  1. 第1のカメラと、第2のカメラと、前記第1のカメラの近傍に配置された第1の光源と、前記第2のカメラの近傍に配置された第2の光源と、前記第1の光源及び前記第2の光源の点灯・消灯を制御すると共に点灯・消灯に同期した画像信号を得る制御手段と、得られた画像信号から瞳孔及び角膜反射を抽出する演算手段とからなる三次元視点計測装置。
  2. 第1のカメラと、第2のカメラと、前記第1のカメラの近傍に配置された第1の光源と、前記第2のカメラの近傍に配置された第2の光源と、前記第1の光源及び前記第2の光源の点灯・消灯を制御すると共に点灯・消灯に同期した画像信号を得る制御手段と、得られた画像信号から瞳孔及び角膜反射を抽出し、これらの位置から視線ベクトルを算出する演算手段とからなる三次元視点計測装置。
  3. 第1のカメラと、第2のカメラと、前記第1のカメラの近傍に配置された第1の光源と、前記第2のカメラの近傍に配置された第2の光源と、前記第1の光源及び前記第2の光源の点灯・消灯を制御すると共に点灯・消灯に同期した画像信号を得る制御手段と、得られた画像信号から瞳孔及び角膜反射を抽出し、これらの位置から瞳孔の三次元位置を算出する演算手段とからなる三次元視点計測装置。
  4. 前記第1の光源と前記第2の光源の発光波長はほぼ同一である請求項1乃至3記載の三次元視点計測装置。
JP2004006359A 2003-12-25 2004-01-14 三次元視点計測装置 Expired - Lifetime JP4500992B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004006359A JP4500992B2 (ja) 2004-01-14 2004-01-14 三次元視点計測装置
US10/584,635 US7533989B2 (en) 2003-12-25 2004-12-24 Sight-line detection method and device, and three-dimensional view-point measurement device
PCT/JP2004/019311 WO2005063114A1 (ja) 2003-12-25 2004-12-24 視線検出方法および装置ならびに三次元視点計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004006359A JP4500992B2 (ja) 2004-01-14 2004-01-14 三次元視点計測装置

Publications (2)

Publication Number Publication Date
JP2005198743A true JP2005198743A (ja) 2005-07-28
JP4500992B2 JP4500992B2 (ja) 2010-07-14

Family

ID=34820353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004006359A Expired - Lifetime JP4500992B2 (ja) 2003-12-25 2004-01-14 三次元視点計測装置

Country Status (1)

Country Link
JP (1) JP4500992B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100667026B1 (ko) 2005-12-15 2007-01-12 소종필 폭주근점 측정장치
JP2007083027A (ja) * 2005-08-23 2007-04-05 National Univ Corp Shizuoka Univ 瞳孔検出装置及び瞳孔検出方法
JPWO2008007781A1 (ja) * 2006-07-14 2009-12-10 パナソニック株式会社 視線方向検出装置および視線方向検出方法
WO2012020760A1 (ja) 2010-08-09 2012-02-16 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
WO2012077713A1 (ja) 2010-12-08 2012-06-14 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
JP2012217524A (ja) * 2011-04-05 2012-11-12 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
US8358337B2 (en) 2005-08-23 2013-01-22 National University Corporation Shizuoka University Pupil detection device and pupil detection method
JP2013150669A (ja) * 2012-01-24 2013-08-08 Jvc Kenwood Corp 自閉症診断支援装置、および自閉症診断支援方法
JP2013169375A (ja) * 2012-02-22 2013-09-02 Jvc Kenwood Corp 脳機能疾患診断支援装置および脳機能疾患診断支援方法
WO2014051010A1 (ja) 2012-09-28 2014-04-03 株式会社Jvcケンウッド 診断支援装置および診断支援方法
WO2014136803A1 (ja) 2013-03-07 2014-09-12 株式会社Jvcケンウッド 診断支援装置および診断支援方法
WO2014208761A1 (ja) 2013-06-28 2014-12-31 株式会社Jvcケンウッド 診断支援装置及び診断支援方法
WO2015016233A1 (ja) 2013-07-31 2015-02-05 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP2015130173A (ja) * 2014-01-03 2015-07-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
JP2015201096A (ja) * 2014-04-09 2015-11-12 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法
CN105358045A (zh) * 2013-07-09 2016-02-24 斯玛特艾公司 眼凝视成像
US10159408B2 (en) 2014-03-25 2018-12-25 JVC Kenwood Corporation Detection apparatus and detection method
CN112926521A (zh) * 2021-03-30 2021-06-08 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
JP7312277B2 (ja) 2020-01-07 2023-07-20 久範 山原 エレベータ制御システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02138673A (ja) * 1988-07-14 1990-05-28 A T R Tsushin Syst Kenkyusho:Kk 瞳孔画像撮影装置
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JPH105178A (ja) * 1996-06-26 1998-01-13 Nissan Motor Co Ltd 視線入力装置
JP2739331B2 (ja) * 1988-11-16 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 非接触視線検出装置
JPH1156782A (ja) * 1997-08-12 1999-03-02 Techno Works:Kk 二光源及び画像差分手段を用いた眼球特徴点検出方式
JP2006507054A (ja) * 2002-11-21 2006-03-02 トビイ・テクノロジー・エイビイ 眼及びその凝視方向を検知し、追跡する方法と装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02138673A (ja) * 1988-07-14 1990-05-28 A T R Tsushin Syst Kenkyusho:Kk 瞳孔画像撮影装置
JP2739331B2 (ja) * 1988-11-16 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 非接触視線検出装置
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JPH105178A (ja) * 1996-06-26 1998-01-13 Nissan Motor Co Ltd 視線入力装置
JPH1156782A (ja) * 1997-08-12 1999-03-02 Techno Works:Kk 二光源及び画像差分手段を用いた眼球特徴点検出方式
JP2006507054A (ja) * 2002-11-21 2006-03-02 トビイ・テクノロジー・エイビイ 眼及びその凝視方向を検知し、追跡する方法と装置

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358337B2 (en) 2005-08-23 2013-01-22 National University Corporation Shizuoka University Pupil detection device and pupil detection method
JP2007083027A (ja) * 2005-08-23 2007-04-05 National Univ Corp Shizuoka Univ 瞳孔検出装置及び瞳孔検出方法
JP4528980B2 (ja) * 2005-08-23 2010-08-25 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
KR100667026B1 (ko) 2005-12-15 2007-01-12 소종필 폭주근점 측정장치
JPWO2008007781A1 (ja) * 2006-07-14 2009-12-10 パナソニック株式会社 視線方向検出装置および視線方向検出方法
JP5137833B2 (ja) * 2006-07-14 2013-02-06 パナソニック株式会社 視線方向検出装置および視線方向検出方法
US9135708B2 (en) 2010-08-09 2015-09-15 National University Corporation Shizuoka University Gaze point detection method and gaze point detection device
WO2012020760A1 (ja) 2010-08-09 2012-02-16 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
US9329683B2 (en) 2010-12-08 2016-05-03 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
WO2012077713A1 (ja) 2010-12-08 2012-06-14 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
JP5858433B2 (ja) * 2010-12-08 2016-02-10 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
JP2012217524A (ja) * 2011-04-05 2012-11-12 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
JP2013150669A (ja) * 2012-01-24 2013-08-08 Jvc Kenwood Corp 自閉症診断支援装置、および自閉症診断支援方法
JP2013169375A (ja) * 2012-02-22 2013-09-02 Jvc Kenwood Corp 脳機能疾患診断支援装置および脳機能疾患診断支援方法
WO2014051010A1 (ja) 2012-09-28 2014-04-03 株式会社Jvcケンウッド 診断支援装置および診断支援方法
US10832401B2 (en) 2012-09-28 2020-11-10 JVC Kenwood Corporation Diagnosis assisting apparatus and method for assisting diagnosis
US9898816B2 (en) 2012-09-28 2018-02-20 JVC Kenwood Corporation Diagnosis assisting apparatus and method for assisting diagnosis
WO2014136803A1 (ja) 2013-03-07 2014-09-12 株式会社Jvcケンウッド 診断支援装置および診断支援方法
US10117569B2 (en) 2013-03-07 2018-11-06 JVC Kenwood Corporation Diagnosis supporting device and diagnosis supporting method
US10149643B2 (en) 2013-06-28 2018-12-11 JVC Kenwood Corporation Control device, diagnosis supporting device, control method and a non-transitory storage medium that stores control program
US9579054B2 (en) 2013-06-28 2017-02-28 JVC Kenwood Corporation Diagnosis supporting device and diagnosis supporting method
WO2014208761A1 (ja) 2013-06-28 2014-12-31 株式会社Jvcケンウッド 診断支援装置及び診断支援方法
CN105358045A (zh) * 2013-07-09 2016-02-24 斯玛特艾公司 眼凝视成像
US10123695B2 (en) 2013-07-31 2018-11-13 JVC Kenwood Corporation Diagnosis supporting device and method of supporting diagnosis
WO2015016233A1 (ja) 2013-07-31 2015-02-05 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP2015130173A (ja) * 2014-01-03 2015-07-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
US10159408B2 (en) 2014-03-25 2018-12-25 JVC Kenwood Corporation Detection apparatus and detection method
JP2015201096A (ja) * 2014-04-09 2015-11-12 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法
JP7312277B2 (ja) 2020-01-07 2023-07-20 久範 山原 エレベータ制御システム
CN112926521A (zh) * 2021-03-30 2021-06-08 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
CN112926521B (zh) * 2021-03-30 2023-01-24 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
US11863875B2 (en) 2021-03-30 2024-01-02 Qingdao Pico Technology Co., Ltd Eyeball tracking method and system based on on-off of light sources

Also Published As

Publication number Publication date
JP4500992B2 (ja) 2010-07-14

Similar Documents

Publication Publication Date Title
JP4500992B2 (ja) 三次元視点計測装置
US7533989B2 (en) Sight-line detection method and device, and three-dimensional view-point measurement device
US10108261B1 (en) Eye tracking based on light polarization
US11238598B1 (en) Estimation of absolute depth from polarization measurements
JP4604190B2 (ja) 距離イメージセンサを用いた視線検出装置
JP5167545B2 (ja) 視点検出装置
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
JP2020034919A (ja) 構造化光を用いた視線追跡
JP4649319B2 (ja) 視線検出装置、視線検出方法、および視線検出プログラム
CN107533362A (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
JP6631951B2 (ja) 視線検出装置及び視線検出方法
JP7030317B2 (ja) 瞳孔検出装置及び瞳孔検出方法
WO2006118057A1 (ja) 画像表示装置
US11557020B2 (en) Eye tracking method and apparatus
US11624907B2 (en) Method and device for eye metric acquisition
CN113260299A (zh) 用于眼睛追踪的系统和方法
WO2011136213A1 (ja) 表示装置
JP7046347B2 (ja) 画像処理装置及び画像処理方法
Hakoda et al. Eye tracking using built-in camera for smartphone-based HMD
WO2017179280A1 (ja) 視線測定装置および視線測定方法
US11960648B2 (en) Method for determining a current viewing direction of a user of data glasses with a virtual retina display and data glasses
US20230324991A1 (en) Method for determining a current viewing direction of a user of data glasses with a virtual retina display and data glasses
US11527004B2 (en) Electronic device and operation method thereof
US10963046B1 (en) Drift corrected eye tracking
JP2023063760A (ja) 識別装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20041116

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20041115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061215

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061215

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4500992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

EXPY Cancellation because of completion of term