JP2012170546A - 視線位置推定システム及び視線位置推定プログラム - Google Patents
視線位置推定システム及び視線位置推定プログラム Download PDFInfo
- Publication number
- JP2012170546A JP2012170546A JP2011033534A JP2011033534A JP2012170546A JP 2012170546 A JP2012170546 A JP 2012170546A JP 2011033534 A JP2011033534 A JP 2011033534A JP 2011033534 A JP2011033534 A JP 2011033534A JP 2012170546 A JP2012170546 A JP 2012170546A
- Authority
- JP
- Japan
- Prior art keywords
- observer
- graphic
- coordinates
- line
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 35
- 210000005252 bulbus oculi Anatomy 0.000 claims description 52
- 238000000605 extraction Methods 0.000 claims description 15
- 210000001508 eye Anatomy 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 15
- 238000005259 measurement Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
【解決手段】視線位置推定システム1Aの制御装置40Aは、眼球撮影装置10L,10Rの撮影画像に基づいて、視野撮影装置30の撮影画像に含まれる図形に対する観察者の視線位置の観察者座標を算出する観察者座標算出部41と、視線位置の観察者座標に基づいて、視野撮影装置30の撮影画像に含まれる図形における、視線位置の観察者座標に対応する部分図形を抽出する部分図形抽出部42と、図形と世界座標との関係が予め記憶された記憶部43と、抽出された部分図形と記憶された図形とをマッチングすることによって、抽出された部分図形が記憶された図形のどこに該当するかを判定し、判定結果に基づいて図形と世界座標との関係を参照することによって、視線位置の世界座標を推定する世界座標推定部44と、を備える。
【選択図】図4
Description
このような視線位置の計測手法は、観察者の眼球を撮影するカメラを観察者から離れた場所に設置する手法と、観察者の頭部に搭載する手法と、に大別される。
しかし、計測精度を向上するためには、装置規模及び演算量が大きくなってしまうため、計測の環境に制限(例えば、自動車の運転席等)を設けることが行われている(特許文献1参照)。
そのため、従来の手法は、世界座標系における頭部の姿勢を別途計測し、計測された頭部の姿勢と観察者座標系における眼球方向とを合算することによって、世界座標系における視線位置を算出する。すなわち、従来の手法は、較正パターンを用いて眼球運動計測の較正を行う(特許文献2,3参照)とともに、磁気センサ等を用いて頭部運動を別途計測する(特許文献4参照)。
図2に示すように、本発明の第一の実施形態に係る視線位置推定システム1Aは、観察者2に装着される装置群として、眼球撮影装置10L,10R(図2には、右眼球用の眼球撮影装置10Rのみを図示)と、ミラー20L,20R(図2には、右眼球用のミラー10Rのみを図示)と、視野撮影装置30と、制御装置40Aと、を備えており、これらは、観察者2が被るキャップ3の鍔部分に取り付けられている。なお、ミラー20L,30Rを省略して眼球撮影装置10L,10Rが直接眼球を撮影する構成であってもよく、制御装置40Aは、観察者2に装着されていなくてもよい。また、視線位置推定システム1Aは、ディスプレイ、スピーカ等からなる通知装置60(図4参照)と、記憶装置70(図4参照)と、を備える。さらに、視線位置推定システム1Aは、表示装置50(図1参照)の一例として、表示装置50Aをさらに備えており、キャップ3を被った観察者2は、表示装置50Aに対してある程度離れた場所に位置して表示装置50Aを見る。
表示装置50Aは、スクリーンであり、その表示面には、非可視光の一例である赤外線を特異的に反射する塗料51によって、局所的唯一図形52が描画されている。かかる構成によると、局所的唯一図形52は観察者2には見えないので、表示装置50Aに映像を表示して当該映像を見た場合の視線位置を推定することが可能となる。すなわち、表示装置50Aには、照射装置5によって生成された、観察者2が見ることが可能な映像と、観察者2には見えないが視野撮影装置30によって撮影することが可能な局所的唯一図形52と、が重ねて表示されている。
局所的唯一図形52は、当該図形の一部から当該図形全体における位置を特定することが可能な図形であり、本実施形態では、図3(a)に示すサーキュラーゾーンプレート(以下、CZPと記載する)が局所的唯一図形52の一例として採用されている。
表示部50Aの表示面は、世界座標系の互いに直交するX軸及びY軸によって構成される平面上に存在する。かかる世界座標系の原点は、観察者2の頭部運動によらず、一定の位置(例えば、表示部50Aの表示面の中心)に存在する。
眼球撮影装置10Lは、観察者2の左眼球をミラー20Lを介して撮影し、撮影画像を制御部40Aへ出力する。また、眼球撮影装置10Rは、観察者2の右眼球をミラー20Rを介して撮影し、撮影画像を制御装置40Aへ出力する。
視野撮影装置30は、本実施形態では、表示装置50Aの全体よりも広い領域を撮影可能な広角カメラであって、表示装置50Aに描画された局所的唯一図形52を撮影する赤外線カメラである。視野撮影装置30の撮影画像は、制御装置40Aへ出力される。なお、視野撮影装置30は、表示装置50Aの全体よりも広い領域を撮影可能な広角カメラに限定されず、表示装置50Aのうち、観察者2の視線位置が含まれる一部分のみを撮影可能なカメラであればよい。すなわち、視野撮影装置30の撮影画像において、表示装置50Aが見切れていたとしても、本実施形態に係る視線位置推定システム1Aは、観察者2の表示装置50A上における視線位置を世界座標系で推定することができる。
制御装置40Aは、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read-Only Memory)、入出力回路等から構成されており、図4に示すように、機能部として、観察者座標算出部41と、部分図形抽出部42と、記憶部43と、世界座標推定部44と、較正部45と、を備える。
観察者座標算出部41は、観察者座標系において、観察者2の視線位置の座標(観察者視線位置座標)を算出する。詳細には、観察者座標算出部41は、眼球撮影装置10L,10R及び視野撮影装置30の撮影画像を取得し、取得された眼球撮影装置10L,10Rの撮影画像に基づいて、観察者2の眼球の向きを算出し、かかる眼球の向きと、較正部45によって算出された複数の観察者座標と眼球の向きとの関係と、に基づいて、視野撮影装置30によって撮影された局所的唯一図形52に対する観察者2の視線位置の観察者視線位置座標を算出する。算出された観察者視線位置座標は、部分図形抽出部42へ出力される。本実施形態では、表示部50A上の複数の観察者視線位置座標と、視線の向き(眼球の向き)との関係が較正部45によって予め求められているため、観察者座標算出部41は、かかる関係を用いて観察者2の視線位置の観察者視線位置座標を算出することができる。
部分図形抽出部42は、観察者視線位置座標に対応する局所的唯一図形52の一部を抽出する。詳細には、部分図形抽出部42は、視野撮影装置30の撮影画像に含まれる局所的唯一図形52における、観察者座標算出部41によって算出された観察者視線位置座標に対応する部位、例えば、局所的唯一図形52のうち、観察者視線位置座標を中心とする正方形を設定し、当該正方形に囲まれた部位を抽出する。抽出された局所的唯一図形52の部位、すなわち部分図形は、世界座標推定部44へ出力される。
記憶部43には、局所的唯一図形52と、世界座標(X,Y)と、の関係が予め記憶されている。すなわち、表示部50Aに塗料51によって描画された局所的唯一図形52の任意の位置の世界座標(X,Y)は、記憶部43に記憶された局所的唯一図形52の該当する位置の世界座標(X,Y)と一致している。また、記憶部43には、較正部45によって算出された複数の観察者視線位置座標と眼球の向きとの関係が記憶される。
世界座標推定部44は、観察者視線位置座標に対応する世界座標を推定する。詳細には、世界座標推定部44は、記憶部43に記憶された局所的唯一図形52と、部分図形抽出部42によって抽出された局所的唯一図形52の部分図形と、をマッチングすることによって、部分図形が局所的唯一図形52のどこに該当するかを判定し、判定結果に基づいて記憶部43に記憶された局所的唯一図形52と世界座標との関係を参照することによって、視線位置の世界座標を推定する。
較正部45は、眼球撮影装置10L,10R及び視野撮影装置30の撮影画像に基づく較正作業の結果として、複数の観察者視線位置座標と眼球の向きとの関係を求めて記憶部43に記憶させる。詳細には、較正部45は、表示装置50A上の複数のポイントを観察者2が見た際の眼球の向きを眼球撮影装置10L,10Rから取得し、取得された眼球の向きを複数のポイントそれぞれの観察者座標系における座標と関連付けて記憶部43に記憶させる。ポイントの数が多いほど、その後の観察者視線位置座標の算出は正確になるため、ポイント間の他のポイントにおける眼球の向きを内挿によって算出し、その観察者座標系における座標と関連付けて記憶部43に記憶させてもよい。
続いて、本発明の第一の実施形態に係る視線位置推定システム1Aの動作例について説明する。
視線位置の推定に先行して、較正部45による較正が予め行われる。視線位置推定システム1Aは、モニタからなる表示装置80と、ボタン等からなる入力装置90と、をさらに備える。較正部80は、視野撮影装置30によって撮影された撮影画像を表示装置80に表示させた状態で、図5に示す×印(左上隅)p1を撮影画像上に表示させる。続いて、較正作業者がレーザポインタ等で×印p1に該当する表示装置50A上の位置を指し示し、観察者2は、眼球撮影装置10L,10R、ミラー20L,20R及び視線撮影装置30を頭部に装着した状態で、これらの×印p1に視線を合わせ、レーザポインタ等が指し示す位置が×印p1と一致しており、かつ、観察者2の視線が×印p1に合っている状態で入力装置90を操作する。較正部45は、眼球撮影装置10L,10Rの撮影画像に基づいて、入力装置90が操作されたときの眼球の鉛直(上下)方向の角度θ1と水平(左右)方向の角度ψ1との組み合わせ(θ1,ψ1)を算出し、算出された(θ1,ψ1)と、×印p1の観察者視線位置座標(x1,y1)とを関連付けて記憶部43に記憶させる。続いて、較正部45は、図5に示す×印(中央上)p2を撮影画像上に表示させる。較正作業者及び観察者2は、同様の動作を行い、(θ2,ψ2)と、×印p2の観察者視線位置座標(x2,y2)とを関連付けて記憶部43に記憶させる。かかる較正作業を繰り返すことによって、較正部45は、(θ1,ψ1),…,(θ9,ψ9)と、9点の×印p1〜p9(左上隅p1,中央上p2,右上隅p3,左中央p4,中央p5,右中央p6,左下隅p7,中央下p8,右下隅p9)の観察者視線位置座標(x1,y1),…,(x9,y9)と、をそれぞれ関連付けて記憶部43に記憶させる。
観察者座標算出部41は、眼球撮影装置10L,10Rの撮影画像に基づいて、眼球の向き、すなわち、観察者2の視線方向(θa,ψa)を算出する。続いて、観察者座標算出部41は、記憶部43に記憶された(θ1,ψ1),…,(θ9,ψ9)を補間することによって、観察者座標系における観察者2の視線位置(xa,ya)を算出する。
続いて、本発明の第二の実施形態に係る視線位置推定システムについて、第一の実施形態に係る視線位置推定システム1Aとの相違点を中心に説明する。
2 観察者
3 キャップ
4 記録媒体再生装置
5 照射装置
10L,10R 眼球撮影装置
20L,20R ミラー
30 視野撮影装置
40A,40B 制御装置
41 観察者座標算出部
42 部分図形抽出部
43 記憶部
44 世界座標推定部
45 較正部
46 図形出力部
50,50A,50B 表示装置
51 塗料(非可視光を特異的に反射する素材)
52,53 局所的唯一図形
60 通知装置
70 記憶装置
100 照射装置(非可視光照射装置)
110 抽出図形
Claims (8)
- 観察者の視野に設けられており、図形が表示される表示装置と、
前記観察者に装着され、前記観察者の眼球を撮影する眼球撮影装置と、
前記観察者に装着され、前記観察者の視野を撮影する視野撮影装置と、
前記観察者の視線位置の世界座標を推定する制御装置と、
を備える視線位置推定システムであって、
前記制御装置は、
前記眼球撮影装置の撮影画像に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形に対する前記観察者の視線位置の観察者座標を算出する観察者座標算出部と、
前記視線位置の観察者座標に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形における、前記視線位置の前記観察者座標に対応する部位の部分図形を抽出する部分図形抽出部と、
前記図形と世界座標との関係が予め記憶された記憶部と、
抽出された前記部分図形と記憶された前記図形とをマッチングすることによって、抽出された前記部分図形が記憶された前記図形のどこに該当するかを判定し、判定結果に基づいて前記図形と前記世界座標との関係を参照することによって、前記視線位置の前記世界座標を推定する世界座標推定部と、
を備えることを特徴とする視線位置推定システム。 - 前記図形は、非可視光を特異的に反射する素材によって前記表示装置に描画されている
ことを特徴とする請求項1に記載の視線位置推定システム。 - 非可視光を照射することによって、前記図形を前記表示装置に表示させる非可視光照射装置をさらに備える
ことを特徴とする請求項1に記載の視線位置推定システム。 - 前記図形は、当該図形の一部から当該図形全体における位置を特定することが可能な局所的唯一図形である
ことを特徴とする請求項1から請求項3のいずれか一項に記載の視線位置推定システム。 - 前記局所的唯一図形は、サーキュラーゾーンプレートである
ことを特徴とする請求項4に記載の視線位置推定システム。 - 前記局所的唯一図形は、サーキュラーゾーンプレートと格子模様とを組み合わせた図形である
ことを特徴する請求項4に記載の視線位置推定システム。 - 前記記憶部には、前記図形における前記観察者の複数の視線位置と、前記眼球撮影部によって撮影された眼球方向と、の関係が予め記憶されており、
前記観察者座標算出部は、予め記憶された前記関係を用いて、前記図形における前記観察者の視線位置を算出する
ことを特徴とする請求項1から請求項6のいずれか一項に記載の視線位置推定システム。 - 観察者の視野に設けられており、図形が表示される表示装置と、
前記観察者に装着され、前記観察者の眼球を撮影する眼球撮影装置と、
前記観察者に装着され、前記観察者の視野を撮影する視野撮影装置と、
を備える視線位置推定システムにおいて前記観察者の視線位置の世界座標を推定するために、コンピュータを、
前記眼球撮影装置の撮影画像に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形に対する前記観察者の視線位置の観察者座標を算出する観察者座標算出部、
前記視線位置の観察者座標に基づいて、前記視野撮影装置の撮影画像に含まれる前記図形における、前記視線位置の前記観察者座標に対応する部位の部分図形を抽出する部分図形抽出部、及び、
抽出された前記部分図形と記憶部に予め記憶された前記図形とをマッチングすることによって、抽出された前記部分図形が記憶された前記図形のどこに該当するかを判定し、判定結果に基づいて前記記憶部に予め記憶された前記図形と前記世界座標との関係を参照することによって、前記視線位置の前記世界座標を推定する世界座標推定部、
として機能させることを特徴とする視線位置推定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011033534A JP5522799B2 (ja) | 2011-02-18 | 2011-02-18 | 視線位置推定システム及び視線位置推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011033534A JP5522799B2 (ja) | 2011-02-18 | 2011-02-18 | 視線位置推定システム及び視線位置推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012170546A true JP2012170546A (ja) | 2012-09-10 |
JP5522799B2 JP5522799B2 (ja) | 2014-06-18 |
Family
ID=46974032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011033534A Expired - Fee Related JP5522799B2 (ja) | 2011-02-18 | 2011-02-18 | 視線位置推定システム及び視線位置推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5522799B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015528359A (ja) * | 2012-09-17 | 2015-09-28 | ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング | 三次元物体上の注視点決定方法及び装置 |
-
2011
- 2011-02-18 JP JP2011033534A patent/JP5522799B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015528359A (ja) * | 2012-09-17 | 2015-09-28 | ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング | 三次元物体上の注視点決定方法及び装置 |
JP2019141620A (ja) * | 2012-09-17 | 2019-08-29 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH | 三次元物体上の注視点決定方法及び装置 |
US10699439B2 (en) | 2012-09-17 | 2020-06-30 | Apple Inc. | Method and an apparatus for determining a gaze point on a three-dimensional object |
US11676302B2 (en) | 2012-09-17 | 2023-06-13 | Apple Inc. | Method and an apparatus for determining a gaze point on a three-dimensional object |
US11948332B2 (en) | 2012-09-17 | 2024-04-02 | Apple Inc. | Method and an apparatus for determining a gaze point on a three-dimensional object |
Also Published As
Publication number | Publication date |
---|---|
JP5522799B2 (ja) | 2014-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI496108B (zh) | AR image processing apparatus and method | |
JP5844880B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
KR101769177B1 (ko) | 시선 추적 장치 및 방법 | |
TWI520576B (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
CN102780873A (zh) | 图像处理装置和方法 | |
JP2017188744A (ja) | 車両用周辺監視装置 | |
US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
JP2013216286A (ja) | 車両周囲確認用モニター装置 | |
JP5173395B2 (ja) | 視機能検査装置 | |
CN112446906A (zh) | 虚拟空间配准的视频覆盖显示 | |
JP6669182B2 (ja) | 乗員監視装置 | |
JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
KR100982171B1 (ko) | 안면 영상 촬영장치 | |
KR20180123302A (ko) | 볼의 궤적을 시각화하는 방법 및 장치 | |
JP2019053603A (ja) | 表示制御プログラム、装置、及び方法 | |
JP5448739B2 (ja) | 画像再生装置、撮像装置、画像再生方法 | |
JPH06189906A (ja) | 視線方向計測装置 | |
US20230245332A1 (en) | Systems and methods for updating continuous image alignment of separate cameras | |
TWI486054B (zh) | A portrait processing device, a three-dimensional image display device, a method and a program | |
JP6266580B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
JP5522799B2 (ja) | 視線位置推定システム及び視線位置推定プログラム | |
JP6376699B2 (ja) | 自動車の見晴らし評価方法 | |
JP6210447B2 (ja) | 視線計測装置、注視点の表示方法、注視領域の表示方法および注視点のガウス分布の表示方法 | |
CN107884930B (zh) | 头戴式装置及控制方法 | |
JP7269617B2 (ja) | 顔画像処理装置、画像観察システム、及び瞳孔検出システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140314 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5522799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |