JP2013114491A - 情報表示装置及びプログラム - Google Patents
情報表示装置及びプログラム Download PDFInfo
- Publication number
- JP2013114491A JP2013114491A JP2011260644A JP2011260644A JP2013114491A JP 2013114491 A JP2013114491 A JP 2013114491A JP 2011260644 A JP2011260644 A JP 2011260644A JP 2011260644 A JP2011260644 A JP 2011260644A JP 2013114491 A JP2013114491 A JP 2013114491A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- information
- user
- coordinates
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
【解決手段】利用者の視線ベクトルVを検出し、当該視線ベクトルVを用いて、利用者の視野座標系Epを規定する。当該規定した利用者の視野座標系Ep内の座標を、外界座標系Wp内の座標に変換する変換行列を求め、外界座標系Wp内の対象物の位置を表す座標を、当該変換行列によって視野座標系Ep内の位置を表す座標に変換し、さらに視野座標系Epの座標を、透過型ディスプレイ15に投影して、対象物に対する情報の表示位置を求める。
【選択図】図1
Description
眼球検知部14は、 例えば撮像部13とは独立したカメラCと、近赤外光投光器Pとを備える。この眼球検知部14もまた、例えばブリッジ24の一部に固定される。そしてカメラC及び近赤外光投光器Pは、情報表示装置1を装着した利用者の、顔面の方向を撮像し、また顔面の方向に投光するよう配される。この眼球検知部14は、カメラCによって撮像された画像データを制御部11に出力する。すでに述べたように、眼球検知部14のカメラCと、撮像部13であるカメラとは、いずれもブリッジ24に固定され、互いの相対的な座標が変化しないよう固定されている。これにより眼球検知部14のカメラCの座標系Cc2と、撮像部13であるカメラの座標系Cc1とは相互に変換行列[Tc1,2]により変換可能となる。すなわち、
Cc2=[Tc1,2]Cc1、Cc1=[Tc1,2]-1Cc1=[Tc2,1]Cc1
である。
本実施の形態において外界座標系Wpは、例えば撮像部13の座標系Cc1そのものであってもよいし、撮像部13の座標系Cc1についての世界座標系であってもよい。
キャリブレーション処理部32は、これら利用者座標系Wuにおける瞳孔中心の位置ベクトルPと、角膜曲率中心のベクトルcとから、V=P−rとして、利用者座標系Wuにおける利用者の視線ベクトルVを求める。
Vc2=[Twu,c2]V
Pc2=[Twu,c2]P
とする。
Vc1=[Tc1,2]-1Vc2
Pc1=[Tc1,2]-1Pc2
で行われる。
uc1=[Tc1,2]-1u
とする。
uc1−Vc1
を射影したときの当該射影ベクトルuの方向をη軸とし、視線ベクトルVc1を法線ベクトルとする平面内でこれらξ軸,η軸の双方に直交するベクトル、例えば
u×Vc1
で求められるベクトルの方向をζ軸とする。なお、
uc1−Vc1
がゼロベクトルとなる場合(利用者が偶々近赤外光投光器Pの方向を見ていた場合)は、キャリブレーション処理部32は、処理S1へ戻って処理を繰り返すこととしてもよい。
[TDp,E]=[TE,Dp]-1=[[TE,c1][Tc1,Dp]]-1
を得る。
[TE,wp]′=[TE,wp][Tθ]
を生成する。また、ここでの例では、撮像部13とともに透過型ディスプレイ15も同じ変位を受けるので、キャリブレーションパラメータとしての変換行列[TDp,E]に対しても同様に、透過型ディスプレイの座標系を仰角方向(透過型ディスプレイの座標系Dpにおいて鉛直面内の角度方向)にθ−θ0だけ回転補正する行列[Tθ]を乗じて補正した変換行列
[TDp,E]′=[Tθ][TDp,E]
を生成する。そして、以後はこれら補正後の変換行列[TE,wp]′と[TDp,E]′とを用いて、情報表示部33としての処理を実行する。
また本実施の形態のここまでの説明では、図2に例示したように、眼鏡の形状をなす場合、つまりヘッドマウントディスプレイとして情報表示装置1を実装した場合を例として説明したが、本発明の実施の形態はこれに限られるものではない。
[TDp,E]=[TDp,wp][TE,wp]-1
を演算する。
Claims (5)
- 利用者の眼前に配される透過型ディスプレイと、
利用者の視線ベクトルVを検出する手段と、
前記検出した視線ベクトルVを用いて、利用者の視野座標系Epを規定する手段と、
前記規定した利用者の視野座標系Ep内の座標を、外界座標系Wp内の座標に変換する変換行列を求める位置合わせ手段と、
前記外界座標系Wp内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Ep内の位置を表す座標に変換する手段と、
前記視野座標系Epの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、
前記求めた表示位置に、前記対象物に対する情報を表示する手段と、
を含む情報表示装置。 - 請求項1の情報表示装置において、
さらに、利用者の頭部に装着されたことを検出するセンサ、をさらに有し、
前記位置合わせ手段は、前記センサにより、情報表示装置が装着されたと検出した時点で、前記変換行列を求める情報表示装置。 - 請求項2の情報表示装置において、
前記センサが、情報表示装置が利用者の頭部に装着されたことを検出してから、情報処理装置と、前記視点位置との相対的位置変動を検出する手段をさらに有し、
前記位置合わせ手段は、当該検出した相対的位置変動に基づいて、前記変換行列を補正する情報表示装置。 - 請求項1から3のいずれか一項に記載の情報表示装置において、
さらに、前記外界座標系Wpと、前記透過型ディスプレイ上の座標系Dpとの変換行列を求める手段を有する情報表示装置。 - 透過型ディスプレイを備えたコンピュータを、
利用者の視線ベクトルVを検出する手段と、
前記検出した視線ベクトルVを用いて、利用者の視野座標系Epを規定する手段と、
前記規定した利用者の視野座標系Ep内の座標を、外界座標系Wp内の座標に変換する変換行列を求める位置合わせ手段と、
前記外界座標系Wp内の対象物の位置を表す座標を、前記変換行列によって、前記視野座標系Epの内の位置を表す座標に変換する手段と、
前記視野座標系Epの座標を、前記透過型ディスプレイに投影して、前記対象物に対する情報の表示位置を求める手段と、
前記求めた表示位置に、前記対象物に対する情報を表示する手段と、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011260644A JP5799776B2 (ja) | 2011-11-29 | 2011-11-29 | 情報表示装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011260644A JP5799776B2 (ja) | 2011-11-29 | 2011-11-29 | 情報表示装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013114491A true JP2013114491A (ja) | 2013-06-10 |
JP5799776B2 JP5799776B2 (ja) | 2015-10-28 |
Family
ID=48709978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011260644A Active JP5799776B2 (ja) | 2011-11-29 | 2011-11-29 | 情報表示装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5799776B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015015025A (ja) * | 2013-07-03 | 2015-01-22 | ビステオン グローバル テクノロジーズ インコーポレイテッド | 画像取込みデバイスによる透過型ディスプレイの調整 |
JP2017505933A (ja) * | 2013-11-26 | 2017-02-23 | シェフィ,ヨァヴ | 実在の物体上に固定された仮想画像を生成する方法及びシステム |
JP2019502971A (ja) * | 2015-09-30 | 2019-01-31 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法 |
WO2020045092A1 (ja) * | 2018-08-28 | 2020-03-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314333A (ja) * | 1993-04-30 | 1994-11-08 | Casio Comput Co Ltd | データ処理装置 |
JPH10334275A (ja) * | 1997-05-29 | 1998-12-18 | Canon Inc | 仮想現実方法及び装置並びに記憶媒体 |
JP2003296757A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
JP2008046802A (ja) * | 2006-08-14 | 2008-02-28 | Advanced Telecommunication Research Institute International | インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム |
JP2008078846A (ja) * | 2006-09-20 | 2008-04-03 | Taro Isayama | 立体表示処理装置および立体表示処理方法 |
JP2011128220A (ja) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | 情報提示装置、情報提示方法及びプログラム |
-
2011
- 2011-11-29 JP JP2011260644A patent/JP5799776B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314333A (ja) * | 1993-04-30 | 1994-11-08 | Casio Comput Co Ltd | データ処理装置 |
JPH10334275A (ja) * | 1997-05-29 | 1998-12-18 | Canon Inc | 仮想現実方法及び装置並びに記憶媒体 |
JP2003296757A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
JP2008046802A (ja) * | 2006-08-14 | 2008-02-28 | Advanced Telecommunication Research Institute International | インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム |
JP2008078846A (ja) * | 2006-09-20 | 2008-04-03 | Taro Isayama | 立体表示処理装置および立体表示処理方法 |
JP2011128220A (ja) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | 情報提示装置、情報提示方法及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015015025A (ja) * | 2013-07-03 | 2015-01-22 | ビステオン グローバル テクノロジーズ インコーポレイテッド | 画像取込みデバイスによる透過型ディスプレイの調整 |
JP2017505933A (ja) * | 2013-11-26 | 2017-02-23 | シェフィ,ヨァヴ | 実在の物体上に固定された仮想画像を生成する方法及びシステム |
JP2019502971A (ja) * | 2015-09-30 | 2019-01-31 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法 |
WO2020045092A1 (ja) * | 2018-08-28 | 2020-03-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US11954804B2 (en) | 2018-08-28 | 2024-04-09 | Sony Corporation | Information processing device and information processing method to display a virtual object |
Also Published As
Publication number | Publication date |
---|---|
JP5799776B2 (ja) | 2015-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6963820B2 (ja) | 視線検出装置 | |
JP5844880B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
US10347048B2 (en) | Controlling a display of a head-mounted display device | |
TWI398796B (zh) | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking | |
US10467770B2 (en) | Computer program for calibration of a head-mounted display device and head-mounted display device using the computer program for calibration of a head-mounted display device | |
JP7480882B2 (ja) | 情報処理装置、認識支援方法およびコンピュータプログラム | |
WO2015190204A1 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
JP6008397B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
CN112102389A (zh) | 确定实物至少一部分的3d重构件的空间坐标的方法和系统 | |
JP2010524011A5 (ja) | ||
JP5799776B2 (ja) | 情報表示装置及びプログラム | |
US11430086B2 (en) | Upsampling low temporal resolution depth maps | |
CN108513668A (zh) | 图片处理方法和装置 | |
EP3506149A1 (en) | Method, system and computer program product for eye gaze direction estimation | |
US11012677B1 (en) | Systems and methods for correcting rolling shutter artifacts | |
WO2021262272A1 (en) | Dense depth computations aided by sparse feature matching | |
CN110998417A (zh) | 确定视近点的方法、装置和计算机程序 | |
US20240281987A1 (en) | Systems and methods for updating continuous image alignment of separate cameras | |
EP4222690A1 (en) | Eyewear distortion correction | |
JP6906943B2 (ja) | 車載器 | |
TW202143018A (zh) | 擴增實境系統與其錨定顯示方法 | |
JP2016057634A (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
JP2017173455A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US12026980B2 (en) | Pupil ellipse-based, real-time iris localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5799776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |