JP2001117046A - 視線検出機能付ヘッドマウントディスプレイシステム - Google Patents
視線検出機能付ヘッドマウントディスプレイシステムInfo
- Publication number
- JP2001117046A JP2001117046A JP30135699A JP30135699A JP2001117046A JP 2001117046 A JP2001117046 A JP 2001117046A JP 30135699 A JP30135699 A JP 30135699A JP 30135699 A JP30135699 A JP 30135699A JP 2001117046 A JP2001117046 A JP 2001117046A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- sight
- mounted display
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Liquid Crystal (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】
【課題】 表示画像に対する視線の動きを記録し、また
は、注意すべきところをマーカで指示することができる
教育・訓練用の視線検出機能付ヘッドマウントディスプ
レイシステムを提供する。 【解決手段】 赤外光源２から赤外線が眼球６に照射さ
れ、イメージジェネレータ９で作成されたシュミレーシ
ョン観察画像が表示部１に表示され、凹面鏡３で反射さ
れた画像を訓練者７は観察する。ＣＣＤカメラ５が眼球
画像と角膜反射像を撮像し、その信号から視線検出回路
８が視線位置を演算する。視線位置は観察画像と同期し
て記憶装置１３ａに記憶される。そして、イメージジェ
ネレータ９で作られた観察画像と視線位置情報がコンピ
ュータ１２で重畳合成され、表示部１及びモニタＴＶ１
０で表示される。また、マーカ操作装置１２ｂで観察画
像の注視すべき点にマーカを入れることができる。
は、注意すべきところをマーカで指示することができる
教育・訓練用の視線検出機能付ヘッドマウントディスプ
レイシステムを提供する。 【解決手段】 赤外光源２から赤外線が眼球６に照射さ
れ、イメージジェネレータ９で作成されたシュミレーシ
ョン観察画像が表示部１に表示され、凹面鏡３で反射さ
れた画像を訓練者７は観察する。ＣＣＤカメラ５が眼球
画像と角膜反射像を撮像し、その信号から視線検出回路
８が視線位置を演算する。視線位置は観察画像と同期し
て記憶装置１３ａに記憶される。そして、イメージジェ
ネレータ９で作られた観察画像と視線位置情報がコンピ
ュータ１２で重畳合成され、表示部１及びモニタＴＶ１
０で表示される。また、マーカ操作装置１２ｂで観察画
像の注視すべき点にマーカを入れることができる。
Description
【０００１】
【発明の属する技術分野】本発明は、シミュレータを使
用する教育・訓練分野等のＨＭＤ（ヘッドマウントディ
スプレイ）を用いたコンピュータシステムにおける視線
検出機能付ヘッドマウントディスプレイシステムに関す
る。
用する教育・訓練分野等のＨＭＤ（ヘッドマウントディ
スプレイ）を用いたコンピュータシステムにおける視線
検出機能付ヘッドマウントディスプレイシステムに関す
る。
【０００２】
【従来の技術】眼に映る画像のどの部分に、その人が関
心を持って、視線を向けているかを調べるために、さら
に、その画像を見て、視線で意思表示をしたりすること
のできる装置として、視線検出装置がある。この視線検
出装置は、ヘッドマウント式の視線検出装置と観察用画
像を表示する表示部を装着し、注視点を測定するもので
ある。図２に、視線検出機能付ヘッドマウントディスプ
レイを装着した視線検出装置を示す。この装置は、ヘッ
ドマウントディスプレイ（ＨＭＤ）と、ヘッドマウント
式の視線検出回路８と、コンピュータ１２とで構成され
ている。ヘッドマウントディスプレイは、装着者が画像
を観察するために、ハーフミラー１５ａとミラー３ａと
光学系４ｂと液晶表示器ＬＣＤ１４とを備え、一方、眼
球画像を撮像するために、赤外光源２とハーフミラー１
５ｂとＣＣＤカメラ５とを備えている。観察用画像はコ
ンピュータ１２から液晶表示器ＬＣＤ１４に表示され、
光学系４ｂ、ミラー３ａ、ハーフミラー１５ａを介して
眼球に入る。そして、低レベルの赤外光を赤外光源２か
ら眼球に斜めから照射し、ハーフミラー１５ｂを介して
ＣＣＤカメラ５によって、その眼球画像及び角膜反射像
を撮像し、眼球画像信号を視線検出回路８に取り込む。
視線検出回路８は、画像撮像回路１７と２値化回路１８
と瞳孔・角膜反射像抽出回路１９と視線検出演算回路２
０と視線検出記憶回路２１と光源用電源１６とで構成さ
れている。ＣＣＤカメラ５によって画像撮像回路１７に
取り込まれた眼球画像は、グレイスケールの中間階調を
含んだものであるため、２値化回路１８で予め設定され
た瞳孔抽出用および角膜反射像抽出用の２通りの閾値を
用いた２値化が行われる。そして瞳孔・角膜反射像抽出
回路１９によって、赤外光源２からの赤外光の角膜の反
射像の位置、瞳孔画像の中心位置が２値化像の輪郭から
抽出され、視線検出演算回路２０によって、装着者の視
線位置が計算され、視線検出記憶回路２１に記憶され
る。コンピュータ１２は、その視線位置情報の検出結果
によって、ＬＣＤ１４の観察用画像表示上のマーカを視
線位置に移動させたり、入力文字を指示する。そして、
装着者は確定ボタン１３を押すことにより意思表示す
る。
心を持って、視線を向けているかを調べるために、さら
に、その画像を見て、視線で意思表示をしたりすること
のできる装置として、視線検出装置がある。この視線検
出装置は、ヘッドマウント式の視線検出装置と観察用画
像を表示する表示部を装着し、注視点を測定するもので
ある。図２に、視線検出機能付ヘッドマウントディスプ
レイを装着した視線検出装置を示す。この装置は、ヘッ
ドマウントディスプレイ（ＨＭＤ）と、ヘッドマウント
式の視線検出回路８と、コンピュータ１２とで構成され
ている。ヘッドマウントディスプレイは、装着者が画像
を観察するために、ハーフミラー１５ａとミラー３ａと
光学系４ｂと液晶表示器ＬＣＤ１４とを備え、一方、眼
球画像を撮像するために、赤外光源２とハーフミラー１
５ｂとＣＣＤカメラ５とを備えている。観察用画像はコ
ンピュータ１２から液晶表示器ＬＣＤ１４に表示され、
光学系４ｂ、ミラー３ａ、ハーフミラー１５ａを介して
眼球に入る。そして、低レベルの赤外光を赤外光源２か
ら眼球に斜めから照射し、ハーフミラー１５ｂを介して
ＣＣＤカメラ５によって、その眼球画像及び角膜反射像
を撮像し、眼球画像信号を視線検出回路８に取り込む。
視線検出回路８は、画像撮像回路１７と２値化回路１８
と瞳孔・角膜反射像抽出回路１９と視線検出演算回路２
０と視線検出記憶回路２１と光源用電源１６とで構成さ
れている。ＣＣＤカメラ５によって画像撮像回路１７に
取り込まれた眼球画像は、グレイスケールの中間階調を
含んだものであるため、２値化回路１８で予め設定され
た瞳孔抽出用および角膜反射像抽出用の２通りの閾値を
用いた２値化が行われる。そして瞳孔・角膜反射像抽出
回路１９によって、赤外光源２からの赤外光の角膜の反
射像の位置、瞳孔画像の中心位置が２値化像の輪郭から
抽出され、視線検出演算回路２０によって、装着者の視
線位置が計算され、視線検出記憶回路２１に記憶され
る。コンピュータ１２は、その視線位置情報の検出結果
によって、ＬＣＤ１４の観察用画像表示上のマーカを視
線位置に移動させたり、入力文字を指示する。そして、
装着者は確定ボタン１３を押すことにより意思表示す
る。
【０００３】
【発明が解決しようとする課題】従来の視線検出装置
は、以上のように構成されており、ヘッドマウントディ
スプレイ装置の装着者の視線を検出し、装着者が観察用
画像のどこに関心を持っているかを調査したり、装着者
の視線で、操作する人と装着者のコミュニケーションを
するための装置として使われるが、しかし、この装置を
用いて、さらに、装着者の教育・訓練用として使用する
ためには、教育・訓練に必要なシュミレーション画像を
必要とし、装着者の視線の動きを記録して、または、表
示を訓練者に見せて、訓練者を適確な方向に指示矯正で
きるようにしなければならない。
は、以上のように構成されており、ヘッドマウントディ
スプレイ装置の装着者の視線を検出し、装着者が観察用
画像のどこに関心を持っているかを調査したり、装着者
の視線で、操作する人と装着者のコミュニケーションを
するための装置として使われるが、しかし、この装置を
用いて、さらに、装着者の教育・訓練用として使用する
ためには、教育・訓練に必要なシュミレーション画像を
必要とし、装着者の視線の動きを記録して、または、表
示を訓練者に見せて、訓練者を適確な方向に指示矯正で
きるようにしなければならない。
【０００４】本発明は、このような事情に鑑みてなされ
たものであって、上記の視線検出装置を、教育・訓練用
に用いることができるようにした視線検出機能付ヘッド
マウントディスプレイシステムを提供することを目的と
する。
たものであって、上記の視線検出装置を、教育・訓練用
に用いることができるようにした視線検出機能付ヘッド
マウントディスプレイシステムを提供することを目的と
する。
【０００５】
【課題を解決するための手段】上記の目的を達成するた
め、本発明の視線検出機能付ヘッドマウントディスプレ
イシステムは、コンピュータからの指令にしたがって観
察用画像を表示するヘッドマウントディスプレイと、そ
のヘッドマウントディスプレイに装着された眼球照明用
の光源と撮像カメラを用いて当該ディスプレイの装着者
の視線を検出する視線検出手段と、その検出結果からヘ
ッドマウントディスプレイの装着者による画像の注視点
を演算する演算手段とを備えた装置において、前記ヘッ
ドマウントディスプレイに表示する観察画像を作成する
イメージジェネレータと、前記演算手段からの画像の注
視点を前記イメージジェネレータで作成された観察画像
に同期して記憶する記憶手段と、前記記憶手段に記憶さ
れた注視点情報と観察画像とを重畳して表示する表示手
段とを備えるものである。また、コンピュータからの指
令にしたがって観察用画像を表示するヘッドマウントデ
ィスプレイと、そのヘッドマウントディスプレイに装着
された眼球照明用の光源と撮像カメラを用いて当該ディ
スプレイの装着者の視線を検出する視線検出手段と、そ
の検出結果からヘッドマウントディスプレイの装着者に
よる画像の注視点を演算する演算手段とを備えた装置に
おいて、前記ヘッドマウントディスプレイに表示する観
察画像を作成するイメージジェネレータと、前記イメー
ジジェネレータの観察画像の注視すべき位置にマーカを
重畳させて表示することのできるマーカ表示手段とを備
えるものである。
め、本発明の視線検出機能付ヘッドマウントディスプレ
イシステムは、コンピュータからの指令にしたがって観
察用画像を表示するヘッドマウントディスプレイと、そ
のヘッドマウントディスプレイに装着された眼球照明用
の光源と撮像カメラを用いて当該ディスプレイの装着者
の視線を検出する視線検出手段と、その検出結果からヘ
ッドマウントディスプレイの装着者による画像の注視点
を演算する演算手段とを備えた装置において、前記ヘッ
ドマウントディスプレイに表示する観察画像を作成する
イメージジェネレータと、前記演算手段からの画像の注
視点を前記イメージジェネレータで作成された観察画像
に同期して記憶する記憶手段と、前記記憶手段に記憶さ
れた注視点情報と観察画像とを重畳して表示する表示手
段とを備えるものである。また、コンピュータからの指
令にしたがって観察用画像を表示するヘッドマウントデ
ィスプレイと、そのヘッドマウントディスプレイに装着
された眼球照明用の光源と撮像カメラを用いて当該ディ
スプレイの装着者の視線を検出する視線検出手段と、そ
の検出結果からヘッドマウントディスプレイの装着者に
よる画像の注視点を演算する演算手段とを備えた装置に
おいて、前記ヘッドマウントディスプレイに表示する観
察画像を作成するイメージジェネレータと、前記イメー
ジジェネレータの観察画像の注視すべき位置にマーカを
重畳させて表示することのできるマーカ表示手段とを備
えるものである。
【０００６】本発明の視線検出機能付ヘッドマウントデ
ィスプレイシステムは上記のように構成されており、イ
メージジェネレータで作成された教育・訓練用のシュミ
レーション画像をヘッドマウントディスプレイの表示部
に表示し、眼球に赤外光を照射しＣＣＤカメラで眼球画
像及び角膜反射像を撮像して、視線検出演算回路で演算
して訓練者（装着者）の視線を検出し、コンピュータに
より、元のイメージジェネレータで作成されたシュミレ
ーション画像に同期して、視線位置を記憶装置に記憶さ
せることができる。そして、後ほどモニターにシュミレ
ーション画像と視線位置を重畳して表示することによっ
て教育指導することができる。さらに、マーカ操作装置
により、イメージジェネレータで作成されたシュミレー
ション画像の注視すべき位置にマーカを重畳させて表示
することもできるので、訓練者を適確な方向に指示矯正
できる。
ィスプレイシステムは上記のように構成されており、イ
メージジェネレータで作成された教育・訓練用のシュミ
レーション画像をヘッドマウントディスプレイの表示部
に表示し、眼球に赤外光を照射しＣＣＤカメラで眼球画
像及び角膜反射像を撮像して、視線検出演算回路で演算
して訓練者（装着者）の視線を検出し、コンピュータに
より、元のイメージジェネレータで作成されたシュミレ
ーション画像に同期して、視線位置を記憶装置に記憶さ
せることができる。そして、後ほどモニターにシュミレ
ーション画像と視線位置を重畳して表示することによっ
て教育指導することができる。さらに、マーカ操作装置
により、イメージジェネレータで作成されたシュミレー
ション画像の注視すべき位置にマーカを重畳させて表示
することもできるので、訓練者を適確な方向に指示矯正
できる。
【０００７】
【発明の実施の形態】本発明の視線検出機能付ヘッドマ
ウントディスプレイシステムの一実施例を図１を参照し
ながら説明する。図１は本発明の視線検出機能付ヘッド
マウントディスプレイシステムの構成を示すブロック図
である。本システムは、ヘッドマウント部に、観察画像
を表示する表示部１と、眼球６を低レベルの赤外光で斜
めから照射する赤外光源２と、表示部１に表示された観
察画像が凹面鏡３で反射し訓練者７が観察する眼球６を
カメラレンズ４を介して撮像するＣＣＤカメラ５とを搭
載し、ＣＣＤカメラ５からの眼球画像及び角膜反射像を
撮像した信号を取りこむ視線検出回路８と、表示部１に
シュミレーション教育訓練用の観察画像を送るためのイ
メージジェネレータ９と、視線検出ユニット８で演算さ
れた観察画像の視線位置をイメージジェネレータ９で作
成された観察画像に同期して記憶させるコンピュータ１
２と、その視線位置を記憶する記憶装置１３ａと、その
視線位置と観察画像を重畳させて観察することのできる
モニタＴＶ１０と、さらに、観察画像の注視すべき点に
マーカを表示させるためのマーカ操作装置１２ｂとから
構成されている。表示部１は、小型の液晶表示装置で、
訓練者７の正面上方の凹面鏡３に向かって配置され、イ
メージジェネレータ９で作成された観察画像を表示す
る。赤外光源２は、低レベルで眼球を照射する赤外光源
であり、眼球６の斜めの位置に両側に配置されている。
凹面鏡３は、表示部１の観察画像を反射し、訓練者７が
その画像を観察し、眼球６にその画像が入力される。訓
練者７が観察画像を観察し、訓練者７の視線が動けば、
眼球画像及び角膜画像が変化する。ＣＣＤカメラ５は、
カメラレンズ４を介して凹面鏡３の中央部に設けられた
開口部から眼球画像及び角膜画像を撮像する。視線検出
回路８は、図１に示すように、画像撮像回路１７と２値
化回路１８と瞳孔・角膜反射像抽出回路１９と視線検出
演算回路２０と視線検出記憶回路２１と光源用電源１６
とで構成されている。ＣＣＤカメラ５によって画像撮像
回路１７に取り込まれた眼球画像は、グレイスケールの
中間階調を含んだものであるため、２値化回路１８で予
め設定された瞳孔抽出用および角膜反射像抽出用の２通
りの閾値を用いた２値化が行われる。そして瞳孔・角膜
反射像抽出回路１９によって、赤外光源２からの赤外光
の角膜の反射像の位置、瞳孔画像の中心位置が２値化像
の輪郭から抽出され、視線検出演算回路２０によって、
装着者の視線位置が計算され、視線検出記憶回路２１に
一時的に記憶される。そして、視線位置情報はコンピュ
ータ１２により観察画像と同期して記憶装置１３ａに記
憶される。イメージジェネレータ９は、訓練者７が観察
する教育・訓練用のシュミレーション観察画像を作成
し、表示装置１に送る。同時に記憶装置１３ａに送る。
この時、視線検出回路８からの視線位置情報と作成され
た観察画像がコンピュタ１２で合成されて、表示部１及
びモニタＴＶ１０に送られる。ここで作成される画像
は、訓練者７を訓練するものであり、また、訓練者７が
画像のどの点に注視しているかを表示するものである。
マーカ操作装置１２ｂは、イメージジェネレータ９で作
成された観察画像に、注視すべき位置にマーカを重畳さ
せて表示することのできる操作装置である。例えば、ジ
ョイスティックのような操作ハンドルに押しボタンが設
けられ、画像の注視すべき点にマーカを移動させて、そ
の場所に記憶させる時には押しボタンを押すことによ
り、マーカがその場所に記憶され表示される。コンピュ
ータ１２は、システム全体の制御と、視線検出回路８か
らの検出された視線位置情報を観察画像と同期して記憶
装置１３ａに記憶したり、視線位置情報とイメージジェ
ネレータ９で作成される観察画像を重畳合成して、表示
部１及びモニタＴＶ１０に表示したり、マーカ操作装置
１２からのマーカ信号を指示されたモニタ上の場所に表
示するものである。
ウントディスプレイシステムの一実施例を図１を参照し
ながら説明する。図１は本発明の視線検出機能付ヘッド
マウントディスプレイシステムの構成を示すブロック図
である。本システムは、ヘッドマウント部に、観察画像
を表示する表示部１と、眼球６を低レベルの赤外光で斜
めから照射する赤外光源２と、表示部１に表示された観
察画像が凹面鏡３で反射し訓練者７が観察する眼球６を
カメラレンズ４を介して撮像するＣＣＤカメラ５とを搭
載し、ＣＣＤカメラ５からの眼球画像及び角膜反射像を
撮像した信号を取りこむ視線検出回路８と、表示部１に
シュミレーション教育訓練用の観察画像を送るためのイ
メージジェネレータ９と、視線検出ユニット８で演算さ
れた観察画像の視線位置をイメージジェネレータ９で作
成された観察画像に同期して記憶させるコンピュータ１
２と、その視線位置を記憶する記憶装置１３ａと、その
視線位置と観察画像を重畳させて観察することのできる
モニタＴＶ１０と、さらに、観察画像の注視すべき点に
マーカを表示させるためのマーカ操作装置１２ｂとから
構成されている。表示部１は、小型の液晶表示装置で、
訓練者７の正面上方の凹面鏡３に向かって配置され、イ
メージジェネレータ９で作成された観察画像を表示す
る。赤外光源２は、低レベルで眼球を照射する赤外光源
であり、眼球６の斜めの位置に両側に配置されている。
凹面鏡３は、表示部１の観察画像を反射し、訓練者７が
その画像を観察し、眼球６にその画像が入力される。訓
練者７が観察画像を観察し、訓練者７の視線が動けば、
眼球画像及び角膜画像が変化する。ＣＣＤカメラ５は、
カメラレンズ４を介して凹面鏡３の中央部に設けられた
開口部から眼球画像及び角膜画像を撮像する。視線検出
回路８は、図１に示すように、画像撮像回路１７と２値
化回路１８と瞳孔・角膜反射像抽出回路１９と視線検出
演算回路２０と視線検出記憶回路２１と光源用電源１６
とで構成されている。ＣＣＤカメラ５によって画像撮像
回路１７に取り込まれた眼球画像は、グレイスケールの
中間階調を含んだものであるため、２値化回路１８で予
め設定された瞳孔抽出用および角膜反射像抽出用の２通
りの閾値を用いた２値化が行われる。そして瞳孔・角膜
反射像抽出回路１９によって、赤外光源２からの赤外光
の角膜の反射像の位置、瞳孔画像の中心位置が２値化像
の輪郭から抽出され、視線検出演算回路２０によって、
装着者の視線位置が計算され、視線検出記憶回路２１に
一時的に記憶される。そして、視線位置情報はコンピュ
ータ１２により観察画像と同期して記憶装置１３ａに記
憶される。イメージジェネレータ９は、訓練者７が観察
する教育・訓練用のシュミレーション観察画像を作成
し、表示装置１に送る。同時に記憶装置１３ａに送る。
この時、視線検出回路８からの視線位置情報と作成され
た観察画像がコンピュタ１２で合成されて、表示部１及
びモニタＴＶ１０に送られる。ここで作成される画像
は、訓練者７を訓練するものであり、また、訓練者７が
画像のどの点に注視しているかを表示するものである。
マーカ操作装置１２ｂは、イメージジェネレータ９で作
成された観察画像に、注視すべき位置にマーカを重畳さ
せて表示することのできる操作装置である。例えば、ジ
ョイスティックのような操作ハンドルに押しボタンが設
けられ、画像の注視すべき点にマーカを移動させて、そ
の場所に記憶させる時には押しボタンを押すことによ
り、マーカがその場所に記憶され表示される。コンピュ
ータ１２は、システム全体の制御と、視線検出回路８か
らの検出された視線位置情報を観察画像と同期して記憶
装置１３ａに記憶したり、視線位置情報とイメージジェ
ネレータ９で作成される観察画像を重畳合成して、表示
部１及びモニタＴＶ１０に表示したり、マーカ操作装置
１２からのマーカ信号を指示されたモニタ上の場所に表
示するものである。
【０００８】次に使用例として運転者の訓練に使用した
場合について説明する。まず、訓練者７は視線検出機能
付ヘッドマウントディスプレイシステムのヘッドマウン
ト部を頭部に装着する。そして、装置の電源を入れる。
赤外光源２が眼球６を低レベルの赤外線で照射する。次
に、ドライビングシミュレータでの訓練で街中を運転す
るような画像をイメージジェネレータ９で作成し、コン
ピュータ１２の入力装置１２ａにより、表示部１に表示
させる。訓練者７であるドライバーがどこを見ていたか
という眼球６の眼球画像と角膜反射像が、ＣＣＤカメラ
５によって捕らえられ、視線検出回路８に入力される。
視線検出回路８は視線位置を演算し、コンピュータ１２
は、その位置情報を観察画像に同期して記憶装置１３ａ
に記憶する。そして、視線位置測定後に、コンピュータ
１２によって視線位置と観察画像が記憶装置１３ａから
読出され、重畳されてモニタＴＶ１０に再生表示され、
訓練者７に見せられる。急な飛び出し等の緊急時に対処
するためには、どこを見て運転すれば良いか等を指示す
る。また、初心者の訓練では、マーカ操作装置１２ｂに
より観察画像の注視すべき位置にマーカを表示して観察
させることにより、事故を避けたりする運転技術の上達
を早めることができる。
場合について説明する。まず、訓練者７は視線検出機能
付ヘッドマウントディスプレイシステムのヘッドマウン
ト部を頭部に装着する。そして、装置の電源を入れる。
赤外光源２が眼球６を低レベルの赤外線で照射する。次
に、ドライビングシミュレータでの訓練で街中を運転す
るような画像をイメージジェネレータ９で作成し、コン
ピュータ１２の入力装置１２ａにより、表示部１に表示
させる。訓練者７であるドライバーがどこを見ていたか
という眼球６の眼球画像と角膜反射像が、ＣＣＤカメラ
５によって捕らえられ、視線検出回路８に入力される。
視線検出回路８は視線位置を演算し、コンピュータ１２
は、その位置情報を観察画像に同期して記憶装置１３ａ
に記憶する。そして、視線位置測定後に、コンピュータ
１２によって視線位置と観察画像が記憶装置１３ａから
読出され、重畳されてモニタＴＶ１０に再生表示され、
訓練者７に見せられる。急な飛び出し等の緊急時に対処
するためには、どこを見て運転すれば良いか等を指示す
る。また、初心者の訓練では、マーカ操作装置１２ｂに
より観察画像の注視すべき位置にマーカを表示して観察
させることにより、事故を避けたりする運転技術の上達
を早めることができる。
【０００９】
【発明の効果】本発明の視線検出機能付ヘッドマウント
ディスプレイシステムは上記のように構成されており、
ヘッドマウント部に小型の液晶画像表示部と、眼球照明
用の赤外光源とＣＣＤカメラが、一体化されたコンパク
トなもので、訓練者が表示部のシュミレーション観察画
像を観察し、訓練者の視線がＣＣＤカメラで検出され、
演算回路で視線位置が演算されて、イメージジェネレー
タにより、作成された教育・訓練用のシュミレーション
観察画像に同期して、訓練者の視線位置がコンピュータ
で記憶装置に記憶される。そして、観察画像と視線位置
が重畳合成されてモニタに表示することができ、さら
に、マーカ操作装置により、注視すべき位置にマーカを
重畳させて表示することもできる。このため、視線位置
が記録された画像を後ほど観察し、教育指導をしたり、
また初心者の訓練では、観察画像の注視すべき位置にマ
ーカを表示して観察させることにより、運転時に注意す
べき視点を身につけることができる。
ディスプレイシステムは上記のように構成されており、
ヘッドマウント部に小型の液晶画像表示部と、眼球照明
用の赤外光源とＣＣＤカメラが、一体化されたコンパク
トなもので、訓練者が表示部のシュミレーション観察画
像を観察し、訓練者の視線がＣＣＤカメラで検出され、
演算回路で視線位置が演算されて、イメージジェネレー
タにより、作成された教育・訓練用のシュミレーション
観察画像に同期して、訓練者の視線位置がコンピュータ
で記憶装置に記憶される。そして、観察画像と視線位置
が重畳合成されてモニタに表示することができ、さら
に、マーカ操作装置により、注視すべき位置にマーカを
重畳させて表示することもできる。このため、視線位置
が記録された画像を後ほど観察し、教育指導をしたり、
また初心者の訓練では、観察画像の注視すべき位置にマ
ーカを表示して観察させることにより、運転時に注意す
べき視点を身につけることができる。
【図１】 本発明の視線検出機能付ヘッドマウントディ
スプレイシステムの一実施例を示す図である。
スプレイシステムの一実施例を示す図である。
【図２】 従来の視線検出装置を示す図である。
１…表示部 ２…赤外光源 ３…凹面鏡 ４…カメラレン
ズ ５…ＣＣＤカメラ ６…眼球 ７…訓練者 ８…視線検出回
路 ９…イメージジェネレータ １０…モニタＴＶ １２…コンピュータ １２ａ…入力装
置 １２ｂ…マーカ操作装置 １３…確定ボタ
ン １３ａ…記憶装置 １４…画像表示
スクリーン １５…ハーフミラー １６…光源用電
源 １７…画像撮像回路 １８…２値化回
路 １９…瞳孔・角膜反射像抽出回路 ２０…視線検出
演算回路 ２１…視線検出部
ズ ５…ＣＣＤカメラ ６…眼球 ７…訓練者 ８…視線検出回
路 ９…イメージジェネレータ １０…モニタＴＶ １２…コンピュータ １２ａ…入力装
置 １２ｂ…マーカ操作装置 １３…確定ボタ
ン １３ａ…記憶装置 １４…画像表示
スクリーン １５…ハーフミラー １６…光源用電
源 １７…画像撮像回路 １８…２値化回
路 １９…瞳孔・角膜反射像抽出回路 ２０…視線検出
演算回路 ２１…視線検出部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/377 Ｈ０４Ｎ 5/64 ５１１Ａ Ｈ０４Ｎ 5/64 ５１１ 13/04 13/04 Ｇ０９Ｇ 5/36 ５２０Ｌ Ｆターム(参考） 2H088 EA10 HA06 HA28 MA20 5C061 AA01 AB03 AB06 AB08 AB14 AB21 5C080 AA10 BB05 DD30 EE01 EE17 EE29 FF09 GG02 JJ02 JJ06 5C082 AA27 AA34 BA12 CA54 CA56 CB05 DA01 DA51 MM08 MM09
Claims (2)
- 【請求項１】コンピュータからの指令にしたがって観察
用画像を表示するヘッドマウントディスプレイと、その
ヘッドマウントディスプレイに装着された眼球照明用の
光源と撮像カメラを用いて当該ディスプレイの装着者の
視線を検出する視線検出手段と、その検出結果からヘッ
ドマウントディスプレイの装着者による画像の注視点を
演算する演算手段とを備えた装置において、前記ヘッド
マウントディスプレイに表示する観察画像を作成するイ
メージジェネレータと、前記演算手段からの画像の注視
点を前記イメージジェネレータで作成された観察画像に
同期して記憶する記憶手段と、前記記憶手段に記憶され
た注視点情報と観察画像とを重畳して表示する表示手段
とを備えることを特徴とする視線検出機能付ヘッドマウ
ントディスプレイシステム。 - 【請求項２】コンピュータからの指令にしたがって観察
用画像を表示するヘッドマウントディスプレイと、その
ヘッドマウントディスプレイに装着された眼球照明用の
光源と撮像カメラを用いて当該ディスプレイの装着者の
視線を検出する視線検出手段と、その検出結果からヘッ
ドマウントディスプレイの装着者による画像の注視点を
演算する演算手段とを備えた装置において、前記ヘッド
マウントディスプレイに表示する観察画像を作成するイ
メージジェネレータと、前記イメージジェネレータの観
察画像の注視すべき位置にマーカを重畳させて表示する
ことのできるマーカ表示手段とを備えたことを特徴とす
る視線検出機能付ヘッドマウントディスプレイシステ
ム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30135699A JP2001117046A (ja) | 1999-10-22 | 1999-10-22 | 視線検出機能付ヘッドマウントディスプレイシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30135699A JP2001117046A (ja) | 1999-10-22 | 1999-10-22 | 視線検出機能付ヘッドマウントディスプレイシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001117046A true JP2001117046A (ja) | 2001-04-27 |
Family
ID=17895892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30135699A Pending JP2001117046A (ja) | 1999-10-22 | 1999-10-22 | 視線検出機能付ヘッドマウントディスプレイシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001117046A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010102215A (ja) * | 2008-10-27 | 2010-05-06 | Sony Computer Entertainment Inc | 表示装置、画像処理方法、及びコンピュータプログラム |
| JP2013257565A (ja) * | 2012-06-12 | 2013-12-26 | Dassault Systemes | シンビオティックヘルパー |
| WO2014126692A1 (en) * | 2013-02-15 | 2014-08-21 | Google Inc. | Cascading optics in optical combiners of head mounted displays |
| JP2017156410A (ja) * | 2016-02-29 | 2017-09-07 | 京セラドキュメントソリューションズ株式会社 | 試験システム |
| KR20170135763A (ko) * | 2016-05-31 | 2017-12-08 | 포브, 아이엔씨. | 화상 제공 시스템 |
| JP2017228197A (ja) * | 2016-06-24 | 2017-12-28 | カシオ計算機株式会社 | 出力装置、出力方法及びプログラム |
| KR20180033222A (ko) * | 2015-11-25 | 2018-04-02 | 구글 엘엘씨 | 프리즘-기반 눈 추적 |
| JP2018061850A (ja) * | 2017-12-20 | 2018-04-19 | ソニー株式会社 | 内視鏡システム、表示制御システムおよび表示制御装置 |
| WO2019044264A1 (ja) * | 2017-08-30 | 2019-03-07 | Ａｇｃ株式会社 | 視線分析システム、視線分析方法及びトレーニング方法 |
| JP2020024278A (ja) * | 2018-08-07 | 2020-02-13 | 国立大学法人名古屋大学 | 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム |
| WO2020054595A1 (ja) * | 2018-09-11 | 2020-03-19 | ソニー株式会社 | 手術支援システム、表示制御装置、および表示制御方法 |
| JP2020115202A (ja) * | 2019-01-17 | 2020-07-30 | オムロン株式会社 | 情報処理装置、提示システム、及び情報処理プログラム |
| US10854168B2 (en) | 2015-03-30 | 2020-12-01 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
| US10874284B2 (en) | 2014-02-21 | 2020-12-29 | Sony Corporation | Display control device, display device, surgical endoscopic system and display control system |
| WO2022174650A1 (zh) * | 2021-02-19 | 2022-08-25 | 徐園植 | 修复/恢复/增强视力的眼睛锻炼仪 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0431172U (ja) * | 1990-07-11 | 1992-03-12 | ||
| JPH07141095A (ja) * | 1993-11-17 | 1995-06-02 | Matsushita Electric Ind Co Ltd | トレーニング装置 |
| JPH09274144A (ja) * | 1996-04-02 | 1997-10-21 | Canon Inc | 画像表示装置 |
| JPH11142784A (ja) * | 1997-11-04 | 1999-05-28 | Shimadzu Corp | 位置検出機能付きヘッドマウントディスプレイ |
| JPH11161814A (ja) * | 1997-11-25 | 1999-06-18 | Namco Ltd | 画像生成装置、シミュレーション装置及び情報記憶媒体 |
| JPH11259225A (ja) * | 1998-03-09 | 1999-09-24 | Shimadzu Corp | 視線入力装置 |
-
1999
- 1999-10-22 JP JP30135699A patent/JP2001117046A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0431172U (ja) * | 1990-07-11 | 1992-03-12 | ||
| JPH07141095A (ja) * | 1993-11-17 | 1995-06-02 | Matsushita Electric Ind Co Ltd | トレーニング装置 |
| JPH09274144A (ja) * | 1996-04-02 | 1997-10-21 | Canon Inc | 画像表示装置 |
| JPH11142784A (ja) * | 1997-11-04 | 1999-05-28 | Shimadzu Corp | 位置検出機能付きヘッドマウントディスプレイ |
| JPH11161814A (ja) * | 1997-11-25 | 1999-06-18 | Namco Ltd | 画像生成装置、シミュレーション装置及び情報記憶媒体 |
| JPH11259225A (ja) * | 1998-03-09 | 1999-09-24 | Shimadzu Corp | 視線入力装置 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010102215A (ja) * | 2008-10-27 | 2010-05-06 | Sony Computer Entertainment Inc | 表示装置、画像処理方法、及びコンピュータプログラム |
| JP2013257565A (ja) * | 2012-06-12 | 2013-12-26 | Dassault Systemes | シンビオティックヘルパー |
| US9824601B2 (en) | 2012-06-12 | 2017-11-21 | Dassault Systemes | Symbiotic helper |
| WO2014126692A1 (en) * | 2013-02-15 | 2014-08-21 | Google Inc. | Cascading optics in optical combiners of head mounted displays |
| CN104937476A (zh) * | 2013-02-15 | 2015-09-23 | 谷歌公司 | 头戴式显示器的光学组合器中的级联光学器件 |
| US9223139B2 (en) | 2013-02-15 | 2015-12-29 | Google Inc. | Cascading optics in optical combiners of head mounted displays |
| US10874284B2 (en) | 2014-02-21 | 2020-12-29 | Sony Corporation | Display control device, display device, surgical endoscopic system and display control system |
| US10854168B2 (en) | 2015-03-30 | 2020-12-01 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
| KR20180033222A (ko) * | 2015-11-25 | 2018-04-02 | 구글 엘엘씨 | 프리즘-기반 눈 추적 |
| KR102078059B1 (ko) | 2015-11-25 | 2020-02-17 | 구글 엘엘씨 | 프리즘-기반 눈 추적 |
| JP2017156410A (ja) * | 2016-02-29 | 2017-09-07 | 京セラドキュメントソリューションズ株式会社 | 試験システム |
| CN107526164A (zh) * | 2016-05-31 | 2017-12-29 | Fove股份有限公司 | 图像提供系统 |
| KR20170135763A (ko) * | 2016-05-31 | 2017-12-08 | 포브, 아이엔씨. | 화상 제공 시스템 |
| JP2017228197A (ja) * | 2016-06-24 | 2017-12-28 | カシオ計算機株式会社 | 出力装置、出力方法及びプログラム |
| WO2019044264A1 (ja) * | 2017-08-30 | 2019-03-07 | Ａｇｃ株式会社 | 視線分析システム、視線分析方法及びトレーニング方法 |
| JP2018061850A (ja) * | 2017-12-20 | 2018-04-19 | ソニー株式会社 | 内視鏡システム、表示制御システムおよび表示制御装置 |
| JP2020024278A (ja) * | 2018-08-07 | 2020-02-13 | 国立大学法人名古屋大学 | 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム |
| WO2020031949A1 (ja) * | 2018-08-07 | 2020-02-13 | 国立大学法人名古屋大学 | 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム |
| JP7261370B2 (ja) | 2018-08-07 | 2023-04-20 | 国立大学法人東海国立大学機構 | 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム |
| WO2020054595A1 (ja) * | 2018-09-11 | 2020-03-19 | ソニー株式会社 | 手術支援システム、表示制御装置、および表示制御方法 |
| US11446113B2 (en) | 2018-09-11 | 2022-09-20 | Sony Corporation | Surgery support system, display control device, and display control method |
| JP7111042B2 (ja) | 2019-01-17 | 2022-08-02 | オムロン株式会社 | 情報処理装置、提示システム、及び情報処理プログラム |
| JP2020115202A (ja) * | 2019-01-17 | 2020-07-30 | オムロン株式会社 | 情報処理装置、提示システム、及び情報処理プログラム |
| WO2022174650A1 (zh) * | 2021-02-19 | 2022-08-25 | 徐園植 | 修复/恢复/增强视力的眼睛锻炼仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5341181A (en) | Systems and methods for capturing and presentng visual information | |
| CN110502100B (zh) | 基于眼动跟踪的虚拟现实交互方法及装置 | |
| JP2001117046A (ja) | 視線検出機能付ヘッドマウントディスプレイシステム | |
| US8690581B2 (en) | Opthalmoscope simulator | |
| JP3240362B2 (ja) | 広視野映像提示装置 | |
| WO2005092270A1 (ja) | 斜視訓練用虚像表示装置 | |
| US7699466B2 (en) | Visual training device and visual training method | |
| JPH0759032A (ja) | 画像ディスプレー装置 | |
| JPH09274144A (ja) | 画像表示装置 | |
| JP2005172851A (ja) | 画像表示装置 | |
| JP3348956B2 (ja) | 表示装置 | |
| JPH08313843A (ja) | 視線追従方式による広視野高解像度映像提示装置 | |
| WO2006118057A1 (ja) | 画像表示装置 | |
| JP2006293786A (ja) | 視線入力装置を備えた市場調査用機器 | |
| CN104768447A (zh) | 用于对眼睛成像的设备 | |
| CN109758107A (zh) | 一种vr视觉功能检查装置 | |
| JP2018121686A (ja) | 内視鏡操作支援システム | |
| JP2000152125A (ja) | ヘッドマウントディスプレイ装置 | |
| CN109758108A (zh) | 一种ar眼镜式视觉功能检查装置 | |
| JP3661173B2 (ja) | 両眼視訓練装置 | |
| WO2011042722A1 (en) | Improvements in and relating to ophthalmic instruments | |
| JP3759187B2 (ja) | 両眼視機能訓練装置 | |
| JPH0449943A (ja) | 眼球運動分析装置 | |
| JP2006203440A (ja) | 外界光透過型ヘッドマウントディスプレイ | |
| CN113729609B (zh) | 同视机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091027 |