JP2003230539A - 視線検出装置 - Google Patents

視線検出装置

Info

Publication number
JP2003230539A
JP2003230539A JP2002030343A JP2002030343A JP2003230539A JP 2003230539 A JP2003230539 A JP 2003230539A JP 2002030343 A JP2002030343 A JP 2002030343A JP 2002030343 A JP2002030343 A JP 2002030343A JP 2003230539 A JP2003230539 A JP 2003230539A
Authority
JP
Japan
Prior art keywords
image
light
line
eye
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002030343A
Other languages
English (en)
Other versions
JP3925222B2 (ja
Inventor
Kojiro Takatori
康二郎 鷹取
Hiroaki Ueda
裕昭 上田
Yasushi Kobayashi
恭 小林
Manami Kuiseko
真奈美 杭迫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2002030343A priority Critical patent/JP3925222B2/ja
Publication of JP2003230539A publication Critical patent/JP2003230539A/ja
Application granted granted Critical
Publication of JP3925222B2 publication Critical patent/JP3925222B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Eye Examination Apparatus (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】 【課題】 視野を遮り難く、しかも小型化が容易な視線
検出装置を提供する。 【解決手段】 眼の像を撮影し、撮影した像から視線の
方向を検出する視線検出装置に眼鏡型の装着部を備え、
眼の像を撮影する撮像部を眼鏡のレンズに相当する透明
板の縁または眼鏡のつるに相当する支持部材に取り付け
るとともに、透明板に回折光学素子を設けて、回折光学
素子を介して眼の像を撮影する。視線を向けるべき選択
肢を含む映像を提供し、視線を向けられた選択肢に応じ
て、テレビ等の外部機器を制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、眼の像を撮影して
視線の方向を検出する視線検出装置に関し、例えば、視
線の方向によって表明された使用者の意思を機器の制御
に反映させるために利用される。
【0002】
【従来の技術】映像により高い臨場感を提供するバーチ
ャルリアリティの分野では、視線の方向を検出して、検
出した視線の方向に応じた映像を表示することが行われ
ている。また、近年では、障害により身体を自由に動か
すことが困難な人のために、視線の方向を検出し、検出
した視線の方向からその人の意思を判断して、機器の動
作を制御することが提案されている。例えば、視線の方
向に応じてテレビをオン/オフし、受信チャンネルを切
り替える。
【0003】姿勢や頭部の向きにかかわらず確実に視線
の方向を検出し得るようにするためには、装置全体また
は装置のうち視線の検出に直接関与する部分を、使用者
の頭部に装着する形態とする必要がある。頭部への装着
のための形態としては、ヘルメット型、ゴーグル型、眼
鏡型等があり、日常生活で使用する場合は、通常、最も
自然な眼鏡型とされる。
【0004】視線の方向の簡便な検出方法の1つに、眼
の像を撮影して、撮影した像における黒眼部分の位置に
基づいて視線の方向を判断するものがある。この方法
は、簡素な構成で実施することができ、日常生活で使用
する装置に適する。ただし、眼の像を撮影するための撮
像部によって視野が遮られて、使用者が不快感を覚えた
り、安全性が損なわれたりすることのないように配慮す
る必要がある。このため、視野の周辺部に撮像部を配置
して、眼に対して斜めの方向から眼の像を撮影すること
が行われている。
【0005】
【発明が解決しようとする課題】ところが、視野の周辺
部に撮像部を配置して眼の正面から大きく離れた方向か
ら撮影すると、撮影される眼の範囲が狭くなって、検出
精度が低下したり、検出が困難になったりすることがあ
る。例えば、使用者が視線を撮像部の反対方向に向けて
いるときには、黒眼が撮影されなくなり、視線の検出は
できない。
【0006】この不都合を解消する方法として、撮像部
を視野の周辺部に配置するとともに、外部からの光を透
過させて眼に導き、眼からの光を反射して撮像部に導く
半透過性の反射光学素子を眼の前方に配置することが考
えられる。このようにすると、視野が遮られるのを避け
ることができるだけでなく、正面付近から見た眼の像を
撮影することが可能になって、確実にかつ精度よく視線
の方向を検出することができる。
【0007】ただし、半透過性の反射光学素子として、
ごく一般的なハーフミラーを用いるのでは、外部からの
光の一部が素子によって反射されて眼に入射しなくなる
ため、観察される外界の像の一部が暗くなってしまい、
使用者に不自然な印象を与える。半透過性の反射光学素
子として、特定の波長範囲の光を選択的に反射するダイ
クロイックミラーを用い、これによって反射される波長
範囲の光を撮影に利用するようにすれば、外界の像の一
部が暗くなるのを軽減することができる。
【0008】しかしながら、ハーフミラーやダイクロイ
ックミラーは光を正反射するため、それらの向きによっ
て撮像部の位置が決まってしまい、それらと撮像部の配
設位置に大きな制約が生じて、装置の小型化が難しくな
る。例えば、ミラーを眼の直前に配置し、ミラーの真上
または真下に撮像部を配置するときは、ミラーの前後方
向の長さを上下方向の長さに等しくすることになり、厚
くなってしまって、眼鏡型とするのに適さなくなる。
【0009】本発明はこのような問題点に鑑みてなされ
たもので、視野を遮り難く、しかも小型化が容易な視線
検出装置を提供することを目的とする。
【0010】
【課題を解決するための手段】上記目的を達成するため
に、本発明では、眼の像を撮影し、撮影した像から視線
の方向を検出する視線検出装置は、眼の像を撮影する撮
像手段と、眼からの光を、回折によって進路を変えて、
撮像手段に導く導光手段とを備える構成とする。
【0011】この視線検出装置では、導光手段を備えた
ことで、撮像手段を視野の周辺部または視野外に配置し
ても眼の広い範囲を撮影することが可能であり、撮像手
段によって視野が遮られるのを避けつつ、確実にかつ精
度よく視線の方向を検出することができる。導光手段は
回折光学素子であり、回折波長、回折角、回折効率等の
回折条件の設定次第で、眼からの光を回折して撮像手段
の方向に向かわせ、外部からの光を回折することなく透
過させるようにすることが可能である。したがって、導
光手段によって視野が遮られたり外界の像の一部が暗く
なったりすることも避けられる。また、反射回折光を眼
に導く設定とすることも、透過回折光を眼に導く設定と
することもできる。
【0012】さらに、回折角を広い角度範囲の中から選
択することが可能であり、これにより、導光手段と撮像
手段の配設位置の自由度が高まり、装置の小型化が容易
になる。例えば、導光手段を眼の直前に配置しその真上
または真下に撮像手段を配置するときでも、導光手段を
前後方向の長さが上下方向の長さの半分程度以下の薄型
とすることができる。導光手段は微細な物理的凹凸から
成る回折格子とすることが可能である。
【0013】導光手段はホログラム光学素子とすること
もできる。ホログラム光学素子は作製が容易であり、透
明な材料の表面だけでなく、内部に設ける場合にも適す
る。
【0014】上記の視線検出装置は、1対の透明板とこ
れらの透明板に取り付けられた1対の支持部材を有し、
支持部材が頭部の側方に位置して側頭部で支持され、透
明板が左右の眼の直前に位置するように、人の頭部に装
着される装着手段を備え、導光手段が装着手段の透明板
に設けられている構成とするとよい。装着部材は眼鏡型
であり、日常生活での使用に便利な装置となる。
【0015】ここで、撮像手段が装着手段の透明板の縁
に取り付けられており、透明板が導光手段によって進路
を変えられた眼からの光を、自己の内部を進行させて、
撮像手段に導くようにするとよい。導光手段は、透明板
の端面を傾斜面としてこの傾斜面に設けることができる
し、透明板の内部に傾斜させて設けることもできる。こ
のようにすると、一般の眼鏡に撮像手段を取り付けただ
けのような形態となり、日常生活でごく自然に使用する
ことができる。また、導光手段が前後方向に短く、透明
板を薄くすることができるから、軽量になって、頭部へ
の装着に適する。
【0016】さらに、映像を表示する表示手段を備え、
表示手段が装着手段の透明板の縁に取り付けられて撮像
手段の近傍に位置しており、透明板が表示手段からの光
を、眼からの光を進行させる部位を含む自己の内部を進
行させて、導光手段に導き、導光手段が透明板によって
導かれた光を、回折によって進路を変えて、眼に導くよ
うにするとよい。このようにすると、視線の方向を検出
するだけでなく、映像を提供する装置となる。表示手段
は、撮像手段と同様、視野の周辺部または視野外に位置
することになり、表示手段によって視野が遮られること
も避けられる。また、撮像手段と表示手段があまり離間
していないため、映像を提供することによる装置の大型
化も抑えられる。
【0017】ここで提供する映像は、それ自体を鑑賞の
対象とすることができる。この場合、検出した視線の方
向に応じて映像を変化させることも可能である。映像
は、また、使用者が意思を表明するために視線を向ける
べき方向の案内にも利用することができる。例えば、い
くつかの選択肢を表す映像を提供して、使用者が所望の
選択肢に視線を向けるようにし、その視線の方向を検出
する。
【0018】
【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。第1の実施形態の視線検
出装置1の要部の外観を図1に示し、その回路構成の概
略を図2〜図4に模式的に示す。視線検出装置1は、装
着ユニット20、撮像ユニット30、コントロールユニ
ット40、表示ユニット50および照明ユニット60よ
り成る。視線検出装置1は撮像ユニット30によって眼
の像を撮影し、撮影した像における黒眼の位置から視線
の方向を検出するもので、撮像ユニット30は使用者の
頭部に装着される装着ユニット20に取り付けられてい
る。
【0019】装着ユニット20は、1対の透明板21
L、21R、これらの透明板21L、21Rを連結する
連結部材22、透明板21L、21Rの側端部に取り付
けられ、透明板から遠い端部が湾曲した棒状の1対の支
持部材23L、23R、および連結部材22に取り付け
られ、連結部材22から遠い端部に面積の広い部分を有
する1対の支持部材24L、24Rより成る。装着ユニ
ット20が頭部に装着されたとき、透明板21L、21
Rがそれぞれ左右の眼の直前に位置し、支持部材23
L、23Rが左右から頭部を挟んで耳の上縁を含む側頭
部で支持され、支持部材24L、24Rが鼻の上部両側
部で支持される。すなわち、装着ユニット20は眼鏡型
であり、透明板21L、21Rが一般の眼鏡のレンズ
に、支持部材23L、23Rがつる(テンプル)に、支
持部材24L、24Rが鼻当てに相当する。
【0020】撮像ユニット30は、一方の支持部材23
Lに取り付けられており、支持部材23Lが取り付けら
れている透明板21Lに向けて配置されている。照明ユ
ニット60も、支持部材23Lに取り付けられており、
撮像ユニット30の近傍に位置して、透明板21Lに向
けて配置されている。照明ユニット60には、赤外光を
発する発光ダイオード、その駆動部、およびコントロー
ルユニット40から無線で与えられる制御信号を受ける
受信部が内蔵されている。
【0021】透明板21Lの使用者の顔側の表面のうち
中央よりもやや下方の部位には、微細な凹凸形状の周期
的配列である回折格子25が設けられている。回折格子
25は、前方からの可視光を全て透過させるように設定
されている。したがって、回折格子25の存在により使
用者が観察する外界の像の一部が暗くなることはない。
回折格子25は、また、照明ユニット60からの赤外光
を反射して眼に導き、眼によって反射された赤外光を撮
像ユニット30と照明ユニット60の方向に向けて反射
するように設定されている。
【0022】視線検出装置1は、照明ユニット60から
の赤外光によって眼を照明し、その反射光を用いて眼の
像を撮影する。使用者の眼から撮像ユニット30に導か
れる光は、使用者の眼の像だけでなく、眼の表面に映っ
た外界の像も表すが、撮像ユニット30が撮影に用いる
光を可視光ではなく赤外光としたことで、眼の像の認識
に際して外界の像がノイズとなることが避けられ、像認
識を誤りなく行うことができる。
【0023】図2に示すように、撮像ユニット30は、
光電変換を行うことによって光が表す像を撮影する撮像
素子32、撮像素子32上に光を結像させる撮影レンズ
31、撮像素子32を駆動する駆動部33、およびコン
トロールユニット40との間で無線によって通信を行う
送受信部34を含む。撮像素子32は照明ユニット60
が発する赤外光に対して感度を有する。
【0024】送受信部34は、コントロールユニット4
0からの制御信号を受けて駆動部33に与え、駆動部3
3は与えられる制御信号に応じて、撮像素子32の光電
変換と信号出力を制御する。撮像素子32の出力信号は
送受信部34に与えられ、送受信部34は撮像素子32
の出力信号をコントロールユニット40に送信する。な
お、図示しないが、撮像ユニット30には各部に電力を
供給する小型の電池が備えられている。
【0025】図3に示すように、コントロールユニット
40は、送受信部41、信号処理部42、視線方向判定
部43、制御部44、出力部45、映像生成部46、お
よび映像出力部47を含む。送受信部41は、撮像ユニ
ット30の送受信部34と無線で通信し、制御信号を撮
像ユニット30に与えるとともに、撮像素子32の出力
信号を受けて信号処理部42に与える。送受信部41は
照明ユニット60にも制御信号を与える。信号処理部4
2は、送受信部41から与えられる撮像素子32の出力
信号にデジタル化を含む所定の処理を施して、撮影され
た画像を表す画像データを生成する。
【0026】視線方向判定部43は、信号処理部42が
生成した画像データのコントラストから黒眼の部分を検
出して、撮影された像全体における黒眼の部分の位置か
ら視線の方向を判定する。撮像素子32から視線方向判
定部43までの一連の動作によって視線の方向が検出さ
れ、検出された視線の方向は制御部44に与えられる。
制御部44は、コントロールユニット40内の各部の動
作を制御するとともに、送受信部41を介して撮像ユニ
ット30および駆動ユニット60の動作も制御する。
【0027】視線検出装置1は、使用者が視線の方向に
よって表す意思に従ってテレビ等の外部機器を制御する
ためのインターフェースとして用いることを目的の1つ
として開発されており、外部機器に制御信号を出力する
ための出力部45を有する。制御部44は、検出された
視線の方向に応じて外部機器への制御信号を生成し、出
力部45を介して出力する。
【0028】視線の方向と外部機器の制御とを対応づ
け、また、所望の制御をするために使用者がどの方向に
視線を向けるべきかを案内するために、視線検出装置1
は、いくつかの選択肢を表す映像を表示して使用者に提
供する。このために、視線検出装置1は表示ユニット5
0を有しており、コントロールユニット40には、映像
生成部46と映像出力部47が設けられている。映像生
成部46は表示する映像を表す映像信号を生成し、映像
出力部47はその映像信号と制御信号を表示ユニット5
0に出力する。制御部44は映像生成部46による映像
信号の生成も制御する。
【0029】図4に示すように、表示ユニット50は、
表示素子51、コンデンサレンズ52、光源部53、駆
動部54、および受信部55を含む。表示素子51は小
さな透過型の液晶表示器である。光源部53は発光ダイ
オードより成り、表示素子51を照明するためのバック
ライトを供給する。コンデンサレンズ52は光源部53
からの光を略平行光として表示素子51に導く。駆動部
54は、映像信号に応じて表示素子51を駆動し、制御
信号に応じて光源部53を制御する。受信部55は、コ
ントロールユニット40の映像出力部47から映像信号
と制御信号を受けて、駆動部54に与える。
【0030】コントロールユニット40と表示ユニット
50はケーブル70によって接続されており、映像信号
および制御信号はケーブル70を介して送信される。表
示ユニット50の各部への電力供給もケーブル70を介
してコントロールユニット40から行われる。なお、撮
像ユニット30と同様に、表示ユニット50も無線でコ
ントロールユニット40と通信するようにしてもよい。
【0031】図1に示すように、表示ユニット50は、
装着ユニット20の透明板21Rの上縁に取り付けられ
ている。表示ユニット50と透明板21Rの断面を図5
に示す。表示素子51からの映像光は透明板21Rの上
端面から透明板21Rの内部に入り、対向する2つの表
面で全反射されながら下方に向かう。透明板21Rの中
央部には表面に対して傾斜したホログラム光学素子26
が埋設されており、ホログラム光学素子26は映像光を
反射して使用者の眼に入射させ、表示素子51に表示さ
れた映像の拡大虚像を提供する。ホログラム光学素子2
6は外部からの光を全て透過させるように回折条件を設
定されており、視野の妨げとはならない。
【0032】テレビを制御する場合を例にとって、視線
検出装置1が提供する映像の例を図6に示す。映像の右
上部には、テレビの電源のオンとオフを指示する2つの
選択肢が示されており、左部にはチャンネルの切り替え
および音量の調節を指示する4つの選択肢が示されてい
る。また、右下部には、制御の対象を他の機器に切り替
えることを指示する選択肢と、視線の基準方向を再設定
することを指示する選択肢が示されている。コントロー
ルユニット40の制御部44は、検出された視線の方向
にいずれかの選択肢が位置し、その視線の方向が所定時
間(例えば5〜10秒)変化しないときに、使用者がそ
の選択肢を選択したと判断して、その選択肢に対応する
制御信号を生成する。
【0033】視線の基準方向を再設定するのは、真正面
を注視するときでも黒眼の位置が使用者ごとに相違する
のを考慮して、視線検出装置1を個々の使用者に適合さ
せるためである。また、何らかの理由で、検出される視
線の方向が実際の使用者の視線の方向に合致しなくなっ
た場合に、適切に検出を行い得るようにするためでもあ
る。使用者が視線の基準方向を再設定することを指示し
た場合に表示する映像の例を図7に示す。所定の印を所
定時間注視すべき旨のメッセージが示され、注視すべき
印が映像の中央に表される。制御部44は、この間に検
出された視線の方向を視線の基準方向として、その後の
視線の方向の取り扱いに利用する。
【0034】なお、視線検出装置1は、右眼に映像を提
供し左眼の像を撮影して視線の方向を検出しているが、
人の左右の眼は連動するから、このように映像を提供す
る眼と視線を検出する眼を同じにしなくても、映像を観
察しようとする視線の方向を検出することが可能であ
る。
【0035】視線検出装置1は、外部機器の制御のため
のインターフェースとして利用することができるほか、
映像の鑑賞のためにも利用することができる。この場
合、検出された視線の方向に応じた映像を提供すること
が可能であり、これにより、使用者は高い臨場感を味わ
うことができる。
【0036】第2の実施形態の視線検出装置2の要部を
図8に示す。この視線検出装置2は、第1の実施形態の
視線検出装置1を修飾して、回折格子25をホログラム
光学素子27に替えたものである。ホログラム光学素子
27は、前方からの可視光を全て透過させるように回折
条件を設定されている。したがって、ホログラム光学素
子27の存在により使用者が観察する外界の像の一部が
暗くなることはない。ホログラム光学素子27は、ま
た、照明ユニット60からの赤外光を反射して眼に導
き、眼によって反射された赤外光を撮像ユニット30と
照明ユニット60の方向に向けて反射するように回折条
件を設定されている。
【0037】ホログラム光学素子27は、感光材料を透
明板21Lの表面に塗布した状態でホログラム露光を行
うことによって作製することができる。また、フィルム
状のホログラム光学素子27を別途作製しておき、これ
を透明板21Lの表面に貼り付けるようにしてもよい。
装着ユニット20、コントロールユニット40、表示ユ
ニット50および照明ユニット60の構成は視線検出装
置1と同様であり、重複する説明は省略する。
【0038】第3の実施形態の視線検出装置3の要部を
図9に示す。この視線検出装置3は第1、第2の実施形
態の視線検出装置1、2のものと同様の装着ユニット2
0、コントロールユニット40、および表示ユニット5
0を有している。撮像ユニット30は、視線検出装置
1、2のものと類似の構成であるが、透明板21Lの上
縁に取り付けられている。また、照明ユニット60は省
略されており、視線検出装置3は外部からの光を利用し
て眼の像を撮影する。したがって、撮像素子32として
は可視光に対して感度を有するものを用いている。
【0039】撮像ユニット30と透明板21Lの断面を
図10に示す。透明板21Lの中央部には表面に対して
傾斜したホログラム光学素子28が埋設されている。ホ
ログラム光学素子28は、前方からの光を全て透過させ
て眼に導き、眼からの光を反射して透明板21L内を進
行させるように回折条件を設定されている。ホログラム
光学素子28によって反射された眼からの光は、透明板
21Lの2つの表面で全反射されながら端面に達し、端
面から出射して撮像素子32入射する。
【0040】ホログラム光学素子28の回折条件は、素
子全体にわたって一様には設定されておらず、パワーを
有し、眼からの光を撮像素子32上に結像させるように
設定されている。したがって、撮影レンズは不要であ
り、視線検出装置3では撮影レンズ31は省略されてい
る。
【0041】図9に示すように、コントロールユニット
40と表示ユニット50を接続するケーブル70は撮像
ユニット30にまで延設されており、コントロールユニ
ット40の送受信部41と撮像ユニット30の送受信部
34はケーブル70を介して通信を行う。撮像ユニット
30の電力もケーブル70を介してコントロールユニッ
ト40から供給される。
【0042】外部からの光を利用して眼の像を撮影する
視線検出装置3では、眼の表面に映った外界の像が眼自
体の像のコントラストを低下させて、検出精度が低下す
るおそれがある。これを防止するためには、特定の波長
域の光のみを透過させるバンドパスフィルタ、特定の直
線偏光のみを透過させる偏光板等の選択透過素子を備え
て、外界の像を表す光を低減すればよい。撮像ユニット
30にこのような選択透過素子を備えた構成を図11に
示す。ここでは、選択透過素子35を透明板21Lの端
面に設けている。
【0043】第4の実施形態の視線検出装置4の要部を
図12に示す。この視線検出装置4は第3の実施形態の
視線検出装置3を修飾して、撮像ユニット30と表示ユ
ニット50とを一体にし、透明板21Rの上縁に取り付
けたものである。これらの断面を図13に示す。撮像素
子32は表示素子51を取り囲むように配置されてい
る。
【0044】透明板21Rの中央部には、前述の映像提
供のためのホログラム光学素子26と撮像のためのホロ
グラム光学素子28とを兼ねるホログラム光学素子29
が埋設されている。表示素子51からホログラム光学素
子29に向かう映像光と、ホログラム光学素子29から
撮像素子32に向かう眼からの光は、透明板21R内の
略同じ部位を逆方向に進行する。
【0045】視線検出装置4の変形例の構成を図14に
示す。これは、撮像素子32を表示素子51からの映像
光の光路の傍らに配置するとともに、透明板21Rの端
面に上述の選択透過素子35を設けたものである。
【0046】第5の実施形態の視線検出装置5の要部を
図15に示す。この視線検出装置5は、撮像ユニット3
0と表示ユニット50を一体にした第4の実施形態の視
線検出装置4を修飾して、撮像素子32と表示素子51
を左右に並べて配置したものである。映像提供のための
ホログラム光学素子26と撮像のためのホログラム光学
素子28も、透明板21Rの中央部に左右に並べて配置
されている。
【0047】第6の実施形態の視線検出装置6の要部を
図16に示す。この視線検出装置6は、第3の実施形態
の視線検出装置3を修飾して、表示ユニット50が取り
付けられている透明板21Rの下縁に撮像ユニット30
を取り付けたものである。透明板21Rの中央部には、
映像提供のためのホログラム光学素子26と撮像のため
のホログラム光学素子28が、傾斜方向を逆にして上下
に並べて埋設されている。
【0048】第7の実施形態の視線検出装置7の要部を
図17に示す。この視線検出装置7は、視線検出装置6
を修飾して、映像提供のためのホログラム光学素子26
と撮像のためのホログラム光学素子28とを兼ねるホロ
グラム光学素子29aを透明板21Rの中央部に埋設し
たものである。ホログラム光学素子29aは表示素子5
1からの映像光を反射して眼に導くとともに、眼からの
光を透過させて撮像素子32に導くように設定されてい
る。
【0049】第8の実施形態の視線検出装置8の要部を
図18に示す。この視線検出装置8は、視力矯正用の一
般の眼鏡に取り付け得るようにしたものであり、上縁に
撮像ユニット30を取り付け、中央部にホログラム光学
素子28を埋設した透明板21Lと、上縁に表示ユニッ
ト50を取り付け、中央部にホログラム光学素子26を
埋設した透明板21Rとを含む。図18は、眼鏡に取り
付けた状態の視線検出装置8を表している。透明板21
L、21Rは、両端部に爪21aが設けられており、爪
21aで挟むようにして眼鏡のレンズに取り付けられ、
取り外しも可能である。
【0050】なお、第1〜第7の実施形態の視線検出装
置1〜7では透明板21L、21Rを平行平板としてい
るが、透明板21L、21Rにパワーをもたせて、視線
検出装置1〜7が視力矯正の機能も有するようにしても
よい。また、ここでは日常の生活に適するように装着ユ
ニット20を眼鏡型とする例を掲げたが、装着ユニット
はゴーグル型、ヘルメット型等、他の形状としてもかま
わない。
【0051】
【発明の効果】眼の像を撮影し、撮影した像から視線の
方向を検出する視線検出装置において、本発明のよう
に、眼の像を撮影する撮像手段と、眼からの光を、回折
によって進路を変えて、撮像手段に導く導光手段とを備
える構成とすると、撮像手段を視野の周辺部または視野
外に配置しても眼の広い範囲を撮影することが可能であ
り、撮像手段によって視野が遮られるのを避けつつ、確
実にかつ精度よく視線の方向を検出することができる。
しかも、導光手段は回折光学素子であり、眼からの光を
回折して撮像手段の方向に向かわせながらも、外部から
の光を回折することなく透過させるようにすることが可
能であるから、導光手段によって視野が遮られたり外界
の像の一部が暗くなったりすることも避けられる。さら
に、回折角を広い角度範囲の中から選択することができ
るため、導光手段と撮像手段の配設位置の自由度が高ま
って、装置の小型化が容易になり、導光手段自体の前後
方向の長さを抑えることもできる。
【0052】導光手段をホログラム光学素子とすると、
透明な材料の表面だけでなく、内部に設けることも容易
になる。
【0053】1対の透明板とこれらの透明板に取り付け
られた1対の支持部材を有し、支持部材が頭部の側方に
位置して側頭部で支持され、透明板が左右の眼の直前に
位置するように、人の頭部に装着される装着手段を備
え、導光手段が装着手段の透明板に設けられている構成
とすると、眼鏡型の装置となって、日常生活での使用に
便利である。
【0054】撮像手段が装着手段の透明板の縁に取り付
けられており、透明板が導光手段によって進路を変えら
れた眼からの光を、自己の内部を進行させて、撮像手段
に導くようにすると、一般の眼鏡に撮像手段を取り付け
ただけのような形態となり、日常生活でごく自然に使用
することができる。また、導光手段が前後方向に短いか
ら、透明板を薄くして軽量にすることが可能であり、装
置を頭部に装着することによる使用者の疲労を軽減する
ことができる。
【0055】映像を表示する表示手段を備え、表示手段
が装着手段の透明板の縁に取り付けられて撮像手段の近
傍に位置しており、透明板が表示手段からの光を、眼か
らの光を進行させる部位を含む自己の内部を進行させ
て、導光手段に導き、導光手段が透明板によって導かれ
た光を、回折によって進路を変えて、眼に導くようにす
ると、大型化を避けつつ映像を提供することが可能にな
る。提供する映像は鑑賞の対象とすることができ、その
場合、検出した視線の方向に応じて映像を変化させるこ
とも可能である。また、視線の方向によって表される使
用者の意思に応じて外部の機器を制御する用途では、提
供する映像によって、使用者の視線を所望の制御に対応
する方向に案内することもできる。
【図面の簡単な説明】
【図1】 第1の実施形態の視線検出装置の要部の外観
を示す斜視図。
【図2】 第1の実施形態の視線検出装置の撮像ユニッ
トの回路構成を模式的に示すブロック図。
【図3】 第1の実施形態の視線検出装置のコントロー
ルユニットの回路構成を模式的に示すブロック図。
【図4】 第1の実施形態の視線検出装置の表示ユニッ
トの回路構成を模式的に示すブロック図。
【図5】 第1の実施形態の視線検出装置の光学構成の
要部を示す断面図。
【図6】 第1の実施形態の視線検出装置が案内のため
に提供する映像の例を示す図。
【図7】 第1の実施形態の視線検出装置が視線の基準
方向の再設定のために提供する映像の例を示す図。
【図8】 第2の実施形態の視線検出装置の要部の外観
を示す斜視図。
【図9】 第3の実施形態の視線検出装置の要部の外観
を示す斜視図。
【図10】 第3の実施形態の視線検出装置の光学構成
の要部を示す断面図。
【図11】 第3の実施形態の視線検出装置の光学構成
の変形例を示す断面図。
【図12】 第4の実施形態の視線検出装置の要部の外
観を示す斜視図。
【図13】 第4の実施形態の視線検出装置の光学構成
の要部を示す断面図。
【図14】 第4の実施形態の視線検出装置の光学構成
の変形例を示す断面図。
【図15】 第5の実施形態の視線検出装置の要部の外
観を示す斜視図。
【図16】 第6の実施形態の視線検出装置の光学構成
の要部を示す断面図。
【図17】 第7の実施形態の視線検出装置の光学構成
の要部を示す断面図。
【図18】 第8の実施形態の視線検出装置の要部の外
観を示す斜視図。
【符号の説明】
1〜8 視線検出装置 20 装着ユニット 21L、21R 透明板 22 連結部材 23L、23R 支持部材 24L、24R 支持部材 25 回折格子 26 ホログラム光学素子 27 ホログラム光学素子 28 ホログラム光学素子 29 ホログラム光学素子 29a ホログラム光学素子 30 撮像ユニット 31 撮影レンズ 32 撮像素子 33 駆動部 34 送受信部 35 選択透過素子 40 コントロールユニット 41 送受信部 42 信号処理部 43 視線方向判定部 44 制御部 45 出力部 46 映像生成部 47 映像出力部 50 表示ユニット 51 表示素子 52 コンデンサレンズ 53 光源部 54 駆動部 55 受信部 60 照明ユニット 70 ケーブル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小林 恭 大阪市中央区安土町二丁目3番13号 大阪 国際ビル ミノルタ株式会社内 (72)発明者 杭迫 真奈美 大阪市中央区安土町二丁目3番13号 大阪 国際ビル ミノルタ株式会社内 Fターム(参考) 2H049 CA05 CA09 CA15 CA24 2H051 AA00 DA24

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 眼の像を撮影し、撮影した像から視線の
    方向を検出する視線検出装置において、 眼の像を撮影する撮像手段と、 眼からの光を、回折によって進路を変えて、撮像手段に
    導く導光手段とを備えることを特徴とする視線検出装
    置。
  2. 【請求項2】 導光手段がホログラム光学素子であるこ
    とを特徴とする請求項1に記載の視線検出装置。
  3. 【請求項3】 1対の透明板とこれらの透明板に取り付
    けられた1対の支持部材を有し、支持部材が頭部の側方
    に位置して側頭部で支持され、透明板が左右の眼の直前
    に位置するように、人の頭部に装着される装着手段を備
    え、 導光手段が装着手段の透明板に設けられていることを特
    徴とする請求項1に記載の視線検出装置。
  4. 【請求項4】 撮像手段が装着手段の透明板の縁に取り
    付けられており、 透明板が導光手段によって進路を変えられた眼からの光
    を、自己の内部を進行させて、撮像手段に導くことを特
    徴とする請求項3に記載の視線検出装置。
  5. 【請求項5】 映像を表示する表示手段を備え、 表示手段が装着手段の透明板の縁に取り付けられて撮像
    手段の近傍に位置しており、 透明板が表示手段からの光を、眼からの光を進行させる
    部位を含む自己の内部を進行させて、導光手段に導き、 導光手段が透明板によって導かれた光を、回折によって
    進路を変えて、眼に導くことを特徴とする請求項4に記
    載の視線検出装置。
JP2002030343A 2002-02-07 2002-02-07 視線検出装置 Expired - Fee Related JP3925222B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002030343A JP3925222B2 (ja) 2002-02-07 2002-02-07 視線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002030343A JP3925222B2 (ja) 2002-02-07 2002-02-07 視線検出装置

Publications (2)

Publication Number Publication Date
JP2003230539A true JP2003230539A (ja) 2003-08-19
JP3925222B2 JP3925222B2 (ja) 2007-06-06

Family

ID=27774124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002030343A Expired - Fee Related JP3925222B2 (ja) 2002-02-07 2002-02-07 視線検出装置

Country Status (1)

Country Link
JP (1) JP3925222B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006263343A (ja) * 2005-03-25 2006-10-05 Matsushita Electric Works Ltd 眼球運動検査用ゴーグル
JP2006267529A (ja) * 2005-03-24 2006-10-05 Hyogo Prefecture 多重シーン撮像用光学素子および視線検出入力装置
JP2008541909A (ja) * 2005-06-03 2008-11-27 ホスピタル サン ジョアン デ ディウ 眼球運動センサ装置
JP2010131166A (ja) * 2008-12-04 2010-06-17 Konica Minolta Holdings Inc 視野検査装置の制御方法、視野検査装置、及び頭部装着式映像表示装置
WO2010073879A1 (ja) * 2008-12-24 2010-07-01 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010194687A (ja) * 2009-02-26 2010-09-09 Yaskawa Electric Corp 透過型視線検出装置及び移動型ロボットシステム
WO2013107828A1 (en) * 2012-01-22 2013-07-25 Universite De Liege System for an observation of an eye and its surrounding area
WO2013122711A1 (en) * 2012-02-15 2013-08-22 Google Inc. Heads-up display including eye tracking
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置
KR20150013815A (ko) * 2012-05-21 2015-02-05 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템
US9239415B2 (en) 2012-03-08 2016-01-19 Google Inc. Near-to-eye display with an integrated out-looking camera
WO2017053382A1 (en) 2015-09-23 2017-03-30 Magic Leap, Inc. Eye imaging with an off-axis imager
JPWO2015198477A1 (ja) * 2014-06-27 2017-04-20 フォーブ インコーポレーテッド 視線検知装置
JPWO2016113951A1 (ja) * 2015-01-15 2017-09-07 株式会社ソニー・インタラクティブエンタテインメント 頭部装着型表示装置、及び映像表示システム
WO2018105223A1 (ja) * 2016-12-08 2018-06-14 ソニー株式会社 撮像装置
CN112285929A (zh) * 2019-07-22 2021-01-29 罗伯特·博世有限公司 用于对车辆乘员进行观察的装置

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267529A (ja) * 2005-03-24 2006-10-05 Hyogo Prefecture 多重シーン撮像用光学素子および視線検出入力装置
JP4549213B2 (ja) * 2005-03-24 2010-09-22 兵庫県 多重シーン撮像用光学素子および視線検出入力装置
JP2006263343A (ja) * 2005-03-25 2006-10-05 Matsushita Electric Works Ltd 眼球運動検査用ゴーグル
JP4917598B2 (ja) * 2005-06-03 2012-04-18 ホスピタル サン ジョアン デ ディウ 眼球運動センサ装置
JP2008541909A (ja) * 2005-06-03 2008-11-27 ホスピタル サン ジョアン デ ディウ 眼球運動センサ装置
JP2010131166A (ja) * 2008-12-04 2010-06-17 Konica Minolta Holdings Inc 視野検査装置の制御方法、視野検査装置、及び頭部装着式映像表示装置
WO2010073879A1 (ja) * 2008-12-24 2010-07-01 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010152443A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010194687A (ja) * 2009-02-26 2010-09-09 Yaskawa Electric Corp 透過型視線検出装置及び移動型ロボットシステム
WO2013107828A1 (en) * 2012-01-22 2013-07-25 Universite De Liege System for an observation of an eye and its surrounding area
WO2013122711A1 (en) * 2012-02-15 2013-08-22 Google Inc. Heads-up display including eye tracking
CN104126143A (zh) * 2012-02-15 2014-10-29 谷歌公司 包含眼睛追踪的抬头显示器
US9285877B2 (en) 2012-02-15 2016-03-15 Google Inc. Heads-up display
US9001030B2 (en) 2012-02-15 2015-04-07 Google Inc. Heads up display
US9239415B2 (en) 2012-03-08 2016-01-19 Google Inc. Near-to-eye display with an integrated out-looking camera
KR20200108375A (ko) * 2012-05-21 2020-09-17 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템
KR102298500B1 (ko) 2012-05-21 2021-09-06 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템
KR20150013815A (ko) * 2012-05-21 2015-02-05 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템
KR102156405B1 (ko) 2012-05-21 2020-09-16 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置
JPWO2015198477A1 (ja) * 2014-06-27 2017-04-20 フォーブ インコーポレーテッド 視線検知装置
US10817721B2 (en) 2014-06-27 2020-10-27 Fove, Inc. Gaze detection device
US10445573B2 (en) 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
US10591735B2 (en) 2015-01-15 2020-03-17 Sony Interactive Entertainment Inc. Head-mounted display device and image display system
JPWO2016113951A1 (ja) * 2015-01-15 2017-09-07 株式会社ソニー・インタラクティブエンタテインメント 頭部装着型表示装置、及び映像表示システム
US11022801B2 (en) 2015-09-23 2021-06-01 Magic Leap, Inc. Eye imaging with an off-axis imager
JP2018530781A (ja) * 2015-09-23 2018-10-18 マジック リープ, インコーポレイテッドMagic Leap,Inc. 軸外イメージャを用いた眼の撮像
KR20180056737A (ko) * 2015-09-23 2018-05-29 매직 립, 인코포레이티드 오프-축 영상기를 이용한 눈 영상화
WO2017053382A1 (en) 2015-09-23 2017-03-30 Magic Leap, Inc. Eye imaging with an off-axis imager
JP2021131546A (ja) * 2015-09-23 2021-09-09 マジック リープ, インコーポレイテッドMagic Leap, Inc. 軸外イメージャを用いた眼の撮像
KR102433833B1 (ko) 2015-09-23 2022-08-17 매직 립, 인코포레이티드 오프-축 영상기를 이용한 눈 영상화
JP7253004B2 (ja) 2015-09-23 2023-04-05 マジック リープ, インコーポレイテッド 軸外イメージャを用いた眼の撮像
US11747624B2 (en) 2015-09-23 2023-09-05 Magic Leap, Inc. Eye imaging with an off-axis imager
EP3353591B1 (en) * 2015-09-23 2024-04-24 Magic Leap, Inc. Eye imaging with an off-axis imager
US20190258066A1 (en) * 2016-12-08 2019-08-22 Sony Corporation Imaging device
WO2018105223A1 (ja) * 2016-12-08 2018-06-14 ソニー株式会社 撮像装置
US10816814B2 (en) 2016-12-08 2020-10-27 Sony Corporation Imaging device
CN112285929A (zh) * 2019-07-22 2021-01-29 罗伯特·博世有限公司 用于对车辆乘员进行观察的装置

Also Published As

Publication number Publication date
JP3925222B2 (ja) 2007-06-06

Similar Documents

Publication Publication Date Title
JP2003225207A (ja) 視線検出装置
JP6175945B2 (ja) 視線検出装置及び視線検出方法
JP6461425B2 (ja) 映像投影機能付き眼鏡
US6549231B1 (en) Image recording apparatus
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
EP3672697B1 (en) Waterproof ar goggle system
JP3925222B2 (ja) 視線検出装置
WO2005072667A1 (ja) 視覚補助表示装置
JP6481084B2 (ja) 映像表示機能付き眼鏡
JP2018513656A (ja) 画像強調可能な眼鏡構造
JP2017092628A (ja) 表示装置、及び、表示装置の制御方法
US20170261750A1 (en) Co-Aligned Retinal Imaging And Display System
JP2009240551A (ja) 視線検出装置
JP4691655B2 (ja) 撮像表示装置
WO2018035842A1 (zh) 外加式近眼显示装置
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
TW201805689A (zh) 外加式近眼顯示裝置
KR100846355B1 (ko) 두부 장착식 디스플레이 장치의 시력 보조 방법 및 그 두부장착식 디스플레이 장치
CN216485801U (zh) 一种光学成像系统、图像显示装置及增强现实显示设备
JP2005286927A (ja) 透過式頭部搭載表示装置
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JPH0356047B2 (ja)
KR20150039179A (ko) 헤드 마운트 디스플레이 장치
JP3141835B2 (ja) 表示装置
JP2507913B2 (ja) 投射方式による眼球運動追従型視覚提示装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070219

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140309

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees