JP2007195775A - 瞳検出方法、瞳位置検出装置及び透過型視線検出装置 - Google Patents

瞳検出方法、瞳位置検出装置及び透過型視線検出装置 Download PDF

Info

Publication number
JP2007195775A
JP2007195775A JP2006018591A JP2006018591A JP2007195775A JP 2007195775 A JP2007195775 A JP 2007195775A JP 2006018591 A JP2006018591 A JP 2006018591A JP 2006018591 A JP2006018591 A JP 2006018591A JP 2007195775 A JP2007195775 A JP 2007195775A
Authority
JP
Japan
Prior art keywords
pupil
subject
pupil position
eye
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006018591A
Other languages
English (en)
Inventor
Norinao Miki
則尚 三木
Takeshi Shigeoka
武 重岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
Original Assignee
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio University filed Critical Keio University
Priority to JP2006018591A priority Critical patent/JP2007195775A/ja
Publication of JP2007195775A publication Critical patent/JP2007195775A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】被験者の行動範囲を制限したり、被験者の視線を妨げたりすることがなく、被験者への心理的な圧迫が小さな視線検出を可能とする。
【解決手段】眼鏡20のレンズ上に配置された透明な透過型の光センサアレイ22と、眼鏡20に配設された視界撮影用のカメラ50と、前記光センサアレイ22により検出される反射光が小さいことから瞳位置を検出する手段(40)と、検出された瞳位置と前記カメラ50による視界の映像から視線を検出する手段(54)とを備える。
【選択図】図1

Description

本発明は、瞳検出方法、瞳位置検出装置及び透過型視線検出装置に係り、特に、被験者に大きな負担を与えることなく瞳を検出可能な瞳検出方法、これを利用した瞳位置検出装置及び透過型視線検出装置に関する。
視線検出は、重度な身体障害者のコミニケーションツールや新たなヒューマンインターフェース、又、都市設計・広告配置の最適化や運転者のモニタリング等、幅広い分野での応用が可能である。
現在多く使われている視線検出方法は、外部カメラを用いて被験者の眼球を前方から撮影し、画像処理によって視線の方向を検出するというものである。
具体的には、被験者が固定された状態(例えば車の運転手や、寝たきりの身体障害者等)において、固定カメラで被験者の瞳を撮影するもの(特許文献1参照)、若しくは、小型のカメラを取り付けたヘルメットを装着し、被験者が移動中の視線を検出するもの(特許文献2参照)がある。
特開平5−199995号公報 特開2001−39398号公報
しかしながら、固定カメラを用いる場合は、被験者の行動範囲が制限されるという問題がある。又、両者に通じる問題として、(1)被験者の視野がカメラによって遮られる、(2)カメラが常に向けられており、被験者への心理的な圧迫が非常に大きくなる等の問題点を有していた。
本発明は、前記従来の問題点を解消するべくなされたもので、被験者の行動範囲を制限したり、視野を遮ることが無く、心理的な圧迫も減らすことが可能な瞳検出方法、瞳位置検出装置及び透過型視線検出装置を提供することを課題とする。
本発明は、被験者の眼の直前に透明な透過型の光センサを配置し、該光センサにより、眼球の反射光を検出して、反射光が小さいことから瞳を検出することを特徴とする瞳検出方法により、前記課題を解決したものである。
又、前記光センサを色素増感素子としたものである。
本発明は、又、被験者の眼の直前に配置される透明な光センサアレイと、該光センサアレイにより検出される眼球の反射光が小さいことから瞳位置を検出する手段と、を備えたことを特徴とする瞳位置検出装置により、前記課題を解決したものである。
又、眼鏡のレンズ上に配置された透明な透過型の光センサアレイと、眼鏡に配設された視界撮影用のカメラと、前記光センサアレイにより検出される反射光が小さいことから瞳位置を検出する手段と、検出された瞳位置と前記カメラによる視界の映像から視線を検出する手段と、を備えたことを特徴とする透過型視線検出装置により、前記課題を解決したものである。
本発明においては、瞳位置検出用のカメラを設けることなく、被験者の眼の直前に配置した透明な光センサにより、白目と黒目(瞳)に反射した光の違いを光の強度の差として読み取ることによって、瞳を検出することができる。
光センサアレイを用いれば、瞳の上部にある素子は反射光が小さく、それ故、出力も小さい。一方、白目の上部にある素子の出力は大きい。従って、光センサアレイの出力により、瞳の位置を検出して、眼球運動を検出することができる。
よって、瞳の動きと例えば眼鏡に取付けた小型カメラによる映像から視線を検出できる。
このように、例えば眼鏡のレンズ上に光センサアレイを配置することによって、眼鏡のように装着可能で、被験者への負担を小さくすることができ、被験者の行動を妨げたり、視線を遮ったり、心理的な圧迫を与えることがない。
以下図面を参照して、本発明の実施形態を詳細に説明する。
本発明が採用された瞳位置検出装置は、図1(A)に示す如く、被験者10の眼12の直前に配置される、眼鏡20のレンズ上に配置された透明な光センサアレイ22と、該光センサアレイ22により検出される眼球における黒目(瞳)14の反射光が白目16の反射光より小さいことから瞳位置を検出する瞳位置検出回路40とを備えている。
前記光センサアレイ22の各素子としては、例えば照射される光に応じて電圧を出力する色素増感素子を用いることができる。この色素増感素子は、図2に示すように、酸化チタン等の遷移エネルギーの大きい金属酸化物半導体の多孔質膜28を透明導電性ガラス基板26上に成膜し、この多孔質膜28に色素30を吸着させた半導体電極24と、もう一つの電極(対向電極と称する)34を対向して貼り合わせ、その間に例えばヨウ素を含む電解質溶液(電解液とも称する)36を封入した構造になっている。図において、32は、例えばITO膜やFTO膜でなる透明電極である。
この色素増感素子の酸化チタンを成膜した半導体電極24側に光を照射すると、色素30内の電子が励起され電子を放出する。この電子は、色素30から半導体(28)に移動し、半導体(28)が電子を透明電極32へ伝導する。半導体電極24から対向電極34側に移動した電子は、電解質溶液36内に放出され、電解質溶液は酸化反応を起こす。色素30は電解質溶液36の還元反応によって電子を得て、基底状態に戻る。これを繰り返すことで発電する。
半導体(28)表面に色素30を修飾するのは、主に紫外域しか吸収できない半導体(28)の代わりに、可視光をほぼ全域吸収できる色素30に電子の励起を行なわせることによって、光に対する応答波長領域を拡大するためである。更に、半導体(28)を数十nmサイズの粒子にし、その表面を色素30で覆う形状にすることで、半導体電極24の表面積が大きくなり、光吸収によるフォトンの生成量を増やすことができる。このようにして効率を上げた湿式の光電池が、色素増感素子である。この色素増感素子では、照射光強度に比例して電圧値が変化する。
従って、この色素増感素子を眼鏡20の上にアレイ状に配置し、光検出素子として、白目16と黒目14に反射した光の違いを光の強度の差として読み取ることによって、眼球運動による瞳の位置の変化を検出することができる。
図3に、蛍光灯を光源として被験者が瞳を動かした時の黒目と白目による反射光の検出結果の一例を示す。図から明らかなように、黒目と白目の反射光の差を出力電圧値の差として十分に検出できることが確認できた。
次に、前記瞳位置検出装置を用いた透過型視線検出装置の実施形態を図1(B)を参照して説明する。
本実施形態は、前記瞳位置検出装置に、更に、眼鏡20上に配設された視界撮影用のカメラ50と、該カメラ50による視界の映像を表示する視界映像表示装置52と、前記瞳位置検出回路40で検出された瞳位置と前記視界映像表示装置52に表示される視界の映像から視線を検出する視線検出回路54とを備えたものである。
この視線検出装置は、透過型で、眼鏡のように装着することができるので、被験者の行動を妨げたり、視線を遮ったりすることがなく、心理的な圧迫も小さい。
それ故、身体障害者等のコミニケーションツールとしての実用化、キーボードやタッチパッドに代わるヒューマンインターフェース(例えばあるものを見るだけで、そのものを選択できる)、更には子供や車椅子の人の視線を検出することによる有効な交通標識の設置や、歩行者の視線を検出することによる広告の効果の定量化等に、応用が可能である。
なお、前記実施形態においては、透明な透過型の光センサとして、色素増感素子を用いていたが、光センサの種類はこれに限定されない。又、被験者への装着方法も眼鏡型に限定されず、例えばゴーグル型やヘッドアップディプレイ型であっても良い。
本発明に係る(A)瞳位置検出装置及び(B)透過型視線検出装置の実施形態を示す、一部ブロック図を含む(A)正面図又は(B)平面図 前記実施形態で用いられている色素増感素子の構成を示す断面図 本発明の原理を説明するための、白目と黒目(瞳)の反射光の差を示す線図
符号の説明
10…被験者
12…眼
14…黒目(瞳)
16…白目
20…眼鏡
22…光センサアレイ
40…瞳位置検出回路
50…カメラ
52…視界映像表示装置
54…視線検出回路

Claims (4)

  1. 被験者の眼の直前に透明な透過型の光センサを配置し、該光センサにより、眼球の反射光を検出して、
    反射光が小さいことから瞳を検出することを特徴とする瞳検出方法。
  2. 前記光センサが色素増感素子であることを特徴とする請求項1に記載の瞳検出方法。
  3. 被験者の眼の直前に配置される透明な光センサアレイと、
    該光センサアレイにより検出される眼球の反射光が小さいことから瞳位置を検出する手段と、
    を備えたことを特徴とする瞳位置検出装置。
  4. 眼鏡のレンズ上に配置された透明な透過型の光センサアレイと、
    眼鏡に配設された視界撮影用のカメラと、
    前記光センサアレイにより検出される反射光が小さいことから瞳位置を検出する手段と、
    検出された瞳位置と前記カメラによる視界の映像から視線を検出する手段と、
    を備えたことを特徴とする透過型視線検出装置。
JP2006018591A 2006-01-27 2006-01-27 瞳検出方法、瞳位置検出装置及び透過型視線検出装置 Pending JP2007195775A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006018591A JP2007195775A (ja) 2006-01-27 2006-01-27 瞳検出方法、瞳位置検出装置及び透過型視線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006018591A JP2007195775A (ja) 2006-01-27 2006-01-27 瞳検出方法、瞳位置検出装置及び透過型視線検出装置

Publications (1)

Publication Number Publication Date
JP2007195775A true JP2007195775A (ja) 2007-08-09

Family

ID=38450966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006018591A Pending JP2007195775A (ja) 2006-01-27 2006-01-27 瞳検出方法、瞳位置検出装置及び透過型視線検出装置

Country Status (1)

Country Link
JP (1) JP2007195775A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010194687A (ja) * 2009-02-26 2010-09-09 Yaskawa Electric Corp 透過型視線検出装置及び移動型ロボットシステム
JP2011511430A (ja) * 2008-01-28 2011-04-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光センサを備えた照明ユニット
US8218832B2 (en) 2007-12-07 2012-07-10 Denso Corporation Apparatus for detecting feature of driver's face
JP2012526579A (ja) * 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の注視方向を特性決定するための眼科用メガネ
JP2012526578A (ja) * 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の眼球の輻輳を特性決定するための眼科用メガネ
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
JP2016034322A (ja) * 2014-08-01 2016-03-17 日本放送協会 透過型光検出装置
JP2016536594A (ja) * 2013-08-19 2016-11-24 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1つの対象物の位置を求めるための検出器
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02134130A (ja) * 1988-11-16 1990-05-23 A T R Tsushin Syst Kenkyusho:Kk 非接触視線検出装置
JPH05199995A (ja) * 1992-01-27 1993-08-10 Nippon Telegr & Teleph Corp <Ntt> 瞳孔撮影装置と視線検出装置
JPH0670884A (ja) * 1992-07-09 1994-03-15 A T R Shichokaku Kiko Kenkyusho:Kk 視線検出を用いた医療診断装置
JP2001039398A (ja) * 1999-07-30 2001-02-13 Kawasaki Heavy Ind Ltd ヘリコプタの操縦支援装置
JP2001037724A (ja) * 1999-07-29 2001-02-13 Japan Science & Technology Corp 位置検出用撮像装置
JP2001320068A (ja) * 2000-05-01 2001-11-16 Fuji Photo Film Co Ltd 透明光電変換素子、及びこれを用いた光電池、光センサー並びに窓ガラス
JP2002033075A (ja) * 2000-07-18 2002-01-31 Shimadzu Corp 質量分析装置
JP2005312605A (ja) * 2004-04-28 2005-11-10 Ditect:Kk 注視点位置表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02134130A (ja) * 1988-11-16 1990-05-23 A T R Tsushin Syst Kenkyusho:Kk 非接触視線検出装置
JPH05199995A (ja) * 1992-01-27 1993-08-10 Nippon Telegr & Teleph Corp <Ntt> 瞳孔撮影装置と視線検出装置
JPH0670884A (ja) * 1992-07-09 1994-03-15 A T R Shichokaku Kiko Kenkyusho:Kk 視線検出を用いた医療診断装置
JP2001037724A (ja) * 1999-07-29 2001-02-13 Japan Science & Technology Corp 位置検出用撮像装置
JP2001039398A (ja) * 1999-07-30 2001-02-13 Kawasaki Heavy Ind Ltd ヘリコプタの操縦支援装置
JP2001320068A (ja) * 2000-05-01 2001-11-16 Fuji Photo Film Co Ltd 透明光電変換素子、及びこれを用いた光電池、光センサー並びに窓ガラス
JP2002033075A (ja) * 2000-07-18 2002-01-31 Shimadzu Corp 質量分析装置
JP2005312605A (ja) * 2004-04-28 2005-11-10 Ditect:Kk 注視点位置表示装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US8218832B2 (en) 2007-12-07 2012-07-10 Denso Corporation Apparatus for detecting feature of driver's face
JP2011511430A (ja) * 2008-01-28 2011-04-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光センサを備えた照明ユニット
JP2010194687A (ja) * 2009-02-26 2010-09-09 Yaskawa Electric Corp 透過型視線検出装置及び移動型ロボットシステム
JP2012526579A (ja) * 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の注視方向を特性決定するための眼科用メガネ
JP2012526578A (ja) * 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の眼球の輻輳を特性決定するための眼科用メガネ
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
JP2016536594A (ja) * 2013-08-19 2016-11-24 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1つの対象物の位置を求めるための検出器
JP2016034322A (ja) * 2014-08-01 2016-03-17 日本放送協会 透過型光検出装置

Similar Documents

Publication Publication Date Title
JP2007195775A (ja) 瞳検出方法、瞳位置検出装置及び透過型視線検出装置
US10867451B2 (en) Apparatus, systems, and methods for display devices including local dimming
JP4405818B2 (ja) 眼内レンズインプラント
US10942299B2 (en) Liquid lens, liquid lens driving method, imaging apparatus, and display apparatus
EP3583460B1 (en) Display apparatus
GB2169417A (en) Liquid crystal lens having a variable focal length
US20200033640A1 (en) Eyewear, Eyewear Systems and Associated Methods for Enhancing Vision
WO2013013230A2 (en) Wearable display devices
US10416462B2 (en) See through display enabling the correction of visual deficits
TW201523023A (zh) 可調整影像可視距離之頭戴式顯示器
WO2020238476A1 (zh) 增强现实眼镜
TWI635604B (zh) 顯示裝置
JP2017511898A (ja) 表示装置
US20240126104A1 (en) Vision aid device based on electrochromic layer, and vision aid glasses comprising same
US10948987B2 (en) Light guiding component and manufacturing method thereof, eyeball tracking module and method, video eyeglass
JP4691655B2 (ja) 撮像表示装置
JP2017203952A (ja) 画像表示装置、眼鏡型画像表示装置及び両眼型画像表示装置
US20230008359A1 (en) Wearable display apparatus and driving method thereof
CN207676050U (zh) 一种虚拟现实设备光学组件
KR100645635B1 (ko) 광학 소자를 포함하는 이미지 픽업 모듈
KR101833622B1 (ko) 적외선 또는 자외선을 가시광선으로 변환시키는 무전원 파장 변환 소자
JP2003015075A (ja) 電子眼鏡および眼鏡取付型表示装置
CN112394509B (zh) 头戴式显示装置
JP4834977B2 (ja) シースルー型ヘッドマウントディスプレイ
JP2009291391A (ja) 瞳検出方法、瞳位置検出装置及び透過型視線検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120703