JP2011221890A - 眼・瞼状態検出装置、入力装置 - Google Patents
眼・瞼状態検出装置、入力装置 Download PDFInfo
- Publication number
- JP2011221890A JP2011221890A JP2010092031A JP2010092031A JP2011221890A JP 2011221890 A JP2011221890 A JP 2011221890A JP 2010092031 A JP2010092031 A JP 2010092031A JP 2010092031 A JP2010092031 A JP 2010092031A JP 2011221890 A JP2011221890 A JP 2011221890A
- Authority
- JP
- Japan
- Prior art keywords
- light
- eye
- eyelid
- unit
- light emitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】眼球の位置や瞬きの状態等を正確に検出する。
【解決手段】使用者の眼の周辺に装着されるフレーム部と、前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えた。
【選択図】図1
【解決手段】使用者の眼の周辺に装着されるフレーム部と、前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えた。
【選択図】図1
Description
本発明は、眼・瞼状態検出装置、入力装置に関する。
人間(操作者)の眼の動きや視線の動きの検出結果に基づいて、符号等を入力する入力装置としては、ディスプレイと、ディスプレイの所定領域に対する操作者の眼の位置および動きを検出するカメラと、カメラによって検出された操作者の眼の位置等のデータに基づいて、入力すべき符号を特定する制御部等を備えたものが知られている(例えば、特許文献1参照)。
しかしながら、上記の装置では、操作者が、ディスプレイに表示された符号等を見るため、すなわち、ディスプレイの方向における視界を遮らないように、眼の位置からある程度離れた位置にカメラを配置する必要がある。このため、外光の影響を受けてしまい、正確に眼の位置や眼の動き等を検出することができない、という課題があった。
本発明は、上記課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
[適用例1]本適用例にかかる眼・瞼状態検出装置は、使用者の眼の周辺に装着されるフレーム部と、前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えたことを特徴とする。
この構成によれば、フレーム部に設置された発光部から照射された光が眼或いは瞼に反射する。反射された光は受光部によって受光される。そして、受光した光量に基づき、眼あるいは瞼の状態を検出することができる。従って、眼あるいは瞼の近傍で光の照射および受光を行うため、外光等のノイズの影響が低減され、正確に眼や瞼の状態を検出することができる。なお、検出部において、眼の状態の検出とは、眼球の位置の検出が含まれる。すなわち、視線の検出が含まれる。発光部から照射された光は、一定の勾配を有した光強度分布をするため、例えば、複数の位置における受光量の比率に基づいてそれらの減衰係数の比率を求め、この減衰係数の比率から両位置検出光の伝播距離を求めることにより、眼の位置を容易に求めることができる。また、瞼の状態の検出とは、瞼の開閉状態が含まれる。そして、例えば、眼から反射された受光量および光強度分布に基づいて、容易に瞼の開閉状態を検出することができる。
[適用例2]上記適用例にかかる眼・瞼状態検出装置の前記発光部では、一方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、他方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、を有する前記光を照射することを特徴とする。
この構成によれば、ある位置において反射された光の受光量が安定するため、より正確に、眼球の位置あるいは瞼の開閉状態等を検出することができる。
[適用例3]上記適用例にかかる眼・瞼状態検出装置の前記発光部が、前記フレーム部の周囲の距離を4等分したそれぞれの位置に設置され、各前記発光部は、前記フレーム部で囲まれた前記領域の中心部に向けて前記光を照射することを特徴とする。
この構成によれば、均等に配置された発光部から発光された光を、複数方向からの受光するため、外光等の影響を低減させることができる。これにより、より正確な眼や瞼の状態を検出することができる。
[適用例4]上記適用例にかかる眼・瞼状態検出装置の前記フレーム部が、前記光の照射によって一定の勾配を有する前記光強度分布が形成されるパターン膜を含むパターン部材を固定し、前記発光部では、前記パターン膜を介して、前記使用者の眼側を含む前記領域を照射することを特徴とする。
この構成によれば、パターン膜を介して光を照射させることにより、容易に勾配を有する光強度分布を形成することができ、正確に眼や瞼の状態を検出することができる。
[適用例5]上記適用例にかかる眼・瞼状態検出装置では、前記受光部の近傍に、参照光を照射する参照光発光部が設置され、前記受光部では、前記参照光を受光し、前記検出部では、前記発光部と前記参照光発光部のそれぞれから受光した光を比較しながら、前記眼あるいは前記瞼の状態を検出することを特徴とする。
この構成によれば、検出部において参照光を参照することにより、外光の影響を取り除くことができる。これにより、正確に眼や瞼の状態を検出することができる。
[適用例6]本適用例にかかる入力装置は、上記の眼・瞼状態検出装置を搭載したことを特徴とする。
この構成によれば、眼・瞼状態検出装置において検出された眼や瞼の状態に基づいて、例えば、ポインターの移動等を容易に制御することができる。
以下、本発明を具体化した第1及び第2実施形態について図面に従って説明する。なお、各図面における各部材は、各図面上で認識可能な程度の大きさとするため、各部材ごとに縮尺を異ならせて図示している。
[第1実施形態]
(眼・瞼状態検出装置の構成)
まず、眼・瞼状態検出装置の構成について説明する。図1は、第1実施形態にかかる眼・瞼状態検出装置の構成を示す概略図である。眼・瞼状態検出装置1は、眼の状態、例えば、眼球の位置の検出や、瞼の状態、例えば、瞼の開閉状態の検出を行う装置である。
(眼・瞼状態検出装置の構成)
まず、眼・瞼状態検出装置の構成について説明する。図1は、第1実施形態にかかる眼・瞼状態検出装置の構成を示す概略図である。眼・瞼状態検出装置1は、眼の状態、例えば、眼球の位置の検出や、瞼の状態、例えば、瞼の開閉状態の検出を行う装置である。
図1に示すように、眼・瞼状態検出装置1は、使用者の眼の周辺に装着されるフレーム部2と、フレーム部2に設置され、フレーム部2で囲まれた領域Rに対して、一定の勾配を有した光強度分布を有する光を照射する発光部12(12a〜12d)と、フレーム部2に設置され、発光部12によって照射された光に対して眼あるいは瞼による反射光を受光する受光部15と、反射光の受光量に基づいて、眼あるいは瞼の状態を検出する検出部45を備えている。
フレーム部2は、使用者の眼の周辺に装着可能なものである。本実施形態のフレーム部2は、例えば、図1(a)に示すように、眼鏡用フレームの一部として適用している。そして、使用者が眼鏡用フレームを掛ける(装着する)ことにより、使用者の眼の周辺がフレーム部2によって覆われ、眼・瞼状態の検出が可能となる。
フレーム部2は、検出領域Rの一部を囲う形状を有している。本実施形態では、図1(b)に示すように、略矩形の枠形状を有している。枠形状によって囲まれた領域は、眼や瞼等の状態の検出が行われる検出領域Rの一部となる。
発光部12は、フレーム部2の周囲の距離を4等分したそれぞれの位置に設置され、各発光部12は、フレーム部2で囲まれた領域Rの中心部に向けて光を照射する。本実施形態では、第1〜第4発光部12a〜12dを備えている。そして、フレーム部2の角部のそれぞれに配置されている。そして、第1〜第4発光部12a〜12dのそれぞれの発光口が、検出領域Rの中央部に向かって配置されている。本実施形態では、第1発光部12aと第2発光部12bとが互いに対向して配置され、第3発光部12cと第4発光部12dとが互いに対向して配置されている。
第1〜第4発光部12a〜12dは、例えば、LED(発光ダイオード)などの発光素子で構成され、駆動回路(図示せず)から出力される駆動信号に応じて、第1〜第4発光部12a〜12dのそれぞれから赤外光からなる光(検出光)L12a〜L12dが発散光として放出される。検出光L12a〜L12dの種類は、特に限定されないが、可視光とは波長分布が異なるか、点滅などの変調が加えられることで発光態様が異なればよい。また、検出光L12a〜L12dは、眼(白目部分)や瞼(人体の皮膚の一部)等に対して効率的に反射される波長域を有することが好ましい。従って、対象物体が人体であれば、人体の表面で反射率の高い赤外線(特に可視光領域に近い近赤外線、例えば波長で850nm付近)、あるいは950nmであることが望ましい。
受光部15は、第1〜第4発光部12a〜12dから発光された検出光L12a〜L12dを受光するものであり、例えば、フォトダイオードやフォトトランジスターである。受光部15は、フレーム部2に設置されている。本実施形態では、フレーム部2の第2発光部12bと第4発光部12dの中間にあたる箇所に配置されている。そして、検出領域Rに向けて受光口が配置される。
受光部15の近傍には、参照光を照射する参照光発光部16が設置されている。参照光発光部16は、例えば、LED(発光ダイオード)などの発光素子で構成されている。参照光発光部16では、受光部15に向けて参照光を常時照射する。ここで、参照光とは、検出に用いられる基準の照射量を発光する光である。そして、受光部15で受光した後、検出部45において、発光部12と参照光発光部16のそれぞれから受光した光を比較しながら、眼あるいは瞼の状態を検出する。そのため、検出の際に、外光等の外部の光に伴う、検査誤差を低減するため、外光による照射量(ノイズ)をキャンセルすることができる。これにより、検出精度を向上させることができる。
検出領域Rは、検出光L12a〜L12dが照射される立体的な領域であり、使用者の眼や瞼による反射光が生じ得る領域である。そして、各検出光L12a〜L12dは、一定の勾配を有した光強度分布を有する光である。具体的には、図1(c)に実線で示すように、第1発光部12aからの照射距離に伴って直線的に減衰する強度分布を有する。また、検出領域Rに出射される検出光L12bの光量は、図1(c)に点線で示すように、第2発光部12bからの距離に伴って直線的に減衰する強度分布を有する。なお、第3及び第4発光部12c,12dから照射される検出光L12c,12dも同様である。
次に、眼球の位置を検出する基本原理について説明する。本実施形態では、上記受光部15における検出光の受光量に基づいて、眼球の位置、すなわち、眼球のXY座標の取得方法について説明する。この位置情報の取得方法は種々のものが考えられるが、例えば、二つの位置検出光の検出光量の比率に基づいてそれらの減衰係数の比率を求め、この減衰係数の比率から両位置検出光の伝播距離を求めることにより、対応する二つの光源を結ぶ方向の位置座標を求める方法などが挙げられる。また、二つの位置検出光の検出光量の差を求め、この差の絶対値から、対応する二つの光源を結ぶ方向の位置座標を求める方法が挙げられる。これらいずれの方法においても、受光部15からの出力値をそのまま演算に用いる方法、受光部15を介してキャパシタに蓄電あるいは放電させてキャパシタの端子間電圧が所定の電圧になるまでの時間を演算に用いる方法などを挙げることができる。いずれの場合も、以下に説明する性質を利用したものである。
まず、第1〜第4発光部12a〜12dから検出光L12a〜L12dが照射されると、検出領域Rにおいて、各検出光L12a〜L12dは、図1(c)に示すように、各第1〜第4発光部12a〜12dからの距離に伴って直線的に減衰する光強度分布が形成される。
ここで、第1発光部12aの制御量(例えば電流量)、変換係数、および放出光量をIa、k、およびEaとし、第2発光部12bの制御量(電流量)、変換係数、および放出光量をIb、k、およびEbとすれば、
Ea=k・Ia
Eb=k・Ib
となる。また、検出光L12aの減衰係数、および検出光量をfa、およびGaとし、検出光L12bの減衰係数、および検出光量をfb、およびGbとすれば、
Ga=fa・Ea=fa・k・Ia
Gb=fb・Eb=fb・k・Ib
となる。
Ea=k・Ia
Eb=k・Ib
となる。また、検出光L12aの減衰係数、および検出光量をfa、およびGaとし、検出光L12bの減衰係数、および検出光量をfb、およびGbとすれば、
Ga=fa・Ea=fa・k・Ia
Gb=fb・Eb=fb・k・Ib
となる。
従って、受光部15において両検出光の検出光量の比であるGa/Gbが検出できるとすれば、
Ga/Gb=(fa・Ea)/(fb・Eb)=(fa/fb)・(Ia/Ib)
となるため、放出光量の比Ea/Eb、および制御量の比Ia/Ibに相当する値が分かれば、減衰係数の比fa/fbが分る。この減衰係数の比と両検出光の伝播距離の比との間に直線関係があれば、この直線関係を予め設定しておくことで、眼球の位置情報を得ることができる。
Ga/Gb=(fa・Ea)/(fb・Eb)=(fa/fb)・(Ia/Ib)
となるため、放出光量の比Ea/Eb、および制御量の比Ia/Ibに相当する値が分かれば、減衰係数の比fa/fbが分る。この減衰係数の比と両検出光の伝播距離の比との間に直線関係があれば、この直線関係を予め設定しておくことで、眼球の位置情報を得ることができる。
上記減衰係数の比fa/fbを求める方法としては、例えば、第1発光部12aと第2発光部12bを逆相で点滅(例えば、矩形波状若しくは正弦波状の駆動信号を伝播距離の差に起因する位相差が無視できる周波数で相互に180度の位相差を持つように動作)させた上で、検出光量の波形を解析する。より現実的には、例えば、一方の制御量Iaを固定し(Ia=Im)、検出波形が観測できなくなるように、すなわち、検出光量の比Ga/Gbが1となるように他方の制御量Ibを制御し、このときの制御量Ib=Im・(fa/fb)から上記減衰係数の比fa/fbを導出する。
また、両制御量の和が常に一定、すなわち、下式
Im=Ia+Ib
を満たすように制御してもよい。この場合には、下式
Ib=Im・fb/(fa+fb)
となるので、
fb/(fa+fb)=α
とすると、下式
fa/fb=(1−α)/α
により、減衰係数の比が求まる。
Im=Ia+Ib
を満たすように制御してもよい。この場合には、下式
Ib=Im・fb/(fa+fb)
となるので、
fb/(fa+fb)=α
とすると、下式
fa/fb=(1−α)/α
により、減衰係数の比が求まる。
従って、眼球の矢印A方向の位置情報は、第1発光部L12aと第2発光部L12bを相互に逆相で駆動することで取得することができる。また、眼球の矢印B方向の位置情報は、第3発光部12cと第4発光部12dを相互に逆相で駆動することで取得することができる。それ故、制御系において上記A方向とB方向の検出動作を順次行って眼球のXY平面上の位置座標を取得できる。
上記のように、受光部15により検出される検出光12a〜12dの光量比に基づいて眼球の検出領域R内の平面位置情報を取得するにあたって、例えば、信号処理部としてマイクロプロセッサーユニット(MPU)を用い、これにより所定のソフトウェア(動作プログラム)を実行することに従って処理を行う構成を採用することができる。また、論理回路などのハードウェアを用いた信号処理部で処理を行う構成を採用することもできる。
また、瞼の状態の検出方法として、例えば、瞼の開閉状態を検出する方法としては、眼球から反射された光の光量、すなわち、瞼が開いている状態における光量と、瞼(人体の皮膚の一部)から反射された光の光量、すなわち、瞼が閉じられている状態における光量と、を比較することにより、瞼の開閉状態を検出することができる。
(眼・瞼状態検出方法)
次に、本実施形態における眼・瞼状態検出方法について説明する。本実施形態では、眼の状態の検出として眼球の位置の検出方法について説明する。図2は、眼球位置検出方法を示すフローチャートである。
次に、本実施形態における眼・瞼状態検出方法について説明する。本実施形態では、眼の状態の検出として眼球の位置の検出方法について説明する。図2は、眼球位置検出方法を示すフローチャートである。
まず、眼球のX座標位置を検出するため、ステップS11では、第1及び第4発光部12a,12dを駆動させ、検出光L12a,L12dを照射する。この際、第2及び第3発光部12b,12cは停止させておく。従って、X軸方向の一方方向において光強度が高くなる光強度分布が形成される。
ステップS12では、受光部15を駆動させ、検出光L12a,L12dに対して眼から反射した光を受光させる。
ステップS13では、第2及び第3発光部12b,12cを駆動させ、検出光L12b,L12cを照射する。この際、第1及び第4発光部12a,12dは停止させておく。従って、X軸方向の他方方向において光強度が高くなる光強度分布が形成される。
ステップS14では、受光部15を駆動させ、検出光L12b,L12cに対して眼から反射した光を受光させる。
ステップS15では、ステップS12及びステップS14において受光した受光量をそれぞれ演算し、各受光量を比較演算することにより、眼球のX座標を算出することができる。
次に、眼球のY座標位置を検出するため、ステップS16では、第1及び第3発光部12a,12cを駆動させ、検出光L12a,L12cを照射する。この際、第2及び第4発光部12b,12dは停止させておく。従って、Y軸方向の一方方向において光強度が高くなる光強度分布が形成される。
ステップS17では、受光部15を駆動させ、検出光L12a,L12cに対して眼から反射した光を受光させる。
ステップS18では、第2及び第4発光部12b,12dを駆動させ、検出光L12b,L12dを照射する。この際、第1及び第3発光部12a,12cは停止させておく。従って、Y軸方向の他方方向において光強度が高くなる光強度分布が形成される。
ステップS19では、受光部15を駆動させ、検出光L12b,L12dに対して眼から反射した光を受光させる。
ステップS19では、ステップS17及びステップS19において受光した受光量をそれぞれ演算し、各受光量を比較演算することにより、眼球のY座標を算出することができる。このようにして、眼球のXY座標が検出される。これにより、使用者の眼球の位置が検出されるとともに、使用者の視線を検出することができる。
次に、瞼の状態の検出方法について説明する。本実施形態では、瞼の状態の検出として、瞼の開閉状態の検出方法について説明する。まず、基準となる受光量を算出する。そこで、第1〜第4発光部12a〜12dのうち、例えば、第1及び第4発光部12a,12dを駆動させ、検出光L12a,12dを照射させる。そして、瞼を開けた状態における眼球で反射された反射光を受光部15で受光する。これにより、瞼を開けた状態における基準の受光量が算出される。また、瞼を閉じた状態における瞼で反射された反射光を受光部15で受光する。これにより、瞼を閉じた状態における基準の受光量が算出される。そして、瞼の開閉状態を検出する場合には、基準となる受光量を検出した条件、すなわち、上記の例では、第1及び第4発光部12a,12dを駆動させた状態で反射光を受光する。そして、検出した受光量と基準の受光量とを比較演算することにより、瞼の開閉状態を検出することができる。
なお、上記の眼・瞼の状態検出に際しては、眼・瞼状態検出の前に、眼・瞼状態検出装置1のキャリブレーションを行うことが好ましい。例えば、眼・瞼状態検出装置1を使用する使用者が異なった場合には、眼の位置や大きさや皮膚の色合い等が使用者毎に異なるため、正確に眼・瞼状態検出を行うことができないおそれが生じるためである。そこで、眼・瞼状態検出装置1を用いて検出する前にキャリブレーションを行う。
キャリブレーションでは、眼・瞼状態検出装置1を使用する使用者の基本情報を取得する。本実施形態では、基本情報として、瞼を開閉した各状態の受光量と、眼球が移動する移動範囲における眼球の座標と、を取得する。まず、瞼を開閉した各状態の受光量の取得については、所定の検出光L12を照射させた状態で、瞼を開けた状態において眼から反射した光を受光し、受光量を検出する。次に、眼を閉じた状態において瞼(使用者の皮膚の一部)から反射した光を受光し、受光量を検出する。そして、これらの受光量は、メモリー等の記憶部に、使用者毎に格納される。格納された受光量は、瞼の状態検出の際に、基準の比較データとして用いられる。
次に、眼球が移動する移動範囲における眼球の座標の取得については、例えば、眼球を右側から左側に移動させながら、また、眼球を上側から下側に移動させながら、または、眼球を回しながら、所定の位置、或いは期間において眼球のXY座標を検出する。検出方法は、例えば、図2に示す眼球の位置を検出する方法に沿って行う。このようにして、使用者毎に基本の眼球座標が取得される。
(入力装置の構成)
次に、入力装置の構成について説明する。図3は、入力装置の構成を示す概略図である。入力装置は、眼や瞼の状態を検出する眼・瞼状態検出装置1と、眼・瞼状態検出装置1によって検出された検出情報に基づいて入力制御情報として出力する制御部20と、制御部20によって出力された入力制御情報に基づいて、画像を表示する表示部30と、を備えている。このように構成された入力装置100では、眼や瞼の状態を入力パラメーターとして画像の入力等に利用することができる。
次に、入力装置の構成について説明する。図3は、入力装置の構成を示す概略図である。入力装置は、眼や瞼の状態を検出する眼・瞼状態検出装置1と、眼・瞼状態検出装置1によって検出された検出情報に基づいて入力制御情報として出力する制御部20と、制御部20によって出力された入力制御情報に基づいて、画像を表示する表示部30と、を備えている。このように構成された入力装置100では、眼や瞼の状態を入力パラメーターとして画像の入力等に利用することができる。
まず、眼の状態検出に基づく、入力処理方法について説明する。なお、本実施形態では、眼球の位置(視線)検出に基づく、表示部30上のポインター(位置指示画像)Pを移動させる方法について説明する。眼・瞼状態検出装置1によって眼球のXY座標が取得される。XY座標の取得方法については、図2に示す方法と同様なので説明を省略する。そして、取得された検出情報としてのXY座標情報が、制御部20に供給される。制御部20では、眼球の位置を表すXY座標情報をポインターPに該当する座標情報に連動させた入力制御情報を生成するとともに、入力制御情報を表示部30に出力する。表示部30では、入力制御情報に基づいて、ポインターPを表示する。従って、例えば、図3(b)に示すように、使用者の眼球の移動に連動させて、表示部30上のポインターPの位置を位置S1から位置S2へと移動させることができる。
次に、瞼の状態検出に基づく、入力処理方法について説明する。なお、本実施形態では、瞼の開閉状態の検出に基づく、表示部30上の画像の切り替え方法について説明する。眼・瞼状態検出装置1によって瞼の開閉状態を検出する。瞼の開閉状態の検出方法は、先述の検出方法と同様なので説明を省略する。そして、取得された瞼の開閉情報が、制御部20に供給される。制御部20では、時間測定部を備え、瞼が閉じている時間を計測することができる。そして、予め、瞼が閉じられた時間や単位時間当たりの瞬きの回数に対応した所定の画像の移動方法が関連付けられている。そして、瞼の開閉情報に基づいて、所定の画像の移動に関する入力制御情報を生成するとともに、入力制御情報を表示部30に出力する。表示部30では、入力制御情報に基づいて、画像を表示する。従って、例えば、図3(c)に示すように、使用者の瞼の開閉状態に連動させて、例えば、瞬き2回で画像Aから画像Bに切り替え、瞬き3回で画像Bから画像Aに切り替えることができる。また、瞼を所定時間以上閉じた状態にすることにより、画像の表示を停止(画像C)にしたり、表示部30の駆動を停止させることができる。本実施形態では、片目に眼・瞼状態検出装置1を装着した例を説明したが、これに限定されず、右眼及び左眼のそれぞれに眼・瞼状態検出装置1を装着してもよい。このようにすれば、さらに、複雑な制御割り当てが可能となる。
なお、上記では、眼の状態と瞼の状態とを別個に検出したが、眼と瞼の状態を同時期に検出してもよい。この場合、例えば、眼球の移動によってポインターの移動や画像の切り替えを選択し、瞼の開閉状態によって実行することができる。このようにすれば、さらに、容易に入力装置を操作することができる。
なお、本実施形態では、眼・瞼状態検出装置1を入力装置100に適用したが、これに限定されない。上記に示した入力装置100の他にも、HMD(ヘッド・マウント・デバイス)、ビューファインダー、双眼鏡、顕微鏡、望遠鏡等の機器に適用することができる。また、瞼の開閉状態を検出することにより、自動車運転等の眠気感知装置等に適用することができる。
従って、上記第1実施形態によれば、以下に示す効果がある。
(1)使用者の眼の近傍で一定の勾配を有する光強度分布が形成されるとともに、眼球等の反射を検出することができる。このため、外光等のノイズの影響が低減され、正確に眼球の位置や瞼の開閉状態等を検出することができる。
(2)眼・瞼状態検出装置1において検出された情報に基づいて、簡単かつ容易に入力装置を操作することができる。
[第2実施形態]
(眼・瞼状態検出装置の構成)
次に、第2実施形態について説明する。図4は、第2実施形態にかかる眼・瞼状態検出装置の構成を示す概略図である。図4に示すように、眼・瞼状態検出装置1’は、使用者の眼の周辺に装着されるフレーム部2と、フレーム部2に設置され、フレーム部2で囲まれた領域Rに対して、一定の勾配を有する光強度分布が形成された光を照射する発光部12と、フレーム部2に設置され、眼あるいは瞼で反射した光を受光する受光部15と、受光量に基づいて、眼あるいは瞼の状態を検出する検出部(図示せず)を備えている。さらに、フレーム部2には、光の照射によって一定の勾配を有する光強度分布が形成されるパターン膜18’を含むパターン部材18が固定され、発光部12では、パターン膜18’を介して、使用者の眼側を含む領域を照射する。なお、パターン膜18aを含むパターン部材18以外の構成については、第1実施形態の内容と同様なので説明を省略し、パターン部材18に関して説明する。
(眼・瞼状態検出装置の構成)
次に、第2実施形態について説明する。図4は、第2実施形態にかかる眼・瞼状態検出装置の構成を示す概略図である。図4に示すように、眼・瞼状態検出装置1’は、使用者の眼の周辺に装着されるフレーム部2と、フレーム部2に設置され、フレーム部2で囲まれた領域Rに対して、一定の勾配を有する光強度分布が形成された光を照射する発光部12と、フレーム部2に設置され、眼あるいは瞼で反射した光を受光する受光部15と、受光量に基づいて、眼あるいは瞼の状態を検出する検出部(図示せず)を備えている。さらに、フレーム部2には、光の照射によって一定の勾配を有する光強度分布が形成されるパターン膜18’を含むパターン部材18が固定され、発光部12では、パターン膜18’を介して、使用者の眼側を含む領域を照射する。なお、パターン膜18aを含むパターン部材18以外の構成については、第1実施形態の内容と同様なので説明を省略し、パターン部材18に関して説明する。
パターン部材18は、フレーム部2によって囲われた部分に固定されている。パターン部材18は、透明性を有し、例えば、ガラス、プラスチック、アクリル等を用いることができる。パターン部材18にはパターン膜18aが形成されている。パターン膜18aには、所定のパターンが形成されており、発光部12から出射された検出光L12がパターン膜18aを介して検出領域Rを照射することにより、検出領域Rには、図1(c)に示したような、一定の勾配を有する光強度分布が形成される。
なお、眼球の位置や瞼の開閉状態の検出方法やキャリブレーションの方法は、第1実施形態の内容と同じなので説明を省略する。また、入力装置等についても第1実施形態の内容と同じように、本実施形態にかかる眼・瞼状態検出装置1’を適用することができる。
従って、上記第2実施形態によれば、第1実施形態における効果に加え、以下に示す効果がある。
フレーム部2にパターン膜18aを有するパターン部材18が設置され、発光部12から出射された検出光L12が、パターン膜18aを介して検出領域Rに照射される。これにより、光強度分布を正確に形成することができ、眼球位置等を正確に検出することができる。
1…眼・瞼状態検出装置、2…フレーム部、12,12a〜12d…発光部、第1〜第4発光部、15…受光部、16…参照光発光部、18…パターン部材、18’…パターン膜、20…制御部、30…表示部、45…検出部、100…入力装置。
Claims (6)
- 使用者の眼の周辺に装着されるフレーム部と、
前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、
前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、
前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えたことを特徴とする眼・瞼状態検出装置。 - 請求項1に記載の眼・瞼状態検出装置において、
前記発光部では、
一方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、他方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、を有する前記光を照射することを特徴とする眼・瞼状態検出装置。 - 請求項1または2に記載の眼・瞼状態検出装置において、
前記発光部が、前記フレーム部の周囲の距離を4等分したそれぞれの位置に設置され、 各前記発光部は、前記フレーム部で囲まれた前記領域の中心部に向けて前記光を照射することを特徴とする眼・瞼状態検出装置。 - 請求項1〜3のいずれか一項に記載の眼・瞼状態検出装置において、
前記フレーム部が、前記光の照射によって一定の勾配を有する前記光強度分布が形成されるパターン膜を含むパターン部材を固定し、
前記発光部では、前記パターン膜を介して、前記使用者の眼側を含む前記領域を照射することを特徴とする眼・瞼状態検出装置。 - 請求項1〜4のいずれか一項に記載の眼・瞼状態検出装置において、
前記受光部の近傍に、参照光を照射する参照光発光部が設置され、
前記受光部では、前記参照光を受光し、
前記検出部では、前記発光部と前記参照光発光部とのそれぞれから受光した光を比較しながら、前記眼あるいは前記瞼の状態を検出することを特徴とする眼・瞼状態検出装置。 - 請求項1〜5のいずれか一項に記載の眼・瞼状態検出装置を搭載した入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010092031A JP2011221890A (ja) | 2010-04-13 | 2010-04-13 | 眼・瞼状態検出装置、入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010092031A JP2011221890A (ja) | 2010-04-13 | 2010-04-13 | 眼・瞼状態検出装置、入力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011221890A true JP2011221890A (ja) | 2011-11-04 |
Family
ID=45038782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010092031A Withdrawn JP2011221890A (ja) | 2010-04-13 | 2010-04-13 | 眼・瞼状態検出装置、入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011221890A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9116545B1 (en) | 2012-03-21 | 2015-08-25 | Hayes Solos Raffle | Input detection |
US9128522B2 (en) | 2012-04-02 | 2015-09-08 | Google Inc. | Wink gesture input for a head-mountable device |
US9201512B1 (en) | 2012-04-02 | 2015-12-01 | Google Inc. | Proximity sensing for input detection |
TWI674887B (zh) * | 2018-07-18 | 2019-10-21 | 應用於眼瞼下垂及眼瞼閉合不全的磁力裝置 | |
CN110731855A (zh) * | 2018-07-19 | 2020-01-31 | 连景峰 | 应用于眼睑下垂及眼睑闭合不全的磁力装置 |
CN113672080A (zh) * | 2020-07-20 | 2021-11-19 | 陈皓云 | 以近接感测器侦测眨眼的方法及系统 |
-
2010
- 2010-04-13 JP JP2010092031A patent/JP2011221890A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9116545B1 (en) | 2012-03-21 | 2015-08-25 | Hayes Solos Raffle | Input detection |
US9128522B2 (en) | 2012-04-02 | 2015-09-08 | Google Inc. | Wink gesture input for a head-mountable device |
US9201512B1 (en) | 2012-04-02 | 2015-12-01 | Google Inc. | Proximity sensing for input detection |
TWI674887B (zh) * | 2018-07-18 | 2019-10-21 | 應用於眼瞼下垂及眼瞼閉合不全的磁力裝置 | |
CN110731855A (zh) * | 2018-07-19 | 2020-01-31 | 连景峰 | 应用于眼睑下垂及眼睑闭合不全的磁力装置 |
CN113672080A (zh) * | 2020-07-20 | 2021-11-19 | 陈皓云 | 以近接感测器侦测眨眼的方法及系统 |
CN113672080B (zh) * | 2020-07-20 | 2024-03-19 | 陈皓云 | 以近接感测器侦测眨眼的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10852817B1 (en) | Eye tracking combiner having multiple perspectives | |
US10154254B2 (en) | Time-of-flight depth sensing for eye tracking | |
JP2011221890A (ja) | 眼・瞼状態検出装置、入力装置 | |
US20180196509A1 (en) | Eye tracking architecture for common structured light and time-of-flight framework | |
US8933912B2 (en) | Touch sensitive user interface with three dimensional input sensor | |
US9185352B1 (en) | Mobile eye tracking system | |
US20190361523A1 (en) | In-field illumination and imaging for eye tracking | |
JP2020034919A (ja) | 構造化光を用いた視線追跡 | |
US20140211995A1 (en) | Point-of-gaze estimation robust to head rotations and/or estimation device rotations | |
JP6210023B2 (ja) | 視線検出支援装置および視線検出支援方法 | |
US20200201038A1 (en) | System with multiple displays and methods of use | |
JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
JP2018192195A (ja) | 評価装置、評価方法、及び評価プログラム | |
EP2869022B1 (en) | Method and device for alignment of an optical imaging system | |
US11307654B1 (en) | Ambient light eye illumination for eye-tracking in near-eye display | |
GB2588774A (en) | Augmented reality headset for medical imaging | |
KR101809678B1 (ko) | 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치 | |
CN113759545A (zh) | 用于操作一副智能眼镜的方法 | |
JP2007029126A (ja) | 視線検出装置 | |
JP6747172B2 (ja) | 診断支援装置、診断支援方法、及びコンピュータプログラム | |
JP6092173B2 (ja) | 電子装置とその操作方法 | |
CN117795391A (zh) | 2d扫描显示中的3d映射 | |
US10156901B2 (en) | Touch surface for mobile devices using near field light sensing | |
US11890057B2 (en) | Gaze detection apparatus, gaze detection method, and gaze detection program | |
CN202681913U (zh) | 同视机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130702 |