JP2004312733A - 網膜トラッキングを組み込んだ装置及び方法 - Google Patents

Abstract

【課題】 網膜トラッキングシステムを組み込んだ電気装置（例えば、デジタルカメラなど）及び方法を提供する。
【解決手段】 レンズ系３００と、レンズ系３００を介して送られた光信号を感知するイメージセンサ３０２と、マイクロディスプレイ４０４、及び、ユーザの網膜４０６の像を取り込むように構成された網膜センサ４１２を収納する電子ビューファインダ３１４と、網膜センサ４１２により取り込まれた像を、デバイスメモリ（カメラメモリ）３２０に格納された網膜マップ３３０と比較し、それにより、電子ビューファインダ内のマイクロディスプレイ４０４に対するユーザの視線の方向を判定する画像比較器３３２とを備える。
【選択図】 図３

Description

本発明は、網膜トラッキングを組み込んだ装置及び方法に関する。

現在、電子装置の中には、装置とインタフェースするために用いることができる情報をユーザに伝達するマイクロディスプレイビューファインダを備えるものがある。例えば、画像だけでなく様々な選択可能な機能をユーザに提示することができるマイクロディスプレイを含むビューファインダを有するデジタルカメラが、現在入手可能である。デジタルカメラの場合、マイクロディスプレイビューファインダを設けることにより、バックパネルディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ））に通常において伴う問題、例えば、太陽によるウォッシュアウト，ディスプレイの汚れ，及び／又は引掻き傷などが回避される。

マイクロディスプレイビューファインダは、多くの用途において有用であるが、ユーザインタフェースの観点から見ると、既知のマイクロディスプレイビューファインダは、魅力的ではない。特に、ビューファインダのマイクロディスプレイがユーザに選択可能な機能を提示するグラフィカルユーザインタフェース（ＧＵＩ）として用いられる場合には、ユーザが自身の望む選択を登録（入力）する（resister）ことが困難である場合がある。これは、これらの選択を行うために用いられるツールがマイクロディスプレイとは別個のものであるためである。例えば、ディスプレイに提示される機能は、通常、「矢印」ボタンを用いて画面上のカーソルを操作することにより選択される。このようなボタンによって画面上の機能を選択することは、バックパネルディスプレイとインタフェースする際には容易であるが、装置のビューファインダを覗きながら、特にビューファインダに隣接した位置にあるボタンを作動させるには、これらのボタンは扱いにくい。このようなボタンが難なく操作できる場合であっても、例えばボタンが別個の構成要素（例えば、キーボードなどの別個の入力デバイス）にある場合、このようなボタンで選択を行うのには、通常では時間がかかる。例えば、画面上のカーソルを用いて選択するボタンを特定する場合、矢印ボタンを用いてカーソルをボタンの位置に合わせる過程は時間がかかる。ＧＵＩに提示される機能を選択するために通常用いられる他の既知のデバイス、例えばマウス，トラックボール，又はスタイラスは、殆どのポータブル装置では、特にマイクロディスプレイビューファインダを備える装置では全く実用的ではない。

そこで、本発明は、上述の如き実状を勘案して、網膜トラッキングシステムを組み込んだ電気装置（例えば、デジタルカメラなど）及び方法を提供する。

一実施形態では、本発明に係る装置は、マイクロディスプレイを収納するビューファインダと、マイクロディスプレイに対するユーザの視線（gaze：凝視）の方向を判定するように構成された網膜トラッキングシステムとを備える。

上記で明らかにしたように、装置のマイクロディスプレイに提示された機能を装置に設けられた別個の制御部を用いて選択及び／又は制御することは、困難であり得る。特に、ボタンなどのそのような制御部を、同時に装置のビューファインダを覗いてマイクロディスプレイを見ながら操作することは厄介である。更に、このような別個の制御部の応答性は悪い。以下で説明するように、表示された機能のユーザによる選択及び制御は、ユーザが自身の視線方向を変えることにより簡単に機能の選択又は移動を行うことができる場合に大きく改善される。例えば、ユーザがマイクロディスプレイのどの領域を見ているのかに応じて、マイクロディスプレイで画面上のカーソルを移動させることができる。同様に、ユーザが選択を望んでいるアイテムを単に見ることにより、ユーザによってメニューアイテムがハイライト及び／又は選択され得る。

以下で説明するように、ユーザの視線の方向は、ユーザがマイクロディスプレイを走り読みする際にユーザの網膜をトラッキング（追跡）することにより判定され得る。特に、本装置は、ユーザの網膜の血管のパターンを検出し、その向きを、デバイスメモリに格納された網膜マップの向きと相互に関連付ける。このような動作により、画面上のアイテムは、高精度で迅速に選択及び／又は制御されることができる。

次に、図面を参照するが、いくつかの図面を通して同様の参照符号は対応する部分を示している。図１は、網膜トラッキングシステムを組み込んだ装置１００の実施形態を示しており、網膜トラッキングシステムは、装置のマイクロディスプレイに提示された機能のユーザによる選択及び／又は制御を推測するために用いられ得る。図１に示すように、装置１００は、カメラ、特にデジタルスチルカメラを含み得る。カメラの実施態様は、図面に示し、本明細書で説明するが、カメラは、網膜トラッキングを用いることができる多くの異なる装置のうちの１つを表しているだけであることを理解するべきである。従って、以下で説明する網膜トラッキングシステムは、代替的に、ビデオカメラ，仮想現実感眼鏡（virtual reality glasses），ポータブルコンピューティングデバイスなどの他のデバイスで用いることができる。実際に、網膜トラッキングシステムは、グラフィカルユーザインタフェース（ＧＵＩ）を提示するために用いられるマイクロディスプレイを含む、実質的に如何なるデバイスでも用いることができる。

図１に示すように、デジタルカメラ（これ以降において「カメラ１００」と呼ぶ）である装置１００は、外部ハウジング１０４に覆われたカメラ本体１０２を有している。カメラ１００は、更に、例えばズームレンズ系を収納する鏡筒１０６を有している。カメラ本体１０２の前部には、カメラを把持するのに用いられるグリップ１０８と、例えば、カメラのフォーカス，露出，及びホワイトバランスの自動設定に用いられる視覚情報を収集するために用いられ得るウィンドウ１１０とが組み込まれている。

カメラ１００の上部には、カメラ１００のシャッタ（図１では見えない）を開くために用いられるシャッタリリースボタン１１２が設けられている。シャッタリリースボタン１１２の周りにはリング制御部１１４があり、これは、当該制御部が付勢される方向に応じてレンズ系をズームイン及びズームアウトさせるのに用いられる。シャッタリリースボタン１１２に隣接して、マイクロホン１１６があり、これは、カメラ１００が「動画モード」で用いられる場合に音声を取り込むために用いられ得る。マイクロホン１１６の隣にはスイッチ１１８があり、これは、光の少ない状態で物体を照明するために用いられ得るポップアップフラッシュ１２０（格納された位置で示す）の動作を制御するために用いられる。

次に、図２を参照すると、カメラ１００の後部が示され、カメラ本体１０２には更に、マイクロディスプレイ（図２では見えない）を組み込んだ電子ビューファインダ（ＥＶＦ）１２２が設けられ、取り込んだ画像及びＧＵＩがマイクロディスプレイにおいてユーザに提示されようになっている。マイクロディスプレイは、以下においてより詳細に説明するように、拡大レンズ又はレンズ系を備え得るビューファインダ１２２のビューウィンドウ１２４を覗くことにより見ることができる。任意に、カメラ１００のバックパネルは、フラットパネルディスプレイ１２６も含むことができ、フラットパネルディスプレイ１２６は、ショットを構成して取り込んだ画像を見直すのに用いられ得る。ディスプレイ１２６が設けられる場合には、ディスプレイ１２６は、液晶ディスプレイ（ＬＣＤ）から成り得る。カメラ本体１０２のバックパネルには、種々の制御ボタン１２８も設けられる。これらのボタン１２８は、例えば、ディスプレイ１２６に示される取り込まれた画像をスクロールするために用いられ得る。カメラ本体１０２のバックパネルは、更に、ユーザに可聴情報（例えば、ブザーや録音した音）を与えるのに用いられるスピーカ１３０と、バッテリー及び／又はメモリカードを収納するのに用いられるコンパートメント１３２とを備えている。

図３は、カメラ１００の構造の例を示す。この図に示すように、カメラ１００は、見たシーンの像を１つ又は複数のイメージセンサ３０２に伝えるレンズ系３００を有している。例として、イメージセンサ３０２は、１つ又は複数のセンサドライバ３０４により駆動される電荷結合素子（ＣＣＤ）を備えている。次に、センサ３０２により取り込まれたアナログ画像信号は、アナログ・デジタル（Ａ／Ｄ）変換器３０６に供給されて２進コードに変換され、これがプロセッサ３０８により処理され得る。

センサドライバ３０４の動作は、プロセッサ３０８と双方向通信するカメラコントローラ３１０により制御される。コントローラ３１０によって、レンズ系３００を駆動するために（例えば、フォーカス及びズームを調整するために）用いられる１つ又は複数のモータ３１２，図１に示すマイクロホン１１６，及び電子ビューファインダ３１４も制御され、これらの様々な実施形態は、これ以降の図で説明する。イメージセンサ３０２からのような電子ビューファインダ３１４からの出力は、Ａ／Ｄ変換器３０６に供給されて、処理の前にデジタル形式に変換される。カメラコントローラ３１０の動作は、ユーザインタフェース３１６の操作により調整され得る。ユーザインタフェース３１６は、カメラ１００に選択及びコマンドを入力するのに用いられる種々の構成要素を備えるため、少なくともシャッタリリースボタン１１２，リング制御部１１４，及び図２に示す制御ボタン１２８を備えている。

デジタル画像信号は、カメラコントローラ３１０と、永久（不揮発性）デバイスメモリ（カメラメモリ）３２０に格納された１つ又は複数の画像処理システム３１８とからの命令に従って処理される。次に、処理された画像は、取り外し可能な固体メモリカード（例えば、フラッシュメモリカード）内に含まれているようなストレージメモリ（記憶装置）３２２に格納され得る。１つ又は複数の画像処理システム３１８に加えて、デバイスメモリ３２０は、更に、１つ又は複数の血管検出アルゴリズム３２４（ソフトウェア又はファームウェア）を備え、この血管検出アルゴリズム３２４は、電子ビューファインダ３１４と共に用いられて、ユーザの網膜血管を特定し、それらの動きを追跡して、ユーザの視線の方向を判定する。

カメラ１００は、更に、ユニバーサルシリアルバス（ＵＳＢ）コネクタなどのデバイスインタフェース３２６を備えており、デバイスインタフェース３２６は、カメラ１００からパーソナルコンピュータ（ＰＣ）又はプリンタなどの別のデバイスに画像をダウンロードするために用いられ、同様に、画像又は他の情報をアップロードするためにも用いることができる。

上述の構成要素に加えて、カメラ１００は、更に、画像モンタージュユニット３２８と、１つ又は複数の網膜マップ３３０と、画像比較器３３２と、スイッチ３３４とを有している。これらの構成要素、並びに、血管検出アルゴリズム３２４は、画面上のＧＵＩ機能のユーザによる選択及び／制御を推測するのに用いられる網膜トラッキングシステムの一部を形成する。これらの構成要素の動作は、以下において詳細に説明する。

図４は、カメラ１００に組み込まれ得る電子ビューファインダ３１４Ａの第１の実施形態を示す。図４に示すように、電子ビューファインダ３１４Ａは拡大レンズ４００を備えており、ユーザは、この拡大レンズ４００を自身の目４０２の近くに位置付ける。拡大レンズ４００は、ビューファインダのハウジングに収納されたマイクロディスプレイ４０４で生成された画像を拡大及びフォーカスするために用いられる。要素４００は、図４では１つのレンズとして示されているが、所望であれば適当な複数レンズのシステムを用いてもよい。拡大レンズ４００を設けることにより、マイクロディスプレイ４０４により生成された画像Ｉがユーザの目４０２に伝達され、それにより、対応する画像Ｉ’が目の網膜４０６で焦点合わせされる。

マイクロディスプレイ４０４は、透過型，反射型，又は発光型ディスプレイから成っていてよい。本開示のため、「マイクロディスプレイ」という用語は、１インチ以下の対角寸法を有する任意のフラットパネルディスプレイを指す。サイズは、比較的小さいが、拡大又は投影光学系を通して見た場合には、マイクロディスプレイには大きな高解像度の虚像が現れる。例えば、約０．１９インチの対角寸法を有し、３２０×２４０画素の解像度を有するマイクロディスプレイは、２メートルの距離から見た場合には、約２２．４インチ（対角寸法で）のサイズの虚像を生成することができる。

例として、マイクロディスプレイ４０４は、シリコンダイに形成された反射型強誘電性液晶（ＦＬＣ）マイクロディスプレイから成る。このようなマイクロディスプレイの１つは、Displaytech, Inc.（Longmont, Colorado）から現在入手可能である。このようなマイクロディスプレイは、発光するのではなく反射するため、反射型マイクロディスプレイで画像を生成するために別個の光源が必要である。従って、電子ビューファインダ３１４Ａは、発光ダイオード（ＬＥＤ）４０８の形態の赤色，緑色，及び青色の光源を備える。これらのＬＥＤ４０８は、フィールド順次式で高周波数（例えば９０〜１８０Ｈｚ）で順次にパルス発光し、それにより、経路「ａ」に沿って進む光は、ビームスプリッタ４１０（例えば、ガラス板又はプリズム）で反射して、マイクロディスプレイ４０４に当たる。マイクロディスプレイ４０４の種々の画素は、ＬＥＤ４０８から発せられる光がユーザの目４０２に向けて反射されるように操作される。画素のこの操作は、ＬＥＤ４０８のパルス発光と同期し、それにより、画像の赤色部分、次に緑色部分、というように立て続けに反射される。反射型マイクロディスプレイが図面に示され、本明細書で説明されるが、マイクロディスプレイは、代替的に、所望であれば小さいＬＣＤ（液晶ディスプレイ）又は有機発光ダイオード（ＯＬＥＤ）などの透過型又は発光型のディスプレイから成ってもよい。このような場合、種々のＬＥＤは不要となろう。

マイクロディスプレイ４０４から反射された（又は、場合によっては透過又は発せられた）光は、経路「ｂ」に沿ってユーザの目４０２に向かって進む。種々の色の信号が高周波数で送られるため、目４０２は信号を解釈して合成し、それにより、その信号は、見たシーンを構成する色及び形状を形成するように見える。目４０２の特性により、この光の一部は、経路「ｃ」に沿ってビューファインダ３１４Ａに反射し戻される。その際、この光の一部は、光を再帰反射するユーザの網膜４０６で反射する。この光信号は、ユーザの網膜の像、従ってユーザの網膜の血管のパターンを有する（bear）。このようなパターンは個人ごとに特有のものであるため、反射されたパターンは、血管の「署名（signature）」とみなすことができる。

ユーザの目４０２によって反射された光は、拡大レンズ４００を通って電子ビューファインダ３１４Ａに入り、次に、ビームスプリッタ４１０で反射する。次に、この反射された像は、電子ビューファインダのハウジングに収納された網膜センサ（網膜イメージセンサ）４１２に到達する。このセンサ４１２は、ＣＣＤなどの固体センサから成る。センサ４１２がマイクロディスプレイ４０４と同じ光学距離だけユーザの目４０２から離れるように配置される場合には、センサに入射した光により与えられる網膜像は、血管が容易に特定可能な、拡大されかつ焦点の合った像である。センサ４１２により取り込まれた光信号は、デジタル信号への変換後にプロセッサ３０８（図３参照）に供給され、次に、ユーザの視線の方向を判定するために解析され得る。

図５は、図４に示すマイクロディスプレイ４０４に提示されるＧＵＩのユーザ制御を可能にするために用いられる網膜トラッキングシステムの実施形態のフローチャートである。このフローチャートで説明される如何なるプロセスのステップ又はブロックも、モジュール，セグメント，又はプロセスの具体的な論理機能又はステップを実施するための１つ又は複数の実行可能な命令を含むプログラムコードの部分を表し得る。特定のプロセスステップの例を説明するが、代替的な実施態様も実施可能である。更に、ステップは、関連する機能に応じて、図示又は説明したものとは異なる順序で、例えば、ほぼ同時に又は逆の順序で、実行することができる。

図５のブロック５００から開始して、網膜トラッキングシステムが起動される。この起動は、種々の異なる刺激（stimuli）に応じて行われ得る。例えば、あるシナリオでは、ユーザが装置のビューファインダを覗いていることを検出すると、起動が行われ得る。この状態は、例えば、従来技術において既知のアイ-スタート機構を用いて検出され得る。別のシナリオでは、網膜トラッキングシステムは、ＧＵＩがマイクロディスプレイを用いて最初に提示される際に、起動され得る。他のシナリオでは、網膜トラッキングシステムは、ユーザによるコマンドに応じて（例えば、図２の適当なボタン１２８を押すことにより）、起動される。

網膜トラッキングシステムが起動される方法に関係なく、次に、ブロック５０２に示すように、システムは、網膜センサ４１２で網膜像を取り込む。上述のように、網膜４０６から反射された光は、ユーザの血管署名の画像を有している。この光信号は、デジタル形式への変換後に、プロセッサ３０８（図３参照）に供給されて処理される。特に、ブロック５０４に示すように、ユーザの視線の方向は、光信号の解析により判定される。

ユーザの視線の方向は、様々な方法を用いて判定され得る。１つの好ましい方法では、取り込まれた網膜像を用いて、ユーザが見ているマイクロディスプレイ４０４の領域を判定する。取り込まれた網膜像からユーザの視線の方向を判定するのに適した１つの方法は、米国特許第６，３９４，６０２号に記載されており、この特許は、参照によりその全文が本開示に援用される。米国特許第６，３９４，６０２号に記載されるように、装置のプロセッサ３０８は、センサ４１２により取り込まれた網膜像を処理して、網膜像の固有の特徴をハイライトするようにする。特にハイライトされるのは網膜の血管であるが、これは、血管が非常に目立つために、標準的な画像処理エッジ検出技法を用いて特定及びハイライトするのが比較的容易だからである。これらの血管は、血管検出アルゴリズム３２４（図３参照）を用いて検出され得る。適切な検出アルゴリズムの詳細は、１９９７年にMulligenによりBehaviour Research Methods, Instrumentation and Computersに発表された、「Image Processing for Improved Eye Tracking Accuracy」というタイトルの論文に見出すことができ、これもまた、参照によりその全文が本明細書に援用される。次に、特定された血管パターンは、プロセッサ３０８により処理されて、対応する血管線画（line drawing）、例えば図６に示す線画６００が生成される。この図６に示すように、画像処理後は、血管６０２の細部のみが明らかになる。

ユーザの視線がマイクロディスプレイ４０４に示される画像上を移動すると、センサ４１２により取り込まれた網膜像は変化する。従って、網膜トラッキングシステムがユーザの網膜の追跡に用いられ得る前に、システムは、特定のユーザの血管署名を認識するために較正されねばならない。較正は、視野にわたって散乱した複数の点、又は視野内を移動する１つの点を自ら凝視することをユーザに要求し、網膜のセンサ画像を取り込むことにより、行うことができる。この手順が用いられる場合には、ユーザの網膜４０６の「マップ」を得ることができる。較正が行われると、ユーザの視線の方向が、較正段階中に網膜マップが生成されたセンサ４１２により取り込まれた現在の網膜像と比較することにより判定され得る。

図３に示すコントローラ３１０は、網膜トラッキングシステムの上述の動作モードを制御する。ユーザインタフェース３１６を介して新たなユーザにより入力された較正要求に応じて、コントローラ３１０は、イッチ３３４の位置を制御し、それにより、プロセッサ３０８は、画像モンタージュユニット３２８に接続される。較正段階中に、マイクロディスプレイ４０４で見る対象として、テストカード（図示せず）が与えられる場合がある。このようなカードが用いられる場合には、このカードは、視野にわたって配列された幾つかの可視ドットを有する。次に、新たなユーザは、所与の配列のドットそれぞれを見るように指示される。ユーザがドットを見ると、画像モンタージュユニット３２８は、センサ４１２により取り込まれた網膜像を受け取り、それらを「結合（join）」して、新たなユーザの網膜４０６の網膜マップ３３０を形成する。次に、この網膜マップ３３０は、カメラが通常の動作モードである場合に用いるために、メモリ３２０に格納される。

カメラ１００の使用中、コントローラ３１０は、スイッチ３３４を介してプロセッサ３０８を画像比較器３３２に接続する。次に、網膜センサ４１２は、センサ４１２により「見られ」得るユーザの網膜４０６の部分の像を取り込む。次に、この網膜像は、Ａ／Ｄ変換器３０６によりデジタル変換され、プロセッサ３０８により処理されて、図６の線画６００のようなユーザの可視血管パターンの線画が生成される。次に、この生成された線画６００は、画像比較器３３２に供給され、画像比較器３３２は、その線画６００を現在のユーザの網膜マップ３３０と比較する。この比較は、例えば、現在の網膜像と網膜マップ３３０との２次元相関を実施することにより行うことができる。この比較の結果は、ユーザの視線の方向を示し、コントローラ３１０に供給される。

図５に戻ると、ユーザの視線の方向が判定されると、ブロック５０６に示すように、マイクロディスプレイに提示されるＧＵＩは、判定された視線方向に応じて制御される。この制御の性質は、所望のアクションによって決まる。図７及び図８は、２つの例を示す。まず、図７を参照すると、幾つかのメニュー機能７０２（この例では、ボタン）がユーザに表示されているＧＵＩ７００が示される。これらのメニュー機能７０２は、ユーザが自身の視線を機能の１つに向けて、ユーザの視線の方向に画面上のカーソル７０４を移動させるようにすることで選択され得る。この動作は、図７に示されており、ここでは、カーソル７０４が「次候補（More）」ボタン７０６付近の元の位置から「コンプレッション」ボタン７０８へ移動する様子が示されている。カーソル７０４が所望のメニュー機能の上に位置付けられると、その機能は、ユーザ側の何らかの更なるアクションにより選択され得る。例えば、ユーザは、シャッタリリースボタン（図１のボタン１１２）を途中まで押してもよく、又は「選択」というコマンドを発声し、その発声音をマイクロホン（図１のマイクロホン１１６）により検出するようにしてもよい。

図８を参照すると、図７に示すＧＵＩ７００が再び示されている。しかしながら、この例では、ユーザの視線は、カーソルを移動させるためには用いられず、その代わりに、ＧＵＩに示されるメニュー機能７０２をハイライトするために用いられる。図８の例では、ユーザは、「コンプレッション」ボタン７０８を凝視している。ユーザの視線の方向の検出により、このボタン７０８がハイライトされる。所望の表示機能がこのようにハイライトされると、その機能は、ユーザ側の何らかの更なるアクションにより選択され得る。この場合も、この更なるアクションは、シャッタリリースボタン（図１のボタン１１２）を途中まで押すこと、又は「選択」というコマンドを発声することを含むことができる。

図５を更に参照すると、ブロック５０８に示すように、網膜トラッキングシステムは、ユーザの網膜４０６のトラッキング（追跡）を続けるか否かを決定する。例として、この決定は、上記のブロック５００を参照して示されたのと同じ刺激に関して行われる。トラッキングを続けるべきである場合には、流れはブロック５０２に戻り、上述のように進む。しかしながら、トラッキングを続けない場合には、網膜トラッキングセッションは終了する。

図９は、カメラ１００に組み込まれ得る電子ビューファインダ３１４Ｂの第２の実施形態を示す。ビューファインダ３１４Ｂは、図４のビューファインダ３１４Ａと多くの点で同様である。特に、ビューファインダ３１４Ｂは、拡大レンズ４００と、マイクロディスプレイ４０４と、一群のＬＥＤ４０８と、ビームスプリッタ４１０と、網膜センサ４１２とを含む。しかしながら、更に、ビューファインダ３１４Ｂは、ユーザの網膜４０６を照射するのに用いられるＩＲ波長光を生成するのに用いられる赤外線（ＩＲ）ＬＥＤ９００と、可視光が網膜センサ４１２に到達する前にそれをフィルタリングするのに用いられるＩＲパスフィルタ９０２とを備えている。これらの付加的な構成要素により、ユーザの網膜４０６は、ＩＲ光で照らされ、反射されたＩＲ信号は、網膜センサ４１２により検出され得る。具体的には、ＩＲ光は、経路「ａ」に沿ってＩＲ ＥＤ９００から進み、ビームスプリッタ４１０で反射し、マイクロディスプレイ４０４で反射し、経路「ｂ」に沿ってビームスプリッタ４１０及び拡大レンズ４００を通って進み、ユーザの網膜４０６で反射して経路「ｃ」に沿って進み、再びビームスプリッタ４１０で反射し、ＩＲパスフィルタ９０２を通過し、最後に網膜センサ４１２により集光される。

この実施形態では、ＩＲ ＬＥＤ９００は、例えば、マイクロディスプレイ４０４からの反射の１／４がＩＲ反射であるように、フィールド順次式で他のＬＥＤ４０８と同じようにパルス発光し得る。しかしながら、とりわけ、ユーザの目４０２はＩＲ信号の存在を検出しないため、ＩＲ ＬＥＤ９００は、他のＬＥＤが消灯している場合にのみパルス発光する必要がない。実際には、所望である場合、ＩＲ ＬＥＤ９００は、網膜検出中に連続照明することができる。しかしながら、バッテリー寿命を延ばすために、ＩＲ ＬＥＤ９００は、通常、適当な周波数（例えば、２Ｈｚ）で断続的にパルス発光される。ＩＲ波長は人間の目には見えず、そのため瞳孔サイズを縮小させないため、ＩＲ光が照明として用いられる場合には、はっきりした網膜像を得ることができる。

図９の実施形態は、マイクロディスプレイ４０４がユーザの血管の画像を得るために網膜を照明することに依存する場合に生じ得る問題を回避することができる。特に、マイクロディスプレイ４０４により供給される光は、マイクロディスプレイにぼやけた画像が示される場合には、不適当である。更に、ＩＲ光の使用により、マイクロディスプレイ４０４の光により反射された血管パターンを特定する際に生じ得るどのような複雑な問題も回避される。このような複雑な問題は、マイクロディスプレイ４０４で見られる画像（表示画像）が非常に詳細であるために、ユーザの網膜で反射する光により与えられる表示画像を表す望ましくない光信号をフィルタリング除去することがますます困難になる場合に生じ得る。ＩＲ光の使用は、このような潜在的な問題を回避するため、図９の実施形態は、少なくとも幾つかの点で好ましいと考えることができる。

以上を要約すると、次の通りである。すなわち、本発明は、網膜トラッキングシステムを組み込んだ電子デバイス１００を提供する。本発明の一実施形態では、電子デバイス１００は、マイクロディスプレイ４０４を収納するビューファインダ３１４を備えており、網膜トラッキングしステムは、マイクロディスプレイ４０４におけるユーザの視線の方向を判定するように構成されている。

本発明の特定の実施形態を、例として前述の説明及び図面において詳細に開示したが、添付の特許請求項の範囲に記載される本発明の範囲から逸脱しない限り、本発明の変形及び変更を行うことができることは、当業者には理解されるであろう。

種々のプログラム（ソフトウェア及び／又はファームウェア）を上記に示した。これらのプログラムは、任意のコンピュータ関連システム又は方法により、或いはそれらと共に用いるために、任意のコンピュータ可読媒体に格納することができる。本明細書のコンテキストでは、コンピュータ可読媒体は、コンピュータ関連システム又は方法により、或いはそれらと共に用いるためのプログラムを含み得る、すなわち格納し得る、電子，磁気，光学，又は他の物理的なデバイス又は手段である。プログラムは、命令実行システム，装置，又はデバイス、例えば、コンピュータベースシステム，プロセッサ内蔵システム，或いは、命令実行システム，装置，又はデバイスから命令を取り出してそれを実行することができる他のシステムにより、或いはそれらと共に用いるための任意のコンピュータ可読媒体に具現され得る。「コンピュータ可読媒体」という用語は、命令実行システム，装置，又はデバイスにより、又はそれらとともに用いるためのコードを格納，通信，伝播，又は移送することができる任意の手段を包含する。

コンピュータ可読媒体は、例えば、限定はされないが、電子，磁気，光学，電磁気，赤外線，又は半導体のシステム，装置，デバイス，或いは伝播媒体であり得る。コンピュータ可読媒体のより具体的な例（非網羅的な列挙）としては、１つ又は複数の電線を有する電気接続部，ポータブルコンピュータディスケット，ランダムアクセスメモリ（ＲＡＭ），リードオンリメモリ（ＲＯＭ），消去可能プログラム可能リードオンリメモリ（ＥＰＲＯＭ，ＥＥＰＲＯＭ，又はフラッシュメモリ），光ファイバ，及びポータブルコンパクトディスクリードオンリメモリ（ＣＤＲＯＭ）が挙げられる。なお、コンピュータ可読媒体は、プログラムが印刷された紙又は別の適当な媒体であってもよく、これは、例えばプログラムを紙又は他の媒体の光学走査により電子的に取り込み、次にコンパイルし、必要であれば解釈又は他の適当な方法で処理して、コンピュータメモリに格納することができるからである。

網膜トラッキングシステムを組み込んだ装置の一例を示す斜視図である。 図１の装置の背面図である。 図１及び図２に示す装置の構造の一実施形態を示す図である。 図１及び図２に示すビューファインダの第１の実施形態と相互作用するユーザの目の概略図である。 図４に示す網膜トラッキングシステムの動作の一実施形態を示すフローチャートである。 図３に示すプロセッサにより生成される血管の線画を示すである。 図１〜図３の装置のマイクロディスプレイに示される、網膜トラッキングシステムによる画面上のカーソルの操作を示すグラフィカルユーザインタフェースの概略図である。 図１〜図３の装置のマイクロディスプレイに示される、網膜トラッキングシステムによる画面上の機能のハイライトを示すグラフィカルユーザインタフェースの概略図である。 図１及び図２に示すビューファインダの第２の実施形態と相互作用するユーザの目の概略図である。

符号の説明

１００ デジタルカメラ（装置，デバイス）
３００ レンズ系
３０２ イメージセンサ
３１４，３１４Ａ，３１４Ｂ 電子ビューファインダ
３２０ デバイスメモリ（カメラメモリ）
３２４ 血管検出アルゴリズム
３２８ 画像モンタージュユニット
３３０ 網膜マップ
３３２ 画像比較器
４０４ マイクロディスプレイ
４０６ 網膜
４０８ 発光ダイオード（ＬＥＤ）
４１２ 網膜センサ
９００ 赤外線ＬＥＤ

Claims (10)

1. （ａ） レンズ系と、
   （ｂ） 前記レンズ系を介して送られた光信号を感知するイメージセンサと、
   （ｃ） マイクロディスプレイ、及び、ユーザの網膜の像を取り込むように構成された網膜センサを収納する電子ビューファインダと、
   （ｄ） 前記網膜センサにより取り込まれた像を、デバイスメモリに格納された網膜マップと比較し、それにより、前記電子ビューファインダ内の前記マイクロディスプレイに対するユーザの視線の方向を判定する画像比較器と、
   を備えることを特徴とするデジタルカメラ。
2. 前記マイクロディスプレイは、反射型マイクロディスプレイであり、前記ビューファインダは、前記マイクロディスプレイを照明する色付きの光源を更に収納していることを特徴とする請求項１に記載のデジタルカメラ。
3. 前記ビューファインダに収納された、前記ユーザの網膜を赤外光で照明する赤外光源を更に備えることを特徴とする請求項１に記載のデジタルカメラ。
4. 前記ビューファインダに収納された、可視光が前記網膜センサに到達するのを防ぐ赤外線パスフィルタを更に備えることを特徴とする請求項３に記載のデジタルカメラ。
5. 前記網膜センサにより取り込まれた網膜像を受け取り、前記網膜像を結合して、前記ユーザの網膜の網膜マップを形成する画像モンタージュユニットを更に備えることを特徴とする請求項１に記載のデジタルカメラ。
6. カメラメモリに格納された血管検出アルゴリズムであって、前記ユーザの網膜の表面の血管を特定するように構成された血管検出アルゴリズムを更に含むことを特徴とする請求項１に記載のデジタルカメラ。
7. 電子装置において用いられる電子ビューファインダであって、
   （ａ） グラフィカルユーザインタフェースを表示するマイクロディスプレイと、
   （ｂ） ユーザの網膜を照明する赤外光源と、
   （ｃ） 前記ユーザの網膜の像を取り込む網膜センサと、
   （ｄ） 前記網膜センサにより取り込まれた像からユーザの視線の方向を判定し、それにより、前記グラフィカルユーザインタフェースに対するユーザ入力を推測する網膜トラッキングシステムと、
   を備えることを特徴とする電子ビューファインダ。
8. マイクロディスプレイを制御する方法であって、
   （ａ） ユーザの網膜を光で照明するステップと、
   （ｂ） 前記ユーザが装置のマイクロディスプレイを見ている間にユーザの網膜の像を取り込むステップと、
   （ｃ） 取り込まれた像を解析することにより、前記マイクロディスプレイに対する前記ユーザの視線の方向を判定するステップと、
   （ｄ） 判定されたユーザの視線に応じて、前記マイクロディスプレイに示される機能を制御するステップと、
   を含むことを特徴とする方法。
9. 前記ユーザの網膜を光で照明するステップは、前記ユーザの網膜を赤外光で照明するステップを含むことを特徴とする請求項８に記載の方法。
10. 前記ユーザの視線の方向を判定するステップは、前記取り込まれた像をデバイスメモリに格納された網膜マップと比較するステップを含むことを特徴とする請求項８に記載の方法。

Images