JP2022132550A - ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル - Google Patents

Abstract

【課題】好適なロバストなバイオメトリックアプリケーションのための詳細な眼形状モデルを提供すること。【解決手段】詳細な眼形状モデルを使用する、ロバストなバイオメトリックアプリケーションのためのシステムおよび方法が、説明される。一側面では、（例えば、拡張現実ディスプレイデバイス上の眼追跡カメラから）眼の眼画像を受信した後、眼画像内の眼の眼形状（例えば、上眼瞼または下眼瞼、虹彩、または瞳孔）が、カスケード式形状回帰方法を使用して計算される。推定眼形状に関連する眼特徴が、次いで、決定され、注視推定またはバイオメトリック識別または認証等のバイオメトリックアプリケーションで使用されることができる。【選択図】図３

Description

本開示は、概して、眼画像を処理するため、より具体的には、カスケード式形状回帰を使用して、瞳孔、虹彩、または眼瞼を備える、詳細な眼形状モデルを推定するためのシステムおよび方法に関する。

人間の眼の虹彩は、バイオメトリック情報の源として使用されることができる。バイオメトリック情報は、個人の認証または識別を提供することができる。バイオメトリック情報は、加えて、または代替として、眼の注視方向を決定するために使用されることができる。

詳細な眼形状モデルを使用する、ロバストなバイオメトリックアプリケーションのためのシステムおよび方法が、説明される。一側面では、（例えば、拡張現実ディスプレイデバイス上の眼追跡カメラから）眼の眼画像を受信した後、眼画像内の眼の眼形状（例えば、上眼瞼または下眼瞼、虹彩、または瞳孔の形状）が、カスケード式形状回帰方法を使用して計算される。推定眼形状に関連する眼特徴が、次いで、決定され、注視推定またはバイオメトリック識別または認証（例えば、虹彩コード）等のバイオメトリックアプリケーションで使用されることができる。カスケード式形状回帰方法は、例えば、眼瞼、瞳孔、および虹彩の形状を標識する、注釈付き眼画像のセットについて訓練されることができる。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点が、説明、図面、および請求項から明白となるであろう。本発明の概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを意味しない。
本発明は、例えば、以下を提供する。
（項目１）
ウェアラブルディスプレイシステムであって、
ユーザの眼を照明するように構成される赤外光源と、
前記眼の眼画像を捕捉するように構成される画像捕捉デバイスと、
前記眼画像を記憶するように構成される非一過性のメモリと、
前記非一過性のメモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記非一過性のメモリから前記眼画像を受信することと、
カスケード式形状回帰を使用して、前記眼画像からの眼形状を推定することであって、前記眼形状は、瞳孔形状、虹彩形状、または眼瞼形状を備える、ことと、
少なくとも部分的に前記眼形状に基づいて、バイオメトリックアプリケーションを実施することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルディスプレイシステム。
（項目２）
前記ハードウェアプロセッサはさらに、少なくとも部分的に前記眼形状に基づいて、眼特徴を決定するようにプログラムされ、前記眼特徴は、前記赤外光源からの閃光、血管、虹彩特徴、または瞳孔の中心のうちの少なくとも１つを備える、項目１に記載のウェアラブルディスプレイシステム。
（項目３）
前記バイオメトリックアプリケーションは、眼の注視の決定を含む、項目１に記載のウェアラブルディスプレイシステム。
（項目４）
前記眼形状は、前記虹彩形状を備え、前記ハードウェアプロセッサは、前記虹彩形状内にある前記赤外光源からの閃光を調査するようにプログラムされる、項目３に記載のウェアラブルディスプレイシステム。
（項目５）
前記眼形状は、前記瞳孔形状と、前記眼瞼形状とを備え、前記ハードウェアプロセッサは、前記眼瞼によって閉塞される前記瞳孔の一部を識別するようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目６）
前記ハードウェアプロセッサは、前記眼瞼によって閉塞される前記瞳孔の一部を伴わない前記瞳孔形状に基づいて、瞳孔境界を決定するようにプログラムされる、項目５に記載のウェアラブルディスプレイシステム。
（項目７）
前記眼形状は、前記虹彩形状と、前記眼瞼形状とを備え、前記ハードウェアプロセッサは、前記眼瞼によって閉塞される前記虹彩の一部を識別するようにプログラムされる、項目１に記載のウェアラブルディスプレイシステム。
（項目８）
前記ハードウェアプロセッサは、前記眼瞼によって閉塞される前記虹彩の一部を伴わない前記虹彩形状に基づいて、縁郭境界を決定するようにプログラムされる、項目７に記載のウェアラブルディスプレイシステム。
（項目９）
眼形状は、前記眼瞼形状を備え、前記バイオメトリックアプリケーションは、瞬目の決定を含む、項目１に記載のウェアラブルディスプレイシステム。
（項目１０）
前記ハードウェアプロセッサは、上眼瞼と下眼瞼との間の距離が閾値未満である場合に、前記眼画像を拒絶するかまたはより低い加重を前記眼画像に割り当てるようにプログラムされる、項目９に記載のウェアラブルディスプレイシステム。
（項目１１）
前記眼形状は、瞳孔、虹彩、または眼瞼に対する境界を備える、項目１に記載のウェアラブルディスプレイシステム。
（項目１２）
前記バイオメトリックアプリケーションは、バイオメトリック識別またはバイオメトリック認証を含む、項目１に記載のウェアラブルディスプレイシステム。
（項目１３）
カスケード式形状回帰を使用して、前記眼画像から前記眼形状を推定するために、前記ハードウェアプロセッサは、
複数の段階にわたって形状インクリメントを決定するための回帰関数を反復するようにプログラムされ、前記回帰関数は、形状インデックス化抽出関数を含む、項目１－１２のいずれか１項に記載のウェアラブルディスプレイシステム。
（項目１４）
前記回帰関数を反復するために、前記ハードウェアプロセッサは、前記反復の段階ｔにおける形状インクリメントΔＳ_ｔに関して、

を評価するようにプログラムされ、ｆ_ｔは、段階ｔにおける前記回帰関数であり、Φ_ｔは、段階ｔにおける前記形状インデックス化抽出関数であり、Ｉは、前記眼画像であり、Ｓ_ｔ－１は、前記反復の段階ｔ－１における前記眼形状である、項目１３に記載のウェアラブルディスプレイシステム。
（項目１５）
前記形状インデックス化抽出関数は、一対のピクセル場所の間の眼画像値の比較を提供する、項目１３に記載のウェアラブルディスプレイシステム。
（項目１６）
眼形状計算エンジンを訓練するための方法であって、前記方法は、
ハードウェアプロセッサの制御下で、
注釈付き訓練眼画像のセットを受信することであって、前記セットの中の各画像は、眼形状で標識される、ことと、
前記注釈付き訓練眼画像のセットに適用される機械学習技法を使用して、回帰関数および形状インデックス化抽出関数を学習することであって、前記回帰関数および前記形状インデックス化抽出関数は、前記眼形状を認識することを学習する、ことと
を含む、方法。
（項目１７）
前記眼形状は、瞳孔の形状、虹彩の形状、または眼瞼の形状を備える、項目１６に記載の方法。
（項目１８）
前記回帰関数および前記形状インデックス化抽出関数は、反復の段階ｔにおける形状インクリメントΔＳ_ｔに関して、

の反復に従って眼形状を認識するように学習され、ｆ_ｔは、段階ｔにおける前記回帰関数であり、Φ_ｔは、段階ｔにおける前記形状インデックス化抽出関数であり、Ｉは、非標識眼画像であり、Ｓ_ｔ－１は、前記反復の段階ｔ－１における前記眼形状である、項目１６または項目１７に記載の方法。
（項目１９）
前記形状インデックス化抽出関数は、一対のピクセル場所の間の眼画像値の比較を提供する、項目１８に記載の方法。
（項目２０）
前記比較は、２進値またはブール値を備える、項目１９に記載の方法。

図１Ａは、眼特徴を示す眼の実施例を図式的に図示する。

図１Ｂは、眼の自然静止状態に対する眼姿勢方向を測定するために使用され得る３つの角度（例えば、ヨー、ピッチ、およびロール）の実施例を示す。

図２Ａは、ウェアラブルディスプレイシステムの実施例を図式的に図示する。

図２Ｂは、ウェアラブルディスプレイシステムの実施例の上面図を図式的に図示する。

図３は、バイオメトリックアプリケーションで使用される眼画像からバイオメトリック情報を抽出するための例示的ルーチンのフロー図である。

図４Ａは、詳細な眼形状モデル推定の例示的進行を図式的に図示する。

図４Ｂは、瞳孔、虹彩、および眼瞼の境界が識別されている、詳細な眼形状モデルの実施例を図式的に図示する。

図４Ｃは、２対の形状インデックス化特徴の実施例を示す画像である。

図５は、回帰関数を学習するために使用される注釈付き訓練画像のセットの実施例を図示する。

図６は、カスケード式形状回帰を学習するための眼形状訓練ルーチンの実施例のフロー図である。

図７Ａは、誤った境界点の実施例を図式的に図示する。

図７Ｂは、選択的特徴検出の実施例を図式的に図示する。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図していない。

概観
眼からバイオメトリック情報を抽出するステップは、概して、眼画像内の虹彩のセグメント化に関するプロシージャを含む。虹彩セグメント化は、虹彩の瞳孔および縁郭境界を見出すステップ、上眼瞼または下眼瞼が虹彩を閉塞する場合、それらを位置特定するステップ、睫毛、陰影、または反射の閉塞を検出および除外するステップ等を含む、虹彩境界を位置特定するステップを含む動作を伴うことができる。例えば、眼画像は、顔の画像内に含まれることができる、または眼周囲領域の画像であり得る。虹彩セグメント化を実施するために、瞳孔（虹彩の内部境界）および縁郭（虹彩の外部境界）の両方の境界が、画像データの別個のセグメントとして識別されることができる。虹彩の本セグメント化に加えて、（上または下）眼瞼によって閉塞される虹彩の一部が、推定されることができる。本推定は、通常の人間の活動中に、個人の虹彩全体が殆ど可視ではないため、実施される。換言すると、虹彩全体は、概して、（例えば、瞬目中に）眼瞼の閉塞を含まない。

眼瞼は、例えば、眼表面を横断して涙および他の分泌物を拡散させることによって、眼の潤いを保つために眼によって使用され得る。眼瞼はまた、異物の残渣から眼を保護するためにも使用され得る。実施例として、瞬目反射は、急性外傷から眼を保護する。別の実施例として、眼が世界を能動的に視認しているときでさえも、眼瞼は、例えば、眼の指示方向の変化に応答して自動的に動くことによって、眼を保護し得る。眼瞼によるそのような移動は、瞳孔の閉塞を回避しながら、眼表面の保護を最大限にすることができる。しかしながら、本移動は、虹彩セグメント化等の虹彩ベースのバイオメトリック測定を伴ってバイオメトリック情報を抽出するときに、さらなる課題を提示する。例えば、虹彩セグメント化を使用するために、眼瞼によって閉塞される虹彩の面積が、推定され、身元証明算出から隠され得る、または眼瞼瞬目中に撮影される画像が、分析中に破棄される、またはより低い加重を与えられ得る。

バイオメトリック情報を抽出することは、眼瞼によって閉塞される虹彩の一部を推定すること等の課題を提示している。しかしながら、本明細書に説明される技法を使用して、バイオメトリック情報を抽出する際に提示される課題は、最初に眼形状を推定することによって軽減されることができる。本明細書で使用されるように、眼形状は、瞳孔、虹彩、上眼瞼、または下眼瞼の形状（例えば、境界）のうちの１つ以上のものを含む。眼形状の本推定は、虹彩セグメント化のための始点として使用されることができる。いったん眼形状が推定されると、バイオメトリックアプリケーションは、より効率的かつよりロバストに実施され得る。例えば、眼のある領域（例えば、虹彩）中で見出される角膜反射（例えば、閃光）が、注視推定のために使用され得る。眼の他の領域（例えば、強膜）中の閃光は、多くの場合、眼の注視推定で使用されない。本明細書に説明される技法を使用して、詳細な眼形状モデルを計算することによって、所望の領域（例えば、虹彩）中の閃光は、眼全体（例えば、虹彩および強膜）を調査する必要性を除去し、したがって、より効率的かつロバストな注視推定を生じることによって、より迅速かつ効率的に位置特定されることができる。

バイオメトリック情報を取得するために、コンピュータのユーザの眼移動を追跡するためのアルゴリズムが、存在する。例えば、コンピュータのモニタに結合されるカメラが、眼移動を識別するための画像を提供することができる。しかしながら、眼追跡のために使用されるカメラは、ユーザの眼からある程度の距離がある。例えば、カメラは、コンピュータに結合されるユーザのモニタの上部に設置され得る。結果として、カメラによって生成される眼の画像は、多くの場合、不良な分解能で異なる角度において生成される。故に、捕捉された眼画像からバイオメトリック情報を抽出することは、課題を提示し得る。

ウェアラブルヘッドマウントディスプレイ（ＨＭＤ）の文脈では、カメラは、ユーザのモニタに結合されるカメラよりもユーザの眼に近接し得る。例えば、カメラは、ウェアラブルＨＭＤ上に搭載され得、これ自体が、ユーザの頭部上に設置される。そのようなカメラへの眼の近接性は、より高い分解能の眼画像をもたらすことができる。故に、コンピュータビジョン技法が、ユーザの眼から、特に、虹彩（例えば、虹彩特徴）または虹彩を囲繞する強膜（例えば、強膜特徴）における視覚特徴を抽出することが可能である。例えば、眼の近傍のカメラによって視認されると、眼の虹彩は、詳細な構造を示すであろう。そのような虹彩特徴は、赤外線（ＩＲ）照明下で観察されると、特に顕著であり、注視推定またはバイオメトリック識別等のバイオメトリックアプリケーションのために使用されることができる。これらの虹彩特徴は、ユーザ毎に一意であり、指紋の様式で、ユーザを一意に識別するために使用されることができる。眼特徴は、眼の強膜（虹彩の外側）内の血管を含むことができ、これもまた、赤色または赤外光下で視認されると、特に顕著に見え得る。眼特徴はさらに、閃光および瞳孔の中心を含み得る。

本明細書に開示される技法を用いると、詳細な眼形状推定が、バイオメトリックアプリケーション（例えば、注視推定およびバイオメトリック識別）で使用される眼特徴を検出するよりロバストな方法を生成するために使用される。注視推定の使用は、コンピュータインターフェースの将来に有意な影響を及ぼす。注視推定は、現在、能動インターフェース（例えば、眼移動を通して命令を受信するインターフェース）および受動インターフェース（例えば、注視位置に基づいて表示を修正する仮想現実デバイス）で採用されている。従来の眼形状推定技法を使用して眼特徴を検出することは、眼が半分閉じられている、または瞬目しているときの画像雑音、周囲光、および外観の大きな変動により、困難である。したがって、注視推定またはバイオメトリック識別等のバイオメトリックアプリケーションで使用される眼特徴を決定するためのよりロバストなアルゴリズムを生成する方法が、有利であろう。以下の開示は、そのような方法を説明する。

本開示は、カスケード式形状回帰技法を使用して計算される詳細な眼形状モデル、および詳細な眼形状モデルがロバストなバイオメトリックアプリケーションのために使用され得る方法を説明するであろう。近年、形状回帰は、正確かつ効率的な形状整合のための最先端のアプローチになっている。これは、顔、手、および耳形状推定のためにうまく使用されている。回帰技法は、例えば、外観の大きな相違を捕捉することが可能であり、目印（例えば、眼瞼の間の虹彩、虹彩の内側の瞳孔）の間の形状制約を強制し、計算上効率的であるため、有利である。

本明細書で使用されるように、ビデオは、その通常の意味において使用され、限定ではないが、視覚画像のシーケンスの記録を含む。ビデオ内の各画像は、時として、画像フレームまたは単純にフレームと称される。ビデオは、オーディオチャネルの有無を問わず、複数の連続フレームまたは非連続フレームを含むことができる。ビデオは、時間において順序付けられる、または時間において順序付けられない、複数のフレームを含むことができる。故に、ビデオ内の画像は、眼画像フレームまたは眼画像と称され得る。

（眼画像の実施例）
図１Ａは、眼瞼１１０、虹彩１１２、および瞳孔１１４を伴う、眼１００の画像を図示する。曲線１１４ａは、瞳孔１１４と虹彩１１２との間の瞳孔境界を示し、曲線１１２ａは、虹彩１１２と強膜１１３（眼の「白眼」）との間の縁郭境界を示す。眼瞼１１０は、上眼瞼１１０ａと、下眼瞼１１０ｂと、睫毛１１７とを含む。眼１００は、自然静止姿勢（例えば、ユーザの顔および注視の両方が、それらがユーザの直前の遠隔の物体に向かうであろうように配向される）において図示される。眼１００の自然静止姿勢は、自然静止方向１８０によって示されることができ、これは、自然静止姿勢にあるとき、眼１００の表面に直交する（例えば、図１Ａに示される眼１００の平面からまっすぐ出る）方向であり、本実施例では、瞳孔１１４内で中心合わせされる。

眼１００は、眼追跡等のバイオメトリックアプリケーションのために使用され得る、虹彩または強膜（またはその両方）内の眼特徴１１５を含むことができる。図１Ａは、虹彩特徴１１５ａおよび強膜特徴１１５ｂを含む、眼特徴１１５の実施例を図示する。眼特徴１１５は、個々の特徴点と称され得る。そのような眼特徴１１５は、個人の眼に一意であり得、その個人の眼毎に明確に異なり得る。虹彩特徴１１５ａは、残りの虹彩色と比較して、またはその点を囲繞するある面積と比較して、特定の色密度の点であり得る。別の実施例として、虹彩のテクスチャ（例えば、その特徴の近傍の虹彩のテクスチャと異なるテクスチャ）またはパターンが、虹彩特徴１１５ａとして識別されることができる。また別の実施例として、虹彩特徴１１５ａは、外観が虹彩とは異なる瘢痕であり得る。眼特徴１１５はまた、眼の血管と関連付けられることができる。例えば、血管は、虹彩１１２の外側であるが、強膜１１３内に存在し得る。そのような血管は、赤色または赤外光照明下でより顕著に可視であり得る。強膜特徴１１５ｂは、眼の強膜内の血管であり得る。加えて、または代替として、眼特徴１１５は、光源（例えば、注視追跡またはバイオメトリック識別のために眼に向かって指向されるＩＲ光源）の角膜反射を含む、閃光を含み得る。ある場合には、用語「眼特徴」は、特徴が虹彩１１２内にあるか、強膜１１３内にあるか、または瞳孔１１４を通して（例えば、網膜上に）見られる特徴であるかにかかわらず、眼の中または上の任意のタイプの識別特徴を指すように使用され得る。

各眼特徴１１５は、眼特徴１１５を囲繞する面積の数値表現である記述子と関連付けられることができる。記述子はまた、虹彩特徴表現とも称され得る。また別の実施例として、そのような眼特徴は、スケール不変特徴変換（ＳＩＦＴ）、高速化ロバスト特徴（ＳＵＲＦ）、加速セグメント試験からの特徴（ＦＡＳＴ）、方向付きＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、ＫＡＺＥ、加速ＫＡＺＥ（ＡＫＡＺＥ）等から導出され得る。故に、眼特徴１１５は、公知のコンピュータビジョンの分野からのアルゴリズムおよび技法から導出され得る。そのような眼特徴１１５は、特徴点と称され得る。下記に説明される例示的実施形態のいくつかでは、眼特徴は、虹彩特徴の観点から説明されるであろう。これは、限定ではなく、任意のタイプの眼特徴（例えば、強膜特徴）が、加えて、または代替として、他の実装で使用されることができる。

眼１００が異なる物体に向かって見るために移動すると、眼の注視（本明細書では時として眼姿勢とも称される）は、自然静止方向１８０に対して変化するであろう。現在の眼の注視は、自然静止眼注視方向１８０を基準にして測定されることができる。眼１００の現在の注視は、眼の自然静止方向１８０に対する現在の眼姿勢方向を示す３つの角度パラメータとして表され得る。例証を目的として、図１Ｂに示される例示的座標系を参照して、これらの角度パラメータは、α（ヨーと称され得る）、β（ピッチと称され得る）、およびγ（ロールと称され得る）として表されることができる。他の実装では、眼の注視を測定するための他の技法または角度表現、例えば、任意の他のタイプのオイラー角システムが、使用されることができる。

眼画像が、任意の適切なプロセスを使用して、例えば、１つ以上の連続フレームから画像を抽出し得るビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されることができる。例えば、眼姿勢は、提供される光源への角膜のレンズ効果を考慮することによって、または（前方を見ている眼を表す円形に対する）瞳孔または虹彩の形状を計算することによって、決定されることができる。

（眼形状推定を使用するウェアラブルディスプレイシステムの実施例）
いくつかの実施形態では、ディスプレイシステムは、ウェアラブルであり得、これは、有利なこととして、より没入型の仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または現実として知覚され得る様式で装着者に提示される。

理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数の深度平面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度平面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。例えば、導波管のスタックを含有するディスプレイが、ユーザまたは視認者の眼の正面に位置付けられて装着されるように構成され得る。導波管のスタックは、複数の導波管を使用し、画像投入デバイス（例えば、１つ以上の光ファイバを介して画像情報を送る、多重化ディスプレイの離散ディスプレイまたは出力端）から、特定の導波管と関連付けられる深度平面に対応する特定の角度（および発散量）において視認者の眼に光を指向させることによって、３次元知覚を眼／脳に提供するために利用され得る。

いくつかの実施形態では、導波管の２つのスタック（視認者の眼毎に１つ）が、異なる画像を各眼に提供するために利用され得る。一実施例として、拡張現実場面は、ＡＲ技術の装着者が、人物、木、背景の建物、およびコンクリートプラットフォームを特徴とする現実世界の公園のような設定を見るようなものであり得る。これらのアイテムに加えて、ＡＲ技術の装着者はまた、自身が、現実世界プラットフォーム上に立つロボットの像およびマルハナバチの擬人化のように見える飛行する漫画的アバタキャラクタを、そのロボットの像およびマルハナバチが現実世界に存在していないにもかかわらず、「見ている」と知覚し得る。導波管のスタックは、入力画像に対応するライトフィールドを生成するために使用され得、いくつかの実装では、ウェアラブルディスプレイは、ウェアラブルライトフィールドディスプレイを備える。ライトフィールド画像を提供するためのウェアラブルディスプレイデバイスおよび導波管スタックの実施例が、米国特許公開第２０１５／００１６７７７号（参照することによって、これが含有するあらゆるものに関してその全体として本明細書に組み込まれる）に説明されている。

図２Ａおよび２Ｂは、装着者２０４にＶＲ、ＡＲ、またはＭＲ体験を提示するために使用され得る、ウェアラブルディスプレイシステム２００の実施例を図示する。ウェアラブルディスプレイシステム２００は、眼の画像を捕捉し、眼形状推定を実施して、本明細書に説明される用途または実施形態のいずれかを提供するようにプログラムされ得る。ディスプレイシステム２００は、ディスプレイ２０８（ユーザの片眼または両眼の前に位置付け可能である）と、そのディスプレイ２０８の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２０８は、フレーム２１２に結合され得、これは、ディスプレイシステム装着者または視認者２０４によってウェアラブルであり、装着者２０４の眼の正面にディスプレイ２０８を位置付けるように構成される。ディスプレイ２０８は、ユーザから複数の深度平面において仮想画像を表示するように構成される、ライトフィールドディスプレイであり得る。いくつかの実施形態では、スピーカ２１６が、フレーム２１２に結合され、ユーザの外耳道に隣接して位置付けられ、いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する。ディスプレイ２０８は、有線導線または無線接続等によって、フレーム２１２に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２０４に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール２２４に動作可能に結合される（２２０）。

図２Ｂに示されるように、ウェアラブルディスプレイシステム２００はさらに、ウェアラブルディスプレイシステム２００内に配置され、眼１００ａの画像を捕捉するように構成される、眼追跡カメラ２５２ａを含んでもよい。ディスプレイシステム２００はさらに、眼追跡カメラ２５２ａを用いて眼１００ａの眼特徴１１５を捕捉するために十分な照明を提供するように構成される、光源２４８ａを備えてもよい。いくつかの実施形態では、光源２４８ａは、ユーザが光源によって気を取られないように、ユーザに可視ではない赤外光を使用して、眼１００ａを照明する。眼追跡カメラ２５２ａおよび光源２４８ａは、ウェアラブルディスプレイシステム２００に、例えば、フレーム２１２に個別に取り付けられる、別個のコンポーネントであってもよい。他の実施形態では、眼追跡カメラ２５２ａおよび光源２４８ａは、フレーム２１２に取り付けられる単一の筐体２４４ａのコンポーネントであってもよい。いくつかの実施形態では、ウェアラブルディスプレイシステム２００はさらに、第２の眼追跡カメラ２５２ｂと、眼１００ｂを照明し、その画像を捕捉するように構成される第２の光源２４８ｂとを備えてもよい。眼追跡カメラ２５２ａ、２５２ｂは、眼形状計算、注視決定、およびバイオメトリック識別で使用される、眼画像を捕捉するために使用されることができる。

図２Ａを再び参照すると、ローカル処理およびデータモジュール２２４は、ハードウェアプロセッサおよび非一過性デジタルメモリ（例えば、不揮発性メモリ（例えば、フラッシュメモリ））を備え得、その両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロ等の（例えば、フレーム２１２に動作可能に結合される、または別様に装着者２０４に取り付けられ得る）センサから捕捉されるデータ、および／または、（ｂ）場合によっては処理または読出後のディスプレイ２０８への通過のために、遠隔処理モジュール２２８および／または遠隔データリポジトリ２３２を使用して取得および／または処理されるデータを含む。ローカル処理およびデータモジュール２２４は、有線または無線通信リンクを介する等、通信リンク２３６、２４０によって、遠隔処理モジュール２２８および遠隔データリポジトリ２３２に動作可能に結合され得、したがって、これらの遠隔モジュール２２８、２３２は、相互に動作可能に結合され、ローカル処理およびデータモジュール２２４へのリソースとして利用可能である。

いくつかの実施形態では、遠隔処理モジュール２２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備え得る。ビデオデータは、ローカル処理およびデータモジュール２２４内に、および／または遠隔データリポジトリ２３２内にローカルで記憶され得る。いくつかの実施形態では、遠隔データリポジトリ２３２は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール２２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。いくつかの実装では、ローカル処理およびデータモジュール２２４および／または遠隔処理モジュール２２８は、本明細書に説明されるような詳細な眼形状モデルを推定することの実施形態を実施するようにプログラムされる。例えば、ローカル処理およびデータモジュール２２４または遠隔処理モジュール２２８は、下記の図３を参照して説明されるルーチン３００の実施形態を実施するようにプログラムされることができる。ローカル処理およびデータモジュール２２４または遠隔処理モジュール２２８は、本明細書に開示される眼形状推定技法を使用して、バイオメトリックアプリケーションを実施し、例えば、装着者２０４の身元を識別または認証するように、プログラムされることができる。加えて、または代替として、注視推定または姿勢決定では、例えば、各眼が向かって見ている方向を決定する。

画像捕捉デバイスは、特定の用途のためのビデオ（例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手または指のビデオ）を捕捉することができる。ビデオは、処理モジュール２２４、２２８のうちの一方または両方によって、眼形状推定技法を使用して分析されることができる。本分析では、処理モジュール２２４、２２８は、ロバストなバイオメトリックアプリケーションのために眼形状推定を実施することができる。実施例として、ローカル処理およびデータモジュール２２４および／または遠隔処理モジュール２２８は、フレーム２１２に取り付けられた眼追跡カメラ２５２ａ、２５２ｂから取得された眼画像を記憶するようにプログラムされることができる。加えて、ローカル処理およびデータモジュール２２４および／または遠隔処理モジュール２２８は、本明細書に説明される眼形状推定技法（例えば、ルーチン３００）を使用して、眼画像を処理し、ウェアラブルディスプレイシステム２００の装着者２０４のバイオメトリック情報を抽出するようにプログラムされることができる。ある場合には、遠隔処理モジュールにバイオメトリック情報の少なくとも一部を（例えば、「クラウド」内に）オフロードすることは、算出の効率または速度を改良し得る。眼注視識別に関する種々のパラメータ（例えば、加重、バイアス項、ランダムサブセットサンプリング係数、数、フィルタ（例えば、Ｓｏｂｅｌ微分演算子）のサイズ等）が、データモジュール２２４または２２８内に記憶されることができる。

ビデオ分析の結果（例えば、詳細な眼形状モデル）は、付加的動作または処理のために、処理モジュール２２４、２２８のうちの一方または両方によって使用されることができる。例えば、種々の用途では、物体、姿勢等のバイオメトリック識別、眼追跡、認識、または分類が、ウェアラブルディスプレイシステム２００によって使用され得る。例えば、装着者の眼のビデオは、眼形状推定のために使用されることができ、これは、ひいては、ディスプレイ２０８を通した装着者２０４の注視の方向を決定するために、処理モジュール２２４、２２８によって使用されることができる。ウェアラブルディスプレイシステム２００の処理モジュール２２４、２２８は、本明細書に説明されるビデオまたは画像処理用途のいずれかを実施するように、眼形状推定の１つ以上の実施形態とともにプログラムされることができる。

（例示的眼形状推定ルーチン）
図３は、例示的眼形状推定ルーチン３００のフロー図である。眼形状推定ルーチン３００は、図２を参照して説明される、ローカル処理およびデータモジュール２２４または遠隔処理モジュール２２８およびデータリポジトリ２３２によって実装されることができる。眼形状推定はまた、眼形状検出または詳細な眼形状モデル化と称されることもできる。ルーチン３００は、眼画像３２４が受信されるときにブロック３０８から開始する。眼画像３２４は、例えば、画像捕捉デバイス、ヘッドマウントディスプレイシステム、サーバ、非一過性のコンピュータ可読媒体、またはクライアントコンピューティングデバイス（例えば、スマートフォン）を含む、種々のソースから受信されることができる。眼画像３２４は、眼追跡カメラ２５２ａから受信されてもよい。いくつかの実装では、眼画像３２４は、ビデオから抽出されることができる。

ブロック３１２では、詳細な眼形状モデル４００ｂが、眼画像３２４から推定されてもよい。いくつかの実施形態では、詳細な眼形状モデル４００ｂは、下記にさらに説明されるように、カスケード式形状回帰を使用して推定されてもよい。ブロック３１６では、眼特徴１１５が、少なくとも部分的にブロック３１２において推定される詳細な眼形状モデル４００ｂに基づいて、決定される。いくつかの実施形態では、眼特徴１１５（そのうちのいくつかが画像３３２に示されている）は、瞳孔または縁郭境界、眼瞼境界、閃光、眼特徴点、または瞳孔１１４の中心を含む。眼特徴１１５はさらに、バイオメトリックアプリケーションで使用され得る任意の特徴を含んでもよい。ブロック３１２において推定される詳細な眼形状モデル４００ｂは、予備知識としての役割を果たし、ブロック３１６において特徴検出のロバスト性を改良し得る。ブロック３２０では、バイオメトリックアプリケーション（例えば、注視推定またはバイオメトリック識別／認証）が、少なくとも部分的にブロック３１２および３１６において取得されるバイオメトリック情報に基づいて、実施される。いくつかの実施形態では、ブロック３２０ａでは、注視方向が、少なくとも部分的にブロック３１６において決定される眼特徴１１５に基づいて、推定されてもよい。加えて、または代替として、いくつかの実施形態では、ブロック３２０ｂにおいて、バイオメトリック識別／認証が、少なくとも部分的にブロック３１６において決定される眼特徴に基づいて、実施されてもよい。バイオメトリック識別または認証は、少なくとも部分的に眼画像および決定された瞳孔および縁郭境界に基づいて、虹彩コード（例えば、Ｄａｕｇｍａｎアルゴリズムに基づく虹彩コード）を決定するステップを含んでもよい。

（例示的眼形状推定）
初期眼形状Ｓ_０を伴う入力画像Ｉを考慮すると、カスケード式形状回帰が、段階的に形状インクリメントΔＳを推定することによって形状Ｓを次第に精緻化する。初期形状Ｓ_０は、眼形状（例えば、瞳孔、縁郭、および眼瞼境界）またはデフォルト形状（例えば、眼画像Ｉの中心に中心合わせされる円形瞳孔および虹彩境界）への最良推測を表し得る。一般的形態では、段階ｔにおける形状インクリメントΔＳ_ｔは、以下のように回帰され、

ｆ_ｔは、段階ｔにおける回帰関数であり、Φ_ｔは、形状インデックス化抽出関数である。Φ_ｔは、前の段階Ｓ_ｔ－１における入力画像Ｉおよび形状の両方に依存し得ることに留意されたい。形状インデックス化抽出関数Φ_ｔは、「非形状インデックス化」特徴と比較して、より大きい形状変動に対処することができる。大域的照明変化に不変であり得る、一対ピクセル比較特徴が、使用されてもよい。回帰は、形状インクリメントΔＳ_ｔを前の段階Ｓ_ｔ－１における形状に加算し、Ｓ_ｔ＝Ｓ_ｔ－１＋ΔＳ_ｔを生じさせることによって、次の段階ｔ＋１に進む。

眼形状を推定するために使用され得る、カスケード式形状回帰モデルのいくつかの実施例は、明示的形状回帰（ＥＳＲ）、カスケード式姿勢回帰（ＣＰＲ）、回帰ツリーの連携（ＥＲＴ）、監視下降方法（ＳＤＭ）、ローカル２進特徴（ＬＢＦ）、確率的ランダムフォレスト（ＰＲＦ）、カスケードガウスプロセス回帰ツリー（ｃＧＰＲＴ）、粗密形状調査（ＣＦＳＳ）、ランダムカスケード式回帰ツリー群（Ｒ－ＣＲ－Ｃ）、カスケード式協調回帰方法（ＣＣＲ）、時空間カスケード形状回帰（ＳＴＣＳＲ）、または他のカスケード式形状回帰方法を含むことができる。

図４Ａは、詳細な眼形状モデルの例示的進行を図式的に図示する。簡単にするために、図４Ａは、上眼瞼および下眼瞼１１０ａ、１１０ｂの形状のみを描写し、虹彩１１２または瞳孔１１４の推定形状を図示しない。しかしながら、虹彩１１２および瞳孔１１４の形状は、加えて、または代替として、本段階においてモデル化されてもよい（例えば、図４Ｂの例示的結果を参照）。いくつかの実施形態では、初期推定眼形状４０４は、標的形状４１２に類似する任意の眼形状であってもよい。例えば、初期推定眼形状は、画像の中心における平均形状として設定されることができる。図４Ａは、１１段階にわたって実施される初期推定眼形状４０４から標的形状４１２への眼形状回帰を描写する。図４Ａは、初期（第０の）段階Ｓ_０、第１の段階Ｓ_１、および第１０の段階Ｓ_１０を示す。簡単にするために、中間眼瞼形状４０８のみが、図４Ａに描写されている。いくつかの実施形態では、回帰モデルは、所定数の反復（例えば、５、１０、２０、５０、１００、またはそれを上回る）後に停止するようにプログラムされてもよい。他の実施形態では、回帰モデルは、段階ｔにおける形状インクリメントΔＳ_ｔが閾値よりも小さくなるまで反復し続けてもよい。例えば、相対的眼形状変化｜ΔＳ_ｔ／Ｓ_ｔ｜が閾値（例えば、１０^－２、１０^－３、またはそれよりも小さい）未満である場合、回帰モデルは、終了してもよい。他の実施形態では、回帰モデルは、段階ｔにおける形状Ｓ_ｔと前の段階Ｓ_ｔ－１における形状との間の差異が閾値よりも小さくなるまで反復し続けてもよい。

いくつかの実施形態では、詳細な眼形状モデル４００ｂは、瞳孔、縁郭、または眼瞼境界のための複数の境界点４２４を備えてもよい。境界点４２４は、それぞれ、推定眼瞼形状４１２、推定虹彩形状４１６、および推定瞳孔形状４２０に対応し得る。境界点４２４の数は、６～１００の範囲内またはそれを上回り得る。いくつかの実装では、詳細な眼形状モデル４００ｂは、受信された眼画像が、ある標準、例えば、画像の品質を満たすかどうかを決定するために使用されることができる。

図４Ｂは、図３のブロック３１２において説明される眼形状推定ルーチン３００を使用する、完成した眼形状モデルの実施例を図示する。図４Ｂは、眼形状が、瞳孔、縁郭、および眼瞼境界を決定したカスケード式形状回帰に基づいてモデル化された後のブロック３１２の結果を図示する。これらの境界は、計算された境界と基礎的眼画像との間の合致を示すように、眼の眼周囲領域の画像上に重層される。上記に説明されるように、形状インデックス化抽出関数Φ_ｔは、「非形状インデックス化」特徴と比較して、より大きい形状変動に対処することができる。大域的照明変化に不変であり得る、一対ピクセル比較特徴が、使用されてもよい。図４Ｃは、２対の形状インデックス化特徴の実施例を示す画像である。ローカル座標系（ｘおよびｙ軸４５０として示される）が、現在の眼形状（例えば、眼瞼形状４６２）によって決定される。一対のピクセル場所４６０ａ、４６０ｂ（矢印付きの線によって接続される正方形、２対４６０ａ、４６０ｂのそのようなピクセル場所が示されている）からの強度値は、２進特徴（例えば、合致または不合致を示す、０または１等のブール値）を提供するように比較されることができる。例えば、瞳孔の内側に位置するピクセル（例えば、対４６０ｂの中の瞳孔ピクセル）は、瞳孔の外側に（例えば、ユーザの虹彩、強膜、または皮膚の中に（図４Ｃに示されるように））位置するピクセルよりも色またはコントラストが濃くあり得る。いくつかの実装では、ピクセル場所は、眼形状４６２が回帰の段階中に更新されるにつれて変動する、ローカル座標系４５０の中で固定される。１つの例示的システムでは、２，５００個の特徴が、４００のピクセル場所から構築され、そのうちの全ては、訓練データ５００（図５を参照して下記に説明される）から学習される。

（カスケード式形状回帰を学習するための訓練画像の実施例）
いくつかの実施形態では、回帰関数ｆ_ｔおよび形状インデックス化抽出関数Φ_ｔは、注釈付き（例えば、標識）訓練データのセットから学習され得る。図５は、（（ａ）から（ｈ）としてインデックス化される）大きい形状および外観変動を伴う異なる対象からの８つの例示的眼画像を含む、訓練データ５００の実施例を図示する。標識眼画像は、有利なこととして、（異なる性別、民族等の）広範囲の対象からの広範囲の眼の変形例（例えば、正常に開いた眼、瞬目する眼、自然静止方向に対して広範囲の方向（上、下、左、右）を指し示す眼等）を示すはずである。

訓練データ５００は、本実施例では、画像のそれぞれの上でマークされる瞳孔、縁郭、および眼瞼境界を含む、学習される特徴を示すように注釈を付けられる。訓練データ５００内の画像のそれぞれの中のこれらの標識境界は、任意の適切な瞳孔、縁郭、または眼瞼境界技法を使用して、または手動で、決定されることができる。種々の機械学習アルゴリズムが、注釈付き訓練データ５００から回帰関数ｆ_ｔおよび形状インデックス化抽出関数Φ_ｔを学習するために使用されてもよい。教師付き機械学習アルゴリズム（例えば、回帰ベースのアルゴリズム）が、注釈付きデータ５００から回帰関数および形状インデックス化抽出関数を学習するために使用されることができる。そのようなモデルを生成するために使用され得る、機械学習アルゴリズムのいくつかの実施例は、回帰アルゴリズム（例えば、最小二乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイジアンアルゴリズム（例えば、ナイーブベイズ等）、クラスタ化アルゴリズム（例えば、ｋ平均クラスタ化等）、相関ルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、パーセプトロン等）、深層学習アルゴリズム（例えば、ディープボルツマンマシンまたはディープニューラルネットワーク等）、次元縮小アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、スタック一般化等）、または他の機械学習アルゴリズムを含むことができる。

いくつかの実施形態では、訓練画像のセットが、遠隔データリポジトリ２３２の中に記憶されてもよい。遠隔処理モジュール２２８は、訓練画像にアクセスし、回帰関数ｆ_ｔおよび形状インデックス化抽出関数Φ_ｔを学習してもよい。ローカル処理およびデータモジュール２２４は、次いで、ウェアラブルデバイス２００上に回帰関数ｆ_ｔおよび形状インデックス化抽出関数Φ_ｔを記憶してもよい。これは、ローカル処理およびデータモジュール２２４が回帰関数ｆ_ｔおよび形状インデックス化抽出関数Φ_ｔを学習する計算集中的なプロセスを実施する必要性を低減させる。いくつかの実施形態では、バイオメトリック情報は、ユーザ２０４から取られ、ローカル処理およびデータモジュール２２４上に記憶されてもよい。バイオメトリック情報は、次いで、例えば、教師なし学習を通して、ユーザの個人化された眼形状および特徴に基づいて回帰関数および形状インデックス化抽出関数をさらに訓練するために、ローカル処理およびデータモジュール２２４（または遠隔処理モジュール２２８）によって使用されることができる。そのような訓練は、より具体的には、ユーザの眼および眼周囲領域の特徴に合致し、正確度および効率を改良し得るように、回帰モデルを個人化する。

（例示的眼形状訓練ルーチン）
図６は、訓練画像のセット（例えば、図５に示される画像５００）から回帰関数ｆ_ｔおよび形状インデックス化抽出関数Φ_ｔを学習するために使用される、例示的眼形状訓練ルーチン６００のフロー図である。眼形状訓練ルーチン６００は、処理モジュール２２４、２２８、２３２によって実装されることができる。ルーチン６００は、注釈付き眼画像を備える訓練データ（例えば、データ５００）がアクセスされるときに、ブロック６０８から開始する。訓練眼画像は、注釈付き眼画像を記憶する、非一過性のデータ記憶部からアクセスされることができる。処理モジュールは、有線または無線技法を介して非一過性のデータ記憶部にアクセスすることができる。ブロック６１２では、機械学習技法（例えば、注釈付きまたは標識画像のための教師付き学習）が、回帰関数ｆ_ｔおよび形状インデックス化抽出関数Φ_ｔを学習するように適用される。カスケード式形状回帰モデルが、次いで、ブロック６１６において生成されることができる。本回帰モデルは、ルーチン３００がブロック３１２において詳細な眼形状モデルを推定することを可能にする。上記に説明されるように、カスケード式形状回帰モデルは、使用中にウェアラブルディスプレイシステム２００によって取得されるユーザの眼画像について回帰関数および形状インデックス化抽出関数をさらに訓練することによって、特定のユーザに個人化されることができる。

（ロバストな特徴検出の実施例）
（瞳孔または虹彩の眼瞼閉塞）
図７Ａは、眼瞼によって部分的に閉塞される瞳孔の境界点４２４を図示する。詳細な眼形状モデルを使用するロバストな特徴検出のための一実施形態では、瞳孔検出は、誤った瞳孔境界点７０４（上眼瞼１１０ａに沿って瞳孔境界４２０内の境界点の弧として示される）を除去することによって改良され得る。誤った瞳孔境界点７０４は、図７Ａ（上眼瞼１１０ａが瞳孔１１４を部分的に閉塞する）に示されるように、眼瞼が瞳孔を部分的に閉塞するときに作成され得る。点７０４は、したがって、（眼瞼によって閉塞される）瞳孔の真の境界ではなく眼瞼の位置を反映する。瞳孔の不正確なモデルの生成につながり得る、誤った境界点７０４を含むのではなく、誤った境界点７０４は、瞳孔境界発見方法が実施される前に識別および除去されてもよい。いくつかの実施形態では、誤った瞳孔境界点７０４は、上眼瞼または下眼瞼のある距離内に位置する任意の瞳孔境界点であってもよい。いくつかの実施形態では、誤った瞳孔境界点７０４は、上眼瞼または下眼瞼に隣接する任意の瞳孔境界点であってもよい。いくつかの実施形態では、いったん誤った瞳孔境界点７０４が識別および除去されると、楕円が、残りの瞳孔境界点を使用して瞳孔に適合されてもよい。そのような楕円適合のために実装され得るアルゴリズムは、微分積分演算子、最小二乗方法、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）、または楕円または曲線適合アルゴリズムを含む。

上記の実施形態は、具体的には誤った瞳孔境界点を参照するが、上記に説明される技法はまた、誤った縁郭境界点を識別および除去するように適用され得ることに留意されたい。

いくつかの実施形態では、詳細な眼形状モデルが、例えば、多くの瞳孔境界点を検出するために採用され得る、スターバーストアルゴリズム等の瞳孔境界発見アルゴリズムと併せて使用されてもよい。詳細な眼形状モデルの眼瞼形状４１２を使用して、上眼瞼または下眼瞼１１０ａ、１１０ｂに隣接するスターバーストアルゴリズムを使用して決定される境界点は、除去され、残りの境界点は、瞳孔境界４２０に適合するように使用される。いくつかの実施形態では、強膜１１３に隣接する縁郭境界点もまた、詳細な眼形状モデルを使用して識別されてもよい。その後、虹彩楕円４１６は、強膜１１３に隣接するように決定される縁郭境界点のみを使用して適合される。同様に、瞳孔境界４２０は、虹彩１１２に隣接するように決定される瞳孔境界点のみを使用して適合される。いくつかの実施形態では、詳細な眼形状モデルは、詳細な眼形状モデルに基づいて瞳孔中心のより良好な初期「最良推測」を提供することによって、瞳孔境界発見アルゴリズムのロバスト性を改良し得る。

（閃光検出）
従来の注視推定では、瞳孔境界（例えば、いくつかの技法における楕円）および閃光が、眼画像全体を調査することによって検出される。本明細書に説明される詳細な眼形状モデルを考慮すると、特徴検出は、特徴に関して眼全体を調査する必要性を排除することによって、より高速かつより効率的であり得る。いくつかの実施形態では、最初に眼の異なる領域（例えば、強膜、瞳孔、または虹彩）を識別することによって、詳細な眼形状モデルは、眼の特定の領域中の特徴検出（例えば、選択的特徴検出）を可能にし得る。図７Ｂは、選択的特徴検出の実施例を図示する。閃光１１５ａ、１１５ｂは、強膜１１３、虹彩１１２、または瞳孔１１４の中で出現し得る。あるバイオメトリックアプリケーションでは、眼のある領域（例えば、角膜反射を表す虹彩）中の閃光１１５ａ、１１５ｂを識別しながら、これらの領域の外側（例えば、強膜）の閃光１１５ａ、１１５ｂを無視することが必要である、または望ましくあり得る。例えば、ある技法において注視を決定するとき、強膜１１３の中に位置する強膜閃光１１５ｂは、角膜からの光源の反射を表さず、注視技法の中のそれらの包含は、推定注視の不正確性につながる。したがって、詳細な眼形状モデルを使用して、虹彩１１２内または縁郭境界４１６内に位置する虹彩閃光１１５ａを調査および識別することが有利であり得る。図７Ｂに図示されるように、虹彩閃光１１５ａは、虹彩１１２内にあり、したがって、注視推定のために好ましくあり得る。他方では、強膜閃光１１５ｂは、強膜１１３の中で出現し、したがって、注視推定のために好ましくあり得ない。故に、本明細書に開示される技法の実施形態は、閃光が発生する可能性が高い眼領域を識別するために、使用されることができ、これらの領域の外側の眼領域は、調査される必要がなく、これは、本技法の正確度、速度、および効率を改良する。

（瞬目検出）
いくつかの実施形態では、特徴検出は、詳細な眼形状モデルを使用し、受信される眼画像がある品質閾値を満たすかどうかを決定することによって、よりロバストかつ効率的であり得る。例えば、詳細な眼形状モデルは、眼が確実な眼形状を推定するため、および特徴を抽出するため、およびバイオメトリックアプリケーション（例えば、注視発見またはバイオメトリック認証／識別）を実施するために十分に開いているかどうかを決定するために、使用されてもよい。いくつかの実施形態では、上眼瞼１１０ａと下眼瞼１１０ｂとの間の距離が閾値未満である場合、眼画像は、使用不可能と見なされ、破棄され、故に、いかなる特徴もバイオメトリックアプリケーションのために抽出されない。いくつかの実施形態では、眼画像は、上眼瞼１１０ａおよび下眼瞼１１０ｂが５ｍｍ以下だけ分離される場合に拒絶され得る。別の実施形態では、眼画像は、瞳孔１１４または虹彩１１２のある割合（例えば、４０％、５０％、６０％、７５％を上回る、またはそれを上回る）が眼瞼１１０ａ、１１０ｂのうちの１つ以上のものによって閉塞される場合に、拒絶され得る。別の実施形態では、眼画像は、いくつかの瞳孔境界点７０４が上眼瞼１１０ａまたは下眼瞼１１０ｂに隣接する場合に拒絶され得る。例えば、瞳孔境界点７０４ｂのほぼ半分が眼瞼１１０ａ、１１０ｂに隣接する場合、瞳孔１１４のほぼ半分が眼瞼によって閉塞され、したがって、眼画像がバイオメトリックアプリケーションのために不適切であることが結論付けられ得る。他の実施形態では、眼画像を拒絶および破棄するのではなく、眼画像は、バイオメトリックアプリケーションにおいて、眼のより少ない閉塞が存在する眼画像（例えば、上眼瞼１１０ａと下眼瞼１１０ｂとの間の距離が閾値を上回る画像）よりも低い加重を割り当てられる。

（付加的側面）
第１の側面では、ウェアラブルディスプレイシステムであって、ユーザの眼を照明するように構成される、光源と、眼の眼画像を捕捉するように構成される、画像捕捉デバイスと、眼画像を記憶するように構成される、非一過性のメモリと、非一過性のメモリと通信するハードウェアプロセッサであって、ハードウェアプロセッサは、非一過性のメモリから眼画像を受信することと、カスケード式形状回帰を使用して、眼画像から眼形状を推定することであって、眼形状は、瞳孔形状、虹彩形状、または眼瞼形状を備える、ことと、少なくとも部分的に眼形状に基づいて、バイオメトリックアプリケーションを実施することとを行うようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルディスプレイシステム。

第２の側面では、光源は、赤外光源を備える、側面１に記載のウェアラブルディスプレイシステム。

第３の側面では、ハードウェアプロセッサはさらに、少なくとも部分的に眼形状に基づいて、眼特徴を決定するようにプログラムされる、側面１または側面２に記載のウェアラブルディスプレイシステム。

第４の側面では、眼特徴は、（例えば、光源からの）閃光、血管、虹彩特徴、または瞳孔の中心のうちの少なくとも１つを備える、側面３に記載のウェアラブルディスプレイシステム。

第５の側面では、バイオメトリックアプリケーションは、眼の注視の決定を含む、側面１－４のいずれか１つに記載のウェアラブルディスプレイシステム。

第６の側面では、眼形状は、虹彩形状を備え、ハードウェアプロセッサは、虹彩形状内にある（例えば、光源からの）閃光を調査するようにプログラムされる、側面５に記載のウェアラブルディスプレイシステム。

第７の側面では、眼形状は、瞳孔形状と、眼瞼形状とを備え、ハードウェアプロセッサは、眼瞼によって閉塞される瞳孔の一部を識別するようにプログラムされる、側面１－６のいずれか１つに記載のウェアラブルディスプレイシステム。

第８の側面では、ハードウェアプロセッサは、眼瞼によって閉塞される瞳孔の一部を伴わない瞳孔形状に基づいて、瞳孔境界を決定するようにプログラムされる、側面７に記載のウェアラブルディスプレイシステム。

第９の側面では、眼形状は、虹彩形状と、眼瞼形状とを備え、ハードウェアプロセッサは、眼瞼によって閉塞される虹彩の一部を識別するようにプログラムされる、側面１－８のいずれか１つに記載のウェアラブルディスプレイシステム。

第１０の側面では、ハードウェアプロセッサは、眼瞼によって閉塞される虹彩の一部を伴わない虹彩形状に基づいて、辺縁境界を決定するようにプログラムされる、側面９に記載のウェアラブルディスプレイシステム。

第１１の側面では、眼形状は、眼瞼形状を備え、バイオメトリックアプリケーションは、瞬目の決定を含む、側面１－１０のいずれか１つに記載のウェアラブルディスプレイシステム。

第１２の側面では、ハードウェアプロセッサは、上眼瞼と下眼瞼との間の距離が閾値未満である場合に、眼画像を拒絶する、またはより低い重量を眼画像に割り当てるようにプログラムされる、側面１１に記載のウェアラブルディスプレイシステム。

第１３の側面では、眼形状は、瞳孔、虹彩、または眼瞼に対する境界を備える、側面１－１２のいずれか１つに記載のウェアラブルディスプレイシステム。

第１４の側面では、境界は、複数の境界点を備える、側面１３に記載のウェアラブルディスプレイシステム。

第１５の側面では、バイオメトリックアプリケーションは、バイオメトリック識別またはバイオメトリック認証を含む、側面１－１４のいずれか１つに記載のウェアラブルディスプレイシステム。

第１６の側面では、ハードウェアプロセッサは、曲線を瞳孔、虹彩、または眼瞼の境界に適合させるようにプログラムされる、側面１－１５のいずれか１つに記載のウェアラブルディスプレイシステム。

第１７の側面では、カスケード式形状回帰を使用して、眼画像から眼形状を推定するために、ハードウェアプロセッサは、複数の段階にわたって形状インクリメントを決定するための回帰関数を反復するようにプログラムされ、回帰関数は、形状インデックス化抽出関数を含む、側面１－１６のいずれか１つに記載のウェアラブルディスプレイシステム。

第１８の側面では、回帰関数を反復するために、ハードウェアプロセッサは、反復の段階ｔにおける形状インクリメントΔＳ_ｔに関して、

を評価するようにプログラムされ、ｆ_ｔは、段階ｔにおける回帰関数であり、Φ_ｔは、段階ｔにおける形状インデックス化抽出関数であり、Ｉは、眼画像であり、Ｓ_ｔ－１は、反復の段階ｔ－１における眼形状である、側面１７に記載のウェアラブルディスプレイシステム。

第１９の側面では、形状インデックス化抽出関数は、一対のピクセル場所の間の眼画像値の比較を提供する、側面１７または側面１８に記載のウェアラブルディスプレイシステム。

第２０の側面では、眼画像を処理するための方法であって、ハードウェアプロセッサの制御下で、眼画像を受信するステップと、カスケード式形状回帰を使用して、眼形状を推定するステップと、眼形状を使用して、眼特徴を決定するステップと、眼特徴を使用して、バイオメトリックアプリケーションを実施するステップとを含む、方法。

第２１の側面では、バイオメトリックアプリケーションを実施するステップは、バイオメトリック識別を実施するステップを含む、側面２０に記載の方法。

第２２の側面では、バイオメトリックアプリケーションを実施するステップは、眼注視決定を含む、側面２０または側面２１に記載の方法。

第２３の側面では、眼形状を推定するステップは、眼瞼形状、虹彩形状、または瞳孔形状のうちの少なくとも１つを推定するステップを含む、側面２０－２２のいずれか１つに記載の方法。

第２４の側面では、眼形状を推定した後、ハードウェアプロセッサは、不適切な眼画像を拒絶するように構成される、側面２０－２３のいずれか１つに記載の方法。

第２５の側面では、カスケード式形状回帰を使用して眼形状を推定するステップは、形状インデックス化抽出関数を含む回帰関数を反復するステップを含む、側面２０－２４のいずれか１つに記載の方法。

第２６の側面では、眼形状計算エンジンを訓練するための方法であって、ハードウェアプロセッサの制御下で、注釈付き訓練眼画像のセットを受信するステップであって、セットの中の各画像は、眼形状で標識される、ステップと、注釈付き訓練眼画像のセットに適用される機械学習技法を使用して、回帰関数および形状インデックス化抽出関数を学習するステップであって、回帰関数および形状インデックス化抽出関数は、眼形状を認識することを学習する、ステップとを含む、方法。

第２７の側面では、眼形状は、瞳孔の形状、虹彩の形状、または眼瞼の形状を備える、側面２６に記載の方法。

第２８の側面では、回帰関数および形状インデックス化抽出関数は、反復の段階ｔにおける形状インクリメントΔＳ_ｔに関して、

の反復に従って眼形状を認識するように学習され、ｆ_ｔは、段階ｔにおける回帰関数であり、Φ_ｔは、段階ｔにおける形状インデックス化抽出関数であり、Ｉは、非標識眼画像であり、Ｓ_ｔ－１は、反復の段階ｔ－１における眼形状である、側面２６または側面２７に記載の方法。

第２９の側面では、形状インデックス化抽出関数は、一対のピクセル場所の間の眼画像値の比較を提供する、側面２８に記載の方法。

第３０の側面では、比較は、２進値またはブール値を備える、側面２９に記載の方法。

（付加的考慮事項）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、計算的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み得、各フレームは、数百万のピクセルを有し、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスク、眼形状モデル、またはバイオメトリックアプリケーションを提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴が、ある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、ある場合には、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴の群も、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等の本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施されること、または全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (1)

1. 本明細書に記載の発明。

Images