JP2018523879A - 眼ポーズ測定を用いた眼瞼形状推定 - Google Patents

Abstract

眼瞼形状推定のためのシステムおよび方法が、開示される。一側面では、（例えば、画像捕捉デバイスから）眼の眼画像を受信した後、眼画像内の眼の眼ポーズが、決定される。眼ポーズから、（上眼瞼または下眼瞼の）眼瞼形状が、眼瞼形状マッピングモデルを使用して推定されることができる。眼瞼形状マッピングモデルは、眼ポーズと眼瞼形状とを関連付ける。別の側面では、眼瞼形状マッピングモデルは、（例えば、ニューラルネットワークを使用して）学習される。

Description

（関連出願の引用）
本願は、米国仮出願第６２／２０８，５１９号（２０１５年８月２１日出願、名称「ＥＹＥＬＩＤ ＳＨＡＰＥ ＥＳＴＩＭＡＴＩＯＮ ＵＳＩＮＧ ＥＹＥ ＰＯＳＥ ＭＥＡＳＵＲＥＭＥＮＴ」）の米国特許法§１１９（ｅ）に基づく利益を主張し、上記出願は、その全体が参照により本明細書に引用される。

（分野）
本開示は、概して、眼画像を処理するためのシステムおよび方法、より具体的には、眼ポーズ測定を使用して眼瞼形状を推定するためのシステムおよび方法に関する。

人間の虹彩は、バイオメトリック情報の源として使用されることができる。バイオメトリック情報は、個人の認証または識別を提供することができる。広くバイオメトリックテンプレートと呼ばれる、バイオメトリック情報を抽出するプロセスは、典型的には、多くの課題を有する。

一側面では、眼瞼形状推定のための方法が、開示される。方法は、ハードウェアプロセッサの制御下で実施され、エッジ検出器を使用して眼の瞳孔境界を検出することと、瞳孔境界を使用して、眼の眼ポーズを決定することであって、眼ポーズの眼ポーズ座標系は、眼の静止向きに対する眼の方位角および天頂角を備え、眼ポーズ座標系と眼瞼形状座標系との間の関数関係は、マッピング行列を備え、眼瞼形状座標系は、眼の水平シフト、垂直シフト、および曲率を備えている、ことと、少なくとも部分的に、眼ポーズおよび関数関係に基づいて、眼の眼瞼形状を推定することと、眼瞼形状に基づいて、眼の眼瞼形状の放物曲線を適合させることとを含む。代替として、別の側面では、この分析は、逆の順序において適用され、眼瞼位置の決定で始まり、虹彩場所、瞳孔場所、または眼ポーズを推定し得る。別の側面では、眼瞼形状推定のための方法は、ヘッドマウントディスプレイシステムによって実施されることができる。

別の側面では、ヘッドマウントディスプレイシステムが、開示される。ヘッドマウントディスプレイシステムは、眼画像を捕捉するように構成されている画像捕捉デバイスと、眼瞼形状マッピングモデルを記憶するように構成されている非一過性メモリと、非一過性メモリと通信しているハードウェアプロセッサとを備え、ハードウェアプロセッサは、画像捕捉デバイスから眼画像を受信することと、眼画像内の眼の眼ポーズを決定することと、少なくとも部分的に、眼ポーズおよび眼瞼形状マッピングモデルに基づいて、眼の眼瞼形状を推定することとを行うようにプログラムされ、眼瞼形状マッピングモデルは、眼瞼形状と眼ポーズとを関連付ける。

また別の側面では、眼画像から眼瞼形状を推定する方法が、開示される。方法は、ハードウェアプロセッサの制御下で実施され、眼画像内の眼の眼ポーズを決定することと、眼ポーズに基づいて、眼瞼形状を推定することとを含む。

さらなる側面では、眼瞼形状推定のための眼瞼形状マッピングモデルを訓練する方法が、開示される。方法は、ハードウェアプロセッサの制御下で、眼瞼形状を眼ポーズに関連付ける訓練データにアクセスすることと、訓練データに基づいて眼瞼形状マッピングモデルを訓練することと、訓練された眼瞼形状マッピングモデルを出力することとを含む。

別の側面では、眼画像を処理する方法が、開示される。方法は、ハードウェアプロセッサの制御下で実施され、エッジ検出器を使用して、眼の眼瞼と眼の虹彩との間の境界を検出することと、眼の眼瞼と眼の虹彩との間の境界を使用して、眼の眼瞼形状を決定することであって、眼瞼形状の眼瞼形状座標系は、眼の水平シフト、垂直シフト、および曲率を備え、眼瞼形状座標系と眼ポーズ形状座標系との間の関数関係は、マッピング行列を備え、眼ポーズ座標系は、眼の静止向きに対する眼の方位偏向角および天頂偏向角を備えている、ことと、少なくとも部分的に、眼瞼形状および関数関係に基づいて、眼の眼ポーズを推定することとを含む。

また別の側面では、ヘッドマウントディスプレイシステムが、開示される。ヘッドマウントディスプレイシステムは、眼画像を捕捉するように構成されている画像捕捉デバイスと、眼ポーズマッピングモデルを記憶するように構成されている非一過性メモリと、非一過性メモリと通信しているハードウェアプロセッサとを備え、ハードウェアプロセッサは、画像捕捉デバイスから眼画像を受信することと、眼画像内の眼の眼瞼形状を決定することと、少なくとも部分的に、眼瞼形状および眼ポーズマッピングモデルに基づいて、眼の眼ポーズを推定することとを行うようにプログラムされ、眼瞼形状マッピングモデルは、眼瞼形状を眼ポーズに関連付ける。

さらなる側面では、眼瞼形状から眼ポーズを推定する方法が、開示される。方法は、ハードウェアプロセッサの制御下で実施され、眼画像内の眼の眼瞼形状を決定することと、少なくとも部分的に、眼瞼形状に基づいて、眼ポーズを推定することとを含む。

別の側面では、眼瞼形状から眼ポーズを推定するために眼ポーズマッピングモデルを訓練する方法が、開示される。方法は、ハードウェアプロセッサの制御下で、眼瞼形状を眼ポーズに関連付ける訓練データにアクセスすることと、訓練データに基づいて眼ポーズマッピングモデルを訓練することと、訓練された眼ポーズマッピングモデルを出力することとを含む。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点が、説明、図面、および請求項から明白となるであろう。本発明の概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義もしくは限定することを意味しない。

図１は、眼の例を図式的に例証する。 図１Ａは、眼の眼ポーズを決定するための例示的座標系を図式的に例証する。 図２は、例示的眼瞼形状推定ルーチンのフロー図である。 図３は、眼瞼形状推定の例を図式的に例証する。 図４は、例示的眼ポーズ推定ルーチンのフロー図である。 図５は、眼ポーズ推定の例を図式的に例証する。 図６は、装着可能ディスプレイシステムの例を図式的に例証する。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。

（概観）
眼からバイオメトリック情報を抽出することは、概して、眼画像内の虹彩のセグメント化のためのプロシージャを含む。虹彩セグメント化は、虹彩境界を見つけることを含む動作を伴うことができ、虹彩境界を見つけることは、虹彩の瞳孔および縁郭境界を見出すこと、上眼瞼または下眼瞼が虹彩を閉塞する場合、それらを見つけること、睫毛の閉塞、陰影、または反射を検出し、除外すること等を含む。例えば、眼画像は、顔の画像内に含まれることができるか、または、眼周囲領域の画像であり得る。虹彩セグメント化を実施するために、瞳孔（虹彩の内部境界）および縁郭（虹彩の外部境界）の両方の境界は、画像データの別個のセグメントとして識別されることができる。虹彩のこのセグメント化に加えて、眼瞼（上側または下側）によって閉塞される虹彩の部分が、推定されることができる。この推定は、通常の人間の活動中、人物の虹彩全体が可視であることは殆どないので、実施される。言い換えると、虹彩全体は、概して、眼瞼の閉塞を免れない。

眼瞼によって閉塞される虹彩の部分を推定することは、課題を提示している。しかしながら、本明細書に説明される技法を使用して、虹彩推定に存在する課題は、最初に、眼瞼の形状を推定することによって軽減されることができる。眼瞼形状のこの推定は、虹彩セグメント化のための開始点として使用されることができる。同様に、眼の指示方向の既存の推定が、眼瞼位置推定、および、眼、多くの場合、特に虹彩についての詳細な情報の後の抽出のための開始点として使用されることができる。

眼瞼は、眼によって、例えば、眼の表面全体に涙および他の分泌物を分散することによって、眼を湿潤に保つために使用され得る。眼瞼は、眼を異物から保護するためにも使用され得る。ある例として、瞬目反射は、眼を急性外傷から保護する。別の例として、眼が外界を能動的に視認しているときであっても、眼瞼は、例えば、眼の指示方向の変化に応答して自動的に移動することによって、眼を保護し得る。眼瞼によるそのような移動は、瞳孔の閉塞を回避しながら、眼の表面の保護を最大化することができる。しかしながら、この移動は、虹彩セグメント化等の虹彩ベースのバイオメトリック測定を用いてバイオメトリック情報を抽出するとき、さらなる課題を提示する。例えば、虹彩セグメント化を使用するために、眼瞼によって閉塞される虹彩のエリアは、推定され、同一性検証計算からマスクされなければならない。

本明細書に開示される技法では、瞳孔のポーズを使用して、眼瞼形状推定が、虹彩を覆う眼瞼による閉塞のエリアを実質的に予測するために使用されることができる。本明細書に説明される眼瞼形状推定の実施形態は、有利なこととして、眼瞼によって閉塞される虹彩の部分を推定するために使用されることができる。加えて、いくつかの実装では、この眼瞼形状推定は、眼瞼場所のためのモデルを生成するために使用されることができ、モデルは、眼瞼セグメント化アルゴリズム等のセグメント化アルゴリズムの代わりに、またはそのための開始点としてのいずれかで使用され得る。

本開示は、眼ポーズ決定を使用する眼瞼形状の推定の例のみならず、眼指示方向が眼瞼形状から推定される代替プロセスも説明するであろう。眼ポーズ決定は、眼画像から決定されることができる。眼ポーズは、眼が見ている方向の決定である（多くの場合、眼の自然静止方向に対して決定される）。いくつかの実装では、眼ポーズ決定を使用して、曲線が、眼瞼の形状をモデル化するために適合させられることができる。曲線は、眼ポーズ決定のパラメトリック形式から眼瞼形状を表すパラメトリック曲線に値をマッピングするために回帰を使用するマッピング行列と適合させられることができる。例えば、このパラメトリック形式は、放物曲線であり得る。そのようなマッピング行列は、眼瞼形状座標系に対する眼ポーズ座標系の関係を関連付けることができる。故に、眼瞼の場所は、眼画像から推定されることができ、逆もまた同様である。さらに、本明細書に説明されるように、開示される眼瞼形状推定技法は、眼ポーズ決定に基づいて、眼瞼検出アルゴリズム（例えば、眼瞼セグメント化）において使用されることができる。

本明細書で使用される場合、ビデオは、その通常の意味において使用され、限定ではないが、一連の視覚画像の記録を含む。ビデオ内の各画像は、時として、画像フレームまたは単純にフレームと称される。ビデオは、オーディオチャネルの有無を問わず、複数の連続フレームまたは非連続フレームを含むことができる。ビデオは、時間において順序付けられる複数のフレーム、または時間において順序付けられない複数のフレームを含むことができる。故に、ビデオ内の画像は、眼画像フレームまたは眼画像と称され得る。

（眼画像の例）
図１は、眼瞼１０４、強膜１０８（眼の「白眼」）、虹彩１１２、および瞳孔１１６を伴う、眼１００の画像を図示する。曲線１１６ａは、瞳孔１１６と虹彩１１２との間の瞳孔境界を示し、曲線１１２ａは、虹彩１１２と強膜１０８との間の縁郭境界を示す。眼瞼１０４は、上眼瞼１０４ａと、下眼瞼１０４ｂとを含む。眼１００は、自然静止ポーズ（例えば、ユーザの顔および注視の両方が、それらがユーザの直前の遠隔の物体に向かうであろうように向けられている）において図示される。眼１００の自然静止ポーズは、自然静止方向１２０によって示されることができ、自然静止方向は、自然静止ポーズにあるとき、眼１００の表面に直交する（例えば、図１に示される眼１００に対する平面から真っ直ぐな）方向であり、この例では、瞳孔１１６内の中心に置かれる。

眼１００が異なる物体を見るために移動すると、眼ポーズは、自然静止方向１２０に対して変化するであろう。現在の眼ポーズは、眼ポーズ方向１２２を基準にして決定されることができ、眼ポーズ方向は、眼の表面に直交する（および瞳孔１１６内の中心に置かれる）が、眼が現在向けられている物体の方に向けられた方向である。図１Ａに示される例示的座標系を参照すると、眼１００のポーズは、眼の眼ポーズ方向１２４の方位偏向と天頂偏向とを示す２つの角度パラメータとして表されることができ、両方とも眼の自然静止方向１２０に対する。例証を目的として、これらの角度パラメータは、θ（基準方位から決定される方位偏向）およびφ（時として、極偏向とも称される、天頂偏向）として表されることができる。いくつかの実装では、眼ポーズ方向１２４の周りの眼の角度ロールが、眼ポーズの決定において含まれることができ、角度ロールは、以下の分析において含まれることができる。他の実装では、眼ポーズを決定するための他の技法、例えば、ピッチ、ヨー、および随意のロール系も、使用されることができる。

眼画像が、任意の適切なプロセスを使用して、例えば、１つ以上の連続フレームから画像を抽出し得るビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。眼のポーズは、種々の眼追跡技法を使用して、眼画像から決定されることができる。例えば、眼ポーズは、提供される光源に対する角膜のレンズ効果を考慮することによって決定されることができる。任意の好適な眼追跡技法が、本明細書に説明される眼瞼形状推定技法において眼ポーズを決定するために使用されることができる。

（例示的眼瞼形状推定ルーチン）
図２は、例示的眼瞼形状推定ルーチン２００のフロー図である。眼瞼形状推定ルーチン２００は、ハードウェアプロセッサ等のプロセッサによって実装されることができる。眼瞼形状推定は、眼瞼形状検出とも称され得る。ルーチン２００が、ブロック２０４において開始される。ブロック２０８において、眼画像が、受信される。眼画像は、例えば、画像捕捉デバイス、ヘッドマウントディスプレイシステム、サーバ、非一過性コンピュータ読み取り可能な媒体、またはクライアントコンピューティングデバイス（例えば、スマートフォン）を含む種々の源から受信されることができる。いくつかの実装では、眼画像は、ビデオから抽出されることができる。

ブロック２１２において、眼画像の眼ポーズが、決定される。例えば、エッジ検出が、眼ポーズを決定するために、眼画像に適用されることができる。エッジ検出は、種々のエッジ検出器、エッジ検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Ｃａｎｎｙエッジ検出器が、画像の線におけるエッジを検出するために、画像に適用されることができる。エッジは、極大微分に対応する線に沿って位置する点である。例えば、瞳孔境界１１６ａが、Ｃａｎｎｙエッジ検出器を使用して見つけられることができる。瞳孔の場所が決定されると、種々の画像処理技法が、瞳孔１１６の「ポーズ」を検出するために使用されることができる。眼画像の眼ポーズを決定することは、眼画像の眼ポーズを検出することとも称され得る。ポーズは、眼の注視、指示方向、または向きとも称され得る。例えば、瞳孔１１６は、物体に向かって左向きに見ていることもあり、瞳孔１１６のポーズは、左向きポーズとして分類され得る。

他の方法も、瞳孔の場所を検出するために使用されることができる。例えば、同心環が、Ｃａｎｎｙエッジ検出器を使用して、眼画像内で見つけられることができる。別の例として、積分微分演算子が、虹彩の瞳孔または縁郭境界を見出すために使用されることができる。例えば、Ｄａｕｇｍａｎ積分微分演算子、ハフ変換、または他の虹彩セグメント化技法が、瞳孔または虹彩の境界を推定する曲線を返すために使用されることができる。

いくつかの実装では、眼画像は、随意に、画像から高周波数雑音を除去するために、フィルタを用いて前処理されることができる。フィルタは、ローパスフィルタまたはオープンフィルタ等のモルフォロジカルフィルタであり得る。フィルタは、瞳孔境界１１６ａから高周波数雑音を除去し、それによって、眼ポーズ決定を妨げ得る雑音を除去することができる。

前述の例は、ポーズを決定するために、眼画像内の瞳孔を見つける文脈において説明されたが、これは、例証のためであり、限定することは意図されない。他の実装では、任意の好適な画像処理技法または検出技法が、眼のポーズを決定するために使用されることができる。ある例として、縁郭境界１１２ａおよび虹彩１１２の場所は、それぞれ、虹彩の場所を検出するために使用されることができ、虹彩のポーズを決定するために使用されることができる。虹彩１１２のための関数形式は、そうである必要はないが、瞳孔１１６のための関数形式とは異なり得る。決定されると、眼のポーズは、種々の関数形式において表されることができ、例えば、図１Ａに示される方位角および天頂角等の２つの角度偏向を用いて表されることができる。

継続して図２を参照すると、ブロック２１６において、眼瞼の関数形式が、ブロック２１２において決定された眼ポーズを使用して推定されることができる。種々の実装では、眼瞼のこの関数形式は、眼瞼形状への眼ポーズ決定のマッピングを使用して推定されることができる。マッピングは、個人、個人の種々の集団（例えば、男性、女性、民族性、または任意の人口統計グループ）、非ヒト動物等に対して実施されることができる。

曲線が、眼瞼形状を近似するために使用されることができる。非限定的例示的実装では、眼瞼は、放物線（二次形式）等の多項式形式によって表されることができる。他の実装も、可能である。他の実装では、任意の好適な数学的定式化または曲線が、眼瞼を表すために使用されることができる。つまり、眼瞼曲線の表現は、任意の次数の多項式形式である必要はない。例えば、曲線が、別の非線形数式表現であり得る。異なる定式化または曲線が、各眼瞼のために可能である。以下に議論されるように、眼瞼形状のノンパラメトリック表現が、使用されることができる（例えば、ニューラルネットワーク分類子）。後の例は、放物曲線を適合させる３つのパラメータの文脈において説明されるであろうが、これは、例証のためであり、限定することは意図されない。他の実装では、任意の好適な数のパラメータが、選定された曲線を適合させるために使用されることができる。加えて、放物線形式以外の任意の関数形式が、使用されることができる。

ブロック２１２において決定される眼ポーズ決定は、例えば、座標ｘおよびｙによって表される座標系において表されることができ、座標系は、瞳孔が自然静止向きにあるとき、瞳孔の中心に置かれ、ｘは、水平方向を表し、ｙは、直交する垂直方向を表す。眼瞼形状に適合する放物曲線の例では、放物曲線は、３つのパラメータによってパラメータ化されることができる。例証として、これらの３つのパラメータは、眼瞼の水平シフト、垂直シフト、および曲率と称され得る。

故に、本実施形態では、眼瞼形状に関する放物線の式は、以下である。

眼ポーズ決定（例えば、（θ，φ））は、対応する眼瞼形状パラメータ（例えば、（ｕ，ｖ，ｋ））を決定するために使用されることができる。１つの観点から、これは、２パラメータ空間（θ，φ）から３パラメータ空間（ｕ，ｖ，ｋ）へのマッピングと見られることができる。種々の実装では、このマッピングは、眼瞼をセグメント化するため、または眼瞼形状パラメータの初期近似を生成するために使用されることができ、それは、他の眼瞼セグメント化アルゴリズムの性能を改良するために使用され得る。以下に議論されるように、他の実装も、可能である。マッピングは、マッピング関数とも称され得る。後の例は、眼ポーズマッピングを使用して眼瞼形状に適合する文脈において説明されるであろうが、これは、例証のためであり、限定することは意図されない。他の実装では、眼ポーズ決定に基づく任意のマッピング関数（パラメトリックまたはノンパラメトリック）が、眼瞼形状に適合するために使用されることができる。加えて、このマッピングを実施するためのさまざまな関数形式が、可能である。概して言えば、マッピング関数は、眼瞼形状座標系に対する眼ポーズ座標系の関係を関連付ける。例証として、眼ポーズ決定は、Ｐパラメータとして表され、Ｑパラメータによって表される眼瞼関数形式を適合させるためにマッピングされることができる。例えば、眼瞼関数形式は、Ｑパラメータによって表されることができ、Ｑは、ディスプレイ（例えば、以下の図６のディスプレイ６０８）内のピクセルの幅であり得る。関数形式への非線形決定のマッピングも、可能であり、逆も同様である。

ブロック２２０において、眼瞼形状が、眼ポーズマッピングに基づいて、眼瞼形状であるべきと決定された曲線に適合させられることができる。３パラメータ空間の例を継続すると、マッピングは、３つの別個のマッピングに分解されることができる：ｕ（θ，φ）、ｖ（θ，φ）、およびｋ（θ，φ）。例えば、そのような分解は、特定の次数の多項式としてモデル化されることができる。これらの関数のための１つの可能なパラメータ化は、形式

であり得、式中、

のそれぞれの要素は、以下の定義

を有する。

式（２）では、

は、（θ，φ）の眼ポーズ決定から決定されるべき眼瞼形状パラメータの列ベクトル［ｕ，ｖ，ｋ］である。式（２）のマッピングＡは、眼瞼形状パラメータを角度眼ポーズ決定の多項式（この例では二次）関数

に関連させる。３パラメータ空間の例では、マッピング、ｕ（θ，φ）、ｖ（θ，φ）、およびｋ（θ，φ）、以下の定義を有する。

および、

他の実施形態では、関数

は、２とは異なる次数（例えば、１、３、４、５、またはそれを上回るもの）の多項式、非多項式関数、有理関数、または任意の他の適切な関数形式であり得る。また他の実施形態では、眼ポーズ決定は、眼ポーズ方向の周りの眼のロールを含むことができ、列ベクトル

は、ロール角における関数形式（例えば、二次等の多項式）を含むことができる。さらに、

との間の関係は、式（２）において線形であるが、他の実装では、非線形関係が、利用されることができる。

故に、眼瞼形状パラメータ

は、眼ポーズ角度決定から決定される眼ポーズ関数

が与えられると、マッピング行列Ａによって推定されることができる。種々の実装では、マッピング行列Ａは、個人または個人のグループの眼ポーズおよび眼瞼形状決定を含む訓練データから決定されることができる。例えば、訓練データは、個人の眼が異なる注視方向に移動中、ある期間にわたって、個人（または個人のグループ）に対する眼ポーズおよび眼瞼形状を観察ならびに決定することによって、取得されることができる。これらの観察中、眼のポーズおよび眼瞼の位置の両方が、記録される。そのようなデータ点は、例えば、それらの関数を特徴付けるパラメータの回帰によって、マッピング、ｕ（θ，φ）、ｖ（θ，φ）、およびｋ（θ，φ）を決定するために使用されることができる。この例では、値ａ_ｉｊは、利用可能な訓練データを適合させることによって（例えば、回帰または任意の他の統計的適合もしくは最適化技法によって）見出されるべき係数である。

ノンパラメトリックモデルを含む眼瞼形状の他のモデルも、可能である。眼瞼形状と眼ポーズとの間の関係は、ニューラルネットワーク等の潜在学習マッピングによって決定されることもできる。

いくつかの実装では、顔は、２つの眼の間の中心線に対して対称であるので、左眼および右眼の別個のモデルは、使用されない。代わりに、一方の眼（例えば、右眼）の画像が、水平に反射された鏡像に変換るので、鏡像と他方の眼（例えば、左眼）の画像とは、類似するか、または区別不可能である。つまり、一方の眼（例えば、右眼）の鏡像および他方の眼（例えば、左眼）の画像は、類似するか、または区別不可能であり得る。適合プロシージャは、次いで、単一の眼形状（例えば、左眼形状）に対して実施されることができ、それは、適合プロシージャにおいて使用されることができる眼または眼画像の数を効果的に倍にする。事実上、そのような実装は、左眼または右眼のいずれかに対して使用され得る一般的眼瞼形状モデルを決定する。例えば、左眼のための眼瞼形状モデルが与えられると、右眼のためのデータ（例えば、眼画像および眼ポーズ決定）が、反射されることができ、次いで、左眼モデルが、適用され、次いで、対応する眼瞼形状決定が、再び反射して返される。

いくつかの実装では、ブロック２１２において眼画像から決定された眼ポーズは、少なくとも部分的に、ブロック２２０において推定された眼瞼形状に基づいて、再決定される。再決定された眼瞼形状は、（ブロック２１２からの）初期眼瞼形状と比較されることができ、実質的に類似する（例えば、パラメトリック表現における差異が、ある閾値を下回る）場合、ルーチン２００は、決定された眼ポーズが十分に正確であると決定することができる。したがって、ルーチン２００は、（随意に）眼ポーズ決定の一貫性を検証することができる。

したがって、この例から分かり得るように、眼瞼形状は、眼瞼形状への眼ポーズ決定のマッピングに従って、適合させられることができる。別の言い方をすれば、ルーチン２００は、眼ポーズ決定を使用し、眼瞼の形状である曲線を適合させることができる。その後、ブロック２２４において、ルーチン２００は、終了する。

種々の実施形態では、ルーチン２００は、例えば、図６を参照して以下に説明されるようなヘッドマウントディスプレイシステムのハードウェアプロセッサによって実施され得る。他の実施形態では、コンピュータ実行可能命令を伴う遠隔コンピューティングデバイスが、ヘッドマウントディスプレイシステムに、ルーチン２００を実施させることができる。ルーチン２００のいくつかの実施形態では、要素は、上で説明されるもの以外の順で起こり得る。

（眼瞼形状推定の例）
図３は、上記の図２に説明される眼瞼形状推定ルーチンを使用する、眼瞼形状推定の例を図式的に例証する。例えば、図３は、眼瞼形状が、眼ポーズマッピングに基づいて、眼瞼形状であるべきと決定される曲線に適合させられるときのブロック２２０における結果を図示する。図３に描写されるように、放物線適合線１２８ａは、上眼瞼１０４ａに適合することができ、放物線適合線１２８ｃは、下眼瞼１０４ｂに適合することができる。いくつかの場合では、複数の放物線適合線が、ルーチン２００によってマッピングされる。例えば、異なる回帰または統計的決定が、マッピング行列Ａを決定するために使用されることができる。故に、図示されるように、放物線適合線１２８ｂが、上眼瞼１０４ａの別の適合を示し、放物線適合線１２８ｄが、下眼瞼１０４ｂの別の適合を示す。

本明細書に説明される適合プロセス中、眼瞼への適合は、特定の眼瞼に対して誤った方向に湾曲した線をもたらし得る。例えば、上眼瞼が、概して、下向きに湾曲し、下眼瞼が、概して、上向きに湾曲する。適合線が、特定の眼瞼に関して誤った曲率（例えば、上眼瞼のための上向き曲率または下眼瞼のための下向き曲率）を有する場合、適合線は、ルーチン２００から（例えば、ブロック２２０において）拒絶され、それによって、処理リソースを節約し、プロセスの効率を改良することができる。

故に、いくつかの実施形態では、適合線は、適合線の曲率の符号に基づいて拒絶され、正の曲率は、上眼瞼に対して拒絶され、負の曲率は、下眼瞼に対して拒絶されることができる。種々の実装では、適合線の曲率は、適合プロセスの一部として決定される（例えば、特定の適合係数が、曲率を表し得る）、または適合線の曲率は、適合線を表す関数の二次導関数をとることによって決定されることができる。

前述の例は、放物線を眼瞼に適合させる文脈において説明されたが、これは、例証のためであり、限定することは意図されない。他の実装では、眼瞼のための任意の好適な関数形式が、適合プロシージャ中に使用されることができる。上眼瞼のための関数形式は、そうである必要はないが、下眼瞼のための関数形式とは異なり得る。眼瞼のための関数形式は、円錐形式（特定の場合として、放物線を含む）、多項式（例えば、円錐形式を表す３以上の次数を伴う）、スプライン、有理関数、または任意の他の適切な関数であり得る。

（例示的眼瞼形状推定アルゴリズム）
以下の疑似コードは、眼瞼形状推定プロセスの別の例を提供する。プロセスは、眼画像で開始される。

マッピング行列Ａが、以下によって決定されることができる。
（１）眼画像のデータ組Ｄを収集する。
（２）各画像に対して、
（２ａ）ユーザの頭部のフレーム内の眼の眼ポーズ決定

を算出する。
（２ｂ）眼瞼への最良適合を算出し、この適合に対する眼瞼関数パラメータ

を抽出する（算出された眼ポーズ決定

に対する算出された適合

は、訓練データの例である）。
（３）パラメータ｛ａ_ｉｊ｝を伴うマッピング行列Ａを仮定し、訓練データをモデル

に適合させるためのパラメータ｛ａ_ｉｊ｝の最適な値を決定する。

眼瞼形状が、マッピング行列Ａに対応する眼瞼に対して推定されることができる。
（４）眼画像に対して、頭部座標における眼の眼ポーズ決定

を算出する。
（５）行列Ａを使用し、モデル

を使用して、眼瞼関数パラメータ

を推定する。
（６）以下のうちの一方または両方を実施する。
（６ａ）対応する眼瞼に対して

を使用して画像マスクを算出し、このマスクを使用して虹彩ピクセルを抽出する。または、
（６ｂ）眼瞼関数パラメータ

を使用して、それによって決定される眼瞼境界がさらに精緻化されることができる後続のアルゴリズムを初期化する。

この推定プロセスは、他方の眼瞼に対して繰り返されることができる。

本明細書に議論されるように、ある実装は、眼瞼形状を決定し、次いで、推定された眼瞼形状から眼ポーズを推定することによって、前述の逆を実施することができる。

（ビデオ処理のための眼瞼形状推定の例示的用途）
眼瞼形状推定を使用するシステムおよび方法は、ビデオ画像の文脈内で対処されると、画像処理における古典的問題の多くが改善されることを可能にする。加えて、他の問題も、対処されることができる。例えば、眼瞼形状推定は、ビデオからの画像分類（例えば、眼の虹彩を識別すること）のために、ならびにビデオの１つ以上のフレーム内の特定の物体タイプの位置特定（例えば、上眼瞼の場所）のために使用されることができる。別の例として、眼瞼形状推定は、眼追跡の用途（例えば、眼の向きまたは方向を決定すること）のためにビデオに適用されることができる。

いくつかのそのような用途では、以下にさらに議論されるであろうように、装着可能ディスプレイシステムが、装着可能ディスプレイシステムに動作可能に結合された（例えば、それに取り付けられた、またはその中に含まれた）画像捕捉デバイスによって取得されるビデオデータに対して眼瞼形状推定を実施するプロセッサを含むことができる。画像捕捉デバイスは、眼瞼形状を推定することにおいて使用するために、装着者の眼または装着者の身体の他の構成要素（例えば、手または指）のビデオを取得し得る。

眼瞼形状推定の使用は、有利なこととして、（例えば、装着可能ディスプレイシステム内の画像捕捉デバイスから取得される）ビデオ内の眼瞼の認識を可能にし、それは、バイオメトリック情報等のビデオ内の物体の改良された認識または分類を可能にし得る。例えば、従来のバイオメトリックテンプレートは、眼のセグメント化を決定することにおいて困難を有し得る。しかしながら、本明細書に説明される眼瞼形状推定アプローチは、（概して）虹彩の一部が眼瞼によって閉塞されるであろう一方、瞳孔は（概して）閉塞されないであろうため、瞳孔の境界と虹彩の境界をより良好に区別することができる。したがって、バイオメトリック情報を抽出する能力を提供することによって、図２に説明され、図３に図示されるような眼瞼形状推定は、眼瞼によって閉塞されない眼の部分をより良好に認識することができ、バイオメトリック抽出において使用されるより正確な虹彩セグメント化を提供することができる。本明細書に開示される眼瞼形状推定技法は、バイオメトリック抽出または識別（例えば、虹彩識別）のために、ヘッドマウントディスプレイ（例えば、図６のヘッドマウントディスプレイ）によって使用されることができる。

（例示的眼ポーズ推定ルーチン）
種々の実施形態では、眼瞼形状に基づく眼ポーズ推定のためのルーチンは、ルーチン２００（眼瞼形状が眼ポーズから推定される）と同様に実施されることができる。例えば、眼画像の眼ポーズがブロック２１２において決定されるのではなく、眼瞼形状が、眼画像を使用して、ブロック２１２において決定されることができる。眼瞼形状は、パラメータ的に（例えば、放物線パラメータ化のために（ｕ，ｖ，ｋ）として）表されることができる。眼ポーズ（例えば、角度（θ，φ））は、眼瞼のパラメトリック表現の関数として決定されることができる。例えば、眼ポーズ角度は、眼瞼形状パラメータの関数形式（例えば、線形、二次、多項式、またはその他）として推定されることができる。実際には、式（２）を参照して説明される技法の逆が、眼瞼形状決定から眼ポーズを推定するために使用されることができる。いくつかの実装では、眼瞼形状は、推定された眼ポーズ方向を使用して再決定されることができ、初期眼瞼形状と再決定された眼瞼形状との間の比較が、眼ポーズ推定の一貫性を検証するために実施されることができる。例えば、再決定された眼瞼形状が、初期眼瞼形状決定と実質的に同一である（例えば、ある閾値差よりも小さい）場合、眼ポーズ推定値は、正確である可能性が高い。

図４は、例示的眼ポーズ推定ルーチン４００のフロー図である。眼ポーズ推定ルーチン４００は、ハードウェアプロセッサ等のプロセッサによって実装されることができる。眼ポーズ推定は、眼ポーズ検出とも称され得る。ルーチン４００が、ブロック４０４において開始される。ブロック４０８において、眼画像が、受信される。眼画像は、例えば、画像捕捉デバイス、ヘッドマウントディスプレイシステム、サーバ、非一過性コンピュータ読み取り可能な媒体、またはクライアントコンピューティングデバイス（例えば、スマートフォン）を含む、種々の源から受信されることができる。いくつかの実装では、眼画像は、ビデオから抽出されることができる。

ブロック４１２において、眼画像の眼瞼が、決定される。例えば、エッジ検出が、眼瞼を決定するために、眼画像に適用されることができる。エッジ検出は、種々のエッジ検出器、エッジ検出アルゴリズム、またはフィルタによって適用されることができる。例えば、Ｃａｎｎｙエッジ検出器が、画像の線におけるエッジを検出するために、画像に適用されることができる。エッジは、極大微分に対応する線に沿って位置する点である。例えば、上眼瞼１０４ａまたは下眼瞼１０４ｂは、Ｃａｎｎｙエッジ検出器を使用して見つけられることができる。

いくつかの実装では、眼画像は、随意に、画像から高周波数雑音を除去するために、フィルタを用いて前処理されることができる。フィルタは、ローパスフィルタまたはオープンフィルタ等のモルフォロジカルフィルタであり得る。フィルタは、虹彩１１２と眼瞼との間の境界から高周波数雑音を除去し、それによって、眼瞼形状決定を妨げ得る雑音を除去することができる。

ブロック４１６において、眼瞼の関数形式が、ブロック４１２において決定された眼瞼を使用して決定されることができる。種々の実装では、眼瞼のこの関数形式は、曲線を使用して表されることができる。非限定的例示的実装では、眼瞼は、放物線（二次形式）等の多項式形式によって表されることができる。他の実装も、可能である。他の実装では、任意の好適な数学的定式化または曲線が、眼瞼を表すために使用されることができる。つまり、眼瞼曲線の表現は、任意の次数の多項式形式である必要はない。例えば、曲線が、別の非線形数式表現であり得る。異なる定式化または曲線が、各眼瞼のために可能である。以下に議論されるように、眼瞼形状のノンパラメトリック表現が、使用されることができる（例えば、ニューラルネットワーク分類子）。後の例は、放物曲線を適合させる３つのパラメータの文脈において説明されるであろうが、これは、例証のためであり、限定することは意図されない。他の実装では、任意の好適な数のパラメータが、選定された曲線を適合させるために使用されることができる。加えて、放物線形式以外の任意の関数形式が、使用されることができる。

ブロック４１２において決定される眼瞼は、例えば、座標ｘおよびｙによって表される座標系において表されることができ、座標系は、瞳孔が自然静止向きにあるとき、瞳孔の中心に置かれ、ｘは、水平方向を表し、ｙは、直交する垂直方向を表す。眼瞼形状に適合する放物曲線の例では、放物曲線は、３つのパラメータによってパラメータ化されることができる。例証として、これらの３つのパラメータは、眼瞼の水平シフトｕ、垂直シフトｖ、および曲率ｋと称され得る。上記の式（１）は、眼瞼形状のための放物線の式を示す。

眼瞼形状パラメータ（例えば、（ｕ，ｖ，ｋ））は、対応する眼ポーズパラメータ（例えば、（θ，φ））を決定するために使用されることができる。１つの観点から、これは、３パラメータ空間（ｕ，ｖ，ｋ）から２パラメータ空間（θ，φ）へのマッピングと見られることができる。種々の実装では、このマッピングは、眼ポーズを決定するため、または眼ポーズパラメータの初期近似を生成するために使用されることができ、それは、他の眼ポーズ決定アルゴリズムの性能を改良するために使用され得る。以下に議論されるように、他の実装も、可能である。マッピングは、マッピング関数とも称され得る。後の例は、眼瞼マッピングを使用して眼ポーズを決定する文脈において説明されるであろうが、これは、例証のためであり、限定することは意図されない。他の実装では、眼瞼形状パラメータに基づく任意のマッピング関数（パラメトリックまたはノンパラメトリック）が、眼ポーズを決定するために使用されることができる。加えて、このマッピングを実施するためのさまざまな関数形式が、可能である。概して言えば、マッピング関数は、眼ポーズ座標系に対する眼瞼形状座標系の関係を関連付ける。例証として、眼瞼関数形式は、Ｑパラメータによって表され、Ｐパラメータとして表される眼ポーズ決定にマッピングされることができる。例えば、眼瞼関数形式は、Ｑパラメータによって表されることができ、Ｑは、ディスプレイ（例えば、以下の図６のディスプレイ６０８）内のピクセルの幅であり得る。

ブロック４２０において、眼ポーズが、眼瞼マッピングに基づいて決定されることができる。２パラメータ空間の例を継続すると、マッピングが、２つの別個のマッピング、すなわち、θ（ｕ，ｖ，ｋ）およびφ（ｕ，ｖ，ｋ）に分解されることができる。そのような分解は、特定の次数の多項式としてモデル化されることができる。これらの関数のための１つの可能なパラメータ化は、

の形式であり得、式中、

のそれぞれの要素は、以下の定義を有する。

式（６）では、

は、（ｕ，ｖ，ｋ）の眼瞼形状決定から決定されるべき眼ポーズパラメータの列ベクトル［θ φ］である。式（６）のマッピングＢは、角度眼ポーズパラメータを眼瞼形状パラメータの多項式（この例では線形）関数

に関連させる。他の実施形態では、関数

は、１とは異なる次数（例えば、２、３、４、５、またはそれを上回るもの）の多項式、非多項式関数、有理関数、または任意の他の適切な関数形式であり得る。

との間の関係は、式（６）において線形であるが、他の実装では、非線形関係が、利用されることができる。

２パラメータ空間の例では、マッピングθ（ｕ，ｖ，ｋ）およびφ（ｕ，ｖ，ｋ）は、以下の定義を有する。

故に、眼ポーズパラメータ

は、眼瞼形状決定から決定される眼瞼形状関数

を与えられると、マッピング行列Ｂによって推定されることができる。種々の実装では、マッピング行列Ｂは、個人または個人のグループの眼ポーズおよび眼瞼形状決定を含む訓練データから決定されることができる。例えば、訓練データは、個人の眼が異なる注視方向に移動中、ある期間にわたって、個人（または個人のグループ）に対する眼ポーズおよび眼瞼形状を観察ならびに決定することによって、取得されることができる。これらの観察中、眼のポーズおよび眼瞼の位置の両方が、記録される。そのようなデータ点は、例えば、それらの関数を特徴付けるパラメータの回帰によって、マッピングθ（ｕ，ｖ，ｋ）およびφ（ｕ，ｖ，ｋ）を決定するために使用されることができる。この例では、値ｂ_ｉｊは、利用可能な訓練データを適合させることによって（例えば、回帰または任意の他の統計的適合もしくは最適化技法によって）見出される係数である。いくつかの実装では、眼瞼形状と眼ポーズとの間の関係は、ニューラルネットワークによって学習されるマッピングによって決定されることができる。

いくつかの実装では、顔は、２つの眼の間の中心線に対して対称であるので、左眼および右眼の別個のモデルは、使用されない。代わりに、一方の眼（例えば、右眼）の画像が、鏡像に変換されるので、鏡像と他方の眼（例えば、左眼）の画像とは、類似するか、または区別不可能である。つまり、一方の眼（例えば、右眼）の鏡像と他方の眼（例えば、左眼）の画像とは、類似するか、または区別不可能であり得る。関数眼瞼形式は、単一の眼形状（例えば、左眼形状）に対して実施されることができ、それは、マッピングＢを決定することにおいて使用され得る眼または眼画像の数を効果的に倍にする。事実上、そのような実装は、左眼または右眼のいずれかに対して使用され得る一般的眼瞼形状モデルを決定する。例えば、左眼のための眼瞼形状モデルが与えられると、右眼のためのデータ（例えば、眼画像および眼瞼形状決定）が、反射されることができ、そして、左眼モデルが、適用され、そして、対応する眼瞼形状決定が、再び反射されて返される。

いくつかの実装では、ブロック４１６において眼画像から決定された関数眼瞼形式は、少なくとも部分的に、ブロック４２０において決定された眼ポーズに基づいて、再決定される。再決定された眼瞼関数形式は、（ブロック４１６からの）初期眼瞼関数と比較されることができ、実質的に類似する（例えば、パラメトリック表現における差異が、ある閾値を下回る）場合、ルーチン４００は、眼瞼関数形式決定が十分に正確であると決定することができる。したがって、ルーチン４００は、（随意に）眼瞼形状決定の一貫性を検証することができる。その後、ブロック４２４において、ルーチン４００は、終了する。

種々の実施形態では、ルーチン４００は、例えば、図６を参照して以下に説明されるようなヘッドマウントディスプレイシステムのハードウェアプロセッサによって実施され得る。他の実施形態では、コンピュータ実行可能命令を伴う遠隔コンピューティングデバイスが、ヘッドマウントディスプレイシステムに、ルーチン４００を実施させることができる。ルーチン４００のいくつかの実施形態では、要素は、上で説明されるもの以外の順で起こり得る。

（眼ポーズ推定の例）
図５は、上記の図４に説明される眼ポーズ推定ルーチンを使用する、眼ポーズ推定の例を図式的に例証する。例えば、図４は、眼ポーズが、眼瞼マッピングに基づいて推定されるときのブロック４２０における結果を図示する。図５に描写されるように、放物線適合線１２８ａが、上眼瞼１０４ａに適合することができ、放物線適合線１２８ｃが、下眼瞼１０４ｂに適合することができる。放物線適合線１２８ａおよび放物線適合線１２８ｂのうちの一方または両方が、眼ポーズを推定するために使用されることができる。例えば、放物線適合線１２８ａは、眼ポーズ１２４ａを推定するために使用されることができ、放物線適合線１２８ｂは、眼ポーズ１２４ｂを推定するために使用されることができる。別の例として、放物線適合線１２８ａおよび放物線適合線１２８ｂは、眼ポーズ１２４ａを推定するために使用されることができる。複数の眼ポーズが、１つの眼瞼形状からルーチン４００によって推定されることができる。例えば、２つの異なる回帰または統計的決定が、マッピング行列Ｂおよびマッピング行列Ｂ’を決定するために使用されることができる。マッピング行列Ｂは、眼ポーズ１２４ａを推定するために使用されることができ、マッピング行列Ｂ’は、眼ポーズ１２４ｂを推定するために使用されることができる。

（ビデオ処理に関する眼ポーズ推定の例示的用途）
眼ポーズ推定を使用するシステムおよび方法は、ビデオ画像の文脈内で対処されると、画像処理における古典的問題の多くが改善されることを可能にする。加えて、他の問題も、対処されることができる。例えば、眼ポーズ推定は、ビデオからの画像分類（例えば、眼の虹彩を識別すること）のために、ならびにビデオの１つ以上のフレーム内の特定の物体タイプ（例えば、虹彩の場所）の位置特定のために使用されることができる。別の例として、眼ポーズ推定は、眼追跡の用途（例えば、眼の向きまたは方向を決定すること）のためにビデオに適用されることができる。

いくつかのそのような用途では、以下にさらに議論されるであろうように、装着可能ディスプレイシステムが、装着可能ディスプレイシステムに動作可能に結合された（例えば、それに取り付けられた、またはその中に含まれた）画像捕捉デバイスによって取得されるビデオデータに対して眼ポーズ推定を実施するプロセッサを含むことができる。画像捕捉デバイスは、眼ポーズを推定することにおいて使用するために、装着者の眼または装着者の身体の他の構成要素（例えば、手または指）のビデオを取得し得る。

眼ポーズ推定の使用は、有利なこととして、（例えば、装着可能ディスプレイシステム内の画像捕捉デバイスから取得される）ビデオ内の眼ポーズの認識を可能にし、それは、バイオメトリック情報等のビデオ内の物体の改良された認識または分類を可能にし得る。例えば、従来のバイオメトリックテンプレートは、眼のセグメント化を決定することにおいて困難を有し得る。しかしながら、本明細書に説明される眼ポーズ推定アプローチは、眼ポーズが虹彩の場所および向きに関連するので、より良好な虹彩セグメント化を可能にすることができる。したがって、バイオメトリック情報を抽出する能力を提供することによって、図４に説明され、図５に図示されるような眼ポーズ推定は、眼ポーズをより良好に認識することができ、バイオメトリック抽出において使用されるより正確な虹彩セグメント化を提供することができる。本明細書に開示される眼ポーズ推定技法は、バイオメトリック抽出または識別（例えば、虹彩識別）のために、ヘッドマウントディスプレイ（例えば、図６のもの等）によって使用されることができる。

（眼瞼形状推定を使用する例示的装着可能ディスプレイシステム）
いくつかの実施形態では、ディスプレイシステムは、装着可能であり得、それは、有利なこととして、より没入型の仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または現実として知覚され得る様式で装着者に提示される。

理論によって限定されるわけではないが、人間の眼は、典型的には、奥行知覚を提供するために、有限数の奥行面を解釈し得ると考えられる。その結果、知覚される奥行の高度に真実味のあるシミュレーションが、これらの限定された数の奥行面の各々に対応する画像の異なる表現を眼に提供することによって達成され得る。例えば、導波管のスタックを含むディスプレイが、ユーザまたは視認者の眼の正面に位置付けられ、装着されるように構成され得る。導波管のスタックは、複数の導波管を使用し、画像投入デバイス（例えば、１つ以上の光ファイバを介して画像情報を送る多重化ディスプレイの個別のディスプレイまたは出力端）から、特定の導波管に関連付けられる奥行面に対応する特定の角度（および発散量）で視認者の眼に光を向かわせることによって、３次元知覚を眼／脳に提供するために利用され得る。

いくつかの実施形態では、導波管の２つのスタック（視認者の各眼のために１つ）が、異なる画像を各眼に提供するために利用され得る。一例として、拡張現実シーンは、ＡＲ技術の装着者が、人物、木、背景の建物、およびコンクリートプラットフォームを特徴とする現実世界の公園のような設定を見るようなものであり得る。これらのアイテムに加えて、ＡＲ技術の装着者はまた、自身が、現実世界プラットフォーム上に立つロボットの像およびマルハナバチの擬人化のように見える飛行する漫画的アバタキャラクタも、そのロボットの像およびマルハナバチが現実世界に存在していないにもかかわらず、「見ている」と知覚し得る。導波管のスタックは、入力画像に対応する明視野を生成するために使用され得、いくつかの実装では、装着可能ディスプレイは、装着可能明視野ディスプレイを備えている。明視野画像を提供するための装着可能ディスプレイデバイスおよび導波管スタックの例が、米国特許公開第２０１５／００１６７７７号（参照することによって、これが含むあらゆるものに関してその全体として本明細書に組み込まれる）に説明されている。

図６は、装着者６０４にＶＲ、ＡＲ、またはＭＲ体験を提示するために使用され得る、装着可能ディスプレイシステム６００の例を図示する。装着可能ディスプレイシステム６００は、眼ポーズ決定、眼瞼形状推定、眼瞼形状決定、または眼ポーズ推定を実施し、本明細書に説明される用途もしくは実施形態のいずれかを提供するようにプログラムされ得る。ディスプレイシステム６００は、ディスプレイ６０８と、そのディスプレイ６０８の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ６０８は、フレーム６１２に結合され得、フレームは、ディスプレイシステム装着者または視認者６０４によって装着可能であり、装着者６０４の眼の正面にディスプレイ６０８を位置付けるように構成される。ディスプレイ６０８は、明視野ディスプレイであり得る。いくつかの実施形態では、スピーカ６１６が、フレーム６１２に結合され、ユーザの外耳道に隣接して位置付けられ、いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する。ディスプレイ６０８は、有線導線または無線接続等によって、ローカルデータ処理モジュール６２４に動作可能に結合され（６２０）、ローカルデータ処理モジュールは、フレーム６１２に固定して取り付けられるか、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられるか、ヘッドホンに内蔵されるか、または別様にユーザ６０４に（例えば、バックパック式構成において、ベルト結合式構成において）取り外し可能に取り付けられる等、種々の構成において搭載され得る。

ローカル処理およびデータモジュール６２４は、ハードウェアプロセッサと、不揮発性メモリ、例えば、フラッシュメモリ等の非一過性デジタルメモリとを備え得、それらの両方は、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／もしくはジャイロ等の（例えば、フレーム６１２に動作可能に結合される、または別様に装着者６０４に取り付けられ得る）センサから捕捉されるデータ、ならびに／または、（ｂ）場合によってはそのような処理もしくは読み出し後のディスプレイ６０８への通過のために、遠隔処理モジュール６２８および／もしくは遠隔データリポジトリ６３２を使用して取得および／もしくは処理されるデータを含む。ローカル処理およびデータモジュール６２４は、有線または無線通信リンクを介する等、通信リンク６３６、６４０によって、遠隔処理モジュール６２８および遠隔データリポジトリ６３２に動作可能に結合され得、したがって、これらの遠隔モジュール６２８、６３２は、互いに動作可能に結合され、ローカル処理およびデータモジュール６２４へのリソースとして利用可能である。画像捕捉デバイスは、眼瞼形状推定プロシージャにおいて使用される眼画像を捕捉するために使用されることができる。

いくつかの実施形態では、遠隔処理モジュール６２８は、画像捕捉デバイスによって捕捉されたビデオ情報等のデータおよび／または画像情報を分析ならびに処理するように構成される１つ以上のプロセッサを備え得る。ビデオデータは、ローカル処理およびデータモジュール６２４内に、ならびに／または遠隔データリポジトリ６３２内にローカルに記憶され得る。いくつかの実施形態では、遠隔データリポジトリ６３２は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール６２４において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。

いくつかの実装では、ローカル処理およびデータモジュール６２４ならびに／または遠隔処理モジュール６２８は、本明細書に説明されるように、眼ポーズを決定し、眼瞼形状を推定する実施形態を実施するようにプログラムされる。例えば、ローカル処理およびデータモジュール６２４ならびに／または遠隔処理モジュール６２８は、図２を参照して説明されるプロセス２００の実施形態を実施するようにプログラムされることができる。ローカル処理およびデータモジュール６２４ならびに／または遠隔処理モジュール６２８は、バイオメトリック抽出において、例えば、装着者６０４の識別を識別もしくは認証するために、または、眼注視もしくはポーズ決定もしくは眼瞼形状推定において、例えば、各眼が見ている方向を決定するために、本明細書に開示される眼瞼形状推定技法を使用するようにプログラムされることができる。画像捕捉デバイスは、特定の用途のためのビデオ（例えば、眼追跡用途のための装着者の眼のビデオまたはジェスチャ識別用途のための装着者の手もしくは指のビデオ）を捕捉することができる。ビデオは、処理モジュール６２４、６２８のうちの一方または両方によって、眼瞼形状推定技法を使用して分析されることができる。この分析では、処理モジュール６２４、６２８は、眼瞼形状推定もしくは検出および／またはバイオメトリック抽出、眼ポーズ決定等を実施することができる。ある例として、ローカル処理およびデータモジュール６２４ならびに／または遠隔処理モジュール６２８は、遠隔データリポジトリ６３２内にルックアップテーブルとしてマッピング行列Ａを記憶するようにプログラムされることができる。いくつかの場合では、遠隔処理モジュールに眼瞼形状推定の少なくとも一部を（例えば、「クラウド」内に）オフロードすることは、算出の効率または速度を改良し得る。眼瞼形状推定のための種々のパラメータ（例えば、重み、バイアス項、ランダムサブセットサンプリング係数、フィルタ（例えば、Ｓｏｂｅｌ微分演算子）のサイズ等）が、データモジュール６２４および／または６３２内に記憶されることができる。

画像処理の例証的例として、処理モジュール６２４は、画像捕捉デバイスから受信された眼画像からバイオメトリック情報を抽出し、数値表現に定式化することができる。処理モジュール６２４は、眼画像から抽出されたバイオメトリック情報を画像処理結果に変換する伝達関数として図２に説明されるマッピング行列を表すために、数値計算を実施することもできる。順に、画像処理結果は、例えば、本明細書に説明されるような眼瞼形状推定方法におけるさらなる処理のために使用されることができる。画像処理結果および伝達関数の両方は、遠隔データリポジトリ６３２内に記憶されることができる。画像処理のこの例証的例は、処理モジュール６２４を用いて処理されているが、種々の実装では、処理モジュール６２８が、眼画像のそのような画像処理を実施することができる。加えて、処理モジュール６２４、６２８は、一緒に、眼画像のそのような画像処理を実施することができる。

ビデオ分析の結果（例えば、眼瞼の推定された形状）は、追加の動作または処理のために、処理モジュール６２４、６２８のうちの一方もしくは両方によって使用されることができる。例えば、種々の用途では、物体、ポーズ等のバイオメトリック識別、眼追跡、認識、または分類が、装着可能ディスプレイシステム６００によって使用され得る。例えば、装着者の眼のビデオが、眼瞼形状推定のために使用されることができ、それは、順に、ディスプレイ６０８を通した装着者６０４の注視の方向を決定するために、処理モジュール６２４、６２８によって使用されることができる。装着可能ディスプレイシステム６００の処理モジュール６２４、６２８は、本明細書に説明されるビデオまたは画像処理用途のいずれかを実施するように、眼ポーズ決定または眼瞼形状推定の１つ以上の実施形態とともにプログラムされることができる。

（追加の側面）
本明細書に説明される眼瞼形状推定技法は、眼の画像を処理するために、眼の（例えば、ビデオからの）画像に適用されることができる。

第１の側面では、眼瞼形状推定のための方法が、開示される。方法は、ハードウェアプロセッサの制御下で実施され、エッジ検出器を使用して眼の瞳孔境界を検出することと、瞳孔境界を使用して、眼の眼ポーズを決定することであって、眼ポーズの眼ポーズ座標系は、眼の静止向きに対する眼の方位角および天頂角を備え、眼ポーズ座標系と眼瞼形状座標系との間の関数関係は、マッピング行列を備え、眼瞼形状座標系は、眼の水平シフト、垂直シフト、および曲率を備えている、ことと、少なくとも部分的に、眼ポーズおよび関数関係に基づいて、眼の眼瞼形状を推定することと、眼瞼形状に基づいて、眼の眼瞼形状の放物曲線を適合させることとを含む。

第２の側面では、放物曲線を適合させることは、放物曲線の曲率が正であり、かつ眼瞼が眼の上眼瞼である場合、または、放物曲線の曲率が負であり、かつ眼瞼が下眼瞼である場合、眼瞼形状に基づいて、眼の眼瞼の新しい放物曲線を適合させることを含む、側面１に記載の方法。

第３の側面では、エッジ検出器を使用して眼の瞳孔境界を検出することに先立って、眼画像にモルフォロジカルフィルタを適用することをさらに含む、側面１−２のうちのいずれか１つに記載の方法。

第４の側面では、エッジ検出器は、Ｃａｎｎｙエッジ検出器を備えている、側面１−３のうちのいずれか１つに記載の方法。

第５の側面では、マッピング行列は、眼瞼形状および眼ポーズの回帰分析によって決定される、側面１−４のうちのいずれか１つに記載の方法。

第６の側面では、ハードウェアプロセッサが、開示される。ハードウェアプロセッサは、側面１−５のうちのいずれか１つに記載の方法を実施するようにプログラムされる。

第７の側面では、眼瞼形状推定のための装着可能ディスプレイシステムが、開示される。装着可能ディスプレイシステムは、第６の側面に記載のハードウェアプロセッサと、眼画像を捕捉し、眼画像をハードウェアプロセッサに伝送するように構成されている画像捕捉デバイスとを備えている。

第８の側面では、ハードウェアプロセッサはさらに、眼のバイオメトリック情報を決定するようにプログラムされる、側面７に記載の装着可能ディスプレイシステム。

第９の側面では、ヘッドマウントディスプレイシステムが、開示される。ヘッドマウントディスプレイシステムは、眼画像を捕捉するように構成されている画像捕捉デバイスと、眼瞼形状マッピングモデルを記憶するように構成されている非一過性メモリと、非一過性メモリと通信しているハードウェアプロセッサとを備え、ハードウェアプロセッサは、画像捕捉デバイスから眼画像を受信することと、眼画像内の眼の眼ポーズを決定することと、少なくとも部分的に、眼ポーズおよび眼瞼形状マッピングモデルに基づいて、眼の眼瞼形状を推定することとを行うようにプログラムされ、眼瞼形状マッピングモデルは、眼瞼形状および眼ポーズを関連させる。

第１０の側面では、眼ポーズは、眼の静止向きに対する眼の方位角および天頂角の測定値を備えている、側面９に記載のヘッドマウントディスプレイシステム。

第１１の側面では、眼瞼形状は、眼の水平シフト、垂直シフト、および曲率の決定を備えている、側面９−１０のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第１２の側面では、眼瞼形状マッピングモデルは、眼ポーズと眼瞼形状との間のパラメトリック関係を備えている、側面９−１１のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第１３の側面では、パラメトリック関係は、放物線または多項式を備えている、側面９−１２のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第１４の側面では、眼瞼形状マッピングモデルは、ニューラルネットワークを備えている、側面９−１３のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第１５の側面では、ハードウェアプロセッサはさらに、眼瞼形状を使用して、眼のバイオメトリックデータを決定するようにプログラムされる、側面９−１４のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第１６の側面では、バイオメトリックデータは、眼の虹彩コードを備えている、側面１５に記載のヘッドマウントディスプレイシステム。

第１７の側面では、眼画像から眼瞼形状を推定する方法が、開示される。方法は、ハードウェアプロセッサの制御下で実施され、眼画像内の眼の眼ポーズを決定することと、眼ポーズに基づいて、眼瞼形状を推定することとを含む。

第１８の側面では、眼ポーズは、眼の静止向きからの眼の少なくとも２つの角度偏差を備えている、側面１７に記載の方法。

第１９の側面では、眼瞼形状を推定することは、眼瞼形状マッピングモデルを眼ポーズに適用することを含む、側面１７−１８のうちのいずれか１つに記載の方法。

第２０の側面では、眼瞼形状マッピングモデルは、眼ポーズと眼瞼形状との間のパラメトリック関係を備えている、側面１９に記載の方法。

第２１の側面では、眼瞼形状は、多項式によって表される、側面２０に記載の方法。

第２２の側面では、眼瞼形状マッピングモデルは、ニューラルネットワークを備えている、側面２１に記載の方法。

第２３の側面では、眼瞼形状に基づいて、眼ポーズを再決定することと、決定された眼ポーズと再決定された眼ポーズとの一致を検証することとをさらに含む、側面１７−２２のうちのいずれか１つに記載の方法。

第２４の側面では、ハードウェアプロセッサが、開示される。ハードウェアプロセッサは、側面１７−２３のうちのいずれか１つに記載の方法を実施するようにプログラムされる。

第２５の側面では、眼瞼形状推定のための装着可能ディスプレイシステムが、開示される。装着可能ディスプレイシステムは、第２４の側面に記載のハードウェアプロセッサと、眼画像を捕捉し、眼画像をハードウェアプロセッサに伝送するように構成されている画像デバイスとを備えている。

第２６の側面では、眼瞼形状推定のための眼瞼形状マッピングモデルを訓練する方法が、開示される。方法は、ハードウェアプロセッサの制御下で、眼瞼形状を眼ポーズに関連付ける訓練データにアクセスすることと、訓練データに基づいて眼瞼形状マッピングモデルを訓練することと、訓練された眼瞼形状マッピングモデルを出力することとを含む。

第２７の側面では、複数の方向に向いている眼の複数の画像を備えている眼画像データを取得することと、訓練データを決定するために、眼画像データを分析することとをさらに含む、側面２６に記載の方法。

第２８の側面では、眼画像データを分析することは、右眼の水平に反射された鏡像および左眼の画像、または、左眼の水平に反射された鏡像および右眼の画像を備えている眼画像データを生成することを含む、側面２７に記載の方法。

第２９の側面では、訓練データに基づいて眼瞼形状マッピングモデルを訓練することは、統計モデルまたはニューラルネットワークを訓練データに適用することを含む、側面２６−２８のうちのいずれか１つに記載の方法。

第３０の側面では、眼画像を処理する方法が、開示される。方法は、ハードウェアプロセッサの制御下で実施され、エッジ検出器を使用して、眼の眼瞼と眼の虹彩との間の境界を検出することと、眼の眼瞼と眼の虹彩との間の境界を使用して、眼の眼瞼形状を決定することであって、眼瞼形状の眼瞼形状座標系は、眼の水平シフト、垂直シフト、および曲率を備え、眼瞼形状座標系と眼ポーズ形状座標系との間の関数関係は、マッピング行列を備え、眼ポーズ座標系は、眼の静止向きに対する眼の方位偏向角および天頂偏向角を備えている、ことと、少なくとも部分的に、眼瞼形状および関数関係に基づいて、眼の眼ポーズを推定することとを含む。

第３１の側面では、眼の眼瞼形状を決定することは、放物曲線を眼の眼瞼と眼の虹彩との間の境界に適合させることを含む、側面３０に記載の方法。

第３２の側面では、エッジ検出器を使用して、眼の眼瞼と眼の虹彩との間の境界を検出することに先立って、眼画像にモルフォロジカルフィルタを適用することをさらに含む、側面３０−３１のうちのいずれか１項に記載の方法。

第３３の側面では、エッジ検出器は、Ｃａｎｎｙエッジ検出器を備えている、側面３０−３２のうちのいずれか１つに記載の方法。

第３４の側面では、マッピング行列は、眼ポーズおよび眼瞼形状の回帰分析によって決定される、側面３０−３３のうちのいずれか１つに記載の方法。

第３５の側面では、ハードウェアプロセッサが、開示される。ハードウェアプロセッサは、側面３０−３４のうちのいずれか１つに記載の方法を実施するようにプログラムされる。

第３６の側面では、眼ポーズ推定のための装着可能ディスプレイシステムが、開示される。装着可能ディスプレイシステムは、第３５の側面に記載のハードウェアプロセッサと、眼画像を捕捉し、眼画像をハードウェアプロセッサに伝送するように構成されている画像デバイスとを備えている。

第３７の側面では、ハードウェアプロセッサはさらに、眼のバイオメトリック情報を決定するようにプログラムされる、側面３６に記載の装着可能ディスプレイシステム。

第３８の側面では、バイオメトリック情報は、眼の虹彩コードを備えている、側面３７に記載の装着可能ディスプレイシステム。

第３９の側面では、ヘッドマウントディスプレイシステムが、開示される。ヘッドマウントディスプレイシステムは、眼画像を捕捉するように構成されている画像捕捉デバイスと、眼ポーズマッピングモデルを記憶するように構成されている非一過性メモリと、非一過性メモリと通信しているハードウェアプロセッサとを備え、ハードウェアプロセッサは、画像捕捉デバイスから眼画像を受信することと、眼画像内の眼の眼瞼形状を決定することと、少なくとも部分的に、眼瞼形状および眼ポーズマッピングモデルに基づいて、眼の眼ポーズを推定することとを行うようにプログラムされ、眼瞼形状マッピングモデルは、眼瞼形状を眼ポーズに関連付ける。

第４０の側面では、眼ポーズは、眼の静止向きに対する眼の方位角および天頂角の測定値を備えている、側面３９に記載のヘッドマウントディスプレイシステム。

第４１の側面では、眼瞼形状は、眼の水平シフト、垂直シフト、および曲率の決定を備えている、側面３９−４０のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第４２の側面では、眼ポーズマッピングモデルは、眼瞼形状と眼ポーズとの間のパラメトリック関係を備えている、側面３９−４１のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第４３の側面では、パラメトリック関係は、放物線を備えている、側面３９−４２のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第４４の側面では、眼ポーズマッピングモデルは、ニューラルネットワークを備えている、側面３９−４３のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第４５の側面では、本明細書では、ハードウェアプロセッサはさらに、眼ポーズを使用して、眼のバイオメトリックデータを決定するようにプログラムされる、側面３９−４４のうちのいずれか１つに記載のヘッドマウントディスプレイシステム。

第４６の側面では、眼瞼形状から眼ポーズを推定する方法が、開示される。方法は、ハードウェアプロセッサの制御下で実施され、眼画像内の眼の眼瞼形状を決定することと、少なくとも部分的に、眼瞼形状に基づいて、眼ポーズを推定することとを含む。

第４７の側面では、眼ポーズを推定することは、眼ポーズマッピングモデルを眼瞼形状に適用することを含む、側面４６に記載の方法。

第４８の側面では、眼ポーズを推定することは、眼ポーズマッピングモデルを眼瞼形状に適用することを含む、側面４６−４７のうちのいずれか１つに記載の方法。

第４９の側面では、眼ポーズマッピングモデルは、眼瞼形状と眼ポーズとの間のパラメトリック関係を備えている、側面４８に記載の方法。

第５０の側面では、眼瞼形状は、多項式によって表される、側面４９に記載の方法。

第５１の側面では、眼瞼形状マッピングモデルは、ニューラルネットワークを備えている、側面５０に記載の方法。

第５２の側面では、眼ポーズに基づいて、眼瞼形状を再決定することと、決定された眼瞼形状と再決定された眼瞼形状との一致を検証することとをさらに含む、側面４６−５１のうちのいずれか１つに記載の方法。

第５３の側面では、ハードウェアプロセッサが、開示される。ハードウェアプロセッサは、側面４６−５２のうちのいずれか１つに記載の方法を実施するようにプログラムされる。

第５４の側面では、眼瞼形状を検出するための装着可能ディスプレイシステムが、開示される。装着可能ディスプレイシステムは、側面５３に記載のハードウェアプロセッサと、眼画像を捕捉し、眼画像をハードウェアプロセッサに伝送するように構成されている画像デバイスとを備えている。

第５５の側面では、眼瞼形状から眼ポーズを推定するために眼ポーズマッピングモデルを訓練する方法が、開示される。方法は、ハードウェアプロセッサの制御下で、眼瞼形状を眼ポーズに関連付ける訓練データにアクセスすることと、訓練データに基づいて眼ポーズマッピングモデルを訓練することと、訓練された眼瞼形状マッピングモデルを出力することとを含む。

第５６の側面では、複数の方向に向いている眼の複数の画像を備えている眼画像データを取得することと、訓練データを決定するために、眼画像データを分析することとをさらに含む、側面５５に記載の方法。

第５７の側面では、眼画像データを分析することは、右眼の水平に反射された鏡像および左眼の画像、または、左眼の水平に反射された鏡像および右眼の画像を備えている眼画像データを生成することを含む、側面５６に記載の方法。

第５８の側面では、訓練データ上の眼ポーズマッピングモデルを訓練することは、統計モデルまたはニューラルネットワークを訓練データに適用することを含む、側面５５−５７のうちのいずれか１つに記載の方法。

第５９の側面では、眼画像内の眼の眼ポーズからパラメータの組への眼瞼形状マッピングモデルを推定する方法が、開示される。方法は、眼の眼ポーズから眼のパラメータの組への眼瞼形状マッピングモデルを決定するために、眼画像の組Ｄを使用することを含み、パラメータの組は、眼の上眼瞼または眼の下眼瞼における眼瞼境界のための関数形式を規定する。

第６０の側面では、識別決定または検証のために、虹彩ピクセルを抽出するために関数形式を使用することをさらに含む、側面５９に記載の方法。

第６１の側面では、関数形式は、ピクセルマスクを備えている、側面５９−６０のうちのいずれか１つに記載の方法。

第６２の側面では、眼瞼検索アルゴリズムを初期化するために、関数形式を使用することをさらに含む、側面５９−６１のうちのいずれか１つに記載の方法。

第６３の側面では、精緻化された眼瞼境界決定の最終曲線におけるメンバーシップのための候補としての当て推量を除外するために、関数形式を使用することをさらに含む、側面５９−６２のうちのいずれか１つに記載の方法。

第６４の側面では、精緻化された眼瞼境界決定の最終曲線におけるメンバーシップのための候補としての当て推量を除外するために、関数形式を使用することは、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムまたはランダムサブセットベースの適合アルゴリズムにおける候補を除外するために、関数形式を使用することを含む、側面６３に記載の方法。

第６５の側面では、眼瞼形状マッピングモデルは、３つのパラメータを有する放物曲線を備えている、側面５９−６４のうちのいずれか１つに記載の方法。

第６６の側面では、眼瞼形状マッピングモデルは、３つの二次多項式を備え、３つの二次多項式の入力は、眼ポーズの２つの角度パラメータを備えている、側面５９−６５のうちのいずれか１つに記載の方法。

第６７の側面では、２つの角度パラメータは、５つのパラメータとして表される、側面６６に記載の方法。

第６８の側面では、眼瞼形状マッピングモデルは、１つ以上の隠れ層を備えているニューラルネットワークによって学習される、側面５９−６７のうちのいずれか１つに記載の方法。

第６９の側面では、１つ以上の隠れ層は、出力論理層を備えている、側面６８に記載の方法。

第７０の側面では、眼画像の組Ｄは、左眼および右眼の眼画像を備えている、側面５９−６９のうちのいずれか１つに記載の方法。

第７１の側面では、眼は、右眼であり、眼瞼形状マッピングモデルは、眼画像の水平鏡像を使用して決定される、側面７０に記載の方法。

（結論）
本明細書に説明される、ならびに／または添付される図に描写されるプロセス、方法、およびアルゴリズムの各々は、具体的かつ特定のコンピュータ命令を実行するように構成される１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、特定のコンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特定の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、特にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ読み取り可能な媒体上に記憶され得る。方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ読み取り可能な伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得るか、またはコンピュータ読み取り可能な伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列されること、追加されること、削除されること、修正されること、または別様に本明細書に提供される例証的例から変更されることができる。いくつかの実施形態では、追加のまたは異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定の順に限定されず、それに関連するブロック、ステップ、または状態は、適切な他の順で、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加されるか、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品において一緒に統合されるか、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法の各々は、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上で説明される種々の特徴およびプロセスは、互いに独立して使用され得るか、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴は、単一の実装における組み合わせにおいて実装されることもできる。逆に、単一の実装の文脈において説明される種々の特徴も、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上で説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴の群も、あらゆる実施形態に必要または必須ではない。

とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／もしくはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備えている」、「〜を含む」、「〜を有する」等は、同義語であり、非限定的方式で包括的に使用され、追加の要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の追加の動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上で説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (58)

1. 眼瞼形状推定のための方法であって、前記方法は、
   ハードウェアプロセッサの制御下で、
   エッジ検出器を使用して眼の瞳孔境界を検出することと、
   前記瞳孔境界を使用して前記眼の眼ポーズを決定することであって、
   前記眼ポーズの眼ポーズ座標系は、前記眼の静止向きに対する前記眼の方位角および天頂角を備え、
   前記眼ポーズ座標系と眼瞼形状座標系との間の関数関係は、マッピング行列を備え、
   前記眼瞼形状座標系は、前記眼の水平シフト、垂直シフト、および曲率を備えている、
   ことと、
   前記眼ポーズと前記関数関係とに少なくとも部分的に基づいて、前記眼の眼瞼形状を推定することと、
   前記眼瞼形状に基づいて、前記眼の眼瞼形状の放物曲線を適合させることと
   を含む、方法。
2. 前記放物曲線を適合させることは、前記放物曲線の曲率が正であり、かつ前記眼瞼が前記眼の上眼瞼である場合、または、前記放物曲線の曲率が負であり、かつ前記眼瞼が下眼瞼である場合、前記眼瞼形状に基づいて、前記眼の眼瞼の新しい放物曲線を適合させることを含む、請求項１に記載の方法。
3. 前記エッジ検出器を使用して前記眼の瞳孔境界を検出することに先立って、眼画像にモルフォロジカルフィルタを適用することをさらに含む、請求項１に記載の方法。
4. 前記エッジ検出器は、Ｃａｎｎｙエッジ検出器を備えている、請求項１に記載の方法。
5. 前記マッピング行列は、眼瞼形状および眼ポーズの回帰分析によって決定される、請求項１に記載の方法。
6. 請求項１−５のうちのいずれか１項に記載の方法を実施するようにプログラムされているハードウェアプロセッサ。
7. 眼瞼形状推定のための装着可能ディスプレイシステムであって、前記装着可能ディスプレイシステムは、
   請求項６に記載のハードウェアプロセッサと、
   前記眼画像を捕捉し、前記眼画像を前記ハードウェアプロセッサに伝送するように構成されている画像捕捉デバイスと
   を備えている、装着可能ディスプレイシステム。
8. 前記ハードウェアプロセッサは、前記眼のバイオメトリック情報を決定するようにさらにプログラムされている、請求項７に記載の装着可能ディスプレイシステム。
9. ヘッドマウントディスプレイシステムであって、前記ヘッドマウントディスプレイシステムは、
   眼画像を捕捉するように構成されている画像捕捉デバイスと、
   眼瞼形状マッピングモデルを記憶するように構成されている非一過性メモリと、
   前記非一過性メモリと通信しているハードウェアプロセッサと
   を備え、
   前記ハードウェアプロセッサは、
   前記画像捕捉デバイスから前記眼画像を受信することと、
   前記眼画像内の眼の眼ポーズを決定することと、
   前記眼ポーズと前記眼瞼形状マッピングモデルとに少なくとも部分的に基づいて、前記眼の眼瞼形状を推定することと
   を行うようにプログラムされており、
   前記眼瞼形状マッピングモデルは、前記眼瞼形状を前記眼ポーズに関連付ける、ヘッドマウントディスプレイシステム。
10. 前記眼ポーズは、前記眼の静止向きに対する前記眼の方位角および天頂角の測定値を備えている、請求項９に記載のヘッドマウントディスプレイシステム。
11. 前記眼瞼形状は、前記眼の水平シフト、垂直シフト、および曲率の決定を備えている、請求項９−１０のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。
12. 前記眼瞼形状マッピングモデルは、前記眼ポーズと前記眼瞼形状との間のパラメトリック関係を備えている、請求項９−１１のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。
13. 前記パラメトリック関係は、放物線または多項式を備えている、請求項１２に記載のヘッドマウントディスプレイシステム。
14. 前記眼瞼形状マッピングモデルは、ニューラルネットワークを備えている、請求項９−１１のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。
15. 前記ハードウェアプロセッサは、前記眼瞼形状を使用して前記眼のバイオメトリックデータを決定するようにさらにプログラムされている、請求項９−１４のうちのいずれか１項に記載のヘッドマウントディスプレイシステム。
16. 眼瞼形状推定のための方法であって、前記方法は、
    ハードウェアプロセッサの制御下で、
    眼画像内の眼の眼ポーズを決定することと、
    前記眼ポーズに基づいて、眼瞼形状を推定することと
    を含む、方法。
17. 前記眼ポーズは、前記眼の静止向きからの前記眼の少なくとも２つの角度偏差を備えている、請求項１６に記載の方法。
18. 前記眼瞼形状を推定することは、眼瞼形状マッピングモデルを前記眼ポーズに適用することを含む、請求項１６に記載の方法。
19. 前記眼瞼形状マッピングモデルは、前記眼ポーズと前記眼瞼形状との間のパラメトリック関係を備えている、請求項１８に記載の方法。
20. 前記眼瞼形状は、多項式によって表される、請求項１９に記載の方法。
21. 前記眼瞼形状マッピングモデルは、ニューラルネットワークを備えている、請求項２０に記載の方法。
22. 前記眼瞼形状に基づいて前記眼ポーズを再決定することと、
    前記決定された眼ポーズと前記再決定された眼ポーズとの一致を検証することと
    をさらに含む、請求項１６に記載の方法。
23. 請求項１６−２２のうちのいずれか１項に記載の方法を実施するようにプログラムされているハードウェアプロセッサ。
24. 眼瞼形状推定のための装着可能ディスプレイシステムであって、前記装着可能ディスプレイシステムは、
    請求項２３に記載のハードウェアプロセッサと、
    前記眼画像を捕捉し、前記眼画像を前記ハードウェアプロセッサに伝送するように構成されている画像デバイスと
    を備えている、装着可能ディスプレイシステム。
25. 眼瞼形状推定のための眼瞼形状マッピングモデルを訓練する方法であって、前記方法は、
    ハードウェアプロセッサの制御下で、
    眼瞼形状を眼ポーズに関連付ける訓練データにアクセスすることと、
    前記訓練データに基づいて眼瞼形状マッピングモデルを訓練することと、
    前記訓練された眼瞼形状マッピングモデルを出力することと
    含む、方法。
26. 複数の方向に向いている眼の複数の画像を備えている眼画像データを取得することと、
    前記訓練データを決定するために、前記眼画像データを分析することと、
    をさらに含む、請求項２５に記載の方法。
27. 前記眼画像データを分析することは、右眼の水平に反射された鏡像および左眼の画像、または、左眼の水平に反射された鏡像および右眼の画像を備えている眼画像データを生成することを含む、請求項２６に記載の方法。
28. 前記訓練データに基づいて前記眼瞼形状マッピングモデルを訓練することは、統計モデルまたはニューラルネットワークを前記訓練データに適用することを含む、請求項２６に記載の方法。
29. 眼ポーズ推定のための方法であって、前記方法は、
    ハードウェアプロセッサの制御下で、
    エッジ検出器を使用して、眼の眼瞼と前記眼の虹彩との間の境界を検出することと、
    前記眼の眼瞼と前記眼の虹彩との間の前記境界を使用して、前記眼の眼瞼形状を決定することであって、
    前記眼瞼形状の眼瞼形状座標系は、前記眼の水平シフト、垂直シフト、および曲率を備え、
    前記眼瞼形状座標系と眼ポーズ形状座標系との間の関数関係は、マッピング行列を備え、
    前記眼ポーズ座標系は、前記眼の静止向きに対する前記眼の方位偏向角および天頂偏向角を備えている
    ことと、
    前記眼瞼形状と前記関数関係とに少なくとも部分的に基づいて、前記眼の眼ポーズを推定することと
    を含む、方法。
30. 前記眼の眼瞼形状を決定することは、放物曲線を前記眼の眼瞼と前記眼の虹彩との間の前記境界に適合させることを含む、請求項２９に記載の方法。
31. 前記エッジ検出器を使用して前記眼の眼瞼と前記眼の虹彩との間の前記境界を検出することに先立って、眼画像にモルフォロジカルフィルタを適用することをさらに含む、請求項２９に記載の方法。
32. 前記エッジ検出器は、Ｃａｎｎｙエッジ検出器を備えている、請求項２９に記載の方法。
33. 前記マッピング行列は、眼ポーズおよび眼瞼形状の回帰分析によって決定される、請求項２９に記載の方法。
34. 請求項２９−３３のうちのいずれか１項に記載の方法を実施するようにプログラムされているハードウェアプロセッサ。
35. 眼ポーズ推定のための装着可能ディスプレイシステムであって、前記装着可能ディスプレイシステムは、
    請求項３４に記載のハードウェアプロセッサと、
    前記眼画像を捕捉し、前記眼画像を前記ハードウェアプロセッサに伝送するように構成されている画像デバイスと
    を備えている、装着可能ディスプレイシステム。
36. 前記ハードウェアプロセッサは、前記眼のバイオメトリック情報を決定するようにさらにプログラムされている、請求項３５に記載の装着可能ディスプレイシステム。
37. 前記バイオメトリック情報は、前記眼の虹彩コードを備えている、請求項３６に記載の装着可能ディスプレイシステム。
38. ヘッドマウントディスプレイシステムであって、前記ヘッドマウントディスプレイシステムは、
    眼画像を捕捉するように構成されている画像捕捉デバイスと、
    眼ポーズマッピングモデルを記憶するように構成されている非一過性メモリと、
    前記非一過性メモリと通信しているハードウェアプロセッサと
    を備え、
    前記ハードウェアプロセッサは、
    前記画像捕捉デバイスから前記眼画像を受信することと、
    前記眼画像内の眼の眼瞼形状を決定することと、
    前記眼瞼形状と前記眼ポーズマッピングモデルとに少なくとも部分的に基づいて、前記眼の眼ポーズを推定することと
    を行うようにプログラムされており、
    前記眼ポーズ形状マッピングモデルは、前記眼瞼形状を前記眼ポーズに関連付ける、ヘッドマウントディスプレイシステム。
39. 前記眼ポーズは、前記眼の静止向きに対する前記眼の方位角および天頂角の測定値を備えている、請求項３８に記載のヘッドマウントディスプレイシステム。
40. 前記眼瞼形状は、前記眼の水平シフト、垂直シフト、および曲率の決定を備えている、請求項３８に記載のヘッドマウントディスプレイシステム。
41. 前記眼ポーズマッピングモデルは、前記眼瞼形状と前記眼ポーズとの間のパラメトリック関係を備えている、請求項３８に記載のヘッドマウントディスプレイシステム。
42. 前記パラメトリック関係は、放物線を備えている、請求項３８に記載のヘッドマウントディスプレイシステム。
43. 前記眼ポーズマッピングモデルは、ニューラルネットワークを備えている、請求項３８に記載のヘッドマウントディスプレイシステム。
44. 前記ハードウェアプロセッサは、前記眼ポーズを使用して前記眼のバイオメトリックデータを決定するようにさらにプログラムされている、請求項３８に記載のヘッドマウントディスプレイシステム。
45. 前記バイオメトリックデータは、前記眼の虹彩コードを備えている、請求項４４に記載のヘッドマウントディスプレイシステム。
46. 眼ポーズ推定のための方法であって、前記方法は、
    ハードウェアプロセッサの制御下で、
    眼画像内の眼の眼瞼形状を決定することと、
    前記眼瞼形状に少なくとも部分的に基づいて、眼ポーズを推定することと
    を含む、方法。
47. 前記眼ポーズは、前記眼の静止向きからの前記眼の少なくとも２つの角度偏差を備えている、請求項４６に記載の方法。
48. 前記眼ポーズを推定することは、眼ポーズマッピングモデルを前記眼瞼形状に適用することを含む、請求項４６に記載の方法。
49. 前記眼ポーズマッピングモデルは、前記眼瞼形状と前記眼ポーズとの間のパラメトリック関係を備えている、請求項４８に記載の方法。
50. 前記眼瞼形状は、多項式によって表される、請求項４９に記載の方法。
51. 前記眼瞼形状マッピングモデルは、ニューラルネットワークを備えている、請求項５０に記載の方法。
52. 前記眼ポーズに基づいて前記眼瞼形状を再決定することと、
    前記決定された眼瞼形状と前記再決定された眼瞼形状との一致を検証することと
    をさらに含む、請求項４６に記載の方法。
53. 請求項４６−５２のうちのいずれか１項に記載の方法を実施するようにプログラムされているハードウェアプロセッサ。
54. 眼ポーズ推定のための装着可能ディスプレイシステムであって、前記装着可能ディスプレイシステムは、
    請求項５３に記載のハードウェアプロセッサと、
    前記眼画像を捕捉し、前記眼画像を前記ハードウェアプロセッサに伝送するように構成されている画像デバイスと
    を備えている、装着可能ディスプレイシステム。
55. 眼ポーズ推定のための眼ポーズマッピングモデルを訓練する方法であって、前記方法は、
    ハードウェアプロセッサの制御下で、
    眼瞼形状を眼ポーズに関連付ける訓練データにアクセスすることと、
    前記訓練データに基づいて眼ポーズマッピングモデルを訓練することと、
    前記訓練された眼ポーズマッピングモデルを出力することと
    を含む、方法。
56. 複数の方向に向いている眼の複数の画像を備えている眼画像データを取得することと、
    前記訓練データを決定するために、前記眼画像データを分析することと
    をさらに含む、請求項５５に記載の方法。
57. 前記眼画像データを分析することは、右眼の水平に反射された鏡像および左眼の画像、または、左眼の水平に反射された鏡像および右眼の画像を備えている眼画像データを生成することを含む、請求項５６に記載の方法。
58. 前記訓練データに基づいて眼ポーズマッピングモデルを訓練することは、統計モデルまたはニューラルネットワークを前記訓練データに適用することを含む、請求項５６−５７のうちのいずれか１項に記載の方法。

Images