JP2022039984A - 顔画像から眼の領域を見つけるシステム及び方法 - Google Patents

Abstract

【課題】１つ以上の化粧品をユーザに薦めるために効率的に眼の色を判定する際に、信頼性がより高く機能する方法、システム及びコンピュータプログラムを提供する。【解決手段】眼の中心点、眼の虹彩の半径及び眼の白色領域（強膜）における関心領域を決定するための眼のセグメンテーションシステムであって、撮像装置を使用して撮影されたユーザの顔画像を受信する少なくとも１つの入力インタフェースと、ユーザの顔画像を入力データとして受信し、顔画像のうちの眼の領域を分割するために顔画像を処理するデータ処理構成と、を備える。方法は、少なくとも１つの品質測定基準を使用して、左眼及び右眼のうちセグメンテーションに適した眼を決定し１００４、少なくとも１つの方向フィルタを使用して、眼の中心点を決定すること１００６と、少なくとも１つの方向フィルタを使用して、眼の中心点から眼の虹彩の半径を決定すること１００８と、を含む。【選択図】図１０

Description

本開示は、概して、顔画像処理のシステム及び方法に関し、より詳細には、眼の色及び肌の色の検出に関する。

背景

「眼のセグメンテーション」は、例えば撮影された顔画像の一部から得られた眼の画像を分割するプロセスである。この画像セグメンテーションでは、眼のデジタル画像を「画像オブジェクト」として知られる複数のセグメントに区分する。画像セグメンテーションの目的は、所与の画像の表現を、対応する同画像の、より有意で分析しやすい変換後バージョンに変換することである。画像セグメンテーションは通常、オブジェクトや、例えば線、曲線などの境界を画像内に配置するために使用される。

顔の画像のうち眼に対応する一部を分割することは、多くの用途に有益である。例えば、メイクアップ化粧品などの化粧品を薦める際に利用できる、多くの実行可能なソフトウェアアプリケーションが知られている。そのような実行可能なソフトウェアアプリケーションの一例では、ユーザが、例えば画像撮影の「セルフィモード」で自身の顔画像（例えば写真）を撮影し、その後、この画像を使用して、この画像に仮想的に重ねられるリップスティック、マスカラ、チーク、アイシャドウ、ファンデーションなど各種メイクアップ化粧品をテストすることができる。

一般的に、メイクアップ化粧品は、様々な色を有し、見た目におけるその最終的な効果は、主に所与のユーザの肌の明るさ、肌の色、及び肌の種類によって異なる。実行可能なソフトウェアアプリケーションを使用して化粧品の様々な選択肢をテストした後に、所与のユーザは、自身に合う化粧品を購入する意欲が湧く可能性がある。メイクアップ化粧品について眼の色を検出する既存の実行可能なソフトウェアアプリケーションは、画像内での眼の位置を十分な精度で検出しない。しかし、例えばユーザの肌の色を変えるために使用される化粧品を薦める際には、この精度が重要である。

ユーザの顔画像から眼や他の部分を検出するために利用可能なパターン認識アルゴリズムが知られている。ただし、画像内のユーザが眼鏡をかけているとき、画像内のユーザの眼が半開きであるとき、又は画像が低画質で照明条件が悪い中で撮影されたときには、これらのパターン認識アルゴリズムは信頼性に欠け、問題があることが分かっている。更に、画像内に存在する例えば画像センサノイズなどのランダムな確率的ノイズ、眼を部分的に覆う物理的障害物、眼鏡、化粧、照明条件が悪いことなどにより、画像内に人工的なエッジが生じるおそれがあり、これによりパターン認識アルゴリズムが不規則に機能してしまう場合がある。一定に分散されたノイズによって、パターン認識アルゴリズムは、顔画像内で眼を特定しようとする際に「間違った候補」を検出するおそれがある。同様に、既存の画像認識及び画像分析アルゴリズムは、顔画像が不完全なデータを含む場合、同画像内の眼の位置を正確に見つけることができない。

したがって、顔画像から眼に対応する同画像の一部を分割する際の既存の技術における上述の技術的問題に対処する必要がある。これらの問題は、ユーザが眼鏡をかけているとき、ユーザの眼が半開きであるとき、又は画像が低画質で照明条件が悪い中で撮影されたときに特に顕著である。

摘要

本開示は、ユーザが眼鏡をかけているとき、顔画像内のユーザの眼が半開きであるとき、又はユーザの顔画像が低画質であるときであっても、顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるための改良されたシステム及び方法を提供することを目指す。本開示は更に、ランダムノイズによって顔画像に生じた人工的なエッジの影響を低減し、これによって眼及びそのパーツの検出精度を向上させることを目指す。本開示は、超低画質画像を処理し、１つ以上の化粧品をユーザに薦めるために効率的に眼の色を判定する際に、信頼性がより高く機能するシステム及び方法を提供することを目指す。

第１の態様によると、顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるための方法が提供される。該方法は、
・ ユーザの顔画像を入力データとして受信するステップと、
・ 前記顔画像から第１の領域を検出するステップであって、前記第１の領域は前記ユーザの眼のグラフィック表現を含み、前記第１の領域はエッジに囲まれている、検出するステップと、
・ 少なくとも１つの方向フィルタを使用して前記第１の領域を走査することによって、前記眼のグラフィック表現における虹彩の中心点及び半径を決定するステップと、
を実施することにより命令を実行することを含む。

本開示に係る実施形態の効果は、顔画像内に確率的ノイズが存在する場合であっても、少なくとも１つの方向フィルタによって、虹彩の中心点及び半径がより確実に特定される点である。

第２の態様によると、顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるためのシステムが提供される。該システムは、命令を格納するように構成されたメモリと、
・ ユーザの顔画像を入力データとして受信することと、
・ 前記顔画像から第１の領域を検出することであって、前記第１の領域は前記ユーザの眼のグラフィック表現を含み、前記第１の領域はエッジに囲まれている、検出することと、
・ 少なくとも１つの方向フィルタを使用して前記第１の領域を走査することによって、前記眼のグラフィック表現における虹彩の中心点及び半径を決定することと、
を実施するために前記命令を実行するように構成されたデータ処理構成と、を備える。

第３の態様によると、第１の態様の方法を実施するように適合されたコンピュータ可読命令を含むコンピュータプログラムが提供される。

第１の態様の上述の方法は、単に「顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるための」セグメントではなく、本方法が、ユーザの顔画像を表す確率的なノイズのあるデータを受信し、この確率的なノイズのあるデータは撮像装置から取得され、更に本方法が、眼に対応する画像の一部を少なくとも１つの方向フィルタを使用して分割するべく、顔画像を自動的に処理するという点で技術的効果があることが理解されよう。眼に対応する画像の一部を自動的に分割する方法は、以下の少なくとも１つ、すなわち（ｉ）前記少なくとも１つの方向フィルタ、又は（ｉｉ）前記少なくとも１つの方向フィルタを使用して、前記顔画像内の左眼又は右眼のいずれを使用するのが適切であるかを自動的に判断することによって、眼に対応する顔画像の一部を分割する際の技術的問題に対処し（例えば、これを解決する）、その判断は、該眼の中心点及び該眼の虹彩の半径を決定するための少なくとも１つの品質測定基準に基づく。

更に、眼の画像を自動的に分割する眼のセグメンテーションシステムの少なくとも１つの要素を補うことは、任意で、該眼のセグメンテーションシステムのハードウェア再構成に、例えば、（ｉ）追加のプロセッサ容量に選択的に切り替えるか、（ｉｉ）より多くのデータメモリ容量に選択的に切り替えるか、（ｉｉｉ）異なる種類のグラフィックプロセッサチップに選択的に切り替えるかの少なくともいずれかを実施させる。このハードウェア再構成の状態は技術的な性質であり、例えば撮影された画像内に存在する上述の確率的ノイズに対処するといった技術的効果を提供するとみなされる。

本開示の実施形態は、特にユーザが眼鏡をかけているとき、顔画像内のユーザの眼が半開きであるとき、又は顔画像が低画質で照明条件が悪い中で撮影されたときに、顔画像から眼に対応する同画像の一部を分割する際の上述の技術的問題を実質的に取り除き、又はこれに少なくとも部分的に対処する。本開示の更なる態様、効果、特徴、及び目的は、添付の請求項と併せて解釈される例としての実施形態の詳細な説明及び図面から明らかとなる。本開示の特徴は、添付の請求項に定義された本開示の範囲から逸脱することなく、様々に組み合わされることが理解されよう。

上述の摘要と、例としての実施形態の以下の詳細な説明は、添付の図面と併せて読むことでその理解が促される。本開示を示す目的で、本開示の例示的な構成が図面に示される。ただし、本開示は本明細書に開示された特定の方法及び手段に限定されない。更に、当業者は図面が縮尺どおりでないことを理解するであろう。可能な場合、同様の要素は同様の符号で示される。本開示の実施形態を、例示のみを目的として、以下の図面を参照しながら説明する。
本開示の実施形態に係るシステムの概略図である。 本開示の実施形態に係るシステムの機能ブロック図である。 本開示の実施形態に係る撮像装置によって撮影された顔画像の一例を示す図である。 本開示の実施形態に係るシステムによって初期レベルの画像分析が実施された後の顔画像の一例を示す図である。 本開示の実施形態に係る強膜、虹彩、及び瞳孔を含む、顔画像のうちの眼の図である。 図６Ａ、図６Ｂは、本開示の実施形態に係るシステムが使用する少なくとも１つの方向フィルタの例である。 図７Ａ～図７Ｆは、基本的フィルタと、本開示の実施形態に係る半開きの眼を分割する際に使用される少なくとも１つの方向フィルタとの対比の例を示す図である。 本開示の実施形態に係るパラメータｘ、ｙ、及びｒに基づく少なくとも１つの方向フィルタをかけるためのプロセスの流れを示す図である。 本開示の実施形態に係るシステムの例示的な図である。 本開示の実施形態に係る顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるための方法のステップを示すフローチャートである。 本開示の実施形態に係るコンピューティングアーキテクチャの展開図である。

実施形態の詳細説明

以下の詳細な説明は、本開示の実施形態及び実施形態が実現され得る方法を例示する。本開示を実施する複数のモードが開示されているが、本開示を実現、実施する他の実施形態も可能であることが当業者には認識されよう。

第１の態様によると、顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるための方法が提供される。該方法は、
・ ユーザの顔画像を入力データとして受信するステップと、
・ 前記顔画像から第１の領域を検出するステップであって、前記第１の領域は前記ユーザの眼のグラフィック表現を含み、前記第１の領域はエッジに囲まれている、検出するステップと、
・ 少なくとも１つの方向フィルタを使用して前記第１の領域を走査することによって、前記眼のグラフィック表現における虹彩の中心点及び半径を決定するステップと、
を実施することにより命令を実行することを含む。

前記方法は、ユーザが眼鏡をかけているとき、顔画像内のユーザの眼が半開きであるとき、又はユーザの顔画像が低画質であるときであっても、撮影されたユーザの前記顔画像から、ユーザの眼に対応する前記顔画像の一部を分割することによって、セグメンテーション処理を使用する。更に、前記方法は、方向フィルタリングを使用して、ランダムノイズによって前記顔画像に生じた人工的なエッジの影響を低減し、これによって眼及びそのパーツに対応する顔画像の一部の検出の信頼性及び精度を向上させる。この方法は、超低画質画像が提示された場合も確実に機能し、ユーザに対して１つ以上の化粧品を薦めるために、眼の色をより正確かつ効率的に決定することができる。

任意で、前記方法は、前記眼のグラフィック表現の強膜領域を、前記エッジと円との間の領域であると決定することを含み、前記円は、決定された前記虹彩の中心点及び半径を有する。

任意で、前記方法は、コントラスト分析を実施し、前記虹彩の中心点及び半径を使用して、前記眼のグラフィック表現の瞳孔領域を決定することを更に含む。

任意で、前記方法は、虹彩領域を前記虹彩の中心点及び半径を有する円と瞳孔領域との間の領域であると決定することを更に含む。

任意で、前記方法は、画像処理技術を使用して前記眼のグラフィック表現の周囲の少なくとも１つのアイポイントを特定することによって、前記第１の領域の前記エッジを決定することを更に含む。

任意で、前記方法を使用する際に、前記虹彩の中心点を決定するステップは、前記少なくとも１つの方向フィルタを使用して、第１の方向に前記第１の領域のｘ値を走査することと、前記第１の領域のｙ値をインデキシングするために、前記少なくとも１つの方向フィルタを使用して、第２の方向に走査することと、を含む。更に任意で、前記方法を使用する際に、前記虹彩の中心点を決定するステップは、前記第１の方向及び前記第２の方向に、前記少なくとも１つの方向フィルタを使用して、前記第１の領域を走査することに基づいて、前記第１の領域の中心に関連する点を特定することを更に含む。

任意で、前記方法を使用する際に、前記虹彩の半径を決定するステップは、
・ 第１の経路を通って前記第１の領域に第１の方向フィルタをかけることによって、前記虹彩の第１の半径を決定することであって、前記第１の経路を通って前記第１の領域に前記第１の方向フィルタをかけることは、（ｉ）前記第１の方向フィルタを使用して、第１の方向に前記第１の領域のｘ値を走査すること、及び（ｉｉ）前記第１の領域のｙ値をインデキシングするために、前記第１の方向フィルタを使用して、第２の方向に前記第１の領域を走査することを含む、第１の半径を決定することと、
・ 前記第１の経路を通って前記第１の領域に第２の方向フィルタをかけることによって、前記虹彩の第２の半径を決定することであって、前記第１の経路を通って前記第１の領域に前記第２の方向フィルタをかけることは、（ｉ）前記第２の方向フィルタを使用して、前記第１の方向に前記第１の領域のｘ値を走査すること、及び（ｉｉ）前記第１の領域のｙ値をインデキシングするために、前記第２の方向フィルタを使用して、前記第２の方向に前記第１の領域を走査することを含む、第２の半径を決定することと、
・ 前記虹彩の中心点と相関関係のある前記虹彩の前記第１の半径又は前記第２の半径から、前記虹彩の半径を特定することと、
を含む。

任意で、前記方法は、
・ 前記眼のグラフィック表現について、前記少なくとも１つの方向フィルタを使用して、ラジアル走査を実施することと、
・ 前記瞳孔領域の境界線を決定するために、前記第１の領域内の輝度変化を特定することと、
・ 前記眼のグラフィック表現の前記特定された輝度変化と前記瞳孔領域の半径の確率分布とを組み合わせることと、
によって、前記瞳孔領域の半径を決定することを含む。

任意で、前記方法を使用する際に、強膜領域を決定することは、
・ 前記眼のグラフィック表現について第１の強膜基準及び第２の強膜基準を計算することと、
・ 前記第１の強膜基準及び前記第２の強膜基準を前記眼のグラフィック表現の前記第１の領域と組み合わせて閾値を計算することと、
・ 前記眼のグラフィック表現に前記閾値を適用して前記強膜領域を決定することと、
を含んでもよい。

前記閾値は、前記顔画像のデータから統計的に求められると好適である。技術的には、白色度が候補強膜領域から計算され、９０パーセンタイル値が該候補強膜領域から計算される。前記閾値は、パーセンタイル値を定数（例えば１.３であり、実験的に求められる）で割った数である。更に、「白色度」は、輝度から赤色量を差し引いた測定値である。

任意で、前記方法は、強膜領域の色値から規格化因子を計算することを含む。更に任意で、前記方法は、前記規格化因子を使用して、前記顔画像の色を規格化することを含む。更に任意で、前記方法は、虹彩領域の色値から虹彩色値を計算することを含む。更に任意で、前記方法は、瞳孔領域の色値から瞳孔色値を計算することを含む。

任意で、前記方法は、前記強膜領域の前記色値、虹彩色値、及び瞳孔色値から前記ユーザの眼の色を決定することを含む。強膜色は、推定された色の偏りを補正する場合にのみ使用される。したがって、強膜が赤く見える場合、強膜が白く見えるようになるまで赤みが低減される。瞳孔色は影響を及ぼさない。虹彩色は推定において主要な情報源となる。虹彩領域が最適な位置に対してマスキングされ、画像は、例えば、「Ｌａｂ色空間」に変換される。マスク領域からの平均Ｌａｂ色座標により、決定木に基づいて眼の色のクラスに分割された３つのパラメータが得られる。決定木は、入力値に作用して、値に応じてプロセスを枝分かれさせる複数のルールの論理的リストであることが理解されよう。

任意で、前記方法は、前記顔画像の色値を使用して、前記ユーザの肌の明るさを決定することを含む。

第２の態様によると、顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるためのシステムが提供される。該システムは、命令を格納するように構成されたメモリと、
・ ユーザの顔画像を入力データとして受信することと、
・ 前記顔画像から第１の領域を検出することであって、前記第１の領域は前記ユーザの眼のグラフィック表現を含み、前記第１の領域はエッジに囲まれている、検出することと、
・ 少なくとも１つの方向フィルタを使用して前記第１の領域を走査することによって、前記眼のグラフィック表現における虹彩の中心点及び半径を決定することと、
を実施するために前記命令を実行するように構成されたデータ処理構成と、を備える。

任意で、前記システムにおいて、前記データ処理構成は、前記眼のグラフィック表現の強膜領域を、前記エッジと円との間の領域であると決定するために前記命令を実行するように更に構成され、前記円は、決定された前記虹彩の中心点及び半径を有する。

任意で、前記システムにおいて、前記データ処理構成は、コントラスト分析を実施し、前記虹彩の中心点及び半径を使用して、前記眼のグラフィック表現の瞳孔領域を決定するように更に構成されている。

任意で、前記システムにおいて、前記データ処理構成は、虹彩領域を前記虹彩の中心点及び半径を有する円と瞳孔領域との間の領域であると決定するように構成されている。

第３の態様によると、本開示の実施形態に係る方法を実施するように適合されたコンピュータ可読命令を含むコンピュータプログラムが提供される。

実施形態によると、前記システムは、ネットワークを介して前記少なくとも１つの入力インタフェースに通信可能に接続された撮像装置を使用して実装される。このネットワークは、有線ネットワーク、無線ネットワーク、又は有線ネットワークと無線ネットワークとの組合せとして実装される。前記ネットワークは、インターネット（登録商標）を使用して実装されると好適である。前記撮像装置は、カメラ、携帯電話、ｅリーダ、携帯情報端末（Personal Digital Assistant：ＰＤＡ）、タブレット、コンピュータ、電子ノートブック、又はスマートフォンであると好適である。例えば、前記システムは、タブレットコンピュータ、デスクトップコンピュータ、パーソナルコンピュータ、又は電子ノートブックコンピュータを使用して実装される。前記少なくとも１つの入力インタフェースは、前記データ処理構成に通信可能に接続されると好適である。

前記眼のセグメンテーションシステムは、前記データ処理構成に接続された少なくとも１つのデータ記憶媒体を備え、この少なくとも１つのデータ記憶媒体は、例えばデータメモリである該媒体内に顔画像を格納する。

前記システムは、撮像装置と通信可能にネットワークを介して接続されたサーバを用いると好適である。動作時には、前記サーバは、前記撮像装置から顔画像のデータを受信し、顔画像のデータを加工して、分析用に顔画像を眼に対応する同画像の一部に分割する。前記サーバは、例えば、タブレットコンピュータ、デスクトップコンピュータ、パーソナルコンピュータ、電子ノートブックコンピュータ、又はクラウドサーバであってもよい。前記サーバは、眼に対応する撮影された顔画像の一部を分割する前記データ処理構成の機能を実施する。

本システムは、ポータブルコンピューティングデバイスとして実装されると好適である。該ポータブルコンピューティングデバイスは、ユーザの顔画像を撮影するためのカメラを備える。前記ポータブルコンピューティングデバイスは、任意でユーザが自身の顔の顔画像を撮影することを可能にする。任意で、前記ポータブルコンピューティングデバイスは、カメラを備えるスマートフォン、ウェブパッド、又はラップトップである。前記ポータブルコンピューティングデバイスは、例えば、通信ネットワーク経由で顔画像を前記サーバに送信し、前記サーバは、眼に対応する顔画像の一部を分割するように顔画像のデータを処理するように構成されている。あるいは、前記ポータブルコンピューティングデバイスは、ローカルで必要なデータ処理の全部又は一部を実行するように構成されている。

上述のように、ユーザの顔画像は任意の撮像装置によって撮影される。あるいは、この顔画像は、例えば履歴写真画像から得られたユーザの顔写真を含む。前記システムは、画像分析用に任意の可能なフォーマットの顔画像データを加工するように構成されていると好適である。顔画像データには、左眼及び右眼に対応するデータの一部を含み、左眼及び右眼はそれぞれ、白目の領域（強膜）、虹彩、及び瞳孔を含む。虹彩の色は人によって異なり、例えば、青、緑、茶色などであり得る。瞳孔の色は通常、黒色である。顔画像データの可能なフォーマットとしては、任意で、ＪＰＥＧ（すなわちＪＰＧ）フォーマット、ＰＮＧフォーマット、ＧＩＦフォーマット、ＴＩＦＦフォーマット、ＰＳＤフォーマット、ＰＤＦフォーマット、ＥＰＳフォーマット、又はＡＩに好適なフォーマットが挙げられる。

動作時には、前記システムは、顔画像データのデータ処理を実施して、左眼及び右眼の周囲の複数の眼のランドマークを決定する。このデータ処理では、画像分析アルゴリズムが用いられる。データ処理の効率向上のために、複数の眼のランドマークは、左眼及び右眼の周囲の横長領域として画定される。

前記システムが顔画像データを処理する際に、眼の中心点（ｘ１，ｙ１）が前記少なくとも１つの方向フィルタを使用して求められる。前記方向フィルタは、顔画像の第１の導関数を算出するために使用されるエッジ検出部であると好適である。第１の導関数（すなわち傾き）は、隣接する画素値間に大きな変化が発生するときに最も顕著となる。前記方向フィルタは、任意で、所与の顔画像内の任意の方向についてフィルタリングするように設計されている。ｘ及びｙ方向フィルタは一般的に、画像についてそれぞれの方向において導関数を算出するために使用される。上述のように、眼の中心点とは瞳孔の中心点である。上述のように、瞳孔の中心点は、前記少なくとも１つの方向フィルタを使用して求められる。

本システムは、予め定められた確率分布を用いて眼の中心点及び瞳孔の半径を決定するベイズ分析方法を使用すると好適である。ベイズ分析方法では、眼の中心点は、眼の領域の中心までの距離が境界線までの距離よりも短い、数学的に表される点を特定することによって求められる。前記虹彩の半径は、予め定められた確率分布と、前記虹彩の半径の測定値とを組み合わせて、事後確率分布を得ることによって求められると好適である。この事後確率分布から、虹彩の最大半径値が虹彩の半径として求められる。任意で、瞳孔の半径は、画像輝度変化のラジアル走査と予め定められた確率分布との組合せとして求められる。任意で、空間的に急激な画像輝度の変化が瞳孔境界線を示す。

本システムは、顔画像から瞳孔を抽出することによって、少なくとも１つの眼のランドマークによって画定される横長領域を用いて、虹彩の半径から強膜領域を画定する。任意で、その領域の平均値を用いて画定された強膜領域を分析することによって、強膜色が測定される。任意で、強膜の基準は、（ａ）顔画像の総輝度に対して明るい、又は（ｂ）低色調の色（「無色」、すなわち、顔画像の集約色に対して比較的目立たない色）として定義される。任意で、強膜基準は、横長領域について求められ、その後、強膜基準から統計的に推定された閾値が「最適な強膜領域」を選択するために適用される。

前記システムの前記データ処理構成は、画像処理技術を使用して、左眼及び右眼の周囲の複数の眼のランドマークを決定すると好適である。この画像処理技術は、例えば上述のようにデジタル画像処理技術であると好適である。

任意で、複数の眼のランドマークは、顔のランドマークの検出技術を使用して検出される。この顔のランドマーク検出技術は、顔画像内の正面を向く人の顔を特定し、ユーザの顔における複数の眼のランドマークによってその姿勢を推定するために、機械学習モデルを使用して実装される傾向がある。機械学習モデルは、教師データとなる一連の顔画像に眼のセグメンテーションを実施する方法についての経験から学習できる再帰型ニューラルネットワークとして実装されると好適である。任意で、顔のランドマークの検出技術は、線形分類器アルゴリズムと組み合わせた方向勾配ヒストグラム（Histogram of Ordered Gradients：ＨＯＧ）の特徴、画像ピラミッド技術、又はスライディングウィンドウ検出技術のうちの少なくとも１つを含む。顔のランドマークの検出技術は、任意で、まぶた及び眼角上の点を含むユーザの顔画像上の複数の眼のランドマークの位置を予測する。顔のランドマークの検出技術は、上述のように、機械学習モデルを使用して、顔画像上の複数の関心点を検出するように適用されると好適である。一実施形態では、顔画像から眼の領域を抽出するために、眉毛に近い複数の眼のランドマークが使用される。

前記データ処理構成は、眼の中心点及び虹彩の半径を決定するために、眼の領域にわたって走査するように少なくとも２方向別々に少なくとも１つの方向フィルタをかけるように構成されると好適である。任意で、これらの少なくとも２つの方向は、互いに直交する。少なくとも１つの方向フィルタは、ｘ及びｙ方向別々に眼の領域を走査する。任意で、少なくとも１つの方向フィルタは、完全に走査され得る１つ以上のパラメータを有する。１つ以上のパラメータは、任意で、ｘ軸、ｙ軸、虹彩の半径（ｒ）の少なくとも１つを含む。ｘ軸、ｙ軸、及び虹彩の半径（ｒ）は、すべて最小値又は最大値を有すると好適である。少なくとも１つの方向フィルタは、１つ以上のパラメータのすべての組合せのループに沿って走査すると好適である。

少なくとも１つの品質測定基準は、セグメンテーションに適した眼を決定するために、少なくとも第１の測定基準及び第２の測定基準の組合せに基づいて調節されると好適である。ここで、第１の測定基準及び第２の測定基準は、眼の開き度合い、眼の領域の画像輝度、又は眼の領域画像の露出過多から選択される。

眼の領域は、眼とその周囲を含む、眼を空間的に取り囲む顔画像の一部と定義されると好適である。顔画像に過度に当てられた照明（最大輝度に近い飽和画素）によって、画像の露出過多が発生し得るという問題がある。前記システムの動作時には、（ｉ）左眼の方が右眼よりも大きく開かれている場合、左眼がセグメンテーションに適しているとして選択され、（ｉｉ）右眼の領域が左眼よりも明るい（すなわち、左眼に影が差している）場合、右眼がセグメンテーションに適しているとして選択され、（ｉｉｉ）右眼の領域が左眼と比べて画像の露出過多を生じている場合、左眼がセグメンテーションに適しているとして選択される、というように選択が行われる。

複数の眼のランドマークは、左眼及び右眼それぞれの周囲の横長領域として画定されると好適である。ここで、この横長領域は、左眼及び右眼それぞれの周囲の約４から８個の眼のランドマークを含む。任意で、左眼及び右眼の周囲の眼のランドマークの数は、例えば６個である。任意で、左眼及び右眼の周囲の眼のランドマークの数は、４から８の範囲にある。

前記システムの動作時には、画像分析によって、眼のセグメンテーションに適した眼（すなわち、左眼又は右眼）を顔画像から決定する。例えば、右眼が完全に開き、左眼が半開きの場合、左眼によって画定される第１の横長領域は、右眼によって画定される第２の横長領域よりも小さい。この場合、右眼によって画定される第２の横長領域が眼のセグメンテーション用に選択される。右眼によって画定される第２の横長領域に基づいて、右眼が眼のセグメンテーションに適した眼として選択される。顔画像において虹彩がまぶたに遮られている場合、横長領域内にある円形の虹彩領域の一部が眼のセグメンテーション用に選択される。

前記システムの動作時には、前記データ処理構成は、
（ａ）複数の異なる方向に、少なくとも１つの方向フィルタを使用して、眼の領域を走査することによって、眼の中心点又は虹彩もしくは瞳孔の半径のうちの少なくとも１つの値の範囲を決定し、
（ｂ）少なくとも１つの方向フィルタの角度又は形状に基づいて、眼の中心点又は虹彩もしくは瞳孔の半径のうちの少なくとも１つの値を決定し、
（ｃ）眼の中心点又は虹彩もしくは瞳孔の半径のうちの少なくとも１つの値の範囲を分析することによって、眼の中心点又は虹彩もしくは瞳孔の半径のうちの少なくとも１つに適した値を決定する。

任意で、中心点（例えばｘ軸、ｙ軸）の値の範囲、及び虹彩の半径（ｒ）の値の範囲の少なくとも一方は、少なくとも１つの方向フィルタを使用して決定される。ｘ軸についての範囲はｘ１、ｘ２、ｘ３、・・・ｘｎを含み、ｙ軸についての範囲はｙ１、ｙ２、ｙ３、・・・ｙｎを含み、虹彩の半径（ｒ）範囲はｒ１、ｒ２、ｒ３、・・・ｒｎを含む。少なくとも１つの方向フィルタの角度又は形状は、この方向フィルタのパラメータの１つとして含まれると好適である。

前記システムにおいて方向フィルタリングを使用する場合、少なくとも１つの方向フィルタは、予め定められたパラメータ又は少なくとも１つの方向フィルタを構成するために使用される設定に基づいて、虹彩の半径（ｒ）を計算するために、例えば、ｘ軸、ｙ軸の値の範囲を走査し始める。少なくとも１つの方向フィルタのパラメータは、停止条件が満たされるまで、ルール（例えば更新されたルール）に則って調整されると好適である。（ｉ）ｘ軸、ｙ軸の値、及び（ｉｉ）虹彩の半径（ｒ）の少なくとも１つを含む最適な組合せは、少なくとも１つの方向フィルタによる走査から特定される。この最適な組合せは、例えば、最適な相関関係、最適なスコア、又は最適な確率である。

前記システムの動作時には、前記データ処理構成は、顔画像データから瞳孔を抽出することによって、少なくとも１つの眼のランドマークによって画定される横長領域を使用して強膜領域を決定する。ここで、前記データ処理構成は、横長領域について少なくとも１つの強膜基準を計算して組み合わせることによって、また、該少なくとも１つの強膜基準から統計的に推定された閾値を適用することによって、強膜領域を決定する。一実施形態では、強膜色は、その領域の平均値を使用して画定された強膜領域を分析することによって測定されると好適である。一実施形態では、強膜の基準は、（ａ）明るい、又は（ｂ）低い色内容（「無色」、例えば顔画像の他の部分に対して色コントラストの低いグレー）を有すると定義される。閾値は、顔画像データの集積された内容に基づいて、動的に変化すると好適である。ここで、この閾値は、一連の顔画像を処理する際に適応的に変化すると好適である。言い換えると、前記システムにおいて、前記閾値は一定でないことが好適である。例えば、本システムは、強膜領域を決定するために、中央値推定器を使用する。あるいは、本システムは、強膜領域を決定するために、平均推定器を使用する。

顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるためのシステムは、所定の経路を通って眼の領域にわたって第１の方向フィルタをスライドさせることによって、虹彩の第１の半径を決定し、所定の経路を通って眼の領域にわたって第２の方向フィルタをスライドさせることによって、虹彩の第２の半径を決定し、眼の中心点と相関関係のある虹彩の第１の半径又は第２の半径から虹彩の半径を決定することによって、虹彩の半径を決定するように構成されると好適である。

第１の方向フィルタは、円形の方向フィルタであると好適である。第１の方向フィルタは、虹彩の第１の半径（ｒ１）を決定する。第１の方向フィルタは、虹彩の第１の半径を決定するために、第１の所定の方法で眼の領域にわたって走査又はスライドされる。この第１の所定の方法は、例えば、体系的にすべてのｘ値をスライドさせ、次にｙ値をインデキシングすることなどを含む。顔画像内の走査領域は、複数の眼のランドマークを使用して決定されると好適である。

前記システムの動作時には、第２の方向フィルタは、虹彩の第２の半径（ｒ２）を決定すると好適である。第２の方向フィルタは、第１の所定の方法で眼の領域にわたって走査又はスライドされる。任意で、第２の方向フィルタは、第１の所定の方法とは異なる第２の所定の方法で眼の領域にわたって走査又はスライドされる。任意で、虹彩の第２の半径（ｒ２）は、虹彩の第１の半径（ｒ１）とは異なる。任意で、虹彩の半径の範囲は、円形の方向フィルタを使用して上述と同様に決定され、次に、虹彩の円形の形状との最適な相関関係によって眼の中心点（ｘ１，ｙ１）の測定値が提供される。

任意で、上述の少なくとも１つの方向フィルタは、楕円形状の領域のデータを処理する。この場合、楕円形状の少なくとも１つの方向フィルタは、虹彩の半径を決定するための所定の方法において、眼の領域にわたってスライドされる。

楕円形状の少なくとも１つの方向フィルタは、任意で、一方向における直径が別の方向における直径と異なる。楕円形状の少なくとも１つの方向フィルタは、例えば、円形方向フィルタに使用されるのと同じ所定の方法でスライドされる。楕円形状の少なくとも１つの方向フィルタは、任意で、異なるスライドの動きをするように回転され、値の最適な相関関係によって、眼の中心点（ｘ１，ｙ１）が求められる。楕円形状の方向フィルタの場合、楕円形状方向フィルタの半径及び回転角が虹彩又は瞳孔の半径の初期値として使用される。しかしながら、瞳孔の半径は顔画像が撮影される際の照明条件に応じて変化し得ることが理解されよう。瞳孔の半径及び虹彩の半径から、虹彩を画定する領域が決定され、これが虹彩の色を効率的に決定するために使用される。

任意で、前記システムは、動作時に、ベイズ分析を行うように構成される。その目的は、眼の中心点及び虹彩の半径を決定するために事前確率分布を確定することと、眼の中心点を決定するために眼の領域の中心に近い点を特定することと、事後確率分布を得るために事前確率分布と虹彩の半径の測定値とを組み合わせることと、事後確率分布から最大値を有する虹彩の半径を特定することによって虹彩の半径を決定することである。

前記システムの動作時には、虹彩の半径は、前記少なくとも１つの方向フィルタを使用した画像輝度変化のラジアル走査と、事前確率分布との組合せとして決定されると好適である。

前記システムは、眼の中心点、眼の虹彩の半径、及び眼の白色領域からの眼の関心領域を決定するために、眼に対応する顔画像データの一部を分割する方法を使用すると好適である。この方法は、動作時には、撮像装置からユーザの顔画像を受信することと、少なくとも１つの品質測定基準を使用して、左眼及び右眼のうちセグメンテーションに適した眼を決定することと、少なくとも１つの方向フィルタを使用して、眼の中心点を決定することと、前記少なくとも１つの方向フィルタを使用して、眼の中心点からの眼の虹彩の半径を決定することと、眼の中心点及び虹彩の半径を使用して、コントラスト分析によって眼の瞳孔を決定することと、眼の虹彩を取り除くことによって眼の白色領域を決定することと、白色正規化を使用して白色領域を正規化することによって、白色領域から関心領域を決定することと、を含む。

前記方法は、画像処理技術を使用して、左眼及び右眼の周囲の複数の眼のランドマークを決定することを含むと好適である。前記方法は、眼の中心点及び虹彩の半径を決定するために、眼の領域にわたって走査するように少なくとも２方向別々に少なくとも１つの方向フィルタをかけることを含むと好適である。

本システム及び本システムのデータ処理ハードウェア内で実行される関連するコンピュータプログラム製品の優位性は、上記に開示したとおりであり、１つ以上の眼に対応する顔画像データの一部を分析する際に、顔画像における確率的アーチファクトの影響を小さくする。このような確率的アーチファクトをフィルタリングすることにより、システムが効果的にノイズ低減を行うことができる。信号におけるノイズ低減は、従来、技術的効果と考えられている。

本開示の実施形態は、ユーザが眼鏡を使用しているとき、顔画像内のユーザの眼が半開きであるとき、又はユーザの顔画像が低（「低」には、例えば低空間解像度、低色コントラスト、ぼやけた顔画像などが挙げられる）画質であるときであっても、撮影されたユーザの顔画像データから眼に対応するデータの一部を分割することによって、セグメンテーション処理を自動化する。本開示の実施形態は、任意で、方向フィルタリングを使用して、ランダムノイズによって顔画像に生じた人工的なエッジの影響を低減し、これによって眼及びそのパーツの検出の精度をより向上させる。本開示の実施形態は、任意で、完全なデータとの間違った一致を減らす。本開示の実施形態は、任意で、正確な眼の中心点及び虹彩の半径を決定するために、複数の互いに異なる方向に沿って、顔画像データを走査する。本開示の実施形態は、任意で、ユーザに１つ以上の化粧品を薦めるためにより正確かつ効率的に眼の色を決定する。

図面の詳細な説明
図１は、本開示の実施形態に係るシステム１００の概略図である。システム１００は、データ処理構成１０４及び少なくとも１つの入力インタフェース１０６を含む眼のセグメンテーションシステム１０２を備える。動作時には、少なくとも１つの入力インタフェース１０６は、撮像装置１０８からユーザの顔画像を受信し、対応する顔画像データを生成する。データ処理構成１０４は、動作時には、ユーザの顔画像データを入力データとして受信し、眼に対応する入力データの一部を分割して、眼の中心点、眼の虹彩の半径、及び眼の白色領域（すなわち強膜）における関心領域を決定するように入力データを処理する。一実施形態では、少なくとも１つの入力インタフェース１０６は、データ処理構成１０４に通信可能に接続される。一実施形態では、少なくとも１つの入力インタフェース１０６は、ネットワークを介してデータ処理構成１０４に通信可能に接続される。これらの部分の機能は上述のとおりである。

次に図２を参照すると、本開示の実施形態に係るシステムを示す機能的なブロック図が示されている。システムの機能的なブロック図は、少なくとも１つの入力インタフェース２００及びデータ処理構成２０２を含む。これらの部分の機能は上述のとおりである。データ処理構成２０２は、顔画像受信モジュール２０４と、好適眼決定モジュール２０６と、眼中心点決定モジュール２０８と、虹彩半径決定モジュール２１０と、瞳孔決定モジュール２１２と、強膜決定モジュール２１４と、関心領域決定モジュール２１６とを含む。これらのモジュールは、ハードウェアユニット（例えばＦＰＧＡを使用して実装される）において、コンピューティングハードウェア上で実行可能なソフトウェアとして、又はこれらの組合せとして実装されると好適である。顔画像受信モジュール２０４は、ユーザの顔画像を入力データとして受信し、この入力データを処理して、眼に対応する入力データの一部を分割する。好適眼決定モジュール２０６は、少なくとも１つの品質測定基準を使用して、左眼及び右眼のうちセグメンテーションに適した眼を決定する。眼中心点決定モジュール２０８は、少なくとも１つの方向フィルタを使用して、眼の中心点を決定する。虹彩半径決定モジュール２１０は、少なくとも１つの方向フィルタを使用して、眼の中心点から眼の虹彩の半径を決定する。瞳孔決定モジュール２１２は、コントラスト分析を使用して、眼の中心点及び虹彩の半径から眼の瞳孔を決定する。強膜決定モジュール２１４は、眼の虹彩を取り除くことによって、白色領域を決定する。関心領域決定モジュール２１６は、白色正規化を使用して白色領域を正規化することによって、白色領域から関心領域を決定する。

図３には、本開示の実施形態に係る撮像装置によって撮影された顔画像の一例３００の図が示されている。顔画像３００は、左眼３０４及び右眼３０６のグラフィック表現を含む顔３０２のグラフィック表現を含み、それぞれの眼は、強膜３０８、虹彩３１０、及び瞳孔３１２を含む。

図４には、本開示の実施形態に係るシステムによって初期レベルの画像分析が実施された後の顔画像の一例４００の図が示されている。顔画像４００は、顔４０２の写真を含む。顔４０２は、左眼４０４及び右眼４０６を含む。左眼４０４及び右眼４０６は、複数の眼のランドマーク４０８Ａ～４０８Ｎを含む。複数の眼のランドマーク４０８Ａ～４０８Ｎは、左眼４０４の周囲の第１の横長領域４１０及び右眼４０６の周囲の第２の横長領域４１２として画定される。一実施形態では、左眼４０４及び右眼４０６の周囲の複数の眼のランドマーク４０８Ａ～４０８Ｎは、初期レベル画像分析を使用して決定される。一実施形態では、左眼４０４及び右眼４０６の周囲の眼のランドマーク４０８Ａ～４０８Ｎの数は、６個である。別の実施形態では、左眼４０４及び右眼４０６の周囲の眼のランドマーク４０８Ａ～４０８Ｎの数は、４個又は８個である。一実施形態では、初期レベル画像分析によって、眼のセグメンテーションにより適した眼が決定される。一実施形態では、例えば、右眼４０６が完全に開き、左眼４０４が半開きの場合、左眼４０４によって画定される第１の横長領域４１０は、右眼４０６によって画定される第２の横長領域４１２よりも小さい。この場合、右眼４０６によって画定される第２の横長領域４１２が眼のセグメンテーションに適しているとして選択される。

図５には、本開示の実施形態に係る強膜５０２、虹彩５０４、及び瞳孔５０６を含む、顔画像のうちの眼５００の図が示されている。眼５００は、強膜５０２、虹彩５０４、及び瞳孔５０６を含む。一実施形態では、本システムは、虹彩の半径５０８、瞳孔の半径５１０、及び眼５００の中心点５１２を上述のように決定する。

次に図６Ａ及び図６Ｂを参照すると、本開示の実施形態に係るシステムが使用する少なくとも１つの方向フィルタの例が示されている。少なくとも１つの方向フィルタは、ユーザの顔画像から虹彩の第１の半径（ｒ１）６０４を決定する第１の方向フィルタ６０２を含む。第１の方向フィルタ６０２は、第１の所定の経路６０６を通って眼の領域にわたってスライドされる。第１の所定の経路６０６は、例えば、体系的にすべてのｘ値をスライドさせ、次にｙ値をインデキシングすることなどを含む。顔画像内の走査領域は、初期画像分析によって決定された複数の眼のランドマークを使用して決定されると好適である。少なくとも１つの方向フィルタは、虹彩の第２の半径（ｒ２）６１０を決定する第２の方向フィルタ６０８を含む。第２の方向フィルタ６０８は、第１の所定の経路６０６を通って眼の領域にわたってスライドされる。虹彩の第２の半径（ｒ２）６１０は、任意で、虹彩の第１の半径（ｒ１）６０４とは異なる。本実施形態では、例えば、眼の中心点（ｘ１，ｙ１）は、少なくとも１つの方向フィルタ（６０２、６０８）を使用して決定される。少なくとも１つの方向フィルタ（６０２、６０８）は、楕円形状であり、眼の虹彩の半径を決定するための所定の経路において眼の領域にわたってスライドされると好適である。楕円形状の少なくとも１つの方向フィルタ（６０２、６０８）は、任意で、一方向における直径が別の方向における直径とは異なっている。楕円形状の少なくとも１つの方向フィルタ（６０２、６０８）は、円形の方向フィルタが採用される場合と同様にスライドされる。楕円形状の少なくとも１つの方向フィルタ（６０２、６０８）は、異なるスライドの動きをするように回転され、眼の中心点（ｘ１，ｙ１）を求めるために、虹彩の円形との最適な相関関係が使用されると好適である。本実施形態では、楕円形状の方向フィルタ（６０２、６０８）の場合、楕円形状の方向フィルタ（６０２、６０８）の半径及び回転角が虹彩又は瞳孔の半径の初期値として使用される。場合によっては、瞳孔の半径は照明条件に応じて変化し得る。本実施形態では、少なくとも１つの方向フィルタ（６０２、６０８）は、ｘ及びｙ方向に沿ってそれぞれ個別に眼の領域を走査する。少なくとも１つの方向フィルタ（６０２、６０８）は、完全に走査され得る１つ以上のパラメータを有する。１つ以上のパラメータは、任意で、ｘ軸、ｙ軸、及び虹彩の半径ｒを含む。本実施形態では、ｘ軸、ｙ軸、及び半径ｒはすべて、最小値及び最大値を有する。本実施形態では、少なくとも１つの方向フィルタ（６０２、６０８）は、１つ以上のパラメータのすべての組合せのループに沿って走査する。

図７Ａ～図７Ｆには、基本的フィルタと、本開示の実施形態に係る半開きの眼を分割する際に使用される少なくとも１つの方向フィルタとの対比の例が示されている。図７Ａから図７Ｆは、それぞれ眼の画像７０２を含む。本実施形態では、図７Ａに示すように、基本的フィルタを使用して画像エッジが検出される。方向７０４を有する画像エッジは、図７Ｂに示すように、本システムの少なくとも１つの方向フィルタを使用して検出される。一例では、基本的フィルタ７０６は、図７Ｃに示すように、エッジ領域に比較的よく網羅され、基本的フィルタ７０６の強力な一致が図７Ｃに示されている。図７Ｄの円形状である少なくとも１つの方向フィルタ７０８は、エッジ方向７０４を示し、多くの方向が誤っており、眼７０２の同じ画像について図７Ｄに示されているように一致はより弱い。別の例では、基本的フィルタの比較的弱い一致７１０が図７Ｅに示されている。少なくとも１つの方向フィルタの比較的強い一致７１２が図７Ｆに示されている。本システムは、確率的ノイズが存在する場合も、照明条件が悪い中で撮影された超低画質画像を確実に処理する。このシステムは、方向フィルタリングを使用して、ランダムノイズによって顔画像に生じた人工的なエッジの影響を低減し、これによって眼及びそのパーツの検出の精度をより向上させる。本実施形態では、本システムが完全なデータとの間違った一致を減らす。本実施形態では、本システムは、正確な眼７０２の中心点及び眼７０２の半径を決定するために、複数の方向に沿って走査する。

次に図８を参照すると、本開示の実施形態に係るパラメータｘ、ｙ、及びｒに基づく少なくとも１つの方向フィルタをかけるためのプロセスの流れを示す図が示されている。ステップ８０２において、少なくとも１つの方向フィルタが開始される。ステップ８０４において、眼の中心点（ｘ１，ｙ１）が決定され、ｎ＝１が設定される。ここでｎは、ｘ、ｙ、及びｒについて連続した値の範囲を決定するための眼の領域にわたって走査する、少なくとも１つの方向フィルタの反復回数である。ｘの範囲はｘ１、ｘ２、ｘ３、・・・ｘｎを含み、ｙの範囲はｙ１、ｙ２、ｙ３、・・・ｙｎを含み、ｒの範囲はｒ１、ｒ２、ｒ３、・・・ｒｎを含む。少なくとも１つの方向フィルタの角度又は形状は、任意で、少なくとも１つの方向フィルタのパラメータの１つとして含まれる。ステップ８０６において、点（ｘｎ，ｙ１）における初期値が設定される。ステップ８０８において、最適な事前パラメータから開始し、停止条件を満たすまでパラメータを調整することによって、眼の領域が前記範囲にわたって走査される。ｘ軸、ｙ軸、及び／又は虹彩の半径（ｒ）の値を含む最適な組合せが、少なくとも１つの方向フィルタによる走査から特定される。この最適な組合せは、最適な相関関係、最適なスコア、又は最適な確率であると好適である。上述のステップを使用して、虹彩の半径及び瞳孔の半径の範囲が決定される。ステップ８１０において、点（ｘｎ，ｙ１）における色値が読み込まれる。ステップ８１２において、前記色値が閾値よりも大きい場合、眼の半径が決定される。色値が閾値以下であれば、プロセスの流れはステップ８０８へと続く。ステップ８１４において、眼の半径は決定される。

次に図９を参照すると、本開示の実施形態に係るシステムの例示的な図が示されている。このシステムは、ポータブルコンピューティングデバイス９０４と、通信ネットワーク９０８と、システムサーバ９１０とを備える。ポータブルコンピューティングデバイス９０４は、カメラ９０６を備える。本実施形態では、ポータブルコンピューティングデバイス９０４は、ユーザ９０２が自身の顔画像を撮影するために使用する。ポータブルコンピューティングデバイス９０４は、任意で、カメラ付きのスマートフォン、ウェブパッド、ラップトップである。ポータブルコンピューティングデバイス９０４は、通信ネットワーク９０８を介してサーバシステム９１０へとユーザ９０２の顔画像を送信するように構成される。サーバシステム９１０は、眼を分割し、眼の中心点、眼の虹彩の半径、及び眼の白色領域における関心領域を決定するように顔画像を処理する。サーバシステム９１０は、眼の中心点を決定し、これを基に眼の白色領域を決定する。一実施形態では、ポータブルコンピューティングデバイス９０４は、上述の処理の全部又は一部を実施するように構成される。

次に図１０を参照すると、本開示の実施形態に係る顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるための方法のステップを示すフローチャートが示されている。ステップ１００２において、撮像装置からユーザの顔画像が受信される。ステップ１００４において、少なくとも１つの品質測定基準を使用して、左眼及び右眼のうちセグメンテーションに適した眼が決定される。ステップ１００６において、少なくとも１つの方向フィルタを使用して、眼の中心点が決定される。ステップ１００８において、少なくとも１つの方向フィルタを使用して、眼の中心点からの眼の虹彩の半径が決定される。ステップ１０１０において、眼の中心点及び虹彩の半径を使用して、コントラスト分析によって眼の瞳孔が決定される。ステップ１０１２において、眼の虹彩を取り除くことによって、白色領域（強膜）が決定される。ステップ１０１４において、白色正規化を使用して白色領域を正規化することによって、白色領域から関心領域が決定される。

図１１には、本開示の実施形態に係るコンピューティングアーキテクチャを含むシステムの展開図が示されている。ここで、このシステムは、少なくとも１つの入力インタフェース１１０２と、データ処理構成１１０４、メモリ１１０６、及び不揮発性記憶部１１０８を備える制御モジュールと、処理命令１１１０と、記憶部１１１２と、プロセッサ１１１４、メモリ１１１６、及び不揮発性記憶部１１１８を備える撮像装置と、出力インタフェース１１２０とを含む。データ処理構成１１０４及び少なくとも１つの入力インタフェース１１０２の機能は上述したとおりであり、先に説明した本開示の方法を実行するために協働する。

上述の本開示の実施形態は、添付の請求項に定義された本開示の範囲から逸脱することなく、変更が可能である。本開示を説明し、特許請求するために使用されている「含む」、「備える」、「包含する」、「有する」、「である」などの表現は、非限定的に解釈されることが意図されており、つまり、明示的に記載されていない品目、部品、又は要素が存在してもよい。単数として示されたものは、それが複数である場合も関連すると解釈される。

Claims (21)

1. 顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるための方法であって、
   ・ ユーザの顔画像を入力データとして受信するステップと、
   ・ 前記顔画像から第１の領域を検出するステップであって、前記第１の領域は前記ユーザの眼のグラフィック表現を含み、前記第１の領域はエッジに囲まれている、検出するステップと、
   ・ 少なくとも１つの方向フィルタを使用して前記第１の領域を走査することによって、前記眼のグラフィック表現における虹彩の中心点及び半径を決定するステップと、
   を実施することにより命令を実行することを含む方法。
2. 前記眼のグラフィック表現の強膜領域を、前記エッジと円との間の領域であると決定することを含み、前記円は、決定された前記虹彩の中心点及び半径を有する、請求項１に記載の方法。
3. コントラスト分析を実施し、前記虹彩の中心点及び半径を使用して、前記眼のグラフィック表現の瞳孔領域を決定することを更に含む、請求項１又は２に記載の方法。
4. 虹彩領域を前記虹彩の中心点及び半径を有する円と瞳孔領域との間の領域であると決定することを更に含む、請求項１から３のいずれか一項に記載の方法。
5. 画像処理技術を使用して前記眼のグラフィック表現の周囲の少なくとも１つのアイポイントを特定することによって、前記第１の領域の前記エッジを決定することを更に含む、請求項１から４のいずれか一項に記載の方法。
6. 前記虹彩の中心点を決定するステップは、前記少なくとも１つの方向フィルタを使用して、第１の方向に前記第１の領域のｘ値を走査することと、前記第１の領域のｙ値をインデキシングするために、前記少なくとも１つの方向フィルタを使用して、第２の方向に走査することと、を含む、請求項１から５のいずれか一項に記載の方法。
7. 前記虹彩の中心点を決定するステップは、前記第１の方向及び前記第２の方向に、前記少なくとも１つの方向フィルタを使用して、前記第１の領域を走査することに基づいて、前記第１の領域の中心に関連する点を特定することを更に含む、請求項６に記載の方法。
8. 前記虹彩の半径を決定するステップは、
   ・ 第１の経路を通って前記第１の領域に第１の方向フィルタをかけることによって、前記虹彩の第１の半径を決定することであって、前記第１の経路を通って前記第１の領域に前記第１の方向フィルタをかけることは、（ｉ）前記第１の方向フィルタを使用して、第１の方向に前記第１の領域のｘ値を走査すること、及び（ｉｉ）前記第１の領域のｙ値をインデキシングするために、前記第１の方向フィルタを使用して、第２の方向に前記第１の領域を走査することを含む、第１の半径を決定することと、
   ・ 前記第１の経路を通って前記第１の領域に第２の方向フィルタをかけることによって、前記虹彩の第２の半径を決定することであって、前記第１の経路を通って前記第１の領域に前記第２の方向フィルタをかけることは、（ｉ）前記第２の方向フィルタを使用して、前記第１の方向に前記第１の領域のｘ値を走査すること、及び（ｉｉ）前記第１の領域のｙ値をインデキシングするために、前記第２の方向フィルタを使用して、前記第２の方向に前記第１の領域を走査することを含む、第２の半径を決定することと、
   ・ 前記虹彩の中心点と相関関係のある前記虹彩の前記第１の半径又は前記第２の半径から、前記虹彩の半径を特定することと、
   を含む、請求項１から７のいずれか一項に記載の方法。
9. ・前記眼のグラフィック表現について、前記少なくとも１つの方向フィルタを使用して、ラジアル走査を実施することと、
   ・ 前記瞳孔領域の境界線を決定するために、前記第１の領域内の輝度変化を特定することと、
   ・ 前記眼のグラフィック表現の前記特定された輝度変化と前記瞳孔領域の半径の確率分布とを組み合わせることと、
   によって、前記瞳孔領域の半径を決定することを含む、請求項３に記載の方法。
10. 強膜領域を決定することは、
    ・ 前記眼のグラフィック表現について第１の強膜基準及び第２の強膜基準を計算することと、
    ・ 前記第１の強膜基準及び前記第２の強膜基準を前記眼のグラフィック表現の前記第１の領域と組み合わせて閾値を計算することと、
    ・ 前記眼のグラフィック表現に前記閾値を適用して前記強膜領域を決定することと、
    を含む、請求項１から９のいずれか一項に記載の方法。
11. 強膜領域の色値から規格化因子を計算することを含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記規格化因子を使用して、前記顔画像の色を規格化することを含む、請求項１１に記載の方法。
13. 虹彩領域の色値から虹彩色値を計算することを含む、請求項１２に記載の方法。
14. 瞳孔領域の色値から瞳孔色値を計算することを含む、請求項１２に記載の方法。
15. 前記方法は、前記強膜領域の前記色値、虹彩色値、及び瞳孔色値から前記ユーザの眼の色を決定することを含む、請求項１１から１４のいずれか一項に記載の方法。
16. 前記顔画像の色値を使用して、前記ユーザの肌の明るさを決定することを含む、請求項１２に記載の方法。
17. 顔画像から眼のグラフィック表現の少なくとも１つの関心領域を見つけるためのシステムであって、
    命令を格納するように構成されたメモリと、
    ・ ユーザの顔画像を入力データとして受信することと、
    ・ 前記顔画像から第１の領域を検出することであって、前記第１の領域は前記ユーザの眼のグラフィック表現を含み、前記第１の領域はエッジに囲まれている、検出することと、
    ・ 少なくとも１つの方向フィルタを使用して前記第１の領域を走査することによって、前記眼のグラフィック表現における虹彩の中心点及び半径を決定することと、
    を実施するために前記命令を実行するように構成されたデータ処理構成と、
    を備えるシステム。
18. 前記データ処理構成は、前記眼のグラフィック表現の強膜領域を、前記エッジと円との間の領域であると決定するために前記命令を実行するように更に構成され、前記円は、決定された前記虹彩の中心点及び半径を有する、請求項１７に記載のシステム。
19. 前記データ処理構成は、コントラスト分析を実施し、前記虹彩の中心点及び半径を使用して、前記眼のグラフィック表現の瞳孔領域を決定するように更に構成された、請求項１７又は１８に記載のシステム。
20. 前記データ処理構成は、虹彩領域を前記虹彩の中心点及び半径を有する円と瞳孔領域との間の領域であると決定するように構成された、請求項１７から１９のいずれか一項に記載のシステム。
21. データ処理構成で実行されると、請求項１から１６のいずれか一項に記載の方法を実施するように適合されたコンピュータ可読命令を含むコンピュータプログラム。

Images