JP2009525519A - 鼻筋マスクを使用した眼鏡の自動検出方法および装置 - Google Patents

Abstract

【課題】方法および装置により、画像内の眼鏡を自動的に検出する。
【解決手段】一実施形態に係る方法では、顔を含む画像を表すデジタル画像データにアクセスし、鼻筋マスクを使用することによってその画像内の眼鏡を検出し、その画像内の眼鏡の有無についての判定を出力する。
【選択図】 図４

Description

本発明は、デジタル画像処理技術に関し、より具体的にはデジタル画像中の眼鏡を検出するための方法および装置に関する。

この非仮出願は、この非仮出願と同時に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｍｏｖａｌ」と題された同時係属中の非仮出願に関連し、この同時係属中の非仮出願の内容全体は参照により本明細書に援用される。

顔認識は、人間の顔画像の研究および処理に関するデジタル画像処理技術において重要な役割を担っている。良好な顔認識システムには、顔画像内に現れる遮蔽物に対するそのシステムのロバスト性が強く要求される。眼鏡は、顔を遮蔽するありふれた物のうちの一つである。画像中に眼鏡が含まれると、顔認識システムの性能に大きな影響を与える可能性がある。顔画像中の照明条件のばらつきによって、眼鏡および顔の検出はさらに困難になる。

遮蔽された顔領域が顔認識に与える影響について研究した出版物がいくつかある。そのような技術の１つは、「Ｔａｒｇｅｔ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｎｇ Ｍｅｔｈｏｄ，Ａｐｐａｒａｔｕｓ，ａｎｄ Ｐｒｏｇｒａｍ」と題された米国特許出願公開第２００５／０１９０９６３（Ａ１）号（特許文献１）に記載されている。この文書に記載の方法は、眼鏡などの遮蔽物が原因となって検出に問題が生じる顔を検出する。しかし、この方法は顔の検出に関しており、顔の中の眼鏡を自動的に検出するのではない。また、この方法は、顔画像の様々な照明条件によって引き起こされる問題に対応していない。
米国特許出願公開第２００５／０１９０９６３（Ａ１）号

本願で開示する実施形態は、鼻筋マスクを使用して顔画像内の眼鏡を自動的に検出する方法および装置を利用することによって、これらのおよびその他の問題に対応することである。

本発明は、画像内の眼鏡を自動的に検出するための方法および装置を対象とする。本発明の第１の態様によれば、画像内の眼鏡の自動検出方法は、顔を含む画像を表すデジタル画像データにアクセスすること、鼻筋マスクを使用することによって画像内の眼鏡を検出すること、及び画像内の眼鏡の有無についての判定を出力することを含む。

本発明の第２の態様によれば、画像内の眼鏡の自動検出装置は、顔を含む画像を表すデジタル画像データを提供する画像データ・ユニット、鼻筋マスクを使用することによって画像内の眼鏡を検出する眼鏡検出ユニット、及び画像内の眼鏡の有無についての判定を出力する判定ユニットを含む。

本発明のさらなる態様および利点は、添付の図面と併せて以下の詳細な説明を読むと明らかになるであろう。

本発明の態様について、添付の図を参照しつつ付随する説明においてより具体的に述べる。図１は、本発明の一実施形態に係る鼻筋マスクを使用して眼鏡を自動的に検出する画像処理ユニットを備えるシステムの構成図である。図１に示されたシステム１０１は、以下のコンポーネント、すなわち、画像入力ユニット３１、画像処理ユニット４１、ディスプレイ５１、画像出力ユニット５６、ユーザ入力ユニット７１及び印刷ユニット６１を含む。図１のシステム１０１の動作は、以下の検討から明らかになるであろう。

画像入力ユニット３１はデジタル画像データを与える。デジタル画像データは人間の顔を含む画像である。画像入力ユニット３１はデジタル画像データを提供するデバイスであり、例えば、フィルムに記録された白黒またはカラー画像をスキャンするためのスキャナ、デジタル・カメラ、ＣＤ−Ｒ、フロッピー（登録商標）・ディスク、ＵＳＢドライブなどの記録媒体、画像を記憶するデータベース・システム、ネットワーク接続、画像を処理するコンピュータ・アプリケーションなどのデジタル・データを出力する画像処理システムなどのうちの１つまたはそれ以上であってもよい。

画像処理ユニット４１は、画像入力ユニット３１から顔画像を含むデジタル画像データを受け取り、以下で詳細に検討される方法で鼻筋マスクを使用した眼鏡検出を行う。ユーザは、ディスプレイ５１を介して眼鏡検出の中間結果を含む画像処理ユニット４１の出力を見ることができ、ユーザ入力ユニット７１を介して画像処理ユニット４１に命令を入力することができる。図１に示された実施形態において、ユーザ入力ユニット７１はキーボード７４およびマウス７６を含む。本発明の実施形態に係る自動的な眼鏡検出を実行するとともに、画像処理ユニット４１は、ユーザ入力ユニット７１から受けた命令に従ってさらなる画像処理機能を実行することとしてもよい。画像処理ユニット４１の出力を、様々な目的に応じて画像データを更に処理する画像出力ユニット５６に送ることとしてもよい。画像出力ユニット５６は、画像データを更に処理するモジュール、画像を収集して比較するデータベースなどであってもよい。

図２は、図１に示す本発明の一実施形態に係る鼻筋マスクを使用して自動的に眼鏡を検出する画像処理ユニット４１の構成図である。

顔画像内の眼鏡は、概して２つの独特な特徴、すなわち、フレームとレンズの反射とを有する。レンズの反射と比較して、フレームは様々な画像において、より明確であり、且つ一定している。さらに、フレームは、エッジ強調フィルタによって強調することができる。したがって、眼鏡フレームは、眼鏡検出において有望な特徴である。しかし、レンズの厚さおよびサイズなどの眼鏡フレームの特徴によって、非常にバラツキが生じる。このことが、眼鏡フレームを眼鏡検出のための特徴として使用する場合に難題となっている。

通常、眼鏡は同じ顔領域、すなわち目の領域に現れるので、眼鏡を検出することは、その顔領域の中で更に小さな決まった領域内で眼鏡フレームの一部を検出することに等しい。通常、人の鼻筋の上にある２枚のレンズの間のブリッジは様々な種類のフレームに渡って共通しているので、ブリッジは検出に役に立つ特徴である。さらに、鼻筋領域は、元の顔画像の中でごく小さな部分しか占めない。したがって、鼻筋領域を使用して眼鏡を検出すると、元の眼鏡検出で問題となる範囲を狭くし、ひいては、必要となる訓練用データの量をより減少させることになる。

図２に示すように、本実施形態に係る画像処理ユニット４１は、顔画像操作ユニット１２２、鼻筋マスク・ユニット１２４、分析および検出ユニット１２６及びオプション顔登録ユニット１１７を含む。図２の種々のコンポーネントは別個の要素として示されているが、そのような図示は説明を容易にするためであり、種々のコンポーネントの特定の動作は同じ物理デバイス、例えば１つまたは複数のマイクロプロセッサによって実行することは当然可能である。

概して、図２に示す画像処理ユニット４１の構成要素の配置により、デジタル画像データの前処理と、デジタル画像データ内の眼鏡の検出の訓練と、眼鏡の検出とを行う。画像入力ユニット３１からのデジタル画像データは、顔画像操作ユニット１２２に送られる。デジタル画像データは顔を含む原画像であってもよい。顔画像操作ユニット１２２は、デジタル画像データを受け取り、デジタル画像データ内の顔を検出し、デジタル画像データから顔画像を抽出し、抽出された顔画像に対する処理操作を実行する。画像に対する処理操作は、特徴の強調、サイズ変更、トリミング、圧縮、色補正などを含んでも良い。顔登録ユニット１１７は、顔画像操作ユニット１２２から受け取った顔画像内の顔の顔登録を行うことによって眼鏡検出を改善することができる。顔画像操作ユニット１２２および顔登録ユニット１１７は、参照により本明細書に援用される２００３年１２月１５日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ Ｍｏｄｅｌｓ」と題された米国特許出願第１０／７３４，２５８号に記載の方法を使用して顔検出および顔登録を行うこととしても良い。

顔登録ユニット１１７は、登録済みの顔画像を顔画像操作ユニット１２２に返すか、または鼻筋マスク・ユニット１２４に送る。顔画像操作ユニット１２２は、未登録または登録済みの顔画像を鼻筋マスク・ユニット１２４に送る。鼻筋マスク・ユニット１２４は、顔画像内の鼻筋領域を検出する。次に、鼻筋マスク・ユニット１２４は、デジタル・データを分析および検出ユニット１２６に送る。分析および検出ユニット１２６は、画像データを分析し、顔画像が眼鏡を含むか否かを検出する。分析および検出ユニット１２６の出力は、顔画像内の眼鏡の有無についての判定である。顔画像内の眼鏡の有無についての判定を、顔画像と共に画像出力ユニット５６、印刷ユニット６１、および／またはディスプレイ５１に出力することとしても良い。次に、図２に示す画像処理ユニット４１に含まれるコンポーネントの動作について、図３から７を参照して説明する。顔画像操作ユニット１２２、鼻筋マスク・ユニット１２４、分析および検出ユニット１２６、及び顔登録ユニット１１７はソフトウェア・アプリケーションである。

図３は、図２に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出を行う画像処理ユニット４１によって実行される処理を示す流れ図である。顔画像操作ユニット１２２は、顔を含む画像を受け取り、画像から顔を検出およびトリミングし、顔画像を出力する（Ｓ２０１）。次に、顔画像操作ユニット１２２は、眼鏡に関連する特徴の強調、サイズ変更などの顔画像に対する処理操作を実行する（Ｓ２０２）。顔登録ユニット１１７が存在しない場合、ステップＳ２０２の後でステップＳ２０７が実行される。存在する場合、顔登録ユニット１１７は、顔画像操作ユニット１２２から顔画像を受け取り、顔を登録し、登録済みの顔画像を出力する（Ｓ２０３）。顔登録（ステップＳ２０３）は、ステップＳ２０１とステップＳ２０２の間か、またはステップＳ２０２の後で行うこととしても良い。

鼻筋マスク・ユニット１２４は、登録済みまたは未登録の顔画像を受け取り、顔画像内の顔の鼻筋領域に位置する画像領域を抽出し、領域の画像を出力する（Ｓ２０７）。鼻筋領域に位置する画像領域は顔全体よりも画素が大幅に少ないため、ステップＳ２０７以降で処理されるデータ量が削減される。また、鼻筋領域内の眼鏡のレンズの間にあるブリッジは、様々な種類の眼鏡でいつも共通している。さらに、眼鏡がある画像内の鼻筋は、眼鏡がない画像内の鼻筋とは異なる特徴を呈する。分析および検出ユニット１２６は、眼鏡の有無に関して領域の画像を分析する（Ｓ２１２）。最後に、分析および検出ユニット１２６は、顔画像内の眼鏡の有無に関する判定を出力する（Ｓ２１６）。

図４は、図２に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニット４１の構成図の一例である。画像処理ユニット４１は、以下のコンポーネント、すなわち、顔検出およびトリミング・ユニット３９５、エッジ強調ユニット４０１、画像サイズ縮小ユニット４０３、オプション顔登録ユニット１１７、鼻筋マスク・ユニット１２４、特徴ベクトル・ユニット４１５、ベクトル射影モジュール４１９、線形判別分析ユニット４０５、統計分析ユニット４０７、及び判定ユニット４０９を含む。顔検出およびトリミング・ユニット３９５、エッジ強調ユニット４０１、及び画像サイズ縮小ユニット４０３は、顔画像操作ユニット１２２に含まれる。特徴ベクトル・ユニット４１５、線形判別分析ユニット４０５、ベクトル射影モジュール４１９、統計分析ユニット４０７、及び判定ユニット４０９は、分析および検出ユニット１２６に含まれる。

画像処理ユニット４１の動作は、概して２つのステージ、すなわち、（１）眼鏡検出の学習、および（２）眼鏡の実際の検出に分けることができる。本発明の実施のために、これらのステージの両方に係る原理について図５および６で説明する。

眼鏡検出の学習ステージおよび眼鏡の実際の検出ステージの両方において、画像データは、エッジ強調ユニット４０１、画像サイズ縮小ユニット４０３、鼻筋マスク・ユニット１２４、及び特徴ベクトル・ユニット４１５を経る。顔検出およびトリミング・ユニット３９５は顔画像をトリミングする。エッジ強調ユニット４０１は、顔画像内のエッジを強調し、エッジ・マップを出力する。エッジ・マップ画像のサイズは、画像サイズ縮小ユニット４０３によって変更される。鼻筋マスク・ユニット１２４は、画像サイズ縮小ユニット４０３からエッジ・マップを受け取り、エッジ・マップ内に示される顔の鼻筋領域に位置する画像領域を抽出する。特徴ベクトル・ユニット４１５は、鼻筋マスク・ユニット１２４から出力された鼻筋画像領域から特徴ベクトルを抽出する。

図４の破線および実線の太い矢印は、眼鏡検出の学習ステージ中のデータの流れを示す。線形判別分析ユニット４０５は、特徴ベクトル・ユニット４１５から特徴ベクトルを受け取り、線形判別分析を使用して眼鏡検出の訓練を行う。ベクトル射影モジュール４１９は、線形判別分析ユニットの後でベクトルの射影を行うために学習ステージで使用することができる。統計分析ユニット４０７は、線形判別分析ユニット４０５およびベクトル射影モジュール４１９から訓練分析結果を受け取り、眼鏡検出で使用すべき学習パラメータを記憶する。

眼鏡の実際の検出ステージ中、ベクトル射影モジュール４１９は、学習ステージからの結果を使用してベクトル射影を行う。次に、統計分析ユニット４０７は、鼻筋領域から抽出された特徴ベクトルに関連するスカラに対するスコアを計算する。そのとき、判定ユニット４０９は、眼鏡が顔画像内に存在するか否かについて判定を行う。判定ユニット４０９は、その判定を画像出力ユニット５６、印刷ユニット６１、および／またはディスプレイ５１に出力することとしても良い。

顔検出およびトリミング・ユニット３９５、エッジ強調ユニット４０１、画像サイズ縮小ユニット４０３、顔登録ユニット１１７、鼻筋マスク・ユニット１２４、特徴ベクトル・ユニット４１５、ベクトル射影モジュール４１９、線形判別分析ユニット４０５、統計分析ユニット４０７、及び判定ユニット４０９は、ソフトウェア・アプリケーションである。

図５は、図４に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニット４１によって実行される眼鏡検出の学習に関する動作を示す流れ図である。エッジ強調ユニット４０１は、様々な照明条件での、眼鏡あり／眼鏡なしの状態が既知である訓練用顔画像を受け取る（Ｓ４５２）。画像処理ユニット４１が眼鏡検出を訓練する元になる顔の多様性を大きくするために、訓練用画像には、様々な照明条件が使用される。照明条件は、光の強度および照明の方向のばらつきを含む。種々な照明条件の顔画像を、様々な照明条件の下で様々な人のデジタル画像を撮影することによって画像入力ユニット３１で生成することとしても良い。

エッジ強調ユニット４０１は、様々な入力画像の照明に対してロバストなソーベル・フィルタを使用して画像のエッジを強調する（Ｓ４５４）。その他のフィルタまたはエッジ強調技術を使用することとしても良い。ソーベル・フィルタを使用する場合、入力画像は、以下の式に示す標準的なソーベル・フィルタによって水平方向および垂直方向の両方にフィルタリングされる。

ここで、（＊）は２次元の畳み込みであり、Ｉ_０は入力画像であり、Ｉ_edgeは出力エッジ・マップであり、Ｓ_ｈおよびＳ_ｖはそれぞれ水平および垂直ソーベル・フィルタのカーネルである。結果として、元の画像の全方向エッジ・マップが得られる。実装態様の一例として、Ｉ_０のサイズは１６０×１６０ピクセルである。次に、エッジ強調ユニット４０１は、訓練顔画像のエッジ・マップを出力する（Ｓ４５６）。画像サイズ縮小ユニット４０３は、エッジ・マップ画像を受け取り、エッジ・マップ画像のサイズを正規化し、正規化されたエッジ・マップ画像を出力する（Ｓ４５８）。ステップＳ４５８において、エッジ・マップ画像は、例えば８０×８０ピクセルのサイズまで縮小される（Ｉ_{ｓｈｒｉｎｋ}）範囲を小さくためである。鼻筋マスク・ユニット１２４は、正規化されたエッジ・マップ画像を受け取り、マスク・システムを使用して、正規化されたエッジ・マップ画像の鼻筋領域内に位置する画素を抽出する（Ｓ４６０）。特徴ベクトル・ユニット４１５は、鼻筋領域からの画素を用いて特徴ベクトルｘ_ｎを生成する（Ｓ４６２）。眼鏡検出の学習プロセスにおいて当該特徴ベクトルが使用される。特徴ベクトル・ユニット４１５は、特徴ベクトルを線形判別分析ユニット４０５に送る。線形判別分析は、２つのクラス、すなわち、眼鏡がない画像のクラス（Ｈ_０）と眼鏡がある画像のクラス（Ｈ_１）とを区別するための最適な線形射影の基準を得るために使用される。検出は２クラス分類問題であるため、単一の射影の基準（ｂ）が訓練ステージで生成され、射影の後にスカラ（ｘ＝ｘ_ｎ・ｂ）が生成される。ここで、・は内積である（Ｓ４６４、Ｓ４６６、Ｓ４６８）。ステップＳ４６６を実行するために、線形判別分析ユニット４０５は、２クラス分類問題に関連する判別関数を決定することができる。ステップＳ４６８において、鼻筋領域からの画素を有する特徴ベクトルが、線形判別分析により決定された最適な線形射影によってベクトル射影モジュール４１９において射影され、スカラを生成する。統計分析ユニット４０７はそのスカラを受け取り、そのスカラをガウス確率変数としてモデル化する（Ｓ４７０）。次に、統計分析ユニット４０７はそのスカラを使用して、眼鏡がない画像のクラスＨ_０および眼鏡がある画像のクラスＨ_１の特徴の平均

および分散

をそれぞれ推定する（Ｓ４７２）。統計分析ユニット４０７は、決定した特徴の平均および分散を使用して顔画像内の眼鏡の有無に関する閾値を定義する（Ｓ４７４）。その他の統計モデルを使用することもできる。これで眼鏡検出の学習ステージを完了する。

図６は、図４に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニット４１によって実行される眼鏡検出に関する動作を示す流れ図である。顔検出およびトリミング・ユニット３９５は、顔を含む画像を受け取り、顔を検出およびトリミングし、顔画像を出力する（Ｓ５０１）。顔画像が眼鏡を有するかどうかは分かっていない。顔登録ユニット１１７が存在する場合、顔登録ユニット１１７は顔画像を登録し、登録済みの顔画像を出力する（Ｓ５０３）。エッジ強調ユニット４０１は、未登録または登録済みの顔画像を受け取り（Ｓ５０２）、学習ステージ中に使用したエッジ強調方法と同じエッジ強調方法を使用して顔画像のエッジを強調する（Ｓ５０４）。エッジ強調にソーベル・フィルタを使用する場合、眼鏡検出の学習にも使用された式（１）に示すような標準的なソーベル・フィルタによって水平方向および垂直方向の両方に、顔画像をフィルタリングする。

ここで、Ｉ_０は入力画像であり、Ｉ_ｅｄｇｅは出力エッジ・マップであり、Ｓ_ｈおよびＳ_νはそれぞれ水平および垂直ソーベル・フィルタのカーネルである。元の画像の全方向エッジ・マップが結果として得られる。実装態様の一例として、Ｉ_０のサイズは１６０×１６０画素である。エッジ強調ユニット４０１は、顔画像のエッジ・マップ画像を出力する（Ｓ５０６）。画像サイズ縮小ユニット４０３は、エッジ・マップ画像を受け取り、エッジ・マップ画像のサイズを正規化し、正規化されたエッジ・マップ画像を出力する（Ｓ５０８）。ステップＳ５０８において、エッジ・マップ画像は、例えば８０×８０ピクセルのサイズまで縮小される（Ｉ_{ｓｈｒｉｎｋ}）。範囲を小さくするためである。鼻筋マスク・ユニット１２４は、正規化されたエッジ・マップ画像を受け取り、正規化されたエッジ・マップ画像の鼻筋領域内に位置する画素を抽出する（Ｓ５１０）。鼻筋領域のサイズは、顔画像のサイズよりも小さい。特徴ベクトル・ユニット４１５は、正規化されたエッジ・マップ画像の鼻筋領域からの画素を用いて特徴ベクトルｘ_ｎを生成する（Ｓ５１２）。次に、特徴ベクトルは、最適な線形射影によってベクトル射影モジュール４１９において射影されてスカラを生成する（Ｓ５１３）。最適な線形射影は、学習ステージ中に実行された線形判別分析の結果を使用して行う。統計分析ユニット４０７はそのスカラを受け取る（Ｓ５１４）。次に、統計分析ユニット４０７は、特徴ベクトルが、眼鏡がない画像クラスＨ_０に属する尤度と、眼鏡がある画像クラスＨ_１に属する尤度とを計算する（Ｓ５１８）。尤度を計算するために、統計分析ユニット４０７は、学習ステージで決定された、眼鏡がない画像クラスＨ_０および眼鏡がある画像クラスＨ_１の特徴の平均および分散

および

をそれぞれ使用する。統計分析ユニット４０７は、眼鏡の状態が未知の顔画像の特徴ベクトルに関連するスカラを使用し、当該特徴ベクトルに対する尤度比

を計算する（Ｓ５２０）。この比において、

は特徴ベクトルが、眼鏡がない画像クラスＨ_０に属する尤度であり、

は特徴ベクトルが、眼鏡がある画像クラスＨ_１に属する尤度である。次に、統計分析ユニット４０７は、尤度比を学習ステージ中に決定された閾値と比較する（Ｓ５２２）。

である場合、判定ユニット４０９は、特徴ベクトルが、眼鏡がないクラスＨ_０に属すると判定する。

である場合、判定ユニット４０９は、特徴ベクトルが、眼鏡があるクラスＨ_１に属すると判定する（Ｓ５２４）。最後に、判定ユニット４０９は、特徴ベクトルに関連する顔画像内の眼鏡の有無に関する判定を出力する（Ｓ５２６）。実装態様の一例として、判定は、例えば、眼鏡が存在するときに「はい」を、眼鏡が存在しないときに「いいえ」を表す２値である。

図７は、図４に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニット４１に含まれるユニットの出力の一例を示す。顔画像Ｉ９０１がエッジ強調ユニット４０１に入力され、エッジ強調ユニット４０１はソーベル・フィルタを使用してエッジ画像Ｉ９０３を得る。エッジ画像Ｉ９０３は画像サイズ縮小ユニット４０３に送られ、画像サイズ縮小ユニット４０３はエッジ画像を縮小し、サイズ調整されたエッジ画像Ｉ９０５を出力する。鼻筋マスク・ユニット１２４はマスクＩ９０７を使用し、画像Ｉ９０５内の顔の鼻の領域に位置する画素を選択する。鼻筋の画素にを有する鼻筋画像Ｉ９０９が鼻筋マスク・ユニット１２４から出力される。鼻筋画像Ｉ９０９は、特徴ベクトル・ユニット４１５、ベクトル射影モジュール４１９、統計分析ユニット４０７、及び判定ユニット４０９によってさらに処理される。画像Ｉ９０１が眼鏡を含むことを示すレポートが出力される。

本発明の詳細な実施形態および実装態様を説明したが、本発明の精神および範囲を逸脱することなく様々な改良が当然可能である。

本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニットを備えるシステムの構成図である。 図１に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニットの構成図である。 図２に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニットによって実行される動作を示す流れ図である。 図２に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニットの一例を示す構成図である。 図４に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニットによって実行される眼鏡検出の学習に関する動作を示す流れ図である。 図４に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニットによって実行される眼鏡検出に関する動作を示す流れ図である。 図４に示す本発明の一実施形態に係る鼻筋マスクを使用した自動眼鏡検出のための画像処理ユニットの一例に含まれるユニットの出力の例を示す図である。

Claims (20)

1. 画像内の眼鏡の自動検出方法であって、
   顔を含む画像を表すデジタル画像データにアクセスすること、
   鼻筋マスクを使用することによって前記画像内の眼鏡を検出すること、及び
   前記画像内の眼鏡の有無についての判定を出力すること、
   を含む方法。
2. 鼻筋マスクを使用することによって前記画像内の眼鏡を検出する前記ステップは、
   鼻筋マスクを使用することによって前記顔の鼻筋領域に位置する画素を抽出すること、
   を含む請求項１に記載の画像内の眼鏡の自動検出方法。
3. エッジ・マップを生成するために前記画像のエッジを強調すること、
   をさらに含む請求項２に記載の画像内の眼鏡の自動検出方法。
4. 前記顔を含む前記画像の顔登録を実行することによって前記画像を前処理すること、
   をさらに含む請求項２に記載の画像内の眼鏡の自動検出方法。
5. 訓練用画像を使用して眼鏡検出に関する訓練を行うこと、
   をさらに含む請求項２に記載の画像内の眼鏡の自動検出方法。
6. 前記訓練用画像は様々な照明条件の下で作成される、
   請求項５に記載の画像内の眼鏡の自動検出方法。
7. 前記照明条件は光の強度および照明の方向を含む、
   請求項６に記載の画像内の眼鏡の自動検出方法。
8. 前記訓練用画像は、同一人物の眼鏡がある画像と眼鏡がない画像との対を含む、
   請求項５に記載の画像内の眼鏡の自動検出方法。
9. 前記訓練ステップは、
   前記鼻筋マスクを使用して前記訓練用画像の鼻筋領域から抽出された画素に対して線形判別分析を使用することによって眼鏡がある画像のクラスと眼鏡がない画像のクラスとを区別することを訓練すること、及び
   眼鏡がある画像の前記クラスに関する平均および分散ならびに眼鏡がない画像の前記クラスに関する平均および分散を含む統計パラメータを推定すること
   によって実行される、
   請求項８に記載の画像内の眼鏡の自動検出方法。
10. 鼻筋マスクを使用することによって前記画像内の眼鏡を検出する前記ステップは、
    前記訓練ステップ中に推定された前記統計パラメータに基づいて、前記鼻筋マスクを使用して前記画像内の前記顔の前記鼻筋領域から抽出された画素に対してスコアを計算すること、及び
    前記スコアを所定の閾値と比較すること、
    を含む請求項９に記載の画像内の眼鏡の自動検出方法。
11. 画像中の眼鏡の自動検出装置であって、
    顔を含む画像を表すデジタル画像データを提供する画像データ・ユニット、
    鼻筋マスクを使用することによって前記画像内の眼鏡を検出する眼鏡検出ユニット、及び
    前記画像内の眼鏡の有無についての判定を出力する判定ユニット
    を備える自動検出装置。
12. 前記眼鏡検出ユニットは、前記鼻筋マスクを使用することによって前記顔の鼻筋領域に位置する画素を抽出する、
    請求項１１に記載の装置。
13. エッジ・マップを生成するために前記画像のエッジを強調するエッジ強調ユニット
    をさらに備える請求項１２に記載の装置。
14. 前記顔を含む前記画像の顔登録を実行する顔登録ユニット
    をさらに備える請求項１２に記載の装置。
15. 訓練用画像を使用して眼鏡検出の訓練を行う訓練ユニット
    をさらに備える請求項１２に記載の装置。
16. 前記訓練ユニットによって使用される前記訓練用画像は様々な照明条件の下で作成される、
    請求項１５に記載の装置。
17. 前記照明条件は光の強度および照明の方向を含む、
    請求項１６に記載の装置。
18. 前記訓練用画像は、同一人物の眼鏡がある画像と眼鏡がない画像との対を含む、
    請求項１５に記載の装置。
19. 前記訓練ユニットは、
    前記鼻筋マスクを使用して前記訓練用画像内の顔の鼻筋領域から抽出された画素に対して線形判別分析を使用することによって眼鏡がある画像のクラスと眼鏡がない画像のクラスとを区別することを訓練すること、及び
    眼鏡がある画像の前記クラスに関する平均および分散ならびに眼鏡がない画像の前記クラスに関する平均および分散を含む統計パラメータを推定すること、
    によって眼鏡検出の訓練を行う、
    請求項１８に記載の装置。
20. 前記眼鏡検出ユニットは、
    前記訓練ユニットによって推定された前記統計パラメータ、および前記鼻筋マスクを使用して前記画像内の前記顔の前記鼻筋領域から抽出された画素を使用してスコアを計算すること、及び
    前記スコアを所定の閾値と比較すること、
    によって眼鏡検出を実行する、
    請求項１９に記載の装置。