JP2009525517A - 眼鏡を自動的に検出し、削除する方法、及び装置 - Google Patents

Abstract

【課題】方法および装置によって、画像から眼鏡を自動的に検出し、削除する。
【解決手段】一実施形態に係る方法では、顔を含む画像を表すデジタル画像データにアクセスし、画像内の眼鏡の有無についてのレポートを生成するために画像内の眼鏡を検出し、正規化画像を取得するために画像の照明を正規化し、眼鏡がない顔画像を得るために正規化画像から眼鏡を削除する。
【選択図】図１

Description

本発明は、デジタル画像処理技術に関し、より具体的にはデジタル画像から眼鏡を検出し、削除する方法および装置に関する。

この非仮出願は、本非仮出願と同時に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｎｏｓｅ Ｒｉｄｇｅ Ｍａｓｋ」と題された同時係属中の非仮出願に関連し、この同時係属中の非仮出願の内容全体は参照により本明細書に援用される。

顔認識は、人間の顔の研究に関するデジタル画像処理技術において重要な役割を担っている。良好な顔認識システムには、人間の顔の画像内に現れる遮蔽物に対するロバスト性が強く要求される。眼鏡は、顔を遮蔽するありふれた物のうちの一つである。画像中に眼鏡が含まれると、顔認識システムの性能に大きな影響を与える可能性がある。顔画像中の照明条件のばらつきによって、眼鏡および顔の検出はさらに困難になる。

遮蔽された顔領域が顔認識に与える影響について研究した出版物がいくつかある。そのような技術の１つは、「Ｔａｒｇｅｔ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｎｇ Ｍｅｔｈｏｄ，Ａｐｐａｒａｔｕｓ，ａｎｄ Ｐｒｏｇｒａｍ」と題された米国特許出願公開第２００５／０１９０９６３（Ａ１）号（特許文献１）に記載されている。この文書に記載の方法は、眼鏡などの遮蔽物を含む顔を検出する。しかし、この方法は顔の検出に関し、確かに顔の中の眼鏡を検出するか、削除するか、または置き換える。また、この方法は、顔画像の照明条件の変動によって生じる問題に対応していない。
米国特許出願公開第２００５／０１９０９６３（Ａ１）号

本願の開示する実施形態は、自動眼鏡検出および削除方法、並びに装置を利用することによってこれらのおよびその他の問題に対応する。この方法および装置は、眼鏡を自動的に検出および削除し、眼鏡によって遮蔽されていた顔領域を再構築して眼鏡がない顔画像を生成する。

本発明は、画像から眼鏡を自動的に検出し、削除する方法および装置を対象とする。本発明の第１の態様によれば、画像から眼鏡を自動的に検出し、削除する方法は、顔を含む画像を表すデジタル画像データにアクセスすること、前記画像内の眼鏡を検出して、前記画像内の眼鏡の有無についてのレポートを生成すること、前記画像の照明を正規化して、正規化画像を得ること、及び前記正規化画像から眼鏡を削除して、眼鏡がない顔画像を得ることを含む。

本発明の第２の態様によれば、画像から眼鏡を自動的に検出し、削除するための装置は、顔を含む画像を表すデジタル画像データを与える画像データ・ユニット、前記画像内の眼鏡を検出して、前記画像内の眼鏡の有無についてのレポートを生成する眼鏡検出ユニット、前記画像の照明を正規化して、正規化画像を取得する照明正規化ユニット、及び前記正規化画像から眼鏡を削除して、眼鏡がない顔画像を得る眼鏡削除ユニットを備える。

本発明のさらなる態様および利点は、添付の図面と併せて以下の詳細な説明から明確である。

本発明の態様について、添付の図を参照しつつ付随する説明においてより具体的に述べる。図１は、本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットを備えるシステムの構成図である。図１に示すシステム１００は、以下のコンポーネント、すなわち、画像供給デバイス３０、画像処理ユニット４０、ディスプレイ５０、画像出力ユニット５５、ユーザ入力ユニット７０、及び印刷ユニット６０を備える。以下、図１のシステム１００の動作について明確に説明する。

画像供給デバイス３０はデジタル画像データを提供する。デジタル画像データは人間の顔の画像を含む。デジタル画像データの画像は、人間の顔に加えて他に被写体や胴体を含んでもよい。画像供給デバイス３０は、フィルムに記録された白黒またはカラー画像をスキャンするためのスキャナ、デジタル・カメラ、ＣＤ−Ｒ、フロッピー（登録商標）・ディスク、ＵＳＢドライブなどの記録媒体、画像を記憶するデータベース・システム、ネットワーク接続、画像を処理するコンピュータ・アプリケーションなどのデジタル・データを処理する画像処理システムなどの、デジタル画像データを提供する様々なデバイスのうちの１つ、またはそれ以上であってもよい。

画像処理ユニット４０は、画像供給デバイス３０からデジタル画像データを受信し、以下で詳細に説明する方法で眼鏡の検出および削除を実行する。ユーザは、ディスプレイ５０を介して眼鏡の検出および削除の中間結果を含む画像処理ユニット４０の出力を見ることができ、ユーザ入力ユニット７０を介して画像処理ユニット４０に命令を入力することができる。図１に示す実施形態において、ユーザ入力ユニット７０はキーボード７３およびマウス７５を含む。本発明の実施形態に係る自動眼鏡検出および削除を実行することに加えて、画像処理ユニット４０は、ユーザ入力ユニット７０から受けた命令に従ってさらなる画像処理機能を実行することとしてもよい。画像処理ユニット４０からの処理済みの画像データを、例えば、ポータブルの記録媒体を介して、またはネットワーク（図示せず）を介して画像ファイルとして返すこととしても良い。画像処理ユニット４０の出力を、様々な目的で画像データに対してさらなる操作を行うことが可能な画像出力ユニット５５に送ることとしても良い。画像出力ユニット５５は、画像データに更なる処理を行うモジュール、画像を収集し、比較するデータベースなどであっても良い。

図２は、図１に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０の構成図である。図２に示すように、この実施形態に係る画像処理ユニット４０は、訓練ユニット４３、前処理ユニット４５、及び操作ユニット４７を含む。画像処理ユニット４０の動作は、大きく２つのステージ、すなわち、（１）訓練、ならびに（２）自動眼鏡検出および削除に分けることができる。次に、画像処理ユニット４０に含まれるコンポーネントの動作と、本発明の実装のために、訓練ステージならびに眼鏡検出および削除ステージに関連する原理について図３から８を参照しつつ説明する。

大まかに、図２に示す画像処理ユニット４０に関する要素の構成は、デジタル画像データの前処理と、デジタル画像データからの眼鏡の検出および削除の訓練と、眼鏡の検出および削除とを実行する。前処理ユニット４５は、画像供給デバイス３０からデジタル画像データを受け、デジタル画像データに前処理操作を行う。デジタル画像データの前処理操作は、サイズ変更、トリミング、圧縮、色補正などを含んでも良い。訓練ステージにおいて、前処理ユニット４５は前処理済みのデジタル画像データを訓練ユニット４３に送り、その訓練ユニット４３は眼鏡検出および削除の訓練を行い、訓練知識を蓄積する。

前処理ユニット４５は、自動眼鏡検出および削除ステージ中、前処理済みのデジタル画像データを操作ユニット４７に送る。操作ユニット４７は、訓練知識を使用して自動眼鏡検出および削除を行う。操作ユニット４７は、デジタル画像データを画像出力ユニット５５、印刷ユニット６０、および／またはディスプレイ５０に出力することとしても良い。

図３は、図２に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０の態様をより詳細に示す構成図である。図３の種々のコンポーネントは別個の要素として示されるが、そのような図示は説明を容易にするためであり、種々のコンポーネントの特定の動作は同じ物理デバイス、例えば１つまたは複数のマイクロプロセッサによって実行されることができることを認識されたい。

自動眼鏡検出および削除のための画像処理ユニット４０は、以下のコンポーネント、すなわち、顔検出およびトリミング・ユニット１３０、顔登録ユニット１４０、照明正規化ユニット１５０、眼鏡検出学習ユニット１１０、眼鏡削除学習ユニット１２０、眼鏡検出ユニット１６０、眼鏡削除ユニット１７０、及びオプションの眼鏡位置検出ユニット１４４とを備える。顔検出およびトリミング・ユニット１３０、顔登録ユニット１４０、照明正規化ユニット１５０、及びオプションの眼鏡位置検出ユニット１４４は前処理ユニット４５に含まれる。眼鏡検出学習ユニット１１０および眼鏡削除学習ユニット１２０は訓練ユニット４３に含まれる。眼鏡検出ユニット１６０および眼鏡削除ユニット１７０は操作ユニット４７に含まれる。

顔検出およびトリミング・ユニット１３０は、画像供給デバイス３０からデジタル画像データを受けとる。デジタル画像データは顔を有する原画像を含む。顔検出およびトリミング・ユニット１３０は、デジタル画像データ内の顔を検出し、個々の顔画像をトリミングする。顔検出およびトリミング・ユニット１３０は、参照により本明細書に援用される２００３年１２月１５日に出願され、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ Ｍｏｄｅｌｓ」と題する米国特許出願第１０／７３４，２５８号に記載の方法を使用して顔の検出およびトリミングを実行することとしても良い。

顔登録ユニット１４０は、顔検出およびトリミング・ユニット１３０から顔画像を受け取り、顔を登録する。顔登録ユニット１４０は、参照により本明細書に援用される２００３年１２月１５日に出願され、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ Ｍｏｄｅｌｓ」と題する、上記で参照する米国特許出願第１０／７３４，２５８号に記載の方法を使用して顔登録を実行することとしても良い。顔登録ユニット１４０は登録済みの顔画像を出力する。顔登録ユニット１４０は、眼鏡検出学習ユニット１１０、眼鏡検出ユニット１６０、照明正規化ユニット１５０、及びオプションの眼鏡位置検出ユニット１４４に入力を出す。

訓練ステージにおいて、訓練用顔画像が、顔登録ユニット１４０によって眼鏡検出学習ユニット１１０に送られる。眼鏡検出学習ユニット１１０は、顔画像内の眼鏡の検出の訓練を行う。眼鏡検出学習ユニット１１０は、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｎｏｓｅ Ｒｉｄｇｅ Ｍａｓｋ」と題する、相互参照しており、その内容全体が参照により本明細書に援用されている関連米国特許出願に記載の方法を使用して眼鏡の検出の訓練を行うこととしても良い。上記出願に記載の方法によれば、様々な照明条件の下で撮影された顔の訓練用画像が眼鏡検出学習ユニット１１０に入力される。訓練用画像は、眼鏡の有無の状態が既知である。鼻筋マスクは、訓練用画像内の訓練用の顔の鼻筋領域内に位置する画素を抽出する。２つのクラス、すなわち、眼鏡がない画像のクラスと眼鏡がある画像のクラスを区別するために最適な線形射影の基準を決定するため、線形判別分析を使用する。２つのクラスの平均および分散が得られる。

自動眼鏡検出および削除ステージにおいて、眼鏡検出ユニット１６０は、顔登録ユニット１４０から眼鏡の状態が未知である顔画像を受けとり、当該顔画像に対して自動眼鏡検出を実行する。眼鏡検出ユニット１６０は、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｎｏｓｅ Ｒｉｄｇｅ Ｍａｓｋ」と題する、相互参照しており、その内容全体が参照により本明細書に援用されている関連米国特許出願に記載の方法を使用して眼鏡を検出することとしても良い。上記出願に記載の方法によれば、各入力顔画像に対してスコアが計算される。スコアは、顔画像が、眼鏡がない画像のクラスに属する尤度と、眼鏡がある画像のクラスに属する尤度との比である。スコアは、眼鏡の検出の訓練ステージ中に決定された閾値と比較される。その比較に基づいて、顔画像内の眼鏡の有無についての判定が眼鏡削除ユニット１７０に出力され、オプションで眼鏡位置検出ユニット１４４に出力される。

顔登録ユニット１４０は、照明正規化ユニット１５０にも顔画像の形式で入力データを与える。照明正規化ユニット１５０は、その顔画像の照明の正規化を行い、眼鏡削除学習ユニット１２０および眼鏡削除ユニット１７０に入力を与える。照明正規化ユニット１５０は、参照により本明細書に援用される２００３年１２月１５日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ Ｍｏｄｅｌｓ」と題する上記で参照された米国特許出願第１０／７３４，２５８号に記載の方法を使用して照明の正規化を実行することとしても良い。照明正規化ユニット１５０の動作の詳細について、図５Ａから５Ｂを参照して説明する。

訓練ステージ中、訓練用顔画像が、照明正規化ユニット１５０によって眼鏡削除学習ユニット１２０に送られる。眼鏡削除学習ユニット１２０は、顔画像からの眼鏡を削除する訓練を行う。眼鏡削除学習ユニット１２０は、参照により本明細書に援用される、Ｃ．Ｗｕらの「Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｒｅｍｏｖａｌ ｆｒｏｍ Ｆａｃｅ Ｉｍａｇｅｓ」、ＩＥＥＥ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．２６、Ｎｏ．３、２００４年３月発行に記載の方法を使用して眼鏡の削除の訓練を行うこととしてもよい。上記の出版物に記載の方法によれば、全ての訓練用顔画像によって張られる固有空間において、眼鏡のある訓練用顔画像と眼鏡のない訓練用顔画像の結合分布をモデル化するために主成分分析および最大事後確率推定が使用される。眼鏡がある目の周りの顔領域と、眼鏡がない目の周りの顔領域との間の変換を記述する射影行列が得られる。眼鏡の削除の訓練プロセスの詳細について、図６Ａを参照して説明する。

自動眼鏡検出および削除ステージにおいて、眼鏡削除ユニット１７０は、眼鏡がある顔画像を受け取り、自動眼鏡削除および顔画像の再構築を行う。眼鏡がある画像は、照明正規化ユニット１５０を介して顔登録ユニット１４０から眼鏡削除ユニット１７０に到達する。眼鏡位置検出ユニット１４４が存在する場合、眼鏡位置検出ユニット１４４は、眼鏡がある画像内の眼鏡の位置を検出し、位置検出された眼鏡がある画像を照明正規化ユニット１５０に送ることとしても良い。次に、照明正規化ユニット１５０は、位置検出された眼鏡がある画像を眼鏡削除ユニット１７０に送る。オプションの眼鏡位置検出ユニット１４４は、参照により本明細書に援用される、Ｃ．Ｗｕらによる「Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｒｅｍｏｖａｌ ｆｒｏｍ Ｆａｃｅ Ｉｍａｇｅｓ」と題され、上記で参照した出版物に記載の方法を使用して顔画像内の眼鏡の位置を検出することとしても良い。眼鏡削除ユニット１７０は、参照により本明細書に援用される、Ｃ．Ｗｕらによる「Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｒｅｍｏｖａｌ ｆｒｏｍ Ｆａｃｅ Ｉｍａｇｅｓ」と題された参照された同出版物に記載の方法を使用して眼鏡を削除し、眼鏡がない顔領域を再構築することとしても良い。Ｃ．Ｗｕらによる「Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｒｅｍｏｖａｌ ｆｒｏｍ Ｆａｃｅ Ｉｍａｇｅｓ」に記載の方法によれば、眼鏡の削除の訓練ステージ中に得られた射影行列を使用して、眼鏡がある画像から眼鏡がない画像が推定される。眼鏡の削除プロセスの詳細について、図６Ｂを参照して説明する。眼鏡削除ユニット１７０は眼鏡がない顔画像を出力する。眼鏡がない顔画像は、ディスプレイ５０、画像出力ユニット５５、および／または印刷ユニット６０に出力されることとしても良い。

顔検出およびトリミング・ユニット１３０、顔登録ユニット１４０、照明正規化ユニット１５０、眼鏡検出学習ユニット１１０、眼鏡削除学習ユニット１２０、眼鏡検出ユニット１６０、眼鏡削除ユニット１７０、及びオプションの眼鏡位置検出ユニット１４４はソフトウェアアプリケーションである。

図４Ａは、図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０によって実行される動作を示す流れ図である。図４Ａは、画像処理ユニット４０の自動眼鏡検出および削除ステージ中に実行される動作を示す。このステージにおいて、眼鏡が顔画像から自動的に検出および削除され、眼鏡がある顔領域が、眼鏡がない顔領域によって置き換えられる。

顔検出およびトリミング・ユニット１３０は、画像供給デバイス３０から人物を含む原画像を受け取る（Ｓ２１０）。顔検出およびトリミング・ユニット１３０は、原画像内の顔を検出し、顔を有する画像をトリミングする（Ｓ２１２）。顔登録ユニット１４０は、トリミングされた顔画像を受け取り、顔登録を行い、登録済み画像を出力する（Ｓ２１４）。眼鏡検出ユニット１６０および照明正規化ユニット１５０の両方は、顔登録ユニット１４０から登録済み画像を受けとる。照明正規化ユニット１５０は、登録済み画像を正規化し、正規化画像を出力する（Ｓ２２０）。正規化画像は眼鏡削除ユニット１７０に送られる（Ｓ２２１）。

顔登録ユニット１４０から登録済み画像を同様に受信した眼鏡検出ユニット１６０は、登録済み画像内の眼鏡の有無を検出する（Ｓ２２５）。次に、眼鏡が検出されたか否かを判定するテストが行われる（Ｓ２２７）。眼鏡が検出されなかった場合、眼鏡削除ユニット１７０は、顔画像内に眼鏡がないとのレポートを受け取る（Ｓ２２８）。その結果、眼鏡削除ユニット１７０は、照明正規化ユニット１５０から受け取った登録済み画像に対応する正規化画像を処理しない（Ｓ２２９）。

登録済み画像内に眼鏡が検出された場合、眼鏡削除ユニット１７０は、顔画像内に眼鏡があるとのレポートを受け取る（Ｓ２３２）。次に、眼鏡削除ユニット１７０は、照明正規化ユニット１５０から受け取った登録済み画像に対応する正規化画像から眼鏡を削除する（Ｓ２３４）。眼鏡を削除しながら、眼鏡削除ユニット１７０は、顔の眼鏡がある領域を眼鏡がない領域によって置き換える。

図４Ｂは、図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０によって実行される動作を示す、別の流れ図である。図４Ｂは、画像処理ユニット４０の自動眼鏡検出および削除ステージ中に実行される別の動作を示す。図４Ｂでは、眼鏡位置検出ユニット１４４が眼鏡の位置検出を実行する。したがって、眼鏡削除ユニット１７０が受け取る顔画像は位置検出された眼鏡を含む。次に、眼鏡が、眼鏡削除ユニット１７０によって顔画像から自動的に削除される。そのとき、眼鏡がある顔領域が、眼鏡がない領域によって置き換えられる。

顔検出およびトリミング・ユニット１３０は、画像供給デバイス３０から人物を含む原画像を受け取る（Ｓ２４１）。顔検出およびトリミング・ユニット１３０は、原画像内の顔を検出し、顔を有する画像をトリミングする（Ｓ２４３）。顔登録ユニット１４０は、トリミングされた顔画像を受け取り、顔登録を行い、登録済み画像を出力する（Ｓ２４５）。眼鏡位置検出ユニット１４４は登録済み画像を受け取る（Ｓ２７７）。眼鏡検出ユニット１６０は、顔登録ユニット１４０から登録済み画像を同様に受け取り、登録済み画像内の眼鏡の有無を検出する（Ｓ２４７）。次に、眼鏡が検出されたか否かを判定するテストが行われる（Ｓ２４９）。眼鏡が検出されなかった場合、眼鏡削除ユニット１７０は、顔画像内に眼鏡がないとのレポートを受け取る（Ｓ２６１）。眼鏡がない顔画像についての処理はこれで終了する（Ｓ２６３）。

登録済み画像内に眼鏡が検出された場合、眼鏡削除ユニット１７０は顔画像内に眼鏡があるとのレポートを受け取り（Ｓ２８５）、眼鏡位置検出ユニット１４４は、眼鏡が顔画像内に存在するため、眼鏡の位置検出を実行するようコマンドを受け取る（Ｓ２７９）。眼鏡位置検出ユニット１４４は顔画像内の眼鏡の位置を検出し（Ｓ２８１）、次に、位置検出された眼鏡がある画像を照明正規化ユニット１５０に送る（Ｓ２８３）。照明正規化ユニット１５０は、位置検出された眼鏡がある画像を正規化し、正規化画像を出力する（Ｓ２５５）。位置検出された眼鏡を有する正規化画像は眼鏡削除ユニット１７０に送られる（Ｓ２５７）。次に、眼鏡削除ユニット１７０は、照明正規化ユニット１５０から受けとった正規化画像から眼鏡を削除する（Ｓ２５９）。眼鏡の削除プロセスの間に、眼鏡削除ユニット１７０は、顔の眼鏡がある領域を眼鏡がない領域によって置き換え、眼鏡がない顔画像を出力する。

図５Ａは、図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０に含まれる照明正規化ユニット１５０によって訓練ステージ中に実行される動作を示す流れ図である。照明正規化ユニット１５０は、様々な照明条件の下で撮影された画像に対してヒストグラムに基づく正規化手順を使用することとしても良い。

訓練ステージにおいて、照明正規化ユニット１５０は、顔登録ユニット１４０から同一人物の眼鏡がある顔画像と眼鏡がない顔画像の対を受け取る。顔画像は、多くの様々な照明条件の下で撮影されたものである（Ｓ３０１）。照明条件は、異なる光の方向、異なる光の強度などを含む。訓練用画像について数多くの照明条件を使用することとしても良い。実装形態の例として、５０の異なる照明条件を訓練用画像について使用した。５０の照明条件は、いくつかの要素を組み合せて得ることができる。例えば、光の方向が１０方向可能な場合、５つの光の強度と組み合わせて５×１０＝５０の異なる照明条件を得ることができる。５０を超える照明条件を使用することとしても良い。

眼鏡がある訓練用画像および眼鏡がない訓練用画像の集合を以下に示す。ここで、同じＩＤ値は同一人物を指す。２画像の組は、全て、同一人物についての眼鏡がある画像および眼鏡がない画像を含む。以下に列挙する訓練用画像の集合は、照明条件Ａの下で撮影された第１の人物の眼鏡ありと眼鏡なしの２画像と、照明条件Ｂの下で撮影された第１の人物の眼鏡ありと眼鏡なしの更なる２画像と、照明条件Ｃの下で撮影された第２の人物の眼鏡ありと眼鏡なしの２画像と、照明条件Ｄの下で撮影された第２の人物の眼鏡ありと眼鏡なしの更なる２画像とを含む。

照明正規化ユニット１５０は、以下に示すように、顔画像の照明条件（「Ｉ」で表す）が同じとなるように、全ての訓練用顔画像についての照明条件を正規化する（Ｓ３０３）。

次に、照明正規化ユニット１５０は、同一の照明条件の眼鏡がある訓練用顔画像と眼鏡がない訓練用顔画像との対を出力する（Ｓ３０５）。眼鏡削除学習ユニット１２０は、同じ照明条件の眼鏡がある顔画像と眼鏡がない顔画像の訓練用の対を受け取り（Ｓ３０７）、それらの対を眼鏡の削除の訓練に使用する。

図５Ｂは、図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０に含まれる照明正規化ユニット１５０によって自動眼鏡検出および削除ステージで実行される動作を示す流れ図である。自動眼鏡検出および削除ステージにおいて、照明正規化ユニット１５０は、顔登録ユニット１４０から顔画像を受け取る（Ｓ３２１）。画像は、以下に示すように任意の照明条件の下で撮影されたものである。

ＩＤ＝２；照明条件＝Ａ、またはＢ、またはＣ、またはＤ、またはＥなど

照明正規化ユニット１５０は、顔画像についての照明条件を訓練ステージで使用された共通の照明条件「Ｉ」に正規化する（Ｓ３２３）。

ＩＤ＝２；照明条件〜Ｉ

照明正規化ユニット１５０は、照明条件を正規化済みの顔画像を出力する（Ｓ３２５）。眼鏡削除ユニット１７０は、照明条件を正規化済みの顔画像を受け取り（Ｓ３２７）、その顔画像から眼鏡を自動的に削除する。

図６Ａは、図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０に含まれる眼鏡削除学習ユニット１２０によって訓練ステージにおいて実行される動作を示す流れ図である。眼鏡の削除および置き換えに関する訓練は、参照により本明細書に援用されるＣ．Ｗｕらの「Ａｕｔｏｍａｔｉｃ Ｅｙｅｇｌａｓｓｅｓ Ｒｅｍｏｖａｌ ｆｒｏｍ Ｆａｃｅ Ｉｍａｇｅｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．２６、Ｎｏ．３、ｐｐ．３２２〜３３５、２００４年３月に記載の方法を使用する最大事後確率（ＭＡＰ）に基づく方法を使用して実行される。眼鏡ありと眼鏡なしの人物の訓練用顔画像の対が、眼鏡の削除の訓練に使用される。訓練用画像の対は同一の環境条件で撮影された同一人物の２画像を含み、そのうちの１画像は眼鏡があり、残る１画像は眼鏡がないものである。１対の画像について同一の環境条件は、例えば同一人物を数秒間隔で撮影すると、得ることができる。

訓練用画像において目および眼鏡の位置が検出され、眼鏡がある顔領域および眼鏡がない顔領域が訓練用顔画像から抽出される。眼鏡がある顔領域は眼鏡を含む矩形領域である。眼鏡がない顔領域は眼を含む矩形領域である。

訓練用の眼鏡がある顔領域はＩ_Ｇと表され、訓練用の眼鏡がない顔領域はＩ_Ｆと表される。条件付き確率ｐ（Ｉ_Ｆ，Ｉ_Ｇ）に対する推定値として確率モデルを生成するためにＭＡＰに基づく方法が使用される。ＭＡＰの基準に基づいて、Ｉ_Ｆは、Ｉ_Ｇから

によって推測することができる。結合分布ｐ（Ｉ_Ｆ，Ｉ_Ｇ）は、

となるように隠れ変数Ｖを導入することによって推定される。隠れ変数ＶはＩ_ＦおよびＩ_Ｇの主成分として設定される。

４つのサブ・ステージ、すなわち、（１）対データの生成、（２）主成分分析、（３）雑音の強さの計算、および（４）ＭＡＰ射影行列の計算が眼鏡の削除の訓練に含まれる。

第１のサブ・ステージ、すなわち、対データの生成のサブ・ステージでは、眼鏡があるおよび眼鏡がない同じ照明条件下の人物の訓練用顔画像が照明正規化ユニット１５０から取得される（Ｓ４１２）。目の周辺の眼鏡がある領域の画像および眼鏡がない領域の画像が訓練用顔画像から抽出される（Ｓ４１３）。眼鏡がある画像と眼鏡がない画像とが１つのベクトルに結合される（Ｓ４１４）。

ここで、Ｙは結合されたベクトルである。そのとき、訓練用集合は以下のように表現できる。

ここで、Ｍは訓練サンプル数である。

第２のサブ・ステージ中、主成分分析（ＰＣＡ）が訓練用集合｛Ｙ（ｉ），ｉ＝１，．．．，Ｍ｝に使用される。ＰＣＡ分解は、眼鏡がある画像が顔成分Ｉ_ｆと、眼鏡成分Ｉ_ｇと、雑音成分ｎとの合計である加法モデルに基づく。

ＰＣＡは、主成分行列

、固有値

および平均μ_Ｙを計算する。ここで、ｈは訓練用集合｛Ｙ（ｉ），ｉ＝１，．．．，Ｍ｝の主成分の数である（Ｓ４１６）。隠れ変数Ｖは、

であるような主成分の係数の集合である。ここで、Ｖ＝Ψ^Ｔ（Ｙ−μ_Ｙ）、Ｖ〜Ｎ（０，Λ_Ｖ）、およびε_Ｙはガウス雑音である。
ＰＣＡから得られる全てのベクトルおよび行列は、式（９）に示すように、上部と下部とに分けることができ、それぞれ眼鏡ありのパラメータおよび眼鏡なしのパラメータに対応する（Ｓ４１８）。

第３のサブ・ステージ、つまり雑音の強さの計算のサブ・ステージにおいて、ＰＣＡの雑音の残差が式（１０）および（１１）を使用して計算される（Ｓ４２０）。

雑音の項は以下のようにモデル化される。

および

ここで、

および

は雑音の強さである。雑音の強さの推定値は、観測された雑音値の２乗平均値である。

第４のサブ・ステージにおいて、ＭＡＰ射影行列が計算される（Ｓ４２２）。ＭＡＰ射影行列により、眼鏡がない顔領域と眼鏡がある顔領域の関係が得られる。ＭＡＰ射影行列は、

を求めることによって計算される。関係（１４）は式（３）および（４）を使用して導出される。式（１４）は、

に等しい。式（１５）の右の項を最小化する閉形式解は、

である。射影行列（ＷＭＡＰ）は、

によって与えられる。ここで、

である。

図６Ｂは、図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０に含まれる眼鏡削除ユニット１７０によって自動眼鏡検出および削除ステージにおいて実行される動作を示す流れ図である。自動眼鏡検出および削除ステージにおいて、眼鏡削除ユニット１７０は、照明正規化ユニット１５０から眼鏡がある顔画像を受け取る（Ｓ４３５）。目の周辺に位置する眼鏡がある顔領域Ｉ_Ｇの画像が顔画像から抽出される（Ｓ４３７）。オプションで、さらに顔画像内で眼鏡の位置も検出される。眼鏡がある顔領域Ｉ_Ｇの画像は、眼鏡を含む目の周辺の矩形領域である。眼鏡がない顔領域

が、訓練ステージにおいて導出されたＭＡＰ射影行列ＷＭＡＰを使用して眼鏡がある顔領域Ｉ_Ｇから推定される（Ｓ４３９）。

ここで、μ_Ｇおよびμ_Ｆは、訓練ステージ中に得られた訓練用集合の平均の眼鏡ありの成分および眼鏡なしの成分である。最後に、眼鏡がない顔領域

が顔画像上に貼り付けされる（Ｓ４４１）。

図７は、図６Ａから６Ｂに示す眼鏡の削除の訓練ステージ、ならびに自動眼鏡検出および削除段階において使用される最大事後確率法に関する直感的な説明を示す。訓練ステージ中、眼鏡があるおよび眼鏡がない同一人物の眼鏡がある顔領域の画像Ｉ６４０および目の領域の画像Ｉ６４１は、平均画像Ｉ６４２およびＩ６４３、第１の主成分（ＰＣ）画像Ｉ６４４およびＩ６４５、第２の主成分画像Ｉ６４６およびＩ６４７、並びに第３の主成分画像Ｉ６４８およびＩ６４９を抽出され、眼鏡削除学習ユニット１２０において分析される。精度を向上するため、さらなる成分を抽出することとしても良い。

自動眼鏡検出および削除ステージにおいて、眼鏡削除ユニット１７０は、眼鏡が検出された顔画像を受け取る。眼鏡削除ユニット１７０は、その顔画像について眼鏡がある顔領域Ｉ６７０を抽出する。平均画像Ｉ６７２、ならびに第１、第２、および第３の主成分画像Ｉ６７３、Ｉ６７４、およびＩ６７５が、眼鏡がある顔領域Ｉ６７０から抽出される。精度を向上のため、さらなる成分を抽出することとしても良い。ＭＡＰ射影行列を使用して、眼鏡がない対応する目の領域についての平均画像Ｉ６８２、ならびに第１、第２、および第３の主成分画像Ｉ６８３、Ｉ６８４、およびＩ６８５が生成される。画像Ｉ６８２、Ｉ６８３、Ｉ６８４、およびＩ６８５を、それぞれの固有値（これら固有値は眼鏡がある画像Ｉ６７０の固有値と同じである）で乗算したものを合計することにより、出力画像Ｉ６９０が得られる。出力画像Ｉ６９０は、眼鏡がない以外は、入力画像Ｉ６７０の顔領域と同じ顔領域を示す。

図８は、図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニット４０の出力例を示す。眼鏡をかけた３人の異なる人物の原顔画像Ｉ７０１、Ｉ７１１、およびＩ７２１を示す。眼鏡の削除および置き換え後に画像処理ユニット４０から出力された顔画像が２列目に示す。２列目の顔Ｉ７０３、Ｉ７１３、およびＩ７２３は眼鏡を含まない。

図９Ａは、本発明の第２の実施形態に係る図１に示すシステムに含まれる顔認識のための画像処理ユニット４０Ａの構成図である。図９Ａに示す画像処理ユニット４０Ａは、２つの照明正規化を使用して顔の分類を含む顔認識を行う。図９Ａに示すように、画像処理ユニット４０Ａは、以下の要素、すなわち、顔検出およびトリミング・ユニット１３０Ａ、顔登録ユニット１４０Ａ、照明正規化ユニット１５０Ａ、眼鏡検出学習ユニット１１０Ａ、眼鏡削除学習ユニット１２０Ａ、眼鏡検出ユニット１６０Ａ、眼鏡削除ユニット１７０Ａ、及び顔認識ユニット１８１を備える。顔検出およびトリミング・ユニット１３０Ａ、顔登録ユニット１４０Ａ、及び照明正規化ユニット１５０Ａは前処理ユニット４５Ａに含まれる。眼鏡検出学習ユニット１１０Ａおよび眼鏡削除学習ユニット１２０Ａは訓練ユニット４３Ａに含まれる。眼鏡検出ユニット１６０Ａ、眼鏡削除ユニット１７０Ａ、及び顔認識ユニット１８１は操作ユニット４７Ａに含まれる。

本発明の第２の実施形態によれば、顔検出およびトリミング・ユニット１３０Ａ、顔登録ユニット１４０Ａ、照明正規化ユニット１５０Ａ、眼鏡検出学習ユニット１１０Ａ、眼鏡削除学習ユニット１２０Ａ、眼鏡検出ユニット１６０Ａ、及び眼鏡削除ユニット１７０Ａは、第１の実施形態の対応する要素と同様に機能することができる。

図９Ａに示す第２の実施形態によれば、顔認識ユニット１８１は顔画像の顔の分類を実行する。眼鏡がある顔画像および眼鏡がない顔画像が、顔検出およびトリミング・ユニット１３０Ａに入力される。図４Ａの流れ図において説明されたステップと同様の動作を行って、顔画像から眼鏡を自動的に検出し、削除する。眼鏡がない顔画像が眼鏡削除ユニット１７０Ａによって出力される。眼鏡がない顔画像は照明正規化ユニット１５０Ａに返される。照明正規化ユニット１５０Ａは、眼鏡削除ユニット１７０Ａから受け取った眼鏡がない画像について第２の照明正規化を行う。第２の照明正規化は、眼鏡の削除でもたらされたアーティファクトを取り除くために実行される。第２の照明正規化は、第１の照明正規化と同じアルゴリズムを使用する。第２の照明正規化の後、照明正規化ユニット１５０Ａは正規化画像を顔認識ユニット１８１に送る。顔認識ユニット１８１は、眼鏡がない画像を様々な人物に分類する。その分類の結果および顔画像を、印刷ユニット６０、ディスプレイ５０、および／または画像出力ユニット５５に出力することとしても良い。

図９Ｂは、図９Ａに示す本発明の一実施形態に係る顔認識のための画像処理ユニット４０Ａの態様をより詳細に示す構成図である。図９Ｂは、照明正規化ユニット１５０Ａと、自動眼鏡検出および削除においてその照明正規化ユニット１５０Ａが画像データを与えるユニットとを共に示す。画像データは、照明正規化ユニット１５０Ａを経て（経路Ｐ１上の）眼鏡削除ユニット１７０Ａに到達し、その後（経路Ｐ２上の）照明正規化ユニット１５０Ａに戻り、次に顔認識ユニット１８１に達する。

図１０Ａは、本発明の第３の実施形態に係る図１に示すシステムに含まれる顔認識のための画像処理ユニット４０Ｂの構成図である。図１０Ａに示す画像処理ユニット４０Ｂは、２つの顔登録を使用して顔の分類を実行する。図１０Ａに示すように、画像処理ユニット４０Ｂは、以下の要素、すなわち、顔検出およびトリミング・ユニット１３０Ｂ、顔登録ユニット１４０Ｂ、照明正規化ユニット１５０Ｂ、眼鏡検出学習ユニット１１０Ｂ、眼鏡削除学習ユニット１２０Ｂ、眼鏡検出ユニット１６０Ｂ、眼鏡削除ユニット１７０Ｂ、及び顔認識ユニット１８２を含む。顔検出およびトリミング・ユニット１３０Ｂ、顔登録ユニット１４０Ｂ、及び照明正規化ユニット１５０Ｂは前処理ユニット４５Ｂに含まれる。眼鏡検出学習ユニット１１０Ｂおよび眼鏡削除学習ユニット１２０Ｂは訓練ユニット４３Ｂに含まれる。眼鏡検出ユニット１６０Ｂ、眼鏡削除ユニット１７０Ｂ、及び顔認識ユニット１８２は操作ユニット４７Ｂに含まれる。

本発明のこの第３の実施形態によれば、顔検出およびトリミング・ユニット１３０Ｂ、顔登録ユニット１４０Ｂ、照明正規化ユニット１５０Ｂ、眼鏡検出学習ユニット１１０Ｂ、眼鏡削除学習ユニット１２０Ｂ、眼鏡検出ユニット１６０Ｂ、及び眼鏡削除ユニット１７０Ｂは、第１の実施形態の対応する要素と同様に機能することができる。

図１０Ａに示す第３の実施形態によれば、顔認識ユニット１８２は顔画像の顔の分類を実行する。眼鏡がある顔画像および眼鏡がない顔画像が、顔検出およびトリミング・ユニット１３０Ｂに入力される。図４Ａの流れ図において説明されたステップと同様の動作を行って、顔画像から眼鏡を自動的に検出し、削除する。ステップＳ２１４と同様の顔登録ステップは、眼鏡の検出および削除を向上させ、そのステップは目に関係する特徴を使用して行われる。眼鏡がない顔画像は眼鏡削除ユニット１７０Ｂから出力される。

眼鏡がない顔画像は顔登録ユニット１４０Ｂに返される。顔登録ユニット１４０は、眼鏡削除ユニット１７０Ｂから受け取った眼鏡がない画像について第２の顔登録を行う。第２の顔登録は、第１の顔登録と同じアルゴリズムに基づくが、目に関する特徴だけでなく利用可能な全ての顔の特徴を使用する。第２の顔登録の後、顔登録ユニット１４０Ｂは、眼鏡がない顔画像を顔認識ユニット１８２に送る。顔認識ユニット１８２は、眼鏡がない画像を様々な人物に分類する。その分類の結果を、印刷ユニット６０、ディスプレイ５０、および／または画像出力ユニット５５に出力することとしても良い。

オプションで、第２の照明正規化を第２の顔登録の後に行うこととしても良い。この場合、顔登録ユニット１４０Ｂは、第２の顔登録の後に顔画像を照明正規化ユニット１５０Ｂに送る。照明正規化ユニット１５０Ｂは、顔画像の第２の照明正規化を行い、結果として得られる顔画像を顔認識ユニット１８２に送る。次に、顔認識ユニット１８２は、眼鏡がない画像を様々な人物に分類する。その分類の結果を、印刷ユニット６０、ディスプレイ５０、および／または画像出力ユニット５５に出力することとしても良い。

図１０Ｂは、図１０Ａに示す本発明の第３の実施形態に係る顔認識のための画像処理ユニット４０Ｂの態様をより詳細に示す構成図である。図１０Ｂは、顔登録ユニット１４０Ｂを、その顔登録ユニット１４０Ｂから自動眼鏡削除および顔の分類のための画像データを与えるユニットと共に示す。画像データは、顔登録ユニット１４０Ｂに含まれる目関連特徴登録サブユニット１４２を経て（経路Ｐ４上の）眼鏡削除ユニット１７０Ｂに到達し、その後（経路Ｐ５上の）全特徴登録サブユニット１４６を経て顔登録ユニット１４０Ｂに戻り、次に経路Ｐ６上の顔認識ユニット１８２に出て行く。オプションで、全特徴登録サブユニット１４６から出力された画像データを、経路Ｐ７上の照明正規化ユニット１５０Ｂに返すこととしても良い。画像データは、照明正規化ユニット１５０Ｂによって２度目の正規化をされ、次に経路Ｐ８上の顔認識ユニット１８２に送られる。第１の顔登録は眼鏡の削除および検出を向上させる。目関連特徴登録サブユニット１４２は、アイ・ブリッジ・マスク（ｅｙｅ ｂｒｉｄｇｅ ｍａｓｋ）を使用することとしてもよい。アイ・ブリッジ・マスクの大きさは、ロバストな結果が得られるように変更してもよい。

本願に記載の眼鏡検出および削除ならびに顔の分類のための実施形態の全体的性能を、訓練用データおよび試験用データを使用してテストした。訓練用データは、顔の分類用の９５０人の人物からの１３０００の画像、眼鏡検出用の８７０の画像、及び眼鏡削除用の１００人の人物からの１００００対の画像を含んでいた。

顔の分類のための試験用データは７５０人の人物を含んでいた。以下の表にテスト結果をまとめる。ＡＥＧＤＲは、本願に記載された自動眼鏡検出および削除を意味する。「ＡＥＧＤＲなし」と題されたデータの列は、試験用データに対して眼鏡の検出および削除が実行されなかったときの、眼鏡がある画像および眼鏡がない画像における顔の分類の等価エラー率を示す。「ＡＥＧＤＲあり」と題されたデータの列は、顔の分類の前に、本願に記載された眼鏡がある顔画像および眼鏡がない顔画像における自動眼鏡検出および削除が実行された場合の眼鏡がある画像および眼鏡がない画像の顔の分類の等価エラー率を示す。下の表から分かるように、等価エラー率は、顔の分類の前に本願に記載された自動眼鏡検出および削除が実行された場合のほうが小さい。

本発明の詳細な実施形態および実装について上記で説明されたが、本発明の精神および範囲を逸脱することなく様々な変更が可能であることは明らかである。

本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットを備えるシステムの構成図である。 図１に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットの構成図である。 図２に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットの態様をより詳細に示す構成図である。 図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットによって実行される動作を示す流れ図である。 図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットによって実行される動作を示す別の流れ図である。 図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットに含まれる照明正規化ユニットによって訓練ステージ中に実行される動作を示す流れ図である。 図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットに含まれる照明正規化ユニットによって自動眼鏡検出および削除段階中に実行される動作を示す流れ図である。 図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットに含まれる眼鏡削除学習ユニットによって訓練ステージ中に実行される動作を示す流れ図である。 図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットに含まれる眼鏡削除ユニットによって自動眼鏡検出および削除段階中に実行される動作を示す流れ図である。 図６Ａ〜６Ｂに示すような眼鏡の削除の訓練ステージ、ならびに自動眼鏡検出および削除段階において使用される最大事後確率法に関する直感的な説明を示す図である。 図３に示す本発明の一実施形態に係る自動眼鏡検出および削除のための画像処理ユニットの出力例を示す図である。 本発明の第２の実施形態に係る図１に示すシステムに含まれる顔認識のための画像処理ユニットの構成図である。 図９Ａに示す本発明の第２の実施形態に係る顔認識のための画像処理ユニットの態様をより詳細に示す構成図である。 本発明の第３の実施形態に係る図１に示すシステムに含まれる顔認識のための画像処理ユニットの構成図である。 図１０Ａに示す本発明の第３の実施形態に係る顔認識のための画像処理ユニットの態様をより詳細に示す構成図である。

Claims (20)

1. 画像から眼鏡を自動的に検出し、削除する方法であって、
   顔を含む画像を表すデジタル画像データにアクセスすること、
   前記画像内の眼鏡を検出して、前記画像内の眼鏡の有無についてのレポートを生成すること、
   前記画像の照明を正規化して、正規化画像を得ること、及び
   前記正規化画像から眼鏡を削除して、眼鏡がない顔画像を得ること
   を含む方法。
2. 前記画像内の前記顔を検出し、前記画像をトリミングすることにより前記デジタル画像データを前処理し、前記眼鏡を検出するステップで使用すべき前記顔を含むトリミング済み画像を得ること
   をさらに含む、請求項１に記載の画像から眼鏡を自動的に検出し、削除する方法。
3. 前記検出するステップおよび前記正規化するステップの前に前記顔を含む前記トリミング済み画像の顔登録を行うこと
   をさらに含む、請求項２に記載の画像から眼鏡を自動的に検出し、削除する方法。
4. 眼鏡がない前記顔画像の顔の分類を含む顔認識を行うこと
   をさらに含む、請求項１に記載の画像から眼鏡を自動的に検出し、削除する方法。
5. 前記検出するステップおよび前記正規化するステップの前に前記顔を含む前記トリミング済み画像の第１の顔登録を行うこと、
   目に関連する特徴およびその他の特徴を使用して眼鏡がない前記顔画像の第２の顔登録を行うこと、及び
   前記第２の顔登録を行うステップの後で顔の分類を含む顔認識を行うこと
   をさらに含む、請求項２に記載の画像から眼鏡を自動的に検出し、削除する方法。
6. 眼鏡がない前記顔画像の照明を正規化して、正規化済みの眼鏡がない画像を得ること、及び
   前記正規化済みの眼鏡がない画像について顔の分類を含む顔認識を行うこと
   をさらに含む、請求項１に記載の画像から眼鏡を自動的に検出し、削除する方法。
7. 眼鏡がある顔および眼鏡がない顔を含む訓練用画像の対を使用して眼鏡の検出を学習すること
   をさらに含む、請求項１に記載の画像から眼鏡を自動的に検出し、削除する方法。
8. 眼鏡がある訓練用顔画像および眼鏡がない訓練用顔画像を含む訓練用顔画像の対を使用して眼鏡の削除を学習すること
   をさらに含む、請求項１に記載の画像から眼鏡を自動的に検出し、削除する方法。
9. 前記眼鏡の削除を学習するステップは、
   訓練用顔画像の前記対からの画素を１つのベクトルに結合すること、
   主成分分析を使用して前記ベクトルの主成分、平均、および固有値を求めること、
   前記主成分および前記平均を、前記眼鏡がある訓練用顔画像に関する主成分および平均と、前記眼鏡がない訓練用顔画像に関する主成分および平均とに分けること、及び
   前記固有値と、前記眼鏡がある訓練用顔画像に関する前記主成分および前記平均と、前記眼鏡がない訓練用顔画像に関する前記主成分および前記平均とを使用して最大事後確率射影行列を計算すること
   を含む、請求項８に記載の画像から眼鏡を自動的に検出し、削除する方法。
10. 前記正規化画像から前記眼鏡を削除するステップは、
    前記眼鏡の削除を学習するステップからの前記最大事後確率射影行列を使用して眼鏡がない前記顔画像を推定すること
    を含む、請求項９に記載の画像から眼鏡を自動的に検出し、削除する方法。
11. 画像から眼鏡を自動的に検出し、削除する装置であって、
    顔を含む画像を表すデジタル画像データを与える画像データ・ユニット、
    前記画像内の眼鏡を検出して、前記画像内の眼鏡の有無についてのレポートを生成する眼鏡検出ユニット、
    前記画像の照明を正規化して、正規化画像を取得する照明正規化ユニット、及び
    前記正規化画像から眼鏡を削除して、眼鏡がない顔画像を得る眼鏡削除ユニット
    を備える装置。
12. 前記画像内の前記顔を検出し、前記画像をトリミングして前記顔を含むトリミング済み画像を取得し、前記トリミング済み画像を前記眼鏡検出ユニットおよび前記照明正規化ユニットに送る顔検出およびトリミング・ユニット
    をさらに備える、請求項１１に記載の装置。
13. 前記顔を含む前記トリミング済み画像の第１の顔登録を実行し、前記トリミング済み画像を前記照明正規化ユニットおよび前記眼鏡検出ユニットに送る顔登録ユニット
    をさらに備える、請求項１２に記載の装置。
14. 眼鏡がない前記顔画像の顔の分類を含む顔認識を実行する顔認識ユニット
    をさらに備える、請求項１３に記載の装置。
15. 前記顔登録ユニットは、目に関連する特徴およびその他の特徴を使用して、眼鏡がない前記顔画像の第２の顔登録を実行し、前記顔認識ユニットは、前記第２の顔登録の後で眼鏡がない前記顔画像の顔の分類を含む顔認識を実行する、
    請求項１４に記載の装置。
16. 前記照明正規化ユニットは、眼鏡がない前記顔画像の照明を正規化して、正規化済みの眼鏡がない画像を取得し、前記顔認識ユニットは、前記正規化済みの眼鏡がない画像に対して顔の分類を含む顔認識を実行する、
    請求項１４に記載の装置。
17. 眼鏡がある顔および眼鏡がない顔を含む訓練用画像の対を使用して眼鏡の検出を学習する眼鏡学習ユニット
    をさらに備える、請求項１１に記載の装置。
18. 眼鏡がある訓練用顔画像および眼鏡がない訓練用顔画像を含む訓練用顔画像の対を使用して眼鏡の削除を学習する眼鏡削除学習ユニット
    をさらに備える、請求項１１に記載の装置。
19. 前記眼鏡削除学習ユニットは、
    訓練用顔画像の前記対からの画素を１つのベクトルに結合すること、
    主成分分析を使用して前記ベクトルの主成分、平均、および固有値を求めること、
    前記主成分および前記平均を、前記ｘ訓練用顔画像に関する主成分および平均と、前記眼鏡がない訓練用顔画像に関する主成分および平均とに分けること、及び
    前記固有値と、前記眼鏡がある訓練用顔画像に関する前記主成分および前記平均と、前記眼鏡がない訓練用顔画像に関する前記主成分および前記平均とを使用して最大事後確率射影行列を計算すること
    によって眼鏡の削除を学習する請求項１８に記載の装置。
20. 前記眼鏡削除ユニットは、
    前記眼鏡削除学習ユニットによって取得された前記最大事後確率射影行列を使用して眼鏡がない前記顔画像を推定すること
    によって前記正規化画像から眼鏡を削除する請求項１９に記載の装置。