JP2010218551A - 顔認識方法、コンピューター読み取り可能な媒体および画像処理装置 - Google Patents
顔認識方法、コンピューター読み取り可能な媒体および画像処理装置 Download PDFInfo
- Publication number
- JP2010218551A JP2010218551A JP2010048843A JP2010048843A JP2010218551A JP 2010218551 A JP2010218551 A JP 2010218551A JP 2010048843 A JP2010048843 A JP 2010048843A JP 2010048843 A JP2010048843 A JP 2010048843A JP 2010218551 A JP2010218551 A JP 2010218551A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- face pattern
- normalized
- gallery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
【課題】外観ベースの手法を用いる自動顔認識の方法を提供すること。
【解決手段】最初に顔パターンおよび２つの目パターンが検出され、顔パターンが正規化
される。次に正規化顔パターンはガノール特徴表現の正規化顔特徴ベクトルに変換され、
差分画像ベクトルが計算される。次に、差分画像ベクトルは予め収集された訓練用の顔デ
ータベースから抽出されたより低次元の被写体内下部空間に投影され、その投影の各成分
に二乗機能が適用される。次に、二乗投影の加重合計が計算される。最後にプローブデジ
タル画像における顔パターンは、計算された最大加重合計が予め定義された閾値を超える
として、計算された最大加重合計を有するギャラリー画像に属すると分類される。
【選択図】図２
【解決手段】最初に顔パターンおよび２つの目パターンが検出され、顔パターンが正規化
される。次に正規化顔パターンはガノール特徴表現の正規化顔特徴ベクトルに変換され、
差分画像ベクトルが計算される。次に、差分画像ベクトルは予め収集された訓練用の顔デ
ータベースから抽出されたより低次元の被写体内下部空間に投影され、その投影の各成分
に二乗機能が適用される。次に、二乗投影の加重合計が計算される。最後にプローブデジ
タル画像における顔パターンは、計算された最大加重合計が予め定義された閾値を超える
として、計算された最大加重合計を有するギャラリー画像に属すると分類される。
【選択図】図２
Description
本発明の実施形態は自動顔認識に関する。具体的に、本発明の実施形態例は外観ベース
の手法を用いる自動顔認識の方法に関する。
の手法を用いる自動顔認識の方法に関する。
顔認識システムは既知の関心被写体のセットが提供する顔画像からなり、ギャラリーと
して知られるデータベースを一般的に含む。顔認識システムの目的はプローブとして知ら
れる未知の入力顔画像の正体を判定することにある。言い換えれば、顔認識システムの課
題はプローブ画像が属するギャラリー被写体を判定することにある（例えば特許文献１参
照）。
さまざまな顔認識方法の中で、二次元の顔画像を全体的なパターンとして扱う外観ベー
スの方法は最も有望な解決法の中に入り、この１０年間で顔認識文献を支配している。外
観ベースの方法において、各顔パターンは画像内のピクセル強度値からなる列ベクトルで
表される。従って顔認識は多変量統計パターン認識問題とみなされる。
して知られるデータベースを一般的に含む。顔認識システムの目的はプローブとして知ら
れる未知の入力顔画像の正体を判定することにある。言い換えれば、顔認識システムの課
題はプローブ画像が属するギャラリー被写体を判定することにある（例えば特許文献１参
照）。
さまざまな顔認識方法の中で、二次元の顔画像を全体的なパターンとして扱う外観ベー
スの方法は最も有望な解決法の中に入り、この１０年間で顔認識文献を支配している。外
観ベースの方法において、各顔パターンは画像内のピクセル強度値からなる列ベクトルで
表される。従って顔認識は多変量統計パターン認識問題とみなされる。
この方法における大きな問題はサンプル空間の高次元性と相俟って、「小サンプルサイ
ズ」問題としても知られる学習用に利用可能な顔サンプルの限られた数である。小サンプ
ルサイズ問題は多くの学習アルゴリズムを数学的に扱い難く、または実験的に不安定にす
る。特に、現実的な用途シナリオにおいて広く見られる状況であるように、被写体毎に１
つのみの画像サンプルがある場合、小サンプルサイズ問題はさらに難しくなる。
ズ」問題としても知られる学習用に利用可能な顔サンプルの限られた数である。小サンプ
ルサイズ問題は多くの学習アルゴリズムを数学的に扱い難く、または実験的に不安定にす
る。特に、現実的な用途シナリオにおいて広く見られる状況であるように、被写体毎に１
つのみの画像サンプルがある場合、小サンプルサイズ問題はさらに難しくなる。
本発明の顔認識方法は、（１）プローブデジタル画像において顔パターンを検出するス
テップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有することを特徴とする。
テップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有することを特徴とする。
また本発明の顔認識方法において、前記ステップ（３）は、前記顔パターンにマスクを
適用して顔ではない部分を除去するステップをさらに有することを特徴とする。
適用して顔ではない部分を除去するステップをさらに有することを特徴とする。
また本発明の顔認識方法において、前記ステップ（３）は、マスク化された前記顔パタ
ーンにヒストグラム均等化を実施するステップをさらに有することを特徴とする。
ーンにヒストグラム均等化を実施するステップをさらに有することを特徴とする。
一方、本発明のコンピューター読み取り可能な媒体は、プログラマブルプロセッサーに
より実行されると自動顔認識の方法を実施するコンピューター読み取り命令を有する１つ
以上のコンピューター読み取り可能な媒体であって、
前記方法は、
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有することを特徴とする。
より実行されると自動顔認識の方法を実施するコンピューター読み取り命令を有する１つ
以上のコンピューター読み取り可能な媒体であって、
前記方法は、
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有することを特徴とする。
また本発明のコンピューター読み取り可能な媒体において、前記ステップ（３）はさら
に、前記顔パターンにマスクを適用して顔ではない部分を除去し、前記マスク化された顔
パターンにヒストグラム均等化を実施するステップを有することを特徴とする。
に、前記顔パターンにマスクを適用して顔ではない部分を除去し、前記マスク化された顔
パターンにヒストグラム均等化を実施するステップを有することを特徴とする。
さらに本発明の画像処理装置は、電子ディスプレイと、
前記電子ディスプレイと電子的に通信するプロセッサーとを有する画像処理装置であっ
て、
前記プロセッサーと電子的に通信する１つ以上のコンピューター読み取り可能な媒体が
前記プロセッサーにより実行されると、前記プロセッサーは以下のステップ（１）乃至（
１１）を実施させることを特徴とする。
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップと、
（１１）前記プローブデジタル画像が属するギャラリー画像に対応するデータを表示用
に前記電子ディスプレイに送信するステップ。
前記電子ディスプレイと電子的に通信するプロセッサーとを有する画像処理装置であっ
て、
前記プロセッサーと電子的に通信する１つ以上のコンピューター読み取り可能な媒体が
前記プロセッサーにより実行されると、前記プロセッサーは以下のステップ（１）乃至（
１１）を実施させることを特徴とする。
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて２つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記２つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップと、
（１１）前記プローブデジタル画像が属するギャラリー画像に対応するデータを表示用
に前記電子ディスプレイに送信するステップ。
さらに本発明の画像処理装置において、
フォトビューアーと、
コンピューター読み取り可能な媒体ＲＡＭ、ＲＯＭ、およびフラッシュＥＥＰＲＯＭの
１つ以上とをさらに有し、
前記電子ディスプレイは液晶ディスプレイを有しても良い。
フォトビューアーと、
コンピューター読み取り可能な媒体ＲＡＭ、ＲＯＭ、およびフラッシュＥＥＰＲＯＭの
１つ以上とをさらに有し、
前記電子ディスプレイは液晶ディスプレイを有しても良い。
本発明は全般的に、実施形態例は外観ベースの手法を用いる自動顔認識の方法に関する
。いくつかの実施形態例は各被写体に対し単一の画像が登録されることを必要とし、ガボ
ール方法、ベイズ学習、およびサポート・ベクトル・マシン（ＳＶＭ）ベースの分類の長
所を組み合わせている。
。いくつかの実施形態例は各被写体に対し単一の画像が登録されることを必要とし、ガボ
ール方法、ベイズ学習、およびサポート・ベクトル・マシン（ＳＶＭ）ベースの分類の長
所を組み合わせている。
第1実施形態例において、自動顔認識の方法にはいくつかの行為が含まれる。最初にプ
ローブデジタル画像において顔パターンが検出される。次に顔パターンにおいて2つの目
パターンが検出される。次に顔パターンを回転しサイズ変更して2つの目パターンの中心
を所定ピクセル上に配置することにより顔パターンが正規化される。次に正規化顔パター
ンがガボール特徴表現の正規化顔特徴ベクトルに変換される。その後、正規化顔特徴ベク
トルおよび画像のギャラリーにおけるギャラリー画像の正規化ギャラリー画像特徴ベクト
ルを用いて差分画像ベクトルが計算される。次に、差分画像ベクトルは予め収集された訓
練用の顔データベースから抽出されたより低次元の被写体内の下部空間に投影される。そ
の後、投影の各成分に二乗機能が適用される。次に、二乗投影の加重合計が計算される。
その後、画像のギャラリーにおける正規化ギャラリー画像特徴ベクトル各々に対しこれま
での4つの行為が繰り返される。最後に、プローブデジタル画像における顔パターンは、
計算された最大加重合計が予め定義された閾値を超えるとして、計算された最大加重合計
を有するギャラリー画像に属すると分類される。
ローブデジタル画像において顔パターンが検出される。次に顔パターンにおいて2つの目
パターンが検出される。次に顔パターンを回転しサイズ変更して2つの目パターンの中心
を所定ピクセル上に配置することにより顔パターンが正規化される。次に正規化顔パター
ンがガボール特徴表現の正規化顔特徴ベクトルに変換される。その後、正規化顔特徴ベク
トルおよび画像のギャラリーにおけるギャラリー画像の正規化ギャラリー画像特徴ベクト
ルを用いて差分画像ベクトルが計算される。次に、差分画像ベクトルは予め収集された訓
練用の顔データベースから抽出されたより低次元の被写体内の下部空間に投影される。そ
の後、投影の各成分に二乗機能が適用される。次に、二乗投影の加重合計が計算される。
その後、画像のギャラリーにおける正規化ギャラリー画像特徴ベクトル各々に対しこれま
での4つの行為が繰り返される。最後に、プローブデジタル画像における顔パターンは、
計算された最大加重合計が予め定義された閾値を超えるとして、計算された最大加重合計
を有するギャラリー画像に属すると分類される。
第3実施形態例において、1つ以上のコンピューター読み取り可能な媒体は実行されると
第1実施形態例に関連して上述された自動顔認識方法を実施するコンピューター読み取り
可能な命令を搭載している。
第1実施形態例に関連して上述された自動顔認識方法を実施するコンピューター読み取り
可能な命令を搭載している。
第4実施形態例において、画像処理装置は電子ディスプレイ、電子ディスプレイと電子
的に通信するプロセッサー、およびプロセッサーと電子的に通信する1つ以上のコンピュ
ーター読み取り可能な媒体を含む。1つ以上のコンピューター読み取り可能な媒体はプロ
セッサーにより実行されるとプロセッサーに第1実施形態例に関連して上述された自動顔
認識方法を実施させるとともにプローブデジタル画像が属するギャラリー画像に対応する
データを表示用に電子ディスプレイに送信する行為を実施させるコンピューター読み取り
可能な命令を搭載している。
的に通信するプロセッサー、およびプロセッサーと電子的に通信する1つ以上のコンピュ
ーター読み取り可能な媒体を含む。1つ以上のコンピューター読み取り可能な媒体はプロ
セッサーにより実行されるとプロセッサーに第1実施形態例に関連して上述された自動顔
認識方法を実施させるとともにプローブデジタル画像が属するギャラリー画像に対応する
データを表示用に電子ディスプレイに送信する行為を実施させるコンピューター読み取り
可能な命令を搭載している。
本発明は以下の詳細な説明においてさらに説明される、選ばれたいくつかの概念を簡単
な形で紹介するために提供される。以下に続く説明においてさらなる特徴が示され、ある
程度説明から明らかであり、または本明細書における教示の実施により学ぶことができる
。発明の特徴は添付クレームに具体的に指摘される手段および組み合わせにより実現し得
ることができる。本発明の特徴は以下の説明および添付クレームからより完全に明らかに
なり、または本明細書において以下示される発明の実施により学ぶことができる。
な形で紹介するために提供される。以下に続く説明においてさらなる特徴が示され、ある
程度説明から明らかであり、または本明細書における教示の実施により学ぶことができる
。発明の特徴は添付クレームに具体的に指摘される手段および組み合わせにより実現し得
ることができる。本発明の特徴は以下の説明および添付クレームからより完全に明らかに
なり、または本明細書において以下示される発明の実施により学ぶことができる。
発明の上記実施形態例および他の態様をさらに展開するために、これらの例のより詳細
な説明が添付図面に開示されるそれらの具体的な実施形態を参照して示される。これらの
図面は発明の実施形態例を描くのみで、従ってその範囲を限定するものとみなされないこ
とが理解されよう。さらに図面は発明の実施形態例の図表的および略図的な表示である、
本発明を限定するものではないことが理解されよう。発明の実施形態例は添付図面を用い
ることによりさらに具体的かつ詳細に開示され説明される。
な説明が添付図面に開示されるそれらの具体的な実施形態を参照して示される。これらの
図面は発明の実施形態例を描くのみで、従ってその範囲を限定するものとみなされないこ
とが理解されよう。さらに図面は発明の実施形態例の図表的および略図的な表示である、
本発明を限定するものではないことが理解されよう。発明の実施形態例は添付図面を用い
ることによりさらに具体的かつ詳細に開示され説明される。
以下の詳細な説明において、例示の目的で発明の実施形態例を示す添付図面が参照され
る。それぞれの図を通し、図面上類似した数字は実質的に類似した構成要素を指す。これ
らの実施形態は当業者が発明を実施できるよう充分詳細に説明される。本発明の範囲を逸
脱することなく他の実施形態を利用することができ、構造的、論理的、および電気的変更
をなすことができる。
る。それぞれの図を通し、図面上類似した数字は実質的に類似した構成要素を指す。これ
らの実施形態は当業者が発明を実施できるよう充分詳細に説明される。本発明の範囲を逸
脱することなく他の実施形態を利用することができ、構造的、論理的、および電気的変更
をなすことができる。
さらに、発明のさまざまな実施形態は、異なっていても必ずしも互いに排他的ではない
ことが理解されよう。例えば、一実施形態において説明される特定の特徴、構造、または
特性は他の実施形態に含まれることができる。以下の詳細な説明は従って限定的な意味で
理解されるものではなく、本発明の範囲は添付クレームとともにこれらクレームが権利を
有する均等物の完全な範囲によってのみ規定される。
ことが理解されよう。例えば、一実施形態において説明される特定の特徴、構造、または
特性は他の実施形態に含まれることができる。以下の詳細な説明は従って限定的な意味で
理解されるものではなく、本発明の範囲は添付クレームとともにこれらクレームが権利を
有する均等物の完全な範囲によってのみ規定される。
全般的に、実施形態例は外観ベースの手法を用いる自動顔認識の方法に関する。実施形
態例を用いてプローブ画像が属するギャラリー被写体を自動的に判定することができる。
従来のシステムや線形判別分析（ＬＤＡ）ベースの方法を用いる方法とは異なり、本明細
書で開示される実施形態は「1サンプル」のシナリオにおいてベイズ学習手法を利用し、
システムおよび方法が特定される被写体とはことなる被写体に対する訓練を用いている。
加えて、従来の最尤推定または最大事後確率の分類規則を用いる代わりに、本明細書で開
示される実施形態例は正則化特徴表現により高度のＳＶＭベースの分類器を適用すること
によりさらに認識性能を向上させる。
態例を用いてプローブ画像が属するギャラリー被写体を自動的に判定することができる。
従来のシステムや線形判別分析（ＬＤＡ）ベースの方法を用いる方法とは異なり、本明細
書で開示される実施形態は「1サンプル」のシナリオにおいてベイズ学習手法を利用し、
システムおよび方法が特定される被写体とはことなる被写体に対する訓練を用いている。
加えて、従来の最尤推定または最大事後確率の分類規則を用いる代わりに、本明細書で開
示される実施形態例は正則化特徴表現により高度のＳＶＭベースの分類器を適用すること
によりさらに認識性能を向上させる。
Ｉ．環境例
本明細書で開示される方法例およびこれらの変形はコンピューター実行可能な命令を搭
載もしくは有し、またはデータ構造を記憶するコンピューター読み取り可能な媒体を用い
て実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特
殊用途のコンピューターによりアクセスできる任意の入手可能な媒体であって良い。限定
ではなく例として、このようなコンピューター読み取り可能な媒体はＲＡＭ、ＲＯＭ、Ｅ
ＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もし
くは他の磁気ディスク記憶装置、またはコンピューター実行可能な命令の形を取るプログ
ラムコードもしくはデータ構造を搭載もしくは記憶するために用いられ、汎用もしくは特
殊用途のコンピューターのプロセッサーによりアクセスされ得る他の任意の媒体を有して
なることができる。上記の組み合わせもコンピューター読み取り可能な媒体の範囲に入れ
られるべきである。
本明細書で開示される方法例およびこれらの変形はコンピューター実行可能な命令を搭
載もしくは有し、またはデータ構造を記憶するコンピューター読み取り可能な媒体を用い
て実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特
殊用途のコンピューターによりアクセスできる任意の入手可能な媒体であって良い。限定
ではなく例として、このようなコンピューター読み取り可能な媒体はＲＡＭ、ＲＯＭ、Ｅ
ＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もし
くは他の磁気ディスク記憶装置、またはコンピューター実行可能な命令の形を取るプログ
ラムコードもしくはデータ構造を搭載もしくは記憶するために用いられ、汎用もしくは特
殊用途のコンピューターのプロセッサーによりアクセスされ得る他の任意の媒体を有して
なることができる。上記の組み合わせもコンピューター読み取り可能な媒体の範囲に入れ
られるべきである。
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途コンピュー
ターなどの装置のプロセッサーに特定の機能または機能のグループを行なわせる命令およ
びデータを有してなる。本明細書において主題は方法行為固有の言葉で説明されるが、添
付クレームに定義される主題は本明細書に説明される具体的な行為に必ずしも限定されな
いことが理解されよう。むしろ、本明細書で説明される具体的な行為はクレームを実施す
る形の例として開示される。
ターなどの装置のプロセッサーに特定の機能または機能のグループを行なわせる命令およ
びデータを有してなる。本明細書において主題は方法行為固有の言葉で説明されるが、添
付クレームに定義される主題は本明細書に説明される具体的な行為に必ずしも限定されな
いことが理解されよう。むしろ、本明細書で説明される具体的な行為はクレームを実施す
る形の例として開示される。
特殊用途コンピューターの例はデジタルカメラ（例としては長野県諏訪市大和に本社を
置くセイコーエプソン（株）製のR−D1デジタルカメラが含まれるが、これに限定されな
い）、デジタルカムコーダー、プロジェクター、プリンター、スキャナー（例としてはす
べてセイコーエプソン（株）製のEpson Perfection（Ｃ）V200、V300、V500、V700、4490
、およびV750−MPro、Epson Expression（Ｃ）10000XL、ならびにEpson GT−1500、GT−2
500、GT−15000、GT−20000、およびGT−30000を含むがこれらに限定されない）、携帯フ
ォトビューアー（例としてはセイコーエプソン（株）製のEpson P−3000またはP−5000携
帯フォトビューアーを含むが、これらに限定されない）、または携帯映画プレーヤー、ま
たはプリンター／スキャナー／コピー機の組み合わせ（例としてはセイコーエプソン（株
）製のEpsonStylusPhotoRX580、RX595、またはRX680、Epson Stylus CX4400、CX7400、CX
8400、またはCX9400FaxおよびEpson AcuLaser（登録商標）CX11NFが含まれるが、これら
に限定されない）、またはデジタルカメラ／カムコーダーの組み合わせなどの画像処理装
置を含む。画像処理装置は例えばプローブ画像が属するギャラリー被写体を自動的に判定
するために顔認識機能を含むことができる。
置くセイコーエプソン（株）製のR−D1デジタルカメラが含まれるが、これに限定されな
い）、デジタルカムコーダー、プロジェクター、プリンター、スキャナー（例としてはす
べてセイコーエプソン（株）製のEpson Perfection（Ｃ）V200、V300、V500、V700、4490
、およびV750−MPro、Epson Expression（Ｃ）10000XL、ならびにEpson GT−1500、GT−2
500、GT−15000、GT−20000、およびGT−30000を含むがこれらに限定されない）、携帯フ
ォトビューアー（例としてはセイコーエプソン（株）製のEpson P−3000またはP−5000携
帯フォトビューアーを含むが、これらに限定されない）、または携帯映画プレーヤー、ま
たはプリンター／スキャナー／コピー機の組み合わせ（例としてはセイコーエプソン（株
）製のEpsonStylusPhotoRX580、RX595、またはRX680、Epson Stylus CX4400、CX7400、CX
8400、またはCX9400FaxおよびEpson AcuLaser（登録商標）CX11NFが含まれるが、これら
に限定されない）、またはデジタルカメラ／カムコーダーの組み合わせなどの画像処理装
置を含む。画像処理装置は例えばプローブ画像が属するギャラリー被写体を自動的に判定
するために顔認識機能を含むことができる。
例えば、この自動顔認識機能を有する携帯フォトビューアーは本明細書で開示される方
法例を実施する1つ以上のコンピューター読み取り可能な媒体を含むことができ、または
携帯フォトビューアーに接続されるコンピューターが本明細書で開示される方法例を実施
する1つ以上のコンピューター読み取り可能な媒体を含むことができる。
法例を実施する1つ以上のコンピューター読み取り可能な媒体を含むことができ、または
携帯フォトビューアーに接続されるコンピューターが本明細書で開示される方法例を実施
する1つ以上のコンピューター読み取り可能な媒体を含むことができる。
任意の撮像装置を用いることが可能であるが、例示上図1において概略的表示が示され
る携帯フォトビューアー100の例に関連して実施形態例を説明する。携帯フォトビューア
ー100は介在するインターフェイス102経由でホストコンピューター150とデータを交換す
る。アプリケーションプログラムおよび携帯フォトビューアー100のドライバーもアクセ
ス用にホストコンピューター150上に記憶されることができる。画像検索命令が例えばア
プリケーションプログラムから受信されると、携帯フォトビューアー100のドライバーは
命令データの携帯フォトビューアー100に適したフォーマットへの変換を制御し、変換さ
れた命令データを携帯フォトビューアー100に送信する。ドライバーはさらに携帯フォト
ビューアー100からのさまざまな信号およびデータを受信し解釈し、ホストコンピュータ
ー150経由で必要な情報をユーザーに提供する。
る携帯フォトビューアー100の例に関連して実施形態例を説明する。携帯フォトビューア
ー100は介在するインターフェイス102経由でホストコンピューター150とデータを交換す
る。アプリケーションプログラムおよび携帯フォトビューアー100のドライバーもアクセ
ス用にホストコンピューター150上に記憶されることができる。画像検索命令が例えばア
プリケーションプログラムから受信されると、携帯フォトビューアー100のドライバーは
命令データの携帯フォトビューアー100に適したフォーマットへの変換を制御し、変換さ
れた命令データを携帯フォトビューアー100に送信する。ドライバーはさらに携帯フォト
ビューアー100からのさまざまな信号およびデータを受信し解釈し、ホストコンピュータ
ー150経由で必要な情報をユーザーに提供する。
ホストコンピューター150からデータが送信されると、インターフェイス102はデータを
受信し、ＲＡＭ104の一部を形成する受信バッファーに記憶する。ＲＡＭ104は例えばアド
レス指定を通していくつかの部分に分け、受信バッファーまたは送信バッファーなどの異
なるバッファーとして割り当てることができる。例えば、デジタル写真画像データをホス
トコンピューター150から携帯フォトビューアー100に送信することができる。このデジタ
ル写真画像データはその後ＲＡＭ104の受信バッファーまたは送信バッファーに記憶する
ことができる。
受信し、ＲＡＭ104の一部を形成する受信バッファーに記憶する。ＲＡＭ104は例えばアド
レス指定を通していくつかの部分に分け、受信バッファーまたは送信バッファーなどの異
なるバッファーとして割り当てることができる。例えば、デジタル写真画像データをホス
トコンピューター150から携帯フォトビューアー100に送信することができる。このデジタ
ル写真画像データはその後ＲＡＭ104の受信バッファーまたは送信バッファーに記憶する
ことができる。
プロセッサー106は例えばＲＯＭ108またはフラッシュＥＥＰＲＯＭ110に記憶されたコ
ンピューター実行可能な命令を用いて本明細書で開示される自動顔認識方法例などの特定
機能または機能のグループを実施する。ＲＡＭ104の受信バッファーにおけるデータが例
えば2つ以上のデジタル写真画像である場合、プロセッサー106は本明細書で開示される自
動顔認識の方法例をデジタル写真画像に実施してプローブ画像が属するギャラリー被写体
を自動的に判定することができる。プローブ画像が属するギャラリー画像に対応するデー
タはその後携帯フォトビューアー100により例えば表示用にディスプレイ112に送信される
か、ホストコンピューター150に転送することができる。
ンピューター実行可能な命令を用いて本明細書で開示される自動顔認識方法例などの特定
機能または機能のグループを実施する。ＲＡＭ104の受信バッファーにおけるデータが例
えば2つ以上のデジタル写真画像である場合、プロセッサー106は本明細書で開示される自
動顔認識の方法例をデジタル写真画像に実施してプローブ画像が属するギャラリー被写体
を自動的に判定することができる。プローブ画像が属するギャラリー画像に対応するデー
タはその後携帯フォトビューアー100により例えば表示用にディスプレイ112に送信される
か、ホストコンピューター150に転送することができる。
プローブ画像が属するギャラリー画像に対応するデータは例えば名前、生年月日、およ
び／または連絡先情報など、ギャラリー画像において描かれる人間の識別情報であること
ができる。このデータはさらに／代わりに例えば画像ファイル名、ファイルサイズ、画像
解像度、および／または画像がデジタル写真として取り込まれた日付などギャラリー画像
に関する情報を含むことができる。プロセッサー106はディスプレイ112と電子的に通信し
ており、後者は任意の種類の電子ディスプレイであって良く、視覚的ディスプレイ、聴覚
的ディスプレイ、または触覚的ディスプレイを含むがこれらに限定されない。例えば、デ
ィスプレイ112は液晶ディスプレイ（ＬＣＤ）などの視覚的電子ディスプレイであること
ができる。
び／または連絡先情報など、ギャラリー画像において描かれる人間の識別情報であること
ができる。このデータはさらに／代わりに例えば画像ファイル名、ファイルサイズ、画像
解像度、および／または画像がデジタル写真として取り込まれた日付などギャラリー画像
に関する情報を含むことができる。プロセッサー106はディスプレイ112と電子的に通信し
ており、後者は任意の種類の電子ディスプレイであって良く、視覚的ディスプレイ、聴覚
的ディスプレイ、または触覚的ディスプレイを含むがこれらに限定されない。例えば、デ
ィスプレイ112は液晶ディスプレイ（ＬＣＤ）などの視覚的電子ディスプレイであること
ができる。
携帯フォトビューアー100はデジタル写真画像を、フラッシュＥＥＰＲＯＭ110またはＲ
ＯＭ108を含むがこれらに限定されない、ホストコンピューター150以外の出所から受信し
得ることが理解されよう。携帯フォトビューアー100の実施形態例は本明細書で開示され
る携帯フォトビューアーの機種を含むが、これらに限定されない。
ＯＭ108を含むがこれらに限定されない、ホストコンピューター150以外の出所から受信し
得ることが理解されよう。携帯フォトビューアー100の実施形態例は本明細書で開示され
る携帯フォトビューアーの機種を含むが、これらに限定されない。
ＩＩ．方法例
図2は自動顔認識の方法例200のフローチャートである。以下図2に関連して自動顔認識
の方法例200を説明する。方法例200を実施する前に、画像のギャラリーとの比較による顔
認識用にプローブ画像が対象とされる。
まず202で、プローブデジタル画像において顔パターンが検出する。次に204で、検出さ
れた顔パターンにおいて2つの目パターンが検出される。その後206で、検出された顔パタ
ーンは顔パターンを回転しサイズ変更して2つの目パターンの中心を所定ピクセル上に配
置することにより正規化される。次に208で、正規化顔パターンはガボール特徴表現の正
規化顔特徴ベクトルに変換される。その後210で、正規化顔特徴ベクトルおよび画像のギ
ャラリーにおけるギャラリー画像の正規化ギャラリー画像特徴ベクトルを用いて差分画像
ベクトルが計算される。次に212で、差分画像ベクトルは予め収集された学習顔のデータ
ベースから抽出されたより低い次元の被写体内の下部空間に投影される。その後214で、
投影の各成分に二乗機能が適用される。次に216で、二乗投影の加重合計が計算される。
その後行為218で、画像のギャラリーにおける正規化ギャラリー画像特徴ベクトル各々に
対し行為210〜216が繰り返される。最後に220で、プローブデジタル画像における顔パタ
ーンは計算された最大加重合計が予め定義された閾値を超えるとした場合、計算された最
大加重合計を有するギャラリー画像に属すると分類される。
図2は自動顔認識の方法例200のフローチャートである。以下図2に関連して自動顔認識
の方法例200を説明する。方法例200を実施する前に、画像のギャラリーとの比較による顔
認識用にプローブ画像が対象とされる。
まず202で、プローブデジタル画像において顔パターンが検出する。次に204で、検出さ
れた顔パターンにおいて2つの目パターンが検出される。その後206で、検出された顔パタ
ーンは顔パターンを回転しサイズ変更して2つの目パターンの中心を所定ピクセル上に配
置することにより正規化される。次に208で、正規化顔パターンはガボール特徴表現の正
規化顔特徴ベクトルに変換される。その後210で、正規化顔特徴ベクトルおよび画像のギ
ャラリーにおけるギャラリー画像の正規化ギャラリー画像特徴ベクトルを用いて差分画像
ベクトルが計算される。次に212で、差分画像ベクトルは予め収集された学習顔のデータ
ベースから抽出されたより低い次元の被写体内の下部空間に投影される。その後214で、
投影の各成分に二乗機能が適用される。次に216で、二乗投影の加重合計が計算される。
その後行為218で、画像のギャラリーにおける正規化ギャラリー画像特徴ベクトル各々に
対し行為210〜216が繰り返される。最後に220で、プローブデジタル画像における顔パタ
ーンは計算された最大加重合計が予め定義された閾値を超えるとした場合、計算された最
大加重合計を有するギャラリー画像に属すると分類される。
ＩＩＩ．方法例の実施例
図2における方法例200の実施例が以下図3〜8に関連して開示される。図3に開示される
ように、方法例300は以下のプロセス：顔検出302、目検出304、顔正規化306、ガボール特
徴抽出308、ベイズ特徴抽出310、および分類312；を含む。これらのプロセス各々を以下
順に説明する。
次に図4を参照すると、顔正規化プロセス例400が開示される。202で、プローブデジタ
ル画像402において顔パターン404が検出される。プローブデジタル画像402がフルカラー
画像である場合、プローブデジタル画像402は例えばYCbCr色空間における輝度成分以外の
すべてを除去することによりグレースケールに変換することができる。代わりに赤、緑、
および青チャンネル値を（Ｒ＋Ｇ＋Ｂ）／３として平均化するなど、他の色からグレース
ケールへの変換演算子も適用することができる。その後204で、検出された顔パターン404
において2つの目パターン406が検出される。次に、異なるサイズの顔および異なる面内回
転に対応するために206で、検出された顔パターン404は顔パターン404を回転しサイズ変
更して2つの目パターン406の中心を所定ピクセル上に配置することにより正規化され、回
転され拡大縮小された顔パターン408をもたらす。例えば206で、顔パターン404は検出さ
れた目パターン406の中心が特定ピクセル上に配置され、画像サイズが例えば64ピクセル
×56ピクセルなど特定サイズに正規化されるよう回転され、拡大縮小されることができる
。加えて、206における正規化はさらに検出された顔パターン408にマスク410を適用して
顔ではない部分を除去することを含み得る。206における正規化はマスク化の検出された
顔パターンにヒストグラム均等化を実施することも含み得、顔パターン412がもたらされ
る。
図2における方法例200の実施例が以下図3〜8に関連して開示される。図3に開示される
ように、方法例300は以下のプロセス：顔検出302、目検出304、顔正規化306、ガボール特
徴抽出308、ベイズ特徴抽出310、および分類312；を含む。これらのプロセス各々を以下
順に説明する。
次に図4を参照すると、顔正規化プロセス例400が開示される。202で、プローブデジタ
ル画像402において顔パターン404が検出される。プローブデジタル画像402がフルカラー
画像である場合、プローブデジタル画像402は例えばYCbCr色空間における輝度成分以外の
すべてを除去することによりグレースケールに変換することができる。代わりに赤、緑、
および青チャンネル値を（Ｒ＋Ｇ＋Ｂ）／３として平均化するなど、他の色からグレース
ケールへの変換演算子も適用することができる。その後204で、検出された顔パターン404
において2つの目パターン406が検出される。次に、異なるサイズの顔および異なる面内回
転に対応するために206で、検出された顔パターン404は顔パターン404を回転しサイズ変
更して2つの目パターン406の中心を所定ピクセル上に配置することにより正規化され、回
転され拡大縮小された顔パターン408をもたらす。例えば206で、顔パターン404は検出さ
れた目パターン406の中心が特定ピクセル上に配置され、画像サイズが例えば64ピクセル
×56ピクセルなど特定サイズに正規化されるよう回転され、拡大縮小されることができる
。加えて、206における正規化はさらに検出された顔パターン408にマスク410を適用して
顔ではない部分を除去することを含み得る。206における正規化はマスク化の検出された
顔パターンにヒストグラム均等化を実施することも含み得、顔パターン412がもたらされ
る。
行為206における検出された顔パターン404の正規化は物理的かつ実体のある物体を表す
電子データを変換することが特記される。具体的に、図示例において電子データは人間の
顔を表す。行為206の際、データは第1状態から第2状態に変換される。第1状態において、
データは第1ポーズにある人間の顔を表し、その例は顔がやや左に傾いている検出された
顔パターン404に開示される。第2状態において、データは第2ポーズにある人間の顔を表
し、その例は顔がどちら側にも傾かず実質的に水平である回転され拡大縮小された顔パタ
ーン408に開示される。同様に、検出された顔パターン408へのマスク410を適用して顔で
はない部分を除去した顔パターン412が開示される。マスク化の検出された顔パターン408
へのヒストグラム均等化の実施は各々物理的かつ実体のある物体、すなわち人間の顔、を
表すデータを変換する工程である。
電子データを変換することが特記される。具体的に、図示例において電子データは人間の
顔を表す。行為206の際、データは第1状態から第2状態に変換される。第1状態において、
データは第1ポーズにある人間の顔を表し、その例は顔がやや左に傾いている検出された
顔パターン404に開示される。第2状態において、データは第2ポーズにある人間の顔を表
し、その例は顔がどちら側にも傾かず実質的に水平である回転され拡大縮小された顔パタ
ーン408に開示される。同様に、検出された顔パターン408へのマスク410を適用して顔で
はない部分を除去した顔パターン412が開示される。マスク化の検出された顔パターン408
へのヒストグラム均等化の実施は各々物理的かつ実体のある物体、すなわち人間の顔、を
表すデータを変換する工程である。
その後ガボール・ウェーブレット係数の辞書的に順序付けることによりガボール特徴ベ
クトルが形成され、143，360（＝64×56×8×5）のベクトル長をもたらす。ガボール特徴
空間の次元性は非常に高く、さらなる計算が難しくなることが分かる。
クトルが形成され、143，360（＝64×56×8×5）のベクトル長をもたらす。ガボール特徴
空間の次元性は非常に高く、さらなる計算が難しくなることが分かる。
ガボール特徴抽出の後、各顔パターンは列ベクトルとして表され、実施例300において
はＪ＝8960の長さを有する。従って、顔認識は高次元空間における統計パターン認識問題
とみなすことができる。このような高次元空間において直接分類は難しく、または時には
いわゆる「次元の呪い」問題のために手に負えないことがある。従って、本明細書で開示
される実施形態例においては統計的特徴抽出（次元縮小）手順に従い、元の高次元空間を
、顔サンプルが良くクラスターされ分離されていることが予期されるはるかに低い下部空
間に投影する。
はＪ＝8960の長さを有する。従って、顔認識は高次元空間における統計パターン認識問題
とみなすことができる。このような高次元空間において直接分類は難しく、または時には
いわゆる「次元の呪い」問題のために手に負えないことがある。従って、本明細書で開示
される実施形態例においては統計的特徴抽出（次元縮小）手順に従い、元の高次元空間を
、顔サンプルが良くクラスターされ分離されていることが予期されるはるかに低い下部空
間に投影する。
実施例300において、212でベイズ枠組みを用いて元のガボール特徴空間をより低次元の
、被写体内下部空間と呼ばれる空間に投影する。次にベイズ解決を検討した上で被写体内
下部空間をどのように抽出するかの詳細な誘導法が続く。
、被写体内下部空間と呼ばれる空間に投影する。次にベイズ解決を検討した上で被写体内
下部空間をどのように抽出するかの詳細な誘導法が続く。
次に図7を参照すると、上述されたベイズ枠組みの下での訓練プロセス700および操作プ
ロセス750が開示される。訓練プロセス700において、差分画像のセット（ガボールベクト
ルで表される）が収集され、被写体内下部空間を抽出し分類器を訓練する。操作プロセス
750において、プローブ画像および各ギャラリー画像間の差分画像ベクトルは抽出された
被写体内下部空間に投影され、これに分類手順が続く。出力として入力差分ベクトルが被
写体内クラスに属する確率を示す信頼度値が得られる。従って最大信頼度値が所定閾値を
超える限り、プローブの識別は最大信頼度値をもたらすギャラリー画像に属する。最大信
頼度値が所定閾値を超えない場合、プローブはギャラリーにない被写体に属すると判定さ
れる。
縮小被写体内空間において、線形ＳＶＭ分類器を適用してさらに被写体内および被写体
間のサンプルを分離する。さらにシステムの一般化性能を向上させるために、異なる被写
体内および被写体間のサンプルを収集してＳＶＭ分類器を訓練することができる。
ロセス750が開示される。訓練プロセス700において、差分画像のセット（ガボールベクト
ルで表される）が収集され、被写体内下部空間を抽出し分類器を訓練する。操作プロセス
750において、プローブ画像および各ギャラリー画像間の差分画像ベクトルは抽出された
被写体内下部空間に投影され、これに分類手順が続く。出力として入力差分ベクトルが被
写体内クラスに属する確率を示す信頼度値が得られる。従って最大信頼度値が所定閾値を
超える限り、プローブの識別は最大信頼度値をもたらすギャラリー画像に属する。最大信
頼度値が所定閾値を超えない場合、プローブはギャラリーにない被写体に属すると判定さ
れる。
縮小被写体内空間において、線形ＳＶＭ分類器を適用してさらに被写体内および被写体
間のサンプルを分離する。さらにシステムの一般化性能を向上させるために、異なる被写
体内および被写体間のサンプルを収集してＳＶＭ分類器を訓練することができる。
予め定義された学習精度を達成するのに必要な訓練サンプルサイズは本件において被写
体内の次元性（Ｍ）であるサンプル空間の次元性に指数関数的に依存することが統計的学
習理論で示さている。これは中程度のＭ値（例、本件においてＭ＝492）について多数の
訓練サンプルが予期されることを示す。しかし、実際的な用途において、利用可能な訓練
サンプルは常に限定されている。訓練サンプルの不足対サンプル空間の高次元性は過学習
の問題につながり、低い一般化性能をもたらす。システムの一般化能力を向上させるため
に実施例300は正則化戦略を用いて推定変動を減らす。
体内の次元性（Ｍ）であるサンプル空間の次元性に指数関数的に依存することが統計的学
習理論で示さている。これは中程度のＭ値（例、本件においてＭ＝492）について多数の
訓練サンプルが予期されることを示す。しかし、実際的な用途において、利用可能な訓練
サンプルは常に限定されている。訓練サンプルの不足対サンプル空間の高次元性は過学習
の問題につながり、低い一般化性能をもたらす。システムの一般化能力を向上させるため
に実施例300は正則化戦略を用いて推定変動を減らす。
本発明はその精神または基本的な特徴から逸脱することなく他の具体的な形において具
現され得る。本明細書において説明される実施形態はすべての面において限定的ではなく
例示的のみとみなされる。従って発明の範囲は前述の説明ではなく添付クレームによって
示される。クレームと均等の意味および範囲内に入るすべての変更はその範囲に包含され
る。
現され得る。本明細書において説明される実施形態はすべての面において限定的ではなく
例示的のみとみなされる。従って発明の範囲は前述の説明ではなく添付クレームによって
示される。クレームと均等の意味および範囲内に入るすべての変更はその範囲に包含され
る。
４０２ プローブデジタル画像
４０４ 顔パターン
４０６ ２つの目パターン
４０８ 回転／縮小拡大された顔パターン
４１０ マスク。
４０４ 顔パターン
４０６ ２つの目パターン
４０８ 回転／縮小拡大された顔パターン
４１０ マスク。
Claims (20)
- （１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて2つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記2つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有する顔認識方法。 - 前記ステップ（３）は、前記顔パターンにマスクを適用して顔ではない部分を除去する
ステップをさらに有する請求項１に記載の顔認識方法。 - 前記ステップ（３）は、マスク化された前記顔パターンにヒストグラム均等化を実施す
るステップをさらに有する請求項２に記載の顔認識方法。 -
-
-
-
-
-
-
- 前記ステップ（２）及び（３）は各々、
前記各画像において顔パターンを検出するステップと、
前記検出された顔パターンにおいて2つの目パターンを検出するステップと、
前記顔パターンを回転しサイズ変更して前記2つの目パターンの中心を所定ピクセル上
に配置するステップと、
前記顔パターンにマスクを適用して顔ではない部分を除去するステップと、
前記マスク化された顔パターンにヒストグラム均等化を実施するステップとを有する請
求項９に記載の顔認識方法。 - プログラマブルプロセッサーにより実行されると自動顔認識の方法を実施するコンピュ
ーター読み取り命令を有する1つ以上のコンピューター読み取り可能な媒体であって、
前記方法は、
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて2つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記2つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップとを有する、コンピューター読み取り可能な媒体。 - 前記ステップ（３）はさらに、前記顔パターンにマスクを適用して顔ではない部分を除
去し、前記マスク化された顔パターンにヒストグラム均等化を実施するステップを有する
請求項１２に記載のコンピューター読み取り可能な媒体。 -
-
-
-
-
- 電子ディスプレイと、
前記電子ディスプレイと電子的に通信するプロセッサーとを有する画像処理装置であっ
て、
前記プロセッサーと電子的に通信する1つ以上のコンピューター読み取り可能な媒体が
前記プロセッサーにより実行されると、前記プロセッサーは以下のステップ（１）乃至（
１１）を実施させる画像処理装置。
（１）プローブデジタル画像において顔パターンを検出するステップと、
（２）前記検出された顔パターンにおいて2つの目パターンを検出するステップと、
（３）前記顔パターンを回転しサイズ変更して前記2つの目パターンの中心を所定ピク
セル上に配置することによって前記顔パターンを正規化するステップと、
（４）前記正規化された顔パターンである正規化顔パターンをガボール特徴表現の正規
化顔特徴ベクトルに変換するステップと、
（５）前記正規化顔特徴ベクトルおよび画像のギャラリーにおけるギャラリー画像の正
規化ギャラリー画像特徴ベクトルを用いて差分画像ベクトルを計算するステップと、
（６）前記差分画像ベクトルを、予め収集された訓練用の顔データベースから抽出され
たより低次元の被写体内の下部空間に投影するステップと、
（７）前記投影の各成分に二乗機能を適用するステップと、
（８）前記ステップ（７）によってなされた二乗投影の加重合計を計算するステップと
、
（９）前記画像のギャラリーにおける前記正規化ギャラリー画像特徴ベクトル各々に対
し前記ステップ（５）乃至（８）を繰り返すステップと、
（１０）前記プローブデジタル画像における顔パターンを、計算された最大加重合計が
予め定義された閾値を超える場合に、前記計算された最大加重合計を有するギャラリー画
像に属すると分類するステップと、
（１１）前記プローブデジタル画像が属するギャラリー画像に対応するデータを表示用
に前記電子ディスプレイに送信するステップ。 - 前記画像処理装置は、
フォトビューアーと、
コンピューター読み取り可能な媒体ＲＡＭ、ＲＯＭ、およびフラッシュＥＥＰＲＯＭの
1つ以上とを有し、
前記電子ディスプレイは液晶ディスプレイを有する請求項１９に記載の画像処理装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/402,761 US8224042B2 (en) | 2009-03-12 | 2009-03-12 | Automatic face recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010218551A true JP2010218551A (ja) | 2010-09-30 |
Family
ID=42730736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010048843A Withdrawn JP2010218551A (ja) | 2009-03-12 | 2010-03-05 | 顔認識方法、コンピューター読み取り可能な媒体および画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8224042B2 (ja) |
| JP (1) | JP2010218551A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101322168B1 (ko) | 2012-01-17 | 2013-10-28 | 성균관대학교산학협력단 | 실시간 얼굴 인식 장치 |
| JP2021524957A (ja) * | 2018-07-23 | 2021-09-16 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | 画像処理方法およびその、装置、端末並びにコンピュータプログラム |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5261376B2 (ja) * | 2007-09-21 | 2013-08-14 | パナソニック株式会社 | 画像符号化装置および画像復号化装置 |
| KR101743927B1 (ko) * | 2010-09-09 | 2017-06-20 | 삼성전자주식회사 | 확장된 곡선형 가버 필터를 이용한 객체 기술자 생성 방법 및 장치 |
| US8917914B2 (en) * | 2011-04-05 | 2014-12-23 | Alcorn State University | Face recognition system and method using face pattern words and face pattern bytes |
| US9111346B2 (en) * | 2011-09-13 | 2015-08-18 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and recording medium |
| US11074495B2 (en) | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
| US8873813B2 (en) | 2012-09-17 | 2014-10-28 | Z Advanced Computing, Inc. | Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities |
| US9916538B2 (en) | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
| US11914674B2 (en) | 2011-09-24 | 2024-02-27 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
| US11195057B2 (en) | 2014-03-18 | 2021-12-07 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
| US20130156300A1 (en) * | 2011-12-20 | 2013-06-20 | Fatih Porikli | Multi-Class Classification Method |
| KR101877981B1 (ko) * | 2011-12-21 | 2018-07-12 | 한국전자통신연구원 | 가버 특징과 ｓｖｍ 분류기를 이용하여 위변조 얼굴을 인식하기 위한 시스템 및 그 방법 |
| JP5787845B2 (ja) * | 2012-08-24 | 2015-09-30 | 株式会社東芝 | 画像認識装置、方法、及びプログラム |
| US9886622B2 (en) * | 2013-03-14 | 2018-02-06 | Intel Corporation | Adaptive facial expression calibration |
| US9141885B2 (en) * | 2013-07-29 | 2015-09-22 | Adobe Systems Incorporated | Visual pattern recognition in an image |
| WO2015061972A1 (en) * | 2013-10-30 | 2015-05-07 | Microsoft Technology Licensing, Llc | High-dimensional feature extraction and mapping |
| CN103679158B (zh) * | 2013-12-31 | 2017-06-16 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
| CN105469063B (zh) * | 2015-12-04 | 2019-03-05 | 苏州大学 | 鲁棒的人脸图像主成分特征提取方法及识别装置 |
| CN105608443B (zh) * | 2016-01-22 | 2018-10-02 | 合肥工业大学 | 一种多特征描述及局部决策加权的人脸识别方法 |
| CN105868716B (zh) * | 2016-03-29 | 2019-08-13 | 中国科学院上海高等研究院 | 一种基于面部几何特征的人脸识别方法 |
| EP3471055B1 (en) * | 2016-06-08 | 2022-10-05 | Panasonic Intellectual Property Management Co., Ltd. | Comparison device and comparison method |
| US10282592B2 (en) * | 2017-01-12 | 2019-05-07 | Icatch Technology Inc. | Face detecting method and face detecting system |
| US10025950B1 (en) * | 2017-09-17 | 2018-07-17 | Everalbum, Inc | Systems and methods for image recognition |
| US10452958B2 (en) * | 2017-10-06 | 2019-10-22 | Mitsubishi Electric Research Laboratories, Inc. | System and method for image comparison based on hyperplanes similarity |
| US10762607B2 (en) | 2019-04-10 | 2020-09-01 | Alibaba Group Holding Limited | Method and device for sensitive data masking based on image recognition |
| CN110188684B (zh) * | 2019-05-30 | 2021-04-06 | 湖南城市学院 | 一种人脸识别装置及方法 |
| CN110458102A (zh) * | 2019-08-12 | 2019-11-15 | 深圳市商汤科技有限公司 | 一种人脸图像识别方法及装置、电子设备和存储介质 |
| CN111700718B (zh) * | 2020-07-13 | 2023-06-27 | 京东科技信息技术有限公司 | 一种识别握姿的方法、装置、假肢及可读存储介质 |
| US20220300924A1 (en) * | 2021-03-22 | 2022-09-22 | Bank Of America Corporation | Information security system and method for multi-factor authentication for atms using user profiles |
| CN113378942B (zh) * | 2021-06-16 | 2022-07-01 | 中国石油大学(华东) | 基于多头特征协作的小样本图像分类方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU3639699A (en) * | 1998-04-13 | 1999-11-01 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
| US6741756B1 (en) * | 1999-09-30 | 2004-05-25 | Microsoft Corp. | System and method for estimating the orientation of an object |
| US6826300B2 (en) * | 2001-05-31 | 2004-11-30 | George Mason University | Feature based classification |
| CN1273912C (zh) * | 2001-08-23 | 2006-09-06 | 索尼公司 | 机器人装置、面容识别方法和面容识别装置 |
| KR100455294B1 (ko) | 2002-12-06 | 2004-11-06 | 삼성전자주식회사 | 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치 |
| TWI226589B (en) * | 2003-04-28 | 2005-01-11 | Ind Tech Res Inst | Statistical facial feature extraction method |
| US7274822B2 (en) * | 2003-06-30 | 2007-09-25 | Microsoft Corporation | Face annotation for photo management |
| US7519200B2 (en) * | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
| JP2008152530A (ja) * | 2006-12-18 | 2008-07-03 | Sony Corp | 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム |
-
2009
- 2009-03-12 US US12/402,761 patent/US8224042B2/en active Active
-
2010
- 2010-03-05 JP JP2010048843A patent/JP2010218551A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101322168B1 (ko) | 2012-01-17 | 2013-10-28 | 성균관대학교산학협력단 | 실시간 얼굴 인식 장치 |
| US8934679B2 (en) | 2012-01-17 | 2015-01-13 | Sungkyunkwan University Research & Business Foundation | Apparatus for real-time face recognition |
| JP2021524957A (ja) * | 2018-07-23 | 2021-09-16 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | 画像処理方法およびその、装置、端末並びにコンピュータプログラム |
| JP7058760B2 (ja) | 2018-07-23 | 2022-04-22 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | 画像処理方法およびその、装置、端末並びにコンピュータプログラム |
| US11631275B2 (en) | 2018-07-23 | 2023-04-18 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, terminal, and computer-readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100232657A1 (en) | 2010-09-16 |
| US8224042B2 (en) | 2012-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010218551A (ja) | 顔認識方法、コンピューター読み取り可能な媒体および画像処理装置 | |
| US11882357B2 (en) | Image display method and device | |
| US8295637B2 (en) | Method of classifying red-eye objects using feature extraction and classifiers | |
| KR102415509B1 (ko) | 얼굴 인증 방법 및 장치 | |
| JP6309549B2 (ja) | 変形可能な表現検出器 | |
| US20180150725A1 (en) | Image recognition apparatus, image recognition method, and program | |
| JP5640621B2 (ja) | 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
| KR20140013407A (ko) | 객체 추적 장치 및 방법 | |
| JP2011511358A (ja) | 自動赤目検出 | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN109937434B (zh) | 图像处理方法、装置、终端和存储介质 | |
| US9251409B2 (en) | Methods and apparatuses for gesture recognition | |
| WO2020029874A1 (zh) | 对象跟踪方法及装置、电子设备及存储介质 | |
| JP5994279B2 (ja) | 入力画像を分析する方法、入力画像を分析する装置及びプログラム | |
| JP5640622B2 (ja) | 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
| US8300927B2 (en) | Mouth removal method for red-eye detection and correction | |
| US20230343119A1 (en) | Captured document image enhancement | |
| US20230005108A1 (en) | Method and system for replacing scene text in a video sequence | |
| CN113128428B (zh) | 基于深度图预测的活体检测方法和相关设备 | |
| CN117132503A (zh) | 一种图像局部高亮区域修复方法、系统、设备及存储介质 | |
| US20210056667A1 (en) | Correction of misaligned eyes in images | |
| JP4807170B2 (ja) | パターン検出方法、パターン検出プログラム、パターン検出装置、及び撮像装置 | |
| AU2021101072A4 (en) | DIP-Intelligent Neural Networks: Digital Image Processing Using Intelligent Neural Networks System | |
| US20180060647A1 (en) | Image processing apparatus, non-transitory computer readable medium, and image processing method | |
| Rahman et al. | Real-time face-based auto-focus for digital still and cell-phone cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130507 |