JP2003150963A - 顔画像認識方法及び顔画像認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 認識対象者から取得する未知顔画像の顔向き
変化に対するロバスト性を向上させ、最終的な顔画像識
別率を向上させる。 【解決手段】 顔向き推定工程では、識別登録者毎に全
ての顔向き方向から取得した登録顔画像の特徴ベクトル
と未知顔画像の特徴ベクトルとを用いて、未知顔画像の
顔向き方向が含まれる複数の左右顔向き方向面を線形判
別分析によって推定する。複数の左右顔向き方向を推定
することで、未知顔画像の実際の顔向き方向が、推定し
た左右顔向き方向に属さなかったことに起因する顔向き
方向の推定精度の低下を抑制する。次の１次個人識別工
程では、推定した複数の左右顔向き方向面に含まれる全
ての顔向き方向から取得した登録顔画像の特徴ベクトル
と未知顔画像の特徴ベクトルとを用いて、識別対象者の
候補者を線形判別分析によって複数人推定する。この
後、複数の候補者内から識別対象者を推定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、未知の認識対象者
の顔を撮像した顔画像から、この未知の認識対象者を、
予め顔画像が登録されている識別対象者内から識別する
顔画像認識方法及び顔画像認識装置に関するものであ
る。

【０００２】

【従来の技術】従来、ある部屋に入ってきた未知の人物
の顔画像からその人物が家族の誰であるかを識別し、こ
の識別結果に基づいて各個人毎に例えば家電製品を制御
しようとする試みが検討されている。

【０００３】例えば、父親宛の電子郵便があることを知
らせさせたり、また、子供がテレビで有害な番組を視聴
できないように操作を制限させることが考えられてい
る。ここで、未知の人物から取得する顔画像は、その顔
向き方向が一定とはならない。このため、顔画像の識別
には、その顔向きに依存しない顔画像認識方法が必要と
なる。

【０００４】本出願人は、このような顔向きに依存しな
い顔画像認識方法として、次のような方法を提案してい
る。先ず、識別しようとする全ての識別登録者の顔画像
を、顔正面に対して左右に角度を持った複数の左右顔向
き方向と、同じく上下に角度を持った複数の上下顔向き
方向とで設定される複数の撮像方向、すなわち顔向き方
向で撮像した登録顔画像を取得する。そして、各顔画像
の濃淡データを特徴量として抽出し、識別対象者及び顔
向き方向で区別された学習データとする。

【０００５】次に、未知の識別対象者の顔を任意の顔向
き方向で撮像した未知顔画像を取得し、この未知顔画像
の濃淡データからその特徴量を抽出する。そして、全て
の識別登録者について全ての顔向き方向から取得された
登録顔画像の特徴量を表した特徴ベクトルと、未知顔画
像の特徴量を表した特徴ベクトルとを用いて、未知顔画
像の顔向き方向が属する左右顔向き方向を全ての各左右
顔向き方向の範囲内から線形判別分析によって識別す
る。

【０００６】次に、推定された１つの左右顔向き方向に
属する全ての顔向き方向から撮像された登録顔画像の特
徴ベクトルと、未知顔画像の特徴ベクトルとを用いて、
識別対象者を全ての識別登録者内から線形判別分析によ
って推定する。

【０００７】このような顔画像認識方法によれば、識別
対象者から取得する未知顔画像の顔向き方向が変化して
も、識別対象者を識別登録者内から識別することができ
る。

【０００８】

【発明が解決しようとする課題】しかしながら、上記の
ような顔画像認識方法では、識別しようとする顔向き方
向を左右及び上下により拡大するほど、顔向き推定での
左右顔向き方向の推定精度が顕著に低下し、最終的な顔
画像識別率が低くなっていた。

【０００９】本発明は、上記課題を解決するためになさ
れたものであって、その目的は、認識対象者から取得す
る未知顔画像の顔向き変化に対するロバスト性を向上さ
せ、最終的な顔画像識別率を向上させることができる顔
画像認識方法及び顔画像認識装置を提供することにあ
る。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に記載の発明は、顔画像を識別しようとす
る複数の識別登録者の顔に対して設定した複数の顔向き
方向から各識別登録者の顔を撮像した登録顔画像を取得
し、この各登録顔画像から取得した特徴量と未知の識別
対象者の顔を撮像した未知顔画像から取得した特徴量と
を用いて、前記登録顔画像内から未知顔画像を識別する
顔画像認識方法であって、前記各識別登録者毎に前記顔
向き方向の全てで撮像した前記各登録顔画像の特徴量と
前記未知顔画像の特徴量とを用いて、全ての前記顔向き
方向の範囲内から未知顔画像の顔向き方向を複数方向推
定する顔向き推定工程と、前記顔向き推定工程で推定し
た全ての顔向き方向から撮像した前記登録顔画像の特徴
量と前記未知顔画像の特徴量とを用いて、全ての前記識
別登録者内から前記識別対象者の候補者を複数人推定す
る個人識別工程と、前記各候補者毎に前記顔向き方向の
全てで撮像した各登録顔画像の特徴量と未知顔画像の特
徴量とを用いて、前記候補者内から識別対象者を推定す
る個人推定工程とを備えていることを特徴とする顔画像
認識方法である。

【００１１】請求項２に記載の発明は、請求項１に記載
の発明において、前記個人推定工程は、前記各候補者毎
に前記顔向き方向の全てで撮像した各登録顔画像の特徴
量と前記未知顔画像の特徴量とを用いて、全ての前記顔
向き方向の範囲内から各候補者毎の顔向き方向を推定す
る個人顔向き推定工程と、各候補者毎に推定した顔向き
方向で撮像した登録顔画像の特徴量と未知顔画像の特徴
量とを用いて、前記候補者内から識別対象者を推定する
２次個人識別工程とからなることを特徴とする。

【００１２】請求項３に記載の発明は、顔画像を識別し
ようとする複数の識別登録者に対し、顔正面に対して左
右に角度をなす複数の左右顔向き方向面と、同じく上下
に角度をなす複数の上下顔向き方向面との交差線で設定
する複数の顔向き方向から識別登録者の顔を撮像した登
録顔画像を取得し、この各登録顔画像から取得した特徴
量と未知の識別対象者の顔を撮像した未知顔画像から取
得した特徴量とを用いて、前記登録顔画像内から未知顔
画像を識別する顔画像認識方法であって、前記各識別登
録者毎に前記顔向き方向の全てで撮像した前記各登録顔
画像の特徴量と前記未知顔画像の特徴量とを用いて、未
知顔画像の顔向き方向が含まれる可能性がある前記左右
顔向き方向面又は上下顔向き方向面を複数方向推定する
顔向き推定工程と、前記顔向き推定工程で推定した複数
の左右顔向き方向面又は上下顔向き方向面に含まれる全
ての顔向き方向から撮像した前記登録顔画像の特徴量と
前記未知顔画像の特徴量とを用いて、全ての前記識別登
録者内から前記識別対象者の候補者を推定する個人識別
工程とを備えていることを特徴とする顔画像認識方法で
ある。

【００１３】請求項４に記載の発明は、請求項３に記載
の発明において、前記個人識別工程では、前記識別対象
者の候補者を複数人推定し、前記個人識別工程の後に、
前記各候補者毎に前記顔向き方向の全てで撮像した登録
顔画像の特徴量と未知顔画像の特徴量とを用いて、前記
各候補者内から識別対象者を推定する個人推定工程を備
えていることを特徴とする。

【００１４】請求項５に記載の発明は、請求項４に記載
の発明において、前記個人推定工程は、前記各候補者毎
に前記顔向き方向の全てで撮像した各登録顔画像の特徴
量と前記未知顔画像の特徴量とを用いて、全ての前記顔
向き方向の範囲内から各候補者毎の顔向き方向を推定す
る個人顔向き推定工程と、各候補者毎に推定した顔向き
方向で撮像した登録顔画像の特徴量と未知顔画像の特徴
量とを用いて、前記候補者内から識別対象者を推定する
２次個人識別工程とからなることを特徴とする。

【００１５】請求項６に記載の発明は、請求項１，２，
４，５のいずれか一項に記載の発明において、前記個人
識別工程では、全ての識別対象者の中で顔立ちが似てい
ると予め判断した複数の類似登録者から取得した全ての
登録顔画像を１人の架空の識別登録者から取得した登録
顔画像とみなして扱うとともに、前記個人推定工程で推
定した識別対象者がその架空の識別登録者であったとき
に該個人推定工程の後に行う類似者識別工程を備え、前
記類似者識別工程では、各類似登録者の登録顔画像の特
徴ベクトルと未知顔画像の特徴ベクトルとを用いて、各
類似登録者内から識別対象者を推定することを特徴とす
る。

【００１６】請求項７に記載の発明は、顔画像を識別し
ようとする複数の識別登録者の顔に対して設定した複数
の顔向き方向から各識別登録者の顔を撮像した登録顔画
像を取得し、この各登録顔画像から取得した特徴量と未
知の識別対象者の顔を撮像した未知顔画像から取得した
特徴量とを用いて、前記登録顔画像内から未知顔画像を
識別する顔画像認識装置であって、前記各識別登録者毎
に前記顔向き方向の全てで撮像した前記各登録顔画像の
特徴量と前記未知顔画像の特徴量とを用いて、全ての前
記顔向き方向の範囲内から未知顔画像の顔向き方向を複
数方向推定する顔向き推定手段と、前記顔向き推定工程
で推定した全ての顔向き方向から撮像した前記登録顔画
像の特徴量と前記未知顔画像の特徴量とを用いて、全て
の前記識別登録者内から前記識別対象者の候補者を複数
人推定する個人識別手段と、前記各候補者毎に前記顔向
き方向の全てで撮像した各登録顔画像の特徴量と未知顔
画像の特徴量とを用いて、前記候補者内から識別対象者
を推定する個人推定手段を備えていることを特徴とする
顔画像認識装置である。

【００１７】請求項８に記載の発明は、請求項７に記載
の発明において、前記個人推定手段は、前記各候補者毎
に前記顔向き方向の全てで撮像した各登録顔画像の特徴
量と前記未知顔画像の特徴量とを用いて、全ての前記顔
向き方向の範囲内から各候補者毎の顔向き方向を推定す
る個人顔向き推定手段と、各候補者毎に推定した顔向き
方向で撮像した登録顔画像の特徴量と未知顔画像の特徴
量とを用いて、前記候補者内から識別対象者を推定する
２次個人識別手段とからなることを特徴とする。

【００１８】（作用）請求項１に記載の発明によれば、
顔向き推定工程で、未知顔画像の顔向き方向である可能
性がある複数の顔向き方向を推定する。次に、個人識別
工程で、複数の顔向き方向に特定した状態で、識別対象
者の複数の候補者を推定する。そして、個人推定工程
で、候補者の中から最終的な識別対象者を推定する。従
って、従来と異なり、個人識別工程で、実際の識別登録
者が１人の候補者として推定されなかったことによって
もたらされる顔画像識別率の低下を抑制することができ
る。その結果、最終的な顔画像識別率をより一層向上さ
せることができる。なお、請求項７に記載の発明も同様
の作用を有する。

【００１９】請求項２に記載の発明によれば、請求項１
に記載の発明の作用に加えて、各候補者毎の顔向き方向
を推定した後、顔向き方向を特定した候補者の中から最
終的な識別対象者を識別する。従って、候補者から最終
的な識別対象者を推定する精度がより向上する。なお、
請求項８に記載の発明も、請求項７に記載の発明の作用
に加えて同様の作用を有する。

【００２０】請求項３に記載の発明によれば、顔向き推
定工程で、未知顔画像の顔向き方向である可能性が高い
複数の左右顔向き方向又は上下顔向き方向を推定する。
次に、個人識別工程で、左右顔向き方向又は上下顔向き
方向を特定した状態で、識別対象者の候補者を推定す
る。従って、従来と異なり、未知顔画像の実際の顔向き
方向が顔向き推定工程で推定した１つの左右又は上下顔
向き方向面に含まれなかったことによってもたらされる
顔向き推定工程での推定精度の低さを改善することがで
き、最終的な顔画像識別率の向上を図ることができる。

【００２１】請求項４に記載の発明によれば、請求項３
に記載の発明の作用に加えて、個人識別工程で、識別対
象者である可能性が最も高い識別登録者に加えて、それ
より低くても可能性がある識別登録者も候補者として推
定する。次に、個人推定工程において、識別対象者であ
る可能性がある程度以上高い複数の候補者の中から識別
対象者を推定する。従って、従来と異なり、実際の識別
登録者が候補者として推定されなかったことによっても
たらされる個人識別工程での推定精度の低下を抑制する
ことができ、最終的な顔画像識別率をより一層向上させ
ることができる。

【００２２】請求項５に記載の発明によれば、請求項４
に記載の発明の作用に加えて、各候補者毎の顔向き方向
を推定した後、顔向き方向を特定した候補者の中から最
終的な識別対象者を識別する。従って、候補者から最終
的な識別対象者を推定する精度がより向上する。

【００２３】請求項６に記載の発明によれば、請求項
１，２，４，５のいずれか一項に記載の発明の作用に加
えて、複数の類似登録者を個人識別工程で一人の架空の
識別登録者とみなして扱うので、類似登録者の一人が識
別対象者であった場合に、個人識別工程において実際の
識別対象者が候補者とされないことが起き難い。従っ
て、複数の類似登録者の中の実際の識別対象者が候補者
の一人とされないことによる個人識別工程での推定精度
の低さを改善し、最終的な顔画像識別率の向上を図るこ
とができる。

【００２４】

【発明の実施の形態】（第１実施形態）以下、本発明を
具体化した第１実施形態を図１〜図９に従って説明す
る。

【００２５】本実施形態の顔画像認識装置は、例えば、
室内に入ってきた未知の識別対象者の顔を、予め登録さ
れている複数の識別登録者の顔の内から識別する。そし
て、この識別結果を、テレビ、オーディオ装置、パーソ
ナルコンピュータ等に出力する。

【００２６】テレビ、オーディオ装置、パーソナルコン
ピュータ等は、顔画像認識装置から入力する識別結果に
基づき、各識別登録者に応じて予め設定されているサー
ビスを提供する。例えば、テレビは、識別対象者が子供
であったときには、有害な番組が選択されないようにチ
ャンネルの選択を制限する。また、オーディオ装置は、
識別対象者の嗜好に応じた音楽を自動で流す。さらに、
パーソナルコンピュータは、識別対象者宛の電子メール
が届いていることを報知する。

【００２７】図２に示すように、顔画像認識装置１０
は、ビデオカメラ１１及び画像処理ユニット１２からな
る。ビデオカメラ１１はカラー画像を撮像するものであ
って、例えばある室内に入ってきた未知の識別対象者Ｑ
を撮像できるように設置される。画像処理ユニット１２
は、信号処理装置１３及びコンピュータ１４等からな
る。本実施形態では、コンピュータ１４が、顔向き推定
手段、個人識別手段、個人推定手段、個人顔向き推定手
段、２次個人識別手段及び類似者識別手段である。

【００２８】コンピュータ１４は、ビデオカメラ１１を
撮像制御し、カラーの人物画像データ（以下、単に人物
画像という。）を信号処理装置１３を介して取得する。
コンピュータ１４は、例えば、所定時間経過する毎や、
人物が室内に入ったことが検出されたときに人物画像を
取得する。この人物画像は、未知の識別対象者の顔画像
が含まれた人物全体又は一部の画像である。

【００２９】コンピュータ１４は、取得した人物画像か
ら識別対象者の顔画像データ（以下、未知顔画像とい
う。）を取得し、この未知顔画像を予め登録されている
複数の識別登録者の顔画像データ（以下、登録顔画像と
いう。）の内から識別する顔画像認識処理を実行し、そ
の識別結果を外部に出力する。

【００３０】コンピュータ１４には、各識別登録者の顔
画像から取得した学習データが予め入力されている。 （学習データ取得方法）次に、学習データの取得方法に
ついて説明する。

【００３１】学習データの取得は、顔画像取得工程、顔
領域検出工程及び特徴ベクトル取得工程の３段階の工程
で行う。 （顔画像取得工程）先ず、顔画像取得工程では、各識別
登録者毎に、予め設定された複数の顔向き方向で撮像し
た登録顔画像を取得する。本実施形態では、図３，４に
示すように、顔正面を中心として左右に±４５°、か
つ、上下に±３０°の角度範囲内に設定される顔向き方
向で撮像する。

【００３２】各顔向き方向は、次のように設定されてい
る。先ず、図３に示すように、識別登録者Ｚの顔正面を
中心として左右に異なる角度をなす複数の左右顔向き方
向面ＰＶ（−４５），ＰＶ（−３０），ＰＶ（−１
５），ＰＶ（０），ＰＶ（＋１５），ＰＶ（＋３０），
ＰＶ（＋４５）を設定する。各左右顔向き方向面ＰＶ
（−４５）〜ＰＶ（＋４５）は、鉛直視で頭部の略中心
にある鉛直線Ｐ１にそれぞれ交差する平面である。ま
た、図４に示すように、同じく上下に異なる角度をなす
複数の上下顔向き方向面ＰＨ（−３０），ＰＨ（−１
５），ＰＨ（０），ＰＨ（＋１５），ＰＨ（＋３０）を
設定する。各上下顔向き方向面ＰＨ（−３０）〜ＰＨ
（＋３０）は、側面視で頭部の略中心にある水平線Ｐ２
にそれぞれ交差する平面である。

【００３３】本実施形態では、左右顔向き方向面ＰＶ
（−４５）〜ＰＶ（＋４５）として、顔正面を左右に等
分する左右顔向き方向面ＰＶ（０）に加え、顔正面に対
して右方向にそれぞれ＋１５°、＋３０°、＋４５°だ
け角度をなす３つの左右顔向き方向面ＰＶ（＋１５），
ＰＶ（＋３０），ＰＶ（＋４５）と、同じく左方向にそ
れぞれ−１５°、−３０°、−４５°だけ角度をなす３
つの左右顔向き方向面ＰＶ（−１５），ＰＶ（−３
０），ＰＶ（−４５）との７つの方向面ＰＶ（−４５）
〜ＰＶ（＋４５）を設定する。

【００３４】また、上下顔向き方向面ＰＨ（＝３０）〜
ＰＨ（＋３０）として、顔正面を上下に分割する水平な
上下顔向き方向面ＰＨ（０）と、顔正面に対して上方向
にそれぞれ＋１５°、＋３０°だけ角度をなす２つの上
下顔向き方向面ＰＨ（＋１５），ＰＨ（＋３０）と、同
じく下方向にそれぞれ−１５°、−３０°だけ角度をな
す２つの上下顔向き方向面ＰＨ（−１５），ＰＨ（−３
０）との５つの方向面を設定する。

【００３５】そして、図５に示すように、各識別登録者
Ｚの登録顔画像を、７つの左右顔向き方向面ＰＶ（−４
５）〜ＰＶ（＋４５）と５つの上下顔向き方向面ＰＨ
（−３０）〜ＰＨ（＋３０）との各交差線によって設定
される３５の撮像方向、すなわち、登録顔画像の顔向き
方向で撮像する。従って、各左右顔向き方向面ＰＶ
（ｊ）（ｊ：−４５，−３０，−１５，０，＋１５，＋
３０，＋４５）には、５つの上下顔向き方向面ＰＨ
（ｋ）（ｋ：−３０，−１５，０，＋１５，＋３０）と
の交差線で設定される５つの顔向き方向が含まれること
になる。

【００３６】なお、本実施形態では、各顔向き方向毎
に、登録顔画像を１０個ずつ撮像する。従って、各識別
登録者Ｚ毎に、３５０（＝３５方向×１０個）個の登録
顔画像を取得する。

【００３７】（顔領域検出工程）次に、顔領域検出工程
では、各識別登録者について３５０個ずつ取得した各顔
画像毎に、その顔領域を検出する。

【００３８】顔領域検出には、色情報を用いた公知の肌
色基準値による手法であって、均等知覚色空間の１つで
あるＣＩＥ−Ｌ＊ｕ＊ｖ＊表色系を用いる。先ず、登録
顔画像の全領域に亘り、Ｕ，Ｖ座標値による２次元色ヒ
ストグラムを求め、予め定めた肌色有効範囲内のピーク
値（度数が最大の値）を肌色基準値とする。

【００３９】次に、公知の判別分析法を用いて、肌色基
準値からの色差に対する閾値を決定し、この閾値に基づ
いて登録顔画像を肌色領域とその他の領域に２値化す
る。最後に、抽出された複数の肌色領域毎に、その肌色
領域を形成する画素数（面積）を求め、画素数が最大で
あった肌色領域を顔領域とする。

【００４０】（特徴ベクトル取得工程）次に、特徴ベク
トル取得工程では、各識別登録者について３５０個ずつ
取得した各登録顔画像毎に、その特徴量を表した特徴ベ
クトルを作成する。

【００４１】詳述すると、各認識対象者から取得した３
５０個の登録顔画像毎に、その濃淡値の勾配から４方向
のベクトル場を求める。本実施形態では、４方向を、水
平方向、垂直方向、左下がり４５°斜め方向、及び、右
下がり４５°斜め方向としている。そして、公知の手法
によって、各方向別に分割したエッジ画像を得る。得ら
れた各エッジ画像は、方向性を有する濃淡画像である。

【００４２】具体的には、各登録顔画像毎に、Prewitt
オペレータを用いた微分フィルタ処理を行い、水平、垂
直、左下がり斜め、及び、右下がり斜めに分割された４
つの方向エッジ画像（以下、方向面という。）を生成す
る。

【００４３】次に、４つの各方向面をその顔領域で正規
化し、８×８に低解像度化する。最後に、各登録顔画像
毎に、４つの各方向面について、それぞれ８×８に低解
像度化した画像の濃淡値を特徴量として抽出した２５６
次元の特徴ベクトルを作成する。

【００４４】そして、各登録顔画像毎に作成した特徴ベ
クトルを、識別対象者及び顔向き方向に対応させて記憶
する。この各特徴ベクトルは、２５６次元の線形空間上
の１点として表されるものであり、顔認識を行うための
学習データとなる。

【００４５】（顔画像認識処理）次に、前記顔画像認識
処理の概要を説明する。顔画像認識処理は、図１に示す
ように、顔領域検出工程、特徴ベクトル取得工程、顔向
き推定工程、１次個人識別工程、個人顔向き推定工程及
び２次個人識別工程の６段階の工程で行う。本実施形態
では、１次個人識別工程が、個人識別工程である。

【００４６】先ず、顔領域推定工程では、未知の識別対
象者から取得された人物画像から顔領域を抽出し、この
顔領域が中央に配置された未知顔画像を得る。次に、特
徴ベクトル取得工程では、未知顔画像から、学習データ
と同様にして特徴ベクトルを取得する。

【００４７】次に、顔向き推定工程では、未知顔画像の
顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）
（ｊ：−４５，−３０，−１５，０，＋１５，＋３０，
＋４５）を、７つの左右顔向き方向面ＰＶ（−４５）〜
ＰＶ（＋４５）の内から推定する。

【００４８】次に、１次個人識別工程では、全ての識別
登録者内から識別対象者の候補者を複数人推定する。次
に、個人顔向き推定工程では、１次個人識別工程で推定
した各候補者毎に、その候補者が識別対象者であった場
合の未知顔画像の顔向き方向を３５の全ての顔向き方向
の範囲内から推定する。

【００４９】最後に、２次個人識別工程では、１次個人
識別工程で推定され、個人顔向き推定工程で顔向き方向
が推定された１０人の候補者内から、最終的な識別対象
者を推定する。

【００５０】（顔画像認識処理）次に、顔画像認識処理
について詳述する。 （顔領域検出工程）先ず、顔領域検出工程には、学習デ
ータの作成時と同様に、色情報を用いた公知の肌色基準
値による手法であって、均等知覚色空間の１つであるＣ
ＩＥ−Ｌ＊ｕ＊ｖ＊表色系を用いる。

【００５１】先ず、識別対象者から取得された人物画像
の全領域に亘り、Ｕ，Ｖ座標値による２次元色ヒストグ
ラムを求め、予め定めた肌色有効範囲内のピーク値（度
数が最大の値）を肌色基準値とする。

【００５２】次に、公知の判別分析法を用いて、肌色基
準値からの色差に対する閾値を決定し、この閾値に基づ
いて人物画像を肌色領域とその他の領域に２値化する。
最後に、抽出された複数の肌色領域毎に、その肌色領域
を形成する画素数（面積）を求め、画素数が最大であっ
た肌色領域を顔領域とする。すなわち、本実施形態で
は、人物画像に撮像される未知の識別対象者は１人であ
ると想定し、面積が最大の肌色領域が、その識別対象者
の顔領域であるとする。そして、顔領域が中央に配置さ
れた未知顔画像を取得する。

【００５３】（特徴ベクトル取得工程）次に、特徴ベク
トル取得工程では、学習データの作成時と同様に、識別
対象者の未知顔画像から２５６次元の特徴ベクトルを得
る。

【００５４】すなわち、先ず、未知顔画像から４方向の
方向エッジ画像（以下、方向面という。）を得る。次
に、各方向面をその顔領域で正規化し、８×８に低解像
度化する。

【００５５】最後に、４つの方向面について、それぞれ
８×８に低解像度した画像の濃淡値を特徴量として抽出
した２５６次元の特徴ベクトルを作成する。すなわち、
未知の識別対象者から取得した未知顔画像の特徴量を、
学習データと同じ、２５６次元の線形空間上の１点とし
て表す。

【００５６】（顔向き推定工程）次に、顔向き推定工程
では、各識別登録者毎に全ての顔向き方向から撮像した
登録顔画像から取得した特徴ベクトルと、未知顔画像か
ら取得した特徴ベクトルとを用いて、未知顔画像の顔向
き方向が含まれる左右顔向き方向面ＰＶ（ｊ）を公知の
線形判別分析によって推定する。すなわち、未知顔画像
の顔向き方向を、左右の傾きのみで判別する。

【００５７】顔向き推定工程として、先ず、未知顔画像
の特徴ベクトルを、全ての登録対象者毎に全ての顔向き
方向で撮像した登録顔画像の特徴ベクトルが線形写像さ
れた線形空間（以下、顔向き判別空間αという。）に線
形写像する。

【００５８】顔向き判別空間αは、全ての登録顔画像の
特徴ベクトルが、この特徴ベクトルから求めた係数行列
を用いて線形写像された線形空間である。顔向き判別空
間αでは、図６に示すように、線形写像された各特徴ベ
クトルが、それぞれ５つの顔向き方向を含む７つの各左
右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）に対応
して生成されたクラス１〜クラス７に分類されている。

【００５９】各クラスｊ（１≦ｊ≦７；ｊは自然数）に
は、そのクラスｊに分類された１つの左右顔向き方向面
ＰＶ（ｊ）に含まれる５つの各顔向き方向毎に各識別登
録者について撮像された５０（＝上下５方向×１０）の
登録顔画像の特徴ベクトルが、１５０人分の数７５００
（＝１５０人×５０）分類されている。

【００６０】各クラスｊは、クラスｊ内の分散が小さ
く、かつ、各クラスｊ間の分散が大きくなるように生成
されている。なお、顔向き判別空間αは、全ての登録顔
画像の特徴ベクトルから予め作成されている。

【００６１】顔向き推定工程として、次に、顔向き判別
空間αに線形写像した識別対象者の特徴ベクトルｙ１
が、クラス１〜クラス７のいずれに属するかを判別す
る。そして、判別されたクラスｊに分類されている特徴
ベクトルが取得された登録顔画像の顔向き方向が含まれ
る左右顔向き方向面ＰＶ（ｊ）が、未知顔画像の顔向き
方向が含まれる左右顔向き方向面ＰＶ（ｊ）であると推
定する。

【００６２】未知顔画像の特徴ベクトルｙ１が属するク
ラスｊの判別は、この特徴ベクトルｙ１と、各クラスの
平均特徴ベクトルＡ（１）〜Ａ（ｊ）〜Ａ（７）とのユ
ークリッド距離ｓ１（１）〜ｓ１（ｊ）〜ｓ１（７）が
最小となるものを求めることで行う。なお、各クラス１
〜７の平均特徴ベクトルＡ（１）〜Ａ（７）は予め求め
られている。

【００６３】さらに、顔向き推定工程では、未知画像の
顔向き方向が、顔向き判別空間αで推定した左右顔向き
方向面ＰＶ（ｊ）と、この左右顔向き方向面ＰＶ（ｊ）
の両隣りの２つの左右顔向き方向面ＰＶ（ｊ）とを合わ
せた３つの左右顔向き方向面ＰＶ（ｊ）のいずれかに含
まれると推定する。

【００６４】例えば、顔向き判別空間αで推定した左右
顔向き方向面ＰＶ（ｊ）が左右正面方向面ＰＶ（０）で
あるときには、この左右正面方向面ＰＶ（０）に加え、
その両隣りの２つの左右顔向き方向面ＰＶ（−１５）及
びＰＶ（＋１５）との３つの左右顔向き方向面ＰＶ（−
１５），ＰＶ（０），ＰＶ（＋１５）のいずれかに含ま
れると推定する。

【００６５】これは、顔向き判別空間αで推定した左右
顔向き方向面ＰＶ（ｊ）に未知顔画像の顔向き方向が含
まれる確率が最も高いものの、その両隣りの左右顔向き
方向面ＰＶ（ｊ）に含まれる確率も小さいながらあるか
らである。

【００６６】これにより、顔向き推定工程での推定結果
によって、未知顔画像の顔向き方向が実際に含まれる左
右顔向き方向面ＰＶ（ｊ）が以後の各工程で考慮されな
くなる確率を小さくし、最終的な顔画像識別率の向上を
図っている。

【００６７】（１次個人識別工程）次に、１次個人識別
工程では、顔向き推定工程で推定した３つの左右顔向き
方向面ＰＶ（ｊ）に含まれる全ての顔向き方向で撮像し
た登録顔画像の特徴ベクトルと、未知顔画像の特徴ベク
トルとを用いて、識別対象者の候補者を全ての識別登録
者内から線形判別分析によって複数人推定する。

【００６８】１次個人識別工程として、先ず、未知顔画
像の特徴ベクトルを、顔向き推定工程で推定した３つの
左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方
向で撮像した登録顔画像の特徴ベクトルが線形写像され
た線形空間（以下、１次個人判別空間βという。）に線
形写像する。

【００６９】１次個人判別空間βは、全ての登録顔画像
の特徴ベクトルの内、３つの各左右顔向き方向面ＰＶ
（ｊ）に含まれる全ての顔向き方向から撮像された登録
顔画像の特徴ベクトルだけが、この各特徴ベクトルから
求めた係数行列を用いて線形写像された線形空間であ
る。

【００７０】１次個人判別空間βでは、図７に示すよう
に、線形写像された各特徴ベクトルが、１５０人の各識
別登録者に対応して生成されたクラス１〜クラスｊ〜ク
ラス１５０に分類されている。

【００７１】各クラスｊ（１≦ｊ≦１５０；ｊは自然
数）には、そのクラスｊに分類された識別登録者につい
て全ての顔向き方向で撮像された登録顔画像内、３つの
左右顔向き方向面ＰＶ（ｊ）に含まれる１５（左右３方
向×上下５方向）の顔向き方向で撮像された１５０（＝
左右３方向×上下５方向×１０個）の登録顔画像の特徴
ベクトルが分類されている。

【００７２】各クラス１〜クラス１５０は、各クラスｊ
内の分散が小さく、かつ、各クラスｊ間の分散が大きく
なるように生成されている。１次個人判別空間βは、７
つの左右顔向き方向の内、隣り合う３つの左右顔向き方
向面ＰＶ（ｊ）の５つの組み合わせ、すなわち、（＋４
５°、＋３０°、＋１５°），（＋３０°、＋１５°、
Ｏ°），（＋１５°、０°、−１５°），（０、−１５
°、−３０°），（−１５°、−３０°、−４５°）毎
に予め作成されている。そして、顔向き推定工程での推
定結果に基づいて選択される。

【００７３】１次個人識別工程として、次に、１次個人
判別空間βに線形写像された未知顔画像の特徴ベクトル
ｙ２が、クラス１〜クラス１５０のいずれに属するかを
判別する。そして、判別されたクラスｊに分類されてい
る特徴ベクトルが取得された登録顔画像が撮像された識
別登録者を、識別対象者の候補者とする。

【００７４】未知顔画像の特徴ベクトルｙ２が属するク
ラスｊの判別は、この特徴ベクトルｙ２と、各クラスの
平均特徴ベクトルＢ（１）〜Ｂ（ｊ）〜Ｂ（１５０）と
のユークリッド距離ｓ２（１）〜ｓ２（ｊ）〜ｓ２（１
５０）が最小となるものを求めることで行う。なお、各
クラスｊの平均特徴ベクトルＢ（１）〜Ｂ（１５０）は
予め求められており、顔向き推定工程での推定結果に基
づいて選択される。

【００７５】さらに、１次個人識別工程では、識別対象
者の候補者を、１次個人判別空間βでのユークリッド距
離が小さい順に１０名推定する。すなわち、ユークリッ
ド距離が小さい順に１０のクラスｊを求め、この各クラ
スｊに対応する識別登録者を、識別対象者の１０人の候
補者とする。

【００７６】これは、１次個人判別空間βで求めた識別
登録者が識別対象者である確率が最も高いものの、ユー
クリッド距離が最小に近い９のクラスｊに対応する識別
登録者である見込みも小さいながらあるからである。こ
れにより、１次個人識別工程での識別結果によって、実
際の識別対象者が以後の各工程で考慮されなくなる確率
を小さくし、最終的な顔画像識別率の向上を図ってい
る。

【００７７】（個人顔向き推定工程）次に、個人顔向き
推定工程では、前記各候補者毎に、顔向き方向推定工程
で推定した３つの左右顔向き方向面ＰＶ（ｊ）に含まれ
る全ての顔向き方向で撮像した登録顔画像の特徴ベクト
ルと、未知顔画像の特徴ベクトルとを用いて、その候補
者が識別対象者であった場合の未知顔画像の顔向き方向
を全ての顔向き方向の範囲内から推定する。

【００７８】個人顔向き推定工程として、先ず、未知顔
画像の特徴ベクトルを、各候補者毎にその候補者に対し
３５の全ての顔向き方向で撮像した登録顔画像の特徴ベ
クトルが線形写像された線形空間（以下、個人顔向き判
別空間という。）γ１〜γ１０に線形写像する。

【００７９】各個人顔向き判別空間γ１〜γ１０は、そ
の候補者から取得した３５０（＝３５方向×１０個）個
の登録顔画像の特徴ベクトルが、この特徴ベクトルから
求めた係数行列を用いてそれぞれ線形写像された線形空
間である。

【００８０】各個人顔向き判別空間γ１〜γ１０では、
図８に示すように、制限写像された各特徴ベクトルか、
３５の顔向き方向に対応して生成されているクラス１〜
クラスｊ〜クラス３５に分類されている。

【００８１】各クラスｊ（１≦ｊ≦３５；ｊは自然数）
には、そのクラスｊに分類された１つの顔向き方向で撮
像された１０個の登録顔画像の特徴ベクトルが分類され
ている。

【００８２】各クラスｊは、クラスｊ内の分散が小さ
く、かつ、各クラスｊ間の分散が大きくなるように生成
されている。各個人顔向き判別空間γ１〜γ１０は、１
５０人の各識別登録者毎に予め作成されており、１次個
人識別工程での推定結果に応じて選択される。

【００８３】個人顔向き推定工程として、次に、各候補
者毎に、その個人顔向き判別空間γ１〜γ１０に線形写
像した未知顔画像の特徴ベクトルｙ３が、クラス１〜ク
ラス３５のいずれに属するかを判別する。そして、判別
されたクラスｊに分類された特徴ベクトルが取得された
登録顔画像の顔向き方向が、その候補者が識別対象者で
あった場合の顔向き方向であると推定する。

【００８４】未知顔画像の特徴ベクトルｙ３が属するク
ラスｊの判別は、この特徴ベクトルｙ３と、各クラスの
平均特徴ベクトルＣ（１）〜Ｃ（ｊ）〜Ｃ（３５）との
ユークリッド距離ｓ３（１）〜ｓ３（３５）が最小とな
るものを求めることで行う。なお、各クラス１〜クラス
３５の平均特徴ベクトルＣ（１）〜Ｃ（３５）は予め求
められており、１次個人識別工程での推定結果に応じて
選択される。

【００８５】（２次個人識別工程）次に、２次個人識別
工程では、１次個人識別で推定した各候補者毎に、個人
顔向き推定で推定したその候補者の顔向き方向から取得
した顔画像の特徴ベクトルと、識別対象者の特徴ベクト
ルとを用いて、最終的な識別対象者を全ての候補者内か
ら線形判別分析によって推定する。

【００８６】２次個人識別工程として、先ず、未知顔画
像の特徴ベクトルを、個人顔向き推定工程で各候補者毎
に推定された顔向き方向で撮像した登録顔画像の特徴ベ
クトルが線形写像された線形空間（以下、２次個人判別
空間という。）δに線形写像する。

【００８７】２次個人判別空間δは、前記各登録顔画像
の特徴ベクトルが、この各特徴ベクトルから求めた係数
行列を用いて線形写像された線形空間である。２次個人
判別空間δでは、図９に示すように、線形写像された各
特徴ベクトルが、１０人の各候補者に対応して生成され
ているクラス１〜クラス１０に分類されている。

【００８８】各クラスｊ（１≦ｊ≦１０；ｊは自然数）
には、そのクラスｊに分類された候補者の一人について
推定された１つの顔向き方向で撮像された１０の登録顔
画像の特徴ベクトルが分類されている。

【００８９】各クラスｊは、クラスｊ内の分散が小さ
く、かつ、各クラスｊ間の分散が大きくなるように生成
されている。２次個人判別空間δは、顔画像認識処理の
実行毎に、個人顔向き推定工程での推定結果に応じて作
成される。これは、顔向き判別空間、１次個人判別空
間、及び、個人顔向き判別空間に比較して、その組み合
わせ数が著しく多いためである。

【００９０】２次個人識別工程として、次に、２次個人
判別空間δに線形写像した未知顔画像の特徴ベクトルｙ
４が、クラス１〜クラス１０のいずれに属するかを判別
する。そして、判別したクラスｊに分類されている特徴
ベクトルが取得された登録顔画像が撮像された候補者
を、最終的な識別対象者であると推定する。

【００９１】未知顔画像の特徴ベクトルｙ４が属するク
ラスｊの判別は、この特徴ベクトルｙ４と、各クラスｊ
の平均特徴ベクトルＤ（１）〜Ｄ（ｊ）〜Ｄ（１０）と
のユークリッド距離ｓ４（１）〜ｓ４（ｊ）〜ｓ４（１
０）が最小となるものを求めることで行う。

【００９２】各クラス１〜１０の平均特徴ベクトルＤ
（１）〜Ｄ（１０）は、顔画像認識処理毎に、個人顔向
き推定工程で推定された各候補者毎の顔向き方向に属す
る特徴ベクトルから求められる。

【００９３】以上の各工程からなる顔画像認識処理によ
って、任意の顔向き方向で撮像された識別対象者の顔画
像が、予め顔画像が登録されている識別登録者内から識
別される。

【００９４】（効果）以上詳述した本実施形態は、以下
に記載する各効果を有する。 （１） 未知顔画像の顔向き方向が属する左右顔向き方
向を推定する顔向き推定工程で、未知顔画像の実際の顔
向き方向が含まれる可能性が最も高い左右顔向き方向面
ＰＶ（ｊ）に加えて、それより低くても可能性がある程
度以上高い両隣りの２つの左右顔向き方向面ＰＶ（ｊ）
をも推定する。そして、識別対象者の候補者を識別登録
者内から推定する個人識別工程で、未知顔画像の顔向き
方向が含まれる可能性がある程度以上高い３つの左右顔
向き方向面ＰＶ（ｊ）に含まれる顔向き方向で撮像され
た登録顔画像の特徴ベクトルを用いて識別対象者の候補
者を推定する。従って、従来と異なり、実際の未知顔画
像の顔向き方向が顔向き推定工程で推定した１つの左右
顔向き方向面ＰＶ（ｊ）に含まれないことによる顔向き
方向の推定精度の低さを改善することができ、最終的な
顔画像識別率の向上を図ることができる。

【００９５】本実施形態の個人識別工程で、最終的な識
別対象者を識別登録者内から推定した場合の最終的な顔
画像識別率は９７．６％となった。一方、従来のよう
に、顔向き推定工程で推定した１つの左右顔向き方向面
ＰＶ（ｊ）に含まれる各顔向き方向で取得した登録顔画
像の特徴ベクトルのみを用いて個人識別工程を行った場
合の最終的な顔画像識別率は９３．６％となった。

【００９６】この結果から明らかなように、識別対象者
から取得する未知顔画像の顔向き変化に対するロバスト
性を向上させ、最終的な顔画像識別率を向上させること
ができる。

【００９７】（２） 識別対象者の候補者を識別登録者
内から推定する1 次個人識別工程で、実際の識別対象者
である可能性が最も高い識別登録者に加えて、それより
低くても可能性がある程度以上高い識別登録者も候補者
として推定する。そして、個人顔向き推定工程及び２次
個人識別工程で、識別対象者である可能性がある程度以
上高い全ての候補者内から識別対象者を推定する。

【００９８】従って、従来と異なり、１次個人識別工程
で推定した１人の候補者が実際の識別登録者でなかった
ことによる識別対象者の推定精度の低さを改善すること
ができ、最終的な顔画像識別率の向上を図ることができ
る。

【００９９】本実施形態の最終的な顔画像識別率は９
８．８％となった。一方、１次個人識別工程で最終的な
識別対象者を推定したときの顔画像識別率は上記のよう
に９７．６％であった。この結果から明らかなように、
最終的な顔画像識別率をより一層向上させることができ
る。

【０１００】（３） 各登録顔画像及び未知顔画像の特
徴量を、各画像の濃淡画像を複数の方向に分割して数値
化した多次元の特徴ベクトルで表すので、その顔画像が
取得された顔向き方向が異なっても各識別登録者及び識
別対象者毎の特徴量がより良く保存される。従って、顔
向き推定工程での顔向き方向、個人顔向き推定工程での
各候補者毎の顔向き方向の各推定精度を良好に確保する
ことができる。

【０１０１】（４） 水平、垂直、左下がり４５°斜
め、及び、右下がり４５°斜めの４方向のエッジで特徴
付けられる顔画像の特徴量をより明確に抽出することが
できる。従って、各工程で、識別対象者の未知顔画像
を、識別登録者の登録顔画像からより明確に識別するこ
とができる。

【０１０２】（第２実施形態）次に、本発明を具体化し
た第２実施形態を図１０に従って説明する。尚、本実施
形態は、前記第１実施形態の１次個人識別工程、個人顔
向き推定工程及び２次個人識別工程で行う線形判別分析
の内容が若干異なることと、２次個人識別工程の後に、
必要に応じて行う類似者識別工程を設けたことのみが第
１実施形態と異なる。従って、第１実施形態と同じ構成
については、符号を同じにしてその説明を省略し、各工
程の相違点と、類似者識別工程とのみについて詳述す
る。

【０１０３】識別登録者の中には、例えば兄弟、親子等
のように顔立ちが極めて似た複数の人が存在する場合が
ある。前記第１実施形態では、この複数の識別登録者内
のいずれか一人が実際の識別対象者であった場合、２次
個人識別工程で推定した最終的な識別対象者がこの複数
の識別登録者内の実際の識別対象者でない人となってし
まう可能性がある。

【０１０４】本実施形態は、識別登録者の中に顔立ちが
極めて似た複数の識別登録者（以下、類似登録者とい
う。）が存在する場合に、この類似登録者の中の一人が
実際の識別対象者であっても、その識別対象者をその類
似登録者内から精度良く識別することができるようにす
るものである。

【０１０５】このため、本実施形態では、複数の類似登
録者が１次個人識別工程及び２次個人識別工程において
共に候補者として推定されるようにするとともに、２次
個人識別工程で好捕者として推定した各類似登録者内か
ら最終的な識別対象者を推定する新たな類似者識別工程
を２次個人識別工程の後に設けている。

【０１０６】本実施形態では、コンピュータ１４に顔画
像認識処理を行わせる前に、予め顔付きが顕著に近い複
数（本実施形態では、２人とする。）の類似登録者を選
び出す。そして、１次個人識別工程、個人顔向き推定工
程及び２次個人識別工程の各工程において、この２人の
各類似登録者から取得した登録顔画像の全てを、一人の
架空の識別登録者から取得した登録顔画像として取り扱
う。

【０１０７】（顔向き推定工程）先ず、顔向き推定工程
では、前記第１実施形態と同じに、未知顔画像の顔向き
方向が含まれる可能性がある３つの左右顔向き方向面Ｐ
Ｖ（ｊ）を推定する。

【０１０８】（１次個人識別工程）次に、１次個人識別
工程では、未知顔画像の特徴ベクトルを、顔向き推定工
程で推定した３つの左右顔向き方向面ＰＶ（ｊ）に含ま
れる全ての顔向き方向で撮像した登録顔画像の特徴ベク
トルが線形写像された１次個人線形空間βに線形写像す
る。

【０１０９】この１次個人線形空間βでは、線形写像さ
れた各特徴ベクトルが、２人の類似登録者を一人の架空
の識別登録者とした１４９（＝１５０−２＋１）人の各
識別登録者に対応して生成されたクラス１〜クラス１４
９に分類されている。そして、架空の識別登録者に対応
するクラスには、２人の類似登録者毎に全ての顔向き方
向で取得された登録顔画像内、３つの左右顔向き方向に
属する１５の顔向き方向で取得された３００（＝２人×
１５方向×１０）の登録顔画像の特徴ベクトルが分類さ
れている。従って、この架空の識別登録者に対応するク
ラスの平均特徴ベクトルは、この３００の特徴ベクトル
から求められる。

【０１１０】次に、この１次個人識別空間βに線形写像
した未知顔画像の特徴ベクトルｙ２が属するクラスを判
別し、判別したクラスｊ（１≦ｊ≦１４９）に分類され
ている特徴ベクトルが取得された登録顔画像が撮像され
た識別登録者を識別対象者の候補者とする。

【０１１１】ここで、判別された１０のクラスに、架空
の識別登録者に対応するクラスが含まれた場合には、こ
の架空の識別対象者を１０人の候補者の一人とする。 （個人顔向き推定工程）次に、個人顔向き推定工程で
は、未知顔画像の特徴ベクトルを、各候補者毎にその候
補者に対し３５の全ての顔向き方向で撮像した登録顔画
像の特徴ベクトルが線形写像された個人顔向き判別空間
γ１〜γ１０にそれぞれ線形写像する。

【０１１２】ここで、前記１次個人識別工程で、架空の
識別登録者を候補者の一人としたときには、その架空の
識別登録者に対する個人顔向き判別空間γｊ（１≦ｊ≦
１０）を、２人の類似登録者からそれぞれ取得した登録
顔画像を合わせた７００（＝３５０×２名）の登録顔画
像の特徴ベクトルを用いて生成する。すなわち、個人顔
向き判別空間γｊは、７００の特徴ベクトルが、この全
ての特徴ベクトルから求めた係数行列を用いて線形写像
された線形空間となる。

【０１１３】この個人顔向き判別空間γｊでは、線形写
像された７００の特徴ベクトルが、３５の各顔向き方向
に対応して生成されているクラス１〜クラス３５に分類
されている。

【０１１４】そして、この個人顔向き判別空間γｊに線
形写像した未知顔画像の特徴ベクトルが属するクラスを
判別し、判別したクラスに対応する顔向き方向を、この
架空の識別登録者の顔向き方向であると推定する。

【０１１５】（２次個人識別工程）次に、２次個人識別
工程では、先ず、未知顔画像の特徴ベクトルを、個人顔
向き推定工程で各候補者毎に推定した顔向き方向の特徴
ベクトルが線形写像された２次個人判別空間δに線形写
像する。

【０１１６】ここで、前記個人顔向き推定工程で架空の
識別登録者を候補者の一人としてその顔向き方向を推定
したときには、２人の類似登録者毎に架空の識別登録者
の顔向き方向で取得した２０（＝１０×２名）の登録顔
画像の特徴ベクトルが分類されたクラスを架空の識別登
録者に対応するクラスとする。

【０１１７】次に、この２次個人識別空間δに線形写像
した未知顔画像の特徴ベクトルｙ４が属するクラスを判
別し、判別したクラスに対応する識別登録者を最終的な
識別対象者の候補者であると推定する。

【０１１８】ここで、この候補者が、架空の識別登録者
以外の識別登録者であった場合には、その識別登録者を
最終的な識別対象者であると推定する。一方、候補者が
架空の識別対象者であった場合には、次に、架空の識別
登録者とみなした２人の類似登録者内から最終的な識別
対象者を推定する類似者識別工程を行う。

【０１１９】（類似者識別工程）類似者識別工程では、
架空の識別登録者とみなした２人の類似登録者から取得
した登録顔画像内から、個人顔向き推定工程で推定した
架空の識別登録者の顔向き方向で取得した登録顔画像の
特徴ベクトルと、識別対象者の特徴ベクトルとを用い
て、２人の類似登録者内から最終的な識別対象者を線形
判別分析によって推定する。

【０１２０】類似者識別工程として、先ず、未知顔画像
の特徴ベクトルを、個人顔向き推定工程で推定した架空
の識別登録者の顔向き方向について２人の各類似登録者
から取得した登録顔画像の特徴ベクトルが線形写像され
た線形空間（以下、類似者判別空間という。）εに線形
写像する。

【０１２１】類似者判別空間εは、顔向き方向が特定さ
れた各類似登録者の登録顔画像の特徴ベクトルが、この
全ての特徴ベクトルから求めた係数行列を用いて線形写
像された線形空間である。

【０１２２】類似者判別空間εでは、図１０に示すよう
に、線形写像された各特徴ベクトルが、２人の各類似登
録者に対応して生成されているクラス１及びクラス２に
分類されている。

【０１２３】各クラス１，２には、そのクラス１（又は
２）に分類された類似登録者の一人について１つの顔向
き方向に対応する１０の特徴ベクトルが分類されてい
る。各クラス１，２は、クラス１（又は２）内の分散が
小さく、かつ、両クラス１，２間の分散が大きくなるよ
うに生成されている。

【０１２４】類似者判別空間εは、架空の識別登録者と
みなす２人の類似登録者に対しその顔向き方向毎に予め
作成されており、個人顔向き推定工程での推定結果に基
づいて選択される。

【０１２５】類似者判別工程として、次に、類似者判別
空間εに線形写像した未知顔画像の特徴ベクトルｙ５
が、クラス１又はクラス２のいずれに属するかを判別す
る。そして、判別したクラス１（又は２）に対応する類
似登録者を最終的な識別対象者であると推定する。

【０１２６】未知顔画像の特徴ベクトルｙ５が属するク
ラス１（又は２）の判別は、この特徴ベクトルｙ５と、
各クラス１（又は２）の平均特徴ベクトルＥ（１），Ｅ
（２）とのユークリッド距離ｓ５（１），ｓ５（２）が
最小となるものを求めることで行う。

【０１２７】各クラス１（又は２）の平均特徴ベクトル
Ｅ（１），Ｅ（２）は、予め求められており、２次個人
識別工程で架空の識別登録者が候補者の一人として推定
されたときに用いられる。

【０１２８】以上の各工程からなる顔画像認識処理によ
って、識別対象者の未知顔画像を、顔立ちが極めて似た
２人の類似登録者を含む全ての識別登録者の登録顔画像
内から識別する。

【０１２９】以上詳述した本実施形態は、前記第１実施
形態の各効果に加えて以下の効果を有する。 （５） 兄弟や親子のように顔立ちが極めて似た複数の
類似登録者の顔画像を、１次個人識別工程において一人
の架空の識別登録者の顔画像とみなして扱う。この１次
個人識別工程で、識別対象者の１０人の候補者の一人と
してその架空の識別登録者が推定されたときには、続く
個人顔向き推定工程及び２次個人識別工程においても同
様に扱う。そして、２次個人識別工程で、架空の識別登
録者が識別対象者の最終的な候補者とされたときには、
次の類似者判別工程で、顔向き方向を特定した各類似登
録者の特徴ベクトルと、未知顔画像の特徴ベクトルとを
用い、改めて複数の識別登録者内から最終的な識別対象
者を識別する。

【０１３０】従って、第１実施形態と異なり、複数の類
似登録者の中の実際の識別対象者を候補者の一人としな
いことによる１次個人識別工程で推定精度の低さを改善
し、最終的な顔画像識別率の向上を図ることができる。

【０１３１】（その他の実施形態）次に、上記各実施形
態以外の実施形態を列挙する。 ・ 前記第１実施形態の顔向き推定工程で、各識別登録
者毎に全ての顔向き方向から撮像した登録顔画像から取
得した特徴ベクトルと、未知顔画像から取得した特徴ベ
クトルとを用いて、未知顔画像の顔向き方向が含まれる
上下顔向き方向面ＰＨ（ｋ）（ｋ：−３０，−１５，０
＋１５，＋３０）を公知の線形判別分析によって推定す
る構成とする。すなわち、未知顔画像の顔向き方向が含
まれる上下顔向き方向面ＰＨ（ｋ）のみを判別する。そ
して、未知顔画像の顔向き方向が含まれる可能性が最も
高い上下顔向き方向面ＰＨ（ｋ）にその上下に隣り合う
２つの上下顔向き方向面ＰＨ（ｋ）を加えた３つの方向
面を、未知顔画像の顔向き方向が含まれる可能性がある
程度以上高い上下顔向き方向面ＰＨ（ｋ）として推定す
る。このような構成によっても、従来と異なり、顔向き
推定工程での推定精度の低さを改善することができ、最
終的な顔画像識別率の向上を図ることができる。

【０１３２】・ 前記第１及び第２実施形態の顔向き推
定工程で、顔向き判別空間αに線形写像された特徴ベク
トルｙ１とのユークリッド距離が小さい順に、特徴ベク
トルｙ１が属する可能性がある３つの各クラスｊを判別
する。次に、１次個人識別工程で、この各クラスｊに対
応する各左右顔向き方向面ＰＶ（ｊ）に含まれる全ての
顔向き方向で取得した登録顔画像の特徴ベクトル群を用
いて、識別対象者の候補者を識別登録者内から推定する
構成とする。このような構成であっても、未知顔画像の
実際の顔向き方向が顔向き推定で推定する１つの左右顔
向き方向に属さなかったことによってもたらされる顔向
き方向の推定精度の低さを改善し、最終的な顔画像識別
率の向上を図ることができる。

【０１３３】・ 前記第１実施形態の２次個人識別工程
において、２次個人判別空間において線形写像した未知
顔画像の特徴ベクトルと、各クラスの平均特徴ベクトル
とのユークリッド距離が短い順に、顔向き方向が推定さ
れている識別対象者の候補者を１０人の候補者内から複
数人推定する。そして、この推定した複数の候補者の特
徴ベクトルのみで、この特徴ベクトルがこの各候補者に
対応するクラスに分類された新たな個人判別空間を生成
する。この個人判別空間に線形写像した未知顔画像の特
徴ベクトルが属するクラスを判別することで、最終的な
候補者を複数の候補者内から識別する構成とする。

【０１３４】・ 前記第１及び第２実施形態で、左右顔
向き方向の数は７に限定されず、また、各左右顔向き方
向同士がなす角度は１５°に限定されない。同様に、上
下顔向き方向の数は５に限定されず、また、各上下顔向
き方向同士がなす角度は１５°に限定されない。さら
に、隣り合う左右又は上下顔向き方向同士がなす角度は
均等でなくてもよい。

【０１３５】・ 前記第１及び第２実施形態の顔向き推
定工程において、未知顔画像の顔向き方向が含まれる左
右顔向き方向が、顔向き判別空間αで推定した左右顔向
き方向面ＰＶ（ｊ）に、例えばその両隣り２つずつの左
右顔向き方向面ＰＶ（ｊ）を合わせた５つの左右顔向き
方向面ＰＶ（ｊ）のいずれかに含まれると推定してもよ
い。

【０１３６】・ 前記第１及び第２実施形態で、各登録
顔画像及び未知顔画像の濃淡画像から方向エッジ画像を
生成するときの４つの方向は、水平、垂直、左下がり４
５°斜め、及び、右下がり４５°斜めの４方向に限らな
い。又、４方向に限らず、３方向や、５方向以上であっ
てもよい。

【０１３７】・ 前記第１及び第２実施形態の各工程
で、各判別空間に線形写像した未知顔画像の特徴ベクト
ルが属するクラスを、この特徴ベクトルと各クラスの平
均特徴ベクトルとの２乗距離が最小となるクラスとして
もよい。

【０１３８】・ 前記第１又は第２実施形態で、個人顔
向き推定工程及び２次個人識別工程を行わず、１次個人
識別工程で、識別対象者の候補者を１人だけ推定するこ
とで最終的な顔画像認識としてもよい。この場合であっ
ても、最終的な顔画像識別率をより高くすることができ
る。

【０１３９】（その他の技術的思想）以下、前述した各
実施形態から把握される技術的思想をその効果とともに
記載する。

【０１４０】（１） 顔画像を識別しようとする複数の
識別登録者に対し、顔正面に対して左右に角度をなす複
数の左右顔向き方向面と、同じく上下に角度をなす複数
の上下顔向き方向との交差線で設定する複数の顔向き方
向から識別登録者の顔を撮像した登録顔画像を取得し、
この各登録顔画像から取得した特徴量と未知の識別対象
者の顔を撮像した未知顔画像から取得した特徴量とを用
いて、前記登録顔画像内から未知顔画像を識別する顔画
像認識装置であって、前記各識別登録者毎に前記顔向き
方向の全てで撮像した前記各登録顔画像の特徴量と前記
未知顔画像の特徴量とを用いて、未知顔画像の顔向き方
向が含まれる可能性がある前記左右顔向き方向面又は上
下顔向き方向面を複数方向推定する顔向き推定手段と、
前記顔向き推定手段が推定した複数の左右顔向き方向面
又は上下顔向き方向面に含まれる全ての顔向き方向から
撮像した前記登録顔画像の特徴量と前記未知顔画像の特
徴量とを用いて、全ての前記識別登録者内から前記識別
対象者の候補者を推定する個人識別手段とを備えている
ことを特徴とする顔画像認識装置。このような構成に
は、請求項３に記載の発明と同じ効果がある。

【０１４１】（２） 上記技術的思想（１）に記載の発
明において、前記個人識別手段は、前記識別対象者の候
補者を複数人推定し、前記各候補者毎に前記顔向き方向
の全てで撮像した登録顔画像の特徴量と未知顔画像の特
徴量とを用いて、前記各候補者内から識別対象者を推定
する個人推定手段を備えていることを特徴とする顔画像
認識装置。このような構成には、請求項４に記載の発明
と同じ効果がある。

【０１４２】（３）上記技術的思想（２）に記載の発明
において、前記個人推定手段は、前記各候補者毎に前記
顔向き方向の全てで撮像した各登録顔画像の特徴量と前
記未知顔画像の特徴量とを用いて、全ての前記顔向き方
向の範囲内から各候補者毎の顔向き方向を推定する個人
顔向き推定手段と、各候補者毎に推定した顔向き方向で
撮像した登録顔画像の特徴量と未知顔画像の特徴量とを
用いて、前記候補者内から識別対象者を推定する２次個
人識別手段とからなることを特徴とする顔画像認識装
置。このような構成には、請求項５に記載の発明と同じ
効果がある。

【０１４３】（４） 請求項７，８及び上記技術的思想
（２），（３）のいずれか一項に記載の発明において、
前記個人識別手段は、全ての識別対象者の中で顔立ちが
似ていると予め判断した複数の類似登録者から取得した
全ての登録顔画像を１人の架空の識別登録者から取得し
た登録顔画像とみなして扱うとともに、前記個人推定手
段が推定した識別対象者がその架空の識別登録者であっ
たときに、各類似登録者の登録顔画像の特徴ベクトルと
未知顔画像の特徴ベクトルとを用いて、各類似登録者内
から識別対象者を推定する類似者識別手段を備えている
ことを特徴とする顔画像認識装置。このような構成に
は、請求項６に記載の発明と同じ効果がある。

【０１４４】（５） 請求項１〜請求項６のいずれか一
項に記載の発明において、前記特徴量は、前記登録顔画
像及び未知顔画像の濃淡画像から複数の方向エッジ画像
を生成し、各方向エッジ画像を所定数の解像度に正規化
した画像の濃淡値を求め、方向エッジ画像の数に解像度
数を乗じた数の次元数で前記顔画像を表した特徴ベクト
ルであることを特徴とする顔画像認識方法。このような
構成では、各登録顔画像及び未知顔画像の特徴量を、各
画像の濃淡画像を複数の方向に分割して数値化した多次
元の特徴ベクトルで表すので、その顔画像が取得された
顔向き方向が異なっても各識別登録者及び識別対象者毎
の特徴量がより良く保存される。従って、顔向き推定工
程での顔向き方向、個人顔向き推定工程での各候補者毎
の顔向き方向の各推定精度を良好に確保することができ
る。

【０１４５】（６） 上記技術的思想（５）に記載の発
明において、前記顔向き推定工程では、前記各識別登録
者毎に前記顔向き方向の全てで撮像した前記各登録顔画
像の特徴ベクトルを線形写像した顔向き判別空間を用い
て、未知顔画像の顔向き方向である可能性がある顔向き
方向を複数方向推定し、前記個人識別工程では、前記顔
向き推定で推定した複数の左右顔向き方向に属する全て
の各顔向き方向で撮像した前記登録顔画像から取得した
特徴ベクトルを線形写像した個人判別空間を用いて、識
別対象者の候補者を推定することを特徴とする顔画像認
識装置。このような構成では、顔向き推定工程で、未知
顔画像の顔向き方向である可能性が高い複数の顔向き方
向をより高い精度で推定でき、また、個人識別工程で、
未知顔画像である可能性が高い登録顔画像が取得された
識別登録者の候補者をより高い精度で推定できる。その
結果、最終的な顔画像識別率をより向上させることがで
きる。

【０１４６】（７） 上記技術的思想（５）又は（６）
のいずれか一項に記載の発明において、前記方向エッジ
画像は、前記登録顔画像及び未知顔画像の濃淡画像か
ら、水平、垂直、左下がり４５°斜め、及び、右下がり
４５°斜めの４方向で生成されていることを特徴とする
顔画像認識方法。このような構成によれば、水平、垂
直、左下がり４５°斜め、及び、右下がり４５°斜めの
４方向のエッジで特徴付けられる顔画像の特徴量をより
明確に抽出することができるため、各工程において、識
別対象者の未知顔画像を識別登録者の登録顔画像からよ
り明確に識別することができる。

【０１４７】（８） 請求項７，８及び上記技術的思想
（１）〜（４）のいずれか一項に記載の発明において、
前記特徴量は、前記登録顔画像及び未知顔画像の濃淡画
像から複数の方向エッジ画像を生成し、各方向エッジ画
像を所定数の解像度に正規化した画像の濃淡値を求め、
方向エッジ画像の数に解像度数を乗じた数の次元数で前
記顔画像を表した特徴ベクトルであることを特徴とする
顔画像認識装置。このような構成には、上記技術的思想
（５）に記載した効果がある。

【０１４８】（９） 上記技術的思想（８）に記載の発
明において、前記顔向き推定工程では、前記各識別登録
者毎に前記顔向き方向の全てで撮像した前記各登録顔画
像の特徴ベクトルを線形写像した顔向き判別空間を用い
て、未知顔画像の顔向き方向である可能性がある顔向き
方向を複数方向推定し、前記個人識別工程では、前記顔
向き推定で推定した複数の左右顔向き方向に属する全て
の各顔向き方向で撮像した前記登録顔画像から取得した
特徴ベクトルを線形写像した個人判別空間を用いて、識
別対象者の候補者を推定することを特徴とする顔画像認
識装置。このような構成には、上記技術的思想（６）に
記載した効果がある。

【０１４９】（１０） 請求項３〜請求項６のいずれか
一項に記載の発明において、前記顔向き推定工程では、
未知顔画像の顔向き方向が含まれる可能性が最も高い左
右顔向き方向面にその左右両隣りの２つの左右顔向き方
向面を加えた３つの方向面を推定し、又は、同じく上下
顔向き方向面にその上下両隣りの２つの上下顔向き方向
面を加えた３つの方向面を推定することを特徴とする顔
画像認識方法。このような構成によれば、未知顔画像が
含まれる可能性がある程度以上の複数の左右顔向き方向
面又は上下顔向き方向面をより高い精度で推定できる。

【０１５０】（１１） 請求項１又は請求項２に記載の
発明において、前記顔向き方向は、顔正面に対して左右
にそれぞれ角度をなす複数の左右顔向き方向面と、同じ
く上下にそれぞれ角度をなす複数の上下顔向き方向面と
の交差線で設定されるものであることを特徴とする顔画
像認識方法。

【０１５１】

【発明の効果】請求項１〜請求項８に記載の発明によれ
ば、認識対象者から取得する未知顔画像の顔向き変化に
対するロバスト性を向上させ、最終的な顔画像識別率を
向上させることができる。

【０１５２】加えて請求項２、請求項４〜請求項６、及
び、請求項８に記載の発明によれば、最終的な顔画像識
別率をより一層向上させることができる。

【図面の簡単な説明】

【図１】 第１実施形態の顔画像認識処理を示すフロー
チャート。

【図２】 顔画像認識装置の構成図。

【図３】 左右顔向き方向の説明図。

【図４】 上下顔向き方向の説明図。

【図５】 顔向き方向の説明図。

【図６】 顔向き判別空間を示す概念図。

【図７】 １次個人判別空間を示す概念図。

【図８】 個人顔向き判別空間を示す概念図。

【図９】 ２次個人判別空間を示す概念図。

【図１０】 第２実施形態の顔画像認識処理で用いる類
似者判別空間を示す概念図。

【符号の説明】

１０…顔画像認識装置、１４…顔向き推定手段、個人識
別手段、個人推定手段、個人顔向き推定手段、２次個人
識別手段及び類似者識別手段としてのコンピュータ、Ｐ
Ｈ（−４５）〜ＰＨ（＋４５）…上下顔向き方向面、Ｐ
Ｖ（−３０）〜ＰＶ（＋３０）…左右顔向き方向面、Ｑ
…識別対象者、Ｚ…識別登録者、α…顔向き判別空間、
β…１次個人判別空間、γ１〜γ１０…個人顔向き判別
空間、δ…２次個人判別空間、ε…類似者識別工程。

フロントページの続き (72)発明者 本郷 仁志 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン 内 Ｆターム(参考） 5B043 AA09 BA04 DA05 EA09 FA03 FA07 GA05 GA11 5B057 AA19 BA02 DA12 DB02 DB06 DB09 DC04 DC25 DC33

Claims (8)

【特許請求の範囲】
1. 【請求項１】 顔画像を識別しようとする複数の識別登
   録者の顔に対して設定した複数の顔向き方向から各識別
   登録者の顔を撮像した登録顔画像を取得し、この各登録
   顔画像から取得した特徴量と未知の識別対象者の顔を撮
   像した未知顔画像から取得した特徴量とを用いて、前記
   登録顔画像内から未知顔画像を識別する顔画像認識方法
   であって、 前記各識別登録者毎に前記顔向き方向の全てで撮像した
   前記各登録顔画像の特徴量と前記未知顔画像の特徴量と
   を用いて、全ての前記顔向き方向の範囲内から未知顔画
   像の顔向き方向を複数方向推定する顔向き推定工程と、 前記顔向き推定工程で推定した全ての顔向き方向から撮
   像した前記登録顔画像の特徴量と前記未知顔画像の特徴
   量とを用いて、全ての前記識別登録者内から前記識別対
   象者の候補者を複数人推定する個人識別工程と、 前記各候補者毎に前記顔向き方向の全てで撮像した各登
   録顔画像の特徴量と未知顔画像の特徴量とを用いて、前
   記候補者内から識別対象者を推定する個人推定工程とを
   備えていることを特徴とする顔画像認識方法。
2. 【請求項２】 前記個人推定工程は、 前記各候補者毎に前記顔向き方向の全てで撮像した各登
   録顔画像の特徴量と前記未知顔画像の特徴量とを用い
   て、全ての前記顔向き方向の範囲内から各候補者毎の顔
   向き方向を推定する個人顔向き推定工程と、 各候補者毎に推定した顔向き方向で撮像した登録顔画像
   の特徴量と未知顔画像の特徴量とを用いて、前記候補者
   内から識別対象者を推定する２次個人識別工程とからな
   ることを特徴とする請求項１に記載の顔画像認識方法。
3. 【請求項３】 顔画像を識別しようとする複数の識別登
   録者に対し、顔正面に対して左右に角度をなす複数の左
   右顔向き方向面と、同じく上下に角度をなす複数の上下
   顔向き方向面との交差線で設定する複数の顔向き方向か
   ら識別登録者の顔を撮像した登録顔画像を取得し、この
   各登録顔画像から取得した特徴量と未知の識別対象者の
   顔を撮像した未知顔画像から取得した特徴量とを用い
   て、前記登録顔画像内から未知顔画像を識別する顔画像
   認識方法であって、 前記各識別登録者毎に前記顔向き方向の全てで撮像した
   前記各登録顔画像の特徴量と前記未知顔画像の特徴量と
   を用いて、未知顔画像の顔向き方向が含まれる可能性が
   ある前記左右顔向き方向面又は上下顔向き方向面を複数
   方向推定する顔向き推定工程と、 前記顔向き推定工程で推定した複数の左右顔向き方向面
   又は上下顔向き方向面に含まれる全ての顔向き方向から
   撮像した前記登録顔画像の特徴量と前記未知顔画像の特
   徴量とを用いて、全ての前記識別登録者内から前記識別
   対象者の候補者を推定する個人識別工程とを備えている
   ことを特徴とする顔画像認識方法。
4. 【請求項４】 前記個人識別工程では、前記識別対象者
   の候補者を複数人推定し、 前記個人識別工程の後に、前記各候補者毎に前記顔向き
   方向の全てで撮像した登録顔画像の特徴量と未知顔画像
   の特徴量とを用いて、前記各候補者内から識別対象者を
   推定する個人推定工程を備えていることを特徴とする請
   求項３に記載の顔画像認識方法。
5. 【請求項５】 前記個人推定工程は、 前記各候補者毎に前記顔向き方向の全てで撮像した各登
   録顔画像の特徴量と前記未知顔画像の特徴量とを用い
   て、全ての前記顔向き方向の範囲内から各候補者毎の顔
   向き方向を推定する個人顔向き推定工程と、 各候補者毎に推定した顔向き方向で撮像した登録顔画像
   の特徴量と未知顔画像の特徴量とを用いて、前記候補者
   内から識別対象者を推定する２次個人識別工程とからな
   ることを特徴とする請求項４に記載の顔画像認識方法。
6. 【請求項６】 前記個人識別工程では、全ての識別対象
   者の中で顔立ちが似ていると予め判断した複数の類似登
   録者から取得した全ての登録顔画像を１人の架空の識別
   登録者から取得した登録顔画像とみなして扱うととも
   に、前記個人推定工程で推定した識別対象者がその架空
   の識別登録者であったときに該個人推定工程の後に行う
   類似者識別工程を備え、 前記類似者識別工程では、各類似登録者の登録顔画像の
   特徴ベクトルと未知顔画像の特徴ベクトルとを用いて、
   各類似登録者内から識別対象者を推定することを特徴と
   する請求項１，２，４，５のいずれか一項に記載の顔画
   像認識方法。
7. 【請求項７】 顔画像を識別しようとする複数の識別登
   録者の顔に対して設定した複数の顔向き方向から各識別
   登録者の顔を撮像した登録顔画像を取得し、この各登録
   顔画像から取得した特徴量と未知の識別対象者の顔を撮
   像した未知顔画像から取得した特徴量とを用いて、前記
   登録顔画像内から未知顔画像を識別する顔画像認識装置
   であって、 前記各識別登録者毎に前記顔向き方向の全てで撮像した
   前記各登録顔画像の特徴量と前記未知顔画像の特徴量と
   を用いて、全ての前記顔向き方向の範囲内から未知顔画
   像の顔向き方向を複数方向推定する顔向き推定手段と、 前記顔向き推定工程で推定した全ての顔向き方向から撮
   像した前記登録顔画像の特徴量と前記未知顔画像の特徴
   量とを用いて、全ての前記識別登録者内から前記識別対
   象者の候補者を複数人推定する個人識別手段と、 前記各候補者毎に前記顔向き方向の全てで撮像した各登
   録顔画像の特徴量と未知顔画像の特徴量とを用いて、前
   記候補者内から識別対象者を推定する個人推定手段を備
   えていることを特徴とする顔画像認識装置。
8. 【請求項８】 前記個人推定手段は、 前記各候補者毎に前記顔向き方向の全てで撮像した各登
   録顔画像の特徴量と前記未知顔画像の特徴量とを用い
   て、全ての前記顔向き方向の範囲内から各候補者毎の顔
   向き方向を推定する個人顔向き推定手段と、 各候補者毎に推定した顔向き方向で撮像した登録顔画像
   の特徴量と未知顔画像の特徴量とを用いて、前記候補者
   内から識別対象者を推定する２次個人識別手段とからな
   ることを特徴とする請求項７に記載の顔画像認識装置。