JP2007115109A

JP2007115109A - 画像処理装置および方法、プログラム、並びに記録媒体

Info

Publication number: JP2007115109A
Application number: JP2005307167A
Authority: JP
Inventors: Ryuhei Sakagami; 竜平坂上; Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-10-21
Filing date: 2005-10-21
Publication date: 2007-05-10

Abstract

【課題】簡単により確実に顔を識別する。
【解決手段】対応位置探索部３５は、登録画像上の注目している注目領域に対応する対応領域であって、正規化された顔画像上の対応領域の位置を特定する。ベクトル生成部４１は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルを生成する。特徴量生成部３７は、対応位置探索部３５から供給されたベクトルから、入力された入力画像である正規化された顔画像上の対応領域の位置の特徴を示す特徴量を生成する。識別部３８は、特徴量生成部３７から供給された特徴量によって、入力画像の顔を識別する。本発明は、顔を識別する顔識別装置に適用できる。
【選択図】図３

Description

本発明は画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、顔を識別できるようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。

顔を撮影して、撮影した画像から顔を識別する顔識別装置が利用されている。

図１は、従来の顔識別装置の構成を示すブロック図である。カメラ１１は、識別しようとする顔を撮影して、顔の画像を画像入力部１２に供給する。画像入力部１２は、カメラ１１とのインターフェースであり、カメラ１１から供給された画像を入力する。画像入力部１２は、入力した画像を顔画像抽出部１３に供給する。顔画像抽出部１３は、画像入力部１２から供給された画像から顔領域を抽出する。より具体的には、顔画像抽出部１３は、供給された画像から、肌色領域を抽出し、標準的な顔の画像であるテンプレートを用いて抽出した肌色領域が顔の画像の領域であるかを判定する。そして、顔画像抽出部１３は、顔の画像の領域であると判定された場合、肌色領域を含む方形領域を顔画像として、顔画像正規化部１４に供給する。

顔画像正規化部１４は、顔画像の明暗を調整し、目や口の位置を基準としてアフィン変換を顔画像に適用して、顔画像を正規化する。すなわち、顔画像正規化部１４は、顔画像全体の明暗を調整して、明暗を調整し、また、目や口の位置が予め設定した位置になるように顔画像にアフィン変換を適用する。顔画像正規化部１４は、正規化した顔画像を識別部１５に供給する。

識別部１５は、登録によって登録顔画像記憶部１６に予め記憶されている登録顔画像と、顔画像正規化部１４から供給された正規化された顔画像との類似度を求めて、求めた類似度から、顔を識別する。

図２は、従来の顔識別の処理を説明するフローチャートである。ステップＳ１１において、画像入力部１２は、カメラ１１から供給された画像を入力する。ステップＳ１２において、顔画像抽出部１３は、画像入力部１２から供給された画像から顔領域を抽出する。

ステップＳ１３において、顔画像抽出部１３は、標準的な顔の画像であるテンプレートを用いて抽出した顔領域が顔画像であるか否かを判定する。ステップＳ１３において、抽出した顔領域が顔画像であると判定された場合、ステップＳ１４に進み、顔画像正規化部１４は、顔画像の明暗を調整し、目や口の位置を基準としてアフィン変換を顔画像に適用して、顔画像を正規化する。

ステップＳ１５において、識別部１５は、登録顔画像記憶部１６に予め記憶されている登録顔画像と、顔画像正規化部１４から供給された正規化された顔画像との類似度を求める。この場合、登録顔画像の画素値と正規化された顔画像の画素値との差の絶対値の総和が類似度とされる。

ステップＳ１６において、識別部１５は、登録顔画像と正規化された顔画像との類似度が予め定めた閾値以内であるか否かを判定し、類似度が閾値以内であると判定された場合、ステップＳ１７に進み、登録された顔であるとの結果を出力して、処理は終了する。

一方、ステップＳ１６において、類似度が閾値以内でないと判定された場合、ステップＳ１８に進み、登録された顔でないとの結果を出力して、処理は終了する。

ステップＳ１３において、抽出した顔領域が顔画像でないと判定された場合、処理は終了する。

従来は、入力画像から当該人物の顔領域が抽出された際に、その顔領域の中から分離度フィルタを用いて顔の各特徴点候補を抽出し、顔の構造的な制約を用いて特徴点セット候補を絞り込み、予め登録してある目、鼻、口領域などのテンプレートとの類似度を計算してその加重和の整合度を求め、最も高い整合度を持つ特徴点セットを正しい組合せと決定し、その特徴点セットから正規化画像を生成し、その正規化画像と予め登録されている各登録者の辞書画像との類似度を計算し、類似度が高い辞書画像を表す人物を当人と識別するようにしているものもある（例えば、特許文献１参照）。

また、顔領域を抽出し、目、口の位置を検出し、目、口の位置があらかじめ設定した位置に来るようにアフィン変換し、アフィン変換後の顔画像に対し格子状の基準点を設定し、各基準点の偏移量列の集合を設定し、各基準点を偏移量列に基づき各顔画像を変形させ、変形顔画像と基準顔画像との最も高い相関値をその変形顔画像の相関値とし、相関値が相関度基準を満足した時は基準顔画像の人物を識別結果とし、相関度基準を満足しない時は顔画像変形の際の偏移量列を組み替え操作するようにしているものもある（例えば、特許文献２参照）。

特開平９−２５１５３４号公報

特開２０００−１１３１９７号公報

しかしながら、特許文献１に記載されているように目鼻のような特徴的な部分的な要素を利用する識別の処理は、複雑になるだけでなく、表情の変化に対応することが困難であり、ロバストな手法とはなりにくい。

また、特許文献２に記載されているように、顔画像上の点が基準顔画像のどの点に対応するかを遺伝的アルゴリズムによって求めるようにすると、処理が複雑なので、実用上実現性に乏しい。

本発明は、このような状況に鑑みてなされたものであり、簡単により確実に顔を識別することができるようにするものである。

本発明の一側面の画像処理装置は、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定する特定手段と、前記対応領域の位置に基づいて、前記入力画像の顔を識別する識別手段とを備える。

前記識別手段は、複数の前記注目領域のそれぞれに対応する前記対応領域のそれぞれの位置に基づいて、前記入力画像の顔を識別することができる。

前記特定手段は、前記注目領域に含まれる画素の画素値に対して、差分の絶対値の和が最小になる画素値の画素からなる前記対応領域の位置を特定することができる。

前記特定手段は、前記登録画像上の前記注目領域の位置と、特定された前記入力画像上の前記対応領域の位置とを示すベクトルを生成するベクトル生成手段を備え、前記識別手段は、前記ベクトルから、前記入力画像の顔を識別することができる。

前記ベクトルから、前記入力画像上の前記対応領域の位置の特徴を示す特徴量を生成する特徴量生成手段をさらに設け、前記識別手段は、前記特徴量によって、前記入力画像の顔を識別することができる。

前記特徴量生成手段は、前記ベクトルの頻度に応じた前記特徴量を生成することができる。

前記特徴量生成手段は、前記ベクトルの頻度に判別式を適用することで前記特徴量を生成することができる。

本発明の一側面の画像処理方法は、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、前記対応領域の位置に基づいて、前記入力画像の顔を識別するステップを含む。

本発明の一側面のプログラムは、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、前記対応領域の位置に基づいて、前記入力画像の顔を識別するステップをコンピュータに実行させる。

本発明の一側面の記録媒体は、本発明の一側面のプログラムを記録している。

本発明の一側面においては、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置が特定され、前記対応領域の位置に基づいて、前記入力画像の顔が識別される。

以上のように、本発明の一側面によれば、顔を識別することができる。

また、本発明の一側面によれば、簡単により確実に顔を識別することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定する特定手段（例えば、図３の対応位置探索部３５）と、前記対応領域の位置に基づいて、前記入力画像の顔を識別する識別手段（例えば、図３の識別部３８）とを備える。

前記特定手段は、前記登録画像上の前記注目領域の位置と、特定された前記入力画像上の前記対応領域の位置とを示すベクトルを生成するベクトル生成手段（例えば、図３のベクトル生成部４１）を備え、前記識別手段は、前記ベクトルから、前記入力画像の顔を識別することができる。

前記ベクトルから、前記入力画像上の前記対応領域の位置の特徴を示す特徴量を生成する特徴量生成手段（例えば、図３の特徴量生成部３７）をさらに設け、前記識別手段は、前記特徴量によって、前記入力画像の顔を識別することができる。

本発明の一側面の画像処理方法またはプログラムは、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し（例えば、図２５のステップＳ３５）、前記対応領域の位置に基づいて、前記入力画像の顔を識別する（例えば、図２５のステップＳ３７乃至ステップＳ３９）ステップを含む。

本発明の画像処理装置は、顔を識別する顔識別装置として実現することができる。

図３は、本発明の一実施の形態の顔識別装置の構成を示すブロック図である。顔識別装置は、カメラ３１、画像入力部３２、顔画像抽出部３３、顔画像正規化部３４、対応位置探索部３５、登録画像記憶部３６、特徴量生成部３７、および識別部３８により構成されている。

カメラ３１は、デジタルビデオカメラまたはデジタルスチルカメラなどであり、被写体である人の顔を撮影して、人の顔を含む画像をデータとして取得する。カメラ３１は、データである画像を画像入力部３２に供給する。

画像入力部３２は、人の顔を含む画像を入力する。すなわち、画像入力部３２は、インターフェースとして構成され、接続されているカメラ３１から供給された人の顔を含む画像を入力する。画像入力部３２は、入力した画像を顔画像抽出部３３に供給する。

顔画像抽出部３３は、画像入力部３２から供給された画像から、顔の領域を顔画像として抽出する。例えば、顔画像抽出部３３は、画像から、肌色の画素の領域を抽出する。そして、顔画像抽出部３３は、抽出した肌色の画素の領域と、標準的な顔の画像であるテンプレートとを比較することにより、抽出した肌色の画素の領域の画像が顔の画像であるか否かを判定する。さらに、顔画像抽出部３３は、抽出した肌色の画素の領域の画像が顔の画像であると判定された場合、その肌色の画素の領域を含む方形の領域を顔画像として抽出する。顔画像抽出部３３は、抽出した顔画像を顔画像正規化部３４に供給する。

顔画像正規化部３４は、顔画像抽出部３３から供給された顔画像を正規化する。すなわち、例えば、顔画像正規化部３４は、顔画像の明暗（明度）を調整し、目や口の画像などの位置を基準として、顔画像にアフィン変換を適用する。より詳細には、例えば、顔画像正規化部３４は、顔画像全体の輝度値を調整して、顔画像の明暗を調整する。そして、顔画像正規化部３４は、目や口の画像が予め決めた位置に配置されるように、顔画像にアフィン変換を適用する。顔画像正規化部３４は、正規化した顔画像を対応位置探索部３５に供給する。

対応位置探索部３５は、登録画像記憶部３６から予め登録されている登録画像を読み出す。登録画像記憶部３６は、半導体メモリなどで構成され、予め登録されている登録画像を記憶している。

そして、対応位置探索部３５は、登録画像上の注目している注目領域に対応する対応領域であって、正規化された顔画像上の対応領域の位置を特定する。ここで、注目領域に対応する対応領域とは、注目領域のそれぞれの画素の画素値に近似する画素値の画素のそれぞれが、注目領域の画素のそれぞれと同様に配置されている領域をいう。例えば、対応位置探索部３５は、注目領域に含まれる画素の画素値に対して、差分の絶対値の和が最小になる画素値の画素からなる対応領域の位置を特定する。

すなわち、対応位置探索部３５は、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定する。

対応位置探索部３５は、ベクトル生成部４１を備える。

ベクトル生成部４１は、登録画像上の注目領域の位置と、正規化された顔画像上の、特定された対応領域の位置とを示すベクトルを生成する。すなわち、ベクトル生成部４１は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルを生成する。

対応位置探索部３５は、生成されたベクトルを特徴量生成部３７に供給する。

特徴量生成部３７は、対応位置探索部３５から供給されたベクトルから、入力された入力画像である正規化された顔画像上の対応領域の位置の特徴を示す特徴量を生成する。特徴量生成部３７は、生成した特徴量を識別部３８に供給する。

識別部３８は、特徴量生成部３７から供給された特徴量によって、入力画像の顔を識別する。すなわち、識別部３８は、対応領域の位置に基づいて、入力画像の顔を識別する。識別部３８は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルから、入力画像の顔を識別するとも言える。

識別部３８は、識別の結果を出力する。

以下、顔画像抽出部３３乃至識別部３８のそれぞれの詳細について説明する。

図４は、顔画像抽出部３３の構成の例を示すブロック図である。顔画像抽出部３３は、HSV（Hue Saturation Value（色相、彩度、明度））変換部６１、肌色領域抽出部６２、横枠検出部６３、縦枠検出部６４、顔領域抽出部６５、および顔画像識別部６６から構成される。

HSV変換部６１は、画像入力部３２から供給されたRGB（red green blue）方式の画像を、HSV方式の画像に変換する。HSV変換部６１は、HSV方式の画像を肌色領域抽出部６２に供給する。

肌色領域抽出部６２は、HSV方式の画像から、肌色の範囲の色相（Hue）の画素（以下、肌色画素と称する）を抽出する。例えば、色相は、０乃至３６０の範囲で表現される。０である色相は、赤を示し、６０である色相は、黄を示し、さらに３６０までの色相は、順に、緑、シアン、青、マゼンタ、赤を示す。例えば、肌色領域抽出部６２は、２０を超えて４０未満である色相の画素を、HSV方式の画像から抽出する。

図５で示されるように、肌色領域抽出部６２は、HSV方式に変換された画像７１から、肌色の範囲の２０を超えて４０未満である色相の画素を肌色画素として抽出する。肌色領域抽出部６２は、抽出した肌色画素からなる画像７２を生成する。なお、理解を容易にするため、図面における画像７２には、肌色画素以外の画素による画像も示されている。

また、例えば、肌色領域抽出部６２が、肌色画素を特定するフラグを画像７１に付加し、このフラグを基に、以下で説明する処理が実行されるようにしてもよい。

肌色領域抽出部６２は、画像７１および肌色画素からなる画像７２を横枠検出部６３に供給する。

横枠検出部６３は、抽出する顔の領域の横枠を決める。まず、横枠検出部６３は、画像７２における、画素の横の列毎の肌色画素の数を数える。言い換えれば、横枠検出部６３は、画像７２における、水平方向に、横１列の画素毎に、その１列の画素に含まれる連続している肌色画素の数を数える。この場合、横枠検出部６３は、画像７２の１つの横の列の画素において、ｉ個の肌色画素が連続し、これとは離れてｊ個の肌色画素が連続している場合、ｉ＞ｊであるとき、より多いｉをその列の肌色画素の数とする。

図６で示されるように、横枠検出部６３は、横の列毎の肌色画素の数のうち、最大の数（以下、単に最大数と称する）を求める。そして、横枠検出部６３は、肌色画素の数が最大の横の列の、垂直方向の座標を垂直基準点とする。

さらに、横枠検出部６３は、このように求めた最大数に、０．８を乗算して得た値を横枠の幅とする。そして、横枠検出部６３は、幅を決めた横枠の中心を、画像７２の水平方向の中心に一致させる。

横枠検出部６３は、画像７２と共に、垂直基準点、並びに幅および水平方向の位置が決められた横枠を示すデータを縦枠検出部６４に供給する。また、横枠検出部６３は、画像７１および画像７２と共に、幅および水平方向の位置が決められた横枠を示すデータを顔領域抽出部６５に供給する。

縦枠検出部６４は、抽出する顔の領域の縦枠を決める。縦枠検出部６４は、横枠の幅に、１．３を乗算して得た値を縦枠の高さ（長さ）とする。図７で示されるように、縦枠検出部６４は、垂直基準点に対して所定の長さだけオフセットした位置を縦枠の中心とする。例えば、縦枠検出部６４は、垂直基準点から−４０だけオフセットした位置（垂直基準点から４０画素だけ上側の位置）を縦枠の中心とする。

縦枠検出部６４は、高さおよび垂直方向の位置が決められた縦枠を示すデータを顔領域抽出部６５に供給する。

顔領域抽出部６５は、横枠検出部６３から供給された横枠を示すデータ、および縦枠検出部６４から供給された縦枠を示すデータを用いて、縦枠および横枠を統合し、四角の枠を求める。すなわち、顔領域抽出部６５は、横枠の幅と同じ幅で、縦枠の高さと同じ高さの四角の枠を求める。顔領域抽出部６５は、横枠の水平方向の位置と縦枠の中心とで決まる位置と、その四角の枠の中心が一致するように、四角の枠の位置を決める。

顔領域抽出部６５は、図８で示されるように、横枠検出部６３から供給された画像７１から、縦枠および横枠を統合して求められた四角の枠の中の顔領域８１を抽出する。なお、顔領域抽出部６５は、RGB方式の元の顔画像から顔領域８１を抽出するようにしてもよい。

顔領域抽出部６５は、画像７２と共に、抽出した顔領域８１を顔画像識別部６６に供給する。

顔画像識別部６６は、顔領域８１の顔と、予め定めた基準の顔とを比較することにより、顔領域８１が顔の領域であるか否かを判定する。例えば、図９で示されるように、顔画像識別部６６は、標準的な顔画像のテンプレート９１を予め記憶している。テンプレート９１は、所定の数の複数の人の顔の画像を平均した標準的な顔画像である。顔画像識別部６６は、顔領域抽出部６５において抽出された顔領域８１の画像とテンプレート９１との一致の度合いを示す値を求める。例えば、顔画像識別部６６は、一致の度合いを示す値として、顔領域８１の画像とテンプレート９１との差分絶対値の総和を算出する。具体的には、顔画像識別部６６は、顔領域８１の画素のそれぞれについて、顔領域８１の画素の画素値と、その画素の位置と同じ位置のテンプレート９１の画素の画素値の差分を求めて、求めた差分の絶対値を求める。そして、顔画像識別部６６は、絶対値の総和を求める。

なお、顔領域８１のサイズとテンプレート９１のサイズが一致しない場合、顔領域８１の画像とテンプレート９１との一致の度合いを示す値を求める前に、顔画像識別部６６は、テンプレート９１の画素を補間するか、またはテンプレート９１の画素を間引いて、テンプレート９１のサイズを調整して、顔領域８１のサイズとテンプレート９１のサイズとを一致させる。

顔画像識別部６６は、顔領域８１の画像とテンプレート９１との一致の度合いを示す値を基に、一致の度合いが基準値より大きい場合、顔領域８１が顔の領域（顔画像）であると判定する。例えば、顔画像識別部６６は、一致の度合いを示す値として、顔領域８１の画像とテンプレート９１との差分絶対値の総和を算出した場合、その総和が予め定めた閾値より小さい場合、顔領域８１が顔の領域であると判定し、その総和が予め定めた閾値以上である場合、顔領域８１が顔の領域でないと判定する。

顔領域８１が顔の領域であると判定された場合、顔画像識別部６６は、画像７２と共に、顔領域８１を顔画像正規化部３４に供給する。

顔領域８１が顔の領域であると判定された場合、顔画像正規化部３４乃至識別部３８が以下で説明する処理を継続し、顔領域８１が顔の領域でないと判定された場合、顔画像正規化部３４乃至識別部３８は以下で説明する処理を実行しないで、処理は終了する。

次に、顔画像正規化部３４における顔領域８１の正規化について説明する。

図１０は、顔画像正規化部３４の構成の例を示すブロック図である。顔画像正規化部３４は、ラベリング部１０１、重心算出部１０２、目位置検出部１０３、口位置検出部１０４、アフィン変換部１０５、および輝度値調整部１０６から構成される。

ラベリング部１０１は、画像７２を基に、顔領域８１の画素のうち、肌色画素に相当しない（肌色画素以外の）画素（以下、非肌色画素と称する）にラベリングし、オブジェクトを抽出する。例えば、ラベリング部１０１は、４近傍によるラベリング処理を顔領域８１の非肌色画素に適用する。すなわち、例えば、ラベリング部１０１は、非肌色画素のそれぞれに、隣接している非肌色画素の番号（ラベル）と同じ番号を付加することで、連続して接している非肌色画素に共通し、間に肌色画素がある非肌色画素では異なる番号を付加する。これにより、顔領域８１の非肌色画素からなるオブジェクトには、それぞれ、番号（ラベル）が付加されることになる。

ラベリング部１０１は、ラベリングした顔領域８１を重心算出部１０２に供給する。

重心算出部１０２は、ラベルを参照して、顔領域８１の非肌色画素からなるオブジェクトのそれぞれの重心を算出する。例えば、重心算出部１０２は、オブジェクトの重心のｘ座標の位置を、そのオブジェクトに含まれる非肌色画素のｘ座標の位置の平均値とし、そのオブジェクトの重心のｙ座標の位置を、そのオブジェクトに含まれる非肌色画素のｙ座標の位置の平均値として、それぞれのオブジェクトの重心の座標上の位置を求める。

重心算出部１０２は、ラベリングした顔領域８１と共に、顔領域８１の非肌色画素からなるオブジェクトのそれぞれの重心を示す重心データを目位置検出部１０３および口位置検出部１０４に供給する。

目位置検出部１０３は、重心算出部１０２から供給された重心データから、目のオブジェクトを検出する。すなわち、例えば、目位置検出部１０３は、重心データで重心の位置が示されるオブジェクトのうち、顔領域８１の上半分の領域に重心が存在し、かつオブジェクトの面積が所定の値以上のオブジェクトを検出する。さらに、目位置検出部１０３は、このように検出されたオブジェクトのうち、顔領域８１を左右に２等分する垂直線に対して、両側に存在するものであって、一番下に位置するオブジェクトを目のオブジェクトとする。例えば、図１１で示されるように、目位置検出部１０３は、顔領域８１に含まれる目のオブジェクト１２１を検出する。

目位置検出部１０３は、顔領域８１と共に、このように検出した目のオブジェクト１２１の位置を特定するデータ（例えば、目のオブジェクト１２１の重心の位置を示すデータ）をアフィン変換部１０５に供給する。

口位置検出部１０４は、重心算出部１０２から供給された重心データから、口のオブジェクトを検出する。すなわち、例えば、口位置検出部１０４は、重心データで重心の位置が示されるオブジェクトのうち、顔領域８１の下側の４分の１の領域に重心が存在するオブジェクトを検出する。言い換えれば、口位置検出部１０４は、顔領域８１を縦に並ぶ同じ高さの４つの領域に分けて、その４つの領域のうちの最も下の領域に重心が存在するオブジェクトを検出する。

さらに、口位置検出部１０４は、このように検出されたオブジェクトのうち、面積が最大のオブジェクトを口のオブジェクトとする。例えば、図１１で示されるように、口位置検出部１０４は、顔領域８１に含まれる口のオブジェクト１２２を検出する。

口位置検出部１０４は、このように検出した口のオブジェクト１２２の位置を特定するデータ（例えば、口のオブジェクト１２２の重心の位置を示すデータ）をアフィン変換部１０５に供給する。

アフィン変換部１０５は、目位置検出部１０３から供給された、目のオブジェクト１２１の位置を特定するデータ、および口位置検出部１０４から供給された、口のオブジェクト１２２の位置を特定するデータを基に、目位置検出部１０３から供給された顔領域８１にアフィン変換の処理を適用する。例えば、アフィン変換部１０５は、目のオブジェクト１２１の位置と口のオブジェクト１２２の位置とが、予め定めた所定の大きさの方形領域における所定の位置になるように、顔領域８１にアフィン変換の処理を適用する。

より具体的には、例えば、図１２で示されるように、縦にｍ画素、横にｎ画素の方形領域１３１において、２つの目のオブジェクト１２１の重心が、方形領域１３１の上端からｍ／１０画素下の位置に配置され、左側の目のオブジェクト１２１の重心が、方形領域１３１の左端から３×ｎ／１０画素右の位置に配置され、右側の目のオブジェクト１２１の重心が、方形領域１３１の右端から３×ｎ／１０画素左の位置に配置され、かつ口のオブジェクト１２２の下端が方形領域１３１の下端に接するように、アフィン変換部１０５は、顔領域８１にアフィン変換の処理を適用する。

アフィン変換部１０５は、アフィン変換の結果、方形領域１３１を得る。

アフィン変換部１０５は、アフィン変換の結果得られた方形領域１３１を輝度値調整部１０６に供給する。

輝度値調整部１０６は、方形領域１３１の輝度値を調整する。輝度値調整部１０６は、予め定めた平均値および分散（以下、それぞれ既定平均値および既定分散と称する）並びに方形領域１３１の画素の画素値の平均値および分散を基に、方形領域１３１の全ての画素の輝度を調整する。例えば、輝度値調整部１０６は、まず、方形領域１３１の画素の画素値の平均値（以下、単に、領域平均値と称する）および分散（以下、単に、領域分散と称する）を算出する。そして、輝度値調整部１０６は、方形領域１３１のそれぞれの画素について、式（１）を基に輝度値を調整した画素値を算出する。
（画素値−領域平均値）／領域分散×既定分散＋既定平均値
・・・（１）

輝度値調整部１０６は、輝度値を調整した方形領域１３１を正規化した画像として対応位置探索部３５に供給する。

なお、輝度値調整部１０６は、輝度値の頻度が一定になるように、すなわち、ヒストグラムが平坦になるように、それぞれの画素の輝度値を調整するようにしてもよい。

このようにすることで、撮影の条件の変化などを原因とする画素値の偏りを修正することができる。画素値が飽和したり、照明の条件が極端に変化していなければ、上述した正規化によって、撮影毎のレベルの変化をより少なくすることができる。

次に、対応位置探索部３５について説明する。

対応位置探索部３５は、登録画像記憶部３６から登録画像を読み出す。対応位置探索部３５は、例えば、図１３で示されるように、登録画像１４１から、注目している領域として注目領域を順に選択する。例えば、対応位置探索部３５は、縦横３×３の画素からなる注目領域を登録画像１４１からラスタスキャン順に選択する。

なお、図１３において、１つの丸は、１つの画素を示す。

例えば、対応位置探索部３５は、ブロックマッチングにより、方形領域１３１の探索エリアから、注目領域に対応する対応領域を探索する。

より具体的には、図１３で示されるように、対応位置探索部３５は、方形領域１３１のうち、注目領域の中心の画素（図１３の登録画像１４１において右上がりの斜線を付した丸で示す画素）の位置と同じ位置の画素（図１３の方形領域１３１において右上がりの斜線を付した丸で示す画素）を中心とする探索エリアを設定する。例えば、対応位置探索部３５は、注目領域が縦横３×３の画素からなる場合、縦横９×９の画素からなる探索エリアを設定する。

そして、対応位置探索部３５は、探索エリアの相互に隣接する縦横３×３の画素および注目領域の画素のうち、対応する位置の画素のそれぞれについて（左上の画素同士、左から２番目であって上の画素同士、右上の画素同士、・・・右下の画素同士について）画素値の差分の絶対値を求めて、それぞれの画素についての絶対値の総和を算出する。対応位置探索部３５は、探索エリアにおける縦横３×３の画素のうち、中央の画素に、算出した差分の絶対値の総和を対応付ける。

対応位置探索部３５は、探索エリア全体について画素値の差分の絶対値の総和を算出し、それぞれの画素に、算出した差分の絶対値の総和を対応付ける。

より具体的には、例えば、対応位置探索部３５は、探索エリアの左上の縦横３×３の画素と注目領域の画素とにおける、対応する位置の画素のそれぞれについて画素値の差分の絶対値を求めて、それぞれの画素についての絶対値の総和を算出する。対応位置探索部３５は、算出した総和を、探索エリアの左上の縦横３×３の画素の中央の画素（すなわち、探索エリアの左から２番目であって、上から２番目の画素）に対応付ける。

そして、対応位置探索部３５は、探索エリアにおける縦横３×３の画素の位置をラスタスキャン順にずらす。対応位置探索部３５は、ずらした位置の探索エリア上の縦横３×３の画素と注目領域の画素とについて、同様に画素値の差分の絶対値の総和を算出して、探索エリアの縦横３×３の画素の中央の画素に対応付ける。

対応位置探索部３５は、画素値の差分の絶対値の総和を算出して、探索エリアの画素に対応付ける処理を探索エリア全体に適用する。その結果、この例の場合、探索エリアの画素のうち、縦横７×７の画素のそれぞれに、差分の絶対値の総和が対応付けられることになる。

対応位置探索部３５は、探索エリアの画素のうちの、縦横７×７の画素のそれぞれに対応付けた差分の絶対値の総和のうち、最小の総和を求める。

対応位置探索部３５は、注目領域に対応する対応領域の位置として、最小の総和が対応付けられた画素（例えば、図１３の方形領域１３１において黒丸で示す対応点）の位置を特定する。

このように、対応位置探索部３５は、登録画像１４１の全体について、注目領域を順に選択し、選択した注目領域に対応する対応領域の位置を特定する。

ベクトル生成部４１は、注目領域の位置と、特定された対応領域の位置とを示すベクトルを生成する。すなわち、ベクトル生成部４１は、ベクトルの始点を注目領域の位置とし、ベクトルの終点を特定された対応領域の位置とするベクトルを生成する。より詳細には、例えば、ベクトル生成部４１は、注目領域の中央の画素を始点で示し、対応領域の中央の画素を終点で示すベクトルを生成する。

ベクトル生成部４１は、登録画像１４１の全体について、注目領域の位置と、特定された対応領域の位置とを示すベクトルを生成する。

対応位置探索部３５は、生成したベクトルを特徴量生成部３７に供給する。

なお、注目領域は、縦横３×３の画素に限らず、任意の数の画素からなるようにすることができ、同様に、探索エリアは、縦横９×９の画素に限らず、注目領域より大きければ足り、任意の数の画素からなるようにすることができる。

注目領域および探索エリアの大きさは、登録画像１４１および方形領域１３１の大きさ、または登録画像１４１および方形領域１３１の解像度などによって決められる。

また、登録画像１４１および方形領域１３１の大きさを適宜変更するようにしてもよい。

この場合、例えば、登録画像記憶部３６は、１つの顔の登録に対応して、登録画像１４１だけでなく、図１４に示される、登録画像１４１に比較してより多い数の画素からなる登録画像１５１、登録画像１４１に比較してより少ない数の画素からなる登録画像１５２、さらに少ない数の画素からなる登録画像１５３、さらにまた少ない数の画素からなる登録画像１５４を記憶する。例えば、登録画像１５１は、登録画像１４１から拡大して生成され、登録画像１５２、登録画像１５３、および登録画像１５４は、登録画像１４１から順に縮小して生成される。

登録画像１５１を基に対応する位置が特定されるとき、方形領域１３１が拡大されて、登録画像１５１と同じ大きさの画像１５５が生成され、登録画像１５１の注目領域に対応する対応領域が画像１５５から探索される。また、登録画像１５２を基に対応する位置が特定されるとき、方形領域１３１が縮小されて、登録画像１５２と同じ大きさの画像１５６が生成され、登録画像１５２の注目領域に対応する対応領域が画像１５６から探索される。同様に、登録画像１５３または登録画像１５４を基に対応する位置が特定されるとき、画像１５６がさらに縮小されて、登録画像１５３または登録画像１５４と同じ大きさの画像１５７または画像１５８が生成され、登録画像１５３または登録画像１５４の注目領域に対応する対応領域が画像１５７または画像１５８から探索される。

このように、登録画像１４１および登録画像１５１乃至登録画像１５４と、方形領域１３１および画像１５５乃至画像１５８とを階層構造とすることで、探索の処理の負荷を軽減したり、識別の精度のレベルを調整したりすることができるようになる。

また、差分の絶対値の総和が最小になる位置を特定すると説明したが、これに限らず、差分の２乗の総和または差分の絶対値の分散など他の値を基に、注目領域に対応する対応領域の位置を特定するようにしてもよい。

さらに、対応位置探索部３５は、ブロックマッチングにより、注目領域に対応する対応領域を探索すると説明したが、これに限らず、勾配法など他の方式で、注目領域に対応する対応領域を探索するようにしてもよい。

ここで、図１５乃至図２４を参照して、注目領域に対応する対応領域の位置、および注目領域の位置と特定された対応領域の位置とを示すベクトルについて説明する。

図１５は、登録画像１４１、登録している人の顔の方形領域１３１−１、および登録していない人の顔の方形領域１３１−２の例を示す図である。

簡単のために、登録している人が１人である場合を考える。登録している人が１人である場合、登録画像記憶部３６には、１つの登録画像１４１が記憶されている。従って、この場合、１つの登録画像１４１と登録している人の顔の方形領域１３１−１との対応する位置が探索されるか、またはその登録画像１４１と登録していない人の顔の方形領域１３１−２との対応位置が探索される。

図１６は、対応位置探索部３５が、登録している人の顔の方形領域１３１−１について、登録画像１４１の注目領域に対応する対応領域の位置を特定した場合、ベクトル生成部４１において生成される、登録画像１４１の注目領域の位置と、特定された方形領域１３１−１上の対応領域の位置とを示すベクトルの例を示す図である。なお、図１６で示す例において、ベクトルは始点に配置されている。

図１６で示されるように、例えば、登録画像１４１における目の向きと方形領域１３１−１における目の向きとが異なっている場合には、登録画像１４１における目の画像の付近に所定の大きさで所定の向きのベクトルが配置されることになる。図１６の例では、登録画像１４１における鼻および口の画像と、方形領域１３１−１における鼻および口の画像とに若干の差異があるので、登録画像１４１における鼻および口の画像の付近により小さいベクトルが配置されている。登録画像１４１および方形領域１３１−１の他の部分は一致しているので、登録画像１４１における他の部分には、０ベクトル（ｘ成分およびｙ成分が共に０のベクトル）が配置されている。

図１７は、図１６のベクトルの、ベクトルのｘ成分およびｙ成分毎の頻度を示す図である。登録画像１４１における目の向きと方形領域１３１−１における目の向きとが異なっている場合には、例えば、目の画像除いた他のほとんどの部分の画像の位置は、登録画像1４１と方形領域１３１−１とにおいて同じであり、その位置は０ベクトルで示されるので、０ベクトルの頻度のピークが現れ、そのピーク周辺に若干のベクトルの頻度が現れる。また、所定のｘ成分およびｙ成分の１つのベクトルで、登録画像１４１における瞳の画像の位置から、方形領域１３１−１における瞳の画像の位置を示すことができるので、そのｘ成分およびｙ成分において、ベクトルの頻度のピークが生じ、そのピークの周辺にも若干のベクトルの頻度が現れる。さらに、登録画像１４１における鼻および口の画像の付近に配置された、成分のより小さいベクトルに対して、小さな頻度が現れる。

図１８は、対応位置探索部３５が、登録していない人の顔の方形領域１３１−２について、登録画像１４１の注目領域に対応する対応領域の位置を特定した場合、ベクトル生成部４１において生成される、登録画像１４１の注目領域の位置と、特定された方形領域１３１−２上の対応領域の位置とを示すベクトルの例を示す図である。なお、図１８で示す例において、ベクトルは始点に配置されている。

図１８で示されるように、例えば、登録画像１４１における画像と方形領域１３１−２における画像と全体的に異なっているので、多数の、乱雑な大きさおよび乱雑な向きのベクトルが全体に配置されることになる。

図１９は、図１８のベクトルの、ベクトルのｘ成分およびｙ成分毎の頻度を示す図である。図１９で示されるように、登録していない人の顔の方形領域１３１−２について、登録画像１４１の注目領域に対応する対応領域の位置を特定した場合、ベクトルの向きおよび大きさが乱雑になるので、例えば、注目領域と探索エリアの大きさで決まる所定の範囲の全体に、乱雑な頻度が現れることになる。

これからわかるように、例えば、ベクトルの分散を求めて、ベクトルの分散を基に、登録している人の顔であるかを判別することができる。

次に、外乱を含む画像で登録している人の顔を識別する場合について説明する。

図２０は、登録画像１４１、位置がずれている登録している人の顔の方形領域１３１−３、および登録画像１４１と顔の大きさが異なる登録している人の顔の方形領域１３１−４の例を示す図である。

方形領域１３１−３の顔は、登録している人の顔であるが、目の向きが異なると共に、その顔の全体が図中の右側にずれている。方形領域１３１−４の顔は、登録している人の顔であるが、目の向きが異なると共に、登録画像１４１と顔の大きさに比較してより大きい。

図２１は、対応位置探索部３５が、方形領域１３１−３について、登録画像１４１の注目領域に対応する対応領域の位置を特定した場合、ベクトル生成部４１において生成される、登録画像１４１の注目領域の位置と、特定された方形領域１３１−３上の対応領域の位置とを示すベクトルの例を示す図である。なお、図２１で示す例において、ベクトルは始点に配置されている。

図２１で示されるように、例えば、登録画像１４１に対して、方形領域１３１−３の顔は、目の向きが異なると共に、その顔の全体が図中の右側にずれているので、図１６で示される場合と同様に、登録画像１４１における目の画像の付近に所定の大きさおよび向きのベクトルが配置されることになる。また、登録画像１４１における鼻および口の画像と、方形領域１３１−３における鼻および口の画像とに若干の差異があるので、登録画像１４１における鼻および口の画像の付近により小さいベクトルが配置される。

そして、その顔の全体が図中の右側にずれているので、登録画像１４１における他の部分には、ずれの量と向きに応じた一定の大きさのベクトルが配置されることになる。

図２２は、図２１のベクトルの、ベクトルのｘ成分およびｙ成分毎の頻度を示す図である。ずれの量と向きに応じた一定の大きさのベクトルが配置されるので、そのｘ成分およびｙ成分において、ベクトルの頻度の１つのピークが生じることになる。また、図１７で示される場合と同様に、登録画像１４１における目の向きと方形領域１３１−３における目の向きとが異なっている場合には、例えば、所定のｘ成分およびｙ成分の１つのベクトルで、登録画像１４１における瞳の画像の位置から、方形領域１３１−３における瞳の画像の位置を示すことができるので、そのｘ成分およびｙ成分において、ベクトルの頻度のピークが生じ、そのピークの周辺に若干のベクトルの頻度が現れる。さらに、登録画像１４１における鼻および口の画像の付近に配置された、成分のより小さいベクトルに対して、小さな頻度が現れる。

すなわち、方形領域１３１−３において顔の全体の位置がずれたとしても、ｘ成分およびｙ成分毎のベクトルの頻度の特徴と同様のベクトルの頻度の特徴が現れる。

図２３は、対応位置探索部３５が、方形領域１３１−４について、登録画像１４１の注目領域に対応する対応領域の位置を特定した場合、ベクトル生成部４１において生成される、登録画像１４１の注目領域の位置と、特定された方形領域１３１−４上の対応領域の位置とを示すベクトルの例を示す図である。なお、図２３で示す例において、ベクトルは始点に配置されている。

図２３で示されるように、例えば、登録画像１４１に対して、方形領域１３１−４の顔は、目の向きが異なると共に、その顔が登録画像１４１と顔の大きさに比較してより大きいので、図１６で示される場合と同様に、登録画像１４１における目の画像の付近に所定の大きさのベクトルが配置されることになる。また、登録画像１４１における鼻および口の画像と、方形領域１３１−３における鼻および口の画像とに若干の差異があるので、登録画像１４１における鼻および口の画像の付近により小さいベクトルが配置される。

そして、その顔が登録画像１４１と顔の大きさに比較してより大きいので、登録画像１４１における他の部分には、中心から外に向かう、顔の大きさの差異に応じた大きさのベクトルが配置されることになる。

図２４は、図２３のベクトルの、ベクトルのｘ成分およびｙ成分毎の頻度を示す図である。登録画像１４１の中心から外に向かう、顔の大きさの差異に応じた大きさのベクトルが配置されるので、一定の大きさのベクトルの頻度が、ドーナッツ状に現れる。また、図１７で示される場合と同様に、登録画像１４１における目の向きと方形領域１３１−４における目の向きとが異なっている場合には、例えば、ほぼ同じ大きさの１つのベクトルで、登録画像１４１における瞳の画像の位置から、方形領域１３１−４における瞳の画像の位置を示すことができるので、そのｘ成分およびｙ成分において、ベクトルの頻度のピークが生じ、そのピークの周辺に若干のベクトルの頻度が現れる。さらに、登録画像１４１における鼻および口の画像の付近に配置された、成分のより小さいベクトルに対して、小さな頻度が現れる。

このように、方形領域１３１−４において顔の大きさが変わったとしても、正しい大きさの顔におけるベクトルの頻度の特徴と同様のベクトルの頻度の特徴が現れる。

次に、特徴量生成部３７について説明する。

特徴量生成部３７は、対応位置探索部３５から供給されたベクトルから、方形領域１３１上の対応領域の位置の特徴を示す特徴量を生成する。

例えば、登録画像１４１上の位置（ｉ，ｊ）に対応する位置ベクトルＶ（ｉ，ｊ）は、式（２）で表される。
Ｖ（ｉ，ｊ）=（ｘ，ｙ）（２）
式（２）において、ｘは、位置ベクトルＶ（ｉ，ｊ）のｘ成分を示し、ｙは、位置ベクトルＶ（ｉ，ｊ）のｙ成分を示す。

ベクトルの頻度分布ｈｉｓｔ（ｘ，ｙ）のうち頻度の最も大きい最大頻度ｈｉｓｔ_maxは、式（３）で表される。
ｈｉｓｔ_max＝ｈｉｓｔ（ｘ_max，ｙ_max）（３）
式（３）において、ｘ_maxは、最大頻度ｈｉｓｔ_maxが現れるベクトルのｘ成分を示し、ｙ_maxは、最大頻度ｈｉｓｔ_maxが現れるベクトルのｙ成分を示す。

ベクトルの頻度分布ｈｉｓｔ（ｘ，ｙ）を最大頻度ｈｉｓｔ_maxで割り算して、正規化した頻度分布ｈｉｓｔ_std（ｘ，ｙ）が求められる。
ｈｉｓｔ_std（ｘ，ｙ）＝ｈｉｓｔ（ｘ，ｙ）／ｈｉｓｔ_max （４）

この場合、例えば、特徴量Ｓは、式（５）で記述される。

（５）

式（５）で記述される特徴量Ｓは、その値が小さいほど、登録画像１４１と方形領域１３１とがより類似していることを示す。

例えば、特徴量生成部３７は、対応位置探索部３５から供給されたベクトルから、式（５）で示される特徴量Ｓを生成し、生成した特徴量Ｓを識別部３８に供給する。

なお、特徴量生成部３７は、特徴量として、判別分析における合成変量を求めるようにしてもよい。この場合、まず、特徴量生成部３７は、正規化した頻度分布ｈｉｓｔ_std（ｘ，ｙ）を求める。

そして、特徴量生成部３７は、式（６）により合成変量Ｓ_dを算出する。

（６）
式（６）において、ａ（ｘ，ｙ）は、判別分析のための係数である。

ここで、判別分析について簡単に説明する。判別分析は、入力をある属性で分類する統計的な手法のひとつである。

群の数をｋとし、各群のケースの数をｎ₁，ｎ₂，・・・，ｎ_kとした場合、ｐ個の変数ｘ₁，ｘ₂，・・・，ｘ_pに対して、任意の重み係数ａ₁，ａ₂，・・・，ａ_pを用いて合成される合成変量Ｚを考える。
Ｚ＝ａ₁ｘ₁＋ａ₂ｘ₂＋・・・＋ａ_pｘ_p （７）

第ｊ群、第ｉケースの合成変量Ｚ_ij（ｉ＝１，２，・・・，ｋ；ｉ＝１，２，・・・，ｎ_j）は、式（８）で算出される。
Ｚ_ij＝ａ₁ｘ_1ij＋ａ₂ｘ_2ij＋・・・＋ａ_pｘ_pij （８）

合成変量Ｚ_ijの全体の平均値Ｚ_ave、および第ｊ群における合成変量Ｚ_ijの平均値のＺ_javeから、式（９）に示されるように、合成変量Ｚの平方和Ｓ_tは、群内平方和Ｓ_wと群間平方和Ｓ_bとに分解できる。
Ｓ_t＝Ｓ_w＋Ｓ_b （９）

すなわち、式（１０）が成立する。

（１０）

合成変数Ｚにより各群がよく判別できるためには、相関比η²＝Ｓ_b／Ｓ_tが大きいか、または、Ｓ_b／Ｓ_wが大きければ良く、例えば、相関比η²が最大になるように、重み係数ａ₁，ａ₂，・・・，ａ_pが決定される。

このように、重み係数として係数ａ（ｘ，ｙ）が予め生成され、特徴量生成部３７に記憶されている。

例えば、登録画像１４１と登録している人の顔の方形領域１３１とから求めた正規化した頻度分布ｈｉｓｔ_std（ｘ，ｙ）および登録画像１４１と登録していない人の顔の方形領域１３１とから求めた正規化した頻度分布ｈｉｓｔ_std（ｘ，ｙ）を多数用意し、これを学習用データとして、上述した判別分析法の重み係数として係数ａ（ｘ，ｙ）が求められる。

この場合、登録している人の顔として、表情を変えた顔や化粧を変えた顔などを撮影して得られた登録している人の顔の方形領域１３１を用いることで、本人固有のパターンを係数ａ（ｘ，ｙ）に反映することができる。このようにすることで、表情を変えた顔や化粧を変えた顔などでも本人の顔であることが確実に識別できる。

また、登録している人の顔として、比較的長い期間をおいて撮影した、登録している人の顔の方形領域１３１を用いて係数ａ（ｘ，ｙ）を生成したり、登録している人の顔であると識別した場合に、その識別の処理で入力した画像の方形領域１３１を用いて、係数ａ（ｘ，ｙ）を更新することで、時間が経過して顔が変わった場合でも、より確実に本人の顔であることが識別できる。

なお、特徴量生成部３７は、特徴量として、位置ベクトルＶ（ｉ，ｊ）から直接、判別分析における合成変量を求めるようにしてもよい。

この場合、特徴量生成部３７は、式（１１）により合成変量Ｓ_vを算出する。

（１１）
式（１１）において、ｃ（ｘ，ｙ）は、判別分析のための係数である。ｃ（ｘ，ｙ）は、係数ａ（ｘ，ｙ）と同様に重み係数として予め生成され、識別部３８に記憶されている。

この場合、合成変量Ｓ_vは、位置そのものの特徴を示していると言える。

特徴量生成部３７は、このように生成した特徴量を識別部３８に供給する。

識別部３８は、特徴量を基に、入力された画像の顔が登録画像１４１として登録された顔であるかを識別する。言い換えれば、識別部３８は、対応領域の位置に基づいて、入力画像の顔を識別する。

例えば、識別部３８は、式（５）で示される特徴量Ｓが特徴量生成部３７から供給された場合、特徴量Ｓが予め定めた閾値以下であるか否かを判定し、特徴量Ｓが閾値以下であると判定された場合、入力された画像の顔が登録画像１４１として登録された顔であると識別し、特徴量Ｓが閾値を超えると判定された場合、入力された画像の顔が登録画像１４１として登録された顔でないと識別する。

例えば、識別部３８は、特徴量生成部３７から、特徴量として判別分析における合成変量が供給された場合、合成変量を基に、入力された画像の顔が登録画像１４１として登録された顔であるかを識別する。

このように、画像の対応する位置を基に、登録している人の顔であるかが判別される。

その結果、簡単により確実に顔を識別することができるようになる。

次に、顔識別の処理について、図２５のフローチャートを参照して説明する。

ステップＳ３１において、画像入力部３２は、カメラ３１に被写体を撮影させて、カメラ３１から画像を入力する。ステップＳ３２において、顔画像抽出部３３は、画像入力部３２から供給された画像から、顔の領域を抽出する。

ステップＳ３３において、顔画像抽出部３３は、抽出した顔の領域と、標準的な顔の画像であるテンプレートとを比較することにより、抽出した顔の領域の画像が顔の画像であるか否かを判定する。ステップＳ３３において、顔の画像であると判定された場合、ステップＳ３４に進み、顔画像正規化部３４は、顔の画像と判定された画像である顔画像を正規化する。ステップＳ３５において、対応位置探索部３５は、登録画像の各領域に対応する顔画像上の領域のそれぞれの位置を求める。例えば、ステップＳ３５において、対応位置探索部３５は、登録画像記憶部３６から予め登録されている登録画像を読み出す。対応位置探索部３５は、登録画像上の注目している注目領域に対応する、注目領域に含まれる画素の画素値に対して、差分の絶対値の和が最小になる画素値の画素からなる対応領域であって、正規化された顔画像上の対応領域の位置を特定する。対応位置探索部３５は、登録画像の全体について、注目領域に対応する、正規化された顔画像上の対応領域の位置を特定する。

対応位置探索部３５は、顔画像上の対応領域の位置を示す情報を特徴量生成部３７に供給する。例えば、対応位置探索部３５のベクトル生成部４１は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルを生成し、顔画像上の対応領域の位置を示す情報として、生成したベクトルを特徴量生成部３７に供給する。

ステップＳ３６において、特徴量生成部３７は、対応位置探索部３５から供給された、顔画像上の対応領域の位置を示す情報から特徴量を生成する。例えば、ステップＳ３６において、特徴量生成部３７は、対応位置探索部３５のベクトル生成部４１から供給されたベクトルから、式（５）の特徴量Ｓを生成する。

ステップＳ３７において、識別部３８は、特徴量生成部３７において生成された特徴量が閾値以内であるか否かを判定し、特徴量が閾値以内であると判定された場合、登録画像１４１と方形領域１３１とが類似しているので、登録された顔であるとの結果を出力して、処理は終了する。

ステップＳ３７において、特徴量が閾値以内でないと判定された場合、登録画像１４１と方形領域１３１とが類似していないので、ステップＳ３９に進み、識別部３８は、登録された顔でないとの結果を出力して、処理は終了する。

なお、ステップＳ３６において、特徴量生成部３７は、特徴量として、正規化した頻度分布ｈｉｓｔ_std（ｘ，ｙ）から、式（６）により合成変量Ｓ_dを算出するようにしてもよい。この場合、ステップＳ３７乃至ステップＳ３９において、識別部３８は、合成変量Ｓ_dが閾値以内であるか否かを判定し、合成変量Ｓ_dが閾値以内であるか否かの結果に応じて、登録された顔であるか否かを判別する。

また、ステップＳ３６において、特徴量生成部３７は、特徴量として、式（１１）によりベクトルから合成変量Ｓ_vを算出し、ステップＳ３７乃至ステップＳ３９において、識別部３８は、合成変量Ｓ_vが閾値以内であるか否かを判定し、合成変量Ｓ_vが閾値以内であるか否かの結果に応じて、登録された顔であるか否かを判別するようにしてもよい。

以上のように、簡単により確実に顔を識別することができるようになる。例えば、表情が変化したり、顔の位置や大きさが変化した場合であっても、より確実に顔を識別することができる。顔画像の正規化の処理として、より簡便な処理を採用した場合であっても、確実に顔を識別することができる。

このように、入力した画像と登録画像とを比較するようにした場合には、顔を識別することができる。また、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、対応領域の位置に基づいて、入力画像の顔を識別するようにした場合には、簡単により確実に顔を識別することができる。

なお、入力された入力画像上の注目している注目領域に対応する対応領域であって、予め登録されている登録画像上の対応領域の位置を特定するようにしてもよい。

また、本発明は、画像処理装置の一例として、専用の顔識別装置として実現することもできるが、パーソナルコンピュータ、携帯電話機、またはゲーム機など、画像を処理できる装置であれば適用することができる。

図２６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。

CPU３０１にはまた、バス３０４を介して入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。

入出力インターフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。

入出力インターフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の顔識別装置の構成を示すブロック図である。従来の顔識別の処理を説明するフローチャートである。本発明の一実施の形態の顔識別装置の構成を示すブロック図である。顔画像抽出部の構成の例を示すブロック図である。肌色画素の抽出を説明する図である。垂直基準点および横枠を説明する図である。オフセットおよび縦枠を説明する図である。縦枠および横枠を統合した四角の枠の中の顔領域を説明する図である。顔の領域であるか否かの判定を説明する図である。顔画像正規化部の構成の例を示すブロック図である。目のオブジェクトおよび口のオブジェクトの検出を説明する図である。顔領域のアフィン変換の処理を説明する図である。注目領域に対応する対応領域の探索を説明する図である。登録画像および方形領域の大きさの変更を説明する図である。登録画像、登録している人の顔の方形領域、および登録していない人の顔の方形領域の例を示す図である。登録画像の注目領域の位置と、登録している人の顔の方形領域上の対応領域の位置とを示すベクトルの例を示す図である。ベクトルのｘ成分およびｙ成分毎の頻度を示す図である。登録画像の注目領域の位置と、登録していない人の顔の方形領域上の対応領域の位置とを示すベクトルの例を示す図であるベクトルのｘ成分およびｙ成分毎の頻度を示す図である。登録画像、および、位置がずれているか、顔の大きさが異なる、登録している人の顔の方形領域の例を示す図である。登録画像の注目領域の位置と、登録している人の顔の方形領域であって、顔の位置がずれている方形領域上の対応領域の位置とを示すベクトルの例を示す図である。ベクトルのｘ成分およびｙ成分毎の頻度を示す図である。登録画像の注目領域の位置と、登録している人の顔の方形領域であって、顔の大きさが異なる方形領域上の対応領域の位置とを示すベクトルの例を示す図である。ベクトルのｘ成分およびｙ成分毎の頻度を示す図である。顔識別の処理を説明するフローチャートである。パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

３２画像入力部，３３顔画像抽出部，３４顔画像正規化部，３５対応位置探索部，３６登録画像記憶部，３７特徴量生成部，３８識別部，４１ベクトル生成部，３０１ＣＰＵ，３０２ＲＯＭ，３０３ＲＡＭ，３０８記憶部，３１１リムーバブルメディア

Claims

予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定する特定手段と、
前記対応領域の位置に基づいて、前記入力画像の顔を識別する識別手段と
を備える画像処理装置。
前記識別手段は、複数の前記注目領域のそれぞれに対応する前記対応領域のそれぞれの位置に基づいて、前記入力画像の顔を識別する
請求項１に記載の画像処理装置。
前記特定手段は、前記注目領域に含まれる画素の画素値に対して、差分の絶対値の和が最小になる画素値の画素からなる前記対応領域の位置を特定する
請求項１に記載の画像処理装置。
前記特定手段は、前記登録画像上の前記注目領域の位置と、特定された前記入力画像上の前記対応領域の位置とを示すベクトルを生成するベクトル生成手段を備え、
前記識別手段は、前記ベクトルから、前記入力画像の顔を識別する
請求項１に記載の画像処理装置。
前記ベクトルから、前記入力画像上の前記対応領域の位置の特徴を示す特徴量を生成する特徴量生成手段をさらに備え、
前記識別手段は、前記特徴量によって、前記入力画像の顔を識別する
請求項４に記載の画像処理装置。
前記特徴量生成手段は、前記ベクトルの頻度に応じた前記特徴量を生成する
請求項５に記載の画像処理装置
前記特徴量生成手段は、前記ベクトルの頻度に判別式を適用することで前記特徴量を生成する
請求項６に記載の画像処理装置。
予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、
前記対応領域の位置に基づいて、前記入力画像の顔を識別する
ステップを含む画像処理方法。
予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、
前記対応領域の位置に基づいて、前記入力画像の顔を識別する
ステップをコンピュータに実行させるプログラム。
請求項９に記載のプログラムが記録されている記録媒体。