JP2007115109A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents
画像処理装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP2007115109A JP2007115109A JP2005307167A JP2005307167A JP2007115109A JP 2007115109 A JP2007115109 A JP 2007115109A JP 2005307167 A JP2005307167 A JP 2005307167A JP 2005307167 A JP2005307167 A JP 2005307167A JP 2007115109 A JP2007115109 A JP 2007115109A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- area
- unit
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】簡単により確実に顔を識別する。
【解決手段】対応位置探索部35は、登録画像上の注目している注目領域に対応する対応領域であって、正規化された顔画像上の対応領域の位置を特定する。ベクトル生成部41は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルを生成する。特徴量生成部37は、対応位置探索部35から供給されたベクトルから、入力された入力画像である正規化された顔画像上の対応領域の位置の特徴を示す特徴量を生成する。識別部38は、特徴量生成部37から供給された特徴量によって、入力画像の顔を識別する。本発明は、顔を識別する顔識別装置に適用できる。
【選択図】図3
【解決手段】対応位置探索部35は、登録画像上の注目している注目領域に対応する対応領域であって、正規化された顔画像上の対応領域の位置を特定する。ベクトル生成部41は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルを生成する。特徴量生成部37は、対応位置探索部35から供給されたベクトルから、入力された入力画像である正規化された顔画像上の対応領域の位置の特徴を示す特徴量を生成する。識別部38は、特徴量生成部37から供給された特徴量によって、入力画像の顔を識別する。本発明は、顔を識別する顔識別装置に適用できる。
【選択図】図3
Description
本発明は画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、顔を識別できるようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。
顔を撮影して、撮影した画像から顔を識別する顔識別装置が利用されている。
図1は、従来の顔識別装置の構成を示すブロック図である。カメラ11は、識別しようとする顔を撮影して、顔の画像を画像入力部12に供給する。画像入力部12は、カメラ11とのインターフェースであり、カメラ11から供給された画像を入力する。画像入力部12は、入力した画像を顔画像抽出部13に供給する。顔画像抽出部13は、画像入力部12から供給された画像から顔領域を抽出する。より具体的には、顔画像抽出部13は、供給された画像から、肌色領域を抽出し、標準的な顔の画像であるテンプレートを用いて抽出した肌色領域が顔の画像の領域であるかを判定する。そして、顔画像抽出部13は、顔の画像の領域であると判定された場合、肌色領域を含む方形領域を顔画像として、顔画像正規化部14に供給する。
顔画像正規化部14は、顔画像の明暗を調整し、目や口の位置を基準としてアフィン変換を顔画像に適用して、顔画像を正規化する。すなわち、顔画像正規化部14は、顔画像全体の明暗を調整して、明暗を調整し、また、目や口の位置が予め設定した位置になるように顔画像にアフィン変換を適用する。顔画像正規化部14は、正規化した顔画像を識別部15に供給する。
識別部15は、登録によって登録顔画像記憶部16に予め記憶されている登録顔画像と、顔画像正規化部14から供給された正規化された顔画像との類似度を求めて、求めた類似度から、顔を識別する。
図2は、従来の顔識別の処理を説明するフローチャートである。ステップS11において、画像入力部12は、カメラ11から供給された画像を入力する。ステップS12において、顔画像抽出部13は、画像入力部12から供給された画像から顔領域を抽出する。
ステップS13において、顔画像抽出部13は、標準的な顔の画像であるテンプレートを用いて抽出した顔領域が顔画像であるか否かを判定する。ステップS13において、抽出した顔領域が顔画像であると判定された場合、ステップS14に進み、顔画像正規化部14は、顔画像の明暗を調整し、目や口の位置を基準としてアフィン変換を顔画像に適用して、顔画像を正規化する。
ステップS15において、識別部15は、登録顔画像記憶部16に予め記憶されている登録顔画像と、顔画像正規化部14から供給された正規化された顔画像との類似度を求める。この場合、登録顔画像の画素値と正規化された顔画像の画素値との差の絶対値の総和が類似度とされる。
ステップS16において、識別部15は、登録顔画像と正規化された顔画像との類似度が予め定めた閾値以内であるか否かを判定し、類似度が閾値以内であると判定された場合、ステップS17に進み、登録された顔であるとの結果を出力して、処理は終了する。
一方、ステップS16において、類似度が閾値以内でないと判定された場合、ステップS18に進み、登録された顔でないとの結果を出力して、処理は終了する。
ステップS13において、抽出した顔領域が顔画像でないと判定された場合、処理は終了する。
従来は、入力画像から当該人物の顔領域が抽出された際に、その顔領域の中から分離度フィルタを用いて顔の各特徴点候補を抽出し、顔の構造的な制約を用いて特徴点セット候補を絞り込み、予め登録してある目、鼻、口領域などのテンプレートとの類似度を計算してその加重和の整合度を求め、最も高い整合度を持つ特徴点セットを正しい組合せと決定し、その特徴点セットから正規化画像を生成し、その正規化画像と予め登録されている各登録者の辞書画像との類似度を計算し、類似度が高い辞書画像を表す人物を当人と識別するようにしているものもある(例えば、特許文献1参照)。
また、顔領域を抽出し、目、口の位置を検出し、目、口の位置があらかじめ設定した位置に来るようにアフィン変換し、アフィン変換後の顔画像に対し格子状の基準点を設定し、各基準点の偏移量列の集合を設定し、各基準点を偏移量列に基づき各顔画像を変形させ、変形顔画像と基準顔画像との最も高い相関値をその変形顔画像の相関値とし、相関値が相関度基準を満足した時は基準顔画像の人物を識別結果とし、相関度基準を満足しない時は顔画像変形の際の偏移量列を組み替え操作するようにしているものもある(例えば、特許文献2参照)。
しかしながら、特許文献1に記載されているように目鼻のような特徴的な部分的な要素を利用する識別の処理は、複雑になるだけでなく、表情の変化に対応することが困難であり、ロバストな手法とはなりにくい。
また、特許文献2に記載されているように、顔画像上の点が基準顔画像のどの点に対応するかを遺伝的アルゴリズムによって求めるようにすると、処理が複雑なので、実用上実現性に乏しい。
本発明は、このような状況に鑑みてなされたものであり、簡単により確実に顔を識別することができるようにするものである。
本発明の一側面の画像処理装置は、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定する特定手段と、前記対応領域の位置に基づいて、前記入力画像の顔を識別する識別手段とを備える。
前記識別手段は、複数の前記注目領域のそれぞれに対応する前記対応領域のそれぞれの位置に基づいて、前記入力画像の顔を識別することができる。
前記特定手段は、前記注目領域に含まれる画素の画素値に対して、差分の絶対値の和が最小になる画素値の画素からなる前記対応領域の位置を特定することができる。
前記特定手段は、前記登録画像上の前記注目領域の位置と、特定された前記入力画像上の前記対応領域の位置とを示すベクトルを生成するベクトル生成手段を備え、前記識別手段は、前記ベクトルから、前記入力画像の顔を識別することができる。
前記ベクトルから、前記入力画像上の前記対応領域の位置の特徴を示す特徴量を生成する特徴量生成手段をさらに設け、前記識別手段は、前記特徴量によって、前記入力画像の顔を識別することができる。
前記特徴量生成手段は、前記ベクトルの頻度に応じた前記特徴量を生成することができる。
前記特徴量生成手段は、前記ベクトルの頻度に判別式を適用することで前記特徴量を生成することができる。
本発明の一側面の画像処理方法は、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、前記対応領域の位置に基づいて、前記入力画像の顔を識別するステップを含む。
本発明の一側面のプログラムは、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、前記対応領域の位置に基づいて、前記入力画像の顔を識別するステップをコンピュータに実行させる。
本発明の一側面の記録媒体は、本発明の一側面のプログラムを記録している。
本発明の一側面においては、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置が特定され、前記対応領域の位置に基づいて、前記入力画像の顔が識別される。
以上のように、本発明の一側面によれば、顔を識別することができる。
また、本発明の一側面によれば、簡単により確実に顔を識別することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置は、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定する特定手段(例えば、図3の対応位置探索部35)と、前記対応領域の位置に基づいて、前記入力画像の顔を識別する識別手段(例えば、図3の識別部38)とを備える。
前記特定手段は、前記登録画像上の前記注目領域の位置と、特定された前記入力画像上の前記対応領域の位置とを示すベクトルを生成するベクトル生成手段(例えば、図3のベクトル生成部41)を備え、前記識別手段は、前記ベクトルから、前記入力画像の顔を識別することができる。
前記ベクトルから、前記入力画像上の前記対応領域の位置の特徴を示す特徴量を生成する特徴量生成手段(例えば、図3の特徴量生成部37)をさらに設け、前記識別手段は、前記特徴量によって、前記入力画像の顔を識別することができる。
本発明の一側面の画像処理方法またはプログラムは、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し(例えば、図25のステップS35)、前記対応領域の位置に基づいて、前記入力画像の顔を識別する(例えば、図25のステップS37乃至ステップS39)ステップを含む。
本発明の画像処理装置は、顔を識別する顔識別装置として実現することができる。
図3は、本発明の一実施の形態の顔識別装置の構成を示すブロック図である。顔識別装置は、カメラ31、画像入力部32、顔画像抽出部33、顔画像正規化部34、対応位置探索部35、登録画像記憶部36、特徴量生成部37、および識別部38により構成されている。
カメラ31は、デジタルビデオカメラまたはデジタルスチルカメラなどであり、被写体である人の顔を撮影して、人の顔を含む画像をデータとして取得する。カメラ31は、データである画像を画像入力部32に供給する。
画像入力部32は、人の顔を含む画像を入力する。すなわち、画像入力部32は、インターフェースとして構成され、接続されているカメラ31から供給された人の顔を含む画像を入力する。画像入力部32は、入力した画像を顔画像抽出部33に供給する。
顔画像抽出部33は、画像入力部32から供給された画像から、顔の領域を顔画像として抽出する。例えば、顔画像抽出部33は、画像から、肌色の画素の領域を抽出する。そして、顔画像抽出部33は、抽出した肌色の画素の領域と、標準的な顔の画像であるテンプレートとを比較することにより、抽出した肌色の画素の領域の画像が顔の画像であるか否かを判定する。さらに、顔画像抽出部33は、抽出した肌色の画素の領域の画像が顔の画像であると判定された場合、その肌色の画素の領域を含む方形の領域を顔画像として抽出する。顔画像抽出部33は、抽出した顔画像を顔画像正規化部34に供給する。
顔画像正規化部34は、顔画像抽出部33から供給された顔画像を正規化する。すなわち、例えば、顔画像正規化部34は、顔画像の明暗(明度)を調整し、目や口の画像などの位置を基準として、顔画像にアフィン変換を適用する。より詳細には、例えば、顔画像正規化部34は、顔画像全体の輝度値を調整して、顔画像の明暗を調整する。そして、顔画像正規化部34は、目や口の画像が予め決めた位置に配置されるように、顔画像にアフィン変換を適用する。顔画像正規化部34は、正規化した顔画像を対応位置探索部35に供給する。
対応位置探索部35は、登録画像記憶部36から予め登録されている登録画像を読み出す。登録画像記憶部36は、半導体メモリなどで構成され、予め登録されている登録画像を記憶している。
そして、対応位置探索部35は、登録画像上の注目している注目領域に対応する対応領域であって、正規化された顔画像上の対応領域の位置を特定する。ここで、注目領域に対応する対応領域とは、注目領域のそれぞれの画素の画素値に近似する画素値の画素のそれぞれが、注目領域の画素のそれぞれと同様に配置されている領域をいう。例えば、対応位置探索部35は、注目領域に含まれる画素の画素値に対して、差分の絶対値の和が最小になる画素値の画素からなる対応領域の位置を特定する。
すなわち、対応位置探索部35は、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定する。
対応位置探索部35は、ベクトル生成部41を備える。
ベクトル生成部41は、登録画像上の注目領域の位置と、正規化された顔画像上の、特定された対応領域の位置とを示すベクトルを生成する。すなわち、ベクトル生成部41は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルを生成する。
対応位置探索部35は、生成されたベクトルを特徴量生成部37に供給する。
特徴量生成部37は、対応位置探索部35から供給されたベクトルから、入力された入力画像である正規化された顔画像上の対応領域の位置の特徴を示す特徴量を生成する。特徴量生成部37は、生成した特徴量を識別部38に供給する。
識別部38は、特徴量生成部37から供給された特徴量によって、入力画像の顔を識別する。すなわち、識別部38は、対応領域の位置に基づいて、入力画像の顔を識別する。識別部38は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルから、入力画像の顔を識別するとも言える。
識別部38は、識別の結果を出力する。
以下、顔画像抽出部33乃至識別部38のそれぞれの詳細について説明する。
図4は、顔画像抽出部33の構成の例を示すブロック図である。顔画像抽出部33は、HSV(Hue Saturation Value(色相、彩度、明度))変換部61、肌色領域抽出部62、横枠検出部63、縦枠検出部64、顔領域抽出部65、および顔画像識別部66から構成される。
HSV変換部61は、画像入力部32から供給されたRGB(red green blue)方式の画像を、HSV方式の画像に変換する。HSV変換部61は、HSV方式の画像を肌色領域抽出部62に供給する。
肌色領域抽出部62は、HSV方式の画像から、肌色の範囲の色相(Hue)の画素(以下、肌色画素と称する)を抽出する。例えば、色相は、0乃至360の範囲で表現される。0である色相は、赤を示し、60である色相は、黄を示し、さらに360までの色相は、順に、緑、シアン、青、マゼンタ、赤を示す。例えば、肌色領域抽出部62は、20を超えて40未満である色相の画素を、HSV方式の画像から抽出する。
図5で示されるように、肌色領域抽出部62は、HSV方式に変換された画像71から、肌色の範囲の20を超えて40未満である色相の画素を肌色画素として抽出する。肌色領域抽出部62は、抽出した肌色画素からなる画像72を生成する。なお、理解を容易にするため、図面における画像72には、肌色画素以外の画素による画像も示されている。
また、例えば、肌色領域抽出部62が、肌色画素を特定するフラグを画像71に付加し、このフラグを基に、以下で説明する処理が実行されるようにしてもよい。
肌色領域抽出部62は、画像71および肌色画素からなる画像72を横枠検出部63に供給する。
横枠検出部63は、抽出する顔の領域の横枠を決める。まず、横枠検出部63は、画像72における、画素の横の列毎の肌色画素の数を数える。言い換えれば、横枠検出部63は、画像72における、水平方向に、横1列の画素毎に、その1列の画素に含まれる連続している肌色画素の数を数える。この場合、横枠検出部63は、画像72の1つの横の列の画素において、i個の肌色画素が連続し、これとは離れてj個の肌色画素が連続している場合、i>jであるとき、より多いiをその列の肌色画素の数とする。
図6で示されるように、横枠検出部63は、横の列毎の肌色画素の数のうち、最大の数(以下、単に最大数と称する)を求める。そして、横枠検出部63は、肌色画素の数が最大の横の列の、垂直方向の座標を垂直基準点とする。
さらに、横枠検出部63は、このように求めた最大数に、0.8を乗算して得た値を横枠の幅とする。そして、横枠検出部63は、幅を決めた横枠の中心を、画像72の水平方向の中心に一致させる。
横枠検出部63は、画像72と共に、垂直基準点、並びに幅および水平方向の位置が決められた横枠を示すデータを縦枠検出部64に供給する。また、横枠検出部63は、画像71および画像72と共に、幅および水平方向の位置が決められた横枠を示すデータを顔領域抽出部65に供給する。
縦枠検出部64は、抽出する顔の領域の縦枠を決める。縦枠検出部64は、横枠の幅に、1.3を乗算して得た値を縦枠の高さ(長さ)とする。図7で示されるように、縦枠検出部64は、垂直基準点に対して所定の長さだけオフセットした位置を縦枠の中心とする。例えば、縦枠検出部64は、垂直基準点から−40だけオフセットした位置(垂直基準点から40画素だけ上側の位置)を縦枠の中心とする。
縦枠検出部64は、高さおよび垂直方向の位置が決められた縦枠を示すデータを顔領域抽出部65に供給する。
顔領域抽出部65は、横枠検出部63から供給された横枠を示すデータ、および縦枠検出部64から供給された縦枠を示すデータを用いて、縦枠および横枠を統合し、四角の枠を求める。すなわち、顔領域抽出部65は、横枠の幅と同じ幅で、縦枠の高さと同じ高さの四角の枠を求める。顔領域抽出部65は、横枠の水平方向の位置と縦枠の中心とで決まる位置と、その四角の枠の中心が一致するように、四角の枠の位置を決める。
顔領域抽出部65は、図8で示されるように、横枠検出部63から供給された画像71から、縦枠および横枠を統合して求められた四角の枠の中の顔領域81を抽出する。なお、顔領域抽出部65は、RGB方式の元の顔画像から顔領域81を抽出するようにしてもよい。
顔領域抽出部65は、画像72と共に、抽出した顔領域81を顔画像識別部66に供給する。
顔画像識別部66は、顔領域81の顔と、予め定めた基準の顔とを比較することにより、顔領域81が顔の領域であるか否かを判定する。例えば、図9で示されるように、顔画像識別部66は、標準的な顔画像のテンプレート91を予め記憶している。テンプレート91は、所定の数の複数の人の顔の画像を平均した標準的な顔画像である。顔画像識別部66は、顔領域抽出部65において抽出された顔領域81の画像とテンプレート91との一致の度合いを示す値を求める。例えば、顔画像識別部66は、一致の度合いを示す値として、顔領域81の画像とテンプレート91との差分絶対値の総和を算出する。具体的には、顔画像識別部66は、顔領域81の画素のそれぞれについて、顔領域81の画素の画素値と、その画素の位置と同じ位置のテンプレート91の画素の画素値の差分を求めて、求めた差分の絶対値を求める。そして、顔画像識別部66は、絶対値の総和を求める。
なお、顔領域81のサイズとテンプレート91のサイズが一致しない場合、顔領域81の画像とテンプレート91との一致の度合いを示す値を求める前に、顔画像識別部66は、テンプレート91の画素を補間するか、またはテンプレート91の画素を間引いて、テンプレート91のサイズを調整して、顔領域81のサイズとテンプレート91のサイズとを一致させる。
顔画像識別部66は、顔領域81の画像とテンプレート91との一致の度合いを示す値を基に、一致の度合いが基準値より大きい場合、顔領域81が顔の領域(顔画像)であると判定する。例えば、顔画像識別部66は、一致の度合いを示す値として、顔領域81の画像とテンプレート91との差分絶対値の総和を算出した場合、その総和が予め定めた閾値より小さい場合、顔領域81が顔の領域であると判定し、その総和が予め定めた閾値以上である場合、顔領域81が顔の領域でないと判定する。
顔領域81が顔の領域であると判定された場合、顔画像識別部66は、画像72と共に、顔領域81を顔画像正規化部34に供給する。
顔領域81が顔の領域であると判定された場合、顔画像正規化部34乃至識別部38が以下で説明する処理を継続し、顔領域81が顔の領域でないと判定された場合、顔画像正規化部34乃至識別部38は以下で説明する処理を実行しないで、処理は終了する。
次に、顔画像正規化部34における顔領域81の正規化について説明する。
図10は、顔画像正規化部34の構成の例を示すブロック図である。顔画像正規化部34は、ラベリング部101、重心算出部102、目位置検出部103、口位置検出部104、アフィン変換部105、および輝度値調整部106から構成される。
ラベリング部101は、画像72を基に、顔領域81の画素のうち、肌色画素に相当しない(肌色画素以外の)画素(以下、非肌色画素と称する)にラベリングし、オブジェクトを抽出する。例えば、ラベリング部101は、4近傍によるラベリング処理を顔領域81の非肌色画素に適用する。すなわち、例えば、ラベリング部101は、非肌色画素のそれぞれに、隣接している非肌色画素の番号(ラベル)と同じ番号を付加することで、連続して接している非肌色画素に共通し、間に肌色画素がある非肌色画素では異なる番号を付加する。これにより、顔領域81の非肌色画素からなるオブジェクトには、それぞれ、番号(ラベル)が付加されることになる。
ラベリング部101は、ラベリングした顔領域81を重心算出部102に供給する。
重心算出部102は、ラベルを参照して、顔領域81の非肌色画素からなるオブジェクトのそれぞれの重心を算出する。例えば、重心算出部102は、オブジェクトの重心のx座標の位置を、そのオブジェクトに含まれる非肌色画素のx座標の位置の平均値とし、そのオブジェクトの重心のy座標の位置を、そのオブジェクトに含まれる非肌色画素のy座標の位置の平均値として、それぞれのオブジェクトの重心の座標上の位置を求める。
重心算出部102は、ラベリングした顔領域81と共に、顔領域81の非肌色画素からなるオブジェクトのそれぞれの重心を示す重心データを目位置検出部103および口位置検出部104に供給する。
目位置検出部103は、重心算出部102から供給された重心データから、目のオブジェクトを検出する。すなわち、例えば、目位置検出部103は、重心データで重心の位置が示されるオブジェクトのうち、顔領域81の上半分の領域に重心が存在し、かつオブジェクトの面積が所定の値以上のオブジェクトを検出する。さらに、目位置検出部103は、このように検出されたオブジェクトのうち、顔領域81を左右に2等分する垂直線に対して、両側に存在するものであって、一番下に位置するオブジェクトを目のオブジェクトとする。例えば、図11で示されるように、目位置検出部103は、顔領域81に含まれる目のオブジェクト121を検出する。
目位置検出部103は、顔領域81と共に、このように検出した目のオブジェクト121の位置を特定するデータ(例えば、目のオブジェクト121の重心の位置を示すデータ)をアフィン変換部105に供給する。
口位置検出部104は、重心算出部102から供給された重心データから、口のオブジェクトを検出する。すなわち、例えば、口位置検出部104は、重心データで重心の位置が示されるオブジェクトのうち、顔領域81の下側の4分の1の領域に重心が存在するオブジェクトを検出する。言い換えれば、口位置検出部104は、顔領域81を縦に並ぶ同じ高さの4つの領域に分けて、その4つの領域のうちの最も下の領域に重心が存在するオブジェクトを検出する。
さらに、口位置検出部104は、このように検出されたオブジェクトのうち、面積が最大のオブジェクトを口のオブジェクトとする。例えば、図11で示されるように、口位置検出部104は、顔領域81に含まれる口のオブジェクト122を検出する。
口位置検出部104は、このように検出した口のオブジェクト122の位置を特定するデータ(例えば、口のオブジェクト122の重心の位置を示すデータ)をアフィン変換部105に供給する。
アフィン変換部105は、目位置検出部103から供給された、目のオブジェクト121の位置を特定するデータ、および口位置検出部104から供給された、口のオブジェクト122の位置を特定するデータを基に、目位置検出部103から供給された顔領域81にアフィン変換の処理を適用する。例えば、アフィン変換部105は、目のオブジェクト121の位置と口のオブジェクト122の位置とが、予め定めた所定の大きさの方形領域における所定の位置になるように、顔領域81にアフィン変換の処理を適用する。
より具体的には、例えば、図12で示されるように、縦にm画素、横にn画素の方形領域131において、2つの目のオブジェクト121の重心が、方形領域131の上端からm/10画素下の位置に配置され、左側の目のオブジェクト121の重心が、方形領域131の左端から3×n/10画素右の位置に配置され、右側の目のオブジェクト121の重心が、方形領域131の右端から3×n/10画素左の位置に配置され、かつ口のオブジェクト122の下端が方形領域131の下端に接するように、アフィン変換部105は、顔領域81にアフィン変換の処理を適用する。
アフィン変換部105は、アフィン変換の結果、方形領域131を得る。
アフィン変換部105は、アフィン変換の結果得られた方形領域131を輝度値調整部106に供給する。
輝度値調整部106は、方形領域131の輝度値を調整する。輝度値調整部106は、予め定めた平均値および分散(以下、それぞれ既定平均値および既定分散と称する)並びに方形領域131の画素の画素値の平均値および分散を基に、方形領域131の全ての画素の輝度を調整する。例えば、輝度値調整部106は、まず、方形領域131の画素の画素値の平均値(以下、単に、領域平均値と称する)および分散(以下、単に、領域分散と称する)を算出する。そして、輝度値調整部106は、方形領域131のそれぞれの画素について、式(1)を基に輝度値を調整した画素値を算出する。
(画素値−領域平均値)/領域分散×既定分散+既定平均値
・・・(1)
(画素値−領域平均値)/領域分散×既定分散+既定平均値
・・・(1)
輝度値調整部106は、輝度値を調整した方形領域131を正規化した画像として対応位置探索部35に供給する。
なお、輝度値調整部106は、輝度値の頻度が一定になるように、すなわち、ヒストグラムが平坦になるように、それぞれの画素の輝度値を調整するようにしてもよい。
このようにすることで、撮影の条件の変化などを原因とする画素値の偏りを修正することができる。画素値が飽和したり、照明の条件が極端に変化していなければ、上述した正規化によって、撮影毎のレベルの変化をより少なくすることができる。
次に、対応位置探索部35について説明する。
対応位置探索部35は、登録画像記憶部36から登録画像を読み出す。対応位置探索部35は、例えば、図13で示されるように、登録画像141から、注目している領域として注目領域を順に選択する。例えば、対応位置探索部35は、縦横3×3の画素からなる注目領域を登録画像141からラスタスキャン順に選択する。
なお、図13において、1つの丸は、1つの画素を示す。
例えば、対応位置探索部35は、ブロックマッチングにより、方形領域131の探索エリアから、注目領域に対応する対応領域を探索する。
より具体的には、図13で示されるように、対応位置探索部35は、方形領域131のうち、注目領域の中心の画素(図13の登録画像141において右上がりの斜線を付した丸で示す画素)の位置と同じ位置の画素(図13の方形領域131において右上がりの斜線を付した丸で示す画素)を中心とする探索エリアを設定する。例えば、対応位置探索部35は、注目領域が縦横3×3の画素からなる場合、縦横9×9の画素からなる探索エリアを設定する。
そして、対応位置探索部35は、探索エリアの相互に隣接する縦横3×3の画素および注目領域の画素のうち、対応する位置の画素のそれぞれについて(左上の画素同士、左から2番目であって上の画素同士、右上の画素同士、・・・右下の画素同士について)画素値の差分の絶対値を求めて、それぞれの画素についての絶対値の総和を算出する。対応位置探索部35は、探索エリアにおける縦横3×3の画素のうち、中央の画素に、算出した差分の絶対値の総和を対応付ける。
対応位置探索部35は、探索エリア全体について画素値の差分の絶対値の総和を算出し、それぞれの画素に、算出した差分の絶対値の総和を対応付ける。
より具体的には、例えば、対応位置探索部35は、探索エリアの左上の縦横3×3の画素と注目領域の画素とにおける、対応する位置の画素のそれぞれについて画素値の差分の絶対値を求めて、それぞれの画素についての絶対値の総和を算出する。対応位置探索部35は、算出した総和を、探索エリアの左上の縦横3×3の画素の中央の画素(すなわち、探索エリアの左から2番目であって、上から2番目の画素)に対応付ける。
そして、対応位置探索部35は、探索エリアにおける縦横3×3の画素の位置をラスタスキャン順にずらす。対応位置探索部35は、ずらした位置の探索エリア上の縦横3×3の画素と注目領域の画素とについて、同様に画素値の差分の絶対値の総和を算出して、探索エリアの縦横3×3の画素の中央の画素に対応付ける。
対応位置探索部35は、画素値の差分の絶対値の総和を算出して、探索エリアの画素に対応付ける処理を探索エリア全体に適用する。その結果、この例の場合、探索エリアの画素のうち、縦横7×7の画素のそれぞれに、差分の絶対値の総和が対応付けられることになる。
対応位置探索部35は、探索エリアの画素のうちの、縦横7×7の画素のそれぞれに対応付けた差分の絶対値の総和のうち、最小の総和を求める。
対応位置探索部35は、注目領域に対応する対応領域の位置として、最小の総和が対応付けられた画素(例えば、図13の方形領域131において黒丸で示す対応点)の位置を特定する。
このように、対応位置探索部35は、登録画像141の全体について、注目領域を順に選択し、選択した注目領域に対応する対応領域の位置を特定する。
ベクトル生成部41は、注目領域の位置と、特定された対応領域の位置とを示すベクトルを生成する。すなわち、ベクトル生成部41は、ベクトルの始点を注目領域の位置とし、ベクトルの終点を特定された対応領域の位置とするベクトルを生成する。より詳細には、例えば、ベクトル生成部41は、注目領域の中央の画素を始点で示し、対応領域の中央の画素を終点で示すベクトルを生成する。
ベクトル生成部41は、登録画像141の全体について、注目領域の位置と、特定された対応領域の位置とを示すベクトルを生成する。
対応位置探索部35は、生成したベクトルを特徴量生成部37に供給する。
なお、注目領域は、縦横3×3の画素に限らず、任意の数の画素からなるようにすることができ、同様に、探索エリアは、縦横9×9の画素に限らず、注目領域より大きければ足り、任意の数の画素からなるようにすることができる。
注目領域および探索エリアの大きさは、登録画像141および方形領域131の大きさ、または登録画像141および方形領域131の解像度などによって決められる。
また、登録画像141および方形領域131の大きさを適宜変更するようにしてもよい。
この場合、例えば、登録画像記憶部36は、1つの顔の登録に対応して、登録画像141だけでなく、図14に示される、登録画像141に比較してより多い数の画素からなる登録画像151、登録画像141に比較してより少ない数の画素からなる登録画像152、さらに少ない数の画素からなる登録画像153、さらにまた少ない数の画素からなる登録画像154を記憶する。例えば、登録画像151は、登録画像141から拡大して生成され、登録画像152、登録画像153、および登録画像154は、登録画像141から順に縮小して生成される。
登録画像151を基に対応する位置が特定されるとき、方形領域131が拡大されて、登録画像151と同じ大きさの画像155が生成され、登録画像151の注目領域に対応する対応領域が画像155から探索される。また、登録画像152を基に対応する位置が特定されるとき、方形領域131が縮小されて、登録画像152と同じ大きさの画像156が生成され、登録画像152の注目領域に対応する対応領域が画像156から探索される。同様に、登録画像153または登録画像154を基に対応する位置が特定されるとき、画像156がさらに縮小されて、登録画像153または登録画像154と同じ大きさの画像157または画像158が生成され、登録画像153または登録画像154の注目領域に対応する対応領域が画像157または画像158から探索される。
このように、登録画像141および登録画像151乃至登録画像154と、方形領域131および画像155乃至画像158とを階層構造とすることで、探索の処理の負荷を軽減したり、識別の精度のレベルを調整したりすることができるようになる。
また、差分の絶対値の総和が最小になる位置を特定すると説明したが、これに限らず、差分の2乗の総和または差分の絶対値の分散など他の値を基に、注目領域に対応する対応領域の位置を特定するようにしてもよい。
さらに、対応位置探索部35は、ブロックマッチングにより、注目領域に対応する対応領域を探索すると説明したが、これに限らず、勾配法など他の方式で、注目領域に対応する対応領域を探索するようにしてもよい。
ここで、図15乃至図24を参照して、注目領域に対応する対応領域の位置、および注目領域の位置と特定された対応領域の位置とを示すベクトルについて説明する。
図15は、登録画像141、登録している人の顔の方形領域131−1、および登録していない人の顔の方形領域131−2の例を示す図である。
簡単のために、登録している人が1人である場合を考える。登録している人が1人である場合、登録画像記憶部36には、1つの登録画像141が記憶されている。従って、この場合、1つの登録画像141と登録している人の顔の方形領域131−1との対応する位置が探索されるか、またはその登録画像141と登録していない人の顔の方形領域131−2との対応位置が探索される。
図16は、対応位置探索部35が、登録している人の顔の方形領域131−1について、登録画像141の注目領域に対応する対応領域の位置を特定した場合、ベクトル生成部41において生成される、登録画像141の注目領域の位置と、特定された方形領域131−1上の対応領域の位置とを示すベクトルの例を示す図である。なお、図16で示す例において、ベクトルは始点に配置されている。
図16で示されるように、例えば、登録画像141における目の向きと方形領域131−1における目の向きとが異なっている場合には、登録画像141における目の画像の付近に所定の大きさで所定の向きのベクトルが配置されることになる。図16の例では、登録画像141における鼻および口の画像と、方形領域131−1における鼻および口の画像とに若干の差異があるので、登録画像141における鼻および口の画像の付近により小さいベクトルが配置されている。登録画像141および方形領域131−1の他の部分は一致しているので、登録画像141における他の部分には、0ベクトル(x成分およびy成分が共に0のベクトル)が配置されている。
図17は、図16のベクトルの、ベクトルのx成分およびy成分毎の頻度を示す図である。登録画像141における目の向きと方形領域131−1における目の向きとが異なっている場合には、例えば、目の画像除いた他のほとんどの部分の画像の位置は、登録画像141と方形領域131−1とにおいて同じであり、その位置は0ベクトルで示されるので、0ベクトルの頻度のピークが現れ、そのピーク周辺に若干のベクトルの頻度が現れる。また、所定のx成分およびy成分の1つのベクトルで、登録画像141における瞳の画像の位置から、方形領域131−1における瞳の画像の位置を示すことができるので、そのx成分およびy成分において、ベクトルの頻度のピークが生じ、そのピークの周辺にも若干のベクトルの頻度が現れる。さらに、登録画像141における鼻および口の画像の付近に配置された、成分のより小さいベクトルに対して、小さな頻度が現れる。
図18は、対応位置探索部35が、登録していない人の顔の方形領域131−2について、登録画像141の注目領域に対応する対応領域の位置を特定した場合、ベクトル生成部41において生成される、登録画像141の注目領域の位置と、特定された方形領域131−2上の対応領域の位置とを示すベクトルの例を示す図である。なお、図18で示す例において、ベクトルは始点に配置されている。
図18で示されるように、例えば、登録画像141における画像と方形領域131−2における画像と全体的に異なっているので、多数の、乱雑な大きさおよび乱雑な向きのベクトルが全体に配置されることになる。
図19は、図18のベクトルの、ベクトルのx成分およびy成分毎の頻度を示す図である。図19で示されるように、登録していない人の顔の方形領域131−2について、登録画像141の注目領域に対応する対応領域の位置を特定した場合、ベクトルの向きおよび大きさが乱雑になるので、例えば、注目領域と探索エリアの大きさで決まる所定の範囲の全体に、乱雑な頻度が現れることになる。
これからわかるように、例えば、ベクトルの分散を求めて、ベクトルの分散を基に、登録している人の顔であるかを判別することができる。
次に、外乱を含む画像で登録している人の顔を識別する場合について説明する。
図20は、登録画像141、位置がずれている登録している人の顔の方形領域131−3、および登録画像141と顔の大きさが異なる登録している人の顔の方形領域131−4の例を示す図である。
方形領域131−3の顔は、登録している人の顔であるが、目の向きが異なると共に、その顔の全体が図中の右側にずれている。方形領域131−4の顔は、登録している人の顔であるが、目の向きが異なると共に、登録画像141と顔の大きさに比較してより大きい。
図21は、対応位置探索部35が、方形領域131−3について、登録画像141の注目領域に対応する対応領域の位置を特定した場合、ベクトル生成部41において生成される、登録画像141の注目領域の位置と、特定された方形領域131−3上の対応領域の位置とを示すベクトルの例を示す図である。なお、図21で示す例において、ベクトルは始点に配置されている。
図21で示されるように、例えば、登録画像141に対して、方形領域131−3の顔は、目の向きが異なると共に、その顔の全体が図中の右側にずれているので、図16で示される場合と同様に、登録画像141における目の画像の付近に所定の大きさおよび向きのベクトルが配置されることになる。また、登録画像141における鼻および口の画像と、方形領域131−3における鼻および口の画像とに若干の差異があるので、登録画像141における鼻および口の画像の付近により小さいベクトルが配置される。
そして、その顔の全体が図中の右側にずれているので、登録画像141における他の部分には、ずれの量と向きに応じた一定の大きさのベクトルが配置されることになる。
図22は、図21のベクトルの、ベクトルのx成分およびy成分毎の頻度を示す図である。ずれの量と向きに応じた一定の大きさのベクトルが配置されるので、そのx成分およびy成分において、ベクトルの頻度の1つのピークが生じることになる。また、図17で示される場合と同様に、登録画像141における目の向きと方形領域131−3における目の向きとが異なっている場合には、例えば、所定のx成分およびy成分の1つのベクトルで、登録画像141における瞳の画像の位置から、方形領域131−3における瞳の画像の位置を示すことができるので、そのx成分およびy成分において、ベクトルの頻度のピークが生じ、そのピークの周辺に若干のベクトルの頻度が現れる。さらに、登録画像141における鼻および口の画像の付近に配置された、成分のより小さいベクトルに対して、小さな頻度が現れる。
すなわち、方形領域131−3において顔の全体の位置がずれたとしても、x成分およびy成分毎のベクトルの頻度の特徴と同様のベクトルの頻度の特徴が現れる。
図23は、対応位置探索部35が、方形領域131−4について、登録画像141の注目領域に対応する対応領域の位置を特定した場合、ベクトル生成部41において生成される、登録画像141の注目領域の位置と、特定された方形領域131−4上の対応領域の位置とを示すベクトルの例を示す図である。なお、図23で示す例において、ベクトルは始点に配置されている。
図23で示されるように、例えば、登録画像141に対して、方形領域131−4の顔は、目の向きが異なると共に、その顔が登録画像141と顔の大きさに比較してより大きいので、図16で示される場合と同様に、登録画像141における目の画像の付近に所定の大きさのベクトルが配置されることになる。また、登録画像141における鼻および口の画像と、方形領域131−3における鼻および口の画像とに若干の差異があるので、登録画像141における鼻および口の画像の付近により小さいベクトルが配置される。
そして、その顔が登録画像141と顔の大きさに比較してより大きいので、登録画像141における他の部分には、中心から外に向かう、顔の大きさの差異に応じた大きさのベクトルが配置されることになる。
図24は、図23のベクトルの、ベクトルのx成分およびy成分毎の頻度を示す図である。登録画像141の中心から外に向かう、顔の大きさの差異に応じた大きさのベクトルが配置されるので、一定の大きさのベクトルの頻度が、ドーナッツ状に現れる。また、図17で示される場合と同様に、登録画像141における目の向きと方形領域131−4における目の向きとが異なっている場合には、例えば、ほぼ同じ大きさの1つのベクトルで、登録画像141における瞳の画像の位置から、方形領域131−4における瞳の画像の位置を示すことができるので、そのx成分およびy成分において、ベクトルの頻度のピークが生じ、そのピークの周辺に若干のベクトルの頻度が現れる。さらに、登録画像141における鼻および口の画像の付近に配置された、成分のより小さいベクトルに対して、小さな頻度が現れる。
このように、方形領域131−4において顔の大きさが変わったとしても、正しい大きさの顔におけるベクトルの頻度の特徴と同様のベクトルの頻度の特徴が現れる。
次に、特徴量生成部37について説明する。
特徴量生成部37は、対応位置探索部35から供給されたベクトルから、方形領域131上の対応領域の位置の特徴を示す特徴量を生成する。
例えば、登録画像141上の位置(i,j)に対応する位置ベクトルV(i,j)は、式(2)で表される。
V(i,j)=(x,y) (2)
式(2)において、xは、位置ベクトルV(i,j)のx成分を示し、yは、位置ベクトルV(i,j)のy成分を示す。
V(i,j)=(x,y) (2)
式(2)において、xは、位置ベクトルV(i,j)のx成分を示し、yは、位置ベクトルV(i,j)のy成分を示す。
ベクトルの頻度分布hist(x,y)のうち頻度の最も大きい最大頻度histmaxは、式(3)で表される。
histmax=hist(xmax,ymax) (3)
式(3)において、xmaxは、最大頻度histmaxが現れるベクトルのx成分を示し、ymaxは、最大頻度histmaxが現れるベクトルのy成分を示す。
histmax=hist(xmax,ymax) (3)
式(3)において、xmaxは、最大頻度histmaxが現れるベクトルのx成分を示し、ymaxは、最大頻度histmaxが現れるベクトルのy成分を示す。
ベクトルの頻度分布hist(x,y)を最大頻度histmaxで割り算して、正規化した頻度分布histstd(x,y)が求められる。
histstd(x,y)=hist(x,y)/histmax (4)
histstd(x,y)=hist(x,y)/histmax (4)
この場合、例えば、特徴量Sは、式(5)で記述される。
式(5)で記述される特徴量Sは、その値が小さいほど、登録画像141と方形領域131とがより類似していることを示す。
例えば、特徴量生成部37は、対応位置探索部35から供給されたベクトルから、式(5)で示される特徴量Sを生成し、生成した特徴量Sを識別部38に供給する。
なお、特徴量生成部37は、特徴量として、判別分析における合成変量を求めるようにしてもよい。この場合、まず、特徴量生成部37は、正規化した頻度分布histstd(x,y)を求める。
そして、特徴量生成部37は、式(6)により合成変量Sdを算出する。
ここで、判別分析について簡単に説明する。判別分析は、入力をある属性で分類する統計的な手法のひとつである。
群の数をkとし、各群のケースの数をn1,n2,・・・,nkとした場合、p個の変数x1,x2,・・・,xpに対して、任意の重み係数a1,a2,・・・,apを用いて合成される合成変量Zを考える。
Z=a1x1+a2x2+・・・+apxp (7)
Z=a1x1+a2x2+・・・+apxp (7)
第j群、第iケースの合成変量Zij(i=1,2,・・・,k;i=1,2,・・・,nj)は、式(8)で算出される。
Zij=a1x1ij+a2x2ij+・・・+apxpij (8)
Zij=a1x1ij+a2x2ij+・・・+apxpij (8)
合成変量Zijの全体の平均値Zave、および第j群における合成変量Zijの平均値のZjaveから、式(9)に示されるように、合成変量Zの平方和Stは、群内平方和Swと群間平方和Sbとに分解できる。
St=Sw+Sb (9)
St=Sw+Sb (9)
すなわち、式(10)が成立する。
合成変数Zにより各群がよく判別できるためには、相関比η2=Sb/Stが大きいか、または、Sb/Swが大きければ良く、例えば、相関比η2が最大になるように、重み係数a1,a2,・・・,apが決定される。
このように、重み係数として係数a(x,y)が予め生成され、特徴量生成部37に記憶されている。
例えば、登録画像141と登録している人の顔の方形領域131とから求めた正規化した頻度分布histstd(x,y)および登録画像141と登録していない人の顔の方形領域131とから求めた正規化した頻度分布histstd(x,y)を多数用意し、これを学習用データとして、上述した判別分析法の重み係数として係数a(x,y)が求められる。
この場合、登録している人の顔として、表情を変えた顔や化粧を変えた顔などを撮影して得られた登録している人の顔の方形領域131を用いることで、本人固有のパターンを係数a(x,y)に反映することができる。このようにすることで、表情を変えた顔や化粧を変えた顔などでも本人の顔であることが確実に識別できる。
また、登録している人の顔として、比較的長い期間をおいて撮影した、登録している人の顔の方形領域131を用いて係数a(x,y)を生成したり、登録している人の顔であると識別した場合に、その識別の処理で入力した画像の方形領域131を用いて、係数a(x,y)を更新することで、時間が経過して顔が変わった場合でも、より確実に本人の顔であることが識別できる。
なお、特徴量生成部37は、特徴量として、位置ベクトルV(i,j)から直接、判別分析における合成変量を求めるようにしてもよい。
この場合、特徴量生成部37は、式(11)により合成変量Svを算出する。
この場合、合成変量Svは、位置そのものの特徴を示していると言える。
特徴量生成部37は、このように生成した特徴量を識別部38に供給する。
識別部38は、特徴量を基に、入力された画像の顔が登録画像141として登録された顔であるかを識別する。言い換えれば、識別部38は、対応領域の位置に基づいて、入力画像の顔を識別する。
例えば、識別部38は、式(5)で示される特徴量Sが特徴量生成部37から供給された場合、特徴量Sが予め定めた閾値以下であるか否かを判定し、特徴量Sが閾値以下であると判定された場合、入力された画像の顔が登録画像141として登録された顔であると識別し、特徴量Sが閾値を超えると判定された場合、入力された画像の顔が登録画像141として登録された顔でないと識別する。
例えば、識別部38は、特徴量生成部37から、特徴量として判別分析における合成変量が供給された場合、合成変量を基に、入力された画像の顔が登録画像141として登録された顔であるかを識別する。
このように、画像の対応する位置を基に、登録している人の顔であるかが判別される。
その結果、簡単により確実に顔を識別することができるようになる。
次に、顔識別の処理について、図25のフローチャートを参照して説明する。
ステップS31において、画像入力部32は、カメラ31に被写体を撮影させて、カメラ31から画像を入力する。ステップS32において、顔画像抽出部33は、画像入力部32から供給された画像から、顔の領域を抽出する。
ステップS33において、顔画像抽出部33は、抽出した顔の領域と、標準的な顔の画像であるテンプレートとを比較することにより、抽出した顔の領域の画像が顔の画像であるか否かを判定する。ステップS33において、顔の画像であると判定された場合、ステップS34に進み、顔画像正規化部34は、顔の画像と判定された画像である顔画像を正規化する。ステップS35において、対応位置探索部35は、登録画像の各領域に対応する顔画像上の領域のそれぞれの位置を求める。例えば、ステップS35において、対応位置探索部35は、登録画像記憶部36から予め登録されている登録画像を読み出す。対応位置探索部35は、登録画像上の注目している注目領域に対応する、注目領域に含まれる画素の画素値に対して、差分の絶対値の和が最小になる画素値の画素からなる対応領域であって、正規化された顔画像上の対応領域の位置を特定する。対応位置探索部35は、登録画像の全体について、注目領域に対応する、正規化された顔画像上の対応領域の位置を特定する。
対応位置探索部35は、顔画像上の対応領域の位置を示す情報を特徴量生成部37に供給する。例えば、対応位置探索部35のベクトル生成部41は、登録画像上の注目領域の位置と、特定された入力画像上の対応領域の位置とを示すベクトルを生成し、顔画像上の対応領域の位置を示す情報として、生成したベクトルを特徴量生成部37に供給する。
ステップS36において、特徴量生成部37は、対応位置探索部35から供給された、顔画像上の対応領域の位置を示す情報から特徴量を生成する。例えば、ステップS36において、特徴量生成部37は、対応位置探索部35のベクトル生成部41から供給されたベクトルから、式(5)の特徴量Sを生成する。
ステップS37において、識別部38は、特徴量生成部37において生成された特徴量が閾値以内であるか否かを判定し、特徴量が閾値以内であると判定された場合、登録画像141と方形領域131とが類似しているので、登録された顔であるとの結果を出力して、処理は終了する。
ステップS37において、特徴量が閾値以内でないと判定された場合、登録画像141と方形領域131とが類似していないので、ステップS39に進み、識別部38は、登録された顔でないとの結果を出力して、処理は終了する。
なお、ステップS36において、特徴量生成部37は、特徴量として、正規化した頻度分布histstd(x,y)から、式(6)により合成変量Sdを算出するようにしてもよい。この場合、ステップS37乃至ステップS39において、識別部38は、合成変量Sdが閾値以内であるか否かを判定し、合成変量Sdが閾値以内であるか否かの結果に応じて、登録された顔であるか否かを判別する。
また、ステップS36において、特徴量生成部37は、特徴量として、式(11)によりベクトルから合成変量Svを算出し、ステップS37乃至ステップS39において、識別部38は、合成変量Svが閾値以内であるか否かを判定し、合成変量Svが閾値以内であるか否かの結果に応じて、登録された顔であるか否かを判別するようにしてもよい。
以上のように、簡単により確実に顔を識別することができるようになる。例えば、表情が変化したり、顔の位置や大きさが変化した場合であっても、より確実に顔を識別することができる。顔画像の正規化の処理として、より簡便な処理を採用した場合であっても、確実に顔を識別することができる。
このように、入力した画像と登録画像とを比較するようにした場合には、顔を識別することができる。また、予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、対応領域の位置に基づいて、入力画像の顔を識別するようにした場合には、簡単により確実に顔を識別することができる。
なお、入力された入力画像上の注目している注目領域に対応する対応領域であって、予め登録されている登録画像上の対応領域の位置を特定するようにしてもよい。
また、本発明は、画像処理装置の一例として、専用の顔識別装置として実現することもできるが、パーソナルコンピュータ、携帯電話機、またはゲーム機など、画像を処理できる装置であれば適用することができる。
図26は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが適宜記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301にはまた、バス304を介して入出力インターフェース305が接続されている。入出力インターフェース305には、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。CPU301は、入力部306から入力される指令に対応して各種の処理を実行する。そして、CPU301は、処理の結果を出力部307に出力する。
入出力インターフェース305に接続されている記憶部308は、例えばハードディスクからなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部309を介してプログラムを取得し、記憶部308に記憶してもよい。
入出力インターフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア311が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部308に転送され、記憶される。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図26に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスクを含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア311、または、プログラムが一時的もしくは永続的に格納されるROM302や、記憶部308を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部309を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
32 画像入力部, 33 顔画像抽出部, 34 顔画像正規化部, 35 対応位置探索部, 36 登録画像記憶部, 37 特徴量生成部, 38 識別部, 41 ベクトル生成部, 301 CPU, 302 ROM, 303 RAM, 308 記憶部, 311 リムーバブルメディア
Claims (10)
- 予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定する特定手段と、
前記対応領域の位置に基づいて、前記入力画像の顔を識別する識別手段と
を備える画像処理装置。 - 前記識別手段は、複数の前記注目領域のそれぞれに対応する前記対応領域のそれぞれの位置に基づいて、前記入力画像の顔を識別する
請求項1に記載の画像処理装置。 - 前記特定手段は、前記注目領域に含まれる画素の画素値に対して、差分の絶対値の和が最小になる画素値の画素からなる前記対応領域の位置を特定する
請求項1に記載の画像処理装置。 - 前記特定手段は、前記登録画像上の前記注目領域の位置と、特定された前記入力画像上の前記対応領域の位置とを示すベクトルを生成するベクトル生成手段を備え、
前記識別手段は、前記ベクトルから、前記入力画像の顔を識別する
請求項1に記載の画像処理装置。 - 前記ベクトルから、前記入力画像上の前記対応領域の位置の特徴を示す特徴量を生成する特徴量生成手段をさらに備え、
前記識別手段は、前記特徴量によって、前記入力画像の顔を識別する
請求項4に記載の画像処理装置。 - 前記特徴量生成手段は、前記ベクトルの頻度に応じた前記特徴量を生成する
請求項5に記載の画像処理装置 - 前記特徴量生成手段は、前記ベクトルの頻度に判別式を適用することで前記特徴量を生成する
請求項6に記載の画像処理装置。 - 予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、
前記対応領域の位置に基づいて、前記入力画像の顔を識別する
ステップを含む画像処理方法。 - 予め登録されている登録画像上の注目している注目領域に対応する対応領域であって、入力された入力画像上の対応領域の位置を特定し、
前記対応領域の位置に基づいて、前記入力画像の顔を識別する
ステップをコンピュータに実行させるプログラム。 - 請求項9に記載のプログラムが記録されている記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005307167A JP2007115109A (ja) | 2005-10-21 | 2005-10-21 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005307167A JP2007115109A (ja) | 2005-10-21 | 2005-10-21 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007115109A true JP2007115109A (ja) | 2007-05-10 |
Family
ID=38097208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005307167A Withdrawn JP2007115109A (ja) | 2005-10-21 | 2005-10-21 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007115109A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009237613A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 対象画像からの顔の画像に対応する顔領域の検出 |
EP2133819A2 (en) | 2008-06-11 | 2009-12-16 | Sony Corporation | Image processing apparatus and image processing method |
US8938117B2 (en) | 2009-05-11 | 2015-01-20 | Canon Kabushiki Kaisha | Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object |
JP2015060421A (ja) * | 2013-09-19 | 2015-03-30 | 株式会社バッファロー | 類似画像検索方法及び類似画像検索装置 |
JP2015119326A (ja) * | 2013-12-18 | 2015-06-25 | キヤノン株式会社 | 画像処理装置、方法及びプログラム |
JP2016167164A (ja) * | 2015-03-09 | 2016-09-15 | キヤノン株式会社 | 画像認識装置、画像認識方法、及び画像認識プログラム |
US9633278B2 (en) | 2012-12-28 | 2017-04-25 | Nec Corporation | Object identification device, method, and storage medium |
-
2005
- 2005-10-21 JP JP2005307167A patent/JP2007115109A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009237613A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 対象画像からの顔の画像に対応する顔領域の検出 |
EP2133819A2 (en) | 2008-06-11 | 2009-12-16 | Sony Corporation | Image processing apparatus and image processing method |
US8938117B2 (en) | 2009-05-11 | 2015-01-20 | Canon Kabushiki Kaisha | Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object |
US9633278B2 (en) | 2012-12-28 | 2017-04-25 | Nec Corporation | Object identification device, method, and storage medium |
JP2015060421A (ja) * | 2013-09-19 | 2015-03-30 | 株式会社バッファロー | 類似画像検索方法及び類似画像検索装置 |
JP2015119326A (ja) * | 2013-12-18 | 2015-06-25 | キヤノン株式会社 | 画像処理装置、方法及びプログラム |
US9936158B2 (en) | 2013-12-18 | 2018-04-03 | Canon Kabushiki Kaisha | Image processing apparatus, method and program |
JP2016167164A (ja) * | 2015-03-09 | 2016-09-15 | キヤノン株式会社 | 画像認識装置、画像認識方法、及び画像認識プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8515136B2 (en) | Image processing device, image device, image processing method | |
KR100617390B1 (ko) | 얼굴 식별 장치, 얼굴 식별 방법 및 기록매체 | |
US6404900B1 (en) | Method for robust human face tracking in presence of multiple persons | |
JP5538909B2 (ja) | 検出装置およびその方法 | |
US8625859B2 (en) | Information processing apparatus, information processing method, and program | |
JP3753722B2 (ja) | 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置 | |
JP5483961B2 (ja) | 画像処理装置、被写体判別方法、プログラム及び記憶媒体 | |
JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
JP2007115109A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
JP2005056387A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP6527421B2 (ja) | 人物認識装置及びそのプログラム | |
Zangana et al. | A new algorithm for human face detection using skin color tone | |
JP2007102517A (ja) | 顔認識装置および方法、係数生成装置および方法、プログラム、並びに記録媒体 | |
JP2006227973A (ja) | 物体追跡方法および物体追跡装置ならびにプログラム | |
Singh et al. | Template matching for detection & recognition of frontal view of human face through Matlab | |
KR20110019969A (ko) | 얼굴 검출 장치 | |
JP2000348173A (ja) | 唇抽出方法 | |
JP2005316743A (ja) | 画像処理方法および画像処理装置 | |
KR100532129B1 (ko) | 음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법 | |
JP4789526B2 (ja) | 画像処理装置、画像処理方法 | |
JP2001338290A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 | |
Ghimire et al. | A lighting insensitive face detection method on color images | |
Huang et al. | Eye detection based on skin color analysis with different poses under varying illumination environment | |
CN111914632B (zh) | 一种人脸识别方法、装置及存储介质 | |
JP2006285468A (ja) | 画像対象領域抽出装置及び画像対象領域抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090106 |