JP2011133977A

JP2011133977A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2011133977A
Application number: JP2009290903A
Authority: JP
Inventors: Akifumi Kashiwagi; 暁史柏木; Yuichi Abe; 友一阿部
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-12-22
Filing date: 2009-12-22
Publication date: 2011-07-07
Also published as: CN102103687A; US20110150339A1

Abstract

【課題】顔画像の検出精度を低下させることなく、計算量を小さくして、効率よく高速で顔画像を検出できるようにする。
【解決手段】顔画像検出部２２は、画像取得部２１より供給される入力画像より顔画像を検出する。基準マスク情報生成部２３は、検出された顔画像を構成するパーツの配置に基づいて、基準マスクを生成し、基準マスク情報記憶部２５に記憶させる。顔色領域抽出部６１は、入力画像より顔色領域を検出する。高周波成分抽出部６２は、顔色領域より高周波成分を抽出する。基準マスク比較部６３は、検出された顔色領域の高周波成分に対して、基準マスクを用いて顔画像を検索する。本発明は、顔画像検出装置に適用することができる。
【選択図】図１

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、動画像内で回転しているような顔画像であっても検出精度を低減させることなく、高速で検出できるようにした画像処理装置および方法、並びにプログラムに関する。

動画像中の顔画像の検出方法については、以前より研究が行われている。

例えば、顔画像の検出方法としては、特徴点を利用して、回転した顔画像をも検出できるとされる手法が提案されている（引用文献１参照）。

このように顔画像の回転角度が、顔画像の検出と共に検出可能な情報とすることができれば、顔画像の検出機能を備えた構成のみで、いずれの情報も入手することが可能となる。

特開２００９−０７５９２６公報

しかしながら、引用文献１に記載の手法では両目を結ぶ線と水平軸とのなす角で顔の傾きが検出されるのみであり、検出された顔画像の上下が完全に反転した状態となっているのか否かを判別することができない。

同様に、顔画像の回転角度についても、左右方向に９０度以上回転しているのか否かについては判別できないため、誤って認識されてしまう恐れがある。

すなわち、引用文献１に記載の手法によって検出された顔画像に対して顔画像による認識処理を行う場合、再度、抽出された顔画像を詳細に解析して、回転角度を求める必要があった。

また、これに加えて、従来手法を用いて動画像内から回転した顔画像を検出する場合、全ての角度で回転した顔画像を検出するには、計算量が膨大になる恐れがある。すなわち、動画像内における顔画像を検出するとき、従来手法においては、事前に回転角度毎に用意した顔画像を用いて、各シーンの全領域を検索する必要がある。例えば、全ての回転角度に回転している可能性のある顔画像を検索する場合、全ての回転角度に対応する顔画像のパターン数だけ、シーン毎に全範囲を検索する必要がある。

つまり、１シーンから１の顔画像のパターンを用いて顔画像を検索する計算量をｓとし、顔画像のパターンの回転角度の間隔を１／ｂ度ずつとする場合、３６０度のいずれかの回転角度を持つ顔画像の検索に掛かる計算量は、計算量Ｓ（＝ｓ×ｂ×３６０）となる。

しかしながら、特定のシーンにおける顔画像の持つ回転角度は必ず１であるのに対し、上記のような全領域に全回転角度に対応した顔画像のパターンを用いて検索する処理を行うのは計算量が膨大になり、結果として、検索処理時間も膨大なものとなる恐れがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、顔画像の検出精度を低下させることなく、高速で顔画像を検出できるようにするものである。

本発明の一側面の画像処理装置は、画像より顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像を構成するパーツの配置に基づいて、基準マスクを生成する基準マスク生成手段と、前記画像より顔色領域を検出する顔色領域検出手段と、前記顔色領域検出手段により検出された顔色領域について、前記基準マスクを用いて顔画像を検索する顔画像検索手段とを含む。

前記顔画像検出手段により検出された顔画像の高周波成分を抽出する高周波成分抽出手段をさらに含ませるようにすることができ、前記基準マスク生成手段には、前記顔画像検出手段により検出された顔画像の高周波成分の分布から、前記顔画像を構成する各パーツの配置を認識し、その認識結果から基準マスクを生成させるようにすることができる。

前記顔色領域の高周波成分を抽出する高周波成分抽出手段をさらに含ませるようにすることができ、前記顔画像検索手段には、前記顔色領域と一致するように、前記基準マスクの大きさ、および位置を調整し、前記基準マスク上の所定の位置を中心として、前記基準マスクを回転させ、前記高周波成分抽出手段により抽出された高周波成分の分布と、前記基準マスクにおける前記パーツの位置関係とが一致するか否かにより前記顔画像を検索させるようにすることができる。

前記顔画像検索手段には、前記基準マスク上の所定の位置を中心として、前記高周波成分抽出手段により抽出された高周波成分の分布と、前記基準マスク上における前記パーツの位置関係とが所定の関係となる位置より、前記基準マスクを回転させ、前記高周波成分抽出手段により抽出された高周波成分の分布と、前記基準マスクにおける前記パーツの位置関係が一致するか否かにより前記顔画像を検索させるようにすることができる。

本発明の一側面の画像処理方法は、画像より顔画像を検出する顔画像検出ステップと、前記顔画像検出ステップの処理により検出された顔画像を構成するパーツの配置に基づいて、基準マスクを生成する基準マスク生成ステップと、前記画像より顔色領域を検出する顔色領域検出ステップと、前記顔色領域検出ステップの処理により検出された顔色領域について、前記基準マスクを用いて顔画像を検索する顔画像検索ステップとを含む。

本発明の一側面のプログラムは、画像より顔画像を検出する顔画像検出ステップと、前記顔画像検出ステップの処理により検出された顔画像を構成するパーツの配置に基づいて、基準マスクを生成する基準マスク生成ステップと、前記画像より顔色領域を検出する顔色領域検出ステップと、前記顔色領域検出ステップの処理により検出された顔色領域について、前記基準マスクを用いて顔画像を検索する顔画像検索ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、画像より顔画像が検出され、検出された顔画像を構成するパーツの配置に基づいて、基準マスクが生成され、前記画像より顔色領域が検出され、検出された顔色領域について、前記基準マスクが用いられて顔画像が検索される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、入力された画像から顔画像を抽出する精度を低下させることなく、回転した顔画像をも含めた顔画像を画像より高速に抽出させることが可能となる。

本発明を適用した顔画像抽出装置の一実施の形態の構成例を示す図である。顔画像抽出処理を説明するフローチャートである。基準マスク情報生成処理を説明するフローチャートである。基準マスク情報生成処理を説明する図である。顔画像検索処理を説明するフローチャートである。顔画像検索処理を説明する図である。顔画像検索処理を説明する図である。顔画像検索処理を説明する図である。汎用のパーソナルコンピュータの構成例を説明する図である。

［顔画像抽出装置の構成例］
図１は、本発明を適用した顔画像抽出装置のハードウェアの一実施の形態の構成例を示している。図１の顔画像抽出装置１１は、入力画像より顔画像を検索して抽出する。より詳細には、顔画像抽出装置１１は、入力画像より従来の手法により顔画像を抽出し、基準マスク情報を生成する。そして、次に、顔画像抽出装置１１は、入力画像における顔色領域を検索して検索された顔色領域の高周波成分を抽出し、基準マスク情報に基づいた基準マスクを用いて顔画像を検索する。より具体的には、顔画像抽出装置１１は、基準マスク情報に基づいた基準マスクを、顔色領域に対応した大きさに調整すると共に、基準マスクの所定の位置を中心として回転させながら、顔色領域の高周波成分との比較により顔画像を検索する。

顔画像抽出装置１１は、画像取得部２１、顔画像検出部２２、基準マスク情報生成部２３、顔画像検索部２４、および基準マスク情報記憶部２５を備えている。

画像取得部２１は、入力画像を取得し、顔画像検出部２２、および顔画像検索部２４に供給する。

顔画像検出部２２は、例えば、上述した特許文献１で示されるような、従来の検出手法により、画像取得部２１より供給されてきた入力画像のうち、顔画像を構成している領域を検出し、顔画像として基準マスク情報生成部２３に供給する。

基準マスク情報生成部２３は、顔画像検出部２２より供給されてくる顔画像を基準とする基準マスクの情報を基準マスク情報として生成し、基準マスク情報記憶部２５に記憶させる。基準マスク情報とは、顔画像検出部２２により検出された顔画像を構成する目、鼻、および口といった各パーツの輪郭形状、および重心位置、並びに、顔画像より得られる顔色情報より構成される、検索しようとする顔画像を特定するための情報である。そして、この基準マスク情報より生成される顔型が、検索しようとする顔画像、すなわち、基準マスクとなる。

基準マスク情報生成部２３は、顔画像方向補正部３１、高周波成分抽出部３２、輪郭抽出部３３、基準マスク情報抽出部３４、および類似判定部３５を備えている。顔画像方向補正部３１は、顔画像検出部２２より供給されてくる顔画像の情報のうち、左右の目の重心位置を結ぶ直線が水平方向となるように顔画像を回転補正し、高周波成分抽出部３２に供給する。

高周波成分抽出部３２は、回転補正された顔画像に対してハイパスフィルタを掛けることにより、高周波成分を抽出して輪郭抽出部３３に供給する。輪郭抽出部３３は、高周波成分抽出部３２からの顔画像の高周波成分であるエッジ画像に基づいて、その最外周を構成する外形形状を顔画像の輪郭形状として抽出し、高周波成分であるエッジ画像と共に基準マスク情報抽出部３４に供給する。

基準マスク情報抽出部３４は、顔画像検出部２２より供給されてくる顔画像、および輪郭抽出部３３より供給されてくる顔画像の輪郭形状、およびエッジ画像に基づいて、基準マスクを構成する基準マスク情報を抽出する。より詳細には、基準マスク情報抽出部３４は、顔パーツ抽出部４１、顔パーツテンプレート記憶部４２、および顔色抽出部４３を備えている。

ここで、顔パーツテンプレートとは、一般的な顔画像における輪郭形状の範囲内に、目、鼻、および口などの顔を構成するパーツが存在する存在領域が設定されたテンプレートである。従って、顔パーツテンプレート上における各パーツの存在領域は、統計上求められたものであり、顔の輪郭形状に合わせて顔パーツテンプレートを重ねて配置したとき、ほとんどの顔画像において、各パーツは、それぞれの存在領域内に包含される状態となる。

顔パーツ抽出部４１は、顔パーツテンプレート記憶部４２に記憶されている顔パーツテンプレートを読み出し、輪郭抽出部３９より供給されてくる高周波成分の情報（エッジ画像）に対して、輪郭形状が一致するように配置する。また、顔パーツ抽出部４１は、顔パーツテンプレート上に設定される目、鼻、および口の存在領域内においてエッジ画像における最外周形状を、それぞれの顔パーツの輪郭形状の情報として抽出し、類似判定部３５に供給する。さらに、顔パーツ抽出部４１は、各顔パーツの輪郭形状から、重心位置を求め、その重心位置が、顔パーツテンプレート上のどの位置であるのかを求めて類似判定部３５に供給する。顔色抽出部４３は、左右の目の重心位置を結ぶ直線より下の範囲であって、輪郭抽出部３３より供給されてくる輪郭形状内のうち、各パーツの存在領域以外の領域における顔画像の色情報を抽出する。そして、顔色抽出部４３は、抽出した色情報の最小値、最大値、および平均値の情報を顔色情報として類似判定部３５に供給する。

類似判定部３５は、基準マスク情報抽出部３４からの基準マスク情報である、外形輪郭形状、各パーツの輪郭形状、各パーツの重心位置、および顔色情報と、既に基準マスク情報記憶部２５に記憶されている基準マスク情報と比較し、類似しているか否かを判定する。そして、類似判定部３５は、類似している基準マスク情報がない場合、新たな基準マスク情報として基準マスク情報記憶部２５に記憶させ、それ以外の場合、既に記憶されているものとみなして、抽出された基準マスク情報を破棄する。

顔画像検索部２４は、基準マスク情報記憶部２５に記憶されている基準マスク情報を順次読み出し、基準マスクを構成して、画像取得部２１より供給されてくる画像における顔色情報が検出された領域内で回転しながら比較し、一致した場合、顔画像として抽出する。顔画像検索部２４は、顔色領域抽出部６１、高周波成分抽出部６２、基準マスク比較部６３、顔画像検索結果出力部６４、顔色領域中心位置算出部６５、および顔色領域中心整合判定部６６を備えている。

顔色領域抽出部６１は、基準マスク情報記憶部２５の基準マスク情報における顔色情報を読み出し、画像取得部２１からの画像内における顔色領域を抽出して、高周波成分抽出部６２、顔色領域中心位置算出部６５、および顔色領域中心整合判定部６６に供給する。高周波成分抽出部６２は、顔色領域抽出部６１より供給されてくる顔画像のうちの、顔色領域について高周波成分を抽出し、基準マスク比較部６３に供給する。

基準マスク比較部６３は、基準マスク情報記憶部２５に記憶された基準マスク情報から基準マスクを構成し、高周波成分抽出部６２からの顔色領域の大きさと調整し、所定位置を中心に回転させながら顔色領域の高周波成分との比較により一致するか否かを判定する。そして、基準マスク比較部６３は、一致する場合、基準マスク情報記憶部２５に記憶されている基準マスク情報に対応する顔画像が検索されたものとして、検索された顔画像を顔画像検索結果出力部６４に供給する。顔画像検索結果出力部６４は、検索された顔画像を出力する。

より詳細には、基準マスク比較部６３は、中心位置調整部８１、スケール調整部８２、回転部８３、および高周波成分存在判定部８４を備えている。中心位置調整部８１は、基準マスク情報に基づいて生成される基準マスクの中心位置を、顔色領域の中心位置に調整する。スケール調整部８２は、基準マスクの大きさを、顔色領域の大きさに合わせてスケール調整する。回転部８３は、スケール調整された基準マスクを、中心位置を基準にして、所定の角度単位で回転させる。高周波成分存在判定部８４は、顔色領域の高周波成分の輪郭形状と、基準マスクの各パーツの輪郭形状とを比較し、一致するか否かに基づいて、顔画像が検索されるか否かを判定する。そして、顔色領域の高周波成分の輪郭形状と、基準マスクの各パーツの輪郭形状とが一致し、顔画像が検索されるとき、高周波成分存在判定部８４は、基準マスクに対応する位置の顔色領域を顔画像の検索結果として出力する。

顔色領域中心位置算出部６５は、顔色領域より中心位置を算出し、基準マスク比較部６３および顔色領域中心整合判定部６６に供給する。顔色領域中心整合判定部６６は、顔色領域中心位置算出部６５より供給されてくる顔色領域中心位置が、顔色領域の中心位置として適正な位置に存在するか否かを判定し、判定結果を基準マスク比較部６３、および顔画像検索結果出力部６４に出力する。

［顔画像抽出処理］
次に、図２のフローチャートを参照して、顔画像抽出装置１１による顔画像抽出処理について説明する。

ステップＳ１において、画像取得部２１は、入力画像を取得し、顔画像検出部２２、および顔画像検索部２４に供給する。

ステップＳ２において、顔画像検出部２２は、入力画像の情報に基づいて、顔画像を検出し、検出した顔画像を基準マスク情報生成部２３に供給する。より詳細には、顔画像検出部２２は、例えば、入力画像のうち、目、鼻、および口のような配置関係が予め予測可能な色彩の部分が見られる領域を検出して、検出した領域を顔画像として出力する。すなわち、顔画像検出部２２は、厳密な検出処理ではなく、画像中の情報から最も顔画像として検出し易いものだけを、顔画像領域として検出する。

ステップＳ３において、基準マスク情報生成部２３は、顔画像検出部２２より供給されてくる顔画像に基づいて、基準マスク情報生成処理を実行し、生成した基準マスク情報を基準マスク情報記憶部２５に記憶させる。尚、基準マスク情報生成処理については、図３のフローチャートを参照して、詳細を後述するものとする。

ステップＳ４において、顔画像検索部２４は、基準マスク画像を読み出し、顔画像検索処理を実行し、基準マスクに基づいて顔画像を検索し、検索結果である顔画像を出力する。尚、顔画像検索処理については、図５のフローチャートを参照して、詳細を後述する。

すなわち、顔画像抽出装置１１は、入力画像から従来の簡単な手法により顔画像を検出し、検出された顔画像に基づいて、各パーツの輪郭形状と重心位置とを含む基準マスクを生成する。そして、顔画像抽出装置１１は、入力画像のうち、顔色領域を抽出して、この顔色領域の高周波成分が、基準マスクの各パーツの輪郭形状、および重心位置が一致するか否かを照合して検索する。そして、顔画像抽出装置１１は、一致するとき、検索された顔画像を抽出結果として出力する。

つまり、顔画像抽出装置１１は、容易な顔画像検出方法により、基準となる基準マスク情報を生成する。そして、顔画像抽出装置１１は、基準マスクを用いて、従来の容易な方法では検出できない顔画像を検索することで、顔画像を高速に抽出する。

［基準マスク情報生成処理］
次に、図２のフローチャートを参照して、基準マスク情報生成処理について説明する。

ステップＳ１１において、顔画像方向補正部３１は、顔画像検出部２２より供給されてくる顔画像に基づいて、顔画像の回転方向を補正する。より詳細には、顔画像方向補正部３１は、顔画像検出部２２より供給されてきた顔画像に含まれる左右の目を結ぶ直線が水平位置となるように、顔画像の回転方向を補正する。

ステップＳ１２において、高周波成分抽出部３２は、回転補正された顔画像に対して、例えば、Sobelフィルタ、Prewittフィルタ、またはラプラシアンフィルタなどのハイパスフィルタを掛けて、高周波成分であるエッジ画像を抽出して輪郭抽出部３３に供給する。

ステップＳ１３において、輪郭抽出部３３は、顔画像の高周波成分であるエッジ画像より、顔の輪郭を抽出して、基準マスク情報抽出部３４に供給する。

ステップＳ１４において、基準マスク情報抽出部３４の顔パーツ抽出部４１は、顔パーツテンプレート記憶部４２に記憶されている顔パーツテンプレートを読み出して、抽出された顔の輪郭と重ねて、顔を構成する各パーツの位置を特定する。より詳細には、顔パーツ抽出部４１は、例えば、図４で示されるように、実線で示される顔パーツテンプレートＢＭと、点線で示される顔画像の高周波成分であるエッジ画像Ｆとを重ね合わせる。

すなわち、顔パーツテンプレートＢＭには、顔画像を構成する左右の目、鼻、および口の大まかな存在領域として、図４の実線で示されるように、右目領域Ｅ１、左目領域Ｅ２、鼻領域Ｎ、および口領域Ｍが設けられている。この右目領域Ｅ１、左目領域Ｅ２、鼻領域Ｎ、および口領域Ｍは、人間の顔を構成する右左の目、鼻、および口の顔画像内の存在分布の統計により求められた領域である。このため、顔パーツテンプレートＢＭと、顔画像の高周波成分であるエッジ画像Ｆとを重ねると、右目領域Ｅ１、左目領域Ｅ２、鼻領域Ｎ、および口領域Ｍ内に、エッジ画像Ｆからなる顔画像内の右左の目、鼻、および口が存在することになる。

顔パーツ抽出部４１は、顔パーツテンプレートＢＭの毛髪の生え際付近となる上端Ｐ１および下端Ｐ２が、顔画像のエッジ画像Ｆにおける下端および生え際付近の上端と一致するように、顔パーツテンプレートＢＭを調整し、顔画像のエッジ画像Ｆに重ね合わせる。そして、顔パーツ抽出部４１は、上端Ｐ１および下端Ｐ２の中点Ｐを求める。

ステップＳ１５において、顔パーツ抽出部４１は、顔画像のエッジ画像に、顔パーツテンプレートＢＭを重ねたときの、右目領域Ｅ１、左目領域Ｅ２、鼻領域Ｎ、および口領域Ｍ内のエッジ画像の最外周輪郭形状を右左の目、鼻、および口の輪郭形状として抽出する。すなわち、図４の場合、右目領域Ｅ１内に存在するエッジ画像Ｆの最外周形状が右目輪郭形状ＲＥ１として抽出される。また、左目領域Ｅ２内に存在するエッジ画像Ｆの最外周形状が左目輪郭形状ＲＥ２として抽出される。さらに、鼻領域Ｎ内に存在するエッジ画像Ｆの最外周形状が鼻輪郭形状ＲＮとして抽出される。また、口領域Ｍ内に存在するエッジ画像Ｆの最外周形状が口輪郭形状ＲＭとして抽出される。

ステップＳ１６において、顔パーツ抽出部４１は、目、鼻、および口の各パーツにおける重心位置と、その重心位置が顔パーツテンプレートＢＭ上のどの位置に存在するのかを求め、上述した中点Ｐの位置の情報と併せて類似判定部３５に供給する。すなわち、この処理により、顔パーツ抽出部４１は、左右の目、鼻、および口といった各パーツの輪郭形状と、各パーツの重心位置が、顔パーツテンプレートＢＭ上のどの位置に存在するのかを示す情報を抽出して、類似判定部３５に供給する。

例えば、図４の場合、右目輪郭形状ＲＥ１の重心位置として重心位置ＰＲＥ１が求められ、重心位置ＰＲＥ１の顔パーツテンプレートＢＭ上のどの位置であるかが求められる。また、左目輪郭形状ＲＥ２の重心位置として重心位置ＰＲＥ２が求められ、重心位置ＰＲＥ２の顔パーツテンプレートＢＭ上のどの位置であるかが求められる。さらに、鼻輪郭形状ＲＮの重心位置として重心位置ＰＲＮが求められ、重心位置ＰＲＮが顔パーツテンプレートＢＭ上のどの位置であるかが求められる。また、口輪郭形状ＲＭの重心位置として重心位置ＰＲＭが求められ、重心位置ＰＲＭが顔パーツテンプレートＢＭ上のどの位置であるかが求められる。

ステップＳ１７において、顔色抽出部４３は、エッジ画像Ｆ内の、重心位置ＰＲＥ１，ＰＲＥ２を結ぶ直線より下であって、右目輪郭形状ＲＥ１、左目輪郭形状ＲＥ２、鼻輪郭形状ＲＮ、および口輪郭形状ＲＭの領域を除く領域における色の情報を抽出する。そして、顔色抽出部４３は、抽出した色の最小値、最大値、および平均値を求めて、顔色情報として類似判定部３５に供給する。すなわち、顔色抽出部４３により抽出される色情報は、事実上顔画像における肌色の情報である。

ステップＳ１８において、類似判定部４３は、上述した処理により右目輪郭形状ＲＥ１、左目輪郭形状ＲＥ２、鼻輪郭形状ＲＮ、口輪郭形状ＲＭ、中点Ｐ、上端Ｐ１、下端Ｐ２、重心位置ＰＲＥ１，ＰＲＥ２，ＰＲＮ，ＰＲＭ、および顔色情報を取得する。類似判定部４３は、これらの一連の情報を基準マスク情報として取得する。そして、類似判定部４３は、取得した基準マスク情報と、基準マスク情報記憶部２５に既に記憶されている基準マスク情報とを比較し、類似、または一致するものがあるのか否かを判定する。

ステップＳ１８において、例えば、取得した基準マスク情報と、基準マスク情報記憶部２５に既に記憶されている基準マスク情報とが類似、および一致のいずれでもない場合、処理は、ステップＳ１９に進む。

ステップＳ１９において、類似判定部４３は、基準マスク情報抽出部３４より取得した基準マスク情報を、新たに基準マスク情報記憶部２５に記憶させて、処理を終了する。

一方、ステップＳ１８において、例えば、取得した基準マスク情報と、基準マスク情報記憶部２５に既に記憶されている基準マスク情報とが類似、または一致する場合、ステップＳ１９の処理がスキップされて、取得した基準マスク情報が破棄される。

すなわち、基準マスク情報として既に記憶されているものと同一、または類似した基準マスク情報については、同一人物の顔画像に対応した基準マスク情報が重複して記憶されることになり、不要であるので、新たに記憶させず、新規のものだけを記憶させる。

以上の処理により、入力画像に含まれている顔画像のうち、従来の顔画像検出処理でも容易に抽出できる、顔画像として認識し易い顔画像に基づいて、基準マスク情報を生成して、基準マスク情報記憶部２５に記憶させることが可能となる。結果として、後述するように、基準マスク情報を用いた基準マスクにより、回転しているような顔画像でも、高速に検索することが可能となる。

［顔画像検索処理］
次に、図５のフローチャートを参照して、顔画像検索処理について説明する。

ステップＳ３１において、顔色領域抽出部６１は、基準マスク情報記憶部２５に記憶されている基準マスク情報のうち、未処理の基準マスク情報を処理対象の基準マスク情報に設定する。

ステップＳ３２において、顔色領域抽出部６１は、処理対象となっている基準マスク情報のうち、顔色情報を読み出して、入力画像のうち、顔色情報と一致する色を含む領域を顔色領域として検索する。このとき、顔色領域抽出部６１は、顔色情報に含まれる肌色の最小値から最大値までのいずれかの色を含む領域を検索する。

ステップＳ３３において、顔色領域抽出部６１は、顔色領域を検索することができたか否かを判定し、顔色領域が検索できない場合、処理は、ステップＳ３１に戻る。すなわち、この場合、処理対象となっている基準マスク情報に対応する人物の顔色領域がないことになるので、顔画像の検索ができないものとみなし、別の処理対象の基準マスク情報による処理に進むこととなる。

一方、ステップＳ３３において、顔色領域が検索された場合、処理は、ステップＳ３４に進む。

ステップＳ３４において、顔色領域抽出部６１は、検索した顔色領域を高周波成分抽出部６２に供給する。高周波成分抽出部６２は、供給された顔色領域に対して、例えば、Sobelフィルタ、Prewittフィルタ、またはラプラシアンフィルタなどのハイパスフィルタを掛けて、高周波成分であるエッジ画像を抽出して基準マスク比較部６３に供給する。

ステップＳ３５において、基準マスク比較部６３は、基準マスク情報記憶部２５に記憶されている基準マスク情報のうち、処理対象となっている基準マスク情報を読み出し、基準マスク情報に基づいて、基準マスクを生成する。すなわち、基準マスク比較部６３は、基準マスク情報に基づいて、右目輪郭形状ＲＥ１を重心位置ＰＲＥ１に配置し、左目輪郭形状ＲＥ２を重心位置ＰＲＥ２に配置し、鼻輪郭形状ＲＮを重心位置ＰＲＮに配置し、口輪郭形状ＲＭを重心位置ＰＲＭに配置する。これにより、基準マスクＢＭ’が生成される。

ステップＳ３６において、顔色領域中心位置算出部６５は、供給されてきた顔色領域における中心位置Ｐ’を算出し、基準マスク比較部６３、および顔色領域中心整合判定部６６に供給する。より具体的には、まず、顔色領域中心位置算出部６５は、例えば、図６の顔色領域Ｚ１で示されるように、顔色領域Ｚ１の端部を結ぶ直線が最長となる直線Ｌ１と、直線Ｌ１に垂直に交わり、かつ、顔色領域Ｚ１の端部を結ぶ直線が最長となる直線Ｌ２とを設定する。そして、顔色領域中心位置算出部６５は、直線Ｌ１，Ｌ２の交点を中心位置Ｐ’として算出する。

ステップＳ３７において、顔色領域中心整合判定部６６は、顔色領域Ｚ１および中心位置Ｐ’とから、中心位置Ｐ’が顔色領域Ｚ１内に存在するか否かを判定する。例えば、図６で示されるように、中心位置Ｐ’が顔色領域Ｚ１内に存在する場合、顔色領域Ｚ１および中心位置Ｐ’とから、中心位置Ｐ’が顔色領域Ｚ１内に存在するものとみなされ、処理は、ステップＳ３８に進む。

ステップＳ３８において、基準マスク比較部６３は、中心位置調整部８１を制御して、顔色領域Ｚ１における中心位置Ｐ’と、生成した基準マスクの中点Ｐ（図４）とが一致するように中心位置を調整して、顔色領域Ｚ１と基準マスクＢＭ’とを重ねる。

ステップＳ３９において、基準マスク比較部６３は、スケール調整部８２を制御して、基準マスクＢＭ’における上端Ｐ１、および下端Ｐ２の位置が、直線Ｌ１またはＬ２の顔色領域Ｚ１の端部の交点となるようにスケールを調整させる。すなわち、図６で示されるように、上端Ｐ１と下端Ｐ２とが直線Ｌ１における顔色領域Ｚ１との交点と一致するように、基準マスクＢＭ’のスケールを調整する。

ステップＳ４０において、基準マスク比較部６３は、回転部８３を制御して、スケールが調整された基準マスクＢＭ’を、エッジ画像として抽出されている顔色領域Ｚ１に対して所定の回転基準位置で重なるようにセットする。例えば、基準マスクの上端Ｐ１および下端Ｐ２が、いずれも直線Ｌ１上に存在する位置を回転基準位置とすれば、図６で示されるように、基準マスクＢＭ’がセットされる。

ステップＳ４１において、基準マスク比較部６３は、高周波成分存在判定部８４を制御し、右目輪郭形状ＲＥ１、左目輪郭形状ＲＥ２、鼻輪郭形状ＲＮ、および口輪郭形状ＲＭのそれぞれの同位置に同形状の顔色領域Ｚ１の高周波成分が存在するか否かを判定させる。ステップＳ４１において、右目輪郭形状ＲＥ１、左目輪郭形状ＲＥ２、鼻輪郭形状ＲＮ、および口輪郭形状ＲＭのそれぞれの同位置に、同形状の顔色領域Ｚ１の高周波成分が存在しない場合、処理は、ステップＳ４２に進む。

ステップＳ４２において、基準マスク比較部６３は、回転部８３を制御して、基準マスクを、中点Ｐを中心として所定角度だけ回転させる。そして、ステップＳ４３において、基準マスク比較部６３は、回転部８３を制御して、３６０度回転したか否かを判定させる。ステップＳ４３において、３６０度回転していないと判定された場合、処理は、ステップＳ４１に戻る。すなわち、ステップＳ４１において、右目輪郭形状ＲＥ１、左目輪郭形状ＲＥ２、鼻輪郭形状ＲＮ、および口輪郭形状ＲＭのそれぞれの同位置に同形状の顔色領域Ｚ１の高周波成分が存在しない場合、ステップＳ４１乃至Ｓ４３の処理が繰り返される。この間、基準マスクＢＭ’は、中点Ｐを中心として所定角度の間隔で回転され、その都度右目輪郭形状ＲＥ１、左目輪郭形状ＲＥ２、鼻輪郭形状ＲＮ、および口輪郭形状ＲＭのそれぞれの同位置に同形状の顔色領域Ｚ１の高周波成分が存在するか否かが判定され続ける。

そして、ステップＳ４１において、右目輪郭形状ＲＥ１、左目輪郭形状ＲＥ２、鼻輪郭形状ＲＮ、および口輪郭形状ＲＭのそれぞれの同位置に同形状の顔色領域Ｚ１の高周波成分が存在すると判定された場合、処理は、ステップＳ４４に進む。すなわち、顔色領域Ｚ１の顔画像における目、鼻、および口の輪郭形状がそれぞれ基準マスクと同位置で、かつ、同形状である場合、基準マスクと一致し、基準マスク情報として登録された人物の顔画像が検出されたと判定されたものとみなされる。

そして、ステップＳ４４において、基準マスク比較部６３は、今現在基準マスクにおける顔を構成する各パーツの配置状態に対応した、顔色領域Ｚ１の画像を、基準マスク情報として登録されている人物の顔画像として顔画像検索結果出力部６４に供給する。この際、基準マスク比較部６３は、顔画像が検出された時点での基準マスクの回転角度の情報を併せて顔画像検索結果出力部６４に供給する。顔画像検索結果出力部６４は、基準マスク比較部６３より供給されてきた顔画像と、回転角度の情報を顔画像検索結果として出力する。

一方、ステップＳ３７において、中心位置Ｐ’が顔色領域Ｚ１内に存在しないと判定された場合、処理は、ステップＳ４５に進む。すなわち、例えば、図７で示されるように、顔色領域Ｚ１が、顔画像として成立しない形状であるとき、上述した直線Ｌ１，Ｌ２に基づいて求められる中心位置Ｐ’は、顔色領域Ｚ１内に存在しないことになる。このような場合、中心位置Ｐ’が顔色領域Ｚ１内に存在しないものとみなされ、処理は、ステップＳ４５に進む。

また、ステップＳ４３において、基準マスクを３６０度回転させていると判定されている場合、基準マスクに相当する顔画像が顔色領域Ｚ１には存在しないものとして、処理は、ステップＳ４５に進む。

ステップＳ４５において、顔色領域抽出部６１は、未処理の基準マスク情報が、基準マスク情報記憶部２５に存在するか否かを判定し、未処理の基準マスク情報が存在するか否かを判定し、存在する場合、処理は、ステップＳ３１に戻る。すなわち、未処理の基準マスク情報がなくなるまで、ステップＳ３１乃至Ｓ４５が繰り返される。そして、ステップＳ４５において、未処理の基準マスクが存在しないと判定された場合、処理は終了する。

以上の処理により、基準マスク情報が求められた後は、顔色領域を検出し、検出した顔色領域に位置とサイズを調整して基準マスクを重ねて、中点Ｐを基準に所定角度で回転させながら各パーツの存在領域の同形状の輪郭形状の有無により顔画像の検索が可能となる。結果として、顔色領域のみで、基準マスクを回転させるだけで顔画像が検索できるので、通常のブロックマッチングなどを用いた顔画像の検索処理よりも、顔画像の検索処理における計算量を小さくすることができ、高速に顔画像を検索することが可能となる。さらに、入力画像内における顔画像が回転しているような場合、顔画像の回転に対応させて基準マスクを回転させながら顔画像を検索するので、９０度以上回転しているような顔画像でも、検索精度を低減させることなく顔画像を検索することが可能となる。また、顔画像が検索される際、顔画像の回転角度も検索させることができるので、動画などで連続的に顔画像が回転するような場合、回転角度の変移を認識することができ、回転角度に応じた情報に基づいて、例えば、時系列の姿勢変化の情報を取得することも可能となる。

尚、顔色領域に対して基準マスクを配置して、回転させることで顔画像を検索するため、回転基準位置から、顔画像であると認識されるまでの角度差が小さければ、顔画像の検索処理をさらに高速に実現することができる。

すなわち、図８で示されるような顔色領域Ｚ２のように、顔色領域Ｚ２におけるエッジ画像から、例えば、右目、左目、および口の重心位置Ｚ１１，Ｚ１２，Ｚ１３が認識できるような場合、これらに併せて基準マスクの回転基準位置を設定するようにしてもよい。この結果、基準マスクをほとんど回転させることなく、顔画像を検索することができるので、顔画像検索処理に掛かる処理負荷を低減させることで、検索精度を低減させることなく、高速に顔画像を検索させることが可能となる。また、これ以外にも、顔色領域において、帽子や髪飾りなどの位置が認識できれば、顔色領域内の顔画像の回転角度がある程度認識できるので、その角度に対応した角度で基準マスクの回転基準位置を設定することで、顔画像をより高速に検索することが可能となる。

ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

１１顔画像抽出装置，２１画像取得部、２２顔画像検出部，２３基準マスク情報生成部，２４顔画像検索部，２５基準マスク情報記憶部，３１顔画像方向補正部，３２高周波成分抽出部，３３輪郭抽出部，３４基準マスク情報抽出部，３５類似判定部，４１顔パーツ抽出部，４２顔パーツテンプレート記憶部，４３顔色抽出部，６１顔色領域抽出部，６２高周波成分抽出部，６３基準マスク比較部，６４顔画像検索結果出力部，６５顔色領域中心位置算出部，６６顔色領域中心整合判定部，８１中心位置調整部，８２スケール調整部，８３回転部，８４高周波成分存在判定部

Claims

画像より顔画像を検出する顔画像検出手段と、
前記顔画像検出手段により検出された顔画像を構成するパーツの配置に基づいて、基準マスクを生成する基準マスク生成手段と、
前記画像より顔色領域を検出する顔色領域検出手段と、
前記顔色領域検出手段により検出された顔色領域について、前記基準マスクを用いて顔画像を検索する顔画像検索手段と
を含む画像処理装置。
前記顔画像検出手段により検出された顔画像の高周波成分を抽出する高周波成分抽出手段をさらに含み、
前記基準マスク生成手段は、前記顔画像検出手段により検出された顔画像の高周波成分の分布から、前記顔画像を構成する各パーツの配置を認識し、その認識結果から基準マスクを生成する
請求項１に記載の画像処理装置。
前記顔色領域の高周波成分を抽出する高周波成分抽出手段をさらに含み、
前記顔画像検索手段は、前記顔色領域と一致するように、前記基準マスクの大きさ、および位置を調整し、前記基準マスク上の所定の位置を中心として、前記基準マスクを回転させ、前記高周波成分抽出手段により抽出された高周波成分の分布と、前記基準マスクにおける前記パーツの位置関係とが一致するか否かにより前記顔画像を検索する
請求項１に記載の画像処理装置。
前記顔画像検索手段は、前記基準マスク上の所定の位置を中心として、前記高周波成分抽出手段により抽出された高周波成分の分布と、前記基準マスク上における前記パーツの位置関係とが所定の関係となる位置より、前記基準マスクを回転させ、前記高周波成分抽出手段により抽出された高周波成分の分布と、前記基準マスクにおける前記パーツの位置関係が一致するか否かにより前記顔画像を検索する
請求項３に記載の画像処理装置。
画像より顔画像を検出する顔画像検出ステップと、
前記顔画像検出ステップの処理により検出された顔画像を構成するパーツの配置に基づいて、基準マスクを生成する基準マスク生成ステップと、
前記画像より顔色領域を検出する顔色領域検出ステップと、
前記顔色領域検出ステップの処理により検出された顔色領域について、前記基準マスクを用いて顔画像を検索する顔画像検索ステップと
を含む画像処理方法。
画像より顔画像を検出する顔画像検出ステップと、
前記顔画像検出ステップの処理により検出された顔画像を構成するパーツの配置に基づいて、基準マスクを生成する基準マスク生成ステップと、
前記画像より顔色領域を検出する顔色領域検出ステップと、
前記顔色領域検出ステップの処理により検出された顔色領域について、前記基準マスクを用いて顔画像を検索する顔画像検索ステップと
を含む処理をコンピュータに実行させるプログラム。