JP2008305342A - 画像処理装置、画像表示装置、撮像装置、これらの処理方法およびプログラム - Google Patents

Abstract

【課題】画像に含まれる顔に関する複数の属性情報を効率的に作成する。
【解決手段】辞書記憶部２３０には、正規化画像における２つの位置と、閾値と、重みの値との組合せを複数含む判定用辞書（正規化成否判定用辞書を含む）を複数記憶する。正規化部１４０は、入力画像から検出された顔画像を所定の解像度となるように正規化する。画像判定部１７０は、１つの判定用辞書に含まれる各組合せについて、２つの位置に対応する正規化顔画像における輝度の差を算出し、この算出された差の値と閾値とを比較する。そして、この比較結果から、各組合せに係る重みの値を加算または減算することによって、その判定用辞書に係る合計値を算出し、この合計値に基づいて、顔画像がその判定用辞書に係る目的の画像であるか否かを判定する。この判定結果を属性情報として属性情報記憶部２４０に記憶する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、画像に含まれる対象物を検出する画像処理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置が普及している。また、これらの撮像装置により撮影された画像に含まれる人物の顔を検出し、この検出された顔に関する各種の属性情報を作成しておき、検出された顔を表示する際に、その属性情報を用いて各種の表示をすることが可能な画像処理装置が存在する。

例えば、検出された顔について、男女判定や笑顔／非笑顔判定等の判定を行い、これらの判定結果に基づいて、検出された顔に関する各種の属性情報を作成することができる。そして、検出された複数の顔を表示する場合に、例えば、性別に関する属性情報を用いて女性のみの顔の一覧を表示させることができる。

このように、検出された顔に関する各種の属性情報を作成する場合には、各属性情報の精度を高めるため、精度の高い顔画像を検出することが重要である。

そこで、例えば、入力画像から顔候補を検出して、この顔候補とされた顔との想定距離と、その顔との測定距離との差等の条件に基づいて、検出された顔候補の中から非顔候補を検出し、顔候補から非顔候補を排除する対象物検出装置が提案されている（例えば、特許文献１参照。）。
特開２００５−７８３７６号公報（図１）

上述の従来技術によれば、入力画像から顔以外のものが顔候補として誤って検出された場合でも、顔候補から非顔候補を排除するため、顔の誤検出を低減させることができる。このため、精度の高い顔画像に基づいて顔に関する属性情報を作成することができる。

ここで、検出された顔に関する複数の属性情報を作成する場合には、例えば、男女判定や笑顔／非笑顔判定等のように複数種類の判定について、それぞれの判定に応じた処理が独立して実行され、これらの判定結果に基づいて複数の属性情報が作成される。このため、顔に関する複数の属性情報を作成する場合には、装置が複雑になるとともに、属性情報の作成時間が長くなる。

そこで、本発明は、画像に含まれる顔に関する複数の属性情報を効率的に作成することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、対象となる画像が目的の画像であるか否かを判定するための評価情報を複数記憶する評価情報記憶手段と、画像を入力する画像入力手段と、上記入力された画像に含まれる顔を検出する顔検出手段と、上記検出された顔の周辺画像である顔画像が所定の解像度となるように当該顔画像を正規化する正規化手段と、上記正規化された顔画像の特徴量を抽出する特徴量抽出手段と、上記抽出された顔画像における特徴量と上記評価情報とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを上記評価情報記憶手段に記憶されている評価情報毎に判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する属性情報作成手段とを具備することを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像から検出された顔の周辺画像（顔画像）を正規化して、この正規化された顔画像における特徴量と、評価情報とに基づいて、その顔画像が目的の画像であるか否かを評価情報毎に判定して、この判定結果を顔に関する属性情報として作成するという作用をもたらす。

また、この第１の側面において、上記評価情報は、対象となる画像における位置と閾値との組合せを含み、上記属性情報作成手段は、上記評価情報に含まれる位置に対応する上記正規化された顔画像の特徴量の値と当該位置に係る閾値とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを判定することができる。これにより、評価情報に含まれる位置に対応する特徴量の値と、その位置に係る閾値とに基づいて、顔画像が目的の画像であるか否かを判定するという作用をもたらす。

また、この第１の側面において、上記評価情報は、対象となる画像における２つの位置と閾値との組合せを含み、上記属性情報作成手段は、上記評価情報に含まれる１つの組合せに係る２つの位置に対応する上記正規化された顔画像の特徴量の差を算出して当該算出された差の値と当該組合せに係る閾値とを比較した結果に基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを判定することができる。これにより、評価情報に含まれる１つの組合せに係る２つの位置に対応する特徴量の差を算出し、この算出された差の値と、その組合せに係る閾値とを比較した結果に基づいて、顔画像が目的の画像であるか否かを判定するという作用をもたらす。

また、この第１の側面において、上記評価情報は、対象となる画像における２つの位置と閾値との組合せを複数含み、上記属性情報作成手段は、上記評価情報に含まれる複数の組合せのうちの１つの組合せに係る２つの位置に対応する上記正規化された顔画像の特徴量の差を算出して当該算出された差の値と当該組合せに係る閾値とを上記評価情報に含まれる組合せ毎に比較して当該比較された結果に基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを判定することができる。これにより、評価情報に含まれる１つの組合せに係る２つの位置に対応する特徴量の差を算出し、この算出された差の値と、その組合せに係る閾値とを組合せ毎に比較して、この比較された結果に基づいて、顔画像が目的の画像であるか否かを判定するという作用をもたらす。

また、この第１の側面において、上記評価情報は、対象となる画像における２つの位置と閾値と重みの値との組合せを複数含み、上記属性情報作成手段は、上記評価情報に含まれる複数の組合せのうちの１つの組合せに係る２つの位置に対応する上記正規化された顔画像の特徴量の差を算出して当該算出された差の値と当該組合せに係る閾値とを比較して当該比較された結果に基づいて当該組合せに係る重みの値を加算または減算することにより当該評価情報に含まれる複数の組合せに係る合計値を算出して当該合計値に基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを判定することができる。これにより、評価情報に含まれる１つの組合せに係る２つの位置に対応する特徴量の差を算出し、この算出された差の値と、その組合せに係る閾値とを比較して、この比較された結果に基づいて、その組合せに係る重みの値を加算または減算することによってその評価情報に含まれる複数の組合せに係る合計値を算出し、この合計値に基づいて、顔画像が目的の画像であるか否かを判定するという作用をもたらす。

また、この第１の側面において、上記特徴量抽出手段は、上記正規化された顔画像の特徴量として輝度を抽出することができる。これにより、正規化された顔画像の特徴量として輝度を抽出するという作用をもたらす。

また、この第１の側面において、上記評価情報記憶手段に記憶されている複数の評価情報のうちの少なくとも１つは、上記正規化された顔画像に関する正規化の成否を判定するための正規化成否判定情報であり、上記属性情報作成手段は、上記正規化された顔画像について上記評価情報記憶手段に記憶されている正規化成否判定情報を用いて当該顔画像に関する正規化の成否を判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成することができる。これにより、正規化成否判定情報を用いて、顔画像に関する正規化の成否を判定し、この判定された結果を、その顔に関する属性情報として作成するという作用をもたらす。

また、この第１の側面において、上記属性情報作成手段は、上記正規化された顔画像に関する正規化が失敗であると判定された場合には当該顔画像に含まれる顔に関する他の属性情報の作成を中止することができる。これにより、正規化された顔画像に関する正規化が失敗であると判定された場合には、その顔画像に含まれる顔に関する他の属性情報の作成を中止するという作用をもたらす。

また、この第１の側面において、上記検出された顔に含まれる少なくとも１つの器官を検出する顔器官検出手段をさらに具備し、上記正規化手段は、上記顔画像に含まれる顔について検出された器官の位置に基づいて当該顔画像を正規化することができる。これにより、顔に含まれる器官を検出し、この検出された器官の位置に基づいて、顔画像を正規化するという作用をもたらす。

また、この第１の側面において、上記顔器官検出手段は、上記検出された顔に含まれる両目を検出する目検出手段であり、上記正規化手段は、上記顔画像に含まれる顔について検出された両目の位置に基づいて当該顔画像を正規化することができる。これにより、顔に含まれる両目を検出し、この検出された両目の位置に基づいて、顔画像を正規化するという作用をもたらす。

また、この第１の側面において、上記正規化手段は、上記顔画像に含まれる顔について検出された器官の位置に基づいて当該顔画像にアフィン変換を施して当該顔画像を正規化することができる。これにより、顔について検出された器官の位置に基づいて、その顔画像にアフィン変換を施して正規化するという作用をもたらす。

また、この第１の側面において、上記属性情報作成手段により作成される複数の属性情報は、目の位置、目の開閉状態、顔の表情、性別、顔の世代、顔の人種、顔自体の撮影条件、顔の向きに関する情報のうちの少なくとも２つであることができる。これにより、目の位置、目の開閉状態、顔の表情、性別、顔の世代、顔の人種、顔自体の撮影条件、顔の向きに関する情報のうちの少なくとも２つの属性情報を作成するという作用をもたらす。

また、本発明の第２の側面は、対象となる画像が目的の画像であるか否かを判定するための評価情報を複数記憶する評価情報記憶手段と、画像を入力する画像入力手段と、上記入力された画像に含まれる顔を検出する顔検出手段と、上記検出された顔の周辺画像である顔画像を表示する表示手段と、上記顔画像が所定の解像度となるように当該顔画像を正規化する正規化手段と、上記正規化された顔画像の特徴量を抽出する特徴量抽出手段と、上記抽出された顔画像における特徴量と上記評価情報とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを上記評価情報記憶手段に記憶されている評価情報毎に判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する属性情報作成手段と、上記作成された属性情報に基づいて上記表示手段に表示させる上記顔画像の表示に関する制御を行う表示制御手段とを具備することを特徴とする画像表示装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像から検出された顔の周辺画像（顔画像）を正規化して、この正規化された顔画像における特徴量と、評価情報とに基づいて、その顔画像が目的の画像であるか否かを評価情報毎に判定して、この判定結果を顔に関する属性情報として作成して、この属性情報に基づいて、顔画像の表示に関する制御を行うという作用をもたらす。

また、本発明の第３の側面は、対象となる画像が目的の画像であるか否かを判定するための評価情報を複数記憶する評価情報記憶手段と、被写体が撮像された画像を入力する画像入力手段と、上記入力された画像に含まれる顔を検出する顔検出手段と、上記検出された顔の周辺画像である顔画像が所定の解像度となるように当該顔画像を正規化する正規化手段と、上記正規化された顔画像の特徴量を抽出する特徴量抽出手段と、上記抽出された顔画像における特徴量と上記評価情報とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを上記評価情報記憶手段に記憶されている評価情報毎に判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する属性情報作成手段とを具備することを特徴とする撮像装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像から検出された顔の周辺画像（顔画像）を正規化して、この正規化された顔画像における特徴量と、評価情報とに基づいて、その顔画像が目的の画像であるか否かを評価情報毎に判定して、この判定結果を顔に関する属性情報として作成するという作用をもたらす。

本発明によれば、画像に含まれる顔に関する複数の属性情報を効率的に作成することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。この画像処理装置１００は、画像入力部１１０と、顔検出部１２０と、目検出部１３０と、正規化部１４０と、正規化テンプレート保持部１４５と、操作受付部１５０と、特徴量抽出部１６０と、画像判定部１７０と、表示制御部１８０と、表示部１９０と、顔画像記憶部２１０と、正規化画像記憶部２２０と、辞書記憶部２３０と、作業用メモリ２３１と、属性情報記憶部２４０とを備える。なお、この画像処理装置１００は、例えば、デジタルビデオカメラやデジタルスチルカメラ等で撮影された画像について各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。

画像入力部１１０は、デジタルビデオカメラやデジタルスチルカメラ等で撮影された動画や静止画等の画像を入力する画像入力部であり、入力された画像を顔検出部１２０に出力する。

顔検出部１２０は、画像入力部１１０から入力された画像に含まれる顔を検出する顔検出部であり、検出された顔を含むその周辺画像である顔画像を、目検出部１３０、正規化部１４０および顔画像記憶部２１０に出力する。また、顔検出部１２０は、画像入力部１１０から入力された画像に複数の顔が含まれている場合には、この複数の顔を検出する。例えば、図５（ａ）に示すように、画像４００に２人の人物４０１および４０２の顔４０３および４０４が含まれている場合には、顔４０３および４０４が検出され、検出された顔４０３および４０４を含む顔画像４１０および４３０が目検出部１３０、正規化部１４０および顔画像記憶部２１０に出力される。

目検出部１３０は、顔検出部１２０から出力された顔画像に含まれる両目を検出するものであり、検出された両目の顔画像における各位置を正規化部１４０に出力する。例えば、図５（ｂ）に示す顔画像４１０に含まれる顔４０３において、×印４１１および４１２で示す目の位置が検出される。

正規化部１４０は、顔検出部１２０から出力された顔画像について、目検出部１３０から出力された顔画像における両目の位置に基づいて正規化を行うものである。また、正規化テンプレート保持部１４５は、正規化部１４０が正規化を行う際に用いられるテンプレートである正規化テンプレートを保持するものである。この正規化テンプレートとして、例えば、図２（ａ）に示すように、顔画像における両目の位置を基準とするテンプレートを用いることができる。すなわち、正規化部１４０は、目検出部１３０から出力された顔画像における両目の位置が、正規化テンプレート保持部１４５に保持されている正規化テンプレートにおける両目の位置と合致するように、顔検出部１２０から出力された顔画像を解像度変換するとともに、回転処理を施して、その顔画像を正規化する。そして、正規化された顔画像が正規化画像記憶部２２０に出力されて記憶される。なお、顔画像の正規化および正規化テンプレートについては、図２を参照して詳細に説明する。

操作受付部１５０は、各種操作キーを備え、これらのキー等から操作入力を受け付けると、受け付けた操作入力の内容を画像判定部１７０および表示制御部１８０に出力するものである。例えば、顔に関する属性情報を作成するための指示をする属性情報作成指示キーや、顔画像記憶部２１０に記憶されている顔画像を表示部１９０に表示させるための指示をする顔画像表示指示キー等が操作受付部１５０に設けられる。なお、操作受付部１５０をタッチパネルとして、表示部１９０と一体で構成するようにしてもよい。

特徴量抽出部１６０は、正規化部１４０により正規化されて正規化画像記憶部２２０に記憶されている正規化顔画像の特徴量として、各部における輝度を抽出するものであり、抽出された輝度の値を画像判定部１７０に出力する。

作業用メモリ２３１は、辞書記憶部２３０に記憶されている複数の判定用辞書のうちの１つの判定用辞書を記憶する作業用メモリであり、記憶されている判定用辞書の内容を画像判定部１７０に出力する。なお、辞書記憶部２３０に記憶されている各判定用辞書については、図３を参照して詳細に説明する。

画像判定部１７０は、正規化部１４０により正規化されて正規化画像記憶部２２０に記憶されている正規化顔画像について、特徴量抽出部１６０により抽出された輝度の値と、辞書記憶部２３０に記憶されている各判定用辞書のうちで作業用メモリ２３１に記憶されている１つの判定用辞書とを用いて判定処理を行い、この判定結果を顔に関する属性情報として属性情報記憶部２４０に出力するものである。なお、画像判定部１７０による判定結果により作成された顔に関する属性情報は、図６および図７を参照して詳細に説明する。

表示制御部１８０は、顔画像を表示部１９０に表示する旨の操作入力が操作受付部１５０から受け付けられた場合には、属性情報記憶部２４０に記憶されている各属性情報を用いて、顔画像記憶部２１０に記憶されている各顔画像を表示部１９０に表示させる制御を行う表示制御部である。

表示部１９０は、表示制御部１８０の制御に基づいて、顔画像記憶部２１０に記憶されている各顔画像を表示するものである。

顔画像記憶部２１０は、顔検出部１２０から出力された顔画像を記憶する記憶部であり、記憶されている各顔画像を表示制御部１８０に出力する。

正規化画像記憶部２２０は、正規化部１４０から出力された正規化顔画像を記憶する記憶部であり、記憶されている各正規化顔画像を特徴量抽出部１６０に出力する。

辞書記憶部２３０は、正規化画像記憶部２２０に記憶されている正規化顔画像について、画像判定部１７０による各判定処理を行うための複数の判定用辞書を記憶する記憶部であり、記憶されている各判定用辞書が作業用メモリ２３１に順次出力される。なお、これらの各判定用辞書については、図３を参照して詳細に説明する。

属性情報記憶部２４０は、画像判定部１７０により作成された顔に関する属性情報を記憶する記憶部であり、記憶されている顔に関する属性情報を表示制御部１８０に出力する。なお、これらの顔に関する属性情報は、図６および図７を参照して詳細に説明する。

図２は、顔画像を正規化する場合における正規化の一例を示す図である。図２（ａ）は、顔画像を正規化する際に用いられる正規化テンプレート１４１を示す図であり、図２（ｂ）は、顔検出部１２０により検出された顔２５１を含む顔画像２５０を正規化する場合における遷移を示す図である。正規化テンプレート１４１は、正規化テンプレート保持部１４５に保持されて、正規化部１４０が正規化を行う際に用いられるテンプレートであり、正規化を行う際に基準となる基準位置１４２および１４３が規定されている。この例では、目検出部１３０により検出された顔画像における両目の位置が、正規化テンプレート１４１における基準位置１４２および１４３に合致するように、顔画像の解像度を変換するとともに、顔画像を回転処理する例について説明する。

顔画像２５０は、画像入力部１１０に入力された画像から顔検出部１２０により検出された顔２５１を含む周辺画像である。また、顔画像２５０における目の位置２５２および２５３が目検出部１３０により検出されているものとする。なお、本発明の実施の形態では、目における中心位置を目の位置とする場合を例にして説明する。このように、顔画像２５０における目の位置２５２および２５３が検出されている場合には、目の位置２５２および２５３が、図２（ａ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致するように、アフィン変換などによって変換される。例えば、図２（ｂ）に示すように、顔画像２５０について解像度変換および回転処理がされると、正規化された顔画像である正規化顔画像２６０が生成される。正規化顔画像２６０においては、顔２６１の目の位置２６２および２６３が、図２（ａ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致している。また、本発明の実施の形態では、顔画像の解像度を４８画素×４８画素に変換して、正規化顔画像を生成する場合について説明する。

なお、基準位置としては、顔に含まれる両目以外の他の器官の位置を用いるようにしてもよい。例えば、顔に含まれる鼻を検出して、この鼻の位置に基づいて顔画像を正規化することができる。また、複数の器官の位置を、基準位置として用いるようにしてもよい。例えば、両目および鼻の位置を用いることができる。

図３は、正規化顔画像について各判定処理を行うための複数の判定用辞書を示す図である。これらの判定用辞書は、正規化画像記憶部２２０に記憶されている正規化顔画像について、画像判定部１７０による各判定処理を行うための評価情報であり、辞書記憶部２３０に記憶されている。本発明の実施の形態では、判定用辞書として、正規化成否判定用辞書３１０と、男女判定用辞書３２０と、大人／子供判定用辞書３３０と、笑顔／非笑顔判定用辞書３４０とを例にして説明する。

各判定用辞書には、正規化画像における２点の位置を示すｐｉｘ１（ｘ，ｙ）およびｐｉｘ２（ｘ，ｙ）と、ｐｉｘ１（ｘ，ｙ）の輝度の値およびｐｉｘ２（ｘ，ｙ）の輝度の値の差の値に関する閾値θと、ｐｉｘ１（ｘ，ｙ）の輝度の値およびｐｉｘ２（ｘ，ｙ）の輝度の値の差の値と閾値θとの比較結果に基づいて加算または減算される重みαとの組合せがそれぞれｔ組格納されている。これらの各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位１００組の組合せを用いて設定される。このように、各判定用辞書の形式が同一であるため、複数の判定処理を同一のアルゴリズムで行うことができる。なお、図３では、各判定用辞書に関する「ｐｉｘ１（ｘ，ｙ）」、「ｐｉｘ２（ｘ，ｙ）」、「θ」、「α」については、各判定用辞書に応じて異なる表記として示す。例えば、正規化成否判定用辞書３１０については、「ｐｉｘ１（ｘ，ｙ）」を「ｐｉｘ成否１（ｘ，ｙ）」とし、「ｐｉｘ２（ｘ，ｙ）」を「ｐｉｘ成否２（ｘ，ｙ）」とし、「θ」を「成否θ」とし、「α」を「成否α」として示す。

次に、正規化顔画像について判定用辞書を用いて判定処理をする例について図面を参照して詳細に説明する。

図４は、正規化部１４０により正規化された顔画像の一例である正規化顔画像３５０を示す図である。この例では、図４に示す正規化顔画像３５０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、正規化顔画像３５０について正規化成否判定用辞書３１０（図３に示す）を用いた判定処理をする場合について説明する。例えば、正規化成否判定用辞書３１０の１行目に格納されているｐｉｘ成否１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５１とし、ｐｉｘ成否２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５２とする。また、正規化成否判定用辞書３１０の２行目に格納されているｐｉｘ成否１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５３とし、ｐｉｘ成否２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５４とする。さらに、正規化成否判定用辞書３１０の３行目に格納されているｐｉｘ成否１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５５とし、ｐｉｘ成否２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５６とする。

最初に、判定を行うためのスコアＳの値に０がセットされ、正規化成否判定用辞書３１０の１行目に格納されている各値を用いた演算が行われる。具体的には、正規化成否判定用辞書３１０の１行目に格納されているｐｉｘ成否１（ｘ，ｙ）の値に対応する位置３５１における輝度の値Ａ（１）と、ｐｉｘ成否２（ｘ，ｙ）の値に対応する位置３５２における輝度の値Ｂ（１）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（１）が算出される。
Ｃ（１）＝Ａ（１）−Ｂ（１）

続いて、算出された各輝度の差の値Ｃ（１）と、正規化成否判定用辞書３１０の１行目に格納されている閾値である成否θの値とを比較して、算出された値Ｃ（１）が成否θの値よりも小さいか否かが判断される。算出された値Ｃ（１）が成否θの値よりも小さい場合には、正規化成否判定用辞書３１０の１行目に格納されている重みである成否αの値をスコアＳに加算する。一方、算出された値Ｃ（１）が成否θの値よりも小さくない場合には、正規化成否判定用辞書３１０の１行目に格納されている成否αの値をスコアＳから減算する。

続いて、正規化成否判定用辞書３１０の２行目に格納されている各値を用いて、上述した各演算を繰り返す。具体的には、正規化成否判定用辞書３１０の２行目に格納されているｐｉｘ成否１（ｘ，ｙ）の値に対応する位置３５３における輝度の値Ａ（２）と、ｐｉｘ成否２（ｘ，ｙ）の値に対応する位置３５４における輝度の値Ｂ（２）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（２）が算出される。
Ｃ（２）＝Ａ（２）−Ｂ（２）

続いて、算出された各輝度の差の値Ｃ（２）と、正規化成否判定用辞書３１０の２行目に格納されている成否θの値とを比較して、算出された値Ｃ（２）が成否θの値よりも小さいか否かが判断される。算出された値Ｃ（２）が成否θの値よりも小さい場合には、正規化成否判定用辞書３１０の２行目に格納されている成否αの値をスコアＳに加算する。一方、算出された値Ｃ（２）が成否θの値よりも小さくない場合には、正規化成否判定用辞書３１０の２行目に格納されている成否αの値をスコアＳから減算する。

続いて、正規化成否判定用辞書３１０の３行目以降、ｔ行目までに格納されている各値を順次用いて、上述した各演算を繰り返す。

すなわち、正規化顔画像３５０について正規化成否判定用辞書３１０を用いた判定処理をする場合には、正規化成否判定用辞書３１０の１行目乃至ｔ行目に格納されている各値を順次用いて、式１を用いてＣ（ｉ）が算出され、算出されたＣ（ｉ）が式２を満たすか否かが判定される。ここで、変数ｉは整数であり、１からｔの値を示す。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）……（式１）
Ｃ（ｉ）＜θ（ｉ） ……（式２）

そして、算出されたＣ（ｉ）が式２を満たす場合には、α（ｉ）の値がスコアＳに加算され、算出されたＣ（ｉ）が式２を満たさない場合には、α（ｉ）の値がスコアＳから減算される。ここで、ｉ行目に格納されているｐｉｘ成否１（ｘ，ｙ）に対応する輝度の値をＡ（ｉ）で表し、ｉ行目に格納されているｐｉｘ成否２（ｘ，ｙ）に対応する輝度の値をＢ（ｉ）で表し、ｉ行目に格納されている成否θの値をθ（ｉ）で表し、ｉ行目に格納されている成否αの値をα（ｉ）で表す。

そして、正規化成否判定用辞書３１０のｔ行目に格納されている各値を用いた各演算が終了した後に、スコアＳの値が０よりも大きいか否かが判断される。

例えば、上述の機械学習アルゴリズムによって学習時における正規化判定成功の学習サンプルを正側とし、正規化判定失敗時の学習サンプルを負側として学習した場合において、正規化成否判定用辞書３１０の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像は目的の画像であると判定される。すなわち、正規化成否判定用辞書３１０を用いた判定の場合には、判定の対象となっている正規化顔画像は正規化に成功した画像であると判定される。また、他の判定用辞書についても、同様に考えることができる。例えば、男女判定用辞書３２０を用いた判定において、男判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像に含まれる顔は男性の顔であると判定される。また、大人／子供判定用辞書３３０を用いた判定において、大人判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像に含まれる顔は大人の顔であると判定される。また、笑顔／非笑顔判定用辞書３４０を用いた判定において、笑顔判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像に含まれる顔は笑顔であると判定される。

一方、上述の機械学習アルゴリズムによって学習時における判定成功の学習サンプルを正側とし、判定失敗時の学習サンプルを負側として学習した場合において、判定用辞書の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像は目的の画像ではないと判定される。例えば、正規化成否判定用辞書３１０を用いた判定において、正規化判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像は正規化に失敗した画像であると判定される。また、男女判定用辞書３２０を用いた判定において、男判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は女性の顔であると判定される。また、大人／子供判定用辞書３３０を用いた判定において、大人判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は子供の顔であると判定される。また、笑顔／非笑顔判定用辞書３４０を用いた判定において、笑顔判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は非笑顔であると判定される。なお、本発明の実施の形態では、判定用辞書を用いた判定として、スコアＳおよび０を比較する判定例について説明するが、０以外の値を用いて判定するようにしてもよい。すなわち、スコアＳと比較する値については、適宜調整することができる。

ここで、判定用辞書の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳは、次式で表すことができる。

ここで、ｓｉｇｎ（ｘ）は、ｘ＞０の場合には１となり、ｘ≦０の場合には−１となる関数を表すものとする。

このように、判定の対象となる正規化画像の解像度を同一の解像度とし、判定に用いる正規化画像の特徴量を２点間の輝度の値に統一することによって、複数の判定用辞書を切り替え可能とすることができ、複数の属性情報を同一のアルゴリズムで作成することができる。

図５は、画像４００から作成された正規化顔画像について正規化の成否を判定する場合における遷移の概略を示す図である。画像４００は、例えば、デジタルスチルカメラで撮影された静止画であり、２人の人物４０１および４０２が含まれているものとする。

図５（ａ）は、人物４０１および４０２が含まれる画像４００を示す図である。ここでは、画像４００に含まれる人物４０１の顔４０３および人物４０２の顔４０４を四角の枠で囲んで示し、この枠内の画像が顔画像４１０および４３０となる。また、人物４０１および４０２は、何れも大人の男性であり、顔の表情は笑っているものとする。

図５（ｂ）は、画像４００から取り出された顔画像４１０および４３０を示す図である。ここでは、顔画像４１０において検出された目の位置を×印４１１および４１２で示し、顔画像４３０において検出された目の位置を×印４３１および４３２で示す。図５（ｂ）に示すように、顔画像４１０については、目の位置（×印４１１および４１２）が正確に検出されているものとする。一方、顔画像４３０については、眼鏡の一部が目として誤って検出されてしまい、目の位置（×印４３１および４３２）が正確に検出されていないものとする。

図５（ｃ）は、図５（ｂ）に示す顔画像４１０および４３０が正規化された正規化顔画像４２０および４４０を示す図である。ここでは、図５（ｂ）に示す顔画像４１０において検出された目の位置に対応する位置を×印４２１および４２２で示し、顔画像４３０において検出された目の位置に対応する位置を×印４４１および４４２で示す。図５（ｃ）に示すように、顔画像４１０については、目の位置（×印４１１および４１２）が正確に検出されているため、顔画像４１０の正規化が成功している。一方、顔画像４３０については、目の位置（×印４３１および４３２）が正確に検出されていないため、顔画像４１０の正規化が失敗している。このように、顔画像における目の検出が正確に行われた場合には、正規化が成功する可能性が高い。一方、顔画像における目の検出が正確に行われなかった場合には、正規化が失敗する可能性が高い。

図５（ｃ）に示す正規化顔画像４２０および４４０について正規化成否判定用辞書３１０を用いて正規化の成否を判定した場合には、正規化顔画像４２０については、正規化成功と判定され、正規化顔画像４４０については、正規化失敗と判定される。なお、正規化失敗と判定された正規化顔画像については、他の判定処理を中止して、顔に関する属性情報の作成を中止するようにしてもよい。

図６は、図５（ｃ）に示す正規化顔画像４２０および４４０について、正規化成否判定用辞書３１０、男女判定用辞書３２０、大人／子供判定用辞書３３０、および笑顔／非笑顔判定用辞書３４０を用いて各判定をした場合における判定結果が格納されている属性情報４５０および４６０を示す図である。属性情報４５０および４６０には、種別「正規化」、「性別」、「大人／子供（世代）」、「笑顔／非笑顔」の各判定結果が、顔に関する属性情報として格納されている。

「正規化」には、「ＯＫ」または「ＮＧ」の何れかが格納される。例えば、図６（ａ）に示すように、正規化顔画像４２０については、正規化が成功しているため、正規化成否判定用辞書３１０を用いて行われた正規化成否判定の判定結果として「ＯＫ」が格納されている。一方、図６（ｂ）に示すように、正規化顔画像４４０については、正規化が失敗しているため、正規化成否判定用辞書３１０を用いて行われた正規化成否判定の判定結果として「ＮＧ」が格納されている。

「性別」には、「男」または「女」の何れかが格納される。例えば、図６（ａ）に示すように、正規化顔画像４２０については、正規化が成功しているため、男女判定用辞書３２０を用いて行われた男女判定の判定結果として「男」が格納されている。一方、図６（ｂ）に示すように、正規化顔画像４４０については、正規化が失敗しているため、正規化顔画像４４０に対応する人物が男であるにもかかわらず、男女判定用辞書３２０を用いて行われた男女判定の判定結果として「女」が格納されている。

また、「大人／子供（世代）」には、「大人」または「子供」の何れかが格納される。例えば、図６（ａ）に示すように、正規化顔画像４２０については、正規化が成功しているため、大人／子供判定用辞書３３０を用いて行われた大人／子供判定の判定結果として「大人」が格納されている。一方、図６（ｂ）に示すように、正規化顔画像４４０については、正規化が失敗しているものの、大人／子供判定用辞書３３０を用いて行われた大人／子供判定の判定結果として「大人」が格納されている。

また、「笑顔／非笑顔」には、「笑顔」または「非笑顔」の何れかが格納される。例えば、図６（ａ）に示すように、正規化顔画像４２０については、正規化が成功しているため、笑顔／非笑顔判定用辞書３４０を用いて行われた笑顔／非笑顔判定の判定結果として「笑顔」が格納されている。一方、図６（ｂ）に示すように、正規化顔画像４４０については、正規化が失敗しているため、正規化顔画像４４０に対応する人物の顔が笑顔であるにもかかわらず、笑顔／非笑顔判定用辞書３４０を用いて行われた笑顔／非笑顔判定の判定結果として「非笑顔」が格納されている。

このように、正規化に成功している場合には、判定結果の精度が高い。一方、正規化に失敗している場合には、判定結果の精度が低くなることが多い。このため、判定結果に基づいて作成される属性情報については、例えば、種別「正規化」に「ＯＫ」が格納されている顔画像については、その属性情報を各アプリケーションに用いるようにする。一方、種別「正規化」に「ＮＧ」が格納されている顔画像については、その属性情報を各アプリケーションに用いないようにすることができる。また、判定処理により算出されたスコアＳの数値を格納しておき、このスコアＳの数値に応じて、属性情報の利用を変更するようにしてもよい。また、正規化失敗と判定された正規化顔画像に対応する顔画像に関連付けて、顔画像の信頼度が低い旨を示すフラグを格納するようにしてもよい。

図７は、属性情報記憶部２４０に記憶されている属性情報５００を示す図である。図６に示すように、各正規化顔画像についての判定結果に基づいて、各顔に関する属性情報が作成され、これらの属性情報が各顔画像と関連付けて属性情報記憶部２４０に記憶される。例えば、各顔画像を識別する顔識別番号として「００１」乃至「００５」が付与され、これらと各種別の情報とが対応するように属性情報５００に格納される。例えば、図５および図６に示す正規化顔画像４２０に対応する顔画像４１０について顔識別番号「００１」が付与され、正規化顔画像４４０に対応する顔画像４３０について顔識別番号「００２」が付与された場合において、顔識別番号「００１」の各欄には、図６（ａ）に示す属性情報４５０と同一の判定結果が格納され、顔識別番号「００２」の各欄には、図６（ｂ）に示す属性情報４６０と同一の判定結果が格納される。そして、属性情報５００に格納されている各情報を用いて、各アプリケーションを実行することができる。

例えば、女性の顔画像の一覧を表示部１９０に表示する旨の操作入力が操作受付部１５０から受け付けられた場合には、属性情報５００に格納されている各情報のうちの「性別」に関する情報「男／女」を用いて、表示制御部１８０の制御に基づいて、顔画像記憶部２１０に記憶されている複数の顔画像のうちから女性の顔画像のみが抽出され、女性の顔画像の一覧を表示部１９０に表示させることができる。例えば、顔識別番号「００２」、「００３」、「００４」に対応する顔画像が抽出されて、表示部１９０に表示される。しかしながら、図５に示すように、顔識別番号「００２」に対応する顔画像４３０に含まれる顔４０４は男性の顔である。この場合には、表示部１９０に表示される女性の顔画像の一覧に男性の顔が含まれてしまうことになる。

そこで、属性情報５００における「正規化」に「ＮＧ」が格納されている顔画像に関する属性情報については、信頼できない情報として用いずに、「正規化」に「ＯＫ」が格納されている顔画像に関する属性情報のみを用いるようにすることができる。

例えば、女性の顔画像の一覧を表示部１９０に表示する旨の操作入力が操作受付部１５０から受け付けられた場合において、属性情報５００における「正規化」に「ＮＧ」が格納されている顔識別番号「００２」に対応する属性情報を用いずに、「正規化」に「ＯＫ」が格納されている顔識別番号「００１」、「００３」、「００４」、「００５」に対応する属性情報を用いて、顔画像記憶部２１０に記憶されている複数の顔画像のうちから女性の顔画像のみを抽出して、女性の顔画像の一覧を表示部１９０に表示させる。このようにすることによって、表示部１９０に表示される女性の顔画像の一覧に男性の顔が含まれることを防止することができる。また、属性情報５００における「正規化」に、判定処理により算出されたスコアＳの数値を格納しておき、このスコアＳの数値に応じて、利用を変更するようにしてもよい。

次に、本発明の実施の形態における画像処理装置１００の動作について図面を参照して説明する。

図８は、画像処理装置１００による正規化顔画像の作成処理の処理手順を示すフローチャートである。

最初に、画像が入力される（ステップＳ９１１）。続いて、入力された画像に含まれる顔が検出され、検出された顔を含む顔画像が顔画像記憶部２１０に記憶される（ステップＳ９１２）。続いて、検出された顔画像に含まれる両目が検出される（ステップＳ９１３）。続いて、検出された両目の位置に基づいて、顔画像が正規化される（ステップＳ９１４）。例えば、図２（ｂ）に示すように、顔画像２５０が正規化されて正規化顔画像２６０が作成される。続いて、作成された正規化顔画像が正規化画像記憶部２２０に記憶される（ステップＳ９１５）。

図９は、画像処理装置１００による顔に関する属性情報の作成処理の処理手順を示すフローチャートである。ここでは、顔に関する属性情報を作成する旨の操作入力が操作受付部１５０からされた場合に判定処理を実行する例について説明する。また、ここでは、複数の判定用辞書の全てを用いて属性情報を作成する例について説明するが、操作受付部１５０からの操作入力に応じて、個別に属性情報を作成するようにしてもよい。

最初に、顔に関する属性情報を作成する旨の操作入力が受け付けられたか否かが判断される（ステップＳ９２１）。顔に関する属性情報を作成する旨の操作入力が受け付けられていない場合には（ステップＳ９２１）、顔に関する属性情報の作成処理の動作を終了する。一方、顔に関する属性情報を作成する旨の操作入力が受け付けられた場合には（ステップＳ９２１）、正規化画像記憶部２２０に記憶されている正規化顔画像が読み出される（ステップＳ９２２）。続いて、読み出された正規化顔画像における輝度の値が抽出される（ステップＳ９２３）。続いて、辞書記憶部２３０に記憶されている複数の判定用辞書のうちで、判定処理されていない判定用辞書が取り出され、作業用メモリ２３１に記憶される（ステップＳ９２４）。例えば、図３に示す各判定用辞書のうちから、正規化成否判定用辞書３１０が取り出される。続いて、取り出された判定用辞書を用いて判定処理が実行される（ステップＳ９３０）。なお、この判定処理については、図１０を参照して詳細に説明する。

続いて、判定処理によって判定された結果が、判定の対象となっている顔に関する属性情報として、その顔に関連付けて属性情報記憶部２４０に記憶される（ステップＳ９２５）。続いて、辞書記憶部２３０に記憶されている複数の判定用辞書のうちで、判定処理されていない判定用辞書が存在するか否かが判断される（ステップＳ９２６）。辞書記憶部２３０に記憶されている複数の判定用辞書のうちで、判定処理されていない判定用辞書が存在する場合には（ステップＳ９２６）、ステップＳ９２４に戻り、同一の顔に関する属性情報の作成処理を繰り返す（ステップＳ９２４乃至Ｓ９２６、ステップＳ９３０）。一方、辞書記憶部２３０に記憶されている複数の判定用辞書のうちで、判定処理されていない判定用辞書が存在しない場合には（ステップＳ９２６）、顔に関する属性情報の作成処理の動作を終了する。

図１０は、画像処理装置１００による顔に関する属性情報の作成処理の処理手順のうちの判定処理手順（図９に示すステップＳ９３０の処理手順）を示すフローチャートである。本発明の実施の形態では、正規化顔画像が目的の画像であるか否かを判定する判定処理を例にして説明する。

最初に、スコアＳが「０」に初期化され（ステップＳ９３１）、変数ｉが「１」に初期化される（ステップＳ９３２）。続いて、ステップＳ９２３（図９に示す）で正規化顔画像から抽出された輝度の値の中から、ステップＳ９２４（図９に示す）で作業用メモリ２３１に記憶された判定用辞書のｉ行目に格納されているｐｉｘ１（ｘ，ｙ）およびｐｉｘ２（ｘ，ｙ）の位置に対応する輝度の値が選択される（ステップＳ９３３）。続いて、選択された２つの輝度の値を用いて、式１に示すＣ（ｉ）が算出される（ステップＳ９３４）。

続いて、算出された２点間の輝度の差の値Ｃ（ｉ）が閾値θ（ｉ）よりも小さいか否かが判断される（ステップＳ９３５）。算出された値Ｃ（ｉ）が閾値θ（ｉ）よりも小さい場合には（ステップＳ９３５）、スコアＳにα（ｉ）が加算される（ステップＳ９３６）。一方、算出された値Ｃ（ｉ）が閾値θ（ｉ）よりも小さくない場合には（ステップＳ９３５）、スコアＳからα（ｉ）が減算される（ステップＳ９３７）。

続いて、変数ｉに「１」が加算され（ステップＳ９３８）、変数ｉがｔよりも大きいか否かが判断される（ステップＳ９３９）。変数ｉがｔよりも大きくない場合には（ステップＳ９３９）、ステップＳ９２３（図９に示す）で取り出された判定用辞書の各行の値についての判定処理が終了していないため、ステップＳ９３３に戻り、同一の判定用辞書を用いた判定処理を繰り返す（ステップＳ９３３乃至Ｓ９３９）。一方、変数ｉがｔよりも大きい場合には（ステップＳ９３９）、ステップＳ９２３（図９に示す）で取り出された判定用辞書の各行の値についての判定処理が終了しているため、ステップＳ９４０に進み、スコアＳの値が０よりも大きいか否かが判断される（ステップＳ９４０）。

スコアＳの値が０よりも大きい場合には（ステップＳ９４０）、判定の対象となっている正規化顔画像が、目的の画像であると判定される（ステップＳ９４１）。一方、スコアＳの値が０よりも大きくない場合には（ステップＳ９４０）、判定の対象となっている正規化顔画像が、目的の画像ではないと判定される（ステップＳ９４２）。続いて、図９に示すステップＳ９３０に戻る。

このように、本発明の実施の形態によれば、辞書記憶部２３０に記憶されている各判定用辞書の形式が同一であるとともに、判定の対象となる顔画像を正規化部１４０が正規化して同一の解像度とし、さらに、判定に用いる正規化画像の特徴量を２点間の輝度の値に統一しているため、複数の判定用辞書を切り替えることによって、検出された顔に関する複数の属性情報を同一のアルゴリズムで作成することができる。これにより、検出された顔に関する複数の属性情報を作成する場合には、画像判定部１７０が複数の判定用辞書を切り替えて複数の属性情報を作成することができるため、装置を簡略化することができ、属性情報の作成に関する演算時間を短縮させることができる。すなわち、画像に含まれる顔に関する複数の属性情報を効率的に作成することができる。また、これらにより、装置のコストを大幅に簡略することができる。

また、他の属性情報を作成する場合と同様に、辞書記憶部２３０に記憶されている正規化成否判定用辞書３１０を用いて、正規化顔画像に関する正規化の成否を判定して、この判定結果を、顔画像の属性情報として属性情報記憶部２４０に記憶することができる。これにより、例えば、顔画像記憶部２１０に記憶されている顔画像を表示部１９０に表示させる場合において、「正規化」に「ＮＧ」が格納されている顔画像の属性情報は信頼できないとしてその属性情報を用いずに、「正規化」に「ＯＫ」が格納されている顔画像に関する属性情報のみを用いて表示をすることができる。このようにすることにより、さらに精度の高い属性情報を用いた表示をすることができる。また、正規化顔画像に関する正規化成否の判定結果が「ＮＧ」の場合には、この正規化顔画像に関する他の属性情報の作成を中止することができる。これにより、精度の高い属性情報を迅速に作成することができる。

なお、本発明の実施の形態では、顔に関する属性情報として「正規化」、「性別」、「大人／子供（世代）」、「笑顔／非笑顔」を作成する場合について説明したが、顔に関する他の属性情報を作成する場合についても、本発明の実施の形態を適用することができる。顔に関する属性情報として、例えば、目の位置、目の開閉状態、顔の表情、人種、顔自体の撮影条件、顔の向き等に適用することができる。また、本発明の実施の形態では、正規化顔画像が目的の画像であるか否かを判定するための評価情報として、辞書記憶部２３０に記憶されている各判定用辞書を用いる場合を例にして説明したが、正規化顔画像が目的の画像であるか否かを判定することができる他の評価情報を用いるようにしてもよい。

また、本発明の実施の形態では、画像に含まれる人の顔を検出し、この検出された顔に関する複数の属性情報を作成する場合について説明したが、画像に含まれる人の顔以外の他の対象物を検出し、この検出された対象物に関する複数の属性情報を作成する場合についても、本発明の実施の形態を適用することができる。画像に含まれる人の顔以外の他の対象物として、例えば、猫や犬等のペットの顔、馬や牛等の動物の顔等に適用することができる。

また、本発明の実施の形態では、画像処理装置を例にして説明したが、動画や静止画等の画像を入力して表示することができる携帯端末装置等の画像表示装置や、デジタルスチルカメラ等の撮像装置に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１乃至請求項１２において、画像処理装置は、例えば画像処理装置１００に対応する。また、請求項１３において、画像表示装置は、例えば画像処理装置１００に対応する。また、請求項１４において、撮像装置は、例えば画像処理装置１００に対応する。

また、請求項１、１３、１４において、評価情報記憶手段は、例えば辞書記憶部２３０に対応する。また、画像入力手段は、例えば画像入力部１１０に対応する。また、顔検出手段は、例えば顔検出部１２０に対応する。

また、請求項１、９乃至１１、１３、１４において、正規化手段は、例えば正規化部１４０に対応する。

また、請求項１、６、１３、１４において、特徴量抽出手段は、例えば特徴量抽出部１６０に対応する。

また、請求項１乃至５、７、８、１３、１４において、属性情報作成手段は、例えば画像判定部１７０に対応する。

また、請求項９または請求項１０において、顔器官検出手段は、例えば目検出部１３０に対応する。

また、請求項１３において、表示手段は、例えば表示部１９０に対応する。また、表示制御手段は、例えば表示制御部１８０に対応する。

また、請求項１５または請求項１６において、画像入力手順は、例えばステップＳ９１１に対応する。また、顔検出手順は、例えばステップＳ９１２に対応する。また、正規化手順は、例えばステップＳ９１４に対応する。また、特徴量抽出手順は、例えばステップＳ９２３に対応する。また、属性情報作成手順は、例えばステップＳ９３０に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

画像処理装置１００の機能構成例を示すブロック図である。 顔画像を正規化する場合における正規化の一例を示す図である。 正規化顔画像について各判定処理を行うための複数の判定用辞書を示す図である。 正規化部１４０により正規化された顔画像の一例である正規化顔画像３５０を示す図である。 画像４００から作成された正規化顔画像について正規化の成否を判定する場合における遷移の概略を示す図である。 正規化顔画像４２０および４４０についての各判定結果が格納されている属性情報４５０および４６０を示す図である。 属性情報記憶部２４０に記憶されている属性情報５００を示す図である。 画像処理装置１００による正規化顔画像の作成処理の処理手順を示すフローチャートである。 画像処理装置１００による顔に関する属性情報の作成処理の処理手順を示すフローチャートである。 図９に示すステップＳ９３０の処理手順を示すフローチャートである。

符号の説明

１００ 画像処理装置
１１０ 画像入力部
１２０ 顔検出部
１３０ 目検出部
１４０ 正規化部
１４５ 正規化テンプレート保持部
１５０ 操作受付部
１６０ 特徴量抽出部
１７０ 画像判定部
１８０ 表示制御部
１９０ 表示部
２１０ 顔画像記憶部
２２０ 正規化画像記憶部
２３０ 辞書記憶部
２３１ 作業用メモリ
２４０ 属性情報記憶部
３１０ 正規化成否判定用辞書
３２０ 男女判定用辞書
３３０ 子供判定用辞書
３４０ 非笑顔判定用辞書

Claims (16)

1. 対象となる画像が目的の画像であるか否かを判定するための評価情報を複数記憶する評価情報記憶手段と、
   画像を入力する画像入力手段と、
   前記入力された画像に含まれる顔を検出する顔検出手段と、
   前記検出された顔の周辺画像である顔画像が所定の解像度となるように当該顔画像を正規化する正規化手段と、
   前記正規化された顔画像の特徴量を抽出する特徴量抽出手段と、
   前記抽出された顔画像における特徴量と前記評価情報とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを前記評価情報記憶手段に記憶されている評価情報毎に判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する属性情報作成手段と
   を具備することを特徴とする画像処理装置。
2. 前記評価情報は、対象となる画像における位置と閾値との組合せを含み、
   前記属性情報作成手段は、前記評価情報に含まれる位置に対応する前記正規化された顔画像の特徴量の値と当該位置に係る閾値とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを判定する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記評価情報は、対象となる画像における２つの位置と閾値との組合せを含み、
   前記属性情報作成手段は、前記評価情報に含まれる１つの組合せに係る２つの位置に対応する前記正規化された顔画像の特徴量の差を算出して当該算出された差の値と当該組合せに係る閾値とを比較した結果に基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを判定する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記評価情報は、対象となる画像における２つの位置と閾値との組合せを複数含み、
   前記属性情報作成手段は、前記評価情報に含まれる複数の組合せのうちの１つの組合せに係る２つの位置に対応する前記正規化された顔画像の特徴量の差を算出して当該算出された差の値と当該組合せに係る閾値とを前記評価情報に含まれる組合せ毎に比較して当該比較された結果に基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを判定する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記評価情報は、対象となる画像における２つの位置と閾値と重みの値との組合せを複数含み、
   前記属性情報作成手段は、前記評価情報に含まれる複数の組合せのうちの１つの組合せに係る２つの位置に対応する前記正規化された顔画像の特徴量の差を算出して当該算出された差の値と当該組合せに係る閾値とを比較して当該比較された結果に基づいて当該組合せに係る重みの値を加算または減算することにより当該評価情報に含まれる複数の組合せに係る合計値を算出して当該合計値に基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを判定する
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記特徴量抽出手段は、前記正規化された顔画像の特徴量として輝度を抽出する
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記評価情報記憶手段に記憶されている複数の評価情報のうちの少なくとも１つは、前記正規化された顔画像に関する正規化の成否を判定するための正規化成否判定情報であり、
   前記属性情報作成手段は、前記正規化された顔画像について前記評価情報記憶手段に記憶されている正規化成否判定情報を用いて当該顔画像に関する正規化の成否を判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する
   ことを特徴とする請求項１記載の画像処理装置。
8. 前記属性情報作成手段は、前記正規化された顔画像に関する正規化が失敗であると判定された場合には当該顔画像に含まれる顔に関する他の属性情報の作成を中止する
   ことを特徴とする請求項７記載の画像処理装置。
9. 前記検出された顔に含まれる少なくとも１つの器官を検出する顔器官検出手段をさらに具備し、
   前記正規化手段は、前記顔画像に含まれる顔について検出された器官の位置に基づいて当該顔画像を正規化する
   ことを特徴とする請求項１記載の画像処理装置。
10. 前記顔器官検出手段は、前記検出された顔に含まれる両目を検出する目検出手段であり、
    前記正規化手段は、前記顔画像に含まれる顔について検出された両目の位置に基づいて当該顔画像を正規化する
    ことを特徴とする請求項９記載の画像処理装置。
11. 前記正規化手段は、前記顔画像に含まれる顔について検出された器官の位置に基づいて当該顔画像にアフィン変換を施して当該顔画像を正規化する
    ことを特徴とする請求項９記載の画像処理装置。
12. 前記属性情報作成手段により作成される複数の属性情報は、目の位置、目の開閉状態、顔の表情、性別、顔の世代、顔の人種、顔自体の撮影条件、顔の向きに関する情報のうちの少なくとも２つである
    ことを特徴とする請求項１記載の画像処理装置。
13. 対象となる画像が目的の画像であるか否かを判定するための評価情報を複数記憶する評価情報記憶手段と、
    画像を入力する画像入力手段と、
    前記入力された画像に含まれる顔を検出する顔検出手段と、
    前記検出された顔の周辺画像である顔画像を表示する表示手段と、
    前記顔画像が所定の解像度となるように当該顔画像を正規化する正規化手段と、
    前記正規化された顔画像の特徴量を抽出する特徴量抽出手段と、
    前記抽出された顔画像における特徴量と前記評価情報とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを前記評価情報記憶手段に記憶されている評価情報毎に判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する属性情報作成手段と、
    前記作成された属性情報に基づいて前記表示手段に表示させる前記顔画像の表示に関する制御を行う表示制御手段と
    を具備することを特徴とする画像表示装置。
14. 対象となる画像が目的の画像であるか否かを判定するための評価情報を複数記憶する評価情報記憶手段と、
    被写体が撮像された画像を入力する画像入力手段と、
    前記入力された画像に含まれる顔を検出する顔検出手段と、
    前記検出された顔の周辺画像である顔画像が所定の解像度となるように当該顔画像を正規化する正規化手段と、
    前記正規化された顔画像の特徴量を抽出する特徴量抽出手段と、
    前記抽出された顔画像における特徴量と前記評価情報とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを前記評価情報記憶手段に記憶されている評価情報毎に判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する属性情報作成手段と
    を具備することを特徴とする撮像装置。
15. 対象となる画像が目的の画像であるか否かを判定するための評価情報を複数記憶する評価情報記憶手段を具備する画像処理装置における画像処理方法であって、
    画像を入力する画像入力手順と、
    前記入力された画像に含まれる顔を検出する顔検出手順と、
    前記検出された顔の周辺画像である顔画像が所定の解像度となるように当該顔画像を正規化する正規化手順と、
    前記正規化された顔画像の特徴量を抽出する特徴量抽出手順と、
    前記抽出された顔画像における特徴量と前記評価情報とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを前記評価情報記憶手段に記憶されている評価情報毎に判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する属性情報作成手順と
    を具備することを特徴とする画像処理方法。
16. 対象となる画像が目的の画像であるか否かを判定するための評価情報を複数記憶する評価情報記憶手段を具備する画像処理装置において、
    画像を入力する画像入力手順と、
    前記入力された画像に含まれる顔を検出する顔検出手順と、
    前記検出された顔の周辺画像である顔画像が所定の解像度となるように当該顔画像を正規化する正規化手順と、
    前記正規化された顔画像の特徴量を抽出する特徴量抽出手順と、
    前記抽出された顔画像における特徴量と前記評価情報とに基づいて当該顔画像が当該評価情報に係る目的の画像であるか否かを前記評価情報記憶手段に記憶されている評価情報毎に判定して当該判定された結果を当該顔画像に含まれる顔に関する属性情報として作成する属性情報作成手順と
    をコンピュータに実行させることを特徴とするプログラム。