JP2009277027A - 画像における顔の器官の画像に対応する器官領域の検出 - Google Patents

Abstract

【課題】画像における器官領域の検出処理の精度向上および効率化を図ることを可能とする。
【解決手段】画像処理装置は、対象画像における顔の画像に対応する顔領域の検出を行う顔領域検出部と、顔領域の検出結果に基づき顔領域における顔の器官の画像に対応する器官領域を検出する際の検出すべき器官領域の位置と大きさと数との少なくとも１つの取り得る範囲を特定する検出条件を設定する検出条件設定部と、設定された検出条件を満たす器官領域の検出を行う器官領域検出部と、を備える。
【選択図】図１０

Description

本発明は、画像における顔の器官の画像に対応する画像領域である器官領域の検出に関する。

画像において顔の器官（例えば目）の画像に対応する画像領域である器官領域を検出する技術が知られている（例えば特許文献１）。

特開２００６−０６５６４０号公報

画像における器官領域の検出の際には、精度の向上や処理の効率化が図られることが好ましい。

本発明は、上記の課題を解決するためになされたものであり、画像における器官領域の検出処理の精度向上および効率化を図ることを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。

［適用例１］画像処理装置であって、
対象画像における顔の画像に対応する顔領域の検出を行う顔領域検出部と、
前記顔領域の検出結果に基づき、前記顔領域における顔の器官の画像に対応する器官領域を検出する際の、検出すべき前記器官領域の位置と大きさと数との少なくとも１つの取り得る範囲を特定する検出条件を設定する検出条件設定部と、
設定された前記検出条件を満たす前記器官領域の検出を行う器官領域検出部と、を備える、画像処理装置。

この画像処理装置では、顔領域の検出結果に基づき、器官領域を検出する際の検出すべき器官領域の位置と大きさと数との少なくとも１つの取り得る範囲を特定する検出条件が設定され、設定された検出条件を満たす器官領域の検出が行われるため、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

［適用例２］適用例１に記載の画像処理装置であって、
前記顔領域検出部は、顔の画像を含むサンプル画像を用いて生成された顔評価用データを用いて前記対象画像上における画像領域が顔の画像に対応する画像領域であることの確からしさを評価することにより、前記顔領域の検出を行い、
前記検出条件設定部は、前記顔評価用データの生成に用いられた前記サンプル画像における顔の器官の画像に基づき予め設定された前記顔領域と前記器官領域との間の位置と大きさと数との少なくとも１つに関する関係に基づき、前記検出条件を設定する、画像処理装置。

この画像処理装置では、顔評価用データの生成に用いられたサンプル画像における顔の器官の画像に基づき予め設定された顔領域と器官領域との間の位置と大きさと数との少なくとも１つに関する関係に基づき検出条件が設定されるため、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

［適用例３］適用例２に記載の画像処理装置であって、
前記顔評価用データは、前記顔評価用データの生成に用いられた前記サンプル画像における顔の画像の画像面に平行な軸を中心とした回転角度である顔向きに対応付けられており、
前記顔領域と前記器官領域との間の前記関係は、前記顔評価用データに対応付けられた顔向き毎に設定されており、
前記検出条件設定部は、前記顔領域の検出に用いられた前記顔評価用データに対応付けられた顔向きに対応する前記関係に基づき、前記検出条件を設定する、画像処理装置。

この画像処理装置では、顔領域の検出に用いられた顔評価用データに対応付けられた顔向きに対応する関係に基づき検出条件が設定されるため、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

［適用例４］適用例２または適用例３に記載の画像処理装置であって、
前記器官領域検出部は、
前記顔領域における画像領域である判定対象画像領域を設定する判定対象設定部と、
前記判定対象画像領域が顔の器官の画像に対応する画像領域であることの確からしさを表す評価値を算出するための器官評価用データを記憶する記憶部と、
前記器官評価用データと前記判定対象画像領域に対応する画像データとに基づき前記評価値を算出する評価値算出部と、
前記評価値と前記判定対象画像領域の位置およびサイズとに基づき、前記器官領域を設定する領域設定部と、を含み、
前記判定対象設定部は、前記顔領域と前記器官領域との間の前記関係に基づき、設定する前記判定対象画像領域の位置と大きさと数との少なくとも１つを決定する、画像処理装置。

この画像処理装置では、顔領域と器官領域との間の関係に基づき設定する判定対象画像領域の位置と大きさと数との少なくとも１つが決定されるため、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

［適用例５］適用例２ないし適用例４のいずれかに記載の画像処理装置であって、
前記顔評価用データは、前記サンプル画像を用いた学習により生成される、画像処理装置。

この画像処理装置では、学習による顔評価用データの生成に用いられたサンプル画像における顔の器官の画像に基づき予め設定された顔領域と器官領域との間の位置と大きさと数との少なくとも１つに関する関係に基づき検出条件が設定されるため、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

［適用例６］適用例１ないし適用例５のいずれかに記載の画像処理装置であって、
前記検出条件設定部は、検出すべき前記器官領域に対応する顔の器官の種類に応じて、前記検出条件を設定する、画像処理装置。

この画像処理装置では、顔の器官の種類に応じて画像における器官領域の検出処理の精度向上および効率化を図ることができる。

［適用例７］適用例１ないし適用例６のいずれかに記載の画像処理装置であって、
前記器官領域検出部は、複数の前記器官領域の候補を検出し、前記複数の器官領域の候補間の幾何学的な関係に基づき前記器官領域を決定する、画像処理装置。

この画像処理装置では、複数の器官領域の候補が検出され、複数の器官領域の候補間の幾何学的な関係に基づき器官領域が決定されるため、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

［適用例８］適用例１ないし適用例７のいずれかに記載の画像処理装置であって、
前記顔の器官の種類は、右目と左目と口との少なくとも１つである、画像処理装置。

この画像処理装置では、画像における右目と左目と口との少なくとも１つに対応する器官領域の検出処理の精度向上および効率化を図ることができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、器官領域検出方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔領域・器官領域検出処理：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。第１実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリ１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、後述する顔領域・器官領域検出処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

画像処理部２００は、プログラムモジュールとして、領域検出部２１０と、情報付加部２３０と、検出条件設定部２４０と、を含んでいる。領域検出部２１０は、画像データの表す画像における所定の種類の被写体の画像（顔の画像および顔の器官の画像）に対応する画像領域（顔領域および器官領域）の検出を行う。領域検出部２１０は、判定対象設定部２１１と、評価値算出部２１２と、判定部２１３と、領域設定部２１４と、を含んでいる。これら各部の機能については、後述の顔領域・器官領域検出処理の説明において詳述する。なお、後述するように、領域検出部２１０は、顔の画像に対応する顔領域の検出および顔の器官の画像に対応する器官領域の検出を行うため、本発明における顔領域検出部および器官領域検出部として機能する。

情報付加部２３０は、画像データを含む画像ファイルに所定の情報を付加する。検出条件設定部２４０は、顔領域の検出結果に基づき、器官領域を検出する際における検出すべき器官領域の位置と大きさと数との取り得る範囲を特定する検出条件を設定する。検出条件の設定方法については、後述の顔領域・器官領域検出処理の説明において詳述する。

内部メモリ１２０には、また、予め設定された複数の顔学習データＦＬＤおよび複数の顔器官学習データＯＬＤが格納されている。顔学習データＦＬＤおよび顔器官学習データＯＬＤは、領域検出部２１０による顔領域および器官領域の検出に用いられる。図２は、顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。図２（ａ）ないし図２（ｈ）には、顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類と、当該種類の顔学習データＦＬＤおよび顔器官学習データＯＬＤを用いて検出される画像領域の例と、を示している。

顔学習データＦＬＤの内容については後述の顔領域・器官領域検出処理の説明において詳述するが、顔学習データＦＬＤは、顔傾きと顔向きとの組み合わせに対応付けられて設定されている。ここで、顔傾きとは、画像面内（インプレーン）における顔の傾き（回転角度）を意味している。すなわち、顔傾きは、画像面に垂直な軸を中心とした顔の回転角度である。本実施例では、対象画像上の領域や被写体等の傾きを、領域や被写体等の上方向が対象画像の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度で表すものとしている。例えば、顔傾きは、対象画像の上下方向に沿って顔が位置している状態（頭頂が上方向を向き顎が下方向を向いた状態）を基準状態（顔傾き＝０度）とした場合における基準状態からの顔の時計回りの回転角度で表される。

また、顔向きとは、画像面外（アウトプレーン）における顔の向き（顔の振りの角度）を意味している。ここで、顔の振りとは、略円筒状の首の軸を中心とした顔の方向である。すなわち、顔向きは、画像面に平行な軸を中心とした顔の回転角度である。本実施例では、デジタルスチルカメラ等の画像生成装置の撮像面に正対した顔の顔向きを「正面向き」と呼び、撮像面に向かって右を向いた顔（画像の観賞者からみて左を向いた顔の画像）の顔向きを「右向き」と、撮像面に向かって左を向いた顔（画像の観賞者からみて右を向いた顔の画像）の顔向きを「左向き」と呼ぶものとしている。

内部メモリ１２０には、図２（ａ）ないし図２（ｄ）に示す４つの顔学習データＦＬＤ、すなわち、図２（ａ）に示す正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｂ）に示す正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｃ）に示す右向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、図２（ｄ）に示す右向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤと、が格納されている。なお、正面向きの顔と右向き（または左向き）の顔とは、別の種類の被写体と解釈することも可能であり、このように解釈した場合には、顔学習データＦＬＤは被写体の種類と被写体の傾きとの組み合わせに対応して設定されていると表現することも可能である。

後述するように、ある顔傾きに対応する顔学習データＦＬＤは、当該顔傾きを中心に顔傾きの値がプラスマイナス１５度の範囲の顔の画像を検出可能なように学習によって設定されている。また、人物の顔は実質的に左右対称である。そのため、正面向きの顔向きについては、０度の顔傾きに対応する顔学習データＦＬＤ（図２（ａ））と３０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｂ））との２つが予め準備されれば、これら２つの顔学習データＦＬＤを９０度単位で回転させることにより、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。右向きの顔向きについても同様に、０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｃ））と３０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｄ））との２つが予め準備されれば、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。また、左向きの顔向きについては、右向きの顔向きに対応する顔学習データＦＬＤを反転させることにより、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。

顔器官学習データＯＬＤは、顔の器官の種類と器官傾きとの組み合わせに対応付けられて設定されている。本実施例では、顔の器官の種類として、目（右目および左目）と口とが設定されている。また、器官傾きとは、上述の顔傾きと同様に、画像面内（インプレーン）における顔の器官の傾き（回転角度）を意味している。すなわち、器官傾きは、画像面に垂直な軸を中心とした顔の器官の回転角度である。器官傾きは、顔傾きと同様に、対象画像の上下方向に沿って顔の器官が位置している状態を基準状態（器官傾き＝０度）とした場合における基準状態からの顔の器官の時計回りの回転角度で表される。

内部メモリ１２０には、図２（ｅ）ないし図２（ｈ）に示す４つの顔器官学習データＯＬＤ、すなわち、図２（ｅ）に示す目と０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｆ）に示す目と３０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｇ）に示す口と０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｈ）に示す口と３０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、が格納されている。目と口とは別の種類の被写体であるため、顔器官学習データＯＬＤは被写体の種類と被写体の傾きとの組み合わせに対応して設定されていると表現できる。

顔学習データＦＬＤと同様に、ある器官傾きに対応する顔器官学習データＯＬＤは、当該器官傾きを中心に器官傾きの値がプラスマイナス１５度の範囲の器官の画像を検出可能なように学習によって設定されている。また、人物の目や口は実質的に左右対称である。そのため、目については、０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｅ））と３０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｆ））との２つが予め準備されれば、これら２つの顔器官学習データＯＬＤを９０度単位で回転させることにより、あらゆる器官傾きの目の画像を検出可能な顔器官学習データＯＬＤを得ることができる。口についても同様に、０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｇ））と３０度の器官傾きに対応する顔器官学習データＯＬＤであることを（図２（ｈ））との２つが予め準備されれば、あらゆる器官傾きの口の画像を検出可能な顔器官学習データＯＬＤを得ることができる。なお、本実施例では、右目と左目とは同じ種類の被写体であるとし、右目の画像に対応する右目領域と左目の画像に対応する左目領域とを共通の顔器官学習データＯＬＤを用いて検出するものとしているが、右目と左目とは異なる種類の被写体であるとして、右目領域検出用と左目領域検出用とにそれぞれ専用の顔器官学習データＯＬＤを準備するものとしてもよい。

Ａ−２．顔領域・器官領域検出処理：
図３は、第１実施例における顔領域・器官領域検出処理の流れを示すフローチャートである。本実施例における顔領域・器官領域検出処理は、画像データの表す画像における顔の画像に対応する顔領域の検出と顔領域における顔の器官に対応する器官領域の検出とを行う処理である。なお、顔領域・器官領域検出処理の処理結果、すなわち検出された顔領域や器官領域は、所定の画像処理（例えば肌色補正、赤目補正、顔画像の変形、表情（笑顔等）の検出）に利用可能である。

ステップＳ１１０（図３）では、画像処理部２００（図１）が、顔領域・器官領域検出処理の対象となる画像を表す画像データを取得する。本実施例のプリンタ１００では、カードスロット１７２にメモリカードＭＣが挿入されると、メモリカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリカードＭＣより取得して内部メモリ１２０の所定の領域に格納する。なお、取得された画像データを原画像データと呼び、原画像データの表す画像を原画像ＯＩｍｇと呼ぶものとする。

ステップＳ１２０（図３）では、領域検出部２１０（図１）が、顔領域検出処理を行う。顔領域検出処理は、顔の画像に対応する画像領域を顔領域ＦＡとして検出する処理である。図４は、顔領域検出処理の流れを示すフローチャートである。また、図５は、顔領域検出処理の概要を示す説明図である。図５の最上段には原画像ＯＩｍｇの一例を示している。

顔領域検出処理（図４）におけるステップＳ３１０では、領域検出部２１０（図１）が、原画像ＯＩｍｇを表す原画像データから顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。本実施例では、図５に示すように、顔検出用画像ＦＤＩｍｇは横３２０画素×縦２４０画素のサイズの画像である。領域検出部２１０は、必要により原画像データの解像度変換を行うことにより、顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。

ステップＳ３２０（図４）では、判定対象設定部２１１（図１）が、判定対象画像領域ＪＩＡ（後述）の設定に用いるウィンドウＳＷのサイズを初期値に設定する。ステップＳ３３０では、判定対象設定部２１１が、ウィンドウＳＷを顔検出用画像ＦＤＩｍｇ上の初期位置に配置する。ステップＳ３４０では、判定対象設定部２１１が、顔検出用画像ＦＤＩｍｇ上に配置されたウィンドウＳＷにより規定される画像領域を、顔の画像に対応する画像領域であるか否かの判定（以下「顔判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡに設定する。図５の中段には、顔検出用画像ＦＤＩｍｇ上に初期値のサイズのウィンドウＳＷが初期位置に配置され、ウィンドウＳＷにより規定される画像領域が判定対象画像領域ＪＩＡに設定される様子を示している。本実施例では、後述するように、正方形形状のウィンドウＳＷのサイズおよび位置が変更されつつ判定対象画像領域ＪＩＡの設定が順に行われるが、ウィンドウＳＷのサイズの初期値は最大サイズである横２４０画素×縦２４０画素であり、ウィンドウＳＷの初期位置はウィンドウＳＷの左上の頂点が顔検出用画像ＦＤＩｍｇの左上の頂点に重なるような位置である。また、ウィンドウＳＷは、その傾きが０度の状態で配置される。なお、上述したように、ウィンドウＳＷの傾きとは、ウィンドウＳＷの上方向が対象画像（顔検出用画像ＦＤＩｍｇ）の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度を意味している。

ステップＳ３５０（図４）では、評価値算出部２１２（図１）が、判定対象画像領域ＪＩＡについて、判定対象画像領域ＪＩＡに対応する画像データ基づき、顔判定に用いる累計評価値Ｔｖを算出する。なお、本実施例では、顔判定は、予め設定された特定顔傾きと特定顔向きとの組み合わせ毎に実行される。すなわち、特定顔傾きと特定顔向きとの組み合わせ毎に、判定対象画像領域ＪＩＡが当該特定顔傾きと特定顔向きとを有する顔の画像に対応する画像領域であるか否かの判定が行われる。そのため、累計評価値Ｔｖも特定顔傾きと特定顔向きとの組み合わせ毎に算出される。ここで、特定顔傾きとは、所定の顔傾きであり、本実施例では、基準顔傾き（顔傾き＝０度）と基準顔傾きから顔傾きを３０度ずつ増加させた顔傾きとの計１２個の顔傾き（０度、３０度、６０度、・・・、３３０度）が、特定顔傾きとして設定されている。また、特定顔向きとは、所定の顔向きであり、本実施例では、正面向きと右向きと左向きとの計３個の顔向きが特定顔向きとして設定されている。

図６は、顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。本実施例では、累計評価値Ｔｖの算出にＮ個のフィルタ（フィルタ１〜フィルタＮ）が用いられる。各フィルタの外形はウィンドウＳＷと同じアスペクト比を有しており（すなわち正方形形状であり）、各フィルタにはプラス領域ｐａとマイナス領域ｍａとが設定されている。評価値算出部２１２は、判定対象画像領域ＪＩＡにフィルタＸ（Ｘ＝１，２，・・・，Ｎ）を順に適用して評価値ｖＸ（すなわちｖ１〜ｖＮ）を算出する。具体的には、評価値ｖＸは、フィルタＸのプラス領域ｐａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計から、マイナス領域ｍａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計を差し引いた値である。

算出された評価値ｖＸは、各評価値ｖＸに対応して設定された閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）と比較される。本実施例では、評価値ｖＸが閾値ｔｈＸ以上である場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であると判定され、フィルタＸの出力値として値「１」が設定される。一方、評価値ｖＸが閾値ｔｈＸより小さい場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域ではないと判定され、フィルタＸの出力値として値「０」が設定される。各フィルタＸには重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が設定されており、すべてのフィルタについての出力値と重み係数ＷｅＸとの積の合計が、累計評価値Ｔｖとして算出される。

なお、顔判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、後述の閾値ＴＨは、顔学習データＦＬＤとして予め規定されている。すなわち、例えば、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定には、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ａ）参照）に規定されたフィルタＸの態様、閾値ｔｈＸ、重み係数ＷｅＸ、閾値ＴＨが用いられる。同様に、正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定には、正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ｂ）参照）が用いられる。また、正面向きの顔向きと他の特定顔傾きとの組み合わせに対応する累計評価値Ｔｖの算出や顔判定の際には、正面向きの顔向きと０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ａ））と正面向きの顔向きと３０度の顔傾きとの組み合わせに対応する顔学習データＦＬＤ（図２（ｂ））とに基づき、正面向きの顔向きと当該他の特定顔傾きとの組み合わせに対応する顔学習データＦＬＤが評価値算出部２１２により生成され、使用される。右向きや左向きの顔向きについても同様に、内部メモリ１２０に予め格納された顔学習データＦＬＤに基づき必要な顔学習データＦＬＤが生成され、使用される。なお、本実施例における顔学習データＦＬＤは、判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であることの確からしさを評価するためのデータであり、本発明における顔評価用データに相当する。

なお、顔学習データＦＬＤは、サンプル画像を用いた学習によって設定（生成）される。図７は、正面向きの顔に対応する顔学習データＦＬＤの設定のための学習に用いられるサンプル画像の一例を示す説明図である。学習には、正面向きの顔に対応する画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、正面向きの顔に対応する画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群と、が用いられる。

学習による正面向きの顔に対応する顔学習データＦＬＤの設定は特定顔傾き毎に実行されるため、図７に示すように、顔サンプル画像群は、１２個の特定顔傾きのそれぞれに対応するものが準備される。例えば０度の特定顔傾きについての顔学習データＦＬＤの設定は、０度の特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とを用いて実行され、３０度の特定顔傾きについての顔学習データＦＬＤの設定は、３０度の特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とを用いて実行される。

各特定顔傾きに対応する顔サンプル画像群は、画像サイズに対する顔の画像の大きさの比が所定の値の範囲内であると共に顔の画像の傾きが特定顔傾きに等しい複数の顔サンプル画像（以下「基本顔サンプル画像ＦＩｏ」とも呼ぶ）を含む。また、顔サンプル画像群は、少なくとも１つの基本顔サンプル画像ＦＩｏについて、基本顔サンプル画像ＦＩｏを１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図７における画像ＦＩａおよびＦＩｂ）や、基本顔サンプル画像ＦＩｏの顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図７における画像ＦＩｃおよびＦＩｄ）、基本顔サンプル画像ＦＩｏにおける顔の画像の位置を上下左右に所定の移動量だけ移動した画像（例えば図７における画像ＦＩｅないしＦＩｈ）をも含む。

サンプル画像を用いた学習は、例えばニューラルネットワークを用いた方法や、ブースティング（例えばアダブースティング）を用いた方法、サポートベクターマシーンを用いた方法等により実行される。例えば学習がニューラルネットワークを用いた方法により実行される場合には、各フィルタＸ（すなわちフィルタ１〜フィルタＮ、図６参照）について、ある特定顔傾きに対応する顔サンプル画像群と非顔サンプル画像群とに含まれるすべてのサンプル画像を用いて評価値ｖＸ（すなわちｖ１〜ｖＮ）が算出され、所定の顔検出率を達成する閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）が設定される。ここで、顔検出率とは、顔サンプル画像群を構成する顔サンプル画像の総数に対する、評価値ｖＸによる閾値判定によって顔の画像に対応する画像であると判定される顔サンプル画像の数の割合を意味している。

次に、各フィルタＸに設定された重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が初期値に設定され、顔サンプル画像群および非顔サンプル画像群の中から選択された１つのサンプル画像についての累計評価値Ｔｖが算出される。後述するように、顔判定においては、ある画像について算出された累計評価値Ｔｖが所定の閾値ＴＨ以上の場合には、当該画像は顔の画像に対応する画像であると判定される。学習においては、選択されたサンプル画像（顔サンプル画像または非顔サンプル画像）について算出された累計評価値Ｔｖによる閾値判定結果の正誤に基づき、各フィルタＸに設定された重み係数ＷｅＸの値が修正される。以降、サンプル画像の選択と、選択されたサンプル画像について算出された累計評価値Ｔｖによる閾値判定、および判定結果の正誤に基づく重み係数ＷｅＸの値の修正が、顔サンプル画像群および非顔サンプル画像群に含まれるすべてのサンプル画像について繰り返し実行される。このような処理によって、正面向きの顔向きと特定顔傾きとの組み合わせに対応する顔学習データＦＬＤが設定される。

なお、他の特定顔向き（右向きおよび左向き）に対応する顔学習データＦＬＤも同様に、右向き（または左向き）の顔に対応する画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、右向き（または左向き）の顔に対応する画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群とを用いた学習によって設定される。

判定対象画像領域ＪＩＡについて特定顔傾きと特定顔向きとの組み合わせ毎に累計評価値Ｔｖが算出されると（図４のステップＳ３５０）、判定部２１３（図１）は、累計評価値Ｔｖを特定顔傾きと特定顔向きとの組み合わせ毎に設定された閾値ＴＨと比較する（ステップＳ３６０）。ある特定顔傾きと特定顔向きとの組み合わせについて累計評価値Ｔｖが閾値ＴＨ以上である場合には、領域検出部２１０が、判定対象画像領域ＪＩＡは当該特定顔傾きと当該特定顔向きとを有する顔の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標と、当該特定顔傾きおよび当該特定顔向きと、を記憶する（ステップＳ３７０）。一方、いずれの特定顔傾きと特定顔向きとの組み合わせについても累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ３７０の処理はスキップされる。

ステップＳ３８０（図４）では、領域検出部２１０（図１）が、現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたか否かを判定する。未だ顔検出用画像ＦＤＩｍｇ全体がスキャンされていないと判定された場合には、判定対象設定部２１１（図１）が、ウィンドウＳＷを所定の方向に所定の移動量だけ移動する（ステップＳ３９０）。図５の下段には、ウィンドウＳＷが移動した様子を示している。本実施例では、ステップＳ３９０において、ウィンドウＳＷがウィンドウＳＷの水平方向の大きさの２割分の移動量で右方向に移動するものとしている。また、ウィンドウＳＷがさらに右方向には移動できない位置に配置されている場合には、ステップＳ３９０において、ウィンドウＳＷが顔検出用画像ＦＤＩｍｇの左端まで戻ると共に、ウィンドウＳＷの垂直方向の大きさの２割分の移動量で下方向に移動するものとしている。ウィンドウＳＷがさらに下方向には移動できない位置に配置されている場合には、顔検出用画像ＦＤＩｍｇ全体がスキャンされたこととなる。ウィンドウＳＷの移動（ステップＳ３９０）の後には、移動後のウィンドウＳＷについて、上述のステップＳ３４０以降の処理が実行される。

ステップＳ３８０（図４）において現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたと判定された場合には、ウィンドウＳＷの所定のサイズがすべて使用されたか否かが判定される（ステップＳ４００）。本実施例では、ウィンドウＳＷのサイズとして、初期値（最大サイズ）である横２４０画素×縦２４０画素の他に、横２１３画素×縦２１３画素、横１７８画素×縦１７８画素、横１４９画素×縦１４９画素、横１２４画素×縦１２４画素、横１０３画素×縦１０３画素、横８６画素×縦８６画素、横７２画素×縦７２画素、横６０画素×縦６０画素、横５０画素×縦５０画素、横４１画素×縦４１画素、横３５画素×縦３５画素、横２９画素×縦２９画素、横２４画素×縦２４画素、横２０画素×縦２０画素（最小サイズ）、の合計１５個のサイズが設定されている。未だ使用されていないウィンドウＳＷのサイズがあると判定された場合には、判定対象設定部２１１（図１）が、ウィンドウＳＷのサイズを現在設定されているサイズの次に小さいサイズに変更する（ステップＳ４１０）。すなわち、ウィンドウＳＷのサイズは、最初に最大サイズに設定され、その後、順に小さいサイズに変更されていく。ウィンドウＳＷのサイズの変更（ステップＳ４１０）の後には、変更後のサイズのウィンドウＳＷについて、上述のステップＳ３３０以降の処理が実行される。

ステップＳ４００（図４）においてウィンドウＳＷの所定のサイズがすべて使用されたと判定された場合には、領域設定部２１４（図１）が、顔領域決定処理を実行する（ステップＳ４２０）。図８および図９は、顔領域決定処理の概要を示す説明図である。領域設定部２１４は、図４のステップＳ３６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定され、ステップＳ３７０において記憶されたウィンドウＳＷの座標と特定顔傾きとに基づき、顔の画像に対応する画像領域としての顔領域ＦＡを決定する。具体的には、記憶された特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ）が、そのまま顔領域ＦＡとして決定される。一方、記憶された特定顔傾きが０度以外である場合には、ウィンドウＳＷの傾きを特定顔傾きに一致させ（すなわちウィンドウＳＷを所定の点（例えばウィンドウＳＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後のウィンドウＳＷにより規定される画像領域が顔領域ＦＡとして決定される。例えば図８（ａ）に示すように、３０度の特定顔傾きについて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図８（ｂ）に示すように、ウィンドウＳＷの傾きを３０度に変化させ、傾き変化後のウィンドウＳＷにより規定される画像領域が顔領域ＦＡとして決定される。

また、領域設定部２１４（図１）は、ステップＳ３７０（図４）においてある特定顔傾きについて互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（以下「平均ウィンドウＡＷ」とも呼ぶ）を設定する。例えば図９（ａ）に示すように、互いに一部が重複する４つのウィンドウＳＷ（ＳＷ１〜ＳＷ４）が記憶された場合には、図９（ｂ）に示すように、４つのウィンドウＳＷのそれぞれの重心の座標の平均の座標を重心とし、４つのウィンドウＳＷのそれぞれのサイズの平均のサイズを有する１つの平均ウィンドウＡＷが定義される。このとき、上述したのと同様に、記憶された特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま顔領域ＦＡとして決定される。一方、記憶された特定顔傾きが０度以外である場合には、平均ウィンドウＡＷの傾きを特定顔傾きに一致させ（すなわち平均ウィンドウＡＷを所定の点（例えば平均ウィンドウＡＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後の平均ウィンドウＡＷにより規定される画像領域が顔領域ＦＡとして決定される（図９（ｃ）参照）。

なお、図８に示したように、他のウィンドウＳＷと重複しない１つのウィンドウＳＷが記憶された場合にも、図９に示した互いに一部が重複する複数のウィンドウＳＷが記憶された場合と同様に、１つのウィンドウＳＷ自身が平均ウィンドウＡＷであると解釈することも可能である。

本実施例では、学習の際に用いられる顔サンプル画像群（図７参照）に、基本顔サンプル画像ＦＩｏを１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図７における画像ＦＩａおよびＦＩｂ）が含まれているため、ウィンドウＳＷの大きさに対する顔の画像の大きさが基本顔サンプル画像ＦＩｏと比べてわずかに大きかったり小さかったりする場合にも、顔領域ＦＡが検出されうる。従って、本実施例では、ウィンドウＳＷの標準サイズとして上述した１５個の離散的なサイズのみが設定されているが、あらゆる大きさの顔の画像について顔領域ＦＡが検出されうる。同様に、本実施例では、学習の際に用いられる顔サンプル画像群に、基本顔サンプル画像ＦＩｏの顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図７における画像ＦＩｃおよびＦＩｄ）が含まれているため、ウィンドウＳＷに対する顔の画像の傾きが基本顔サンプル画像ＦＩｏとはわずかに異なっている場合にも、顔領域ＦＡが検出されうる。従って、本実施例では、特定顔傾きとして上述した１２個の離散的な角度のみが設定されているが、あらゆる角度の顔の画像について顔領域ＦＡが検出されうる。

顔領域検出処理（図３のステップＳ１２０）において、顔領域ＦＡが検出されなかった場合には（ステップＳ１３０：Ｎｏ）、顔領域・器官領域検出処理は終了する。一方、少なくとも１つの顔領域ＦＡが検出された場合には（ステップＳ１３０：Ｙｅｓ）、領域検出部２１０（図１）が、検出された顔領域ＦＡの１つを選択する（ステップＳ１４０）。

ステップＳ１５０（図３）では、検出条件設定部２４０（図１）が、顔領域検出処理（ステップＳ１２０）の結果に基づき、後述の器官領域検出処理（ステップＳ１６０）において検出すべき器官領域の位置と大きさと数との取り得る範囲を特定する検出条件を設定する。上述したように、本実施例では、顔の器官の種類として目（右目および左目）と口とが設定されているため、後述の器官領域検出処理では、右目の画像に対応する右目領域ＥＡ（ｒ）と左目の画像に対応する左目領域ＥＡ（ｌ）と口の画像に対応する口領域ＭＡとの検出が行われる（以下、右目領域ＥＡ（ｒ）および左目領域ＥＡ（ｌ）をまとめて「目領域ＥＡ」とも呼ぶ）。検出条件の設定も、目領域ＥＡおよび口領域ＭＡのそれぞれについて実行される。

図１０および図１１は、検出条件の設定方法の概要を示す説明図である。図１０には、器官領域の位置についての検出条件の設定方法の概要を示している。図１０（ａ）および図１０（ｂ）に示すように、器官領域の位置についての検出条件の設定の際には、選択された顔領域ＦＡにおいて３つの領域（領域Ａ、領域Ｂ、領域Ｃ、以下、３つの領域をまとめて「位置特定領域」とも呼ぶ）が設定され、領域Ａおよび領域Ｃが目領域ＥＡが位置し得る範囲とされ、領域Ｂおよび領域Ｃが口領域ＭＡが位置し得る範囲とされる。ここで、本実施例では、領域の位置とは、当該領域の重心の位置を意味するものとしている。

顔領域ＦＡと位置特定領域（領域Ａ、領域Ｂ、領域Ｃ）との間の位置に関する関係は、特定顔向き（正面向き、右向き、左向き）毎に予め設定され、内部メモリ１２０の所定の領域に記憶されている。図１０（ａ）には正面向きの特定顔向きに対応した顔領域ＦＡと位置特定領域との位置関係を示しており、図１０（ｂ）には右向きの特定顔向きに対応した顔領域ＦＡと位置特定領域との位置関係を示している。左向きの特定顔向きに対応した顔領域ＦＡと位置特定領域との位置関係は、図１０（ｂ）に示した関係を左右反転させた関係である。位置特定領域により器官領域（目領域ＥＡおよび口領域ＭＡ）の位置し得る範囲が特定されるため、顔領域ＦＡと器官領域の位置し得る範囲との位置関係が予め設定されていると表現できる。

顔領域ＦＡと位置特定領域（領域Ａ、領域Ｂ、領域Ｃ）との位置関係の設定は、特定顔向き毎に、顔学習データＦＬＤ（図２参照）の設定に用いられた顔サンプル画像群（図７参照）を構成する複数の顔サンプル画像における顔の器官の画像の位置に基づき実行される。すなわち、特定顔向き毎に、複数の顔サンプル画像における目および口の画像の位置が調べられ、顔サンプル画像における目の画像が位置し得る範囲に対応する顔領域ＦＡ上の領域（以下「目配置可能領域」とも呼ぶ）と、顔サンプル画像における口の画像が位置し得る範囲に対応する顔領域ＦＡ上の領域（以下「口配置可能領域」とも呼ぶ）と、の重複部分が領域Ｃに設定される。また、目配置可能領域の内の領域Ｃと重複しない部分が領域Ａに設定され、口配置可能領域の内の領域Ｃと重複しない部分が領域Ｂに設定される。

検出条件設定部２４０は、ステップＳ１４０で選択された顔領域ＦＡの検出に用いられた顔学習データＦＬＤに対応付けられた特定顔向きを特定し、当該特定顔向きに対応する顔領域ＦＡと位置特定領域（領域Ａ、領域Ｂ、領域Ｃ）との位置関係（図１０参照）に基づき顔領域ＦＡにおける位置特定領域を設定することにより、器官領域の位置についての検出条件を設定する。

図１１には、器官領域の大きさについての検出条件の設定方法の概要を示している。本実施例では、顔領域ＦＡの大きさに対する各器官領域の大きさの比の範囲が、特定顔向き（正面向き、右向き、左向き）毎に予め設定され、内部メモリ１２０の所定の領域に記憶されている。顔領域ＦＡの大きさに対する各器官領域の大きさの比の範囲の設定は、特定顔向き毎に、顔学習データＦＬＤ（図２参照）の設定に用いられた顔サンプル画像群（図７参照）を構成する複数の顔サンプル画像における顔の器官の画像の大きさに基づき実行される。すなわち、特定顔向き毎に、複数の顔サンプル画像における目および口の画像の大きさが調べられ、顔サンプル画像の大きさに対する目および口の画像の大きさの比の範囲が、顔領域ＦＡの大きさに対する器官領域の大きさの比の範囲として設定される。図１１（ａ）には、正面向きの特定顔向きに対応する顔学習データＦＬＤの設定に用いられた顔サンプル画像の内、目および口の画像の大きさが最大の画像である画像ＦＩａを示しており、図１１（ｂ）には、正面向きの特定顔向きに対応する顔学習データＦＬＤの設定に用いられた顔サンプル画像の内、目および口の画像の大きさが最小の画像である画像ＦＩｂを示している。この場合、画像ＦＩｂにおける画像ＦＩｂの大きさに対する各器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡ）の大きさの比から、画像ＦＩａにおける画像ＦＩａの大きさに対する各器官領域の大きさの比までの範囲が、顔領域ＦＡの大きさに対する各器官領域の大きさの比の範囲として設定される。

検出条件設定部２４０は、ステップＳ１４０で選択された顔領域ＦＡの検出に用いられた顔学習データＦＬＤに対応付けられた特定顔向きを特定し、当該特定顔向きに対応する顔領域ＦＡの大きさに対する各器官領域の大きさの比の範囲を設定することにより、器官領域の大きさについての検出条件を設定する。

また、検出条件設定部２４０は、ステップＳ１４０で選択された顔領域ＦＡの検出に用いられた顔学習データＦＬＤに対応付けられた特定顔向きに基づき、器官領域の数についての検出条件を設定する。具体的には、特定顔向きが正面向きである場合には、検出すべき器官領域の数を、右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡの３つに設定し、特定顔向きが右向き（または左向き）である場合には、検出すべき器官領域の数を、右目領域ＥＡ（ｒ）（または左目領域ＥＡ（ｌ））、口領域ＭＡの２つに設定する。

ステップＳ１６０（図３）では、領域検出部２１０（図１）が、器官領域検出処理を行う。器官領域検出処理は、ステップＳ１４０で選択された顔領域ＦＡにおける顔の器官の画像に対応する画像領域を器官領域として検出する処理である。本実施例の器官領域検出処理では、ステップＳ１５０で設定された検出条件を満たす器官領域の検出が行われる。

図１２は、器官領域検出処理の流れを示すフローチャートである。また、図１３は、器官領域検出処理の概要を示す説明図である。図１３の最上段には、顔検出処理に用いられた顔検出用画像ＦＤＩｍｇ（図５参照）の一例を示している。

顔検出用画像ＦＤＩｍｇからの器官領域の検出は、上述した顔領域ＦＡの検出と同様に行われる。すなわち、図１３に示すように、矩形形状のウィンドウＳＷがその位置およびサイズ（大きさ）が変更されつつ顔検出用画像ＦＤＩｍｇ上に配置され（図１２のステップＳ５２０，Ｓ５３０，Ｓ５８０〜Ｓ６１０）、配置されたウィンドウＳＷにより規定される画像領域が顔の器官の画像に対応する器官領域であるか否かの判定（以下「器官判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡとして設定される（図１２のステップＳ５４０）。なお、ウィンドウＳＷの取り得る位置およびサイズ（大きさ）は、ステップＳ１５０で設定された検出条件に基づき決定される。すなわち、ウィンドウＳＷは、設定された検出条件により特定される器官領域の位置し得る範囲内に配置される。具体的には、目領域ＥＡの検出の際には、ウィンドウＳＷは、その重心が図１０に示した領域Ａおよび領域Ｂの範囲内に位置するように配置され、口領域ＭＡの検出の際には、ウィンドウＳＷは、その重心が図１０に示した領域Ｃおよび領域Ｂの範囲内に位置するように配置される。また、ウィンドウＳＷのサイズ（大きさ）は、設定された検出条件により特定される器官領域の大きさの取り得る範囲内に設定される（図１１参照）。このようにウィンドウＳＷの取り得る位置およびサイズが設定されることにより、設定された検出条件を満たす器官領域が検出される。なお、ウィンドウＳＷは、その傾きが０度の状態（ウィンドウＳＷの上方向が顔検出用画像ＦＤＩｍｇの上方向と一致した基準状態）で配置される。

判定対象画像領域ＪＩＡが設定されると、顔器官学習データＯＬＤ（図１）を用いて、顔の器官（目および口）毎に、器官判定に用いられる累計評価値Ｔｖが算出される（図１２のステップＳ５５０）。累計評価値Ｔｖの算出や器官判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、閾値ＴＨ（図６参照）は、顔器官学習データＯＬＤに規定されている。なお、顔器官学習データＯＬＤの設定のための学習は、顔学習データＦＬＤの設定のための学習と同様に、顔の器官に対応する画像であることが予めわかっている複数の器官サンプル画像によって構成された器官サンプル画像群と、顔の器官に対応する画像ではないことが予めわかっている複数の非器官サンプル画像によって構成された非器官サンプル画像群と、を用いて実行される。

なお、顔領域検出処理（図４）においては、累計評価値Ｔｖの算出および顔判定が、すべての特定顔傾きについて実行されるのに対し、器官領域検出処理（図１２）では、累計評価値Ｔｖの算出および器官判定が、選択された顔領域ＦＡの特定顔傾きと同一の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｅ）ないし図２（ｈ）参照）を用いて、顔領域ＦＡの特定顔傾きと同一の器官傾きについてのみ実行される。ただし、器官領域検出処理においても、累計評価値Ｔｖの算出および器官判定が、すべての特定器官傾きについて実行されるものとしてもよい。

算出された累計評価値Ｔｖが所定の閾値ＴＨ以上である場合には、判定対象画像領域ＪＩＡは顔の当該器官の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標が記憶される（図１２のステップＳ５７０）。一方、累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ５７０の処理はスキップされる。

ウィンドウＳＷの取り得るサイズのすべてについて、ウィンドウＳＷの位置し得る範囲全体がスキャンされた後に、領域設定部２１４（図１）による器官領域設定処理が実行される（図１２のステップＳ６２０）。図１４は、器官領域設定処理の概要を示す説明図である。器官領域設定処理は、顔領域設定処理（図８および図９参照）と同様の処理である。領域設定部２１４は、図１２のステップＳ５６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定され、ステップＳ５７０において記憶されたウィンドウＳＷの座標と、顔領域ＦＡに対応する特定顔傾きと、に基づき、顔の器官の画像に対応する画像領域としての器官領域を設定する。具体的には、特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ）が、そのまま器官領域として設定される。一方、特定顔傾きが０度以外である場合には、ウィンドウＳＷの傾きを特定顔傾きに一致させ（すなわちウィンドウＳＷを所定の点（例えばウィンドウＳＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後のウィンドウＳＷにより規定される画像領域が器官領域として設定される。例えば図１４（ａ）に示すように、３０度の特定顔傾きについて、右目に対応するウィンドウＳＷ（ｅｒ）と左目に対応するウィンドウＳＷ（ｅｌ）と口に対応するウィンドウＳＷ（ｍ）とにおいて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図１４（ｂ）に示すように、各ウィンドウＳＷの傾きを３０度に変化させ、傾き変化後の各ウィンドウＳＷにより規定される画像領域が器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡ）として設定される。

また、顔領域設定処理と同様に、互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（平均ウィンドウＡＷ）が設定され、特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま器官領域として設定され、特定顔傾きが０度以外である場合には、平均ウィンドウＡＷの傾きを特定顔傾きに一致させ（すなわち平均ウィンドウＡＷを所定の点（例えば平均ウィンドウＡＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後の平均ウィンドウＡＷにより規定される画像領域が器官領域として設定される。

ステップＳ１７０（図３）では、領域検出部２１０（図１）が、ステップＳ１４０において未だ選択されていない顔領域ＦＡが存在するか否かを判定する。未だ選択されていない顔領域ＦＡが存在すると判定された場合には（ステップＳ１７０：Ｎｏ）、ステップＳ１４０に戻って未選択の顔領域ＦＡの１つが選択され、ステップＳ１５０以降の処理が実行される。一方、すべての顔領域ＦＡが選択されたと判定された場合には（ステップＳ１７０：Ｙｅｓ）、処理はステップＳ１８０に進む。

ステップＳ１８０（図３）では、情報付加部２３０（図１）が、原画像データを含む画像ファイルに付属情報を付加する情報記録処理を行う。情報付加部２３０は、原画像データを含む画像ファイルの付属情報格納領域に、付属情報として、検出された顔領域および器官領域を特定する情報（原画像ＯＩｍｇにおける顔領域および器官領域の位置（座標）を示す情報）を格納する。なお、情報付加部２３０は、顔領域および器官領域の大きさ（サイズ）を示す情報や、原画像ＯＩｍｇにおける顔領域および器官領域の傾きを示す情報をも、付属情報格納領域に格納するとしてもよい。

以上説明したように、本実施例のプリンタ１００による顔領域・器官領域検出処理では、顔領域の検出結果に基づき、顔領域における器官領域を検出する際の検出すべき器官領域の位置と大きさと数との取り得る範囲を特定する検出条件が設定され、設定された検出条件を満たす器官領域の検出が行われる。すなわち、検出条件を満たす器官領域のみが検出され、評価により器官領域と判定され得る画像領域であっても検出条件を満たさない場合には器官領域として検出されない。そのため、本実施例のプリンタ１００による顔領域・器官領域検出処理では、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

Ｂ．第２実施例：
図１５および図１６は、本発明の第２実施例におけるウィンドウ決定処理の流れを示すフローチャートである。また、図１７は、本発明の第２実施例におけるウィンドウ決定処理の概要を示す説明図である。第２実施例におけるウィンドウ決定処理は、第１実施例の器官領域検出処理（図１２）における器官領域決定処理（ステップＳ６２０）の一部の処理であり、具体的には、目領域ＥＡに関して図１２のステップＳ５７０で複数のウィンドウＳＷの座標が記憶された場合に右目領域ＥＡ（ｒ）および左目領域ＥＡ（ｌ）に対応するウィンドウＳＷ（右目ウィンドウＳＷ（ｅｒ）および左目ウィンドウＳＷ（ｅｌ）、図１４参照）を決定する処理である。

ステップＳ７０２（図１５）では、領域設定部２１４（図１）が、初期化を行う。具体的には、ウィンドウ重複数ＯＬの最大値ＯＬｍａｘの値がゼロに設定されると共に、参照距離ＲＤの最小値ＲＤｍｉｎの値が１，０００に設定される。ウィンドウ重複数ＯＬおよび参照距離ＲＤについては後述する。なお、初期化において、参照距離の最小値ＲＤｍｉｎの値は後に算出される参照距離ＲＤが最小値ＲＤｍｉｎの値を超えないような比較的大きな値に設定されるものであり、１，０００以外の値に設定されてもよい。

ステップＳ７０４（図１５）では、領域設定部２１４が、目領域ＥＡに対応するウィンドウＳＷ（ウィンドウＳＷ（ｅ）と表す）を１つ選択する。なお、目領域ＥＡに対応するウィンドウＳＷ（ｅ）は、目に対応する顔器官学習データＯＬＤを用いた器官判定により目の画像に対応する画像領域であると判定されたウィンドウＳＷである。図１７（ａ）には、複数のウィンドウＳＷ（ｅ）を示しており、複数のウィンドウＳＷ（ｅ）の内の１つが選択される。

ステップＳ７０６（図１５）では、領域設定部２１４が、選択されたウィンドウＳＷ（ｅ）について、ウィンドウ重心Ｃｗの座標と参照距離ＲＤとを算出する。図１７（ｂ）に示すように、本実施例では、顔領域ＦＡにおいて、右目領域ＥＡ（ｒ）の重心の標準的な位置である標準重心ＡＣ（ｅｒ）と、左目領域ＥＡ（ｌ）の重心の標準的な位置である標準重心ＡＣ（ｅｌ）とが、予め設定されている。参照距離ＲＤは、選択されたウィンドウＳＷ（ｅ）の重心Ｃｗと標準重心ＡＣ（ｅｒ）および標準重心ＡＣ（ｅｌ）との間の距離の内の小さい方である。

ステップＳ７０８（図１５）では、領域設定部２１４が、選択されたウィンドウＳＷ（ｅ）の重心Ｃｗが、顔領域ＦＡの上半分に位置するか否かを判定する。ここで、図１７（ａ）に示すように、顔領域ＦＡの上半分とは、矩形形状の顔領域ＦＡを顔の左右方向に対応する顔領域ＦＡの外周線に平行な直線により半分に分割した際の、顔の上側に対応する領域である。なお、同様に、顔領域ＦＡを顔の左右方向に対応する顔領域ＦＡの外周線に平行な直線により半分に分割した際の顔の下側に対応する領域を顔領域ＦＡの下半分と呼ぶ。また、顔領域ＦＡを顔の上下方向に対応する顔領域ＦＡの外周線に平行な直線により半分に分割した際の顔の右側に対応する領域を顔領域ＦＡの右半分と呼び、残りの半分の領域を顔領域ＦＡの左半分と呼ぶ。選択されたウィンドウＳＷ（ｅ）の重心Ｃｗが顔領域ＦＡの上半分に位置しないと判定された場合には、選択されたウィンドウＳＷ（ｅ）は真に目領域ＥＡに対応するウィンドウＳＷではないと判定され、後述のステップＳ７１０ないしＳ７１４の処理がスキップされる。この場合には、ステップＳ７１６において、目領域ＥＡに対応するウィンドウＳＷ（ｅ）がすべて選択されたか否かが判定され、未だ選択されていないウィンドウＳＷ（ｅ）が存在する場合には、ステップＳ７０４に戻ってウィンドウＳＷ（ｅ）の選択が実行される。

ステップＳ７０８（図１５）において、選択されたウィンドウＳＷ（ｅ）の重心Ｃｗが顔領域ＦＡの上半分に位置すると判定された場合には、領域設定部２１４（図１）が、ウィンドウ重複数ＯＬと最大値ＯＬｍａｘとの比較を行う（ステップＳ７１０）。ここで、ウィンドウ重複数ＯＬは、選択されたウィンドウＳＷ（ｅ）に少なくとも一部が重複する他のウィンドウＳＷ（ｅ）の数である。ステップＳ７１０においてウィンドウ重複数ＯＬが最大値ＯＬｍａｘより大きいと判定された場合、またはステップＳ７１０においてウィンドウ重複数ＯＬがＯＬｍａｘと等しいと判定され、かつステップＳ７１４において参照距離ＲＤが最小値ＲＤｍｉｎより小さいと判定された場合には、領域設定部２１４は、現在選択されているウィンドウＳＷ（ｅ）を候補ウィンドウに設定する（ステップＳ７１２）。さらに、このとき、領域設定部２１４は、最大値ＯＬｍａｘを現在のウィンドウ重複数ＯＬに更新し、最小値ＲＤｍｉｎを現在の参照距離ＲＤに更新する。一方、ステップＳ７１０においてウィンドウ重複数ＯＬが最大値ＯＬｍａｘより小さいと判定された場合や、ステップＳ７１４において参照距離ＲＤが最小値ＲＤｍｉｎより小さくないと判定された場合には、ステップＳ７１２の処理はスキップされ、処理はステップＳ７１６に進む。

上述したステップＳ７０４からＳ７１４までの処理が、ステップＳ７１６において目領域ＥＡに対応するウィンドウＳＷ（ｅ）がすべて選択されたと判定されるまで、繰り返し実行される。これにより、目領域ＥＡに対応するウィンドウＳＷ（ｅ）の内、ウィンドウ重複数ＯＬの最も大きいウィンドウＳＷ（ｅ）（ウィンドウ重複数ＯＬの最も大きいウィンドウＳＷ（ｅ）が複数存在する場合には、その内の参照距離ＲＤの最も小さいウィンドウＳＷ（ｅ））が最終的な候補ウィンドウとして設定される。

ステップＳ７１８（図１５）では、領域設定部２１４が、最終的な候補ウィンドウの重心Ｃｗが顔領域ＦＡの右半分に位置するか左半分に位置するかを判定する。右半分に位置すると判定された場合には、候補ウィンドウが右目ウィンドウＳＷ（ｅｒ）として決定される（ステップＳ７２０）。一方、左半分に位置すると判定された場合には、候補ウィンドウが左目ウィンドウＳＷ（ｅｌ）として決定される（ステップＳ７２２）。

図１５のステップＳ７２２までの処理により、右目ウィンドウＳＷ（ｅｒ）および左目ウィンドウＳＷ（ｅｌ）の一方が決定される。以降の処理（図１６のステップＳ７２４以降の処理）では、右目ウィンドウＳＷ（ｅｒ）および左目ウィンドウＳＷ（ｅｌ）の内の未だ未決定のウィンドウＳＷの決定が実行される。

図１６のステップＳ７２４、Ｓ７２６、Ｓ７２８の処理内容は、それぞれ、図１５のステップＳ７０２、Ｓ７０４、Ｓ７０６の処理内容と同様である。ステップＳ７３０（図１６）では、領域設定部２１４が、選択されたウィンドウＳＷ（ｅ）が条件Ｘを満たすか否かを判定する。ここで、条件Ｘは、選択されたウィンドウＳＷ（ｅ）の重心Ｃｗが顔領域ＦＡの上半分に位置することと、選択されたウィンドウＳＷ（ｅ）が図１５のステップＳ７２０またはＳ７２２において既に決定された右目ウィンドウＳＷ（ｅｒ）または左目ウィンドウＳＷ（ｅｌ）（以下「既決定ウィンドウ」とも呼ぶ）に一部でも重複しないことと、選択されたウィンドウＳＷ（ｅ）と既決定ウィンドウとの為す角度が３０度以内であることと、顔領域ＦＡにおける選択されたウィンドウＳＷ（ｅ）の重心Ｃｗの位置が既決定ウィンドウの重心Ｃｗの位置と左右反対の位置であることと、の４つのＡＮＤ条件である。なお、選択されたウィンドウＳＷ（ｅ）と既決定ウィンドウとの為す角度が３０度以内であるとは、選択されたウィンドウＳＷ（ｅ）の重心Ｃｗと既決定ウィンドウの重心Ｃｗとを結ぶ直線と、顔領域ＦＡの顔の左右方向に対応する外周線と、の為す角度を意味している。選択されたウィンドウＳＷ（ｅ）の重心Ｃｗが顔領域ＦＡの上半分に位置しない場合、選択されたウィンドウＳＷ（ｅ）が既決定ウィンドウに一部でも重複する場合、選択されたウィンドウＳＷ（ｅ）と既決定ウィンドウとの為す角度が３０度を超える場合、顔領域ＦＡにおける選択されたウィンドウＳＷ（ｅ）の重心Ｃｗの位置が既決定ウィンドウの重心Ｃｗの位置と左右反対の位置となっていない場合には、それぞれ、当該ウィンドウＳＷ（ｅ）は真に目の画像に対応するウィンドウＳＷではないと考えられる。従って、条件Ｘが満たされないと判定された場合には、以下のステップＳ７３２ないしＳ７３６の処理がスキップされ、処理はステップＳ７３８に進む。なお、条件Ｘを構成する４つの条件の内、ウィンドウＳＷ（ｅ）の重心Ｃｗが顔領域ＦＡの上半分に位置すること以外の条件は、目領域ＥＡの候補としての複数のウィンドウＳＷ（ｅ）間の幾何学的な関係に関する条件である。

一方、条件Ｘが満たされると判定された場合には、ステップＳ７３２ないしＳ７３６の処理が実行される。ステップＳ７３２ないしＳ７３６の処理内容は、図１５のステップＳ７１０ないしＳ７１４の処理内容と同様である。上述したステップＳ７２６からＳ７３６までの処理が、ステップＳ７３８において目領域ＥＡに対応するウィンドウＳＷ（ｅ）がすべて選択されたと判定されるまで、繰り返し実行される。これにより、目領域ＥＡに対応するウィンドウＳＷ（ｅ）の内、条件Ｘを満足し、かつウィンドウ重複数ＯＬの最も大きいウィンドウＳＷ（ｅ）（ウィンドウ重複数ＯＬの最も大きいウィンドウＳＷ（ｅ）が複数存在する場合には、その内の参照距離ＲＤの最も小さいウィンドウＳＷ（ｅ））が最終的な候補ウィンドウとして設定される。

ステップＳ７４０（図１６）では、領域設定部２１４が、最終的な候補ウィンドウの重心Ｃｗが顔領域ＦＡの右半分に位置するか左半分に位置するかを判定する。右半分に位置すると判定された場合には、候補ウィンドウが右目ウィンドウＳＷ（ｅｒ）として決定される（ステップＳ７４２）。一方、左半分に位置すると判定された場合には、候補ウィンドウが左目ウィンドウＳＷ（ｅｌ）として決定される（ステップＳ７４４）。

以上説明したウィンドウ決定処理により、目領域ＥＡに関して図１２のステップＳ５７０で複数のウィンドウＳＷの座標が記憶された場合に右目領域ＥＡ（ｒ）および左目領域ＥＡ（ｌ）に対応する右目ウィンドウＳＷ（ｅｒ）および左目ウィンドウＳＷ（ｅｌ）が決定される。第２実施例におけるウィンドウ決定処理では、目領域ＥＡの候補としての複数のウィンドウＳＷ（ｅ）間の幾何学的な関係に関する条件に基づき右目ウィンドウＳＷ（ｅｒ）および左目ウィンドウＳＷ（ｅｌ）が決定されるため、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１．変形例１：
上記各実施例では、検出すべき器官領域の位置と大きさと数との取り得る範囲を特定する検出条件が設定されるとしているが、設定される検出条件は、必ずしも器官領域の位置と大きさと数とのすべてに関して取り得る範囲を特定するものである必要はなく、器官領域の位置と大きさと数との少なくとも１つに関して取り得る範囲を特定するものであればよい。このようにしても、画像における器官領域の検出処理の精度向上および効率化を図ることができる。

Ｃ２．変形例２：
上記各実施例では、器官領域検出処理（図１２）において、設定された検出条件が満たされるようにウィンドウＳＷの取り得る位置およびサイズ（大きさ）が設定されることにより判定対象画像領域ＪＩＡの設定が行われるとしているが、判定対象画像領域ＪＩＡの設定は検出条件とは独立して実行されるとしてもよい。この場合には、器官判定（図１２のステップＳ５６０）の後に、あるいは器官領域決定処理（図１２のステップＳ６２０）の後に、ウィンドウＳＷあるいは器官領域が設定された検出条件を満足するようなものであるか否かが判定される。このようにしても、画像における器官領域の検出処理の精度向上を図ることができる。

Ｃ３．変形例３：
上記各実施例では、器官領域の位置と大きさとに関する検出条件は、顔器官学習データＯＬＤの設定に用いられた顔サンプル画像における顔の器官の画像の位置および大きさに基づき予め設定されるとしているが、顔領域検出処理において器官の画像の位置および大きさに関して統計をとり、統計に基づき検出条件を設定するものとしてもよい。

Ｃ４．変形例４：
上記第２実施例では、右目ウィンドウＳＷ（ｅｒ）および左目ウィンドウＳＷ（ｅｌ）の決定のためのウィンドウ決定処理を説明したが、ウィンドウ決定処理は、他の顔の器官の画像に対応するウィンドウＳＷの決定のための処理に変形可能である。例えば、ウィンドウ決定処理は、右目ウィンドウＳＷ（ｅｒ）、左目ウィンドウＳＷ（ｅｌ）および口の画像に対応するウィンドウＳＷ（口ウィンドウＳＷ（ｍ）、図１４参照）の決定のための処理であるとしてもよい。この場合には、目領域ＥＡおよび口領域ＭＡの候補としての複数のウィンドウＳＷ（ｅ）間の幾何学的な関係に関する条件を利用してウィンドウＳＷの決定を行えばよい。

また、ウィンドウ決定処理は、目領域ＥＡおよび口領域ＭＡの候補としての各ウィンドウＳＷ（ｅ）の信頼度を用いて実行するとしてもよい。ここで信頼度とは、目領域ＥＡおよび口領域ＭＡの候補としてのウィンドウＳＷ（ｅ）が、真に目領域ＥＡおよび口領域ＭＡに対応する画像領域であることの確からしさを表す指標である。信頼度としては、ウィンドウＳＷ（ｅ）に重複するウィンドウの数や、ウィンドウＳＷ（ｅ）について算出された累計評価値Ｔｖを利用可能である。目領域ＥＡおよび口領域ＭＡの候補としての各ウィンドウＳＷ（ｅ）の内、信頼度の高いウィンドウＳＷ（ｅ）を右目ウィンドウＳＷ（ｅｒ）、左目ウィンドウＳＷ（ｅｌ）、口ウィンドウＳＷ（ｍ）として決定するとしてもよい。また、目領域ＥＡの候補としての各ウィンドウＳＷ（ｅ）の内、２つのウィンドウＳＷ（ｅ）の組み合わせについての信頼度の高いウィンドウＳＷ（ｅ）の組み合わせを右目ウィンドウＳＷ（ｅｒ）および左目ウィンドウＳＷ（ｅｌ）として決定するとしてもよい。また、目領域ＥＡおよび口領域ＭＡの候補としての各ウィンドウＳＷ（ｅ）の内、２つのウィンドウＳＷ（ｅ）の組み合わせについての目領域としての信頼度と、１つのウィンドウＳＷ（ｅ）についての口領域としての信頼度と、の合計の高いウィンドウＳＷ（ｅ）の組み合わせを右目ウィンドウＳＷ（ｅｒ）、左目ウィンドウＳＷ（ｅｌ）、口ウィンドウＳＷ（ｍ）として決定するとしてもよい。

Ｃ５．変形例５：
上記各実施例における顔領域検出処理（図４）や器官領域検出処理（図１２）の態様はあくまで一例であり、種々変更可能である。例えば顔検出用画像ＦＤＩｍｇ（図５参照）のサイズは３２０画素×２４０画素に限られず、他のサイズであってもよいし、原画像ＯＩｍｇそのものを顔検出用画像ＦＤＩｍｇとして用いることも可能である。また、使用されるウィンドウＳＷのサイズやウィンドウＳＷの移動方向および移動量（移動ピッチ）は上述したものに限られない。また、上記各実施例では、顔検出用画像ＦＤＩｍｇのサイズが固定され、複数種類のサイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されているが、複数種類のサイズの顔検出用画像ＦＤＩｍｇが生成され、固定サイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されるものとしてもよい。

また、上記各実施例では、累計評価値Ｔｖを閾値ＴＨと比較することにより顔判定および器官判定を行っているが（図６参照）、顔判定および器官判定を複数の判別器を用いた判別等の他の方法によって行ってもよい。顔判定および器官判定の方法に応じて、顔学習データＦＬＤおよび顔器官学習データＯＬＤの設定に用いられる学習方法も変更される。また、顔判定および器官判定は、必ずしも学習を用いた判別方法により行われる必要はなく、パターンマッチング等の他の方法により行われるとしてもよい。

また、上記各実施例では、３０度刻みの１２種類の特定顔傾きが設定されているが、より多くの種類の特定顔傾きが設定されてもよいし、より少ない種類の特定顔傾きが設定されてもよい。また、必ずしも特定顔傾きが設定される必要はなく、０度の顔傾きについての顔判定が行われるとしてもよい。また、上記各実施例では、顔サンプル画像群に基本顔サンプル画像ＦＩｏを拡大・縮小した画像や回転させた画像が含まれるとしているが、顔サンプル画像群に必ずしもこのような画像が含まれる必要はない。

上記各実施例において、あるサイズのウィンドウＳＷにより規定される判定対象画像領域ＪＩＡについての顔判定（または器官判定）で顔の画像（または顔の器官の画像）に対応する画像領域であると判定された場合には、当該サイズより所定の比率以上小さいサイズのウィンドウＳＷを配置する場合には、顔の画像に対応する画像領域であると判定された判定対象画像領域ＪＩＡを避けて配置するものとしてもよい。このようにすれば、処理の高速化を図ることができる。

上記各実施例では、メモリカードＭＣに格納された画像データが原画像データに設定されているが、原画像データはメモリカードＭＣに格納された画像データに限らず、例えばネットワークを介して取得された画像データであってもよい。

上記各実施例では、顔の器官の種類として、右目と左目と口とが設定されており、器官領域として、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとの検出が行われるが、顔の器官の種類として顔のどの器官を設定するかは変更可能である。例えば、顔の器官の種類として、右目と左目と口とのいずれか１つまたは２つのみが設定されるとしてもよい。また、顔の器官の種類として、右目と左目と口とに加えて、または右目と左目と口との少なくとも１つに代わり、顔のその他の器官の種類（例えば鼻や眉）が設定され、器官領域としてこのような器官の画像に対応する領域が検出されるとしてもよい。

上記各実施例では、顔領域ＦＡおよび器官領域は矩形の領域であるが、顔領域ＦＡおよび器官領域は矩形以外の形状の領域であってもよい。

上記各実施例では、画像処理装置としてのプリンタ１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピュータやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。 顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。 第１実施例における顔領域・器官領域検出処理の流れを示すフローチャートである。 顔領域検出処理の流れを示すフローチャートである。 顔領域検出処理の概要を示す説明図である。 顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。 正面向きの顔に対応する顔学習データＦＬＤの設定のための学習に用いられるサンプル画像の一例を示す説明図である。 顔領域決定処理の概要を示す説明図である。 顔領域決定処理の概要を示す説明図である。 検出条件の設定方法の概要を示す説明図である。 検出条件の設定方法の概要を示す説明図である。 器官領域検出処理の流れを示すフローチャートである。 器官領域検出処理の概要を示す説明図である。 器官領域設定処理の概要を示す説明図である。 本発明の第２実施例におけるウィンドウ決定処理の流れを示すフローチャートである。 本発明の第２実施例におけるウィンドウ決定処理の流れを示すフローチャートである。 本発明の第２実施例におけるウィンドウ決定処理の概要を示す説明図である。

符号の説明

１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…領域検出部
２１１…判定対象設定部
２１２…評価値算出部
２１３…判定部
２１４…領域設定部
２３０…情報付加部
２４０…検出条件設定部
３１０…表示処理部
３２０…印刷処理部

Claims (10)

1. 画像処理装置であって、
   対象画像における顔の画像に対応する顔領域の検出を行う顔領域検出部と、
   前記顔領域の検出結果に基づき、前記顔領域における顔の器官の画像に対応する器官領域を検出する際の、検出すべき前記器官領域の位置と大きさと数との少なくとも１つの取り得る範囲を特定する検出条件を設定する検出条件設定部と、
   設定された前記検出条件を満たす前記器官領域の検出を行う器官領域検出部と、を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記顔領域検出部は、顔の画像を含むサンプル画像を用いて生成された顔評価用データを用いて前記対象画像上における画像領域が顔の画像に対応する画像領域であることの確からしさを評価することにより、前記顔領域の検出を行い、
   前記検出条件設定部は、前記顔評価用データの生成に用いられた前記サンプル画像における顔の器官の画像に基づき予め設定された前記顔領域と前記器官領域との間の位置と大きさと数との少なくとも１つに関する関係に基づき、前記検出条件を設定する、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記顔評価用データは、前記顔評価用データの生成に用いられた前記サンプル画像における顔の画像の画像面に平行な軸を中心とした回転角度である顔向きに対応付けられており、
   前記顔領域と前記器官領域との間の前記関係は、前記顔評価用データに対応付けられた顔向き毎に設定されており、
   前記検出条件設定部は、前記顔領域の検出に用いられた前記顔評価用データに対応付けられた顔向きに対応する前記関係に基づき、前記検出条件を設定する、画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置であって、
   前記器官領域検出部は、
   前記顔領域における画像領域である判定対象画像領域を設定する判定対象設定部と、
   前記判定対象画像領域が顔の器官の画像に対応する画像領域であることの確からしさを表す評価値を算出するための器官評価用データを記憶する記憶部と、
   前記器官評価用データと前記判定対象画像領域に対応する画像データとに基づき前記評価値を算出する評価値算出部と、
   前記評価値と前記判定対象画像領域の位置およびサイズとに基づき、前記器官領域を設定する領域設定部と、を含み、
   前記判定対象設定部は、前記顔領域と前記器官領域との間の前記関係に基づき、設定する前記判定対象画像領域の位置と大きさと数との少なくとも１つを決定する、画像処理装置。
5. 請求項２ないし請求項４のいずれかに記載の画像処理装置であって、
   前記顔評価用データは、前記サンプル画像を用いた学習により生成される、画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
   前記検出条件設定部は、検出すべき前記器官領域に対応する顔の器官の種類に応じて、前記検出条件を設定する、画像処理装置。
7. 請求項１ないし請求項６のいずれかに記載の画像処理装置であって、
   前記器官領域検出部は、複数の前記器官領域の候補を検出し、前記複数の器官領域の候補間の幾何学的な関係に基づき前記器官領域を決定する、画像処理装置。
8. 請求項１ないし請求項７のいずれかに記載の画像処理装置であって、
   前記顔の器官の種類は、右目と左目と口との少なくとも１つである、画像処理装置。
9. 画像処理方法であって、
   （ａ）対象画像における顔の画像に対応する顔領域の検出を行う工程と、
   （ｂ）前記顔領域の検出結果に基づき、前記顔領域における顔の器官の画像に対応する器官領域を検出する際の、検出すべき前記器官領域の位置と大きさと数との少なくとも１つの取り得る範囲を特定する検出条件を設定する工程と、
   （ｃ）設定された前記検出条件を満たす前記器官領域の検出を行う工程と、を備える、画像処理方法。
10. 画像処理のためのコンピュータプログラムであって、
    対象画像における顔の画像に対応する顔領域の検出を行う顔領域検出機能と、
    前記顔領域の検出結果に基づき、前記顔領域における顔の器官の画像に対応する器官領域を検出する際の、検出すべき前記器官領域の位置と大きさと数との少なくとも１つの取り得る範囲を特定する検出条件を設定する検出条件設定機能と、
    設定された前記検出条件を満たす前記器官領域の検出を行う器官領域検出機能と、を、コンピュータに実現させる、コンピュータプログラム。

Images