JP2006018805A - 特定領域検出方法、特定領域検出装置、およびプログラム - Google Patents

Abstract

【課題】画像中の顔領域に存在する赤目や金目等の特定領域を高速で検出できる特定領域検出方法、特定領域検出装置およびプログラムを提供する。
【解決手段】画像中の特定領域候補を検出し、この特定領域候補を検出した画像とは解像度の異なる画像を用いて、検出した特定領域候補を含む領域において顔検出を行って、顔が検出できた領域に含まれる特定領域候補を検出対象である特定領域として特定することにより、上記課題を解決する。
【選択図】図１

Description

本発明は、写真フィルムに撮影された画像やデジタルカメラによって撮影された画像から、赤目や金目等の画像中の顔領域に存在し得る特定領域を検出する画像処理の技術分野に属し、詳しくは、画像からの赤目検出や金目検出等を高速に行うことを可能にする特定領域検出方法および特定領域検出装置、ならびに、これらを実行させる特定領域検出プログラムに関する。

近年、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像（画像データ）からも、プリントの作成を行うことができる。

また、近年のパーソナルコンピュータ（ＰＣ）やデジタルカメラ、さらにはインクジェットプリンタなどの安価なカラープリンタの普及に伴い、デジタルカメラで撮影した画像をＰＣに取り込み、画像処理を施してプリンタで出力するユーザも多い。
さらに、近年では、デジタルカメラで撮影した画像を記憶した光磁気記録媒体（ＭＯなど）、小型半導体記憶メディア（スマートメディア（登録商標）やコンパクトフラッシュ（登録商標）など）、磁気記録メディア（フレキシブルディスクなど）、光ディスク（ＣＤやＣＤ−Ｒなど）等の記憶媒体から、直接的に画像データを読み取り、所定の画像処理を施して、プリント（ハードコピー）を出力するプリンタも実用化されている。

ところで、ポートレート等の人物を含む画像において、画質を左右する最も重要な要素は人物の仕上りである。従って、撮影時のストロボ発光の影響によって、人物の目（瞳）が赤くなる赤目現象は、重大な問題となる。
従来のフィルムから直接的に露光を行うアナログフォトプリンタでは、赤目の補正は非常に困難である。しかしながら、デジタルフォトプリンタ等のデジタルの画像処理であれば、画像処理（画像解析）によって赤目を検出し、この赤目領域の輝度や彩度を補正することによって、赤目の補正を行うことができる。

このような赤目補正処理を行うに際し、画像中から赤目を検出する方法としては、例えば、画像データの解析によって画像中から顔を検出し、次いで、検出した顔の中から目の検出や赤い丸の検出を行う方法が例示される。また、このような赤目検出に利用される顔検出の方法も各種提案されている。

例えば、特許文献１には、画像中から人物の顔に相当すると推定される候補領域を検出し、この候補領域を所定数の小領域に分割して、小領域毎に濃度または輝度の変化の頻度および大きさに関連する特徴量を求め、この特徴量と、予め作成した人物の顔に相当する領域を前記所定数に分割した際における各小領域の特徴量の関係を表すパターンとを照合することにより、顔候補領域の角度を評価して、顔検出の精度を向上させる方法が開示されている。

また、特許文献２には、画像中から人物の顔に相当すると推定される候補領域を検出して、この顔候補領域の濃度が所定範囲で有る場合に、この顔候補領域を基準として胴体と推定される領域を設定し、設定した胴体領域と顔候補領域との濃度差が所定値以下の領域の有無に基づいて、もしくは、顔候補領域および胴体候補領域の濃度や彩度のコントラストに基づいて、顔候補領域の検出結果の確度を評価して、顔検出の精度を向上させる方法が開示されている。

さらに、特許文献３には、画像中から人物の顔に相当すると推定される候補領域を検出し、検出した候補領域のうち、画像中で他の候補領域と重複している候補領域について重複度を求め、この重複度が高い領域ほど顔領域である確度を高いと評価することにより、顔検出の精度を向上させる方法が開示されている。

特開２０００−１３７７８８号公報 特開２０００−１４８９８０号公報 特開２０００−１４９０１８号公報

このような顔検出は、精度を要求され、かつ、様々な解析が必要であるため、通常、プリントの出力等に用いられる高解像度の画像データ（フィルムを読み取った画像データであれば、いわゆるファインスキャンデータ、デジタルカメラであれば撮影画像データ）で行う必要があり、処理に時間がかかる。
しかも、撮影画像中における顔の向きは、基本的に、撮影時におけるカメラの向き（横位置や縦位置など）によって４方向が有り得る。ここで、顔の向きが異なれば、当然、画面の天地方向や左右方向における目や鼻などの配列方向が異なるため、確実に顔を検出するためには、４つの全ての方向に対応して顔検出を行う必要がある。
また、画像中における顔のサイズ（大きさ）も、撮影距離等に応じて様々であり、画像中における顔のサイズが異なれば、当然、画像中の目や鼻などの位置関係（間隔）が異なるため、確実に顔を検出するためには、やはり、各種の顔のサイズに対応して顔検出を行う必要がある。

そのため赤目補正処理は、赤目検出、特に顔検出が律速となって非常に時間のかかる処理となってしまい、例えば、前述のデジタルフォトプリンタであれば、赤目の無い高画質な画像を安定して出力できる反面、生産性を低下させる大きな要因となっている。
なお、撮影時のストロボ発光の影響によって、人物の目（瞳）が赤色に写る赤目現象のみならず、人物の目（瞳）が金色に写る金目現象が生じることがある。この金目現象も、赤目現象ほどではないが、写真画像においては重大な問題であり、その補正処理は、赤目補正処理と同様な問題を含んでいる。

本発明の目的は、前記従来技術の問題点を解決することにあり、画像中の赤目や金目や目じりなどの、画像中の顔領域に存在し得る特定領域の検出を高速で行うことができ、例えば、赤目や金目の無い高画質画像を安定して出力することを可能とし、かつ、プリンタの生産性を大幅に向上させることができる特定領域検出方法、この特定領域検出方法を実行する特定領域検出装置、および、これらを実行するための特定領域検出プログラムを提供することにある。

前記目的を達成するために、本発明の特定領域検出方法は、画像中の特定領域候補を検出し、次いで、前記特定領域候補を検出した画像とは解像度の異なる画像を用いて、前記検出した特定領域候補を含む領域において顔検出を行って、顔が検出できた領域に含まれる特定領域候補を検出対象である特定領域として特定することを特徴とする。
ここで、前記顔検出は、前記特定領域候補を検出する前に行われ、画像濃度補正に用いられた顔領域切り出し処理のデータを利用して行われるものであるのが好ましい。

また、上記目的を達成するために、本発明の特定領域検出方法は、供給された画像データの画像の中から特定領域候補を検出すると共に、前記特定領域候補を検出した画像とは解像度の異なる画像を用いて、前記候補検出手段が前記特定領域候補を検出する前に、画像濃度補正に用いるために顔領域の切り出し処理を行っておき、前記候補検出手段によって検出された前記特定領域候補が前記顔検出手段によって切り出された前記顔領域に含まれるか否か検査し、前記顔領域に含まれる前記特定領域候補を検出対象である特定領域として特定することを特徴とする。

また、上記目的を達成するために、本発明の特定領域検出装置は、供給された画像データの画像から特定領域候補を検出する候補検出手段と、前記候補検出手段とは解像度の異なる画像を用いて、前記候補検出手段が検出した前記特定領域候補を含む領域において顔検出を行う顔検出手段と、前記顔検出手段によって顔が検出できた領域に含まれる特定領域候補を検出対象である特定領域として特定する特定手段とを有することを特徴とする。

ここで、前記顔検出手段が、前記候補検出手段が前記特定領域候補を検出する前に行われた、画像濃度補正に用いられた顔領域切り出し処理のデータを利用して前記顔検出を行うものであるのが好ましい。
また、さらに、前記候補検出手段での検出を高解像度画像で行い、前記顔検出手段での検出を低解像度画像で行う第１の検出モードと、前記候補検出手段での検出を低解像度画像で行い、前記顔検出手段での検出を高解像度画像で行う第２の検出モードとを選択する選択手段を有するのが好ましい。

また、上記目的を達成するために、本発明の特定領域検出装置は、供給された画像データの画像から特定領域候補を検出する候補検出手段と、前記候補検出手段とは解像度の異なる画像を用いて、前記候補検出手段が前記特定領域候補を検出する前に、画像濃度補正に用いるために顔領域の切り出し処理を行う顔検出手段と、前記候補検出手段によって検出された前記特定領域候補が前記顔検出手段によって切り出された前記顔領域に含まれるか否か検査し、前記顔領域に含まれる前記特定領域候補を検出対象である特定領域として特定する特定手段とを有することを特徴とする。

さらに、上記目的を達成するために、本発明の特定領域検出プログラムは、供給された画像データの画像から特定領域候補を検出する候補検出工程、前記候補検出工程とは解像度の異なる画像を用いて、前記候補検出工程で検出された前記特定領域候補を含む領域において顔検出を行う顔検出工程、および、前記顔検出工程において顔が検出できた領域に含まれる特定領域候補を検出対象である特定領域として特定する特定工程をコンピュータに実行させることを特徴とする。
ここで、前記顔検出工程が、前記特定領域候補を検出する前記候補検出工程の前に行われ、画像濃度補正に用いられた顔領域切り出し処理のデータを利用して、前記顔検出を行うものであるのが好ましい。

また、上記目的を達成するために、本発明の特定領域検出プログラムは、供給された画像データの画像から特定領域候補を検出する候補検出工程と、前記候補検出手段とは解像度の異なる画像を用いて、前記候補検出工程で前記特定領域候補を検出される前に、画像濃度補正に用いるために顔領域の切り出し処理を行う顔検出工程と、前記候補検出工程において検出された前記特定領域候補が前記顔検出工程において切り出された前記顔領域に含まれるか否か検査し、前記顔領域に含まれる前記特定領域候補を検出対象である特定領域として特定する特定工程とをコンピュータに実行させることを特徴とする。

このような本発明の特定領域検出方法、特定領域処理装置、および特定領域検出プログラムにおいては、前記特定領域が、赤目または金目の領域であるのが好ましい。
また、前記特定領域候補の検出を高解像度画像で行い、前記顔検出を低解像度画像で行う、もしくは、前記特定領域候補の検出を低解像度画像で行い、前記顔検出を高解像度画像で行うのが好ましい。
さらに、前記高解像度画像が、デジタルカメラで撮影された画像の画像データ、もしくは画像読取装置における出力画像を得るためのファインスキャンの画像データであり、前記低解像度画像が、デジタルカメラで撮影された画像の画像データを間引いたあるいは縮小した画像データ、もしくは、画像読取装置において前記ファインスキャンに先立って行われるプレスキャンの画像データであるのが好ましい。

本発明は、上記構成を有することにより、赤目や金目やニキビなどの画像中の顔領域に存在する特定領域を検出するに際し、特定領域の存在しない領域での顔検出を不要とし、かつ、演算量の低減や処理時間の短縮を図ることができ、これにより高速で赤目や金目等の顔領域中の特定領域の検出を行うことができる。
従って、本発明の特定領域検出方法によれば、例えば、高速で赤目検出や金目検出を行うことによる迅速な赤目補正や金目補正が可能となり、例えば、写真フィルムを光電的に読み取って得られた画像データや、デジタルカメラで撮影された画像データ等から写真プリントを作成するフォトプリンタにおいて、生産性の低下を最小限に押さえて、赤目や金目の無い高画質なプリントを安定して出力することができる。

以下、本発明の特定領域検出方法、特定領域検出装置、およびプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。なお、以下の説明は、画像中の顔領域に存在し得る特定領域として、赤目を検出する場合を代表例に挙げて説明するが、本発明は、これに限定はされず、金目などを検出する場合にも適用可能なことは言うまでもないことである。

図１に、本発明を特定領域検出方法および特定領域検出装置を利用する赤目検出装置の一実施例をブロック図で概念的に示す。また、本発明の特定領域検出プログラムは、以下に説明する処理を実行させるプログラムである。
図１に示す赤目検出装置（以下、検出装置とする）１０は、スキャナ１２やデジタルスチルカメラ（ＤＳＣ）やデジタルビデオカメラなどのデジタルカメラ１４（および／または、デジタルカメラ１４で撮影された画像を記憶する記憶媒体または記録メディアの読取手段）等の画像データ供給源から処理対象画像（その画像データ）を取得して、処理対象画像（以下、対象画像とする）から特定領域として赤目を検出して、赤目補正手段１６に出力するもので、データ処理手段１８と、赤目候補検出手段２０と、顔検出手段２２と、赤目特定手段２４と、外部接続される指示手段２６と、を有する。
このような検出装置１０は、一例として、パーソナルコンピュータ、ワークステーションなどのコンピュータや、ＤＳＰ（Digital Signal Processor）等を利用して構成される。

なお、検出装置１０と赤目補正手段１６とは、一体的に構成されていてもよく、あるいは、検出装置１０（あるいはさらに、赤目補正手段１６）は、色／濃度補正、階調補正、電子変倍処理、シャープネス処理等の各種の画像処理を行う画像処理装置（手段）に組み込まれるものであってもよい。
さらに、検出装置１０において、対象画像は、スキャナ１２で読み取られた画像やデジタルカメラ（以下、ＤＳＣで代表する）１４で撮影された画像に限定はされず、カラー画像（データ）であれば各種の画像を処理対象とすることができ、また、対象画像は、必要に応じて各種の画像処理を施された画像（画像データ）であってもよいのは、もちろんである。

なお、上述したように、本発明は、赤目を検出する場合に限定はされず、金目などを検出する場合にも適用可能であるので、本発明の検出装置１０における対象画像は、赤目を検出する画像のみならず、金目を検出する画像であっても良いことは言うまでもない。
なお、赤目を生じる赤目現象および金目を生じる金目現象については、特開２０００−７６４２７号公報に詳細に記載されているが、赤目現象は、撮影時のストロボ発光などによって、人物の開いた目の瞳孔を通って多量の光が網膜に入射し、反射して、カメラのレンズを通ってフィルムやＣＣＤなどの撮像素子に結像するが、網膜には多くの血管が集中しているために、人物の目（瞳）が赤色に写ることになるのである。これに対し、金目を生じる金目現象は、赤目現象と少し異なり、人物の開いた目の瞳孔を通って多量の光が網膜に入射した際に、目の網膜の中の一点に神経が集中する盲点で反射した光をカメラが捕らえた場合に発生する現象であり、赤色ではなく、金色に写るのである。なお、このような赤目現象や金目現象は、人物の目のみならず、動物、例えば猫の目などにも生じるものであり、動物の種類によっては、赤色や金色以外の色に写る場合がある。
以下の説明では、このような赤目や金目やその他の色に写った目などの全てについて、赤目を代表例として説明する。

画像データ供給源となるスキャナ１２は、ネガフィルムやリバーサルフィルム等のフィルムＦに撮影された画像を１コマずつ光電的に読み取る、公知のフィルムスキャナ（フィルムの画像読取装置）である。
なお、図示例のスキャナ１２は、エリアＣＣＤセンサを用いて面露光で１コマの画像を読み取るスキャナであるが、本発明に利用可能なスキャナは、これに限定はされず、例えば、フィルムＦを長手方向に搬送しつつ、搬送方向と直交する方向に延在するＲ（赤）、Ｇ（緑）およびＢ（青）の３つのラインＣＣＤセンサで画像読取を行う、いわゆるスリット走査によって画像を読み取るスキャナであってもよい。

スキャナ１２は、基本的に、光源３０と、可変絞り３２と、画像をＲ、ＧおよびＢの三原色に分解するためのＲ、ＧおよびＢの３枚の色フィルタを有し、回転して任意の色フィルタを光路に作用する色フィルタ板３４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス３６と、結像レンズユニット３８と、フィルムの１コマの画像を読み取るエリアセンサであるＣＣＤセンサ４０と、アンプ（増幅器）４２と、Ａ／Ｄ変換器４４と、Ｌｏｇ変換器４６と、データ補正手段６０８とを有する。

このようなスキャナ１２においては、光源３０から射出され、可変絞り３２によって光量調整され、色フィルタ板３４を通過して色調整され、拡散ボックス３６で拡散された読取光がフィルムＦに入射して透過することにより、フィルムＦに撮影されたこのコマの画像の投影光を得る。
フィルムＦの投影光は、結像レンズユニット３８によってＣＣＤセンサ４０の受光面に結像され、ＣＣＤセンサ４０によって光電的に読み取られる。
ＣＣＤセンサ４０の出力信号は、アンプ４２で増幅されて、Ａ／Ｄ変換器４４でデジタルデータとされ、Ｌｏｇ変換器４６でＬｏｇ変換されてデジタルの画像（濃度）データとされ、さらに、データ補正手段６０８によってＤＣオフセット補正、暗時補正、シェーディング補正等の所定の補正処理が施されて、スキャナ１２から出力される。

スキャナ１２においては、このような画像読取を、色フィルタ板３４の３枚の各色フィルタを、順次、挿入して３回行うことにより、１コマの画像をＲ、ＧおよびＢの３原色に分解して読み取る。
また、スキャナ１２は、プリント等として出力する出力画像を得るために高解像度で画像を読み取るファインスキャンに先立ち、ファインスキャンの読取条件の設定や各種の画像処理の条件を決定するために低解像度で画像を読み取るプレスキャンを行う。検出装置１０には、このプレスキャンによる画像データ（以下、プレスキャンデータとする）、および、ファインスキャンによる画像データ（以下、ファインスキャンデータとする）の両方が供給される。

検出装置１０において、対象画像、すなわちスキャナ１２で読み取られた画像のプレスキャンデータおよびファインスキャンデータや、ＤＳＣ１４で撮影された画像（その画像データ）は、データ処理手段１８に供給される。

図示例の検出装置１０は、好ましい態様として、高解像度画像で赤目候補検出を行い、低解像度画像で顔検出を行って赤目検出を行う第１検出モードと、低解像度画像で赤目候補検出を行い、高解像度画像で顔検出を行って赤目検出を行う第２検出モードとが設定され、いずれかを選択して実行可能になっている。
なお、本発明は、このようなモード選択可能なものに限定はされず、高解像度画像で赤目候補検出を行い、低解像度画像で顔検出を行う赤目検出（第１検出モード）のみを実行するものであってもよく、あるいは、低解像度画像で赤目候補検出を行い、高解像度画像で顔検出を行う赤目検出（第２検出モード）のみを実行するものであってもよい。

何れのモードで赤目検出を行うかは、指示手段２６によって入力指示され、検出装置１０は、指示手段２６からの入力指示に応じたモードで対象画像からの赤目検出を行う。
指示手段２６は、キーボード、マウス、ディスプレイなどを用いて、ＧＵＩ(Graphical User Interface)等によって各種の入力指示を行う、コンピュータ等に利用される公知の入力指示手段である。

データ処理手段１８は、指示手段２６によって入力指示されたモードに応じて、第１検出モードが指示された場合には、高解像度画像を赤目候補検出手段２０に供給して、低解像度画像を顔検出手段２２に供給する。他方、第２検出モードが指示された場合には、低解像度画像を赤目候補検出手段２０に供給して、高解像度画像を顔検出手段２２に供給する。
ここで、データ処理手段１８は、対象画像がスキャナ１２から供給された場合には、プレスキャンデータを低解像度画像とし、ファインスキャンデータを高解像度画像として、各画像を指示されたモードに応じた部位に供給する。また、データ処理手段１８は、対象画像がＤＳＣ１４から供給された場合には、撮影画像（データ）を高解像度画像とし、撮影画像を間引いて（あるいは、電子変倍処理によって縮小して）所定の解像度とした画像（データ）を低解像度画像として、各画像を指示されたモードに応じた部位に供給する。
さらに、対象画像がスキャナ１２から供給されたネガフィルムの画像データである場合には、画像をネガ画像からポジ画像に変換して、各部位に画像を供給する（あるいは、ポジ画像をネガ画像に変換しても可）。なお、ネガ／ポジ変換は、ルックアップテーブルを用いる方法、演算処理による方法等、公知の方法で実行すればよい。

赤目候補検出手段２０は、対象画像中から、赤目である可能性のある領域、すなわち赤目候補（赤目領域候補）を検出し、赤目候補の位置情報（中心の座標位置情報）、領域情報、個数の情報等を、赤目候補の情報として顔検出手段２２および赤目特定手段２４に供給するものである。すなわち、第１検出モードの場合には、高解像度画像を用いて対象画像から赤目候補を検出し、第２検出モードの場合には、低解像度画像を用いて対象画像から赤目候補を検出する。
一例として、図２に示すように、背景に３つの赤ランプを有するシーンで人物を撮影して、この人物に赤目現象が生じた画像（シーン）であれば、赤ランプに対応するａ、ｂ、およびｃ、ならびに、赤目に対応するｄおよびｅで示す領域を赤目候補として検出し、顔検出手段２２および赤目特定手段２４に供給する。

赤目候補の検出方法には、特に限定はなく、公知の各種の方法が利用可能である。
一例として、赤色の色相で、かつ、所定画素数以上が集まっている領域を抽出し、予め多数の赤目の画像サンプルから設定した、赤目度（どの程度赤目らしい色か）および円形度（どの程度丸いか）を用い、赤目度および円形度が閾値を超えた領域を、赤目である可能性を有する赤目候補として検出する方法が例示される。

赤目候補検出手段２０による赤目候補の検出結果は、顔検出手段２２に送られる。
顔検出手段２２は、赤目の検出結果（例えば、前記位置情報）を用いて、赤目候補検出手段２０が検出した赤目候補を含む周辺領域において、顔検出を行い、自身を含む領域で顔が検出できた赤目候補の情報、あるいは、さらに顔の検出結果を赤目特定手段２４に供給するものである。
例えば、図２に示す例であれば、前記ａ、ｂ、ｃ、ｄ、およびｅの各赤目候補に対応して、各赤目候補を含む所定領域において、順次、顔検出を行う。従って、顔領域として例えば点線で囲まれた領域が検出され、これに応じて、顔検出手段２２は、赤目候補ｄおよびｅが顔領域に含まれる赤目候補であるとの情報、あるいはさらに、検出した顔領域の情報を赤目特定手段２４に供給する。

ここで、検出装置１０においては、顔検出手段２２は、第１検出モードの場合には、低解像度画像を用いて対象画像から顔検出を行い、第２検出モードの場合には、高解像度画像を用いて対象画像から顔検出を行う。すなわち、前述の赤目候補検出手段２０とは異なる解像度の画像で、赤目候補検出手段が検出した赤目候補の周辺で顔検出を行う。
そのため、顔検出手段２２は、図３に模式的に示すように、スケール換算手段２８を備えており、スケール換算手段２８において画像のスケール換算を行い、画像の解像度に応じた位置合わせを行って、顔検出を行う。一例として、第１検出モードの場合には、高解像度画像で検出された赤目候補の位置を、低解像度画像に対応して縮小するようにスケール換算（座標変換）して位置合わせを行い、低解像度画像を用いて赤目候補の周辺で顔検出を行う。他方、第２検出モードの場合には、低解像度画像で検出された赤目候補の位置を、高解像度画像に対応して拡大するようにスケール換算（座標変換）して位置合わせを行い、高解像度画像を用いて赤目候補の周辺で顔検出を行う。

顔検出手段２２による顔検出の方法には、特に限定はなく、公知の各種の方法が利用可能である。

一例として、多数の顔の画像サンプルから予め作成した平均的な顔画像いわゆる顔のテンプレート（以下、顔テンプレートとする）を用いて、テンプレートマッチングによって顔検出を行う方法が例示される。
この方法では、一例として、縦位置（縦撮影）／横位置（横撮影）などの撮影時のカメラの向きに応じて、図４（Ａ）に示すように顔テンプレート（もしくは対象画像）を天地および左右方向に回転（画像面において０°→９０°→１８０°→２７０°と回転）して顔の向きを変え、かつ、画像中の顔のサイズ（解像度）に応じて、図４（Ｂ）に示すような顔テンプレート（同前）の顔サイズの変更（拡大／縮小＝解像度変換）を行って、各種の顔の向きおよび顔サイズの組み合わせの顔テンプレートと、画像中の顔候補領域とのマッチング（一致度の確認）を、順次行って、顔検出を行う。
なお、顔テンプレートの回転および拡大／縮小に変えて、回転した顔テンプレートや拡大／縮小した顔テンプレートを予め作成しておいて、これを用いてマッチングを行ってもよい。また、顔候補領域野検出は、例えば、肌色抽出や輪郭抽出等の手段で行えばよい。

また、学習手法を使用した顔検出も好適に例示される。
この方法では、多数の顔画像と非顔画像とを用意して、それぞれの特徴量の抽出を行って、その結果から、適宜選択した学習手法を利用して、顔（顔領域）か非顔（非顔領域）かを分離する関数や閾値を算出する、事前学習を行う。顔検出を行う際には、対象画像に対して、事前学習と同様にして特徴量の抽出を行って、事前学習で得られた関数や閾値を用いて顔か非顔かを判別して、顔検出を行う。

さらに、特開平８−１８４９２５号や、特開平９−１３８４７１号の各公報に開示される、エッジ（輪郭）抽出やエッジ方向の抽出による形状認識による顔検出、肌色抽出や黒抽出等の色抽出による顔検出、形状認識と色抽出とを組み合わせた顔検出や、前記特許文献１〜３において、顔テンプレートを用いたマッチング以外の顔候補の検出方法として例示されている各方法も、利用可能である。

図示例の検出装置１０においては、第１検出モードと第２検出モードとで、顔検出の方法を変更するようにしてもよく、あるいは、指示手段２６を用いた入力指示等に応じて、顔検出の方法を選択設定してもよい。
また、第１検出モードの場合や、高解像度画像での赤目候補検出および低解像度画像での顔検出による赤目検出のみを行う場合には、低解像度画像でも実施可能なテンプレートマッチングによる顔検出や肌色抽出による顔検出を行うのが好ましい。特に、肌色抽出等による顔検出は、解像度に依存しないので精度は低下するが、高速処理を重要視する場合には好適である。

前述のように、赤目候補検出手段２０による赤目候補の検出結果、および、顔検出手段２２で顔が検出できた赤目候補は、赤目特定手段２４に供給される。
赤目特定手段２４は、これらの情報を用いて、周囲に顔が検出できた赤目候補を赤目と特定し、対象画像における赤目の検出結果として、各赤目の位置情報および領域の情報、赤目の個数の情報等を赤目補正手段１６に供給する。

このように本発明においては、最初に赤目候補検出を行い、次いで、検出した赤目候補の周辺のみで顔検出を行って、周辺に顔が検出できた赤目候補を赤目と特定すると共に、赤目候補検出と顔検出とで、解像度の異なる画像で検出を行うことにより、赤目検出の時間を大幅に短縮することができる。
すなわち、前述のように、顔検出は、非常に時間のかかる処理であるが、従来の赤目検出では、顔検出を行った後に、検出された顔領域内で赤目検出を行っているため、赤目の存在しない領域でも顔検出を行っており、その結果、顔検出に非常に時間がかかる。これに対し、本発明においては、このように、赤目候補を検出した後に、この赤目候補を含む所定領域でのみ顔検出を行うことにより、赤目が存在しない領域での無駄な顔検出を無くして、赤目検出において、顔検出にかかる時間を大幅に短縮することができる。
しかも、赤目候補検出と顔検出とを、異なる解像度の画像で行うことにより、全てを高解像度画像で行っていた従来の赤目検出に比して、必要にして充分な検出精度を確保した上で、演算量や処理時間を大幅に低減することができる。
すなわち、本発明によれば、高速で赤目検出を行うことによる迅速な赤目補正が可能となり、例えば、写真プリンタにおいて、生産性の低下を最小限に押さえて、赤目の無い高画質なプリントを安定して出力することができる。

なお、高解像度画像で赤目候補検出を行い、低解像度画像で顔検出を行って赤目検出を行う方法（第１検出モード）は、赤目候補を高精度に検出するものであり、すなわち、赤目の検出性能に優れる赤目検出である。従って、検出性能を優先する場合（いわゆるＦＰ(False Positive)重視）には、この赤目検出を行うのが好ましい。
他方、低解像度画像で赤目候補検出を行い、高解像度画像で顔検出を行って赤目検出を行う方法（第２検出モード）は、顔を高精度に検出するものであり、すなわち、赤目の誤検出防止に優れる赤目検出である。従って、誤検出防止性能を優先する場合（いわゆるＴＰ(True Positive)重視）には、この赤目検出を行うのが好ましい。

赤目補正手段１６は、赤目特定手段２４から供給された赤目の検出結果に応じて、対象画像の赤目領域の画像処理を行って、対象画像の赤目補正を行なう。
赤目補正の方法には、特に限定はなく、公知の方法が各種利用可能である。例えば、赤目や赤目周囲（顔の周囲を含んでもよい）の画像特徴量等に応じて、赤目領域の彩度、明度、色相等をコントロールして赤目を補正する補正処理や、単純に赤目領域の色を黒に変換する補正処理等が例示される。
赤目補正手段１６によって赤目現象が補正された画像（画像データ）は、例えば、そのまま、もしくは、その他の画像処理が施された後に、出力されて、記憶媒体もしくは記録メディアへの記録や、画像表示装置の表示画面への表示や、プリンタ、特にデジタルフォトプリンタによるプリント作成に供される。

以下、検出装置１０の作用を説明することにより、本発明について、より詳細に説明する。

一例として、対象画像がスキャナ１２から供給され、指示手段２６から第１検出モードが指示されたとする。
対象画像を取得したデータ処理手段１８は、第１検出モードの指示に応じて、ファインスキャンデータを対象画像の高解像度画像として赤目候補検出手段２０に、プレスキャンデータを対象画像の低解像度画像として顔検出手段２２に、それぞれ供給する。
なお、対象画像がネガの画像データである場合には、データ処理手段１８は画像をネガ／ポジ変換して、対応する部位に供給する。また、対象画像がＤＳＣ１４から供給された画像である場合には、撮影画像を高解像度画像として赤目候補検出手段２０に、撮影画像を間引いた画像（あるいは縮小した画像）を低解像度画像として顔検出手段２２に、それぞれ供給する。

赤目候補検出手段２０は、供給された対象画像のファインスキャンデータ（高解像度画像データ；以下では、ファインスキャンデータで代表する）から、前述のようにして赤目候補検出を行い、赤目候補の検出結果を顔検出手段２２および赤目特定手段２４に供給する。
対象画像のプレスキャンデータ（低解像度画像データ；以下では、プレスキャンデータで代表する））および赤目候補の検出結果を供給された顔検出手段２２は、まず、スケール換算手段２８において画像を縮小するようにスケール換算して、ファインスキャンデータによる赤目候補の検出結果をプレスキャンデータに対応する位置に位置合わせする。次いで、顔検出手段２２は、プレスキャンデータを用いて、赤目候補検出手段２０が検出した赤目候補を含む周辺領域で顔検出を行い、顔検出結果を赤目特定手段２４に供給する。

赤目特定手段２４は、赤目候補検出手段２０による赤目候補の検出結果、および、顔検出手段２２による顔検出結果から、周辺に顔が検出できた赤目候補を赤目と特定して、赤目の検出結果を赤目補正手段１６に供給する。
赤目補正手段１６は、供給された赤目検出結果に応じて、前述のように、対象画像（本例においては、そのファインスキャン画像）の赤目補正を行う。

他方、第２検出モードが指示された場合には、対象画像を取得したデータ処理手段１８は、指示に応じて、プレスキャンデータ（撮影画像の間引き（あるいは縮小）画像）を対象画像の低解像度画像として赤目候補検出手段２０に、ファインスキャンデータ（撮影画像）を対象画像の高解像度画像として顔検出手段２２に、それぞれ供給する。

赤目候補検出手段２０は、供給された対象画像のプレスキャンデータから、前述のようにして赤目候補検出を行い、赤目候補の検出結果を顔検出手段２２および赤目特定手段２４に供給する。
また、顔検出手段２２は、スケール換算手段２８において画像を拡大するようにスケール換算して、プレキャンデータによる赤目候補の検出結果をファインスキャンデータに対応する位置に位置合わせする。次いで、顔検出手段２２は、ファインスキャンデータを用いて、赤目候補検出手段２０が検出した赤目候補の周辺で顔検出を行い、顔検出結果を赤目特定手段２４に供給する。

赤目特定手段２４は、赤目候補検出手段２０による赤目候補の検出結果、および、顔検出手段２２による顔検出結果から、周辺に赤目が検出できた赤目候補を赤目と特定して、赤目の検出結果を赤目補正手段１６に供給する。
赤目補正手段１６は、供給された赤目検出結果に応じて、前述のように、対象画像の赤目補正を行う。

上述した実施例では、赤目検出装置１０においては、顔検出手段２２は、赤目候補検出手段２０による赤目候補の位置情報などの検出結果を用いて、赤目候補検出手段２０が検出した赤目候補を含む周辺領域において顔検出を行っているが、本発明はこれに限定されず、赤目検出装置１０の対象画像が顔抽出処理結果を用いて画像処理された画像（画像データ）である場合には、赤目検出装置１０の顔検出手段２２は、画像処理の画像濃度補正に用いられた顔抽出処理結果である顔領域切り出し処理のデータを利用して、顔検出を行っても良い。
すなわち、通常、プリンタや写真プリンタなどの画像処理装置においては、画像(画像データ）に対して、濃度補正やカラーバランス補正や階調補正などの統合的な画像処理(セットアップ処理、オートセットアップ処理）が行われており、これらの画像処理においては、その処理精度の向上や処理結果の改善や適正化のために、顔抽出処理などの顔検出等を利用している場合がある（本出願人の出願に係る特願２００５−０７１３５２号および特願２００５−０７４５６０号参照）。

従って、本発明の赤目検出装置などの特定領域検出装置が、このような画像処理装置などに組み込まれている場合や、このような画像処理装置に接続されている場合には、画像処理装置における画像処理の結果、すなわちセットアップ処理で検出された顔検出結果（顔領域切り出し処理のデータ）を利用して、特定候補検出手段が検出した赤目候補などの特定領域候補を含む周辺領域において顔検出を行うことにより、特定領域検出における顔検出において、必要にして充分な検出精度を確保した上で、演算量や処理時間を大幅に低減することができ、その結果、迅速な赤目補正が可能となり、例えば、写真プリンタにおいて、生産性の低下を最小限に押さえて、赤目の無い高画質なプリントを安定して出力することができる。

図５に、本発明の特定領域検出方法を実施する特定領域検出装置を適用した赤目検出装置を備える画像処理装置の一実施例のブロック図を示す。
図５に示す画像処理装置５０は、図１に示す赤目検出装置１０を備え、画像データの供給源となるスキャナ１２やデジタルカメラ（ＤＳＣ）１４と赤目検出装置１０との間に画像セットアップ装置５２を備えるものであるので、同一の構成要素には、同一の符号を付し、その詳細な説明は適宜省略する。

図５に示すように、画像処理装置５０は、スキャナ１２やデジタルカメラ（以下、ＤＳＣという）１４等の画像データ供給源から対象画像を画像データとして取得して、デジタル画像処理を施し、再生画像を作成する際の画像処理条件の自動設定を行い、設定された画像処理条件に基づいて画像処理（オートセットアップ処理）を行うための画像セットアップ装置５２と、画像処理された画像データに対して、その対象画像から特定領域として赤目を検出するための本発明に係る赤目検出装置１０と、赤目補正を行うための赤目補正手段１６と、外部接続される指示手段２６と、を備える。
このような画像処理装置５０には、赤目検出装置１０と同様に、デジタル信号処理に特化したＤＳＰ（Digital Signal Processor）等を搭載するパーソナルコンピュータやワークステーションなどのコンピュータが用いられるのはいうまでもない。

画像セットアップ装置５２は、ネガフィルムに撮影された画像から、スキャナ１２のＣＣＤセンサ４０(図１参照）などのイメージセンサによって、粗く読み取られた低解像度画像データ（プレスキャンデータ）、もしくは、ＤＳＣ１４から取得された高解像度画像データに間引き処理を施して得られた低解像度画像データを用いて、画像処理条件の自動設定演算を行って、画像処理条件の変換写像を算出し設定し、さらに、自動設定された変換写像を用いて、出力用に微細に読み取られた画像データ（ファインスキャンデータ）をセットアップ済画像データに変換する。こうして、画像セットアップ装置５２で得られたセットアップ済画像データ（高解像度画像データ）およびプレスキャンデータなどの低解像度画像データ等は、赤目検出装置１０に入力される。
画像セットアップ装置５２は、画像解析手段５４と、階調補正手段５６と、類似コマ補正手段６０と、変換写像作成手段６２と、変換処理手段６４とを有する。

画像解析手段５４は、スキャナ１２やＤＳＣ１４から供給される１件分の複数コマのプレスキャンデータや低解像度画像データ（以下、プレスキャンデータで代表する）を画像解析して、階調補正手段５６で用いる３次元テーブルＴを作成すると共に、１コマの画像についての画像解析を行って、画像特徴量等を算出する。
ところで、３次元テーブルＴを作成するためには、１件分の複数コマの画像の画像データを蓄積する必要があるので、ここで用いられる画像データは、プレスキャンデータを、さらに間引き処理して、さらなる低解像度の画像データとしておくのが好ましい。なお、画像解析手段５４におけるプレスキャンデータのさらなる間引き処理後のサイズは、デジタルフォトプリンタの種類等によって異なり、特に制限されない。

階調補正手段５６は、顔検出手段５８を有し、写真プリントやモニタ表示画像などの再現画像において、画像全体の色／濃度や階調のみならず、顔検出手段５８によって検出される顔領域などの主要被写体の色／濃度や階調などが適正に仕上がるように、入力画像（画像データ）の階調補正量を画像処理条件として算出するものである。すなわち、階調補正手段５６は、画像解析手段５４から入力されるプレスキャンデータに対して、顔抽出処理、グレーバランス補正（件グレーバランス補正）、カラーバランス補正（コマグレーバランス補正）、アンダー／オーバー補正、濃度補正およびコントラスト補正の各処理を順次行うことにより、画像の階調補正量等を算出する。階調補正手段５６で行われる階調補正量等の算出処理の詳細については、後述する。

ここで、顔検出手段５８で行われた顔検出において顔抽出処理結果として得られた顔領域切り出し処理のデータは、階調補正手段５６の顔検出手段５８から、直接、赤目検出装置１０の顔検出手段２２に、もしくは、データ処理手段１８を経て顔検出手段２２に入力される。なお、顔検出手段５８で得られた顔領域切り出し処理のデータは、変換写像作成手段６２および変換処理手段６４を経て、セットアップ済画像データやプレスキャンデータと共に、赤目検出装置１０に入力され、そのデータ処理手段１８を経て顔検出手段２２に入力されるようにしても良い。

類似コマ補正手段６０は、１件などの複数コマの中の類似コマの複数の再現画像の仕上がりが同じように仕上がって、類似コマの再現画像の仕上がりが揃うように、入力画像（画像データ）の類似コマ間の階調補正量等を画像処理条件として算出するものである。すなわち、類似コマ補正手段６０は、階調補正手段５６で階調補正された類似コマ画像（画像データ）に対して、カラーバランス補正（コマグレーバランス補正）の類似コマ補正処理、濃度補正の類似コマ補正処理、およびコントラスト補正の類似コマ補正処理を行い、カラーバランス調整量、濃度調整量、およびコントラスト調整量をそれぞれ算出する。

変換写像作成手段６２は、階調補正手段５６から送られた各補正量、および類似コマ補正手段６０から送られた各調整量に基づいて、原稿画像のファインスキャン画像（ファインスキャンデータ）やＤＳＣの撮影画像（高解像度画像データ）（以上、ファインスキャンデータで代表する）などの入力画像(画像データ）を画像処理するための変換写像、例えば変換関数、またはこの変換関数をテーブル化したルックアップテーブル（ＬＵＴ）、もしくは変換関数をマトリックス演算化した変換マトリックスなどを自動的に作成し、変換写像として設定する。
なお、変換写像として設定される写像は、全ての補正量および調整量を統合した１つの写像であってもよいし、１または複数の補正量または調整量に基づいて作成された複数の写像の組み合わせであってもよい。

変換処理手段６４は、ファインスキャンデータが画像処理装置５０に入力されると、自動設定された変換写像（変換関数、ＬＵＴ、変換マトリックスなど）に従って、ファインスキャンデータを変換し、セットアップ済画像データを求める。
こうして、画像セットアップ装置５２において、画像条件設定および変換処理（オートセットアップ処理）が実行される。

こうして、画像セットアップ装置５２で得られたセットアップ済画像データおよびプレスキャンデータは、赤目検出装置１０のデータ処理手段１８に入力される。なお、上述したように、顔検出手段５８で得られた顔領域切り出し処理のデータも、直接、赤目検出装置１０の顔検出手段２２に、もしくは、データ処理手段１８を経て顔検出手段２２に入力される。

次に、画像セットアップ装置５２で行われる階調補正量および階調調整量の算出処理、すなわち階調補正手段５６において行われる画像の階調補正量および類似コマ補正手段６０において行われる類似コマ画像の階調調整量の算出処理、具体的には、画像解析手段５４で行われる画像解析処理、階調補正手段５６で行われる階調補正処理および類似コマ補正手段６０において行われる類似コマ補正処理について詳細に説明する。
図６は、画像セットアップ装置で行われる階調補正量および階調調整量の算出処理の流れ（フロー）の一例を示すフローチャートである。

画像解析手段５４で行われる画像解析処理では、入力画像データ（プレスキャンデータや低解像度画像データ）に対し画像解析が行われる。具体的には、画像解析処理では、画像解析手段５４によって、スキャナ１２で得られたネガフィルム１件分の複数コマの画像のプレスキャンデータやＤＳＣ１４から得られた１件相当の所定数のコマの画像の低解像度画像データに、これらの画像データから低彩度画素が抽出され、階調補正手段５６による階調補正処理において、グレーバランス補正（件グレーバランス補正）をする際に使用される、Ｒ，Ｇ，Ｂの３次元テーブルＴが作成される。なお、画像処理装置５０を搭載するデジタルフォトプリンタにおいては、画像データの補正時に用いられるプレスキャンデータは、ＲＧＢ濃度値である。
また、画像解析処理では、１コマの画像についても、画像解析手段５４によって画像解析が行われ、画像特徴量等が算出される。

階調補正処理では、階調補正手段５６によって、入力画像データに対して、顔検出手段５８による顔抽出処理、件グレーバランス補正（グレーバランス補正）、コマグレーバランス補正（カラーバランス補正）、アンダー／オーバー補正、濃度補正およびコントラスト補正が、この順序で行われ、画像の階調補正量が算出される。

顔抽出処理では、顔検出手段５８によって、プレスキャン画像（低解像度画像）のグレー画像（濃淡画像）、すなわちプレスキャンデータから得られるグレー情報（濃淡情報）を利用して、顔抽出処理が行われる。すなわち、グレー画像における濃度勾配（輝度勾配）に関する情報（濃度変化の方向および大きさの情報）から濃度勾配に関する特徴量が得られ、その特徴量を用いて、該画像中の顔領域が抽出される。なお、顔検出手段５８での顔抽出処理で抽出された顔領域の情報（顔領域切り出し処理のデータ）は、上述のように赤目検出装置１０（データ処理手段１８または顔検出手段２２）に送られる。なお、この実施例では、グレー情報を利用して、顔抽出処理を行うので、コマグレーバランス補正（カラーバランス補正）を行う前であっても、顔抽出処理を行うことができる。

本実施形態では、好ましい態様として、プレスキャンデータからその画像の濃度勾配に関する特徴量を取得し、その特徴量を用いて画像に撮影された人物の顔領域を抽出する方法により、顔検出手段５８による顔抽出処理が行われる。この方法によれば、肌色などの色情報を用いることなく顔領域を抽出できるので、画像の色や濃度が適正に補正されていない状態においても、十分高い精度で顔抽出を行うことができる。すなわち、この顔抽出処理方法によれば、濃度補正やカラーバランス補正等の階調補正から独立に、顔抽出処理を行うことができるので、顔抽出処理を階調補正の前段に行うことができ、顔抽出の結果を濃度補正やカラーバランス補正等の階調補正処理に利用することができる。

また、本実施形態の顔抽出処理方法は、顔抽出処理の精度およびロバスト性が高い点で好ましいが、本発明の画像処理における顔抽出処理方法はこれには限定されず、この方法以外にも、色情報を用いずに顔領域を抽出できるものであれば、各種の方法を利用することができる。例えば、輝度情報を利用した顔画像テンプレートマッチングによる方法等を利用することも可能である。

グレーバランス補正（件グレーバランス補正）処理では、画像解析手段５４での画像解析処理によって作成されたテーブルＴから、そのテーブルＴの作成に用いられた複数コマの画像の画像データの、Ｒ，Ｇ，Ｂ各色の濃度レンジ範囲の領域のデータを用いてグレー軸が最適近似され、グレーバランス補正量が算出される。このグレーバランス補正量は、例えば、１件のネガフィルムに撮影された複数の画像の画像データに対し、フィルム濃度の影響を差し引いてグレーの画像がグレーで表されるように補正するためのものである。このグレーバランス補正量に基づいて、ＥＮＤ（Equivalent Neutral Density）−ＬＵＴ（等価中性濃度テーブル）が算出される。この補正により、フィルムのメーカやタイプの違いによる画像濃度の違いも補正することができる。なお、ＤＳＣ１４で撮影された１群の複数コマの画像の画像データの場合にも、件グレーバランス補正処理では、同様に、グレーの画像が適切なグレーで表されるように補正するためのグレーバランス補正量が算出される。

カラーバランス補正（コマグレーバランス補正）処理では、１コマの画像の解析結果（画像特徴量）と上記グレー軸が評価され、そのコマの画像に対する色温度補正量やフェリア補正量が算出される。ここで、被写体として人物が撮影された画像の場合には、先の顔抽出処理において主要被写体となる顔領域が抽出されているので、この顔領域の色を肌色として適正な所定の色範囲とするように、カラーバランス補正処理を行うことができる。それにより、高いカラーバランス補正性能を得ることができる。
アンダー／オーバー補正処理では、画像のアンダー領域およびオーバー領域の階調をネガフィルムの階調特性を考慮して補正するための補正テーブルが算出される。ＤＳＣ１４で撮影された１群の複数コマの画像の画像データの場合にも、同様に、階調特性を考慮して補正するための補正テーブルが算出される。

濃度補正処理では、１コマごとの画像解析結果に基づいて画像全体の濃度補正量が算出される。また、顔検出手段５８によって顔抽出処理により顔領域が抽出されている場合には、抽出された顔領域の濃度が所定の濃度範囲となるように、濃度補正量が算出される。ここで、先の顔抽出処理において顔領域が抽出されているので、この顔領域の濃度を肌色として適正な所定の濃度範囲とするように、濃度補正処理を行うことができる。それにより、高い濃度補正性能を得ることができる。
そして、コントラスト補正処理では、ハイライトおよびシャドーの濃度値が決定され、グレー軸の傾き補正量が算出される。
以上により、階調補正手段５６で算出された各階調補正量は、変換写像作成手段６２に送られる。

類似コマ処理処理では、類似コマ補正手段６０によって、階調補正手段５６で階調補正された類似コマ画像（画像データ）に対して、カラーバランス補正（コマグレーバランス補正）の類似コマ補正処理、濃度補正の類似コマ補正処理、およびコントラスト補正の類似コマ補正処理が行われ、カラーバランス調整量、濃度調整量、およびコントラスト調整量が、それぞれ算出される。
ここで、カラーバランス補正（コマグレーバランス補正）の類似コマ補正処理では、画像解析手段５４で算出した処理対象コマおよびその前後２コマ（計５コマ）のカラーバランス補正量が、処理対象コマおよびその前後２コマの類似度評価値で重み付け平均され、カラーバランス調整量が算出される。

濃度補正の類似コマ補正処理では、画像解析手段５４で算出した、処理対象コマおよびその前後２コマの濃度補正量が、処理対象コマおよびその前後２コマの類似度評価値で重み付け平均され、濃度調整量が算出される。
コントラスト補正の類似コマ補正処理では、画像解析手段５４で算出した、処理対象コマおよびその前後２コマのコントラスト補正量が、処理対象コマおよびその前後２コマの類似度評価値で重み付け平均され、コントラスト調整量が算出される。
以上により、類似コマ補正手段６０で算出された各調整量は、変換写像作成手段６２に送られる。

上述して実施例では、階調補正手段５６で行われる階調補正処理において、顔検出手段５８によってグレー情報を用いることにより顔抽出処理を行っているので、顔抽出処理を先頭で行っているが、本発明はこれに限定されず、件グレーバランス補正やコマグレーバランス補正やアンダー／オーバー補正よりも後で、顔抽出処理を行っても良い。
図７に、画像セットアップ装置で行われる階調補正量および階調調整量の算出処理の流れ（フロー）の他の例のフローチャートを示す。
図７に示す例は、図６に示す例と、顔抽出処理が、階調補正処理の先頭ではなく、件グレーバランス補正、コマグレーバランス補正およびアンダー／オーバー補正よりも後で行われている点で異なる以外は、同様の構成を有するものであるので、同一の部分の説明や同様な部分の詳細な説明は省略し、主として相違点について説明する。

図７に示す階調補正処理では、階調補正手段５６によって、入力画像データに対し、件グレーバランス補正（グレーバランス補正）、コマグレーバランス補正（カラーバランス補正）、アンダー／オーバー補正、顔抽出処理、濃度補正およびコントラスト補正が、この順序で行われ、画像の階調補正が行われ、種々の階調補正量が算出される。
グレーバランス補正（件グレーバランス補正）処理では、図６に示す例と同様にして、グレー軸が最適近似され、グレーバランス補正量が算出される。
コマグレーバランス補正（カラーバランス補正）処理では、１コマの画像の解析結果と上記グレー軸を評価して、そのコマの画像に対する色温度補正量やフェリア補正量が算出される。この例では、この時点で、顔領域が抽出されていないので、顔領域の色を肌色として適正な所定の色範囲となるようにカラーバランス補正処理を行うことはできないが、この点を除いて、図６に示す例と同様にして、カラーバランス補正量を算出することができる。

アンダー／オーバー補正処理でも、図６に示す例と同様にして、画像のアンダー領域およびオーバー領域の階調を補正するための補正テーブルが算出される。
顔抽出処理処理では、顔検出手段５８によって、カラーバランス補正が行われた画像データの肌色情報に基づいて、被写体である人物の顔領域が抽出される。なお、この例においては、顔検出手段５８による顔抽出処理を、クレー情報のみではなく、カラーバランス補正が行われた画像データの肌色情報に基づいて行うことができるので、図６に示す例よりも、容易かつ正確に行うことができる。なお、顔抽出処理で抽出された顔領域に関する情報は、図６に示す例と同様に、赤目検出装置１０の顔検出手段２２に送られる。

濃度補正処理でも、図６に示す例と同様に、顔抽出により抽出した顔領域の濃度が所定の濃度範囲となるように、濃度補正量が算出される。
そして、コントラスト補正処理でも、図６に示す例と同様に、ハイライトおよびシャドーの濃度値が決定され、グレー軸の傾き補正量が算出される。
以上により、階調補正手段５６で算出された各補正量は、変換写像作成手段６２に送られる。

次に、類似コマ処理では、図６に示す例と同様に、類似コマ補正手段６０によって、処理対象コマとその前後２コマ（計５コマ）の類似度（類似度評価値）によってカラーバランス補正量の重み付け平均が求められ、カラーバランス調整量、濃度調整量およびコントラスト調整量がそれぞれ算出される。
類似コマ補正手段６０によって算出された各調整量は、変換写像作成手段６２に送られる。

こうして、図６および図７に示す例のいずれにおいても、階調補正手段５６で算出された各補正量および類似コマ補正手段６０で算出された各調整量は、図５に示すように、変換写像作成手段６２に送られ、例えば、画像処理条件として、それぞれ、階調補正ＬＵＴおよび類似コマ補正ＬＵＴ（グレーバランス補正ＬＵＴ、カラーバランス補正ＬＵＴ）などの変換写像（変換関数、ＬＵＴ、変換マトリックスなど）が自動的に作成され、設定される。
次いで、変換処理手段６４では、画像処理装置５０に入力されたファインスキャンデータが、自動設定された変換写像（変換関数、ＬＵＴ、変換マトリックスなど）に従って、変換され、セットアップ済画像データが求められる。
こうして、画像セットアップ装置５２において、画像条件設定および変換処理（オートセットアップ処理）が実行され、セットアップ済画像データや顔領域切り出し処理のデータが得られる。

こうして、画像セットアップ装置５２で得られたセットアップ済画像データおよびプレスキャンデータは、赤目検出装置１０のデータ処理手段１８に入力される。なお、上述したように、顔検出手段５８で得られた顔領域切り出し処理のデータも、直接、赤目検出装置１０の顔検出手段２２に、もしくは、データ処理手段１８を経て顔検出手段２２に入力される。

ここで、図５に示す画像処理装置５０において、赤目検出装置１０は、上述のように、画像セットアップ装置５２から、画像処理（オートセットアップ処理）がなされたセットアップ済（画像処理済）画像データやプレスキャンデータを取得すると共に、赤目検出装置１０の顔検出手段２２は、画像セットアップ装置５２の階調補正手段５６から、その顔検出手段５８で得られた顔抽出処理結果である顔領域切り出し処理のデータを、直接、もしくは、赤目検出装置１０のデータ処理手段１８を経て受け取ることができる。

なお、図５に示す画像処理装置５０の赤目検出装置１０は、図１に示す実施例の赤目検出装置１０と、スキャナ１２やＤＳＣ１４などの画像データ供給源から対象画像の画像データ（ファインスキャンデータおよびプレスキャンデータ）を取得するのではなく、画像セットアップ装置５２からセットアップ済画像データやプレスキャンデータを取得する点と、顔検出手段２２が顔検出を行う際に、画像セットアップ装置５２の階調補正手段５６の顔検出手段５８で得られた顔領域切り出し処理のデータを利用している点で異なる以外は、全く同様の構成を有するものであるので、同一の構成要素には同一の符号を付し、その説明は省略し、主として相違点について説明する。

図５に示す画像処理装置５０において、赤目検出装置１０の顔検出手段２２は、画像セットアップ装置５２の階調補正手段５６の顔検出手段５８で得られた顔領域切り出し処理のデータを利用して、赤目候補検出手段２０で検出された赤目候補の周辺のみにおける顔検出を行うことができる。この赤目検出装置１０の顔検出手段２２における顔検出は、予め得られた顔領域切り出し処理のデータを利用しているので、非常に時間がかかる顔検出を、大幅に少ない演算量で、したがって極めて短時間で、高精度でかつ効率よく行うことができる。

ところで、図５に示す画像処理装置５０においては、画像セットアップ装置５２の階調補正手段５６の顔検出手段５８で顔検出（顔抽出処理）を行い、得られた顔領域切り出し処理のデータを用いて、赤目検出装置１０の顔検出手段２２においても顔検出を行っているが、本発明はこれに限定されず、図８に示す画像処理装置７０のように、赤目検出装置１０に、別異の顔検出手段を設けず、画像セットアップ装置５２の階調補正手段５６の顔検出手段５８による顔領域切り出し処理のデータを用いるようにしても良いし、この顔検出手段５８を赤目検出装置１０の顔検出手段として共用しても良い。

図８は、本発明の特定領域検出方法を実施する特定領域検出装置を適用した赤目検出装置を備える画像処理装置の別の実施例のブロック図である。
図８に示す画像処理装置７０は、図５に示す画像処理装置５０と、赤目検出装置７２が顔検出手段２２を備えておらず、画像セットアップ装置５２の階調補正手段５６の顔検出手段５８による顔領域切り出し処理のデータが、直接、赤目特定手段７４に入力されている点を除いて、同様の構成を有するものであるので、同一の構成要素には、同一の符号を付し、その説明は適宜省略する。

本実施例においては、画像処理装置７０は、画像セットアップ装置５２と、赤目検出装置７２と、赤目補正手段１６と、指示手段２６とを有する。
また、赤目検出装置７２は、データ処理手段１８と、赤目候補検出手段２０と、赤目特定手段７４と、外部接続される指示手段２６とを有するか、もしくは、データ処理手段１８と、赤目候補検出手段２０と、赤目特定手段２４と、外部接続される指示手段２６と、画像セットアップ装置５２と共用される顔検出手段５８と、を有する。
ここで、赤目検出装置７２の赤目特定手段７４においては、赤目候補検出手段２０によって検出された赤目候補が、画像セットアップ装置５２の階調補正手段５６の顔検出手段５８で得られた顔領域切り出し処理のデータを用いることにより、切り出された顔領域に含まれるか否か検査し、例えば、赤目候補の位置情報と切り出された顔領域の領域情報とを比較して、この顔領域に含まれる赤目候補を検出対象である赤目領域として特定する。

なお、本実施例においては、例えば、顔検出手段５８による顔抽出処理は、基本的に、プレスキャンデータ等の低解像度画像データで行われ、顔検出手段５８で得られた顔領域切り出し処理のデータは、低解像度画像データである。これに対して、赤目候補検出手段２０による赤目候補の検出は、解像度の異なるファインスキャンデータ等の高解像度画像データで行われる。したがって、赤目特定手段７４においては、図示しないスケール変換手段を有し、顔検出手段５８から受け取る顔領域切り出し処理のデータを、低解像度画像データから高解像度データとなるように解像度を変換して揃え、顔領域切り出し処理のデータを補間して、画素密度を増大させて、すなわち画像サイズ拡大して、ファインスキャンデータ等の高解像度画像データの画素密度や画素サイズとなるようにスケール換算する必要がある。
こうして、本実施例の赤目検出装置７２においても、赤目特定手段７４は、赤目候補検出手段２０で検出された赤目候補が、顔検出手段５８で切り出された顔領域に含まれるか否か検査することができ、この顔領域に含まれる赤目候補を検出対象である赤目領域として特定することができる。

本発明に係る特定領域検出方法および特定領域検出装置は、基本的に以上のように構成される。
なお、本発明においては、上述した特定領域検出方法の各工程をコンピュータに実行させるための特定領域検出プログラムとして構成しても良いし、また、コンピュータを上述した特定領域検出装置の各手段として機能させる特定領域検出プログラムとして構成しても良い。

以上、本発明の特定領域検出方法、特定領域検出装置、および特定領域検出プログラムについて、種々の実施例を挙げて詳細に説明したが、本発明は上記の種々の実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。

例えば、以上の例は、本発明の検出方法を赤目検出に利用した例であるが、本発明は、これに限定はされず、金目、目、目じり、眉毛、口、鼻、眼鏡、ニキビ、ホクロ、しわなど、画像中の顔領域に存在し得る各種の物を特定領域として、画像中から、例えばニキビ候補を検出して、その周辺で顔検出を行い、顔が検出できたニキビ候補をニキビと特定してもよい。
この際における特定領域候補の検出方法は、例えば、検出対象となる特定領域に固有の色や形状を有する領域を画像中から検出する方法が例示される。また、顔検出と同様に、検出対象となる特定領域の多数の画像サンプルから、予め作成した平均的な特定領域の画像（テンプレート）を用いて、マッチングを行う方法も好適である。例えば、多数の目じりの画像サンプルから予め作成した平均的な目じりの画像すなわち目じりのテンプレートを用い、マッチングを行って目じりを検出する方法が例示される。

本発明の特定領域検出装置を赤目検出装置に利用した一例を概念的に示すブロック図である。 本発明による赤目検出を説明するための概念図である。 本発明による赤目検出を説明するための概念図である。 （Ａ）および（Ｂ）は、図１に示す赤目検出装置における顔検出を説明するための概念図である。 本発明の特定領域検出装置を適用した赤目検出装置を備える画像処理装置の一実施例のブロック図である。 図５に示す画像処理装置の画像セットアップ装置で行われる階調補正量および階調調整量の算出処理のフローの一例を示すフローチャートである。 図５に示す画像処理装置の画像セットアップ装置で行われる階調補正量および階調調整量の算出処理のフローの他の例のフローチャートである。 本発明の特定領域検出装置を適用した赤目検出装置を備える画像処理装置の別の実施例のブロック図である。

符号の説明

１０，７２ 赤目検出装置
１２ スキャナ
１４ デジタルカメラ（ＤＳＣ）
１６ 赤目補正手段
１８ データ処理手段
２０ 赤目候補検出手段
２２ 顔検出手段
２４，７４ 赤目特定手段
２６ 指示手段
２８ スケール換算手段
３０ 光源
３２ 可変絞り
３４ 色フィルタ板
３６ 拡散ボックス
３８ 結像レンズユニット
４０ ＣＣＤセンサ
４２ アンプ
４４ Ａ／Ｄ変換器
４６ Ｌｏｇ変換器
４８ データ補正部
５０，７０ 画像処理装置
５２ 画像セットアップ装置
５４ 画像解析手段
５６ 階調補正手段
５８ 顔抽出処理手段
６０ 類似コマ補正手段
６２ 変換写像作成手段
６４ 変換処理手段

Claims (11)

1. 画像中の特定領域候補を検出し、
   次いで、前記特定領域候補を検出した画像とは解像度の異なる画像を用いて、前記検出した特定領域候補を含む領域において顔検出を行って、
   顔が検出できた領域に含まれる特定領域候補を検出対象である特定領域として特定することを特徴とする特定領域検出方法。
2. 前記特定領域が、赤目または金目の領域である請求項１に記載の特定領域検出方法。
3. 前記特定領域候補の検出を高解像度画像で行い、前記顔検出を低解像度画像で行う、もしくは、前記特定領域候補の検出を低解像度画像で行い、前記顔検出を高解像度画像で行う請求項１または２に記載の特定領域検出方法。
4. 前記高解像度画像が、デジタルカメラで撮影された画像の画像データ、もしくは画像読取装置における出力画像を得るためのファインスキャンの画像データであり、
   前記低解像度画像が、デジタルカメラで撮影された画像の画像データを間引いたあるいは縮小した画像データ、もしくは、画像読取装置において前記ファインスキャンに先立って行われるプレスキャンの画像データである請求項３に記載の特定領域検出方法。
5. 供給された画像データの画像から特定領域候補を検出する候補検出手段と、
   前記候補検出手段とは解像度の異なる画像を用いて、前記候補検出手段が検出した前記特定領域候補を含む領域において顔検出を行う顔検出手段と、
   前記顔検出手段によって顔が検出できた領域に含まれる特定領域候補を検出対象である特定領域として特定する特定手段とを有することを特徴とする特定領域検出装置。
6. 前記特定領域が、赤目または金目の領域である請求項５に記載の特定領域検出装置。
7. さらに、前記候補検出手段での検出を高解像度画像で行い、前記顔検出手段での検出を低解像度画像で行う第１の検出モードと、前記候補検出手段での検出を低解像度画像で行い、前記顔検出手段での検出を高解像度画像で行う第２の検出モードとを選択する選択手段を有する請求項５または６に記載の特定領域検出装置。
8. 前記顔検出手段が、前記候補検出手段が前記特定領域候補を検出する前に行われた、画像濃度補正に用いられた顔領域切り出し処理のデータを利用して前記顔検出を行うものである請求項５〜７のいずれかに記載の特定領域検出装置。
9. 供給された画像データの画像から特定領域候補を検出する候補検出手段と、
   前記候補検出手段とは解像度の異なる画像を用いて、前記候補検出手段が前記特定領域候補を検出する前に、画像濃度補正に用いるために顔領域の切り出し処理を行う顔検出手段と、
   前記候補検出手段によって検出された前記特定領域候補が前記顔検出手段によって切り出された前記顔領域に含まれるか否か検査し、前記顔領域に含まれる前記特定領域候補を検出対象である特定領域として特定する特定手段とを有することを特徴とする特定領域検出装置。
10. 供給された画像データの画像から特定領域候補を検出する候補検出工程、
    前記候補検出工程とは解像度の異なる画像を用いて、前記候補検出工程で検出された前記特定領域候補を含む領域において顔検出を行う顔検出工程、および、
    前記顔検出工程において顔が検出できた領域に含まれる特定領域候補を検出対象である特定領域として特定する特定工程
    をコンピュータに実行させることを特徴とする特定領域検出プログラム。
11. 前記特定領域が、赤目または金目の領域である請求項１０に記載の特定領域検出プログラム。

Images