JP2007305030A - 赤目処理方法および装置ならびにプログラム - Google Patents

Abstract

【課題】 赤目の出現頻度や色等の赤目の個人差を考慮して赤目の検出精度を向上させる。
【解決手段】 顔検出手段１０において全体画像Ｐから顔画像Ｆの検出が行われる。次に、認識手段３０において検出した顔画像Ｆがデータベース２０に登録された特定の人物であるか否かが判断される。顔画像Ｆがデータベース２０に登録された特定の人物であると認識された場合、赤目検出手段４０においてデータベース２０に登録されている赤目検出パラメータＰＭ１を用いて顔画像Ｆから赤目の検出が行われる。
【選択図】 図１

Description

本発明は、全体画像上の顔画像から赤目を検出する赤目処理方法および装置ならびにプログラムに関するものである。

夜間あるいは暗い場所で人物や動物をストロボ撮影したとき、瞳孔（あるいは瞳孔の一部）が赤色あるいは金色に撮影されてしまうことがある。このとき、赤色あるいは金色に撮影されてしまった瞳孔（以下、金色の場合も含めて「赤目」と称する）を、デジタル画像処理により本来の瞳孔の色に補正する方法が種々提案されている（たとえば特許文献１参照）。この特許文献１にはオペレータが指定した領域の中から瞳孔の色、位置、大きさに基づいて赤目を自動認識する方法および装置が開示されている。また、オペレータが指定した領域について画素ごとに所定の特徴量を計算し、瞳孔部分の特徴を最も有する部分を補正対象として選択する方法が開示されている（たとえば特許文献２参照）。

さらに、上述したオペレータが指定した領域について赤目検出・赤目補正を行うのではなく、先に顔を検出し顔として検出された領域を対象に赤目の検出を行うことが提案されている（たとえば特許文献３参照）。
特開２０００−１３６８０号公報 特開２００１−１４８７８０号公報 特開２０００−１２５３２０号公報

上述した特許文献３において、画像内にあるすべての顔画像に対し同一の設定条件を用いて赤目検出が行われている。しかし、赤目が出現する頻度および赤目の色の度合い等には個人差があり、すべての顔画像に対し画一的な赤目検出を施したときに検出精度が低くなってしまうという問題がある。たとえば赤目が発生しやすい人の顔画像と赤目の発生しにくい人の顔画像に対し同じ検出特性で赤目検出した場合、赤目が発生しやすい人の顔画像に赤目が発生しているにもかかわらず赤目を検出することできない、もしくは赤目の発生しにくい人に赤目が発生していないにもかかわらず赤目が検出されてしまうという状況が発生してしまう場合がある。

そこで、本発明は、赤目の出現頻度や色等の赤目の個人差を考慮して赤目の検出精度を向上させることができる赤目処理方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の赤目処理方法は、全体画像の中から顔を検出し、検出した顔画像がデータベースに登録された特定の人物であるか否かを認識し、検出した顔画像が特定の人物であると認識したとき、前記データベースに特定の人物に関連づけて登録されている赤目検出パラメータを用いて顔画像から赤目を検出することを特徴とするものである。

本発明の赤目処理装置は、全体画像の中から顔を検出する顔検出手段と、全体画像の中から顔を検出する顔検出手段と、特定の人物の情報と特定の人物から赤目を検出するときの検出特性を決定する赤目検出パラメータとが関連づけて登録されているデータベースと、顔検出手段により検出された顔画像がデータベースに登録された特定の人物であるか否かを認識する認識手段と、認識手段において特定の人物がデータベースに登録されていると認識されたとき、特定の人物と関連づけられた赤目検出パラメータを用いて顔画像から赤目を検出する赤目検出手段とを備えたことを特徴とするものである。

本発明の赤目処理プログラムは、コンピュータに、全体画像の中から顔を検出し、検出した顔画像がデータベースに登録された特定の人物であるか否かを認識し、検出した顔画像が特定の人物であると認識したとき、データベースに特定の人物に関連づけて登録されている赤目検出パラメータを用いて顔画像から赤目を検出することを実行させることを特徴とするものである。

ここで、赤目検出パラメータは赤目を検出するときの検出率および誤検出率といった検出特性を決定するものであって、赤目検出パラメータが変化することにより検出特性が変化する。なお、検出率とは赤目を赤目であると正しく判断する正答率をいい、誤検出率とは赤目以外のものを赤目として検出してしまう誤り率をいう。

また、赤目検出手段は、赤目を検出するものであればその手法は問わず、たとえば 顔画像上に設定画素数からなる判定対象範囲を設定する範囲設定手段と、範囲設定手段により設定された判定対象範囲から特徴量を抽出し、特徴量と赤目検出パラメータとを比較することにより赤目であるか否かを検出する複数の赤目判別器とを備えたものであり、複数の赤目判別器の複数の判別結果を用いて赤目を検出するものであってもよい。

さらに、赤目検出手段において赤目が検出されたとき赤目の補正を行う赤目補正手段をさらに有するものであってもよい。このとき、データベースに特定の人物と赤目補正手段における補正の程度を決定する赤目補正パラメータとが関連づけて登録されており、顔認識手段において顔画像がデータベースに登録されていると認識されたとき、赤目補正手段は認識された顔画像に関連づけされた赤目補正パラメータを用いて赤目補正を行うようにしてもよい。

また、顔検出手段は、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を判別する顔判別器とを有し、顔判別器が、複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを検出する顔判別器を備えたものであってもよい。

本発明の赤目処理方法および装置ならびにプログラムによれば、検出した顔画像がデータベースに登録された特定の人物であるか否かを認識し、検出した顔画像が特定の人物であると認識したとき、データベースに特定の人物に関連づけて登録されている赤目検出パラメータを用いて顔画像から赤目を検出することにより、赤目になりやすい人物もしくは赤目になりにくい人物等の個人差に合わせて赤目の検出特性を各顔画像毎に設定することができるため、赤目検出の精度を向上させることができる。

なお、赤目検出手段が、顔画像上に設定画素数からなる判定対象範囲を設定する範囲設定手段と、範囲設定手段により設定された判定対象範囲から特徴量を抽出し、特徴量と赤目検出パラメータとを比較することにより赤目であるか否かを検出する複数の赤目判別器とを備えたものであり、複数の赤目判別器の複数の判別結果を用いて赤目を検出するものであるとき、赤目を精度良く検出することができる。

また、赤目検出手段において赤目が検出されたとき赤目の補正を行う赤目補正手段をさらに有し、データベースに顔画像と赤目補正手段における補正の程度を定めた赤目補正パラメータとが関連づけて登録されており、顔認識手段において顔画像がデータベースに登録されていると認識されたとき、赤目補正手段が赤目補正パラメータに従い認識された顔画像に対し赤目補正を行うものであれば、たとえば赤目が出にくい人の赤目を補正するときに、強い赤目補正を行うことによる画質の劣化を防止することができる。

さらに、顔検出手段が、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を判別する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを検出する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。

以下、図面を参照して本発明の赤目処理装置の好ましい実施の形態を詳細に説明する。なお、図１のような赤目処理装置１の構成は、ハードディスク装置等の補助記憶装置に読み込まれた赤目処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この赤目処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

赤目処理装置１は、全体画像Ｐの中から顔を検出する顔検出手段１０と、特定の人物と赤目検出パラメータＰＭ１とが関連づけて登録されているデータベース２０と、顔検出手段１０により検出された顔画像Ｆがデータベース２０内に登録されているか否かを認識する顔認識手段３０と、顔画像Ｆがデータベース２０に登録されていると認識されたとき、データベース２０において特定の人物に関連づけされた赤目検出パラメータＰＭ１を用いて赤目検出を行う赤目検出手段４０とを備えている。

ここで、顔検出手段１０は、図２に示すように、全体画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰから正面顔である部分画像を判別する正面顔検出手段１２Ａおよび横顔である部分画像を判別する横顔検出手段１２Ｂとを有している。

なお、部分画像生成手段１１に入力される全体画像Ｐは前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、全体画像Ｐに対し図３（Ａ）〜（Ｄ）に示すように、全体画像Ｐを多重解像度化して解像度の異なる複数の全体画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段１０ａは、生成した複数の全体画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。

部分画像生成手段１１は、図３（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。特に、部分画像生成手段１１は、一定画素数だけ飛ばしながらサブウィンドウＷを走査させることにより、部分画像ＰＰを生成するようになっている。

なお、部分画像生成手段１１は、図３（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、全体画像ＰにおいてサブウィンドウＷ内に顔もしくは顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。

正面顔検出手段１２Ａおよび横顔検出手段１２Ｂは、たとえばアダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ Ａｌｇｏｒｉｔｈｍ）を用いて顔画像Ｆを検出するものである。正面顔検出手段１２Ａは面内回転している正面顔を検出する機能を有しており（図４（Ａ）参照）、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器１３−１〜１３−１２を有している。なお、各正面顔判別器１３−１〜１３−１２は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を検出できるようになっている。横顔検出手段１２Ｂは、面内回転している横顔を検出する機能を有しており（図４（Ｂ）参照）、たとえば−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器１４−１〜１４−７を有している。なお、横顔検出手段１２Ｂは、さらに画面内の顔の向きが回転している画像（面外回転）を検出する横顔判別器をさらに備えていても良い。

上述した正面顔判別器１３−１〜１３−１２および横顔判別器１４−１〜１４−７は、部分画像ＰＰが顔であるか非顔かの２値検出を行う機能を有し、複数の弱判別器ＣＦ_１〜ＣＦ_Ｍ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの検出を行う機能を備える。そして、各顔判別器は弱判別器ＣＦ_１〜ＣＦ_Ｍおける検出結果を用いて顔であるか否かの最終的な検出を行うようになっている。

具体的には、各弱判別器ＣＦ_１〜ＣＦ_Ｍは図５に示すように部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ_１〜ＣＦ_Ｍ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ_１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ_２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ_１〜ＣＦ_Ｍに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。

各弱判別器ＣＦ_１〜ＣＦ_Ｍは図６に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）を出力する。さらに、各弱判別器ＣＦ_１〜ＣＦ_Ｍは検出性能を示す信頼度β_１〜β_Ｍを有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍは、スコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）と信頼度β_１〜β_Ｍとを用いて判定スコアβ_ｍ・ｆ_ｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦ_ｍの判定スコアβ_ｍ・ｆ_ｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを認識し、設定しきい値以上であるときに顔であると検出する（β_ｍ・ｆ_ｍ（ｘ）≧Ｓｒｅｆ）。

また、各弱判別器ＣＦ_１〜ＣＦ_Ｍはそれぞれカスケード構造を有しており、各弱判別器ＣＦ_１〜ＣＦ_Ｍのすべてが顔であると検出した部分画像ＰＰのみを顔画像Ｆとして出力するようになっている。つまり、弱判別器ＣＦ_ｍにおいて顔であると検出した部分画像ＰＰのみ下流側の弱判別器ＣＦ_ｍ＋１による検出を行い、弱判別器ＣＦ_ｍで非顔であると検出された部分画像ＰＰは下流側の弱判別器ＣＦ_ｍ＋１による検出は行わない。これにより、下流側の弱判別器において検出すべき部分画像ＰＰの量を減らすことができるため、検出作業の高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月に開示されている。

なお、各判別器１３−１〜１３−１２、１４−１〜１４−７は、それぞれ所定の角度で面内回転された正面顔もしくは横顔を正解サンプル画像として学習された弱判別器を有しているものである。また、各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力された判定スコアＳ_１〜Ｓ_Ｍをそれぞれ個別に判定スコアしきい値Ｓｒｅｆ以上であるか否かを認識するのではなく、弱判別器ＣＦ_ｍにおいて検出を行う際、弱判別器ＣＦ_ｍの上流側の弱判別器ＣＦ_１〜ＣＦ_ｍ−１での判定スコアの和Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒが判定スコアしきい値Ｓ１ｒｅｆ以上であるか否かにより検出を行うようにしても良い（Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。さらに、顔検出手段１０はアダブースティングアルゴリズムを用いて顔を検出する場合について例示しているが、公知のＳＶＭ（Support Vector Machine）アルゴリズムを用いて下を検出するものであっても良い。

図１のデータベース２０には、図７に示すように、撮影者およびその関係者の顔等の撮影者が注目する特定人物の情報に関連づけて赤目検出手段４０の検出特性を決定する赤目検出パラメータＰＭ１が登録されている。ここで、たとえば赤目になりやすい人物の場合、各赤目判別器の検出率が高くなるような赤目検出パラメータＰＭ１が登録されている。一方、赤目になりにくい人物の場合、各赤目判別器の誤検出率が低くなるような赤目検出パラメータＰＭ１が登録されている。

認識手段３０は、顔検出手段１０により検出された顔画像Ｆがデータベース２０内に登録されている否かを認識するものである。ここで、顔の認識には種々の手法を用いることができる。たとえば顔画像の局所特徴量を用いて顔認識する方法、Ａｄａｂｏｏｓｔアルゴリズムを用いて顔認識する方法、グラフマッチング法、テンプレートマッチング法等の公知の顔認識技術を用いることができ、詳細については、W. Y. Zhao, R. Chellappa, A.Rosenfeld, P. J. Phillips: “Face recognition: A literature survey”, UMD CfAR Technical Report CAR-TR-948,2000.,労世紅、山口修、平山高嗣、“画像処理による顔検出と顔認識“、ＣＶＩＭ２００５年５月（第１４９回）研究会、坂野鋭、“パターン認識における主成分分析“、統計数理、vol. 49, no. 1, pp. 23-42,2001等の文献に記載されている。なお、データベース２０の人物情報として、上述した各認識アルゴリズムにより特定の人物であることが認識可能な情報（たとえば顔画像の局所特徴量、顔画像Ｆ自体等）が登録されている。

赤目検出手段４０は、顔画像Ｆから赤目を検出するものであって、たとえば瞳孔の特徴に基づいて赤目か否かを判定するようになっている。具体的には、図８に示すように、赤目検出手段４０は、全体画像Ｐ上に判定対象範囲（たとえば１０画素×１０画素）を設定する範囲設定手段４１と、範囲設定手段４１により設定された判定対象範囲が赤目となるか否かを判定する複数の赤目判別器４２−１〜４２−Ｋ（Ｋは赤目判別器の個数）とを有している。範囲設定手段４１は、図９のように、たとえば１０画素×１０画素からなる判定対象範囲ＥＰを顔画像Ｆ上に設定するものであり、さらに判定対象範囲ＥＰ顔画像Ｆ全体にわたり走査させながら設定していく。

各赤目判別器４２−１〜４２−Ｋは、設定された判定対象範囲ＥＰ内の画像が赤目の特徴を備えているかを判定することにより赤目を検出するようになっている。具体的には各赤目判別器４２−１〜４２−Ｋは判定対象範囲ＥＰ内から特徴量を算出し、算出した特徴量と赤目検出パラメータＰＭ１とを比較することにより赤目であるか否かを判定する。たとえば赤目判定器４２−１は判定対象範囲ＥＰから画素値から判定スコアを算出する。判定スコアは赤色を示す画素値のとき大きくなり、茶色を示す画素値のとき小さくなり、明らかに赤色ではない色（例えば黄色）を示す画素値ときゼロまたはマイナスになる。そして、赤目判別器４２−１は判定対象範囲ＥＰ内の全画素の判定スコアを集計したものを特徴量として算出する。

一方、赤目判別器４２−１は予め設定しきい値（標準赤目検出パラメータ）が設定されており、この標準赤目検出パラメータと特徴量とを比較することにより判定対象範囲ＥＰが赤目であるか否かを判定する。そして、特徴量が設定しきい値（標準赤目検出パラメータ）以上であれば判定対象範囲ＥＰは赤目であると判定し、設定しきい値（標準赤目検出パラメータ）よりも小さければ赤目ではないと判定する。

上述した赤目判別器４２−１においては画素値に基づいて特徴量を算出しているが、他の赤目判別器４２−２〜４２−Ｋにおいては、たとえば画素（ｘ，ｙ）の値と画素（ｘ＋ｄｘ，ｙ＋ｄｙ）の値の差分や、画素（ｘ，ｙ）の値と画素（ｘ＋ｄｘ１，ｙ＋ｄｙ１）の値の差分ｖ１と画素（ｘ，ｙ）の値と画素（ｘ＋ｄｘ１，ｙ＋ｄｙ１）の値の差分ｖ２の組や、４点以上の画素値の差分の組等に基づいて特徴量が算出される。もしくは、論文「ＤＲ画像における腫瘤影検出−アイリスフィルタ」，松本一男他，電子情報通信学会論文誌，Ｖｏｌ．Ｊ７５−ＤＩＩ，ｎｏ．３，ｐｐ．６６３−６７０，１９９２には、勾配ベクトルの分布に基づいて画像を評価する手法が示されているが、そのような勾配ベクトルの分布に基づいて特徴量を算出するようにしても良い。

そして、算出した特徴量と設定しきい値（標準赤目検出パラメータ）とを比較することにより赤目の検出が行われる。そして、すべての赤目判別器が赤目であると判定したとき、判定対象範囲が赤目であると検出される。一方、複数の赤目判別器のうちいずれか１つでも赤目ではないと検出したとき、判定対象範囲は赤目ではないと判断される。

なお、この設定しきい値（標準赤目検出パラメータ）は赤目を表すサンプル画像と赤目以外の対象を表すサンプル画像（いずれも１０画素×１０画素）を用いた学習を行わせ、学習により習得した適切な特徴量、スコアテーブルおよび閾値を用いている。学習の手法は、マシーンラーニング技術として知られているニューラルネットワークの手法あるいはブースティングの手法など公知のあらゆる手法を用いることができ、特に限定されない。

この各赤目判定器４２−１〜４２−Ｋでの判定において、顔画像Ｆがデータベース２０に登録されたものであると認識されたものであるとき、各赤目判別器４２−１〜４２−Ｋはデータベース２０内の顔画像Ｆに関連づけされて登録されている赤目検出パラメータＰＭ１を用いて赤目の判定を行うようになっている。このように、顔画像Ｆ毎にそれぞれ異なる赤目検出パラメータＰＭ１を設定し赤目の検出を行うことにより、赤目が出やすい人物あるいは赤目が出にくい人物等の個人差に対応した赤目検出を行うことが可能となるため、赤目の検出精度を向上させることができる。

たとえば、全体画像Ｐに赤目が発生しやすい人物が写っているとき、標準赤目検出パラメータよりもしきい値が小さい赤目検出パラメータを用いることにより赤目検出手段４０の検出率を高く設定する。これにより、赤目が発生している可能性の高い顔画像Ｆから確実に赤目を検出することができる。一方、全体画像Ｐに赤目が発生しにくい人物が写っているとき、標準赤目検出パラメータよりも値が小さい赤目検出パラメータを用いることにより赤目検出手段４０の誤検出率を低く設定する。これにより、赤目が発生している可能性の低い顔画像Ｆ内から赤目が誤って検出されるのを防止することができる。このように、認識手段３０における各顔画像Ｆの認識結果を用いて、各顔画像Ｆの人物に合った赤目検出パラメータＰＭ１を赤目判別器４２−１〜４２−Ｋに設定することができるため、赤目の検出精度を向上させることができる。

さらに、図１の赤目処理装置１は赤目検出手段４０により検出された赤目を補正するための赤目補正手段５０を備えている。赤目補正手段５０は、図１０（Ａ）のように赤あるいは金色に撮影されてしまった瞳孔を図１０（Ｂ）のように本来の瞳孔の色に補正する機能を有している。ここで、データベース２０には補正の程度（補正レベル）を決定するための赤目補正パラメータＰＭ２が特定の人物の情報に関連づけて登録されており（図７参照）、赤目補正手段５０はこの赤目補正パラメータＰＭ２を用いて補正を行うようになっている。

具体的には、データベース２０に赤目が発生しにくい人物の顔画像Ｆには弱い赤目補正が施されるような赤目補正パラメータＰＭ２が関連づけて登録されており、赤目が発生しやすい人物の顔画像Ｆには強い赤目補正が施されるような赤目補正パラメータＰＭ２が関連づけて登録されている。これは赤目が発生しにくい人の赤目に強い赤目補正を施すことによる画質の劣化が生じるのを防止するためである。

図１１は本発明の赤目処理方法の好ましい実施の形態を示すフローチャートであり、図１から図１１を参照して赤め処理方法の一例について説明する。まず、顔検出手段１０において全体画像Ｐから顔画像Ｆの検出が行われる（ステップＳＴ１）。次に、認識手段３０において検出した顔画像Ｆがデータベース２０に登録された特定の人物であるか否かが判断される（ステップＳＴ２）。検出した顔画像Ｆがデータベース２０に登録されていない場合、赤目検出手段４０において標準の赤目検出パラメータ（しきい値）を用いて赤目の検出が行われる（ステップＳＴ４）。一方、顔画像Ｆが登録されたものであると認識された場合、赤目検出手段４０においてデータベース２０に登録されている赤目検出パラメータＰＭ１を用いて赤目の検出が行われる（ステップＳＴ５）。

その後、赤目検出手段４０において赤目が検出されたか否かが判断され（ステップＳＴ６）、赤目が検出されたとき、データベース２０から取得された赤目補正パラメータＰＭ２を用いて赤目補正が赤目補正手段５０により行われる（ステップＳＴ７）。

上記実施の形態によれば、顔検出手段１０により検出された顔画像Ｆがデータベース２０に登録された特定の人物であると認識したとき、その特定の人物に関連づけされた赤目検出パラメータＰＭ１を用いて顔画像Ｆの目が赤目であるか否かを検出することにより、赤目になりやすい人物もしくは赤目になりにくい人物等の個人差に合わせて赤目の検出特性を各顔画像毎に設定することができるため、赤目検出の精度を向上させることができる。

また、図８に示すように、赤目検出手段４０が、顔画像Ｆ上に設定画素数からなる判定対象範囲ＥＰを設定する範囲設定手段４１と、判定対象範囲ＥＰから特徴量を抽出し、特徴量と赤目検出パラメータＰＭ１とを比較することにより赤目であるか否かを検出する複数の赤目判別器４２−１〜４２−Ｋとを備えたものであり、複数の赤目判別器４２−１〜４２−Ｋの複数の判別結果を用いて赤目を検出するものであるとき、赤目を精度良く検出することができる。

また、赤目が検出されたとき赤目の補正を行う赤目補正手段５０をさらに有し、データベース２０に顔画像ＰＭ２と補正の程度を定めた赤目補正パラメータＰＭ２とが関連づけて登録されており、認識手段３０において検出された顔画像Ｆがデータベース２０に登録されていると認識されたとき、赤目補正手段５０が赤目補正パラメータＰＭ２を用いて顔画像Ｆの赤目補正を行うか否かを決定するものであれば、たとえば赤目が出にくい人の顔画像Ｆから赤目が検出されたとき等の赤目が誤検出された可能性の高い場合に、赤目補正を行わないようにすることができるため、誤検出された部位に対し赤目補正を行うことによる画質の劣化を防止することができる。

さらに、図２に示すように、顔検出手段１０が、全体画像Ｐ上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像ＰＰを生成する部分画像生成手段１１と、複数の部分画像のうち顔である部分画像ＰＰを判別する複数の弱判別器ＣＦ_１〜ＣＦ_ｍによる複数の判別結果を用いて部分画像ＰＰが顔であるか否かを検出する顔判別器１２とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。

本発明の実施の形態は上記実施の形態に限定されない。たとえば上記実施の形態について全体画像Ｐから１つの顔画像Ｆが検出された場合について例示しているが、複数の顔画像Ｆが検出された場合についても適用することができる。このとき、認識手段３０において各顔画像Ｆ毎にデータベース２０に登録された特定の人物であるか否かが認識され、各顔画像Ｆが登録された特定の人物である場合には、各特定の人物にそれぞれ関連づけされた赤目検出パラメータＰＭ１または赤目補正パラメータＰＭ２を用いて赤目検出または赤目補正が行われる。

また、上記実施の形態において、赤目の発生しやすい人と赤目の発生しにくい人とを例示して説明しているが、赤目の色や赤目の出現位置等の各個人の赤目の特徴に基づいて赤目検出パラメータを設定するようにしても良い。たとえば、赤目が金色に近い特性が出現する人の場合、画素値が金色であっても赤目であると判別できるような赤目検出パラメータを設定するようにしても良い。

さらに、図７において、データベース２０において各顔画像Ｆ毎に赤目検出パラメータＰＭ１もしくは赤目補正パラメータＰＭ２とを関連づけて登録している場合について例示しているが、顔画像Ｆの代わりに人種毎に各種パラメータＰＭ１、ＰＭ２を登録するようにしても良い。

また、データベース２０において、図８および図９の顔画像Ｆ上の判定対象範囲ＥＰを設定する際の設定の仕方を各顔画像Ｆ毎に登録するようにしてもよい。具体的には、たとえば赤目の発生しやすい人の場合には、解像度の異なる複数の顔画像Ｆを生成し、複数の顔画像Ｆ上に判定対象範囲ＥＰを設定して赤目検出を行うようにしても良い。

また、図８および図９において、赤目の発生しにくい人についても赤目の検出を行う場合について例示しているが、赤目の発生しにくい人は赤目検出を行わない旨の情報を赤目検出パラメータＰＭ１として登録するようにしても良い。

さらに、上述した赤目検出手段４０において、赤目を検出するときの細かさを人物によって変えるようにし、赤目発生しやすい人は赤目発生しにくい人よりも細かく判定対象範囲ＥＰをずらしながら探すようにしてもよい。具体的には、図９において、赤目の発生しにくい人は１画素ずつとばしながら判定対象範囲ＥＰを走査し赤目検出を行うのに対して、赤目の発生しやすい人は画素をとばさずに判定対象範囲ＥＰを走査し赤目検出を行うようにしてもよい。これにより、画素をとばさず赤目検出した方が検出もれを防ぎやすく、画素をとばしながら探した方が誤検出を防ぎやすくすることができる。

さらに上述した赤目処理装置はデジタルカメラに実装してもよいし、プリンタ装置に実装しても良い。ここで、デジタルカメラの場合は撮影時に処理してもよいし，撮影済み画像に対する画像補正機能としてもよい．また、赤目処理を行うときにユーザーからの入力に従うようなユーザー確認手段をもたせて半自動処理のような形態をとってもよい。

本発明の赤目処理装置の好ましい実施の形態を示すブロック図 図１の赤目処理装置における顔検出手段の一例を示すブロック図 図２の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図 図２の顔検出手段により検出される正面顔および横顔の一例を示す模式図 図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図 図１の弱判別器が有するヒストグラムの一例を示すグラフ図 図１のデータベースの一例を示す模式図 図１の赤目検出手段の一例を示すブロック図 図８の赤目検出手段において判定対象範囲が設定される様子を示す模式図 図１の赤目補正手段により赤目が補正される様子を示す模式図 本発明の赤目補正方法の好ましい実施の形態を示すフローチャート

符号の説明

１ 赤目処理装置
１０ 顔検出手段
１１ 部分画像生成手段
１２Ａ 正面顔検出手段
１２Ｂ 横顔検出手段
２０ データベース
３０ 認識手段
４０ 赤目検出手段
４１ 範囲設定手段
４２ 赤目判別器
５０ 赤目補正手段
ＣＦ_１〜ＣＦ_ｍ 弱判別器
Ｆ 顔画像
Ｐ 全体画像
ＰＭ１ 赤目検出パラメータ
ＰＭ２ 赤目補正パラメータ
ＰＰ 部分画像
Ｗ サブウィンドウ

Claims (6)

1. 全体画像の中から顔画像を検出し、
   検出した前記顔画像がデータベースに登録された特定の人物であるか否かを認識し、
   検出した前記顔画像が特定の人物であると認識したとき、前記データベースに前記特定の人物に関連づけて登録されている赤目検出パラメータを用いて前記顔画像から赤目を検出する
   ことを特徴とする赤目処理方法。
2. 全体画像の中から顔を検出する顔検出手段と、
   特定の人物と該特定の人物の目から赤目を検出するときの検出特性を決定する赤目検出パラメータとが関連づけて登録されているデータベースと、
   前記顔検出手段により検出された前記顔画像が前記データベースに登録された前記特定の人物であるか否かを認識する認識手段と、
   該認識手段において特定の人物が前記データベースに登録されていると認識されたとき、前記特定の人物と関連づけて登録されている前記赤目検出パラメータを用いて前記顔画像から赤目を検出する赤目検出手段と
   を備えたことを特徴とする赤目処理装置。
3. 前記赤目検出手段が、
   前記顔画像上に設定画素数からなる判定対象範囲を設定する範囲設定手段と、
   該範囲設定手段により設定された前記判定対象範囲から特徴量を抽出し、該特徴量と前記赤目検出パラメータとを比較することにより赤目であるか否かを検出する複数の赤目判別器と
   を備えたものであり、
   前記複数の赤目判別器の複数の判別結果を用いて赤目を検出するものであることを特徴とする請求項２記載の赤目処理装置。
4. 前記赤目検出手段において赤目が検出されたとき赤目の補正を行う赤目補正手段をさらに有し、
   前記データベースに前記特定の人物と前記赤目補正手段における補正の程度を定めた赤目補正パラメータとが関連づけて登録されており、
   前記顔認識手段において前記顔画像が前記特定の人物であると認識されたとき、前記赤目補正手段が前記赤目補正パラメータの内容に従い認識された前記顔画像に対し赤目補正を行うものであることを特徴とする請求項２または３記載の赤目処理装置。
5. 前記顔検出手段が、
   前記全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
   該部分画像生成手段により生成された前記複数の部分画像のうち顔である該部分画像を判別する顔判別器と
   を有し、
   該顔判別器が、複数の弱判別器による複数の判別結果を用いて前記部分画像が顔であるか否かを検出する顔判別器を備えたものであることを特徴とする請求項２から４のいずれか１項記載の赤目処理装置。
6. コンピュータに、
   全体画像の中から顔を検出し、
   検出した前記顔画像がデータベースに登録された特定の人物であるか否かを認識し、
   検出した前記顔画像が特定の人物であると認識したとき、前記データベースに前記特定の人物に関連づけて登録されている赤目検出パラメータを用いて前記顔画像から赤目を検出する
   ことを実行させるための赤目処理プログラム。

Images