JP2010224681A - 画像検出装置、画像検出方法、及び画像検出プログラム - Google Patents

Abstract

【課題】入力画像中の対象物の傾き角度検出を精度よく高速に行う画像検出装置、画像検出方法、画像検出プログラムを提供する。
【解決手段】画像検出装置に、入力画像から対象物の対象画像を検出する対象画像検出手段と、対象画像を所定の回転角度に回転し回転画像を生成する回転画像生成手段と、所定角度に対する回転画像中の対象物の角度を評価し、対象物の角度が所定角度に近い程評価値を大きく算出する評価手段と、評価値を２次以上の関数で近似して評価関数を生成する評価関数生成手段と、評価関数により算出した評価値が極大値となる回転角度に基づいて傾き角度を判定する傾き角度判定手段と、評価手段に回転角度が異なる３つ以上の回転画像の評価値を算出させ、該評価値と回転角度とから評価関数生成手段に評価関数を生成させ、傾き角度判定手段に評価関数に基づいて対象物の傾き角度を判定させる制御手段とを設けた。
【選択図】図４

Description

本発明は、画像中の対象物の傾き角度を検出できる画像検出装置、画像検出方法、及び画像検出プログラムに関するものである。

顔画像を検出する装置を例にすると、従来、被写体の人物を撮像した入力画像から人物の顔を含む顔画像を検出して、予め登録しておいた顔画像と照合することにより本人確認を行う顔照合装置に用いられる画像検出装置が知られている（例えば、特許文献１参照。）。

この画像検出装置は、顔が持つ特徴的な形状をもとに、画像の顔らしさを評価し、評価値が閾値を上回れば顔であると判定して顔画像を検出する。

また、入力画像における被写体の顔の傾きを補正する技術としては、入力画像上で走査されるサーチエリア内の各画像を０度から３４５度の間で１５度ずつ回転させ、回転させた各サーチエリア内の画像の顔らしさを評価し、その評価値が最大となった角度に基づいて、入力画像の傾きを補正する技術が知られている（例えば、特許文献２参照。）。

特開２００７−３４７２３号公報 特許第４１７７７７９号公報

顔照合装置では、登録用の入力画像において、被写体の顔が左右いずれかの方向に傾いていた場合、その入力画像を登録してしまうと、照合時に本人認証の精度が低下するおそれがある。

なぜなら、次回照合時に、同様に傾いた状態になるとは限らない。左右いずれの傾きにも対応するためには、登録画像は直立した画像が望ましい。そのため、顔照合装置では、入力画像中の被写体の顔が傾いている場合には、入力画像を画像処理して傾きを補正して、顔が直立した状態で登録することが望ましい。

また、顔が直立した状態で登録されていても、入力画像と登録画像の顔の傾き角度が異なっていれば、同様に本人認証の精度が低下するおそれがあるため、入力画像を画像処理して傾きを補正して照合することが望ましい。

しかしながら、上記特許文献１に記載の技術では、顔が傾いているかどうかは分からない。また、上記特許文献２に記載の技術では、入力画像における全てのサーチエリアをそれぞれ回転させる必要がある。しかも、０度から３４５度の間で１５度ずつ回転させた全てのサーチエリアから顔画像を検出しなければ、顔らしさの評価値が最大となる角度を算出することができないため、入力画像の傾き角度の検出に時間がかかるという問題があった。また、最終的に得られる傾きの角度も１５度単位である。

本発明は、上記に鑑みてなされたものであって、入力画像中の対象物の傾き角度検出を精度よく高速に行うことができる画像検出装置及び画像検出方法を提供することを目的とする。

そこで、本発明では、入力画像中に存在する対象物の対象画像と、この対象物の傾きを検出する画像検出装置であって、前記入力画像から前記対象物を含む対象画像を検出する対象画像検出手段と、前記対象画像を所定の回転角度に回転して回転画像を生成する回転画像生成手段と、所定角度に対する前記回転画像中の対象物の角度を評価し、前記対象物の角度が前記所定角度に近いほど評価値を大きく算出する評価手段と、前記回転角度と前記評価値の組み合わせに対して、２次以上の関数により近似して評価関数を生成する評価関数生成手段と、前記評価関数を用いて算出する評価値が極大値となる前記回転角度に基づいて傾き角度を判定する傾き角度判定手段と、前記評価手段に対象画像が検出された入力画像に対して、前記回転角度がそれぞれ異なる少なくとも３つの前記回転画像に対して前記評価値を算出させ、算出された少なくとも３つの前記回転角度と前記評価値の組み合わせから前記評価関数生成手段に評価関数を生成させ、前記傾き角度判定手段に前記評価関数に基づいて入力画像中の対象物の傾き角度を判定させる制御手段とを有する画像検出装置を提供することとした。これによって、求める角度と同じ傾き角度を持った画像を生成する必要がなく、少ない回転画像で精密な回転角度の算出ができるので、精度よく高速な傾き角度検出処理が可能となる。

また、本発明は、前記画像検出装置において、前記評価関数は、３次以上の関数で、傾き角度判定手段は、前記評価関数が算出する評価値が極大値かつ最大値となる前記回転角度に基づいて前記入力画像中の対象物の傾き角度を判定することを特徴とする。これによって、高次の関数で近似することにより、より精密な傾き角度の算出が可能となる。

また、本発明は、前記画像検出装置において、前記対象画像検出手段は、前記入力画像に対して対象物らしさを算出し、この対象物らしさが所定の閾値よりも高い場合に、前記入力画像中に対象物を検出したと判断するものであって、前記対象物の角度が所定角度に近いほど対象物らしさが大きく算出され、この対象画像検出手段を前記評価手段として、前記対象物らしさを前記評価値として用い、対象画像検出時に第１の閾値を用い、評価時に第２の閾値を用い、前記第２の閾値は前記第１の閾値よりも大きいことを特徴とする。これによって、対象画像の検出時に、回転角度が大きく対象物らしさが小さい入力画像からでも対象物を検出でき、対象物を含まない入力画像から誤って検出した場合でも、評価時に対象物正しく判断することができる。

また、本発明は、前記画像検出装置において、前記傾き角度判定手段により判定された前記入力画像中の対象物の傾き角度に基づいて、対象物の傾き角度が所定の傾き角度となるように、入力画像を回転する回転補正手段を有することを特徴とする。これによって、入力画像を所定の角度に補正することができる。これによって、例えば、所定の角度に補正した画像を登録したり、画像の照合を行う場合に、登録されている画像の傾き角度に入力画像の傾き角度を合わせ、正確な照合を行うことができる。

また、本発明では、入力画像中に存在する対象物の対象画像と、この対象物の傾きを検出する画像検出方法であって、前記入力画像から前記対象物を含む対象画像を検出する対象画像検出ステップと、前記対象画像を所定の回転角度に回転して回転画像を生成する回転画像生成ステップと、所定角度に対する前記回転画像中の対象物の角度を評価し、前記対象物の角度が前記所定角度に近いほど評価値を大きく算出する評価ステップと、
前記回転角度と前記評価値の組み合わせに対して、２次以上の関数により近似して評価関数を生成する評価関数生成ステップと、前記評価関数を用いて算出する評価値が極大値となる前記回転角度に基づいて傾き角度を判定する傾き角度判定ステップと、対象画像が検出された入力画像に対して、前記回転角度がそれぞれ異なる少なくとも３つの前記回転画像に対して前記評価値を算出し、算出した少なくとも３つの前記回転角度と前記評価値の組み合わせから評価関数を生成し、前記評価関数に基づいて入力画像中の対象物の傾き角度を求める傾き角度算出ステップとを有する画像検出方法を提供することとした。これによって、求める角度と同じ傾き角度を持った画像を生成する必要がなく、少ない回転画像で精密な回転角度の算出ができるので、高速な処理が可能となる。

また、本発明では、入力画像中に存在する対象物の対象画像と、この対象物の傾きを検出する画像検出プログラムであって、前記入力画像から前記対象物を含む対象画像を検出する対象画像検出手順と、前記対象画像を所定の回転角度に回転して回転画像を生成する回転画像生成手順と、所定角度に対する前記回転画像中の対象物の角度を評価し、前記対象物の角度が前記所定角度に近いほど評価値を大きく算出する評価手順と、前記回転角度と前記評価値の組み合わせに対して、２次以上の関数により近似して評価関数を生成する評価関数生成手順と、前記評価関数を用いて算出する評価値が極大値となる前記回転角度に基づいて傾き角度を判定する傾き角度判定手順と、対象画像が検出された入力画像に対して、前記回転角度がそれぞれ異なる少なくとも３つの前記回転画像に対して前記評価値を算出し、算出した少なくとも３つの前記回転角度と前記評価値の組み合わせから評価関数を生成し、前記評価関数に基づいて入力画像中の対象物の傾き角度を求める傾き角度算出手順とをコンピュータに実行させる画像検出プログラムを提供することとした。これによって、求める角度と同じ傾き角度を持った画像を生成する必要がなく、少ない回転画像で精密な回転角度の算出ができるので、高速な処理が可能となる。

本発明によれば、入力画像中の対象物の傾き角度検出を精度よく高速に行うことができる。

図１は、入力画像から顔画像を検出するまでの画像処理の流れを示す説明図である。 図２は、直立顔と傾き顔に分割領域を設定したときの説明図である。 図３は、入力画像から検出した顔画像の傾き角度を検出する際の画像処理手順の一例を示す説明図である。 図４は、顔画像の信頼度に関する評価結果を２次関数近似した評価関数の一例を示す説明図である。 図５は、本実施形態に係る顔画像検出装置を示す機能ブロック図である。 図６は、本実施形態に係る顔画像検出装置の制御部で実行される処理を示すフローチャートである。 図７は、本実施形態に係る顔画像検出装置の制御部で実行される処理を示すフローチャートである。

以下に添付図面を参照して、本発明に係る画像検出装置、画像検出方法、及び画像検出プログラムの一実施形態について説明する。

本実施形態では、入力画像に含まれる被写体（人物）の顔画像を対象画像として検出する顔画像検出装置に対して本発明を適用した場合を例に挙げて説明する。なお、本発明における対象画像は、顔画像に限定されるものではなく、特徴を持つ画像であれば、例えば、指紋や掌紋等といった人物の他の部位や任意の物体の画像であってもよい。

本実施形態に係る顔画像検出装置は、例えば、入力された入力画像から被写体の顔を含む顔画像を検出して検出し、検出した顔画像の傾き角度を検出して傾き補正を行った画像を登録画像として記憶する装置や、検出した顔画像を登録されている画像と照合する装置である。

ここでは、まず、本実施形態に係る顔画像検出装置による顔画像の検出手順について図１を参照して説明する。図１は、入力画像から顔画像を検出するまでの画像処理の流れを示す説明図である。ここでは、被写体の顔が右に１６度傾いていた場合を例に挙げて説明する。

図１に示すように、この顔画像検出装置は、顔画像が含まれているか否かを検出する対象となる入力画像１０が入力されると、まず、入力画像１０から、縮小率が異なる複数の縮小画像１１ａ〜１１ｃを生成する。

なお、ここでは、縮小画像１１ａ〜１１ｃを生成する場合について説明するが、入力画像１０に含まれる顔画像の大きさが所定の大きさよりも小さいとあらかじめ予測される場合には拡大率が異なる複数の拡大画像を生成する。

また、入力画像１０に含まれる顔画像の大きさが予測できない場合には、縮小画像１１ａ〜１１ｃおよび拡大画像の両方を生成する。これは、以下で説明するテンプレート１２ａ〜１２ｃを画像に適用可能とするためである。そして、各画像に、右目、左目、鼻、口の顔パーツの画像が含まれているか否かを線形判別分析により判定される。

具体的には、顔画像検出装置は、画像の各画素の画素値に対してガボールフィルタを適用して、画素ごとにエッジ強度およびエッジ方向を算出する。

そして、顔画像検出装置は、顔パーツ画像の検出対象となる画素を中心とする四角形のテンプレート１２ａ〜１２ｃを選択して、上記検出対象となる画素、および、その画素の周辺にある所定の数の画素におけるエッジ強度およびエッジ方向の情報を取得する。

ここで、顔画像検出装置は、顔パーツ画像の検出対象となる画素の周辺にある画素として、四角形の四隅の点に対応する画素と、四角形の各辺の中点に対応する画素とを検出する。

そして、顔画像検出装置は、検出対象となる画素と併せて合計９つの画素におけるエッジ強度およびエッジ方向の情報を取得する。なお、使用するテンプレート１２ａ〜１２ｃは、照明変動が少ない顔の部分の画素が選択されるように機械学習がなされたものである。また、テンプレート１２ａ〜１２ｃは、縦横の長さが異なるものが複数示されている。

その後、顔画像検出装置は、取得した９つの画素におけるエッジ強度およびエッジ方向の情報を用いて、顔パーツ画像の検出対象となる画素に対応する画像部分が顔パーツ画像であるか否かを判別する線形判別分析を実行する。

このとき、顔画像検出装置は、画像が顔パーツ画像か否かを判別する線形判別式にエッジ強度およびエッジ方向の値を入力して判別スコア（Ｐ）を算出し、その判別スコア（Ｐ）の値に基づいて上記判別を行う。

上記処理により各顔パーツ画像が検出された場合に、顔画像検出装置は、検出した各顔パーツ画像の位置に基づいて、顔画像の位置を代表する代表点１３を決定する。具体的には、顔画像検出装置は、各テンプレート１２ａ〜１２ｃを用いて顔パーツ画像を検出した検出対象の画素からみて、顔画像の代表点１３が存在する方向、および、距離（画素数）をあらかじめ設定しておく。

そして、顔画像検出装置は、その方向および距離の設定情報に基づいて、各顔パーツ画像の位置から顔画像の代表点１３の位置の分布を算出し、その分布のピークを求めることにより顔画像の代表点１３を決定する。

顔の代表点１３を決定すると、顔画像検出装置は、その代表点１３を中心として画像を所定の画素数で区切り、９つの分割領域１４に分割する。具体的には、顔画像検出装置は、右目、左目、鼻、口の４つの顔パーツ画像がそれぞれ左上、右上、中央、中央下の分割領域１４に含まれるように各分割領域１４の範囲を設定する。

このように各分割領域１４の範囲を設定すると、画像が顔画像である場合には顔パーツ画像が所定の位置に存在し、他の位置には無いはずであるため、それを確認することにより顔パーツ画像でないものが誤って顔パーツ画像として検出された場合に画像が顔画像ではないと判定でき、顔画像検出の精度を向上させることができる。

そして、顔画像検出装置は、各分割領域１４に位置する右目、左目、鼻、口の４つの顔パーツ画像の判別スコアの合計値を算出し、その合計値から画像が顔か顔以外かを判定するための３６次元（９領域×４顔パーツ）の特徴量を生成する。

その後、顔画像検出装置は、生成した特徴量を用いて、画像が顔画像か顔画像以外かを判定する３６次元の線形判別分析を行う。具体的には、顔画像検出装置は、線形判別式に特徴量を入力して、顔らしさを表す評価値である判別スコア（Ｆ）を算出し、その判別スコア（Ｆ）が所定の閾値よりも大きい場合に画像が顔画像であると判定する。

図２は、直立顔と傾き顔に分割領域を設定したときの説明図である。図２に示すように、直立した顔（ａ）と傾いた顔（ｂ）では、顔パーツの位置が異なることが分かる。よって、各分割領域１４から算出される特徴量は、直立した顔（ａ）と傾いた顔（ｂ）では異なる。本実施形態に係る顔画像検出装置は、直立した顔（ａ）を標準として線形判別式が設定されているため、直立した顔（ａ）の判別スコア（Ｆ）は、傾いた顔（ｂ）の判別スコア（Ｆ）よりも高い値が算出される。

なお、標準とする顔の角度は、直立に限定されるものではなく、他の角度でもよい。本実施形態では、顔が直立する角度を所定の角度としている。

ここで、入力画像から顔画像を検出する場合に、判別スコア（Ｆ）と比較する閾値を高め過ぎると、入力画像における顔画像の傾きに起因して顔画像が含まれている領域にもかかわらず、顔画像が含まれていない領域と誤判定するおそれがある。

これに対して、本実施形態の顔画像検出装置では、入力画像から顔画像を検出する場合に、顔画像の位置を特定可能な程度の比較的低い第１の閾値を用いて顔画像を粗検出するため、入力画像中の顔画像が多少傾いていても、顔画像の位置を特定して顔画像の検出を行うことができる。

本実施形態では、上述した顔画像検出装置を用いるが、顔の角度が変わると評価値が変わる他の顔画像検出装置を用いてもよい。例えば、特許文献２では、入力画像の顔の傾きが学習した顔画像の傾きに近いほど、顔らしさの評価値が大きく算出される方法が記載されている。

本発明では、このような公知の顔画像検出装置が想定している所定の角度を基準とし、この所定の角度に対して、どの程度顔（対象画像）が傾いているかを求め、所定の角度とこれに対する傾きから、画像中の顔の傾きを求める。なお、ここでいう顔らしさ（対象物らしさ）は、上記の判別スコアなどの検出時の評価値の他に、一般の顔照合技術等を用いて基準となる顔画像（基準画像）と検出した画像とを照合して求める類似度などを用いることができる。

次に、本実施形態の顔画像検出装置による顔画像の傾き角度検出手順について、図３及び図４を参照して説明する。図３は、入力画像から検出した顔画像の傾き角度を検出する際の画像処理手順の一例を示す説明図であり、図４は、顔画像の信頼度に関する評価結果を２次関数近似した評価関数の一例を示す説明図である。

図３（ａ）に示すように、顔画像検出装置は、鉛直上方に対して右側に１６度傾いた顔画像を検出すると、その顔画像を所定角度ずつ回転させた回転画像を生成する。画像を回転させるときの回転中心は、画像の中心点が好ましい。また、顔パーツの位置をもとに定めてもよい。なお、本実施形態では、入力画像から検出した顔画像を時計回りに回転させる回転角度を正の角度、反時計回りに回転させる回転角度を負の角度として説明する。

ここで、顔画像検出装置は、まず、入力画像から検出した顔画像を図３（ｂ）に示すように、−２０度回転させた回転画像を生成する。

そして、顔画像検出装置は、−２０回転させた回転画像について、顔画像を評価してサーチスコアを算出する。サーチスコアとは、回転画像から顔画像を検出して検出した顔画像の顔らしさを示す度合いのことである。ここでは、判別スコア（Ｆ）をサーチスコアとして使用するが、顔が傾いている画像の方が低い値が算出される他の算出手段を用いてもよい。

このとき、顔画像検出装置は、図１に示す入力画像から顔画像を検出するまでの画像処理と同様の画像処理を回転画像に対して行うことにより、回転画像から顔画像を検出する。ただし、回転画像から顔画像を検出する際に、顔画像検出装置は、上記した第１の閾値よりも高い第２の閾値を用いて顔画像を精検出する。

この第２の閾値は、検出された画像が顔であると判断するのに十分な値である。これによって、第１の閾値を用いることにより、顔でない画像が検出されていても、これを排除できる。

そして、顔画像検出装置は、入力画像から顔画像を検出する場合と同様に、顔画像の各分割領域１４（図１参照。）に位置する右目、左目、鼻、口の４つの顔パーツ画像の判別スコア（Ｐ）の合計値を算出し、その合計値から画像が顔か顔以外かを判定するための３６次元（９領域×４顔パーツ）の特徴量を生成する。

その後、顔画像検出装置は、生成した特徴量を所定の線形判別式に入力して、画像が顔画像か顔画像以外かを判定する３６次元の線形判別分析を行い、判別スコア（Ｆ）を算出する。

以下、回転画像から生成した特徴量を線形判別式に入力して、画像が顔画像か顔画像以外かを判定する３６次元の線形判別分析を顔サーチという。また、顔サーチの結果得られた判別スコア（Ｆ）をサーチスコアという。

続いて、顔画像検出装置は、図３（ｃ）〜図３（ｇ）に示すように、図３（ｂ）に示した回転画像を順次５度ずつ右に回転させた回転画像を生成し、回転画像に対して顔サーチを行ってサーチスコアを算出する。その後、顔画像検出装置は、入力画像から検出した顔画像（図３（ａ）参照。）が右に＋２０度に傾くまで、この回転画像の生成とサーチスコアの算出とを順次行う。

特に、本実施形態の顔画像検出装置は、入力画像が入力された場合に、毎回、入力画像から検出した顔画像を−２０度〜＋２０度まで５度刻みに回転させた回転画像を全て生成するのではなく、各回転角度の回転画像のサーチスコアを順次算出する過程において、入力画像の傾き角度の推定に成功した時点で顔画像の回転を終了することにより、顔画像の傾き角度検出に要する処理時間を短縮している。

具体的には、顔画像検出装置は、図４に示すように、各回転角度における回転画像中の顔画像の評価結果であるサーチスコアの遷移を顔画像の回転角度順に２次関数近似した評価関数を生成する。

そして、顔画像検出装置は、生成した評価関数の極大値となるサーチスコアに対応する回転角度を入力画像の傾き角度と判定する。

ここでは、顔画像検出装置は、−２０度、−１５度、−１０度、０度というように、非連続的に顔画像を回転させて各サーチスコアを算出しているが、この非連続的なサーチスコアを２次関数近似して連続的な評価関数を生成することにより、サーチスコアを算出していない回転角度におけるサーチスコアを推定することができる。

これにより、この顔画像検出装置は、−２０度と−１５度と−１０度との間の回転角度において、回転画像のサーチスコアを算出していないにもかかわらず、図４に示す評価関数を参照して、顔画像を−１６度回転させた状態が顔画像の正立状態であると判定することができる。すなわち、顔画像検出装置は、入力画像が＋１６度傾いていることを推定することができる。

なお、本実施形態では、評価関数の極大値の信頼性を高めるために、評価関数の極大値が判定した後、−５度、０度の各回転角度において、回転画像の生成と顔サーチとサーチスコアの算出を行い、計５つのサーチスコアに基づく評価関数を生成しているが、評価関数の極大値が判定可能な場合であれば、最低３つのサーチスコアを算出した時点で、サーチスコアの算出を終了してもよい。

このように、本実施形態の顔画像検出装置は、評価関数に基づいて入力画像の傾き角度を判定した場合に、その時点でサーチスコアの算出を終了する。そのため、−２０度〜＋２０度まで５度刻みに顔画像を回転させた全ての回転画像を毎回生成する必要がないので、入力角度の傾き角度の検出に要する処理時間を短縮することができる。

また、本実施形態では、評価関数を２次関数としたが、次数が２以上なら高次関数でもよい。この場合、評価関数の極大値となり、かつ−２０度から＋２０度の区間内で最大値となる回転角度を入力画像の傾き角度と判定する。

また、本実施形態では、顔画像の回転角度に関する範囲の一例として、−２０度〜＋２０度という範囲を例示したが、回転角度の範囲は、−２０度〜＋２０度に限定するものではなく、一般的な成人が頭部を左右に傾動可能な角度の範囲内で適宜変更することができ、回転画像の回転角度の刻み幅についても、任意に変更することができる。また、サーチスコアを算出する順番は、−２０度からに固定されるものではない。例えば、０度、＋５度、−５度、＋１０度など、任意の順番に設定できる。

このように、顔画像の回転角度を一般的な成人が頭部を左右に傾動可能な角度の範囲とすれば、無駄に顔画像を大きく回転させてサーチスコアの算出を行うことがない。それでいて、顔認証を行うためには十分な顔サーチを行うことができるので、登録用に入力された顔画像の傾き角度検出精度を低下させることなく、顔画像の傾き角度検出に要する処理時間を短縮することができる。

その後、顔画像検出装置は、顔画像を判定した傾き角度の分だけ顔画像を回転し、顔が直立するよう回転補正を行う。そして、顔画像検出装置は、入力画像が登録用に入力された画像であった場合に、傾き角度の回転補正を行った顔画像を登録画像として所定の記憶部に記憶させて登録する。

一方、顔画像検出装置は、入力画像が照合用に入力された画像であった場合に、傾き角度の回転補正を行った顔画像と、所定の記憶部に登録している登録画像とを照合して、その照合結果を出力する。

次に、本実施形態に係る顔画像検出装置の機能的構成について、図５を参照して説明する。図５は、本実施形態に係る顔画像検出装置を示す機能ブロック図である。同図には、顔画像検出装置の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。

図５に示すように、顔画像検出装置は、入力部２０と、表示部２１と、制御部２２と、記憶部２３と、操作部２４とを備えている。

入力部２０は、被写体を撮像する撮像デバイスであり、撮像した入力画像を後述の縮小拡大画像生成部３１へ出力する。なお、この入力部２０は、照合用に被写体を撮像した場合には、撮像した入力画像を後述の縮小拡大画像生成部３１、回転補正部４３に加え、後述の照合部４４へも出力する。表示部２１は、後述の照合部４４による照合結果等を表示するディスプレイなどの表示デバイスである。

制御部２２は、顔画像検出装置全体の動作を統括制御する処理部である。また、記憶部２３は、フラッシュメモリやＨＤＤ（Hard Disc Drive）などの不揮発性記憶デバイスである。

この記憶部２３に記憶している情報については後に詳述するが、この記憶部２３には、制御部２２が入力画像から顔画像を検出して、入力画像の傾き角度を回転補正するために実行する顔画像検出プログラム５１等を記憶している。

制御部２２は、物理的にはＣＰＵ（Central Processing Unit）により構成しており、このＣＰＵが記憶部２３内のＲＯＭ（Read Only Memory）領域から顔画像検出プログラム５１を読出し、記憶部２３内のＲＡＭ（Random Access Memory）領域を作業領域として使用して実行することにより起動する縮小拡大画像生成部３１、ガボール特徴画像生成部３２、テンプレート選択部３３、学習処理部３４、顔パーツ画像検出部３５、顔画像代表点算出部３６、顔画像検出用特徴量生成部３７、顔画像検出部３８、回転画像生成部４０、評価関数生成部４１、角度判定部４２、回転補正部４３、照合部４４を備えている。

縮小拡大画像生成部３１は、入力画像１０が入力されると、その入力画像１０を異なる縮小率で縮小した複数の縮小画像１１ａ〜１１ｃや異なる拡大率で拡大した複数の拡大画像を生成する処理部である。

この縮小拡大画像生成部３１は、線形補間を行うことにより複数の縮小画像１１ａ〜１１ｃや拡大画像を生成する。ここで、入力画像１０を縮小するか拡大するかは、使用するテンプレート１２ａ〜１２ｃの大きさと、入力画像１０に含まれる顔画像の予測される大きさとの関係により決定される。

ガボール特徴画像生成部３２は、縮小拡大画像生成部３１により生成された各画像に対してガボールフィルタを適用し、ガボール特徴画像を生成する処理部である。

このガボール特徴画像生成部３２は、画像から７画素四方の領域を選択し、領域の９０度ごとの４つの方向に対してガボールフィルタを適用することによりガボール特徴画像を生成して顔パーツ画像検出部３５へ出力する。なお、７画素四方という大きさは、顔画像の大きさが２４画素四方のときに画像の右目と左目とが１２画素程度離れていることを仮定して設定されている。

ここで、ガボールフィルタは、

のように表される。また、jは虚数単位であり、θは方向（角度）であり、λは波長であり、σ₁，σ₂はスケールであり、ｋは９０度ごとの４つの方向である。

ガボール特徴画像生成部３２は、ガボールフィルタの実部g_k ^realおよび虚部g_k ^imagの値を算出し、それらの値から画像中の各画素に対して、以下に示す５次元の要素V₁〜V₅からなる特徴量を算出することによりガボール特徴画像を生成する。

ここで、上記特徴量の１次元目の要素V₁は、

のように表される。この１次元目の要素V₁は、画像に含まれるエッジの強度を表す量である。

また、２次元目から５次元目までの要素V₂からV₅は、

のように表される。この２次元目から５次元目までの要素は、画像に含まれるエッジの方向を表す量である。

テンプレート選択部３３は、顔パーツ画像を検出する際に、学習処理部３４により学習された結果を用いて画像に適したテンプレート１２ａ〜１２ｃを記憶部２３に記憶されているテンプレート情報から複数選択する処理部である。このテンプレート選択部３３は、選択したテンプレート１２ａ〜１２ｃを顔パーツ画像検出部３５へ出力する。

学習処理部３４は、顔パーツ画像を検出する際に画像に適したテンプレート１２ａ〜１２ｃがどれかを学習する処理部である。具体的には、この学習処理部３４は、ブースティングアルゴリズムを用いて、照明変動が少ない画素などを検出することができるテンプレート１２ａ〜１２ｃがどれかを学習する。

顔パーツ画像検出部３５は、テンプレート選択部３３により選択されたテンプレート１２ａ〜１２ｃを用いて顔パーツ画像を検出する検出部である。

この顔パーツ画像検出部３５は、最初のテンプレート１２ａ〜１２ｃを用いて画像の画素を９点ずつ選択し、それらの画素に対応するガボール特徴画像のエッジ強度およびエッジ方向の情報に基づいて画像が顔パーツ画像であるか否かを判別する線形判別分析を実行する。

この線形判別分析で用いられる線形判別式は、

のように表される。ここで、a₀，a_iは係数であり、ｗ_iはテンプレート１２ａ〜１２ｃにより選択された９点における５次元の特徴量V₁〜V₅の値が代入される変数であり、iは１から４５（９点×５次元）までの値をとる。

線形判別式の係数a_iは、画像が顔パーツ画像か否かを適切に判別できるようにあらかじめ算出されたものである。この線形判別式に９点における５次元の特徴量V₁〜V₅の値を代入した際のzの値（判別スコア（Ｐ））が大きいほど、画像が顔パーツ画像である確度が高いと判定される。

そして、顔パーツ画像検出部３５は、使用したテンプレート１２ａ〜１２ｃの重みと判別スコア（Ｐ）とを乗算した値を顔パーツ画像の検出対象である画素ごとに算出して照合値として設定し、照合値が所定の閾値よりも小さい場合には画像が顔パーツ画像ではないと判定する。

一方、顔パーツ画像検出部３５は、照合値が所定の閾値よりも大きい場合に、次のテンプレート１２ａ〜１２ｃを使用して判別スコア（Ｐ）を算出し、使用したテンプレート１２ａ〜１２ｃの重みと判別スコア（Ｐ）とを乗算した値を上記照合値に加算して新たな照合値として設定する。ここでも、照合値が所定の閾値よりも小さくなった場合には、顔パーツ画像検出部３５は、画像が顔パーツ画像ではないと判定する。

顔画像代表点算出部３６は、顔パーツ画像検出部３５により検出された各顔パーツ画像の位置から顔画像の位置を代表する代表点１３の位置を算出する処理部である。この顔画像代表点算出部３６は、各テンプレート１２ａ〜１２ｃを用いて各顔パーツ画像を検出した際の検出対象画素からみて、顔画像の代表点１３がどの方向に何画素分の距離にあるかを設定した代表点に係る設定情報を取得する。

そして、顔画像代表点算出部３６は、その代表点に係る情報と各顔パーツ画像の位置の情報とに基づいて、顔画像の代表点１３の位置の分布を算出し、所定のしきい値以上である点を求めることにより顔画像の代表点１３の位置を決定する。

顔画像検出用特徴量生成部３７は、画像から顔画像を線形判別分析により検出する際に用いられる特徴量を生成する処理部である。この顔画像検出用特徴量生成部３７は、顔画像代表点算出部３６により算出された代表点１３を中心として画像を所定の画素数で区切ることにより画像を９つの分割領域１４に分割する。

そして、顔画像検出用特徴量生成部３７は、各テンプレート１２ａ〜１２ｃを適用することにより得られた顔パーツ画像ごとの照合値の合計値を、顔パーツ画像を検出した検出対象画素が位置する分割領域１４ごとに算出し、その合計値から画像が顔画像か顔画像以外かを判定するための３６次元（９領域×右目、左目、鼻、口の４つの顔パーツ）の特徴量を生成して、顔画像検出部３８へ出力する。

顔画像検出部３８は、顔画像検出用特徴量生成部３７から入力された３６次元の特徴量を用いて３６次元の線形判別分析を行うことにより画像から顔画像を検出する処理部である。また、顔画像検出部３８は、顔画像の顔らしさ（対象物らしさ）を評価する評価手段として機能する。

なお、この線形判別分析により用いられる線形判別式は、式（４）と同様のものである。ただし、この場合、a₀，a_iは画像が顔画像か否かを適切に判別できるようにあらかじめ算出された係数であり、ｗ_iは３６次元の特徴量の各値が代入される変数であり、iは１から３６までの値をとる。

顔画像検出部３８は、線形判別式へ３６次元の特徴量を代入してサーチスコア（線形判別式におけるｚの値）を算出し、所定の閾値と比較して顔画像を検出する。サーチスコアが閾値より小さいときは、顔画像でないと判定し、検出しない。そして、顔画像検出部３８は、検出した顔画像を回転画像生成部４０へ出力すると共に、サーチスコアを評価関数生成部４１へ出力する。

回転画像生成部４０は、顔画像検出部３８から入力された顔画像を所定の角度回転させた回転画像を生成して、顔パーツ画像検出部３５へ出力する。

評価関数生成部４１は、顔画像検出部３８から入力される各サーチスコアの遷移を各サーチスコアに対応する回転画像中の顔画像の回転角度順に２次関数近似した評価関数（たとえば、図４参照。）を生成して角度判定部４２へ出力する処理部である。

角度判定部４２は、評価関数生成部４１から入力された評価関数に基づき、その評価関数における極大値を検出し、その極大値に対応する回転画像の回転角度に基づいて、入力画像の傾き角度を判定する処理部である。具体的には、評価関数が極大値をとるときの回転角度を、傾き角度と判定する。

そして、角度判定部４２は、入力画像の傾き角度の判定に成功すると、その旨を示す信号を制御部２２へ出力すると共に、判定した入力画像の傾き角度を回転補正部４３へ出力する。

回転補正部４３は、入力部２０から入力された入力画像に対して、角度判定部４２から入力された傾き角度の分だけ傾き角度を回転補正する処理部である。この回転補正部４３は、回転補正を行った入力画像が登録用の入力画像であった場合、回転補正後の入力画像を登録画像として記憶部２３へ出力して記憶させる。

一方、回転補正部４３は、傾き角度の回転補正を行った入力画像が照合用の入力画像であった場合、回転補正後の入力画像を照合部４４へ出力する。

照合部４４は、回転補正部４３から入力された照合用の入力画像と記憶部２３に記憶されている登録画像とを照合し、その照合結果を表示部２１へ出力して表示させる処理部である。

記憶部２３には、顔画像検出プログラム５１、テンプレート情報５２、顔パーツ画像検出用線形判別式５３、顔画像検出用線形判別式５４、登録画像５５等が記憶されている。

顔画像検出プログラム５１は、図１に示した顔画像の検出処理、図３及び図４に示した入力画像の傾き角度検出処理を制御部２２が行うために、制御部２２のＣＰＵにより読み出されて実行される情報処理プログラムである。

テンプレート情報５２は、顔パーツ画像を検出する際に利用されるテンプレート１２ａ〜１２ｃの情報である。このテンプレート情報５２は、顔パーツ画像の検出対象画素に対する顔パーツ画像の検出時に検出される８つの画素の相対位置の情報、および、各テンプレート１２ａ〜１２ｃの重みの情報である。

顔パーツ画像検出用線形判別式５３は、顔パーツ画像を検出する際に用いられる線形判別式の情報である。顔画像検出用線形判別式５４は、顔画像を検出する際に用いられる線形判別式の情報である。また、登録画像５５は、登録用の入力画像に対して、回転補正部４３により回転補正が施された顔画像を含む画像情報である。

操作部２４は、当該顔画像検出装置のユーザが入力した入力画像を顔画像検出装置に登録画像として登録させるために操作する操作スイッチである。

次に、顔画像検出装置の制御部２２が備えるＣＰＵが顔画像検出プログラム５１を実行する際に行う処理について、図６及び図７を参照して説明する。図６及び図７は、本実施形態に係る顔画像検出装置の制御部で実行される処理を示すフローチャートである。

ＣＰＵは、顔画像検出プログラム５１の実行を開始すると、図６に示すように、まず、入力部２０から入力画像を受付けたか否かの判定を行い（ステップＳ１０１）、入力画像を受付けたと判定した場合に（ステップＳ１０１：Ｙｅｓ）、処理をステップＳ１０２へ移す。一方、ＣＰＵは、入力画像を受付けていないと判定した場合（ステップＳ１０１：Ｎｏ）、処理を終了する。

ステップＳ１０２において、ＣＰＵは、ステップＳ１０１で受付が確認された入力画像から縮小率が異なる複数の縮小画像１１ａ〜１１ｃを生成して、処理をステップＳ１０３へ移す。

なお、ここでは、縮小拡大画像生成部２３が縮小画像１１ａ〜１１ｃを生成する場合を例として記載しているが、縮小拡大画像生成部２３が拡大画像を生成する場合、あるいは、縮小画像１１ａ〜１１ｃおよび拡大画像の両方を生成する場合も以下に説明する処理と同様の処理がおこなわれる。

続いて、ＣＰＵは、縮小率が異なる複数の縮小画像１１ａ〜１１ｃに対して複数のテンプレート１２ａ〜１２ｃを適用し、線形判別分析により照合値を算出して、右目、左目、鼻、口の各顔パーツ画像を検出する処理をおこなう（ステップＳ１０３）。

そして、ＣＰＵは、ステップＳ１０３で検出した顔パーツ画像の位置から顔画像の代表点１３の位置を算出し（ステップＳ１０４）、その後、算出した代表点１３を中心として入力画像を所定の画素数で区切ることにより画像を９つの分割領域１４に分割し、顔パーツ画像ごとの照合値の合計値を、顔パーツ画像を検出した検出対象画素が位置する分割領域１４ごとに算出し、その合計値から画像が顔画像か顔画像以外かを判定するための３６次元の特徴量を生成する（ステップＳ１０５）。

続いて、ＣＰＵは、３６次元の特徴量を用いた線形判別分析により入力画像から顔画像を検出する顔画像検出処理を実行し（ステップＳ１０６）、その後、顔画像の傾き角度補正処理を実行して入力画像の傾き角度の回転補正を行い（ステップＳ１０７）、処理をステップＳ１０８へ移す。ここでＣＰＵが実行する傾き補正処理については、後に図７を参照して具体的に説明する。

そして、ＣＰＵは、ステップＳ１０８において、受付けた入力画像に関して、操作部２４により登録操作が行われたか否かを判定し、登録操作が行われたと判定した場合に（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０７で回転補正が施された入力画像を登録画像５５として記憶部２３に記憶させて登録して（ステップＳ１０９）処理を終了する。

一方、ＣＰＵは、ステップＳ１０８において登録操作が行われなかったと判定した場合（ステップＳ１０８：Ｎｏ）、ステップＳ１０７で回転補正が施された入力画像と記憶部２３に記憶されている登録画像５５とを照合し（ステップＳ１１０）、その後、照合結果を表示部２１に表示させて（ステップＳ１１１）、処理を終了する。

次に、ステップＳ１０７で実行される傾き角度補正処理について図７を参照して説明する。傾き補正処理を開始すると、ＣＰＵは、図７に示すように、まず、入力画像から検出した顔画像を−２０度回転させた回転画像を生成する（ステップＳ２０１）。

続いて、ＣＰＵは、生成した回転画像に対して顔サーチを行い、顔画像評価を行ってサーチスコアを算出し（ステップＳ２０２）、そのサーチスコアを２次関数近似して評価関数を生成する（ステップＳ２０３）。ただし、サーチスコアが２つ以下のときには、２次関数近似できないので、そのまま次のステップに移る。

その後、ＣＰＵは、生成した評価関数に極大値が存在するか否かの判定を行い（ステップＳ２０４）、極大値が存在すると判定した場合に（ステップＳ２０４：Ｙｅｓ）、処理をステップＳ２０５へ移す。一方、ＣＰＵは、評価関数に極大値が存在しないと判定した場合（ステップＳ２０４：Ｎｏ）、処理をステップＳ２０６へ移す。ステップＳ２０３で２次関数近似できない場合も、処理をステップＳ２０６へ移す。

ステップＳ２０６において、ＣＰＵは、回転画像の回転角度が入力画像から検出した顔画像に対して＋２０となっているか否かの判定を行い、＋２０度となっていると判定した場合に（ステップＳ２０６：Ｙｅｓ）、処理を終了する。一方、ＣＰＵは、回転角度が＋２０度になっていないと判定した場合（ステップＳ２０６：Ｎｏ）、処理をステップＳ２０７へ移す。

ステップＳ２０７において、ＣＰＵは、ステップＳ２０１で生成した回転画像を＋５度回転させた回転画像を生成した後、処理をステップＳ２０２へ移す。そして、ＣＰＵは、評価関数に極大値が存在する（ステップＳ２０４：Ｙｅｓ）と判定するまで、ステップＳ２０２、ステップＳ２０３、ステップＳ２０４、ステップＳ２０６、ステップＳ２０７の処理を順次繰り返す。

なお、ステップＳ２０７では、先に生成した回転画像をもとに＋５度回転させた画像を生成したが、入力画像から検出した顔画像を該当する角度分回転して、回転画像を生成してもよい。

そして、ＣＰＵは、評価関数に極大値が存在すると判定すると（ステップＳ２０４：Ｙｅｓ）、処理をステップＳ２０５へ移して、評価関数の極大値に対応する回転画像の回転角度の分だけ入力画像から検出した顔画像を回転させる傾き角度の回転補正を行い、その後、この傾き角度補正処理（ステップＳ１０７）を終了して、処理を図６に示すステップＳ１０８へ移す。

以上、説明したように、本実施形態に係る顔画像検出装置では、入力画像中に存在する顔画像から被写体の顔を含む顔画像を検出して、その顔画像の中央を中心として所定角度ずつ回転させた回転画像を生成し、各回転画像から検出された各顔画像について、顔画像の評価を行い、サーチスコアを算出する。

そして、この顔画像検出装置では、顔画像のサーチスコアの遷移を顔画像の回転角度順に２次関数近似した評価関数を生成し、その評価関数における評価値の極大値に対応する回転角度に基づいて入力画像の傾き角度を判定する。

そのため、この顔画像検出装置では、評価関数中に極大値が出現した時点で入力画像の傾き角度検出を終了することができ、顔画像を予め設定した全ての回転角度で評価する必要がないため、入力画像の傾き角度検出に要する処理時間を短縮することができる。

また、この顔画像検出装置は、回転画像中の顔画像について、顔画像を所定角度ずつ回転させた時点で評価を行って不連続な評価値を算出した後、これら不連続な評価値の変化を２次関数近似することにより、連続的な評価値の遷移状態を推定することができる。

これにより、この顔画像検出装置では、入力画像の傾き角度と一致する回転角度の回転画像に対して顔画像の評価を行わなかった場合であっても、入力画像の傾き角度の推定精度が低下することを防止することができる。

また、この顔画像検出装置は、生成した評価関数中において、評価値の遷移が単調増加や下に凸となった場合に、顔でないと判断することができるため、顔と顔以外とを容易に分離することができる。

所定の特徴を予め検出できる画像の傾き検出に利用できる。例えば、印字やシール貼付、部品取付け、加工形状の傾き検出など。

１０ 入力画像
１１ａ、１１ｂ、１１ｃ 縮小画像
１２ａ、１２ｂ、１２ｃ テンプレート
１３ 代表点
１４ 分割領域
２０ 入力部
２１ 表示部
２２ 制御部
２３ 記憶部
３１ 縮小拡大画像生成部
３２ ガボール特徴画像生成部
３３ テンプレート選択部
３４ 学習処理部
３５ 顔パーツ画像検出部
３６ 顔画像代表点算出部
３７ 顔画像検出用特徴量生成部
３８ 顔画像検出部
４０ 回転画像生成部
４１ 評価関数生成部
４２ 角度判定部
４３ 回転補正部
４４ 照合部
５１ 顔画像検出プログラム
５２ テンプレート情報
５３ 顔パーツ画像検出用線形判別式
５４ 顔画像検出用線形判別式
５５ 登録画像

Claims (6)

1. 入力画像中に存在する対象物の対象画像と、この対象物の傾きを検出する画像検出装置であって、
   前記入力画像から前記対象物を含む対象画像を検出する対象画像検出手段と、
   前記対象画像を所定の回転角度に回転して回転画像を生成する回転画像生成手段と、
   所定角度に対する前記回転画像中の対象物の角度を評価し、前記対象物の角度が前記所定角度に近いほど評価値を大きく算出する評価手段と、
   前記回転角度と前記評価値の組み合わせに対して、２次以上の関数により近似して評価関数を生成する評価関数生成手段と、
   前記評価関数を用いて算出する評価値が極大値となる前記回転角度に基づいて傾き角度を判定する傾き角度判定手段と、
   前記評価手段に対象画像が検出された入力画像に対して、前記回転角度がそれぞれ異なる少なくとも３つの前記回転画像に対して前記評価値を算出させ、算出された少なくとも３つの前記回転角度と前記評価値の組み合わせから前記評価関数生成手段に評価関数を生成させ、前記傾き角度判定手段に前記評価関数に基づいて入力画像中の対象物の傾き角度を判定させる制御手段と
   を有することを特徴とする画像検出装置。
2. 前記評価関数は、３次以上の関数で、
   傾き角度判定手段は、前記評価関数が算出する評価値が極大値かつ最大値となる前記回転角度に基づいて前記入力画像中の対象物の傾き角度を判定すること
   を特徴とする請求項１に記載の画像検出装置。
3. 前記対象画像検出手段は、前記入力画像に対して対象物らしさを算出し、この対象物らしさが所定の閾値よりも高い場合に、前記入力画像中に対象物を検出したと判断するものであって、前記対象物の角度が所定角度に近いほど対象物らしさが大きく算出され、
   この対象画像検出手段を前記評価手段として、前記対象物らしさを前記評価値として用い、対象画像検出時に第１の閾値を用い、評価時に第２の閾値を用い、前記第２の閾値は前記第１の閾値よりも大きいこと
   を特徴とする請求項１に記載の画像検出装置。
4. 前記傾き角度判定手段により判定された前記入力画像中の対象物の傾き角度に基づいて、対象物の傾き角度が所定の傾き角度となるように、入力画像を回転する回転補正手段を有することを特徴とする請求項１に記載の画像検出装置。
5. 入力画像中に存在する対象物の対象画像と、この対象物の傾きを検出する画像検出方法であって、
   前記入力画像から前記対象物を含む対象画像を検出する対象画像検出ステップと、
   前記対象画像を所定の回転角度に回転して回転画像を生成する回転画像生成ステップと、
   所定角度に対する前記回転画像中の対象物の角度を評価し、前記対象物の角度が前記所定角度に近いほど評価値を大きく算出する評価ステップと、
   前記回転角度と前記評価値の組み合わせに対して、２次以上の関数により近似して評価関数を生成する評価関数生成ステップと、
   前記評価関数を用いて算出する評価値が極大値となる前記回転角度に基づいて傾き角度を判定する傾き角度判定ステップと、
   対象画像が検出された入力画像に対して、前記回転角度がそれぞれ異なる少なくとも３つの前記回転画像に対して前記評価値を算出し、算出した少なくとも３つの前記回転角度と前記評価値の組み合わせから評価関数を生成し、前記評価関数に基づいて入力画像中の対象物の傾き角度を求める傾き角度算出ステップと
   を有することを特徴とする画像検出方法。
6. 入力画像中に存在する対象物の対象画像と、この対象物の傾きを検出する画像検出プログラムであって、
   前記入力画像から前記対象物を含む対象画像を検出する対象画像検出手順と、
   前記対象画像を所定の回転角度に回転して回転画像を生成する回転画像生成手順と、
   所定角度に対する前記回転画像中の対象物の角度を評価し、前記対象物の角度が前記所定角度に近いほど評価値を大きく算出する評価手順と、
   前記回転角度と前記評価値の組み合わせに対して、２次以上の関数により近似して評価関数を生成する評価関数生成手順と、
   前記評価関数を用いて算出する評価値が極大値となる前記回転角度に基づいて傾き角度を判定する傾き角度判定手順と、
   対象画像が検出された入力画像に対して、前記回転角度がそれぞれ異なる少なくとも３つの前記回転画像に対して前記評価値を算出し、算出した少なくとも３つの前記回転角度と前記評価値の組み合わせから評価関数を生成し、前記評価関数に基づいて入力画像中の対象物の傾き角度を求める傾き角度算出手順と
   をコンピュータに実行させることを特徴とする画像検出プログラム。

Images