JP2011113168A - オブジェクト検出装置および方法並びにプログラム - Google Patents

Abstract

【課題】検出対象画像から顔等の特定種類のオブジェクトを精度良くかつ高速に検出する。
【解決手段】顔の検出対象画像を所定倍率により多重解像度化して解像度が異なる複数の解像度画像を取得する。複数の解像度画像上に、各解像度画像間の所定倍率を補間するサイズを有する複数のウィンドウを走査させて部分画像を生成する。部分画像に基づいて、部分画像の画素値の分布に係る特徴量を算出し、特徴量を用いて部分画像が顔であるか否かを判定する。判定には、複数のウィンドウのサイズに対応する異なるサイズを有し、同一の照明補正がなされた複数のサンプル画像により、顔の分布に係る特徴量をウィンドウのサイズ毎に学習させた判別器であって、部分画像に係る特徴量を用いて部分画像がオブジェクトの画像であるか否かを判別する判別器を用いる。
【選択図】図１

Description

本発明は、検出対象画像から人物の顔等の特定種類のオブジェクトを検出するオブジェクト検出装置および方法並びにオブジェクト検出方法をコンピュータに実行させるためのプログラムに関するものである。

従来、デジタルカメラによって撮影されたスナップ写真における人物の顔領域の色分布を調べてその肌色を補正したり、監視システムのデジタルビデオカメラで撮影されたデジタル映像中の人物を認識したりすることが行われている。このような場合、デジタル画像中の人物の顔に対応する顔領域を検出する必要があるため、これまでに、デジタル画像中の顔を検出する手法が種々提案されている。その中でもとくに検出精度、ロバスト性が優れているとされる顔検出の手法として、サンプル画像を用いたマシンラーニングの学習により生成された判別器モジュール（以下、単に判別器という）を用いる手法が知られている。

この手法は、複数の異なる顔のサンプル画像からなる顔サンプル画像群と、顔でないことが分かっている複数の異なる非顔サンプル画像とからなる非顔サンプル画像群とを用いて、顔であることの特徴を学習させ、ある画像が顔の画像であるか否かを判別できる判別器を生成して用意しておき、顔の検出対象となる画像（以下、検出対象画像という）において部分画像を順次切り出し、その部分画像が顔であるか否かを上記の判別器を用いて判別し、顔であると判別した部分画像の領域を抽出することにより、検出対象画像上の顔を検出する手法である。

ここで、判別器は、顔サンプル画像および非顔サンプル画像から画素値の分布に係る複数の特徴量を抽出し、この特徴量を用いて学習が行われてなるものであり、各特徴量毎に顔であるか否かを判別する複数の弱判別器から構成されてなるものである。したがって、部分画像が顔であるか否かの判別は、部分画像から学習時と同様の画素値の分布に係る複数の特徴量を抽出し、抽出した特徴量を各弱判別器により判別することにより行われる。

なお、この手法は、顔のサンプル画像と同一のサイズを有する顔については、サンプル画像と同一サイズとなるように部分画像を切り出すことにより、精度良く検出することができる。しかしながら、検出対象画像に含まれる可能性がある顔のサイズは一定ではないため、同一サイズの顔サンプル画像のみを用いて学習した判別器のみを用いたのでは、検出対象画像に含まれるすべての顔を検出できない。このため、部分画像を切り出すウィンドウのサイズを段階的に変更しつつ部分画像を切り出し、部分画像から対応する複数の特徴量を抽出し、抽出した特徴量を対応する弱判別器により判別して、部分画像が顔であるか否かを判別する手法が提案されている（非特許文献１参照）。

また、ウィンドウのサイズではなく、検出対象画像を多重解像度化して複数の解像度画像を取得し、各解像度画像からサンプル画像と同一サイズのウィンドウを用いて部分画像を切り出して、部分画像が顔であるか否かの判別を行う手法も提案されている（特許文献１参照）。なお、特許文献１に記載された手法は、図２０に示すように、検出対象画像を基本となる解像度画像Ｓ１＿１とし、解像度画像Ｓ１＿１に対して２の−１／３乗倍サイズの解像度画像Ｓ１＿２と、解像度画像Ｓ１＿２に対して２の−１／３乗倍サイズ（基本画像Ｓ１＿１に対しては２の−２／３乗倍サイズ）の解像度画像Ｓ１＿３とを先に生成し、その後、解像度画像Ｓ１＿１，Ｓ１＿２，Ｓ１＿３のそれぞれを１／２倍サイズに縮小した解像度画像を生成し、それら縮小した解像度画像をさらに１／２倍サイズに縮小した解像度画像を生成する、といった処理を繰り返し行い、解像度が異なる複数の解像度画像を所定の数だけ生成している。

ところで、上記の判別器は、一般的に、比較的画質が整ったサンプル画像を用いて学習されるため、基本的に画質のきれいな画像を対象に作られたものである。一方、検出対象画像としては、撮影シーンの明るさやコントラストが種々異なる画像が想定される。したがって、例えば、検出対象画像が暗い場所で撮影された画像である場合、この画像において顔の特徴を表す目の暗い部分と鼻の明るい部分を探そうとしても、画像の明るさが影響し、探索が難しい場合がある。

このため、検出対象画像の明るさやコントラストが違っても顔を検出することができるように、検出もしくは判別の対象となる画像に前処理として、画像のコントラストをある一定レベルに揃えるべく、正規化処理を施して照明補正を行う手法が提案されている。この正規化処理を施す手法としては、主に下記３つの手法が提案されている。

第１の手法は、検出対象画像の画像全体の画素値をその画像における被写体の輝度の対数を表す値に近づける変換曲線（ルックアップテーブル）にしたがって変換する手法である。第２の手法は、検出対象画像から切り出された部分画像毎にその領域内の画素値（輝度値）の分散の程度を一定レベルに揃えるべくこの画素値を変換する手法である。そして、第３の手法は、検出対象画像から切り出された部分画像の領域内で所定サイズの局所領域を走査しながらその局所領域における画素値の分散の程度を一定レベルに揃えるべく、この画素値を変換する手法である。第１から第３の手法のうち、第３の手法は、検出対象画像中の遮光、背景、入力モダリティの違いによる影響を受けにくいため、照明補正の程度が最も高い。なお、検出対象画像を多重解像度化した場合、複数の解像度画像のそれぞれに対して所定サイズの局所領域を走査しながらその局所領域における画素値の分散の程度を一定レベルに揃えるべく、画素値を変換することにより照明補正を行うことも可能である。

Paul Viola and Michael Jones, Rapid object detection using a boosted cascade of features, IEEE CVPR, 2001 特開２００７−２５７６６号公報

しかしながら、上記非特許文献１に記載の手法においては、複数サイズのウィンドウを使用するため、部分画像のサイズがウィンドウのサイズに応じて異なるものとなる。このようにサイズが異なる部分画像に対して第３の手法により照明補正を行う場合、局所領域のサイズを部分画像のサイズに応じて変更する必要がある。このため、照明補正のための演算が非常に複雑となり、その結果、照明補正のための演算に長時間を要するものとなる。

また、非特許文献１に記載された手法においては、複数サイズのウィンドウを使用するが、すべてのウィンドウサイズに応じた学習を行った弱判別器からなる判別器を用意することは、学習の手間を考えると現実的ではない。このため、非特許文献１に記載された手法においては、弱判別器により判別される特徴量を取得する画素値の位置が、サイズが異なる部分画像間において互いに対応するものとなるようにするために、弱判別器のスケールを変更するようにしている。しかしながら、スケールを変更した弱判別器からなる判別器を用いると顔の検出精度が低下する。また、部分画像のサイズ毎にスケールを変更する必要があるため、その演算に長時間を要するものとなる。

一方、上記特許文献１に記載された手法においては、複数の解像度画像のそれぞれに対して照明補正を行うことが可能であるため、非特許文献１に記載された手法と比較して、容易に照明補正を行うことができる。また、単一サイズのウィンドウを使用しているため、顔検出の精度が低下するおそれもない。しかしながら、顔検出の精度を向上させるためには、図２０に示すように、解像度画像における解像度の相違を非常に小さくして多くの解像度の解像度画像を取得する必要があるため、その演算に長時間を要するものとなる。

本発明は上記事情に鑑みなされたものであり、検出対象画像から顔等の特定種類のオブジェクトを精度良くかつ高速に検出することを目的とする。

本発明によるオブジェクト検出装置は、特定種類のオブジェクトを検出する検出対象画像を所定倍率により多重解像度化して解像度が異なる複数の解像度画像を取得する多重解像度処理手段と、
前記複数の解像度画像上に、前記各解像度画像間の前記所定倍率を補間するサイズを有する複数のウィンドウを走査させて部分画像を生成する部分画像生成手段と、
前記部分画像に基づいて、該部分画像の画素値の分布に係る特徴量を算出し、該特徴量を用いて前記部分画像が前記オブジェクトの画像であるか否かを判定する判定手段とを備え、
前記判定手段が、前記複数のウィンドウのサイズに対応する異なるサイズを有し、同一の照明補正がなされた複数のサンプル画像により、前記オブジェクトの分布に係る特徴量を前記ウィンドウのサイズ毎に学習させた、前記部分画像に係る前記特徴量を用いて該部分画像が前記オブジェクトの画像であるか否かを判別する判別器を備えたものであることを特徴とするものである。

「所定倍率」としては、検出対象画像を縮小する任意の倍率を用いることができるが、比較的計算が容易な１／２^ｎ倍を所定倍率として用いることが好ましい。

「所定倍率を補間するサイズ」とは、複数の解像度画像間の倍率の差異を補間するサイズを意味する。「所定倍率を補間するサイズを有する複数のウィンドウ」とは、所定サイズのウィンドウを基準ウィンドウとし、基準ウィンドウを所定倍率により縮小した場合において、基準ウィンドウのサイズと縮小したウィンドウのサイズとの中間のサイズを有する複数のウィンドウを意味する。例えば、所定倍率が１／２^ｎ倍の場合、各解像度画像間の倍率の差異は１／２すなわち２^−１であるため、「所定倍率を補間するサイズの複数のウィンドウ」としては、基準ウィンドウ、基準ウィンドウのサイズの２^−１／４，２^−２／４，２^−３／４のサイズを有するウィンドウあるいは２^−１／3，２^−２／3のサイズを有するウィンドウ等を用いることができる。

このように本発明は、部分画像に係る特徴量を用いて部分画像が特定種類のオブジェクトの画像であるか否かを判別する判別器を、複数のウィンドウのサイズに対応する異なるサイズを有し、同一の照明補正がなされた複数のサンプル画像により、オブジェクトの分布に係る特徴量をウィンドウのサイズ毎に学習させてなるものである。このため、ウィンドウのサイズが異なっていても、サイズが異なる部分画像毎に照明補正を行う必要がなくなるため、オブジェクト検出のための演算量を低減でき、その結果、高速にかつ精度良くオブジェクトを検出することができる。

また、本発明によれば、検出対象画像を所定倍率により多重解像度化して解像度が異なる複数の解像度画像を生成し、部分画像を生成するウィンドウのサイズを各解像度画像間の所定倍率を補間する複数のサイズを有するものとしたものである。このため、特許文献１に記載された手法のように、多重解像度化する際の解像度の差異を細かくする必要がなくなり、その結果、検出対象画像を多重解像度化する際の演算量を低減でき、よってオブジェクト検出を高速に行うことができる。

また、特許文献１に記載された手法と比較して解像度画像の数が少なくなるため、各解像度画像に照明補正を行う際の演算量を低減することができる。

また、検出対象画像を多重解像度化する際の解像度の差異を比較的大きくしつつも、部分画像を生成するウィンドウのサイズを各解像度画像間の所定倍率を補間する複数のサイズを有するものとしているため、検出対象画像に含まれる各種サイズのオブジェクトを精度良く検出することができる。

また、非特許文献１に記載された手法のように、判別器のスケールを変更する計算を行う必要がないため、オブジェクトの検出を高速かつ精度良く行うことができる。

なお、本発明によるオブジェクト検出装置においては、前記複数のウィンドウのそれぞれを、前記所定倍率により多重解像度化された、解像度が異なる少なくとも１つのサブウィンドウを有するものとし、
前記判別器を、前記サブウィンドウのサイズに対応する異なるサイズを有し、前記同一の照明補正がなされた複数のサンプル画像により、前記オブジェクトの分布に係る特徴量を前記サブウィンドウのサイズ毎にさらに学習させたものとしてもよい。

これにより、複数の解像度画像の解像度と、複数のウィンドウおよび複数のウィンドウのそれぞれのサブウィンドウの解像度とを対応づけることができることとなる。

この場合、本発明によるオブジェクト検出装置においては、検出対象の解像度画像の注目画素に前記複数のウィンドウのうちの所定サイズのウィンドウを設定するとともに、該検出対象の解像度画像よりも解像度が低い解像度画像の前記注目画素に対応する画素に、前記所定サイズのウィンドウのサブウィンドウを解像度順に設定し、
相対的に低い解像度のサブウィンドウにより生成した部分画像が前記オブジェクトの画像であるか否かの第１の判定を行い、
該第１の判定が肯定された場合にのみ、前記複数のウィンドウおよび／または該複数のウィンドウの前記相対的に低い解像度よりも高い解像度のサブウィンドウによる前記部分画像の生成および該部分画像が前記オブジェクトの画像であるか否かの判定を行うよう、前記部分画像生成手段および前記判定手段を制御する制御手段を備えるものとしてもよい。

「注目画素」とは、特定種類のオブジェクトの検出の対象となる画素である。

「所定サイズのウィンドウのサブウィンドウを解像度順に設定」するとは、最も解像度が高い、すなわち最も大きいサイズの解像度画像には、最も解像度が高い、すなわち最も大きいサイズのウィンドウを、次に大きいサイズの解像度画像には、最も大きいサイズのサブウィンドウのサイズよりも一段階小さいサイズのサブウィンドウを設定するというように、解像度画像のサイズに応じて順次小さいサイズのサブウィンドウを、各解像度画像の注目画素に対応する画素に設定することを意味する。

これにより、第１の判定が否定された場合には、次の注目画素に所定ウィンドウを移動させて、次の段階の処理に進むことができる。ここで、低い解像度の解像度画像および低い解像度のサブウィンドウを用いての部分画像の生成および第１の判定は、部分画像の画素数が小さいため、その演算量が少ない。したがって、効率よく注目画素の位置を変更することができ、その結果、部分画像がオブジェクトの画像であるか否かの判定を高速に行うことができる。

また、この場合、本発明によるオブジェクト検出装置においては、前記制御手段を、前記所定サイズのウィンドウのサブウィンドウのうち、前記解像度が２番目に高いサブウィンドウにより生成された部分画像に対する前記判定が肯定された場合、前記複数のウィンドウのすべてについての最高解像度の前記サブウィンドウにより複数の部分画像を生成し、
該複数の部分画像が前記オブジェクトの画像であるか否かの第２の判定を行い、
該第２の判定により、前記オブジェクトの画像であることの確度が最も高い部分画像を生成したサブウィンドウに対応するウィンドウのみにより前記部分画像を生成し、
該部分画像が前記オブジェクトの画像であるか否かの第３の判定を行うよう、前記部分画像生成手段および前記判定手段を制御する手段としてもよい。

「特定種類のオブジェクトの画像であることの確度」とは、判別器を用いた判定手段による特定種類のオブジェクトであるか否かの判別は、判別器の出力が所定の閾値以上であるか否かにより行われるものであることから、第２の判定によるウィンドウサイズ毎の判別器の出力を「特定種類のオブジェクトの画像であることの確度」として用いることができる。

これにより、効率よくかつ精度良く高速にオブジェクトの検出を行うことができる。

また、本発明によるオブジェクト検出装置においては、前記複数の解像度画像に対して、前記照明補正を行う照明補正手段をさらに備えるものとしてもよい。

これにより、オブジェクトを精度良く検出することができる。

本発明によるオブジェクト検出方法は、特定種類のオブジェクトを検出する対象となる検出対象画像を所定倍率により多重解像度化して解像度が異なる複数の解像度画像を取得し、
前記複数の解像度画像上に、前記各解像度画像間の前記所定倍率を補間するサイズを有する複数のウィンドウを走査させて部分画像を生成し、
前記複数のウィンドウのサイズに対応する異なるサイズを有し、同一の照明補正がなされた複数のサンプル画像により、前記オブジェクトの分布に係る特徴量を前記ウィンドウのサイズ毎に学習させた、前記部分画像に係る前記特徴量を用いて該部分画像が前記オブジェクトの画像であるか否かを判別する判別器を備えた判定手段により、前記部分画像に基づいて該部分画像の画素値の分布に係る特徴量を算出し、該特徴量を用いて前記部分画像が前記オブジェクトの画像であるか否かを判定することを特徴とするものである。

なお、本発明によるオブジェクト検出方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、オブジェクト検出のための演算量を低減して、高速かつ精度良くオブジェクトを検出することができる。

顔検出システムの構成を示すブロック図 検出対象画像の多重解像度化の工程を示す図 局所正規化処理の概念を示す図 照明補正部における処理を示すフローチャート 顔検出部の構成を示す概略ブロック図 複数サイズのウィンドウの生成を説明するための図 判別器群の構成を示すブロック図 判別器における大局的な処理を示すフローチャート 弱判別器における処理を示すフローチャート 弱判別器における特徴量の算出を説明するための図 顔検出システムにおいて行われる処理を示すフローチャート ウィンドウの設定を説明するための図（その１） ウィンドウの設定を説明するための図（その２） 詳細な検出処理のフローチャート 顔のサイズおよび位置の正規化を説明するための図 判別器の学習方法を示すフローチャート 弱判別器のヒストグラムを導出する方法を示す図 本実施形態において動画像から顔を検出する場合の処理を示すフローチャート 動体検出を説明するための図 従来の多重解像度化の工程を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は本発明のオブジェクト検出装置を適用した顔検出システムの構成を示す概略ブロック図である。この顔検出システムは、デジタル画像中に含まれる顔を検出するものである。図１に示すように、顔検出システム１は、顔を検出する対象となる検出対象画像Ｓ０を多重解像度化して解像度が異なる複数の画像（以下、解像度画像という）からなる解像度画像群Ｓ１（＝Ｓ１＿１，Ｓ１＿２，・・・，Ｓ１＿ｎ）を得る多重解像度化部１０と、後に実行される顔検出処理の精度向上を目的とした前処理として、各解像度画像に対して照明補正処理を行って照明補正済みの解像度画像群Ｓ１′（＝Ｓ１′＿１，Ｓ１′＿２，・・・，Ｓ１′＿ｎ）を得る照明補正部２０と、全体正規化済みの解像度画像群Ｓ１′の各々に対して顔検出処理を施すことにより、解像度画像群Ｓ１′の各解像度画像に含まれる顔を表す画像（以下、顔画像という）Ｓ２を検出する顔検出部３０とを備える。

多重解像度化部１０は、検出対象画像Ｓ０の解像度（画像サイズ）を変換することにより、その解像度を所定の解像度、例えば、ＶＧＡサイズ（６４０×４８０画素）の矩形サイズの画像に規格化し、規格化済みの検出対象画像Ｓ０′を得る。そして、この規格化済みの検出対象画像Ｓ０′を基本としてさらに解像度変換を行うことにより、解像度の異なる複数の解像度画像を生成し、解像度画像群Ｓ１を得る。このような解像度画像群を生成する理由は、通常、検出対象画像に含まれる顔の大きさは不明であるが、一方、検出しようとする顔の大きさ（画像サイズ）は、後述の判別器の生成方法と関連して一定の大きさに固定されるため、大きさの異なる顔を検出するためには、解像度の異なる画像上で位置をずらしながら後述する各種サイズの部分画像をそれぞれ切り出し、その部分画像が顔か非顔かを判別してゆく必要があるためである。

具体的には、図２に示すように、規格化済みの検出対象画像Ｓ０′を基本となる解像度画像Ｓ１＿１とし、解像度画像Ｓ１＿１に対して２の−１乗倍サイズの解像度画像Ｓ１＿２と、解像度画像Ｓ１＿２に対して２の−１乗倍サイズ（解像度画像Ｓ１＿１に対しては２の−２乗倍サイズ）の解像度画像Ｓ１＿３と、解像度画像Ｓ１＿３に対して２の−１乗倍サイズ（解像度画像Ｓ１＿１に対しては２の−３乗倍サイズ）の解像度画像Ｓ１＿４とを生成する。

これにより、解像度画像Ｓ１＿１が６４０×４８０画素の矩形サイズである場合、解像度画像Ｓ１＿２，Ｓ１＿３，・・・は、短辺がそれぞれ、３２０×２４０画素、１６０×１２０画素、８０×６０画素・・・の矩形サイズとなり、２の−１乗倍ずつ縮小された複数の解像度画像を生成することができる。なお、本実施形態においては、最も解像度が大きい解像動画像Ｓ１＿１を第１の階層の解像度画像Ｓ１＿１と称し、以下、解像度が低くなるにつれて第２の階層の解像度画像Ｓ１＿２、第３の階層の解像度画像Ｓ１＿３・・・と称するものとする。

照明補正部２０は、解像度画像群Ｓ１の各々に対して、画像上の局所的な領域におけるコントラストのばらつきを抑制するための局所正規化処理を施すことにより照明補正を行うものである。すなわち、照明補正部２０は、各解像度画像内で所定サイズの局所領域を走査しながらその局所領域における画素値の分散の程度を一定レベルに揃えるべく、画素値を変換する。具体的には、各解像度画像における各局所領域について、輝度を表す画素値の分散の程度が所定レベル以上である局所領域に対しては、この分散の程度を上記の所定レベルより高い一定レベルに近づける第１の輝度階調変換処理を施し、画素値の分散の程度が上記の所定レベル未満である局所領域に対しては、この分散の程度を上記の一定レベルより低いレベルに抑える第２の輝度階調変換処理を施すものである。

図３は局所正規化処理の概念を示した図であり、図４は照明補正部２０における処理を示すフローチャートである。また、式（１），（２）は、この局所正規化処理のための画素値の階調変換の式である。

ここで、Ｘは注目画素の画素値、Ｘ′は注目画素の変換後の画素値、ｍlocalは注目画素を中心とする局所領域における画素値の平均、Ｖlocalはこの局所領域における画素値の分散、ＳＤlocalはこの局所領域における画素値の標準偏差、（Ｃ１×Ｃ１）は上記の一定レベルに対応する基準値、Ｃ２は上記の所定レベルに対応する閾値、ＳＤｃは所定の定数である。なお、本実施形態において、輝度の階調数は８ｂｉｔとし、画素値のとり得る値は０から２５５とする。

照明補正部２０は、図４に示すように、各解像度画像Ｓ１−ｉ（ｉ＝１〜ｎ）における１つの画素を注目画素として設定し（ステップＳＴ１）、この注目画素を中心とする所定の大きさ、例えば９×９画素サイズの局所領域における画素値の分散Ｖlocalを算出し（ステップＳＴ２）、分散Ｖlocalが上記所定のレベルに対応する閾値Ｃ２以上であるか否かを判定する（ステップＳＴ３）。ステップＳＴ３において、分散Ｖlocalが閾値Ｃ２以上であると判定された場合には、上記第１の輝度階調変換処理として、分散Ｖlocalが上記一定のレベルに対応する基準値（Ｃ１×Ｃ１）より大きいほど、注目画素の画素値Ｘと平均ｍlocalとの差を小さくし、分散ｍlocalが基準値（Ｃ１×Ｃ１）より小さいほど、注目画素の画素値Ｘと平均ｍlocalとの差を大きくする階調変換を式（１）にしたがって行う（ステップＳＴ４）。

一方、ステップＳＴ３において、分散Ｖlocalが閾値Ｃ２未満であると判定された場合には、上記第２の輝度階調変換処理として、分散Ｖlocalによらない線形な階調変換を式（２）にしたがって行う（ステップＳＴ５）。そして、ステップＳＴ１で設定した注目画素が最後の画素であるか否かを判定する（ステップＳＴ６）。ステップＳＴ６において、その注目画素が最後の画素でないと判定された場合には、ステップＳＴ１に戻り、同じ部分画像上の次の画素を注目画素として設定する。一方、ステップＳＴ６において、その注目画素が最後の画素であると判定された場合には、その部分画像に対する局所正規化を終了する。このように、上記ステップＳＴ１からＳＴ６の処理を繰り返すことにより、解像度画像Ｓ１＿ｉ全体に局所正規化処理が施された解像度画像Ｓ１′＿ｉを得る。

なお、上記の所定レベルは、局所領域における全体または一部の輝度に応じて変化させるようにしてもよい。例えば、上記の、注目画素毎に階調変換を行う正規化処理において、閾値Ｃ２を注目画素の画素値に応じて変化させるようにしてもよい。すなわち、上記の所定レベルに対応する閾値Ｃ２を、注目画素の輝度が相対的に高いときにはより高く設定し、その輝度が相対的に低いときにはより低く設定するようにしてもよい。

顔検出部３０は、照明補正部２０により照明補正がなされた解像度画像群Ｓ１′の各々に対して顔検出処理を施し、各解像度画像における顔画像Ｓ２を検出するものである。図５は顔検出部３０の構成を示す概略ブロック図である。図５に示すように、顔検出部３０は、後述の各部を制御して顔検出処理におけるシーケンス制御を主に行う検出制御部３１と、解像度画像群Ｓ１′の中から顔検出処理に供する解像度画像Ｓ１′＿ｉをサイズの大きいものから順に順次選択する解像度画像選択部３２と、解像度画像選択部３２により選択された解像度画像において、顔画像であるか否かの判別対象となる部分画像Ｂを切り出すウィンドウを、その位置をずらしながら順次設定するウィンドウ設定部３３と、その切り出された部分画像Ｂが顔画像であるか否かを判別する判別器群３４とから構成されている。

検出制御部３１は、解像度画像群Ｓ１′の各画像に対して、顔画像Ｓ２を検出するという顔検出処理を行うべく、解像度画像選択部３２およびウィンドウ設定部３３を制御するものである。例えば、適宜、解像度画像選択部３２に対して解像度画像の選択を指示したり、ウィンドウ設定部３３に対してウィンドウの設定条件を指示したり、得られた検出結果を判別器群３４に出力したりする。なお、ウィンドウ設定条件には、ウィンドウを設定する画像上の範囲、ウィンドウの移動間隔（検出の粗さ）等が含まれる。

解像度画像選択部３２は、検出制御部３１の制御により、解像度画像群Ｓ１′の中から顔検出処理に供する解像度画像をサイズの大きい順に（解像度の細かい順に）順次選択するものである。なお、本実施形態における顔検出の手法が、各解像度画像上で順次切り出された部分画像Ｂについてその部分画像Ｂが顔画像であるか否かを判別し、顔であると判別した部分画像Ｂの領域を抽出することにより、検出対象画像Ｓ０における顔を検出する手法であるから、この解像度画像選択部３２は、検出対象画像Ｓ０における検出すべき顔の大きさを毎回変えながら設定するものであって、検出すべき顔の大きさを小から大へ変えながら設定するものと同等なものということができる。

ウィンドウ設定部３３は、検出制御部３１により設定されたウィンドウ設定条件に基づいて、解像度画像選択部３２により選択された解像度画像上で各種サイズのウィンドウを移動させながら順次設定する。本実施形態においては、各種サイズのウィンドウは以下のように生成される。まず本実施形態においては、３２×３２画素サイズのウィンドウが用意されている。ここで、解像度画像群Ｓ１間の解像度の相違は１／２であるため、単一サイズのウィンドウを用いるのみでは、大きさが異なる顔を精度良く検出することができない。

このため、本実施形態においては、この３２×３２画素サイズのウィンドウを基本として、複数サイズのウィンドウが生成されている。図６は複数サイズのウィンドウの生成を説明するための図である。図６に示すように、本実施形態においては、３２×３２画素サイズのウィンドウＷ１＿１を基準として、解像度画像群Ｓ１間の解像度の相違を補間するサイズの３つのウィンドウＷ２＿１，Ｗ３＿１，Ｗ４＿１を生成する。ここで、解像度画像群Ｓ１の各解像度画像間の倍率の相違は１／２倍であるため、ウィンドウＷ２＿１はウィンドウＷ１＿１に対して２の−１／４乗倍サイズを有し、ウィンドウＷ３＿１はウィンドウＷ２＿１に対して２の−１／４乗倍サイズ（ウィンドウＷ１＿１に対しては２の−２／４乗倍サイズ）を有し、ウィンドウＷ４＿１はウィンドウＷ３＿１に対して２の−１／４乗倍サイズ（ウィンドウＷ１＿１に対しては２の−３／４乗倍サイズ）を有する。ここで、ウィンドウＷ１＿１は３２×３２画素サイズであるため、ウィンドウＷ２＿１は２７×２７画素サイズ、ウィンドウＷ３＿１は２３×２３画素サイズ、ウィンドウＷ４＿１は１９×１９画素サイズを有するものとなる。

さらに本実施形態においては、ウィンドウＷ１＿１〜Ｗ４＿１のそれぞれを、１／２倍サイズに縮小したウィンドウを生成し、それら縮小した解像度画像をさらに１／２倍サイズに縮小したウィンドウを生成する、といった処理を繰り返し行い、複数のウィンドウを生成する。本実施形態においては、ウィンドウＷ１＿１〜Ｗ４＿１のそれぞれを２の−１乗倍サイズに縮小したウィンドウＷ１＿２〜Ｗ４＿２、ウィンドウＷ１＿１〜Ｗ４＿１のそれぞれを２の−２乗倍サイズに縮小したウィンドウＷ１＿３〜Ｗ４＿３を生成する。

ここで、ウィンドウＷ１＿１は３２×３２画素サイズであるため、ウィンドウＷ１＿２，Ｗ１＿３はそれぞれ１６×１６画素サイズ、８×８画素サイズを有するものとなる。また、ウィンドウＷ２＿１は２７×２７画素サイズであるため、ウィンドウＷ２＿２，Ｗ２＿３はそれぞれ１３×１３画素サイズ、６×６画素サイズを有するものとなる。ウィンドウＷ３＿１は２３×２３画素サイズであるため、ウィンドウＷ３＿２，Ｗ３＿３はそれぞれ１１×１１画素サイズ、５×５画素サイズを有するものとなる。ウィンドウＷ４＿１は１９×１９画素サイズであるため、ウィンドウＷ４＿２，Ｗ４＿３はそれぞれ９×９画素サイズ、４×４画素サイズを有するものとなる。

ここで、以降の説明においては、ウィンドウＷ１＿１，Ｗ２＿１，Ｗ３＿１およびＷ４＿１を第１〜第４のウィンドウと称し、第１のウィンドウＷ１＿１および第１のウィンドウＷ１＿１から生成されるサイズが小さいウィンドウＷ１＿２，Ｗ１＿３，Ｗ１＿４を含む複数のウィンドウを第１のウィンドウ群Ｗ１、第２のウィンドウＷ２＿１および第２のウィンドウＷ２＿１から生成されるサイズが小さいウィンドウＷ２＿２，Ｗ２＿３，Ｗ２＿４を含む複数のウィンドウを第２のウィンドウ群Ｗ２、第１のウィンドウＷ３＿１および第３のウィンドウＷ３＿１から生成されるサイズが小さいウィンドウＷ３＿２，Ｗ３＿３，Ｗ３＿４を含む複数のウィンドウを第３のウィンドウ群Ｗ３、第４のウィンドウＷ４＿１および第４のウィンドウＷ４＿１から生成されるサイズが小さいウィンドウＷ４＿２，Ｗ４＿３，Ｗ４＿４を含む複数のウィンドウを第４のウィンドウ群Ｗ４と称するものとする。また、第１から第４のウィンドウ群Ｗ１〜Ｗ４において、解像度が高い（すなわちサイズが大きい）ウィンドウから順に、第１の階層のウィンドウ、第２の階層のウィンドウ、第３の階層のウィンドウと称するものとする。なお、ウィンドウの設定および顔の判別の処理については後述する。

判別器群３４は、部分画像Ｂが顔画像であるか否かを判別する判別器群であり、解像度画像における顔画像を検出するために用いられる。図７は判別器群３４の構成を示す図である。図７に示すように判別器群３４は、検出可能な顔のサイズが異なる複数種類の判別器群、すなわち、部分画像Ｂを生成するための１２個のウィンドウのサイズのそれぞれに対応する第１〜第１２の判別器群３４＿１〜３４＿１２を有する。なお、第１〜第３の判別器群３４＿１〜３４＿３がウィンドウＷ１＿１〜Ｗ１＿３のサイズに、第４〜第６の判別器群３４＿４〜３４＿６がウィンドウＷ２＿１〜Ｗ２＿３のサイズに、第７〜第９の判別器群３４＿７〜３４＿９がウィンドウＷ３＿１〜Ｗ３＿３のサイズに、第１０〜第１２の判別器群３４＿１０〜３４＿１２がウィンドウＷ４＿１〜Ｗ４＿３のサイズにそれぞれ対応する。そして、第１〜第３の判別器群３４＿１〜３４＿３が第３の判別器群３４＿３から順に直列に、第４〜第６の判別器群３４＿４〜３４＿６が第６の判別器群３４＿６から順に直列に、第７〜第９の判別器群３４＿７〜３４＿９が第９の判別器群３４＿９から順に直列に、第１０〜第１２の判別器群３４＿１０〜３４＿１２が第１２の判別器群３４＿１２から順に直列に結合している。さらに、それぞれ直列に結合された第１〜第３の判別器群３４＿１〜３４＿３、第４〜第６の判別器群３４＿４〜３４＿６、第７〜第９の判別器群３４＿７〜３４＿９、第１０〜第１２の判別器群３４＿１０〜３４＿１２が並列に結合されている。なお、第１〜第１２の判別器群３４＿１〜３４＿１２のそれぞれは、入力される部分画像Ｂのサイズに対応するサイズの顔を判別する。

このように、第１〜第３の判別器群３４＿１〜３４＿３、第４〜第６の判別器群３４＿４〜３４＿６、第７〜第９の判別器群３４＿７〜３４＿９、第１０〜第１２の判別器群３４＿１０〜３４＿１２について、小さいサイズのウィンドウＷｋ＿３（ｋ＝１〜４）により切り出された部分画像Ｂが顔画像であるかを否かを判別する判別器群から順に直列に接続することにより、後述するように、小さいサイズのウィンドウＷｋ＿３（ｋ＝１〜４）により切り出された部分画像Ｂから、大きいサイズのウィンドウＷｋ＿１（ｋ＝１〜４）に向けて、順次判別を行うことが可能となる。

また、判別器群３４は、図７に示すように、複数の弱判別器ＷＣが線形に結合したカスケード構造を有しており、弱判別器は、部分画像Ｂの画素値（輝度）の分布に係る少なくとも１つの特徴量を算出し、この特徴量を用いて部分画像Ｂが顔画像であるか否かを判別するものである。

ここで、判別器群３４における具体的な処理について説明する。図８は判別器群３４に含まれる各判別器群３４＿ｎ（ｎ＝１〜１２）における大局的な処理を示すフローチャートであり、図９はその中の各弱判別器による処理を示すフローチャートである。

まず、１番目の弱判別器ＷＣが、対応するサイズのウィンドウにより解像度画像Ｓ１′＿ｉ上で切り出された部分画像Ｂに対してこの部分画像Ｂが顔であるか否かを判別する（ステップＳＳ１）。具体的には、１番目の弱判別器ＷＣは、図１０に示すように、解像度画像Ｓ１′＿ｉから切り出された所定サイズの部分画像Ｂ（例えば３２×３２画素サイズ）の画像に対して、４近傍画素平均（画像を２×２画素サイズ毎に複数のブロックに区分し、各ブロックの４画素における画素値の平均値をそのブロックに対応する１つの画素の画素値とする処理）を行うことにより、１６×１６画素サイズの画像と、８×８画素サイズの縮小した画像を得、これら３つの画像の平面内に設定される所定の２点を１ペアとして、複数種類のペアからなる１つのペア群を構成する各ペアにおける２点間の画素値（輝度）の差分値をそれぞれ計算し、これらの差分値の組合せを特徴量とする（ステップＳＳ１−１）。各ペアの所定の２点は、例えば、画像上の顔の濃淡の特徴が反映されるよう決められた縦方向に並んだ所定の２点や、横方向に並んだ所定の２点とする。そして、特徴量である差分値の組合せに応じて所定のスコアテーブルを参照してスコアを算出し（ステップＳＳ１−２）、直前の弱判別器が算出したスコアに自己の算出したスコアを加算して累積スコアを算出する（ステップＳＳ１−３）。なお、最初の弱判別器ＷＣ１では、直前の弱判別器がないので、自己の算出したスコアをそのまま累積スコアとする。この累積スコアが所定の閾値以上であるか否かによって部分画像が顔であるか否かを判別する（ステップＳＳ１−４）。ここで、上記部分画像Ｂが顔と判別されたときには、次の弱判別器ＷＣ２による判別に移行し（ステップＳＳ２）、部分画像Ｂが非顔と判別されたときには、部分画像は、即、非顔と判定され（ステップＳＳＢ）、処理が終了する。

ステップＳＳ２においても、ステップＳＳ１と同様に、２番目の弱判別器ＷＣが部分画像に基づいて画像上の特徴を表す上記のような特徴量を算出し（ステップＳＳ２−１）、スコアテーブルを参照して特徴量からスコアを算出する（ステップＳＳ２−２）。そして、自ら算出したスコアを直前の１番目の弱判別器ＷＣが算出した累積スコアに加算して累積スコアを更新し（ステップＳＳ２−３）、この累積スコアが所定の閾値以上であるか否かによって部分画像Ｂが顔であるか否かを判別する（ステップＳＳ２−４）。ここでも、部分画像Ｂが顔と判別されたときには、次の３番目の弱判別器ＷＣによる判別に移行し（ステップＳＳ３）、部分画像Ｂが非顔と判別されたときには、部分画像Ｂは、即、非顔と判定され（ステップＳＳＢ）、処理が終了する。このようにして、判別器を構成する全Ｎ個の弱判別器ＷＣにおいて部分画像Ｂが顔であると判別されたときには、その部分画像Ｂを最終的に顔画像と判定する（ステップＳＳＡ）。

なお、本実施形態において、検出制御部３１、解像度画像選択部３２、ウィンドウ設定部３３および判別器群３４が、本発明の判定手段として機能する。

次に、顔検出システム１における処理の流れについて説明する。図１１は本実施形態による顔検出システムにおける処理の流れを示すフローチャートである。図１１に示すように、多重解像度化部１０に検出対象画像Ｓ０が入力されると（ステップＳＴ１１）、多重解像度化部１０が検出対象画像Ｓ０を多重解像度化し、複数の解像度画像からなる解像度画像群Ｓ１を生成する（ステップＳＴ１２）。そして、照明補正部２０が、解像度画像群Ｓ１の各々に対して照明補正を施し、照明補正済みの解像度画像群Ｓ１′を取得する（ステップＳＴ１３）。

顔検出部３０は、検出制御部３１からの指示を受けた解像度画像選択部３２により、解像度画像群Ｓ１′の中から画像サイズの大きい順、すなわち、Ｓ１′＿１，Ｓ１′＿２，・・・，Ｓ１′＿ｎの順に解像度画像Ｓ１′＿ｉを選択する（ステップＳＴ１４）。次に検出制御部３１が、ウィンドウ設定部３３に対して、ウィンドウを初期位置に、すなわち選択された解像度画像上の最初の注目画素にウィンドウを設定する指示を行う（ステップＳＴ１５）。本実施形態においては、第１から第４のウィンドウ群Ｗ１〜Ｗ４のうち、まず中間のサイズの第３のウィンドウ群Ｗ３を解像度画像上に設定する。このため、本実施形態においては、まず第１の階層の解像度画像Ｓ１′＿１から２３×２３画素サイズの顔が検出されることとなる。なお、第３のウィンドウ群Ｗ３に代えて、第２のウィンドウ群Ｗ２を選択された解像度画像上に設定してもよい。

図１２はウィンドウの設定を説明するための図である。なお、図１２においては第１の階層の解像度画像Ｓ１′＿１に対するウィンドウの設定を示す。図１２に示すように、第１の階層の解像度画像Ｓ１′＿１に対しては、第３のウィンドウ群Ｗ３のうちの第１の階層のウィンドウＷ３＿１が、第２の階層の解像度画像Ｓ１′＿２に対しては第２の階層のウィンドウＷ３＿２が、第３の階層の解像度画像Ｓ１′＿３に対しては第３の階層のウィンドウＷ３＿３がそれぞれ設定される。ウィンドウ設定部３３は、選択された解像度画像上に設定された３つのウィンドウのうち、最低階層のウィンドウ（ここではウィンドウＷ３＿３）が設定された階層の解像度画像（ここでは第３の階層の解像度画像Ｓ１′＿３）から部分画像Ｂを切り出し（ステップＳＴ１６）、その部分画像を判別器群３４に入力する（ステップＳＴ１７）。

なお、選択された解像度画像が第２の階層の解像度画像Ｓ１′＿２である場合には、図１３に示すように、第１の階層の解像度画像Ｓ１′＿１に対してはウィンドウは設定されず、第２の階層の解像度画像Ｓ１′＿２に対して第３のウィンドウ群Ｗ３のうちの第１の階層のウィンドウＷ３＿１が、第３の階層の解像度画像Ｓ１′＿２に対しては第２の階層のウィンドウＷ３＿２が、第４の階層の解像度画像Ｓ１′＿３に対しては第３の階層のウィンドウＷ３＿３がそれぞれ設定される。そして、同様に最低階層のウィンドウＷ３＿３が設定された階層の解像度画像（第４の階層の解像度画像Ｓ１′＿４）から部分画像Ｂが切り出され、その部分画像Ｂが判別器群３４に入力される。

ここで、選択された解像度画像の階層が低くなると、選択された解像度画像の階層よりも低い階層の解像度画像数が１または０となることがあるため、すべての階層のウィンドウをすべての階層の解像度画像に設定できない場合があり得る。この場合、ステップＳＴ１６の処理においては、設定されたウィンドウのうち、最低階層のウィンドウにより切り出されることとなる。例えば、選択された解像度画像が最低階層の解像度画像の場合、第１の階層のウィンドウのみしか選択された解像度画像に設定できないため、ステップＳＴ１６の処理においては、第１の階層のウィンドウが最低階層のウィンドウとなる。

判別器群３４は、入力される部分画像Ｂに対して、上記の１２種類の判別器のうちのウィンドウサイズが対応する判別器群を用いて判別を行い、検出制御部３１がその判別結果Ｒを取得し（ステップＳＴ１８）、判別結果Ｒが部分画像Ｂが顔であるというものであるか否かを判定する（ステップＳＴ１９）。判別結果Ｒが部分画像Ｂが顔でないというものであった場合（ステップＳＴ１９否定）、検出制御部３１は、現在切り出された部分画像Ｂが最後の注目画素に位置する部分画像、すなわち最後の部分画像であるか否かを判定し（ステップＳＴ２０）、部分画像Ｂが最後の部分画像でないと判定された場合には、ウィンドウを設定する位置を次の注目画素の位置（すなわち次の位置）に設定し（ステップＳＴ２１）、ステップＳＴ１６に戻って、ウィンドウ設定部３３が新たな部分画像Ｂを切り出す。これにより、図１２に示すようにウィンドウにより解像度画像Ｓ１′＿ｉを走査しつつ、解像度画像Ｓ１′＿ｉから顔画像を検出する。

ここで、ステップＳＴ２１におけるウィンドウの位置の設定は、第３階層のウィンドウＷ３＿３を、第３階層のウィンドウＷ３＿３が設定された階層の解像度画像上において１画素移動させて設定するものである。これにより、第２階層のウィンドウＷ３＿２は、第２階層のウィンドウＷ３＿２が設定された階層の解像度画像上において２画素移動されて設定されることとなり、第１階層のウィンドウＷ３＿１は、第１階層のウィンドウＷ３＿１が設定された階層の解像度画像上において４画素移動されて設定されることとなる。

なお、部分画像Ｂが最後の部分画像であると判定された場合には、検出制御部３１は、現在選択されている解像度画像Ｓ１′＿ｉが最後に判定される画像、すなわち最後の解像度画像Ｓ１′＿ｎであるか否かを判定し（ステップＳＴ２２）、最後の解像度画像であると判定された場合には検出処理を終了し、検出結果を出力する（ステップＳＴ２３）。一方、最後の解像度画像ではないと判定された場合には、ステップＳＴ１４に戻り、解像度画像選択部３２により、現在選択されている解像度画像Ｓ１′＿ｉより１段階サイズが小さい解像度画像Ｓ１′＿ｉ＋１が選択され、さらに顔画像の検出が実行される。

また、検出結果の出力は、検出対象画像Ｓ１から顔が検出できなかった場合にはその旨を出力し、検出対象画像Ｓ１に顔が検出できた場合には、検出対象画像Ｓ０上における顔が検出された部分画像の位置の座標を出力する。

一方、判別結果Ｒが部分画像Ｂが顔であるというものであった場合、検出制御部３１はさらに詳細な検出処理を行う（ステップＳＴ２４）。図１４は詳細な検出処理のフローチャートである。詳細な検出処理においては、最低階層のウィンドウ（ここでは第３の階層のウィンドウＷ３＿３）が設定された階層の解像度画像（ここでは第３の階層の解像度画像Ｓ１′＿３）から切り出された部分画像Ｂが顔であると判別されていることから、さらに詳細な判別を行うために、最低階層のウィンドウよりも上位の階層数が２より大きいか否かを判定する（ステップＳＴ３１）。ステップＳＴ３１が肯定されると、ウィンドウ設定部３３は、最低階層のウィンドウよりも一段階上位の階層、すなわち一段階サイズが大きいウィンドウが設定された階層の解像度画像から部分画像Ｂを切り出し（ステップＳＴ３２）、その部分画像Ｂを判別器群３４に入力する（ステップＳＴ３３）。

判別器群３４は、入力される部分画像Ｂに対して、上記の１２種類の判別器のうちのウィンドウサイズが対応する判別器群を用いて判別を行い、検出制御部３１がその判別結果Ｒを取得し（ステップＳＴ３４）、判別結果Ｒが部分画像Ｂが顔であるというものであるか否かを判別する（ステップＳＴ３５）。判別結果Ｒが部分画像Ｂが顔でないというものであった場合、ステップＳＴ２０の処理に進む。判別結果Ｒが部分画像Ｂが顔であるものである場合、ステップＳＴ３１の処理に戻り、ステップＳＴ３１からステップＳＴ３５の処理を繰り返す。

一方、ステップＳＴ３１が否定されると、検出制御部３１は、最低階層のウィンドウよりも上位の階層数が０であるか否かを判定する（ステップＳＴ３６）。ステップＳＴ３６が肯定されるとステップＳＴ２０の処理に進む。ステップＳＴ３６が否定されると、検出制御部３１は、最低階層のウィンドウよりも上位の階層数が１であるか否かを判定する（ステップＳＴ３７）。ステップＳＴ３７が否定されると、最低階層のウィンドウよりも上位の階層の数が２であることから、ウィンドウ設定部３３は、すべてのウィンドウ群Ｗ１〜Ｗ４の第２の階層のウィンドウＷ１＿２，Ｗ２＿２，Ｗ３＿２，Ｗ４＿２を、第３の階層のウィンドウが設定された階層の一段階上位の階層の解像度画像（ここでは第２の階層の解像度画像Ｓ１′＿２）に設定する（すべてのウィンドウ群の第２の階層のウィンドウの設定、ステップＳＴ３８）。なお、第２の階層のウィンドウＷ１＿２，Ｗ２＿２，Ｗ３＿２，Ｗ４＿２が設定される位置は、現在選択されている解像度画像Ｓ１′＿ｉの次の階層の解像度画像Ｓ１′＿ｉ＋１における、現在の注目画素の位置に対応する位置である。

次いで、ウィンドウ設定部３３は、設定された４つのウィンドウのそれぞれから順次部分画像Ｂ１＿２，Ｐ２＿２，Ｐ３＿２，Ｐ４＿２を切り出し（ステップＳＴ３９）、部分画像Ｂ１＿２，Ｐ２＿２，Ｐ３＿２，Ｐ４＿２を判別器群３４に順次入力する（ステップＳＴ４０）。なお、ステップＳＴ４０の処理は並列して行ってもよく、連続させて行ってもよい。判別器群３４は、入力される部分画像Ｂ１＿２，Ｐ２＿２，Ｐ３＿２，Ｐ４＿２に対して、上記の１２種類の判別器のうちのウィンドウサイズが対応する判別器群を用いて判別を行い、検出制御部３１が各判別器群の累積スコアＫ１＿２，Ｋ２＿２，Ｋ３＿２，Ｋ４＿２を取得し（ステップＳＴ４１）、累積スコアＫ１＿２，Ｋ２＿２，Ｋ３＿２，Ｋ４＿２のうち、最大累積スコアを決定する（ステップＳＴ４２）。

次いで、ウィンドウ設定部３３は、最大累積スコアを得たウィンドウに対応する第１の階層のウィンドウＷｉ＿１を、現在選択されている解像度画像Ｓ１′＿ｉに設定する（ステップＳＴ４３）。例えば、ウィンドウＷ２＿２により取得した累積スコアが最も大きい場合、第１の階層のウィンドウＷ２＿１を解像度画像Ｓ１′＿ｉに設定する。そしてウィンドウ設定部３３は、設定したウィンドウにより解像度画像Ｓ１′＿ｉから部分画像Ｂを切り出し（ステップＳＴ４４）、その部分画像Ｂを判別器群３４に入力する（ステップＳＴ４５）。

判別器群３４は、入力される部分画像Ｂに対して、上記の１２種類の判別器のうちのウィンドウサイズが対応する判別器群を用いて判別を行い、検出制御部３１がその判別結果Ｒを取得し（ステップＳＴ４６）、ステップＳＴ２０の処理に進む。一方、ステップＳＴ３７が肯定されると、ウィンドウ設定部３３は、最低階層のウィンドウよりも一段階上位の階層（ここでは第１階層）のウィンドウが設定された階層の解像度画像から部分画像Ｂを切り出し（ステップＳＴ４７）、その部分画像Ｂを判別器群３４に入力し（ステップＳＴ４８）、ステップＳＴ１８の処理に進む。以上の処理を行うことにより、検出対象画像Ｓ０から種々のサイズの顔画像を検出することができる。

次に、判別器の学習方法（生成方法）について説明する。なお、学習は、判別器の種類、すなわち、判別すべき顔のサイズ毎に行われる。

学習の対象となるサンプル画像群は、ウィンドウ群Ｗ１〜Ｗ４のすべてのサイズ、すなわち、ウィンドウ群Ｗ１〜Ｗ４に含まれるウィンドウの１２のサイズで規格化された、顔であることが分かっている複数のサンプル画像（顔サンプル画像群）と、顔でないことが分かっている複数のサンプル画像（非顔サンプル画像群）とからなる。

顔であることが分かっているサンプル画像は、１つのサンプル画像につき、縦および／または横を０．７倍から１．２倍の範囲にて０．１倍単位で段階的に拡大縮小して得られる各サンプル画像に対し、平面上±１５度の範囲にて３度単位で段階的に回転させて得られる複数の変形バリエーションを用いる。なおこのとき、顔のサンプル画像は、目の位置が所定の位置に来るように顔のサイズと位置を規格化し、上記の平面上の回転、拡大縮小は目の位置を基準として行うようにする。例えば、ｄ×ｄサイズの正面顔のサンプル画像の場合においては、図１５に示すように、両目の位置が、サンプル画像の最左上の頂点と最右上の頂点から、それぞれ、内側に１／４ｄ、下側に１／４ｄ移動した各位置とに来るように顔のサイズと位置を規格化し、また、上記の平面上の回転、拡大縮小は、両目の中間点を中心に行うようにする。

このような顔サンプル画像群を、ウィンドウのサイズに応じてサイズが異なる１２種類用意する。これら１２種類の顔サンプル画像群の各々と非顔サンプル画像群とを用いて各種類毎に判別器の学習を行い、１２種類の判別器を生成する。以下、その具体的な学習手法について説明する。

図１６は判別器の学習方法を示すフローチャートである。なお、顔サンプル画像群および非顔サンプル画像群を構成する各サンプル画像は、前もって、上記照明補正部２０による照明補正処理と同一の局所正規化処理により照明補正が施されているものとする。

これら各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳＴ５１）。次に、サンプル画像およびその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなるペア群を複数種類設定したときの、この複数種類のペア群のそれぞれについて弱半別器が作成される（ステップＳＴ５２）。ここで、それぞれの弱判別器とは、ウィンドウＷで切り出された部分画像とその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなる１つのペア群を設定したときの、この１つのペア群を構成する各ペアにおける２点間の画素値（輝度）の差分値の組合せを用いて、顔の画像と顔でない画像とを判別する基準を提供するものである。本実施形態においては、１つのペア群を構成する各ペアにおける２点間の画素値の差分値の組合せについてのヒストグラムを弱判別器のスコアテーブルの基礎として使用する。

図１７を参照しながらある判別器の作成について説明する。図１７の左側のサンプル画像に示すように、この判別器を作成するためのペア群を構成する各ペアの２点は、顔であることが分かっている複数のサンプル画像において、サンプル画像上の右目の中心にある点をＰ１、右側の頬の部分にある点をＰ２、眉間の部分にある点をＰ３、サンプル画像を４近傍画素平均で縮小した１６×１６画素サイズの縮小画像上の右目の中心にある点をＰ４、右側の頬の部分にある点をＰ５、さらに４近傍画素平均で縮小した８×８画素サイズの縮小画像上の額の部分にある点をＰ６、口の部分にある点をＰ７として、Ｐ１−Ｐ２、Ｐ１−Ｐ３、Ｐ４−Ｐ５、Ｐ４−Ｐ６、Ｐ６−Ｐ７の５ペアである。なお、ある判別器を作成するための１つのペア群を構成する各ペアの２点の座標位置はすべてのサンプル画像において同一である。そして顔であることが分かっているすべてのサンプル画像について上記５ペアを構成する各ペアの２点間の画素値の差分値の組合せが求められ、そのヒストグラムが作成される。ここで、画素値の差分値の組合せとしてとり得る値は、画像の輝度階調数に依存するが、仮に１６ビット階調である場合には、１つの画素値の差分値につき６５５３６通りあり、全体では階調数の（ペア数）乗、すなわち６５５３６の５乗通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、画素値の差分値を適当な数値幅で区切って量子化し、ｎ値化する（例えばｎ＝１００）。

これにより、画素値の差分値の組合せの数はｎの５乗通りとなるため、画素値の差分値の組合せを表すデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記各ペアの所定の２点の位置に対応する位置（同様に参照符号Ｐ１からＰ７を用いる）が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値をとってヒストグラムで表したものが、図１７の一番右側に示す、弱判別器のスコアテーブルの基礎として用いられるヒストグラムである。この弱判別器のヒストグラムが示す各縦軸の値を、以下、判別ポイントと称する。この弱判別器によれば、正の判別ポイントに対応する、画素値の差分値の組合せの分布を示す画像は顔である可能性が高く、判別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の判別ポイントに対応する画素値の差分値の組合せの分布を示す画像は顔でない可能性が高く、やはり判別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳＴ５２では、判別に使用され得る複数種類のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せについて、上記のヒストグラム形式の複数の弱判別器が作成される。

続いて、ステップＳＴ５２で作成した複数の弱半別器のうち、画像が顔であるか否かを判別するのに最も有効な弱判別器が選択される。最も有効な弱判別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各弱判別器の重み付き正答率が比較され、最も高い重み付き正答率を示す弱判別器が選択される（ステップＳＴ５３）。すなわち、最初のステップＳＴ５３では、各サンプル画像の重みは等しく１であるので、単純にその弱判別器によって画像が顔であるか否かが正しく判別されるサンプル画像の数が最も多いものが、最も有効な弱判別器として選択される。一方、後述するステップＳＴ５５において各サンプル画像の重みが更新された後の２回目のステップＳＴ５３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳＴ５３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく判別されることに、より重点が置かれる。

次に、それまでに選択した弱判別器の組合せの正答率、すなわち、それまでに選択した弱判別器を組み合せて使用して（学習段階では、弱判別器は必ずしも線形に結合させる必要はない）各サンプル画像が顔の画像であるか否かを判別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳＴ５４）。ここで、弱判別器の組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した弱判別器を用いれば画像が顔であるか否かを十分に高い確率で判別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した弱判別器と組み合せて用いるための追加の弱判別器を選択するために、ステップＳＴ５６へと進む。

ステップＳＴ５６では、直近のステップＳＴ５３で選択された弱判別器が再び選択されないようにするため、その弱判別器が除外される。

次に、直近のステップＳＴ５３で選択された弱判別器では顔であるか否かを正しく判別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく判別できたサンプル画像の重みが小さくされる（ステップＳＴ５５）。このように重みを大小させる理由は、次の弱判別器の選択において、既に選択された弱判別器では正しく判別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく判別できる弱判別器が選択されるようにして、弱判別器の組合せの効果を高めるためである。

続いて、ステップＳＴ５３へと戻り、上記したように重み付き正答率を基準にして次に有効な弱判別器が選択される。

以上のステップＳＴ５３からＳ５６を繰り返して、顔であるか否かを判別するのに適した弱判別器として、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せに対応する弱判別器が選択されたところで、ステップＳＴ５４で確認される正答率が閾値を超えたとすると、顔であるか否かの判別に用いる弱判別器の種類と判別条件とが確定され（ステップＳＴ５７）、これにより学習を終了する。なお、選択された弱判別器は、その重み付き正答率が高い順に線形結合され、１つの判別器が構成される。また、各弱判別器については、それぞれ得られたヒストグラムを基に、画素値の差分値の組合せに応じてスコアを算出するためのスコアテーブルが生成される。なお、ヒストグラム自身をスコアテーブルとして用いることもでき、この場合、ヒストグラムの判別ポイントがそのままスコアとなる。

このようにして、各顔サンプル画像群毎に学習を行うことにより、上述の１２種類の判別器が生成される。

なお、上記の学習手法を採用する場合において、弱判別器は、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せを用いて顔の画像と顔でない画像とを判別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１７の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

このように、本実施形態の顔検出システムによれば、検出対象画像を多重解像度化する際に、特許文献１に記載された手法のように、多重解像度画像間の解像度の差異を細かくする必要がないため、検出対象画像を多重解像度化する際の演算量を低減でき、よって高速に顔を検出することができる。

また、検出対象画像Ｓ０を多重解像度化する際の解像度の差異を特許文献１に記載された主要より大きくしつつも、部分画像を生成するウィンドウＷを各解像度画像間の倍率を補間する複数のサイズを有するものとしているため、検出対象画像Ｓ０に含まれる各種サイズの顔を精度良く検出することができる。

また、特許文献１に記載された手法と比較して解像度画像の数が少なくなるため、特許文献１に記載された手法と比較して、各解像度画像に照明補正を行う際の演算量を低減することができる。

また、本実施形態によれば、判別器群３４の学習に際して、照明補正部２０と同一の照明補正がなされた複数のサンプル画像を用いているため、ウィンドウのサイズが異なっていても、サイズが異なる部分画像毎に照明補正を行う必要がなくなる。これにより、顔検出のための演算量を低減でき、その結果、高速に顔を検出することができる。

また、非特許文献１に記載された手法のように、判別器群３４を構成する弱判別器のスケールを変更する計算を行う必要がないため、顔の検出を高速かつ精度良く行うことができる。

なお、本実施形態による顔検出システムを動画像からの顔検出に適用する場合、以下の処理が可能となる。図１８は本実施形態において動画像から顔を検出する場合の処理を示すフローチャートである。なお、ここでは、動画像における処理対象のフレーム（現フレーム）ｆｔと、処理対象フレームｆｔの１つ前のフレーム（前フレーム）ｆｔ−１とを用いて処理を行うものとして説明する。

まず検出制御部３１は、前フレームｆｔ−１において顔が検出されているか否かを判定する（ステップＳＴ６１）。前フレームｆｔ−１において顔が検出されていない場合には、現フレームｆｔを検出対象画像として、上記図１１および図１４に示すフローチャートと同一の処理を行うべく、図１１のステップＳＴ１１の処理に進む。前フレームｆｔ−１において顔が検出されている場合、顔であると判別された部分画像Ｂの生成に使用したサイズのウィンドウ単位で、前フレームｆｔ−１と現フレームｆｔとの対応する画素間の差の絶対値の総和（以下差分とする）を、各フレームｆｔ−１，ｆｔの互いに対応する階層の解像度画像間で算出し（ステップＳＴ６２）、ウィンドウ単位で前フレームｆｔ−１と現フレームｆｔとの間で移動した物体、すなわち動体が存在するか否かを判定する（ステップＳＴ６３）。

図１９は差分の算出を説明するための図である。図１９に示すように、前フレームｆｔ−１において顔の検出に使用したウィンドがウィンドウＷ２＿１である場合、前フレームｆｔ−１および現フレームｆｔの間において、ウィンドウＷ２＿１を走査しつつ、対応する位置のウィンドウＷ２＿１（ｔ−１），Ｗ２＿１（ｔ）の差分を算出することにより動体が存在するか否かを判定する。このように、ウィンドウ単位で差分を算出することにより、画素単位で差分を算出して動体を検出する場合よりも演算時間を短縮することができる。

なお、ウィンドウＷ２＿１（ｔ−１），Ｗ２＿１（ｔ）の差分を算出する際に、ウィンドウＷ２＿１（ｔ−１），Ｗ２＿１（ｔ）内のすべての画素の差分を算出してもよいが、ウィンドウサイズに対応する各判別器群３４＿ｊ（ｊ＝１〜１２）を構成する弱判別器のうち、特定の弱判別器に入力される特徴量を算出するために使用する画素位置のみを用いて差分を算出するようにしてもよい。例えば、ウィンドウＷ２＿１に対応する判別器群３４＿４のある弱判別器に入力される特徴量が、図１９に示す３つの画素位置Ｐ１１〜Ｐ１３の画素値である場合、ウィンドウＷ２＿１（ｔ−１），Ｗ２＿１（ｔ）における、各画素位置Ｐ１１〜Ｐ１３間の差分を算出して動体を検出するようにしてもよい。これにより、動体検出のための演算を大幅に低減して、動体を高速に検出することができる。

ステップＳＴ６３が否定されると、検出制御部３１は、現フレームｆｔを検出対象画像として、上記図１１および図１４に示すフローチャートと同一の処理を行うべく、図１１のステップＳＴ１１の処理に進む。ステップＳＴ６３が肯定されると、検出制御部３１は、現フレームｆｔにおける動体の領域およびその近傍の領域に対してのみ、上記図１１および図１４と同様の検出処理を行い（ステップＳＴ６４）、検出結果を出力し（ステップＳＴ６５）、検出対象のフレームを次のフレームに変更し（ステップＳＴ６６）、ステップＳＴ６１に戻る。

このように、動画像の場合には、まず動体検出処理を行うことにより、動体の位置を推定し、推定した動体およびその近傍の領域においてのみ顔の検出を行うようにすることができるため、効率よく顔の検出を行うことができる。とくにウィンドウ単位で動体検出処理を行うことにより、演算量を低減して、高速に動体を検出することができる。

なお、上記実施形態においては、検出対象を人物の顔としているが、人物の手等の他のオブジェクトを検出するようにしてもよい。この場合、判別器はオブジェクトを含むサンプル画像群とオブジェクトを含まないサンプル画像群とを用いて学習を行えばよい
また、上記実施形態においては、照明補正部２０により照明補正処理を行っているが、照明補正は本発明に必須のものではない。

以上、本発明の実施形態に係る顔検出システムについて説明したが、この顔検出システムのうちの本発明の顔検出装置に対応する部分における各処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

１ 顔検出システム
１０ 多重解像度化部
２０ 照明補正部
３０ 顔検出部
３１ 検出制御部
３２ 解像度画像選択部
３３ ウィンドウ設定部
３４ 判別器群

Claims (7)

1. 特定種類のオブジェクトを検出する検出対象画像を所定倍率により多重解像度化して解像度が異なる複数の解像度画像を取得する多重解像度処理手段と、
   前記複数の解像度画像上に、前記各解像度画像間の前記所定倍率を補間するサイズを有する複数のウィンドウを走査させて部分画像を生成する部分画像生成手段と、
   前記部分画像に基づいて、該部分画像の画素値の分布に係る特徴量を算出し、該特徴量を用いて前記部分画像が前記オブジェクトの画像であるか否かを判定する判定手段とを備え、
   前記判定手段が、前記複数のウィンドウのサイズに対応する異なるサイズを有し、同一の照明補正がなされた複数のサンプル画像により、前記オブジェクトの分布に係る特徴量を前記ウィンドウのサイズ毎に学習させた、前記部分画像に係る前記特徴量を用いて該部分画像が前記オブジェクトの画像であるか否かを判別する判別器を備えたものであることを特徴とするオブジェクト検出装置。
2. 前記複数のウィンドウのそれぞれが、前記所定倍率により多重解像度化された、解像度が異なる少なくとも１つのサブウィンドウを有し、
   前記判別器が、前記サブウィンドウのサイズに対応する異なるサイズを有し、前記同一の照明補正がなされた複数のサンプル画像により、前記オブジェクトの分布に係る特徴量を前記サブウィンドウのサイズ毎にさらに学習させたものであることを特徴とする請求項１記載のオブジェクト検出装置。
3. 検出対象の解像度画像の注目画素に前記複数のウィンドウのうちの所定サイズのウィンドウを設定するとともに、該検出対象の解像度画像よりも解像度が低い解像度画像の前記注目画素に対応する画素に、前記所定サイズのウィンドウのサブウィンドウを解像度順に設定し、
   相対的に低い解像度のサブウィンドウにより生成した部分画像が前記オブジェクトの画像であるか否かの第１の判定を行い、
   該第１の判定が肯定された場合にのみ、前記複数のウィンドウおよび／または該複数のウィンドウの前記相対的に低い解像度よりも高い解像度のサブウィンドウによる前記部分画像の生成および該部分画像が前記オブジェクトの画像であるか否かの判定を行うよう、前記部分画像生成手段および前記判定手段を制御する制御手段を備えたことを特徴とする請求項２記載のオブジェクト検出装置。
4. 前記制御手段は、前記所定サイズのウィンドウのサブウィンドウのうち、前記解像度が２番目に高いサブウィンドウにより生成された部分画像に対する前記判定が肯定された場合、前記複数のウィンドウのすべてについての最高解像度の前記サブウィンドウにより複数の部分画像を生成し、
   該複数の部分画像が前記オブジェクトの画像であるか否かの第２の判定を行い、
   該第２の判定により、前記オブジェクトの画像であることの確度が最も高い部分画像を生成したサブウィンドウに対応するウィンドウのみにより前記部分画像を生成し、
   該部分画像が前記オブジェクトの画像であるか否かの第３の判定を行うよう、前記部分画像生成手段および前記判定手段を制御する手段であることを特徴とする請求項３記載のオブジェクト検出装置。
5. 前記複数の解像度画像に対して、前記照明補正を行う照明補正手段をさらに備えたことを特徴とする請求項１から４のいずれか１項記載のオブジェクト検出装置。
6. 特定種類のオブジェクトを検出する検出対象画像を所定倍率により多重解像度化して解像度が異なる複数の解像度画像を取得し、
   前記複数の解像度画像上に、前記各解像度画像間の前記所定倍率を補間するサイズを有する複数のウィンドウを走査させて部分画像を生成し、
   前記複数のウィンドウのサイズに対応する異なるサイズを有し、同一の照明補正がなされた複数のサンプル画像により、前記オブジェクトの分布に係る特徴量を前記ウィンドウのサイズ毎に学習させた、前記部分画像に係る前記特徴量を用いて該部分画像が前記オブジェクトの画像であるか否かを判別する判別器を備えた判定手段により、前記部分画像に基づいて該部分画像の画素値の分布に係る特徴量を算出し、該特徴量を用いて前記部分画像が前記オブジェクトの画像であるか否かを判定することを特徴とするオブジェクト検出方法。
7. 特定種類のオブジェクトを検出する検出対象画像を所定倍率により多重解像度化して解像度が異なる複数の解像度画像を取得する手順と、
   前記複数の解像度画像上に、前記各解像度画像間の前記所定倍率を補間するサイズを有する複数のウィンドウを走査させて部分画像を生成する手順と、
   前記複数のウィンドウのサイズに対応する異なるサイズを有し、同一の照明補正がなされた複数のサンプル画像により、前記オブジェクトの分布に係る特徴量を前記ウィンドウのサイズ毎に学習させた、前記部分画像に係る前記特徴量を用いて該部分画像が前記オブジェクトの画像であるか否かを判別する判別器を備えた判定手段により、前記部分画像に基づいて該部分画像の画素値の分布に係る特徴量を算出し、該特徴量を用いて前記部分画像が前記オブジェクトの画像であるか否かを判定する手順とを有することを特徴とするオブジェクト検出方法をコンピュータに実行させるためのプログラム。

Images