JP2008191760A - 対象物検出装置、対象物検出方法、及びプログラム - Google Patents

Abstract

【課題】対象物検出のための計算量を低減させ、処理の高速化し、検出精度を向上させる。
【解決手段】画像処理装置６に、所定領域を撮影して得られた画像を入力する画像入力部６ｂと、画像入力部６ｂにより入力された画像内の対象物（人物の顔）に相当すると推定される顔候補領域の大きさを示す値を検出する顔候補領域検出部６ｃと、該検出された値と予め定められた基準値とに基づいて画像を拡大または縮小するための倍率を算出する倍率算出部６ｄと、画像入力部６ｂにより入力された画像を上記算出された倍率で拡大または縮小する拡大縮小部６ｅと、前記基準値に対応した大きさの枠を拡大縮小部６ｅにより拡大または縮小された画像上で移動させながら該画像から該枠内の画像を抽出し、該抽出した画像と、前記基準値に対応した大きさの顔を検出可能に予め用意された顔検出用の識別器とにより人物の顔を検出する顔検出部６ｇと、を設けた。
【選択図】図３

Description

本発明は、対象物検出装置、対象物検出方法、及びプログラムに関し、特に、所定領域を撮像した画像から対象物を検出する対象物検出装置、対象物検出方法、及びプログラムに関する。

画像中から顔等の対象物を検出する技術には様々なものがある。例えば、ニューラルネットワークを用いた検出方法としては、H.Rowleyらの方法（非特許文献１参照。）が代表的な方法である。そのほかにも、Harr特徴量とブースティング技法を組み合わせた検出方法として、P.Violaらの手法（非特許文献２参照。）が良く知られている。これらの方法を用いることで、画像中から比較的信頼性高く顔を検出できる。

ニューラルネットワークあるいはブースティングを用いた手法はともに、入力画像に対して矩形の検出ウインドウを縦横に少しずつずらしながら入力画像から矩形領域の画像を抽出し、該抽出した画像と予め用意された検出用の識別器を用いて、その領域内に検出対象物（ここでは「人物の顔」とする）が存在するか否かを判定する。この判定に使用される識別器は予め決められた大きさの顔を検出可能に構成され、検出ウィンドウは該識別器に適した大きさに固定されている。このため、この検出ウィンドウより大きい顔が入力画像内に存在する場合、そのままでは顔を検出することが不可能となる。また、入力画像内において顔が小さすぎる場合も同様に検出が不可能となる。

このような場合に対処するため、前述の従来技術では、図１２に示すように、入力画像をある割合で順次縮小（或いは拡大）した複数の画像（ピラミッド画像と呼称）を生成し、それら複数の画像に検出ウィンドウを適用することで、大きさのわからない顔の検出を可能にしている。
H.Rowley, "Neural Network-based Face Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, 1998, pp.23-38 P.Viola, "Robust Real-time Face Detection", International Journal of Computer Vision, No.2, 2004, pp.137-154

しかしながら、従来の技術では、入力画像に対して異なる大きさのピラミッド画像を生成し、それらすべてに対して検出ウィンドウで画像を抽出し、識別器を用いて対象物の有無を判定しなくてはならないため、多くの計算量を必要とする。特に、画像内に対象物としての顔が存在しない場合でも、ピラミッド画像の生成、検出ウィンドウを操作することによる矩形画像の抽出、識別器を用いた演算を含む一連の処理を実行しなければ、入力画像内に顔が存在するかどうかが判定できない。

本発明は、上述した問題を解決するために提案されたものであり、対象物検出のための計算量の低減、処理の高速化、及び検出精度の向上の効果が得られる対象物検出装置、対象物検出方法及びプログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明の対象物検出装置は、所定領域を撮影して得られた画像を入力する画像入力手段と、前記画像入力手段により入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出手段と、前記対象物候補領域検出手段により検出された値と予め定められた基準値とに基づいて、前記画像入力手段により入力された画像を拡大または縮小するための倍率を算出する倍率算出手段と、前記画像入力手段により入力された画像を前記倍率算出手段により算出された倍率で拡大または縮小する拡大縮小手段と、前記基準値に対応した大きさの枠を前記拡大縮小手段により拡大または縮小された画像上で移動させながら前記拡大縮小手段により拡大または縮小された画像から該枠内の画像を抽出し、該抽出した画像と、前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器とにより前記所定領域から対象物を検出する対象物検出手段と、を含んで構成されている。

対象物検出では、予め定められた基準値に対応した大きさの枠を画像上で移動させながら、枠内の画像を抽出し、該抽出した画像と、該基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器とにより、対象物を検出する。すなわち、対象物検出において用いられる枠や識別器は予め定められた大きさの対象物の検出に適したものとなっている。

請求項１に記載の対象物検出装置では、入力された画像から対象物を検出する際に、まず該画像から予め対象物候補領域の大きさを示す値を検出し、この値と基準値とに基づいて、入力された画像を拡大または縮小するための倍率を算出する。そして、入力された画像を該倍率で拡大または縮小する。これにより、該入力された画像を上記枠や識別器による対象物検出に適した大きさにすることができる。請求項１に記載の対象物検出装置では、算出した倍率で大きさが拡大または縮小された画像を用いて上記説明したように対象物を検出するため、従来のようにピラミッド画像を生成し該生成した画像の各々に対して検出処理を行う必要がなくなり、少ない計算量で、効率的且つ高速に対象物を検出することができる。また、該入力された画像を上記枠や識別器による対象物検出に適した大きさにすることができるため、検出精度も高まる。

請求項２に記載の発明は、請求項１記載の発明において、前記所定領域を照明する照明手段を更に備え、前記対象物候補領域検出手段は、前記照明手段により前記所定領域が照明されたときに撮影され前記画像入力手段により入力された画像と、前記照明手段により前記所定領域が照明されないときに撮影され前記画像入力手段により入力された画像と、の輝度値の差分を表す画像を求め、該差分の画像から前記対象物候補領域を判断して該領域の大きさを示す値を検出し、前記拡大縮小手段は、前記照明手段により照明されたときに撮影され前記画像入力手段により入力された画像を拡大または縮小することを特徴とする。

所定領域を撮影するときに、該所定領域を照明手段で照明すれば、該照明手段に距離的に近い対象物が明るい状態で撮影され、照明手段で照明しなければ、該対象物は暗い状態で撮影されることとなる。従って、照明手段で照明したときと照明しないときとでその撮影画像における該対象物の輝度値の差は大きくなる。また、対象物の背景、該照明手段から距離的に遠い部分は照明手段の照明の影響が小さいため、照明手段で照明したときとしないときとでその撮影画像における輝度値の差は小さくなる。

従って、照明手段により所定領域が照明されたときに撮影され画像入力手段により入力された画像と、照明手段により所定領域が照明されないときに撮影され画像入力手段により入力された画像と、の輝度値の差分を表す画像を求めれば、輝度値の差分の大きな部分が対象物候補領域として検出でき、これにより該領域の大きさを示す値を容易に検出できる。

請求項３に記載の発明の顔検出装置は、所定領域を撮影して得られた画像を入力する画像入力手段と、前記画像入力手段により入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出手段と、前記対象物候補領域検出手段により検出された値と予め定められた基準値とに基づいて、前記画像入力手段により入力された画像から一部の画像を抽出するときに用いられる枠を拡大または縮小するための枠用倍率、及び前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器に設定する識別器用倍率を算出する倍率算出手段と、前記基準値に対応した大きさの枠を前記倍率算出手段により算出された枠用倍率で拡大または縮小する拡大縮小手段と、前記拡大縮小手段により拡大または縮小された枠を前記画像入力手段により入力された画像上で移動させながら前記画像入力手段により入力された画像から該枠内の画像を抽出し、該抽出した画像と、前記算出された識別器用倍率が設定された識別器とにより前記所定領域から対象物を検出する対象物検出手段と、を含んで構成されている。

請求項１に記載の顔検出装置では、入力された画像を、対象物検出に用いる枠や識別器に適した大きさに拡大または縮小することができるのに対し、請求項３に記載の対象物検出装置では、入力された画像を拡大または縮小するのではなく、対象物検出に用いる枠の大きさ及び識別器に設定する倍率を、入力された画像から識別器が対象物を検出するのに適したものにすることができる。

これにより、従来のようにピラミッド画像を生成し該生成した画像の各々に対して検出処理を行う場合に比べて、少ない計算量で、精度高く、効率的且つ高速に対象物を検出することができる。

請求項４に記載の発明は、請求項３記載の発明において、前記所定領域を照明する照明手段を更に備え、前記対象物候補領域検出手段は、前記照明手段により前記所定領域が照明されたときに撮影され前記画像入力手段により入力された画像と、前記照明手段により前記所定領域が照明されないときに撮影され前記画像入力手段により入力された画像と、の輝度値の差分を表す画像を求め、該差分の画像から前記対象物候補領域を判断して該領域の大きさを示す値を検出し、前記対象物検出手段は、前記拡大縮小手段で拡大または縮小された枠を前記照明手段により照明されたときに撮影され前記画像入力手段により入力された画像上で移動させながら、前記照明手段により照明されたときに撮影され前記画像入力手段により入力された画像から前記枠内の画像を抽出し、該抽出した画像と、前記算出された識別器用倍率が設定された識別器とにより前記所定領域から対象物を検出することを特徴とする。

請求項４に記載の発明も、請求項２に記載の発明と同様に、照明手段により所定領域が照明されたときに撮影され画像入力手段により入力された画像と、照明手段により所定領域が照明されないときに撮影され画像入力手段により入力された画像と、の輝度値の差分を表す画像を求めれば、輝度値の差分の大きな部分を対象物候補領域として判断でき、これにより容易に該領域の大きさを示す値を検出できる。

請求項５に記載の発明は、請求項１乃至請求項４のいずれか１項記載の発明において、前記対象物候補領域検出手段は、前記大きさを示す値として、前記対象物候補領域の幅を示す値、高さを示す値、及び幅を示す値と高さを示す値とから求められる値、のいずれかを検出することを特徴とする。

すなわち、対象物候補領域の幅を示す値、高さを示す値、及び幅を示す値と高さを示す値とから求められる値のいずれも、対象物候補領域の大きさを示す値として用いることができる。

請求項６に記載の発明は、請求項１乃至請求項５のいずれか１項記載の発明において、前記対象物候補領域検出手段により検出された大きさを示す値が所定範囲外の値であった場合には、前記倍率算出手段は前記倍率の算出を行わず、前記対象物検出手段は前記枠および識別器を用いた検出処理を行わずに前記対象物が前記所定領域に存在しないと判定することを特徴とする。

これにより、対象物候補領域の大きさを示す値が所定範囲外の値（小さすぎる、或いは大きすぎる）の場合には、枠および識別器を用いた対象物検出処理を行わずに対象物が所定領域に存在しないと判定できる。従って、計算量を大幅に削減できる。

請求項７に記載の発明は、請求項１乃至請求項６のいずれか１項記載の発明において、前記対象物候補領域検出手段は、更に、前記画像入力手段により入力された画像における前記対象物候補領域の位置を検出し、前記対象物検出手段は、前記検出された位置及び該位置近傍で前記枠を移動させながら画像を抽出し前記対象物検出を行うことを特徴とする。

対象物候補領域検出手段により対象物候補領域の位置も求められるため、その位置及びその位置近傍の領域から画像を抽出して対象物の検出を行うことができる。従って、探索範囲が小さくなり、更なる計算量の低減および誤検出防止を図ることができる。

請求項８に記載の発明の顔検出方法は、所定領域を撮影して得られた画像を入力する画像入力ステップと、前記画像入力ステップで入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出ステップと、前記対象物候補領域検出ステップで検出された値と予め定められた基準値とに基づいて、前記画像入力ステップで入力された画像を拡大または縮小するための倍率を算出する倍率算出ステップと、前記画像入力ステップで入力された画像を前記倍率算出ステップで算出された倍率で拡大または縮小する拡大縮小ステップと、前記基準値に対応した大きさの枠を前記拡大縮小ステップで拡大または縮小された画像上で移動させながら前記拡大縮小ステップで拡大または縮小された画像から該枠内の画像を抽出し、該抽出した画像と、前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器とにより前記所定領域から対象物を検出する対象物検出ステップと、を含んでいる。

請求項８に記載の発明も、請求項１に記載の発明と同様に、入力された画像を対象物検出に用いる枠や識別器に適した大きさにすることができるため、少ない計算量で、精度高く、効率的且つ高速に対象物を検出することができる。

請求項９に記載の発明の顔検出方法は、所定領域を撮影して得られた画像を入力する画像入力ステップと、前記画像入力ステップで入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する大きさ検出ステップと、前記対象物候補領域検出ステップで検出された値と予め定められた基準値とに基づいて、前記画像入力ステップで入力された画像から一部の画像を抽出するときに用いられる枠を拡大または縮小するための枠用倍率、及び前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器に設定する識別器用倍率を算出する倍率算出ステップと、前記基準値に対応した大きさの枠を前記倍率算出ステップで算出された枠用倍率で拡大または縮小する拡大縮小ステップと、前記拡大縮小ステップで拡大または縮小された枠を前記画像入力ステップで入力された画像上で移動させながら前記画像入力ステップで入力された画像から該枠内の画像を抽出し、該抽出した画像と、前記算出された識別器用倍率が設定された識別器とにより前記所定領域から対象物を検出する対象物検出ステップと、を含んでいる。

請求項９に記載の発明も、請求項３に記載の発明と同様に、対象物検出に用いる枠の大きさ及び識別器に設定する倍率を識別器が対象物を検出するのに適したものにすることができるため、少ない計算量で、精度高く、効率的且つ高速に対象物を検出することができる。

請求項１０に記載の発明のプログラムは、コンピュータに、所定領域を撮影して得られた画像を入力する画像入力ステップと、前記画像入力ステップで入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出ステップと、前記対象物候補領域検出ステップで検出された値と予め定められた基準値とに基づいて、前記画像入力ステップで入力された画像を拡大または縮小するための倍率を算出する倍率算出ステップと、前記画像入力ステップで入力された画像を前記倍率算出ステップで算出された倍率で拡大または縮小する拡大縮小ステップと、前記基準値に対応した大きさの枠を前記拡大縮小ステップで拡大または縮小された画像上で移動させながら前記拡大縮小ステップで拡大または縮小された画像から該枠内の画像を抽出し、該抽出した画像と、前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器とにより前記所定領域から対象物を検出する対象物検出ステップと、を実行させるプログラムである。

請求項１０に記載の発明も、請求項１に記載の発明と同様に、入力された画像を対象物検出に用いる枠や識別器に適した大きさにすることができるため、少ない計算量で、精度高く、効率的且つ高速に対象物を検出することができる。

請求項１１に記載の発明のプログラムは、コンピュータに、所定領域を撮影して得られた画像を入力する画像入力ステップと、前記画像入力ステップで入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出ステップと、前記対象物候補領域検出ステップで検出された値と予め定められた基準値とに基づいて、前記画像入力ステップで入力された画像から一部の画像を抽出するときに用いられる枠を拡大または縮小するための枠用倍率、及び前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器に設定する識別器用倍率を算出する倍率算出ステップと、前記基準値に対応した大きさの枠を前記倍率算出ステップで算出された枠用倍率で拡大または縮小する拡大縮小ステップと、前記拡大縮小ステップで拡大または縮小された枠を前記画像入力ステップで入力された画像上で移動させながら前記画像入力ステップで入力された画像から該枠内の画像を抽出し、該抽出した画像と、前記算出された識別器用倍率が設定された識別器とにより前記所定領域から対象物を検出する対象物検出ステップと、を実行させるプログラムである。

請求項１１に記載の発明も、請求項３に記載の発明と同様に、対象物検出に用いる枠の大きさ及び識別器に設定する倍率を識別器が対象物を検出するのに適したものにすることができるため、少ない計算量で、精度高く、効率的且つ高速に対象物を検出することができる。

以上説明したように本発明によれば、対象物検出のための計算量の低減、処理の高速化、及び検出精度の向上の効果が得られる。

図１は、本発明の実施の形態に係る対象物検出装置としての画像処理装置６を含んで構成された検出システムの概略構成図である。本実施の形態の検出システムでは、検出対象物として人物の顔を検出する。

図１に示すように、この検出システムは、観測する対象者１の顔が存在するであろう方向の領域を照明する照明装置２と、該領域を撮影して該領域の画像を得るためのカメラ３と、照明装置２の照明を制御するための照明制御装置４と、カメラ３で撮影され得られた画像信号を取り込む画像取込装置５と、照明制御装置４に対して照明制御のための制御信号を発し、画像取込装置５で得られた画像を処理する画像処理装置６とから構成される。

図２は、画像処理装置６のハードウェア構成図である。

図２に示すように、画像処理装置６は、画像取込装置５で得られた画像から、予め定められた大きさの対象物（本実施の形態では人物の顔）を検出可能に予め用意された顔検出用の識別器を用いて顔を検出するための装置であって、画像処理装置６全体を制御するＣＰＵ６１、カメラ３で撮影された画像を記憶する画像メモリ６２、ワークメモリであるＲＡＭ６３、プログラムや動作に必要なデータ（顔検出用の識別器用データを含む）を記憶するＲＯＭ６４、及び入出力（Ｉ/Ｏ）ポート６５を備えている。なお、ＲＯＭ６４に記憶されているプログラムには、後述する顔検出処理プログラムも含まれている。

入出力ポート６５には、照明制御装置４および画像取込装置５が接続されている。

照明制御装置４は、ＣＰＵ６１から入出力ポート６５を介して出力される制御信号に応じて照明装置２をオン（点灯）、オフ（消灯）し、照明装置２の照明を制御する。

画像取込装置５は、図示は省略するが、カメラ３から入力された画像信号をディジタル信号に変換するＡ／Ｄ（アナログ／ディジタル）変換器や該ディジタル信号を増幅する増幅器などを含んで構成され、カメラ３で撮影され得られた画像信号をデジタル信号に変換してＩ／Ｏポート６５を介して画像処理装置６に出力する。これにより、カメラ３から入力された画像信号は、画像取込装置５によってディジタルの画像データに変換されて画像メモリ６２に記憶される。

図３は、画像処理装置６の機能構成図である。

機能的に見ると、画像処理装置６は、照明制御信号出力部６ａ、画像入力部６ｂ、顔候補領域検出部６ｃ、倍率算出部６ｄ、拡大縮小部６ｅ、識別器データ記憶部６ｆ、顔検出部６ｇ、及び画像メモリ６２を含んで構成されている。これら構成要素の各々は、画像メモリ６２や識別器データ記憶部６ｆを除き、ＣＰＵ６１がＲＯＭ６４に記憶されたプログラムを実行することにより実現される。

照明制御信号出力部６ａは、図示しないスタートボタンが押されたときに、照明制御装置４に対して照明装置２をオンするための制御信号を出力し、その後、予め定められた時間経過後に照明装置２をオフするための制御信号を出力する。

画像入力部６ｂは、画像取込装置５から画像データを入力して画像メモリ６２に記憶する。なお、画像入力部６ｂは、Ｉ／Ｏポート６５を含めて構成することができる。

顔候補領域検出部６ｃは、画像入力部６ｂを介して入力された画像データから、対象者１の顔に相当すると推定される顔候補領域を判別し、この領域の大きさや位置を検出する。

倍率算出部６ｄは、顔候補領域検出部６ｃによって検出された顔候補領域の大きさと、予め定義しておいた定数に基づいて、画像入力部６ｂにより入力された画像を拡大または縮小するための倍率（拡大縮小率）ｒを算出する。

拡大縮小部６ｅは、倍率算出部６ｄによって求められた拡大縮小率ｒで、画像入力部６ｄを介して入力された画像を拡大縮小して顔検出部６ｇに出力する。

識別器データ記憶部６ｆには、顔検出用の識別器のためのデータとして、検出用に予め用意され学習されたサンプル画像から求められた学習データが記憶されている。識別器データ記憶部６ｆは、ＲＯＭ６４等の記憶装置により構成することができる。

顔検出部６ｇは、拡大縮小部６ｅで拡大または縮小された画像データの画像上で、予め定められた大きさの顔検出用の顔検出ウィンドウ（本発明の枠に相当）を縦横に少しずつずらしながら、該画像から顔検出ウィンドウ内の画像を抽出し、該抽出した画像と識別器データ記憶部６ｆに記憶された学習データとを用いて、識別器によりその領域内に検出対象物としての顔が存在するか否かを判定する。

ここで、識別器には、具体的には、例えば、前述の公知文献におけるニューラルネットワークによる手法（H.Rowley, "Neural Network-based Face Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, 1998, pp.23-38参照。）やHarr特徴量とブースティング技法を組み合わせた手法（P.Viola, "Robust Real-time Face Detection", International Journal of Computer Vision, No.2, 2004, pp.137-154参照。）などを用いることができる。あるいは、よく知られた主成分分析を用いた検出方法などを適用してもよい。さらには、標準顔パターンとの正規化相関処理などを適用してもよい。

なお、識別器データ記憶部６ｆに記憶された学習データはサンプル画像そのものであってもよい。この場合には、顔検出部６ｇでは上記検出用ウィンドウで抽出した矩形領域の画像と学習データの画像とを各画素毎に比較して類似度を判定し、顔の有無を判定することができる。

次に、本実施の形態で実行される顔検出処理の詳細を説明する。

図４は、本実施の形態に係る顔検出処理プログラムのフローチャートである。この顔検出処理プログラムは、図示しないスタートボタンが押されたときに起動し、ＣＰＵ６１により実行される。

ステップＳ１１において、照明制御信号出力部６ａが照明装置２をオンにする制御信号を照明制御装置４に出力する。これにより、照明制御装置４が照明装置２を点灯して対象者１の顔が存在する可能性のある領域を照明する。この状態でカメラ３により該領域を撮影する。

このとき、カメラ３の前に対象者１の顔などの何らかの対象物が存在する場合には、照明光が対象物に反射してカメラ３の受光面に入射する。従って撮影画像を濃淡画像として観測する場合には、その領域に対応する画素の輝度値は大きな値（明るい）として観測されることとなる（図５の（Ａ）参照。）。

ステップＳ１２では、画像入力部６ｂが上記照明オン状態で撮影された画像の画像データを画像取込装置５から取込み、該取り込んだ画像データの画像を画像Ｉ１として画像メモリ６２に転送し格納する。

ステップＳ１３では、照明制御信号出力部６ａが照明装置２をオフにする制御信号を照明制御装置４に出力する。これにより、照明制御装置４が照明装置２を消灯して対象者１の顔が存在する可能性のある領域の照明を停止する。この状態でカメラ３により該領域（すなわちステップＳ１１で撮影した領域と同じ領域）を撮影する。

このとき、カメラ３の前に存在する対象物には照明光が照射されないため、撮影画像を濃淡画像として観測する場合には、その領域に対応する画素の輝度値は小さな値（暗い）として観測されることとなる（図５の（Ｂ）参照。）。なお、カメラ３の前に存在する対象物の背後の輝度物、環境光に対しては、カメラ３の前に存在する対象物に比べて、照明装置２のオンオフの影響は小さい。従って、背後の輝度物、環境光に変化が無い場合には、図５の（Ａ）、（Ｂ）に示すように、輝度値はほとんど変化しないこととなる。

ステップＳ１４では、画像入力部６ｂが上記照明オフ状態で撮影された画像の画像データを画像取込装置５から取込み、該取り込んだ画像データの画像を画像Ｉ２として画像メモリ６２に転送し格納する。

なお、ステップＳ１１およびＳ１３を実施する間隔は、画像撮込間隔（ＮＴＳＣ規格の場合３３ｍｓ）のように短い時間間隔で行うことが望ましい。

ステップＳ１５では、顔候補領域検出部６ｃが、画像メモリ６２に格納された画像データに基づき、図５（Ｃ）に示すように、画像Ｉ１と画像Ｉ２との画素値（あるいは輝度値）の差分を示す差分画像ΔＩの画像データを生成する。差分画像ΔＩの画像データは、公知の二値化処理技術を用い、以下の式（１）により求める。

ここでＩ１（ｘ、ｙ）は、画像Ｉ１の座標値（ｘ、ｙ）の画素の輝度値を表し、Ｉ２（ｘ、ｙ）は、画像Ｉ２の座標値（ｘ、ｙ）の画素の輝度値を表し、threshは予め定義しておく閾値である。この式で「１」に変換される画素は、画像Ｉ１と画像Ｉ２との間で輝度値の差が大きい（threshより大きい）ものであり、「０」に変換される画素は、画像Ｉ１と画像Ｉ２との間で輝度値の差が小さい（thresh以下の）ものである。

ステップＳ１６では、顔候補領域検出部６ｃは、まず、上記生成した差分画像ΔＩから、対象者１の顔に相当すると推定される顔候補領域を判別する。

前述したように、ステップＳ１１では、照明装置２をオンにしてカメラ３前の領域を照明して撮影し、ステップＳ１３では照明装置２をオフにしてカメラ３前の領域を照明しないで撮影するため、カメラ３前の対象物の輝度値は画像Ｉ１と画像Ｉ２とで変化する。一方、照明装置２の照明の影響がおよばない背景の輝度値は画像Ｉ１と画像Ｉ２とでほとんど変化しないため、結果として、差分画像ΔＩにおいてはカメラ３の前に存在する対象物のみが画像データ「１」として観測できることとなる。この画像データ「１」として観測された領域を、顔が存在すると推定される顔候補領域とする。

なお、照明装置２として赤外照明装置を用い、カメラ３として赤外波長にのみ感度を有するカメラを用いる場合には、より照明装置２以外の環境光の影響を受けることなく、カメラ３前の対象物をより容易に観測することができる。

次に、顔候補領域検出部６ｃは、上記のように判別した顔候補領域（或いは顔候補領域を包含する矩形領域）の大きさを示す値を求める。なお、本実施の形態では、顔候補領域の大きさを示す値として、該領域の幅を示す値を用いる。そして、倍率算出部６ｄは、顔候補領域の大きさを示す値として求めた値（幅Ｗ）から、予め定義した変換式（２）に基づき画像Ｉ１を拡大または縮小するための拡大縮小率ｒを求める。

ｒ＝ｗ／Ｗ ・・・（２）
ここで、ｗは予め定義しておいた定数（本発明の基準値に相当）であり、後述するステップＳ１８において使用する予め定められた大きさの顔検出ウィンドウ及び識別器で検出可能な顔幅から決まる値である。なお、該検出可能な顔の幅と顔検出ウィンドウの幅の差が小さい場合には、ｗを該顔検出ウィンドウの幅に相当する値とすることができる。

上記式（２）から明らかなように、顔候補領域の大きさが、顔検出ウィンドウ及び識別器で検出可能な顔の大きさよりも大きい場合（ｗ＜Ｗ）には、拡大縮小率ｒは１未満となり、顔候補領域の大きさが、顔検出ウィンドウ及び識別器で検出可能な顔の大きさよりも小さい場合（ｗ＞Ｗ）には、拡大縮小率ｒは１より大きくなる。

なお、ここでは、顔候補領域の大きさと共に顔候補領域の位置も求めておく。本実施の形態の場合には、差分画像ΔＩにおいて画像データ「１」として観測された領域の座標値が、顔候補領域の位置となる。

ステップＳ１７では、拡大縮小部６ｅは、上記求められた拡大縮小率ｒに従って、照明装置２を点灯させた状態で撮像した画像Ｉ１を拡大または縮小（具体的には、画像Ｉ１の幅および高さをｒ倍する）して大きさの変換を行い、顔検出用の正規化画像Ｉ１’を生成する（図５（Ｄ）参照。）。これにより、画像Ｉ１を顔検出ウィンドウによる顔検出に適した大きさの画像に変換できる。

ステップＳ１８では、顔検出部６ｇが、正規化画像Ｉ１’から人物の顔の有無、および位置を検出する。

具体的には、顔検出部６ｇは、まず、正規化画像Ｉ１’上のステップＳ１６で求められた顔候補領域の座標値及び座標値近傍で顔検出ウィンドウを少しずつ移動させ、該顔検出ウィンドウ内の矩形領域の画像を抽出する。そして、該抽出した矩形領域の画像の特徴量を求め、この特徴量と、識別器データ記憶部６ｆに記憶されている学習データとを用いて、識別器により顔が存在するか否かを判定する。

なお、顔検出で用いられる顔検出ウィンドウや検出用の識別器及びその学習データは、予め用意されており、所定の大きさの顔（上記ｗの値に対応する顔幅の顔）を検出するのに適したものとなっているため、従来であれば、入力画像をある割合で順次縮小（或いは拡大）した複数の画像（ピラミッド画像）を生成し、ピラミッド画像の各々に対して顔検出ウィンドウ及び検出用の識別器を適用して顔検出を行うが、上記で説明したように、既にステップＳ１７で、画像Ｉ１が該顔検出ウィンドウ及び識別器による顔検出に適した大きさの画像に変換されているため、従来のようにピラミッド画像を生成して顔検出を行う場合に比べて、少ない計算量で効率的に顔を検出することができる。

また、既にステップＳ１６において、顔候補領域の大きさのみならず、その位置も求められているため、その領域及びその近傍に顔検出ウィンドウを適用して顔検出することができ、探索範囲が小さくなり、更なる計算量の低減および誤検出防止を図ることができる。

なお、ここでは、顔候補領域の大きさを示す値として、該領域の幅Ｗを検出して拡大縮小率ｒの算出に用いる例について説明したが、これに限定されず、例えば顔候補領域の高さＨを検出して拡大縮小率ｒの算出に用いることもできる。この場合には、例えば、以下の式（３）を用いて拡大縮小率ｒを算出することができる。

ｒ＝ｈ／Ｈ ・・・（３）
ここで、ｈは予め定義しておいた定数であり、ステップＳ１８において使用する予め定められた大きさの顔検出ウィンドウ及び識別器で検出可能な顔高さから決まる値である。該検出可能な顔の高さと顔検出ウィンドウの高さの差が小さい場合には、ｈを該顔検出ウィンドウの高さに相当する値とすることができる。

さらにまた、顔候補領域の幅Ｗ及び高さＨを検出して、該幅Ｗ及び高さＨにより求められる値を用いて、拡大縮小率ｒを求めることができる。この場合には、例えば、以下の式（４）を用いて拡大縮小率ｒを算出することができる。

ｒ＝ｓ／（Ｗ＋Ｈ） ・・・（４）
ここで、ｓはｗやｈと同様の働きをする定数であり、例えばｓ＝ｗ＋ｈのように定義しておくことができる。

また、ここでは、照明装置２を制御して撮像した画像から顔候補領域の大きさを求める例について説明したが、公知文献「特開２００６−０６５６７３号公報」、「特開２００６−０６５６４０号公報」などに記載の他の技術を用いて、顔候補領域の大きさを求めるようにしてもよい。例えば、撮影した画像の各画素の輝度値とその画素に隣接する画素の輝度値との差分を算出して、エッジ部抽出画像を生成し、撮影した画像の各画素値を時間微分した画素値時間微分画像を生成し、該生成したエッジ部抽出画像と画素値時間微分画像とを合成した合成画像についてヒストグラムを生成する。そしてこのヒストグラムのピーク間隔を顔の左右位置として検出する。顔の上下方向についても同様に検出できる。また、その他、テンプレートマッチングや距離画像を用いる手法でも顔候補領域の大きさを求めることができる。

なお、一旦適切な拡大縮小率ｒが得られた以降は、必ずしも図４の処理手順に従って拡大縮小率を求めて顔検出を行う必要はなく、カメラ３に対する対象者１の距離が時間的に大きく変動しないと想定される場合には、先に得られた拡大縮小率ｒをそのまま用いて顔検出を行っても良い。

図６は、図４に示す処理を実行して拡大縮小率ｒの算出、入力画像の拡大（または縮小）及び顔検出を行った後に、再度顔検出を行う場合の顔検出処理の流れを示すフローチャートである。

ステップＳ２１およびＳ２２では、ステップＳ１１およびＳ１２と同様に照明装置２をオンにして画像を撮像し、撮影した画像の画像データを画像入力部６ｂを介して取込み、該画像データの画像を画像Ｉ１として画像メモリ６２に転送し格納する。

そして、Ｓ２３では、拡大縮小部６ｅが、画像メモリ６２に格納されている画像Ｉ１の画像データを読み出し、先に得られた拡大縮小率ｒを用いて、画像Ｉ１の大きさの変換（画像Ｉ１の幅及び高さをｒ倍する処理）を行って正規化画像Ｉ１’を得る。

ステップＳ２４では、ステップＳ１８と同様に、顔検出部６ｇが、正規化画像Ｉ１’から人物の顔の有無および位置を検出する。

ステップＳ２５では、顔が検出できたか否かを判定する。ここで、顔が検出できなかったと判定した場合は、カメラ３に対する対象者１の距離等が大きく変化したと判断し、ステップＳ２６で拡大縮小率ｒの初期化を行って、図４に示す処理手順に移行する。また、ステップＳ２５で、顔が検出できたと判定した場合には、顔検出処理を終了する。

このように、カメラ３に対する対象者の距離等が時間的に大きく変動しない場合には、顔検出の度に拡大縮小率ｒを算出しなくても、先に求めた拡大縮小率ｒを用いて顔検出が可能である。これにより、画像Ｉ２の撮像や差分画像ΔＩの生成、顔候補領域の計算などの処理を省くことができ、更なる高速化が期待できる。

なお、顔候補領域検出部６ｃで検出された顔領域候補の大きさが規定の範囲外であると判定された場合には、顔検出ウィンドウ及び識別器を用いた顔検出の処理を行わずともカメラ３の前に顔などの人らしい対象物が存在しないと判断できるため、その場合には顔検出ウィンドウ及び識別器を用いた顔検出の処理が行われないような処理手順を構築することも可能である。

図７は、図４に示したフローチャートの変形例であって、顔候補領域検出部６ｃで求められた顔候補領域の大きさに応じて顔検出部６ｇの顔検出処理の実行を制御する場合の処理のフローチャートを示した図である。この顔検出処理プログラムは、図示しないスタートボタンが押されたときに起動し、ＣＰＵ６１により実行される。

ステップＳ３１〜Ｓ３５までは、図４のステップＳ１１〜Ｓ１５までの処理と同じであるため、説明を省略する。

ステップＳ３６では、顔候補領域検出部６ｃは、図４のステップＳ１６と同様に、上記生成した差分画像ΔＩから、対象者１の顔に相当すると推定される顔候補領域を判別し、この領域の大きさを示す値を求める。

ステップＳ３７では、顔候補領域検出部６ｃは、推定した顔候補領域の大きさを示す値が所定範囲内であるか否かを判定する。顔候補領域検出部６ｃは、推定した顔候補領域の大きさを示す値が所定範囲内であると判定した場合には、カメラ３の前に顔などの人らしい対象物が存在すると判断して、ステップＳ３８に移行する。ステップＳ３８では、倍率算出部６ｄが、図４のステップＳ１６と同様に、上記推定した顔候補領域の大きさから拡大縮小率ｒを決定する。

ステップＳ３９では、拡大縮小部６ｅは、図４のステップＳ１７と同様に、上記求められた拡大縮小率ｒに従って、照明装置２を点灯させた状態で撮像した画像Ｉ１を拡大または縮小（具体的には、画像Ｉ１の幅および高さをｒ倍する）して大きさの変換を行い、顔検出用の正規化画像Ｉ１’を生成する。

ステップＳ４０では、顔検出部６ｇが、図４のステップＳ１８と同様に、正規化画像Ｉ１’から人物の顔の有無、および位置を検出する。

一方、ステップＳ３７で、顔候補領域検出部６ｃが顔候補領域の大きさを示す値が所定範囲内にないと判定した場合には、顔検出部６ｇは、ステップＳ４１で、カメラ３の前に顔などの人らしい対象物が存在しないと判定し、ステップＳ３８〜ステップＳ４０の処理は実行せずに終了する。

すなわち、顔候補領域の大きさを示す値が、小さすぎる場合、或いは大きすぎる場合には、カメラ３の前に顔などの人らしい対象物が存在しない可能性が大きい。従って、顔検出ウィンドウ及び識別器を用いた顔検出を行うまでもなくカメラ３前の領域に人物の顔は存在しないと判定することができる。

これにより、不必要な計算処理の回避および誤検出の低減の効果を得ることができる。

なお、上記実施の形態及び変形例では、カメラ３で撮影された画像を拡大または縮小して顔検出ウィンドウ及び識別器に適した大きさに変換し、顔検出を行う例について説明したが、これに限定されず、例えば、カメラ３で撮影された画像は拡大または縮小せずにそのまま用い、顔検出ウィンドウの大きさ及び識別器に設定する倍率パラメータ（詳細は後述）を変更して顔検出を行うようにしてもよい。

図８は、顔検出ウィンドウの大きさ及び識別器に設定する倍率のパラメータを変更して顔検出を行う場合の画像処理装置６の機能構成図（変形例）である。なお、検出システムおよび画像処理装置６のハードウェア構成は、図２と同様であるため説明を省略する。

図８に示すように、この変形例における画像処理装置６は、照明制御信号出力部６ａ、画像入力部６ｂ、顔候補領域検出部６ｃ、倍率算出部６ｈ、拡大縮小部６ｉ、識別器データ記憶部６ｆ、顔検出部６ｊ、及び画像メモリ６２を含んで構成されている。

以下では、照明制御信号出力部６ａ、画像入力部６ｂ、顔候補領域検出部６ｃ、及び識別器データ記憶部６ｆは、図３と同一の機能を有する構成要素であるため、同じ符号を付してここでは説明を省略し、その他の構成要素について説明する。

倍率算出部６ｈは、図３の倍率算出部６ｄと異なり、画像入力部６ｂにより入力された画像を拡大または縮小するための倍率（拡大縮小率）ｒではなく、顔検出ウィンドウを拡大または縮小するための倍率（拡大縮小率）Ｒ及び識別器に設定する倍率パラメータＲＰを求める。

具体的には、倍率算出部６ｈは、まず、顔候補領域検出部６ｃが求めた顔候補領域の大きさを示す値（ここでは幅Ｗとする）から、予め定義した変換式（５）に基づき拡大縮小率Ｒを求める。

Ｒ＝Ｗ／ｗ ・・・（５）
ここで、ｗは式（２）と同様に予め定義しておいた定数（本発明の基準値に相当）であり、予め用意されている顔検出ウィンドウ及び識別器データ記憶部６ｆに記憶された学習データで検出可能な顔幅から決まる値である。この式から明らかなように、式（５）は、式（２）の逆数を演算する式となっている。

なお、ここでは、顔候補領域の大きさを示す値として、該領域の幅Ｗを検出して拡大縮小率Ｒの算出に用いる例について説明したが、これに限定されず、例えば顔候補領域の高さＨを検出して用いることもできる。この場合には、例えば、以下の式（６）を用いて拡大縮小率Ｒを算出することができる。

Ｒ＝Ｈ／ｈ ・・・（６）
ここで、ｈは式（３）の場合と同様に、予め用意されている顔検出ウィンドウ及び識別器データ記憶部６ｆに記憶された学習データで検出可能な顔高さから決まる値である。

さらにまた、顔候補領域の幅Ｗ及び高さＨを検出して、該幅Ｗ及び高さＨにより求められる値を用いて、拡大縮小率Ｒを求めることができる。この場合には、例えば、以下の式（７）を用いて拡大縮小率Ｒを算出することができる。

Ｒ＝（Ｗ＋Ｈ）／ｓ ・・・（７）
ここで、ｓは式（４）の場合と同様に、ｗやｈと同様の働きをする定数であり、例えばｓ＝ｗ＋ｈのように定義しておくことができる。

更に、倍率算出部６ｈは、上記求めた拡大縮小率Ｒから識別器に設定する倍率パラメータＲＰを求める。倍率パラメータＲＰは、識別器で使用される倍率を示す変数であり、識別器での処理方法に応じて、その用途は異なる。従って、ここでは、倍率算出部６ｈは、識別器の処理方法に従って倍率パラメータＲＰを算出する。また、識別器データ記憶部６ｆには、基準となる倍率パラメータが予め用意され記憶されている。この基準となる倍率パラメータは、所定の大きさの顔（例えば、上記幅ｗの値に対応する顔幅の顔）を検出するのに適した値となっている。倍率算出部６ｈは、この基準となる倍率パラメータを顔候補領域の大きさを示す値から求められた拡大縮小率Ｒ及び識別器の処理方法に応じて変更して、識別器に設定すべき倍率パラメータＲＰを求める。

例えば、使用する識別器が（正規化）相関処理など、検出対象のパターンをテンプレートとして登録しておき該パターン画像と顔検出ウィンドウで抽出した画像とのテンプレートマッチングを行なう識別器である場合には、倍率算出部６ｈは、予め用意されている基準となる倍率パラメータに顔検出ウィンドウを拡大縮小する拡大縮小率Ｒを乗算し、求めた値を識別器に設定する倍率パラメータＲＰとする。例えば、予め用意されている基準となる倍率パラメータが１である場合には、倍率パラメータＲＰはちょうど拡大縮小率Ｒと同じ値になる。この場合の顔検出処理では、設定した倍率パラメータＲＰでパターン画像を拡大または縮小して用いるため、識別器での顔検出を精度高く、迅速且つ効率的に行なうことができる。

また、例えば、使用する識別器がニューラルネットワークを用いた検出方法やブースティング手法などを用いる識別器の場合には、識別器で処理できる画像のサイズや特徴ベクトルの次元数が予め固定であるため、識別器に対応した顔検出ウィンドウの大きさを変更した場合には、識別器内でそれに応じて、顔検出ウィンドウにより抽出された画像のサイズを変更したり、特徴ベクトルの次元数を変更したりする必要が生じる。例えば、顔検出ウィンドウを拡大した場合には、抽出される画像サイズが識別器で処理できるサイズより大きくなってしまうため、該抽出した画像サイズが識別器で処理できるサイズとなるように、識別器に入力された該抽出された画像の画像サイズを識別器内で逆方向に変更（すなわち縮小）するなどの処理を行なわなくてはならない。

従って、倍率算出部６ｈは、この識別器での上記変更に用いる倍率（倍率パラメータＲＰ）を、予め用意されている基準となる倍率パラメータに拡大縮小率Ｒの逆数を乗算して求める。例えば、予め用意されている倍率パラメータが１である場合には、倍率パラメータＲＰはちょうど拡大縮小率Ｒの逆数１／Ｒとなる。この倍率パラメータＲＰを識別器に設定することにより、識別器では顔検出ウィンドウで抽出した画像の画像サイズ及び特徴ベクトルを対象物を検出するのに適したサイズや次元数に変更できる。なお、この場合、識別器では顔検出ウィンドウで抽出された画像を抽出毎に上記設定された倍率パラメータＲＰで拡大または縮小することとなるが、識別器で画像データを間引いて読み込んだり、特徴ベクトルの次元数を圧縮したりすることで、計算負荷の増加を抑えることができる。従って、このような方法によっても、識別器での顔検出を精度高く、迅速且つ効率的に行なうことができる。

拡大縮小部６ｉは、倍率算出部６ｈによって求められた拡大縮小率Ｒで、予め用意されている顔検出ウィンドウを拡大または縮小（幅及び高さをＲ倍する）して顔検出部６ｊに出力する。

顔検出部６ｊは、倍率算出部６ｈで算出された倍率パラメータＲＰを識別器に設定する。そして、画像入力部６ｂを介して入力され画像メモリ６２に格納されている画像Ｉ１の画像データを読み出し、画像Ｉ１上で、拡大縮小部６ｉで拡大または縮小された顔検出ウィンドウを縦横に少しずつずらしながら、該画像から顔検出ウィンドウ内の画像を抽出し、倍率パラメータＲＰが設定された識別器を用いて、顔が存在するか否かを判定する。

図９は、顔検出ウィンドウの大きさ及び識別器に設定する倍率のパラメータを変更して顔検出を行う場合の顔検出処理の流れを示すフローチャートである。

ステップＳ５１〜Ｓ５５までは、図４のステップＳ１１〜Ｓ１５までの処理と同じであるため、説明を省略する。

ステップＳ５６では、顔候補領域検出部６ｃは、図４のステップＳ１６と同様に、上記生成した差分画像ΔＩから、対象者１の顔に相当すると推定される顔候補領域を判別し、この領域の大きさを示す値及びこの領域の位置を求める。そして、倍率算出部６ｈは、顔検出ウィンドウの大きさを拡大または縮小するための倍率（拡大縮小率）Ｒを求める。例えば、上述した式（５）〜（７）のいずれかの式を用いて、拡大縮小率Ｒを求めることができる。さらにまた、倍率算出部６ｈは、拡大縮小率Ｒから倍率パラメータＲＰも求める。

ステップＳ５７では、拡大縮小部６ｉは、予め用意されている顔検出ウィンドウの大きさを上記求められた拡大縮小率Ｒで変換（幅及び高さをＲ倍）する。

前述したように、予め用意されている顔検出ウィンドウ及び識別器の基準となる倍率パラメータは、所定の大きさの顔（例えば、上記幅ｗの値に対応する顔幅の顔）を検出するのに適した値となっているが、ステップＳ５７の処理により、顔検出ウィンドウ及び倍率パラメータを顔幅Ｗの顔を検出するのに適した大きさに変換することができる。

ステップＳ５８では、顔検出部６ｊは、識別器に対して上記求められた倍率パラメータＲＰを設定する。そして、画像メモリ６２に格納されている画像Ｉ１の画像データを読み出し、画像Ｉ１上で、拡大縮小部６ｉで拡大または縮小された顔検出ウィンドウを縦横に少しずつずらしながら、該画像から顔検出ウィンドウ内の画像を抽出し、倍率パラメータＲＰを設定された識別器を用いて顔の有無及び位置を検出する。このとき、ステップＳ５６で求めた顔候補領域の位置及びその近傍に顔検出ウィンドウを適用して顔検出する。

ここで使用する顔検出ウィンドウや識別器の倍率パラメータは、カメラ３で撮影された画像の顔検出に適したサイズに変更されているため、カメラ３で撮影された画像からピラミッド画像を生成することなく、少ない計算量で効率的且つ精度高く顔検出できる。

また、ステップＳ５６において、顔候補領域の大きさのみならず、その位置も求められているため、その領域及びその近傍に顔検出ウィンドウを適用して顔検出することができ、探索範囲が小さくなり、更なる計算量の低減および誤検出防止を図ることができる。

このように、対象者１を撮影した画像ではなく、顔検出ウィンドウの大きさ及び識別器の倍率パラメータを変更して顔検出する場合でも、少ない計算量で顔検出処理を実現できる。

なお、カメラ３に対する対象物の距離が時間的に大きく変動しないと想定できる場合には、既に大きさが変換された顔検出ウィンドウ及び倍率パラメータが設定された識別器を用いて顔検出を行うようにすれば、毎回拡大縮小率Ｒを求めて顔検出ウィンドウや識別器の倍率パラメータの大きさの変換を行う必要がなく、よりいっそうの高速化が期待できる。

図１０は、図９に示す処理を実行して拡大縮小率Ｒの算出、顔検出ウィンドウの拡大（または縮小）、識別器の倍率パラメータの変更及び顔検出を行った後に、再度顔検出を行う場合の顔検出処理の流れを示すフローチャートである。

ステップＳ７１およびＳ７２では、ステップＳ１１およびＳ１２と同様に照明装置２をオンにして画像を撮像し、撮影した画像の画像データを画像入力部６ｂを介して取込み、該画像データの画像を画像Ｉ１として画像メモリ６２に転送し格納する。

そして、ステップＳ７３では、顔検出部６ｊが、画像メモリ６２に格納されている画像Ｉ１の画像データを読み出し、既に大きさが変換された顔検出ウィンドウ及び倍率パラメータＲＰが設定された識別器を用いて、人物の顔の有無および位置を検出する。

ステップＳ７４では、画像から顔が検出できたか否かを判定し、顔が検出できなかったと判定した場合は、カメラ３に対する対象者１の距離が変化したと判断し、ステップＳ７５で拡大縮小率Ｒの初期化を行って、図９に示す処理手順に移行する。また、ステップＳ７４で、顔が検出できたと判定した場合には、顔検出処理を終了する。

このように、カメラ３に対する対象者の距離等が時間的に大きく変動しない場合には、顔検出の度に拡大縮小率Ｒ及び倍率パラメータＲＰを算出して顔検出ウィンドウ及び識別器の倍率パラメータの大きさを変換しなくても、先に求めた拡大縮小率Ｒで拡大または縮小した顔検出ウィンドウ及び倍率パラメータＲＰが設定された識別器を用いた顔検出が可能である。これにより、画像Ｉ２の撮像や差分画像ΔＩの生成、顔候補領域の計算などの処理を省くことができ、更なる高速化が期待できる。

なお、顔検出ウィンドウ及び識別器の倍率パラメータの大きさを変換して顔検出を行う場合であっても、顔候補領域検出部６ｃで検出された顔領域候補の大きさが規定の範囲外であると判定された場合には、顔検出ウィンドウ及び識別器を用いた顔検出の処理を行わずともカメラ３の前に顔などの人らしい対象物が存在しないと判断できるため、その場合には顔検出ウィンドウ及び識別器を用いた顔検出の処理が行われないような処理手順を構築することも可能である。

図１１は、図９に示したフローチャートの変形例であって、顔候補領域検出部６ｃで求められた顔候補領域の大きさに応じて顔検出部６ｊの顔検出処理の実行を制御する場合の処理のフローチャートを示した図である。この顔検出処理プログラムは、図示しないスタートボタンが押されたときに起動し、ＣＰＵ６１により実行される。

ステップＳ８１〜Ｓ８７までは、図７のステップＳ３１〜Ｓ３７までの処理と同じであるため、説明を省略する。

ステップＳ８７で、顔候補領域検出部６ｃは、推定した顔候補領域の大きさを示す値が所定範囲内であるか否かを判定する。顔候補領域検出部６ｃは、推定した顔候補領域の大きさを示す値が所定範囲内であると判定した場合には、カメラ３の前に顔などの人らしい対象物が存在すると判断して、ステップＳ８８に移行する。ステップＳ８８では、倍率算出部６ｈが、図９のステップＳ５６と同様に、上記推定した顔候補領域の大きさから拡大縮小率Ｒ及び識別器の倍率パラメータＲＰを決定する。

続いて、ステップＳ８９で、拡大縮小部６ｉは、求められた拡大縮小率Ｒを用いて顔検出ウィンドウの大きさを変換する。ステップＳ９０で、顔検出部６ｊが、倍率パラメータＲＰを識別器に設定し、画像Ｉ１、ステップＳ８９で大きさが変換された顔検出ウィンドウ及び倍率パラメータＲＰが設定された識別器を用いて、顔の有無及び位置を検出する。

一方、ステップＳ８７で、顔候補領域検出部６ｃが顔候補領域の大きさを示す値が所定範囲内にないと判定した場合には、顔検出部６ｊは、ステップＳ９１で、カメラ３の前に顔などの人らしい対象物が存在しないと判定し、ステップＳ８８〜ステップＳ９０の処理は実行せずに終了する。

これにより、不必要な計算処理の回避および誤検出の低減の効果を得ることができる。

なお、上記実施の形態及び変形例では、検出対象物として人物の顔を検出する例について説明したが、検出対象は人物の顔でなくても本発明の適用が可能である。

本発明の実施の形態に係る対象物検出装置としての画像処理装置を含んで構成された検出システムの概略構成図である。 画像処理装置のハードウェア構成図である。 画像処理装置の機能構成図である。 顔検出処理プログラムのフローチャートである。 顔検出ウィンドウ及び識別器を用いた顔検出に先立ち、画像内の顔候補領域を検出し、該顔候補領域の幅Ｗに基づいて拡大縮小率ｒを求め、該拡大縮小率ｒを用いて画像の大きさを変換する様子を示した説明図である。 図４に示す処理を実行して拡大縮小率ｒの算出、入力画像の拡大（または縮小）及び顔検出を行った後に、再度顔検出を行う場合の顔検出処理の流れを示すフローチャートである。 図４に示したフローチャートの変形例であって、顔候補領域検出部で求められた顔候補領域の大きさに応じて顔検出部の顔検出処理の実行を制御する場合の処理のフローチャートを示した図である。 顔検出ウィンドウの大きさ及び識別器に設定する倍率のパラメータを変更して顔検出を行う場合の画像処理装置６の機能構成図（変形例）である。 顔検出ウィンドウの大きさ及び識別器に設定する倍率のパラメータを変更して顔検出を行う場合の顔検出処理の流れを示すフローチャートである。 図９に示す処理を実行して拡大縮小率Ｒの算出、顔検出ウィンドウの拡大（または縮小）、識別器の倍率パラメータの変更及び顔検出を行った後に、再度顔検出を行う場合の顔検出処理の流れを示すフローチャートである。 図９に示したフローチャートの変形例であって、顔候補領域検出部で求められた顔候補領域の大きさに応じて顔検出部の顔検出処理の実行を制御する場合の処理のフローチャートを示した図である。 従来の顔検出処理を説明する説明図である。

符号の説明

１ 対象者
２ 照明装置
３ カメラ
４ 照明制御装置
５ 画像取込装置
６ 画像処理装置
６ａ 照明制御信号出力部
６ｂ 画像入力部
６ｃ 顔候補領域検出部
６ｄ 倍率算出部
６ｅ 拡大縮小部
６ｆ 識別器データ記憶部
６ｇ 顔検出部
６ｈ 倍率算出部
６ｉ 拡大縮小部
６ｊ 顔検出部
６１ ＣＰＵ
６２ 画像メモリ
６３ ＲＡＭ
６４ ＲＯＭ
６５ 入出力（Ｉ／Ｏ）ポート

Claims (11)

1. 所定領域を撮影して得られた画像を入力する画像入力手段と、
   前記画像入力手段により入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出手段と、
   前記対象物候補領域検出手段により検出された値と予め定められた基準値とに基づいて、前記画像入力手段により入力された画像を拡大または縮小するための倍率を算出する倍率算出手段と、
   前記画像入力手段により入力された画像を前記倍率算出手段により算出された倍率で拡大または縮小する拡大縮小手段と、
   前記基準値に対応した大きさの枠を前記拡大縮小手段により拡大または縮小された画像上で移動させながら前記拡大縮小手段により拡大または縮小された画像から該枠内の画像を抽出し、該抽出した画像と、前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器とにより前記所定領域から対象物を検出する対象物検出手段と、
   を含む対象物検出装置。
2. 前記所定領域を照明する照明手段を更に備え、
   前記対象物候補領域検出手段は、前記照明手段により前記所定領域が照明されたときに撮影され前記画像入力手段により入力された画像と、前記照明手段により前記所定領域が照明されないときに撮影され前記画像入力手段により入力された画像と、の輝度値の差分を表す画像を求め、該差分の画像から前記対象物候補領域を判断して該領域の大きさを示す値を検出し、
   前記拡大縮小手段は、前記照明手段により照明されたときに撮影され前記画像入力手段により入力された画像を拡大または縮小する
   請求項１記載の対象物検出装置。
3. 所定領域を撮影して得られた画像を入力する画像入力手段と、
   前記画像入力手段により入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出手段と、
   前記対象物候補領域検出手段により検出された値と予め定められた基準値とに基づいて、前記画像入力手段により入力された画像から一部の画像を抽出するときに用いられる枠を拡大または縮小するための枠用倍率、及び前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器に設定する識別器用倍率を算出する倍率算出手段と、
   前記基準値に対応した大きさの枠を前記倍率算出手段により算出された枠用倍率で拡大または縮小する拡大縮小手段と、
   前記拡大縮小手段により拡大または縮小された枠を前記画像入力手段により入力された画像上で移動させながら前記画像入力手段により入力された画像から該枠内の画像を抽出し、該抽出した画像と、前記算出された識別器用倍率が設定された識別器とにより前記所定領域から対象物を検出する対象物検出手段と、
   を含む対象物検出装置。
4. 前記所定領域を照明する照明手段を更に備え、
   前記対象物候補領域検出手段は、前記照明手段により前記所定領域が照明されたときに撮影され前記画像入力手段により入力された画像と、前記照明手段により前記所定領域が照明されないときに撮影され前記画像入力手段により入力された画像と、の輝度値の差分を表す画像を求め、該差分の画像から前記対象物候補領域を判断して該領域の大きさを示す値を検出し、
   前記対象物検出手段は、前記拡大縮小手段で拡大または縮小された枠を前記照明手段により照明されたときに撮影され前記画像入力手段により入力された画像上で移動させながら、前記照明手段により照明されたときに撮影され前記画像入力手段により入力された画像から前記枠内の画像を抽出し、該抽出した画像と、前記算出された識別器用倍率が設定された識別器とにより前記所定領域から対象物を検出する
   請求項３記載の対象物検出装置。
5. 前記対象物候補領域検出手段は、前記大きさを示す値として、前記対象物候補領域の幅を示す値、高さを示す値、及び幅を示す値と高さを示す値とから求められる値、のいずれかを検出する
   請求項１乃至請求項４のいずれか１項記載の対象物検出装置。
6. 前記対象物候補領域検出手段により検出された大きさを示す値が所定範囲外の値であった場合には、前記倍率算出手段は前記倍率の算出を行わず、前記対象物検出手段は前記枠および識別器を用いた検出処理を行わずに前記対象物が前記所定領域に存在しないと判定する
   請求項１乃至請求項５のいずれか１項記載の対象物検出装置。
7. 前記対象物候補領域検出手段は、更に、前記画像入力手段により入力された画像における前記対象物候補領域の位置を検出し、
   前記対象物検出手段は、前記検出された位置及び該位置近傍で前記枠を移動させながら画像を抽出し前記対象物検出を行う
   請求項１乃至請求項６のいずれか１項記載の対象物検出装置。
8. 所定領域を撮影して得られた画像を入力する画像入力ステップと、
   前記画像入力ステップで入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出ステップと、
   前記対象物候補領域検出ステップで検出された値と予め定められた基準値とに基づいて、前記画像入力ステップで入力された画像を拡大または縮小するための倍率を算出する倍率算出ステップと、
   前記画像入力ステップで入力された画像を前記倍率算出ステップで算出された倍率で拡大または縮小する拡大縮小ステップと、
   前記基準値に対応した大きさの枠を前記拡大縮小ステップで拡大または縮小された画像上で移動させながら前記拡大縮小ステップで拡大または縮小された画像から該枠内の画像を抽出し、該抽出した画像と、前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器とにより前記所定領域から対象物を検出する対象物検出ステップと、
   を含む対象物検出方法。
9. 所定領域を撮影して得られた画像を入力する画像入力ステップと、
   前記画像入力ステップで入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する大きさ検出ステップと、
   前記対象物候補領域検出ステップで検出された値と予め定められた基準値とに基づいて、前記画像入力ステップで入力された画像から一部の画像を抽出するときに用いられる枠を拡大または縮小するための枠用倍率、及び前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器に設定する識別器用倍率を算出する倍率算出ステップと、
   前記基準値に対応した大きさの枠を前記倍率算出ステップで算出された枠用倍率で拡大または縮小する拡大縮小ステップと、
   前記拡大縮小ステップで拡大または縮小された枠を前記画像入力ステップで入力された画像上で移動させながら前記画像入力ステップで入力された画像から該枠内の画像を抽出し、該抽出した画像と、前記算出された識別器用倍率が設定された識別器とにより前記所定領域から対象物を検出する対象物検出ステップと、
   を含む対象物検出方法。
10. コンピュータに、
    所定領域を撮影して得られた画像を入力する画像入力ステップと、
    前記画像入力ステップで入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出ステップと、
    前記対象物候補領域検出ステップで検出された値と予め定められた基準値とに基づいて、前記画像入力ステップで入力された画像を拡大または縮小するための倍率を算出する倍率算出ステップと、
    前記画像入力ステップで入力された画像を前記倍率算出ステップで算出された倍率で拡大または縮小する拡大縮小ステップと、
    前記基準値に対応した大きさの枠を前記拡大縮小ステップで拡大または縮小された画像上で移動させながら前記拡大縮小ステップで拡大または縮小された画像から該枠内の画像を抽出し、該抽出した画像と、前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器とにより前記所定領域から対象物を検出する対象物検出ステップと、
    を実行させるプログラム。
11. コンピュータに、
    所定領域を撮影して得られた画像を入力する画像入力ステップと、
    前記画像入力ステップで入力された画像内の対象物に相当すると推定される対象物候補領域の大きさを示す値を検出する対象物候補領域検出ステップと、
    前記対象物候補領域検出ステップで検出された値と予め定められた基準値とに基づいて、前記画像入力ステップで入力された画像から一部の画像を抽出するときに用いられる枠を拡大または縮小するための枠用倍率、及び前記基準値に対応した大きさの対象物を検出可能に予め用意された対象物検出用の識別器に設定する識別器用倍率を算出する倍率算出ステップと、
    前記基準値に対応した大きさの枠を前記倍率算出ステップで算出された枠用倍率で拡大または縮小する拡大縮小ステップと、
    前記拡大縮小ステップで拡大または縮小された枠を前記画像入力ステップで入力された画像上で移動させながら前記画像入力ステップで入力された画像から該枠内の画像を抽出し、該抽出した画像と、前記算出された識別器用倍率が設定された識別器とにより前記所定領域から対象物を検出する対象物検出ステップと、
    を実行させるプログラム。

Images