JP2008102814A - オブジェクト検出方法 - Google Patents

Abstract

【課題】画像中に存在する１〜複数個のオブジェクトを高速に検出するオブジェクト検出方法を提供する。
【解決手段】オブジェクト検出方法において、演算回数が少なく単純な１次判別器１６１を用いて、一定間隔毎にオブジェクトが存在するか判別する１次探索ステップ１１０と、１次探索の結果の空間的な関係性から、オブジェクトが実際に存在する範囲を推定する範囲推定ステップ１２０と、１次探索で用いたオブジェクト判別器より詳細な判別が可能な２次判別器１６２を用いて、オブジェクト判別処理を行う２次探索ステップ１３０と、オブジェクト判別の結果に基づいて、あるオブジェクト存在範囲内で類似度が最も大きくなる位置をオブジェクト存在位置と推定するオブジェクト位置推定ステップ１４０と、最終的なオブジェクトの位置を判別する最終探索ステップ１５０を有する。
【選択図】図１

Description

本発明は、画像中から顔などの特定オブジェクトを検出するオブジェクト検出方法に関し、特に、オブジェクトの高速検出処理に適用して有効な技術に関する。

入力画像中から顔などの特定オブジェクトを検出する方法として、例えば非特許文献１がある。非特許文献１では、顔の解析に効率的かつ効果的なハールと呼ばれる画像の特徴の組、アダブーストに基づく特徴選択プロセス、学習および検出用のカスケード式アーキテクチャの３つの新しい方式による高精度なオブジェクト検出手法を提案している。

しかし、入力画像中のどこにオブジェクトが存在するか不明な場合、様々な位置にオブジェクト判別処理を行わなければならいため多くの処理時間を要する。

入力画像に対してオブジェクトが、未知のサイズで、未知の位置に、未知の個数存在する場合、入力画像を様々なサイズに倍率変更し、画像上の全ての位置に対して、オブジェクト判別処理を行うことになる。

そこで、オブジェクトに対する情報が未知である入力画像から、高速にオブジェクトを検出する手法として、例えば、特許文献１がある。特許文献１では、テンプレートマッチングを画像全体に対して行う処理（以下、探索処理と呼ぶ）を複数のレベルに階層化している。レベル毎にテンプレートにおける計算対象画素の間隔と下位のレベルへと移行する閾値を設定しておき、テンプレート内の計算対象画素が少ない上位レベルから、粗い位置間隔で相関値を計算していく。相関値が閾値以上で周りより値の高い位置を見つけたら、その位置の周辺に対して低いレベルでの探索（テンプレートの計算対象画素数を多くした演算を細かい位置間隔で行う）を行っていき、最終レベルの相関値も閾値を超えれば、その位置にオブジェクトがあると判定する。これにより、画像上の全ての位置にテンプレートマッチングを行うよりも少ない演算量で、オブジェクト検出が行える。
Ｐ．Ｖｉｏｌａ，Ｍ．Ｊｏｎｅｓ，"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ，"Ｐｒｏｃｅｅｄｉｎｇｓ ＩＥＥＥ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００１ 特開平２−１５９６８２号公報

しかしながら、特許文献１では、最終レベルにおける相関値の計算（オブジェクト判別処理）の回数が増えると演算量が増大するという問題があった。

これに対して、一定以上相関値が高い位置を途中で検出したら処理を打ち切るという解決方法もあるが、この場合、実際のオブジェクト位置から数画素ずれた位置を検出してしまうことがある。また、上位レベルの探索間隔を大きくしすぎるとオブジェクトの検出漏れが発生してしまうのに対して、探索間隔を細かくしすぎるとオブジェクトが実際には無い位置でも下位レベルの探索が必要になることが増え、処理速度が低下するという問題があった。

そこで、本発明の目的は、画像中に存在する１〜複数個のオブジェクトを高速に検出するオブジェクト検出方法を提供することにある。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

本発明によるオブジェクト検出方法は、少ない演算数で指定画像枠内のオブジェクトの有無を判別する１次判別器を用いて入力画像上の特定間隔位置にオブジェクト判別処理を行う１次探索ステップと、１次探索ステップの結果に基づいて、オブジェクトが存在する範囲を推定する範囲推定ステップと、範囲推定ステップで得られた１または複数のオブジェクト存在範囲のそれぞれに対して、１次判別器より多い演算数でオブジェクトの有無を判別する２次判別器を用いてオブジェクト判別処理を行いオブジェクトとの類似度を求める２次探索ステップと、２次探索ステップで得られた類似度を用いてオブジェクトが存在する位置を推定する位置推定ステップと、位置推定ステップで推定された位置に対して、２次判別器と同等の演算数または２次判別器より多い演算数でオブジェクトの有無を判別する最終判別器を用いてオブジェクト判別処理を行い実際にオブジェクトが存在するかどうか判定する最終探索ステップとを有するものである。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

本発明によれば、画像中に存在する１〜複数個のオブジェクトを高速に検出することが可能となる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

まず、本発明のオブジェクト検出処理の一例について説明する。

本発明では、オブジェクト検出処理として、複数のステージで構成されたオブジェクト判別器を用いている。各ステージでは、ハール特徴に応じた特徴量を算出し、閾値と比較して、オブジェクトであるかどうかの判別を行う。

ある閾値以下であればステージクリアでないと判定し、閾値以上であればステージクリアと判定して、次のステージによる判別処理へと移行する。

そして、オブジェクトの検出位置を移動させて、オブジェクト判別器内の複数のステージのクリア数を検出することにより、オブジェクト位置を検出している。

また、以下の説明では、オブジェクト判別器を用いる例で説明するが、オブジェクト判別器は、複数のステージ毎にオブジェクトであるか判定することが可能な判別器であれば何を用いても良く、例えば、複数ステージのカスケード構造で構成されるオブジェクト判別器を用いれば良い。また、オブジェクト判別器として複数のテンプレートを用いても良い。

（実施の形態１）
図１により、本発明の実施の形態１に係るオブジェクト検出方法の動作について説明する。図１は本発明の実施の形態１に係るオブジェクト検出方法の動作を示すフローチャートである。

図１において、オブジェクト検出方法の動作は、１次探索ステップ１１０、範囲推定ステップ１２０、２次探索ステップ１３０、オブジェクト位置推定ステップ１４０、最終探索ステップ１５０という５つのステップで構成されている。

１次探索、２次探索、最終探索の各探索ステップでは、オブジェクト判別器１６０を１次判別器１６１、２次判別器１６２、最終判別器１６３とステージ毎に分割して使用する。なお、最終判別器１６３は２次判別器１６２と分割せずに同じものを用いても良い。

以下の説明において、オブジェクト判別器を用いて、入力画像中の各位置にオブジェクトが存在するか判別していくことをオブジェクト探索と呼ぶことにする。

次に、図２により、本発明の実施の形態１に係るオブジェクト検出方法によるオブジェクト判別器を用いたオブジェクト探索の一例について説明する。

図２は本発明の実施の形態１に係るオブジェクト検出方法によるオブジェクト判別器を用いたオブジェクト探索の一例を説明するための説明図である。

図２（ａ）において、入力画像２１０上のある位置に検出対象のオブジェクト２２０が存在する。

図２（ａ）に示すような入力画像２１０上を複数のステージからなるオブジェクト判別器１６０を用いてｘ方向に探索を行った場合、各位置のオブジェクト判別処理結果は、例えば、図２（ｂ）のようになる。

図２（ｂ）は、横軸がｘ軸、縦軸があるｘ位置においてオブジェクト判別処理を行った結果、クリアしたステージ数を表している。

オブジェクト判別においてクリアしたステージ数は、オブジェクトとの類似度を示すと言え、オブジェクトの周辺位置になるほど類似度が増大し、山状のグラフが描かれる。

本実施の形態では、この特性を活かして、オブジェクトが存在する位置である類似度グラフの山の頂点を高速に検出する方法を提供することで画像中のオブジェクトを高速かつ正確に検出している。

次に、図１、図３〜図７により、本発明の実施の形態１に係るオブジェクト検出方法の各ステップの動作について説明する。図３は本発明の実施の形態１に係るオブジェクト検出方法の１次探索ステップにおいて判別処理を行う位置を説明するための説明図、図４は本発明の実施の形態１に係るオブジェクト検出方法の１次探索ステップを行った結果の一例を示す図、図５は本発明の実施の形態１に係るオブジェクト検出方法の範囲推定ステップを説明するための説明図、図６は本発明の実施の形態１に係るオブジェクト検出方法の２次探索ステップを説明するための説明図、図７は本発明の実施の形態１に係るオブジェクト検出方法のオブジェクト位置推定ステップを説明するための説明図である。

まず、１次探索ステップ１１０では、１次判別器１６１を用いて大まかな探索処理を行う。

１次判別器１６１は、オブジェクト判別器１６０の中でも少ない演算処理しか行わない少数のステージ（例えば２，３個程度の）からなる判別器である。

１次探索ステップ１１０における探索処理の様子を図３に示す。

入力画像に対して、判別器のサイズに応じた大きい探索間隔でオブジェクト判別処理を行う。例えば、画像の水平方向の探索幅ｄｘはカスケードの横サイズの３分の１、垂直方向の探索幅ｄｙは判別器の縦サイズの４分の１などとする。

一般に判別器のサイズによって、図２に示す類似度の山の幅は異なり、図２の類似度の山を常に検出可能とする間隔にすることが望ましい。また、一般的な画像では水平方向に比べて垂直方向の相関が低いため、ｄｘ＞ｄｙとしたほうが良い。

図４に、１次探索ステップ１１０の処理結果のグラフの例を示す。黒丸が各探索位置でのオブジェクト判別処理で、クリアしたステージ数を示している。オブジェクトが存在する周辺で現れる類似度の山の幅は、多くはオブジェクトサイズの３分の２程度であるため、探索間隔を検出対象オブジェクトの大きさの３分の１程度にすることで、検出漏れなく、少ない判別処理で類似度の山の裾野部分を見つけることが可能となる。

範囲推定ステップ１２０では、１次探索ステップの結果からオブジェクトが存在する範囲を推定する。具体的には、１次探索ステップをクリアした座標（ｘ，ｙ）に対して座標（ｘ＋ｄｘ、ｙ）、（ｘ、ｙ＋ｄｙ）位置の判別処理結果を確認し、両座標においても１次カスケードの全ステージをクリアしていた場合、座標（ｘ，ｙ）の周辺領域である［ｘ、ｘ＋ｄｘ］［ｙ、ｙ＋ｄｙ］をオブジェクト存在範囲５１０と推定する。

このような範囲推定処理を、１次探索ステップ１２０でオブジェクト判別処理をクリアした全ての位置に対して行うことで、複数のオブジェクト存在範囲を得る。

図５に範囲推定ステップ１２０の処理の様子を示す。

例えば、１次探索ステップ１１０の結果、図５（ａ）に示す黒点の位置でオブジェクトが存在すると判別された場合、オブジェクト存在範囲は図５（ｂ）のように推定される。

１次探索ステップ１１０の探索幅（ｄｘ、ｄｙ）をオブジェクト周辺で表れる類似度の山の３分の１としたことで、オブジェクト位置周辺の複数の点で１次探索における判別処理をクリアする。

このため、上記のような方法でオブジェクト存在範囲を限定することができる。これによって、図４の最右点のように小さい山の頂点位置が１次探索における探索位置となった場合に、以降の判定を行う必要が無くなるため処理時間を削減できる。

２次探索ステップ１３０では、２次判別器１６２を用いて、より詳細なオブジェクト探索を行う。２次判別器１６２の各ステージでは１次判別器より演算数が必要だが詳細にオブジェクトかどうかを判定可能な複数のステージで構成される判別器である。

２次探索ステップ１３０では範囲推定ステップ１２０で得られた各オブジェクト存在範囲内の決められた数箇所の探索位置に対して、２次判別器によるオブジェクト判別処理を実行する。各探索位置でクリアしたステージ数を記録し、次のオブジェクト位置推定ステップ１４０に出力する。

図６に、オブジェクト存在範囲と２次探索ステップにおける探索位置の関係を示す。オブジェクト判別処理を行う探索位置は、次のオブジェクト位置推定ステップ１４０で行うオブジェクト位置推定方法に依存する。類似度の山の分布を計測するため、例えば、図６（ａ）に示すようにオブジェクト存在範囲全体を覆う５点を探索位置とする。

図６（ａ）の探索点４と探索点５は、あえて隣のオブジェクト存在範囲の端点を探索点とした。これによって、右隣りのオブジェクト存在範囲内を２次探索する際に、探索点２は左のオブジェクト存在範囲の探索点４であるため、新たなオブジェクト判別処理を行う必要が無くなる。

２次探索ステップ１３０における探索位置は、例えば、図６（ｂ）のようにオブジェクト存在領域内の９点を用いても良い。このように探索した場合、２次探索を行う処理回数は増加するが、詳細な類似度の情報を得られるため、オブジェクト位置推定ステップ１４０における推定精度が増すという利点がある。

また、２次探索を行った結果、全探索地位の出力値の平均または最大値が２次判別器のステージ数に比べて十分低かった場合、この範囲内にオブジェクトは存在しないと判定し、以降のステップによる処理を行わないものとする。

オブジェクト位置推定ステップ１４０では、２次探索ステップ１３０で得られた各探索位置のクリアステージ数である出力値の情報を元に、オブジェクト存在範囲内でクリアステージ数が最も大きくなる位置を推定する。この位置がオブジェクト存在範囲内におけるオブジェクト位置と考えられる。

図７にオブジェクト位置推定のイメージを示す。

複数の位置における出力値を関数に近似することで、図２（ｂ）の山の頂点位置を推定し、これをオブジェクト位置とする。

以降では、２次関数近似を用いて類似度の山の頂点位置推定を行った場合について説明する。

図６（ａ）の探索点２、３、４のように一定方向に並んだ３点をそれぞれ探索点ｐ₁ 、ｐ₂ 、ｐ₃ （ｐ₁ ＜ｐ₂ ＜ｐ₃ 、ｐ₃ −ｐ₂ ＝ｐ₂ −ｐ₁ ＝Ｓｔｅｐ）として、各探索点から得られた出力値をＯ₁ 、Ｏ₂ 、Ｏ₃ としたとき、頂点位置ｔ₁ は、以下の数１の式で求められる。

図７（ａ）のように、５つの探索点による２次探索を行った場合には、水平方向に並ぶ探索点１、３、５の出力値からｘ方向の頂点位置を算出できる。

同様に、垂直方向に並ぶ探索点２、３、４の３点からｙ方向の頂点位置を求めることができる。なお、先に水平方向３点のみの２次探索を行い、オブジェクト位置推定ステップ１４０でｘ方向の頂点位置を推定した後、そのｘ位置における垂直方向３点の２次探索を行って、ｙ方向の頂点推定を行っても良い。

例えば、図７（ｂ）のように、オブジェクト位置推定を行った結果、オブジェクト位置が現在のオブジェクト存在範囲外になることがある。このような場合は、隣のオブジェクト存在範囲における処理でオブジェクト検出可能なため、以降の処理は行わない。

最終探索ステップ１５０では、オブジェクト位置推定ステップ１４０で推定されたオブジェクト位置に対して最終判別器１６３を用いてオブジェクト判別処理を行い、実際にオブジェクトが存在するかどうか確認する。

オブジェクト判別処理の結果、全てのステージをクリアしたら、この位置にオブジェクトが存在すると決定する。

以上の流れによってオブジェクトを高速に検出することが可能である。

なお、別サイズのオブジェクトを検出するには、オブジェクト判別器のサイズを変更して上記と同様の処理を繰り返す。

（実施の形態２）
図８により、本発明の実施の形態２に係るオブジェクト検出方法の動作について説明する。図８は本発明の実施の形態２に係るオブジェクト検出方法の動作を示すフローチャートである。

実施の形態２は、実施の形態１の各ステップとは別に、検出終了判定ステップ８１０、サイズ変更ステップ８２０、探索範囲限定ステップ８３０が追加された８つのステップで構成されている。これにより複数のサイズのオブジェクトを画像中から高速に検出することが可能となる。

次に、図８〜図１２により、本発明の実施の形態２に係るオブジェクト検出方法の各ステップの動作について説明する。図９は本発明の実施の形態２に係るオブジェクト検出方法の別サイズのオブジェクト判別処理を行ったときの結果を示す図、図１０は本発明の実施の形態２に係るオブジェクト検出方法のサイズ変更ステップを説明するための説明図、図１１は本発明の実施の形態２に係るオブジェクト検出方法の探索範囲限定ステップで用いる結果格納メモリを説明するための説明図、図１２は本発明の実施の形態２に係るオブジェクト検出方法の探索範囲限定ステップの処理結果を説明するための説明図である。

本実施の形態では、まず実施の形態の図１に示すオブジェクト検出方法（図２の１００の処理）に基づいて、入力画像に対してあるサイズのオブジェクト検出処理を行う（これを検出処理Ｎとする）。

その後、検出終了判定ステップ８１０において、オブジェクトサイズを更新し、更新サイズは探索範囲内かを判断することにより、別サイズのオブジェクト検出（検出処理Ｎ＋１）を行うかの判定を行い、行う場合はサイズ変更ステップ８２０へと行き、行わない場合は処理を終了する。

サイズ変更ステップ８２０では、検出対象オブジェクトのサイズを変更する。次に、探索範囲限定ステップ８３０で、検出処理Ｎの結果に基づいて検出処理Ｎ＋１における探索範囲を限定する。検出処理Ｎ＋１では、この限定された探索範囲にのみ実施の形態１と同様にオブジェクト検出を行う。

実施の形態１では、オブジェクトが存在する位置周辺での関係性を利用していたのに加えて、本実施の形態では、更にオブジェクトのサイズの関係性を利用する方法である。いわば、２次元的な関係性を３次元的に拡張したものと言える。

このような、本実施の形態のオブジェクト検出方法による検出手法の有効性は、図９に示すグラフから読み取ることができる。

図９（ａ）、図９（ｂ）、図９（ｃ）は、それぞれ、検出するオブジェクトの０．８倍、１．０倍、１．３倍のサイズのオブジェクト判別器を用いて画像中の全位置にオブジェクト判別処理を行ったときの結果である。

グラフのｚ軸は、ある座標位置にオブジェクト判別処理を行った結果、クリアしたステージ数を示している。白枠はオブジェクト存在位置を示している。

グラフからオブジェクト判別器のサイズを変更しても処理結果には相関が表れることが分かる。このため一定サイズ内の変更であれば、サイズ変更前の処理結果から探索範囲を限定させても支障はないと言える。

以下、サイズ変更ステップ８２０および探索範囲限定ステップ８３０について、詳細な解説を行う。

サイズ変更ステップ８２０では、検出対象とするオブジェクトのサイズ変更を行う。具体的には、図１０（ａ）に示すようにオブジェクト判別器の窓サイズを検出対象である窓サイズへと等倍することで行う。また、図１０（ｂ）に示すように入力画像自体のサイズを変更しても良い。

次に、探索範囲限定ステップ８３０について、図１１を用いて説明する。

図１１は、結果格納メモリ１１００を示している。結果格納メモリ１１００とは、ある検出処理Ｎを行った結果得られた、各位置でクリアしたステージ数を格納したものである。探索範囲限定ステップでは、この結果格納メモリ１１０の各値に基づいて検出処理Ｓ＋１におけるオブジェクト探索範囲を限定する。

図１１で“Ｓ”が記されている位置は、非探索位置である。ここは、検出処理Ｎ−１での結果、検出処理Ｎでは探索の必要なしと判定された範囲である。検出処理Ｓで探索が行われなかった非探索範囲は、検出処理Ｓ＋１では探索範囲とする。

次に、図１１で、“Ｄ”が記されている位置はオブジェクト検出位置である。検出処理Ｎまでのどこかでオブジェクトが検出されたことを示している。オブジェクトが検出された領域内に再び別サイズのオブジェクトが検出されることは無いため、この位置周辺は常にオブジェクト探索を行わない。このため検出処理Ｎ＋１においても非探索範囲とする。

図１１で、“０”“１”など数字が格納されている位置が、検出処理Ｎにおいてオブジェクト判別処理が行われた位置である。この格納された数値によって検出処理Ｓ＋１での探索範囲を限定する。

具体的には、１次探索ステップ１１０をクリアできなかった位置は非探索範囲とする。また、オブジェクトは検出されなかったが、２次探索においてある閾値Ｔ以上のステージ数をクリアした位置周辺は探索範囲とする。図９（ａ）（ｃ）から分かるように、異なるサイズのオブジェクトに対しては山の幅が小さくなる。このため、探索範囲は広めに設定することが望ましい。

以上の処理を行い、検出処理Ｓ＋１における探索範囲と非探索範囲を決定する。図１１の結果格納メモリ１１００からは、例えば図１２のような探索範囲と非探索範囲が得られる。

探索範囲限定ステップ８３０以下の各ステップでは、探索範囲のみに対して実施の形態１で解説した方法でオブジェクト検出を行う。この際、各位置でオブジェクト判別処理を行った結果クリアしたステージ数を結果格納メモリ１１００に記録しておく。

以上の流れによってオブジェクトを高速に検出することが可能である。

（実施の形態３）
図１３により、本発明の実施の形態３に係るオブジェクト検出方法の動作について説明する。図１３は本発明の実施の形態３に係るオブジェクト検出方法の動作を示すフローチャートである。

実施の形態３は、検出対象であるオブジェクトが別方向を向いていても高速に検出する方法である。これにより、例えば、従来は正面から±数１０度向きの顔しか検出できなかったが、横向きの顔も検出することが可能となる。

図１３において、オブジェクト検出に用いる複数方向オブジェクト判別器１３００は、１次判別器１３０１までは同一で、２次判別器以降は、方向毎に異なる判別器を用意する。

例えば、正面向きオブジェクト判別器１３１０、右向きオブジェクト判別器１３２０などであり、更に多くの方向のオブジェクトを検出したければ、例えば左向きオブジェクト判別器などを追加すれば良い。

１次判別器１３０１はオブジェクトが様々な方向を向いていても検出可能であり、オブジェクトではないものを一定割合落とすことが可能な汎用性の大きい判別器である。このような判別器では、ステージ数を増加しても十分な性能を得られない。このため、１次判別器として単純なオブジェクト判別のみを行い、以降は各方向に応じた判別器を用いて判別する。

次に、図１３により、本発明の実施の形態３に係るオブジェクト検出方法の複数方向オブジェクト判別器を用いた複数方向のオブジェクト探索処理について説明する。

まず、１次探索ステップ１１０、範囲推定ステップ１２０での処理は１次判別器１３０１を用いて、実施の形態１と同様に行われる。

２次探索以降は、検出対象であるオブジェクトの方向毎にそれぞれ行われる。

つまり、正面向きオブジェクト判別器１３１０の正面向き２次判別器１３１２を用いて２次探索ステップ１３０、オブジェクト位置推定ステップ１４０を実行し、正面向きオブジェクト判別器１３１０の正面向き最終判別器１３１３を用いて、最終探索ステップ１５０をそれぞれ実行した後、右向きオブジェクト判別器１３２０の右向き２次判別器１３２２、右向き最終判別器１３２３を用いて同様の探索処理を行う。

この際、ある方向のオブジェクト探索においてオブジェクトを検出した場合、検出した位置周辺に対しては別向きのオブジェクト探索の際に、探索しないものとする。

以上の処理によって複数方向を向いているオブジェクトを高速に検出できる。

（実施の形態４）
図１４により、本発明の実施の形態４に係るオブジェクト検出方法を用いたオブジェクト検出装置の構成について説明する。図１４は本発明の実施の形態４に係るオブジェクト検出方法を用いたオブジェクト検出装置の構成を示す構成図である。

図１４において、オブジェクト検出装置１４００は、画像入力部１４１０、画像処理部１４２０、ＣＰＵ１４３０、メモリ１４４０、出力部１４５０から構成され、メモリ１４４０内にオブジェクト判別器１６０が保持され、ＣＰＵ１４３０がメモリ１４４０を参照しながら処理を行う。

次に、本発明の実施の形態４に係るオブジェクト検出方法を用いたオブジェクト検出装置の動作について説明する。

まず、画像入力部１４１０で、カメラなどの撮像装置で得られた画像を入力画像として受け取る。次に、画像処理部１４２０で、オブジェクト検出を行うための前処理を画像に対して行う。

この前処理として、例えば画像の縮小や平滑化などのフィルタリング処理などを行う。

次に、ＣＰＵ１４３０にてオブジェクト検出方法に基づいてオブジェクト検出処理を行う。

最後に、出力部１４５０ではＣＰＵ１４３０から得られたオブジェクト検出結果を受け取り、検出結果の通知を行う。

このような、オブジェクト検出装置１４００が実装される機器により、通知結果に応じた処理を行うこととなる。例えば、検出結果を全てインデックス化して記録する、検出された位置の画像に対して更なる処理を行うなどである。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、画像中から顔などの特定オブジェクトを検出するオブジェクト検出方法に関し、画像からオブジェクトの存在を検出する装置やシステムなどに広く適用可能である。

本発明の実施の形態１に係るオブジェクト検出方法の動作を示すフローチャートである。 （ａ）、（ｂ）は本発明の実施の形態１に係るオブジェクト検出方法によるオブジェクト判別器を用いたオブジェクト探索の一例を説明するための説明図である。 本発明の実施の形態１に係るオブジェクト検出方法の１次探索ステップにおいて判別処理を行う位置を説明するための説明図である。 本発明の実施の形態１に係るオブジェクト検出方法の１次探索ステップを行った結果の一例を示す図である。 （ａ）、（ｂ）は本発明の実施の形態１に係るオブジェクト検出方法の範囲推定ステップを説明するための説明図である。 （ａ）、（ｂ）は本発明の実施の形態１に係るオブジェクト検出方法の２次探索ステップを説明するための説明図である。 （ａ）、（ｂ）は本発明の実施の形態１に係るオブジェクト検出方法のオブジェクト位置推定ステップを説明するための説明図である。 本発明の実施の形態２に係るオブジェクト検出方法の動作を示すフローチャートである。 （ａ）、（ｂ）、（ｃ）は本発明の実施の形態２に係るオブジェクト検出方法の別サイズのオブジェクト判別処理を行ったときの結果を示す図である。 （ａ）、（ｂ）は本発明の実施の形態２に係るオブジェクト検出方法のサイズ変更ステップを説明するための説明図である。 本発明の実施の形態２に係るオブジェクト検出方法の探索範囲限定ステップで用いる結果格納メモリを説明するための説明図である。 本発明の実施の形態２に係るオブジェクト検出方法の探索範囲限定ステップの処理結果を説明するための説明図である。 本発明の実施の形態３に係るオブジェクト検出方法の動作を示すフローチャートである。 本発明の実施の形態４に係るオブジェクト検出方法を用いたオブジェクト検出装置の構成を示す構成図である。

符号の説明

１１０…１次探索ステップ、１２０…範囲推定ステップ、１３０…２次探索ステップ、１４０…オブジェクト位置推定ステップ、１５０…最終探索ステップ、１６０…オブジェクト判別器、１６１…１次判別器、１６２…２次判別器、１６３…最終判別器、２１０…入力画像、２２０…入力画像中のオブジェクト、８１０…検出終了判定ステップ、８２０…サイズ変更ステップ、８３０…探索範囲限定ステップ、１１００…結果格納メモリ、１３００…複数方向オブジェクト判別器、１３０１…１次判別器、１３１０…正面向きオブジェクト判別器、１３１２…正面向き２次判別器、１３１３…正面向き最終判別器、１３２０…右向きオブジェクト判別器、１３２２…右向き２次判別器、１３２３…右向き最終判別器。

Claims (10)

1. 第１の演算数で指定画像枠内のオブジェクトの有無を判別する１次判別器を用いて入力画像上の特定間隔位置にオブジェクト判別処理を行う１次探索ステップと、
   前記１次探索ステップの結果に基づいて、前記オブジェクトが存在する範囲を推定する範囲推定ステップと、
   前記範囲推定ステップで得られた１または複数のオブジェクト存在範囲のそれぞれに対して、前記１次判別器より多い第２の演算数でオブジェクトの有無を判別する２次判別器を用いてオブジェクト判別処理を行いオブジェクトとの類似度を求める２次探索ステップと、
   前記２次探索ステップで得られた前記類似度を用いてオブジェクトが存在する位置を推定する位置推定ステップと、
   前記位置推定ステップで推定された位置に対して、前記２次判別器と同数または前記２次判別器より多い第３の演算数でオブジェクトの有無を判別する最終判別器を用いてオブジェクト判別処理を行い実際にオブジェクトが存在するかどうか判定する最終探索ステップとを有することを特徴とするオブジェクト検出方法。
2. 請求項１記載のオブジェクト検出方法において、
   前記１次探索ステップは、
   前記特定間隔位置を前記１次判別器で検出するオブジェクトの大きさの３分の１とすることを特徴とするオブジェクト検出方法。
3. 請求項１記載のオブジェクト検出方法において、
   前記範囲推定ステップは、
   前記１次探索ステップをクリアした前記入力画像上のある位置の、隣り合う周辺位置でも前記１次探索ステップをクリアしているとき、この入力画像上の位置周辺をオブジェクトが存在する範囲であると推定することを特徴とするオブジェクト検出方法。
4. 請求項１記載のオブジェクト検出方法において、
   前記２次探索ステップで出力するオブジェクトとの類似度は、
   複数のステージからなる前記２次判別器を用いて前記オブジェクト判別処理を行った際にクリアしたステージ数であることを特徴とするオブジェクト検出方法。
5. 請求項１記載のオブジェクト検出方法において、
   前記位置推定ステップは、
   前記２次探索ステップの結果、得られた各位置でのオブジェクトとの類似度を２次関数近似し、前記オブジェクトとの類似度が最大となる前記入力画像中の位置を算出し、オブジェクトが存在する位置と推定することを特徴とするオブジェクト検出方法。
6. 請求項１記載のオブジェクト検出方法において、
   別サイズのオブジェクト検出を行うかを判定する検出終了判定ステップと、
   前記検出終了判定ステップの判定結果に基づいて、前記１次判別器、前記２次判別器、前記最終判別器の検出サイズを変更するサイズ変更ステップと、
   前サイズのオブジェクト検出の結果に基づいて、現サイズのオブジェクト検出を行う入力画像上の範囲を限定する探索範囲限定ステップとを有することを特徴とするオブジェクト検出方法。
7. 請求項１記載のオブジェクト検出方法において、
   別サイズのオブジェクト検出を行うかを判定する検出終了判定ステップと、
   前記検出終了判定ステップの判定結果に基づいて、前記入力画像のサイズを変更するサイズ変更ステップと、
   前サイズのオブジェクト検出の結果に基づいて、現サイズのオブジェクト検出を行う入力画像上の範囲を限定する探索範囲限定ステップとを有することを特徴とするオブジェクト検出方法。
8. 請求項６または７記載のオブジェクト検出方法において、
   前記探索範囲限定ステップは、
   前サイズのオブジェクト検出の際に１次探索ステップをクリアしなかった位置の周辺領域に関しては、現サイズではオブジェクト検出を行わないことを特徴とするオブジェクト検出方法。
9. 請求項１記載のオブジェクト検出方法において、
   前記１次探索ステップおよび前記範囲推定ステップは、
   複数方向を向いているオブジェクトを検出するオブジェクト判別器を前記１次判別器として用いてオブジェクト判別処理を行い、
   前記２次探索ステップ、前記位置推定ステップ、および前記最終探索ステップは、
   ある一定方向範囲を向いているオブジェクトのみを検出する複数の一定方向オブジェクト判別器を前記２次判別器および前記最終判別器として用いてオブジェクト判別処理を行うことを特徴とするオブジェクト検出方法。
10. 請求項１〜９のいずれか１項に記載のオブジェクト検出方法において、
    検出する前記オブジェクトは顔であることを特徴とするオブジェクト検出方法。