JP2008102611A

JP2008102611A - 画像処理装置

Info

Publication number: JP2008102611A
Application number: JP2006282755A
Authority: JP
Inventors: Yasuhiro Ito; 靖浩伊藤; Kotaro Yano; 光太郎矢野; Satoru Yashiro; 哲八代
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-10-17
Filing date: 2006-10-17
Publication date: 2008-05-01

Abstract

【課題】高精度、かつ高速な被写体検出器を提供する。
【解決手段】画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体パターンと照合するための所定の部分領域を抽出する照合パターン抽出部と、前記照合パターン抽出部で抽出された部分領域が前記被写体パターンであるかを判別する前記被写体パターンの回転量に対応した複数の第1のパターン判別部と、前記第1のパターン判別部によって前記被写体パターンであると判別された前記部分領域の少なくとも回転量を正規化する画像特性正規化部と、前記画像特性正規化部の出力について前記被写体パターンであるかを判別する第２のパターン判別部を備えた画像処理装置において、前記第1のパターン判別部および第２のパターン判別部は前記被写体パターンから所定の複数の局所特徴量を算出し、前記複数の局所特徴量の判別結果を組み合わせて前記被写体パターンの判別を行うことを特徴とする。
【選択図】図１

Description

本発明は、画像から被写体を自動的に判別する画像処理装置に関するものである。

画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような画像中から顔を検出する技術としては、例えば、非特許文献１に各種方式が挙げられている。その中では、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用するか、又は人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによって、人間の顔を検出する方式が示されている。

例えば、非特許文献２で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献２による顔検出の方法について簡単に説明する。

まず、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、図３に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図３に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。

また、処理の高速化に着目した例としては、非特許文献３がある。この報告の中ではAdaBoostを使って多くの弱判別器を有効に組合せて顔判別の精度を向上させる一方、夫々の弱判別器をHaarタイプの矩形特徴量で構成し、しかも矩形特徴量の算出を、積分画像を利用して高速に行っている。また、AdaBoost学習によって得た判別器を直列に繋ぎ、カスケード型の顔検出器を構成するようにしている。このカスケード型の顔検出器は、まず前段の単純な（すなわち計算量のより少ない）判別器を使って明らかに顔でないパターンの候補をその場で除去し、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な（すなわち計算量のより多い）判別器を使って顔かどうかの判定を行っており、すべての候補に対して複雑な判定を行う必要がないので高速である。

しかしながら、実用上、このような被写体の自動認識処理は、検出する被写体の明るさや回転角度に依存することなく被写体の検出ができることが必要になる。そのため、非特許文献２や３では、様々な照明条件でも被写体の判定が精度良く行えるよう、被写体パターンに対して輝度の正規化を行っている。しかしながら、輝度の正規化にかかる計算コストは、被写体の判定に関わる全計算量のかなりの割合を占めるため、判定の速度が遅くなってしまう。また、非特許文献４のように、被写体の回転角が様々であっても判定が精度良く行えるよう、被写体パターンに対してニューラル・ネットワークを用いて回転角の予測を行っているものもある。しかしながら、ニューラル・ネットワークによる回転角予測は、予測の失敗が発生する恐れがあり、被写体判定の精度の低下につながってしまう。
Yang et al, "Detecting Faces in Images: A Survey", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002 Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998 Viola and Jones, "Rapid Object Detection using Boosted Cascade of Simple Features", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR'01) Rowley et al, "Rotation Invariant Neural Network-Based Face Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR98) Elad et al, "Rejection based classifier for face detection", Pattern Recognition Letters, Vol.23, 2002 谷川ら, "矩形特徴による弱識別器のブースティングによる対象検出手法の汎化性能向上のための工夫と車載カメラの映像中の車の検出への応用", 第11回画像センシングシンポジウム講演論文集（2005）

本発明は以上の問題に鑑みて成されたものであり、高精度、かつ高効率な被写体検出器を提供することを目的とする。

本発明の目的を達成するために、本発明の画像処理装置は以下の構成を備える。

即ち、画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体パターンと照合するための所定の部分領域を抽出する照合パターン抽出部と、前記照合パターン抽出部で抽出された部分領域が前記被写体パターンであるかを判別する前記被写体パターンの回転量に対応した複数の第1のパターン判別部と、前記第1のパターン判別部によって前記被写体パターンであると判別された前記部分領域の少なくとも回転量を正規化する画像特性正規化部と、前記画像特性正規化部の出力について前記被写体パターンであるかを判別する第２のパターン判別部を備えた画像処理装置において、前記第1のパターン判別部および第２のパターン判別部は前記被写体パターンから所定の複数の局所特徴量を算出し、前記複数の局所特徴量の判別結果を組み合わせて前記被写体パターンの判別を行うことを特徴とする。

本発明の構成により、高精度、かつ、高効率な被写体検出器を提供することができる。即ち、従来より多くの被写体パターンを対象にした検出処理を行うことができる。

以下、図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

図１に本発明の実施例の概略構成を示す。

１０は画像入力手段であり、例えばデジタルスチルカメラ、カムコーダ、フィルムスキャナーなどで構成され、画像データを撮像あるいはその他公知の手段により入力する。また、デジタル画像データを保持する記憶媒体から画像データを読み込むようなコンピュータ・システムのインターフェース機器であってもよい。

２０は画像メモリであり、画像入力手段１０から出力された画像データを一時的に記憶する。

３０は画像縮小手段であり、画像メモリ２０に記憶されている画像データを所定の倍率にしたがって縮小し、出力する。

４０は照合パターン抽出手段であり、画像縮小手段３０で縮小された画像データから所定の部分領域を照合パターンとして抽出する。

５０、５１および５２は第1の顔判別手段であり、照合パターン抽出手段４０で抽出された照合パターンが顔パターンか非顔パターンかを判別する。第1の顔判別手段５０、５１および５２は、本実施例のように複数存在する。例えば、それぞれ照合パターン中から、画像中の回転が無い顔パターンを顔と判別することが出来る第1の顔判別手段５０、照合パターン中から顔パターンが画像中である一定量だけ時計回り、および反時計回りに回転して存在したときにのみ顔と判定することができる第1の顔判別手段５１、前記第1の顔判別手段５１とは異なる回転量だけ時計回り、および反時計回りに回転して存在したときにのみ顔と判定することが出来る第1の顔判別手段５２、とに分かれている。

５３および５４は回転補正手段で、それぞれ前記第1の顔判別手段５１、前記第1の顔判別手段５２で顔と判定された照合パターンに回転補正処理を施す。例えば、回転補正手段５３では、前記照合パターンが顔であると判定された第1の顔判別手段５１での回転角度分だけ、サンプルを前記第1の顔判別手段５１の回転方向とは逆方向に回転させ、サンプルの回転を相殺する処理を行う。すなわち、回転補正手段５３、５４では、照合パターン回転に関する正規化を行っている。

６０は輝度分布正規化手段であり、第1の顔判別手段５０、５１、５２のいずれかが顔パターンと判別した照合パターンを受け取り、照合パターンの輝度分布の正規化を行う。

７０は第２の顔判別手段であり、輝度分布正規化手段６０で輝度分布の正規化を行った照合パターンが顔パターンか非顔パターンかを判別する。

８０は顔領域出力手段であり、第1の顔判別手段５０、５１、５２のいずれかで顔パターンと判別され、さらに第２の顔判別手段７０でも顔と判別されたパターンの領域を出力する。

また、以上の各ブロックは不図示の制御手段により動作を制御される。

次に、本実施例の動作を図２に従って説明する。

まず、画像入力手段１０は所望の画像データを画像メモリ２０に読み込む。（Ｓ１０１）
ここで読み込まれた画像データは、例えば8ビットの画素により構成される2次元配列のデータであり、R、G、B、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。さらに、本実施例ではＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、画像メモリ２０に格納する。画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。

次に、画像縮小手段３０は輝度画像データを画像メモリ２０から読み込み、所定の倍率に縮小した輝度画像データを生成する。（Ｓ１０２）これは、本実施例では公知文献２のように様々な大きさの顔の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしたためである。例えば、倍率が1.2倍程度異なる複数の画像への縮小処理が後段の検出処理のために順次適用される。

次に、照合パターン抽出手段４０は縮小された輝度画像データから所定の大きさの部分領域を抽出する。（Ｓ１０３）この様子を図３に示す。図３のAの列は画像縮小手段３０で縮小されたそれぞれの縮小画像を示しており、ここでは、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。図３のBはそれぞれの縮小画像から縦横順次に走査を繰り返していく途中の切り出しの様子を示すものである。図から分かるように、縮小率の大きな画像から照合パターンを切り出して顔の判別を行う場合には、画像に対して大きな顔の検出を行うことになる。なお、本実施例においては矩形領域を切り出して照合パターンとしているが、特に切り出す領域は矩形以外であっても構わない。

次に、第１の顔判別手段５０は、照合パターン抽出手段４０で抽出された照合パターンが顔パターンか非顔パターンかを判別する。（Ｓ１０４）第1の顔判別手段５０には、回転を含まない第1の顔判別手段５０と、顔パターンがある一定量だけ反時計回りに回転したものを顔だと判別できる第1の判別手段５１と、前記第1の顔判別手段５１とは異なる回転量だけ反時計回りに回転した顔パターンを顔だと判別できる第1の顔判別手段５２が存在する。上記３つの第1の顔判別手段５０、５１、５２はそれぞれで並列に照合パターンの判別を行う。このため、ステップＳ１０４は、図２に示すように複数に分岐し、並列に実行される。さらに、時計回りに回転した顔サンプルも判別が出来るように、第1の顔判別手段５１、５２には、一度判定した照合パターンを垂直軸回りに左右反転させ、再度第1の顔判別手段５１、５２に入力し、照合パターンの判定を行う。

次に、パターン回転手段５３、５４で、第1の顔判定手段５１、５２での処理の結果、顔パターンであると判定された照合パターンは、第1の顔判別手段５１、５２での回転方向とは逆の方向に、第1の顔判別手段５１、５２で基準とする回転量だけパターンを回転させる。（Ｓ１０４Ａ）上記処理により、照合パターンの回転量の正規化が行われる。

次に、輝度分布正規化手段６０は、照合パターン抽出手段４０で切り出された照合パターンの輝度を、その分布をもとに正規化する。（Ｓ１０５）例えば、ヒストグラム平滑化などの輝度補正を行う。これは、撮像される被写体パターンは、撮影時の照明条件によって輝度分布が変わるので、被写体照合の精度が劣化するのを抑制するためである。

次に、第２の顔判別手段７０では、第１の顔判別手段５０、５１または５２で顔パターンであると判別され、輝度分布正規化手段６０で輝度を正規化した照合パターンが顔パターンか非顔パターンかを判別する。（Ｓ１０６）
そして、第１の顔判別手段５０および第２の顔判別手段７０で顔と判別されたパターンに対して、顔領域出力手段８０は照合パターン抽出手段４０で抽出した矩形を顔領域として出力する。（Ｓ１０７）
以上、ステップＳ１０３からステップＳ１０７までの処理が、画像縮小手段３０の出力である縮小輝度画像に対して図３に示すように所定のステップにおいて縦横順次に走査が繰り返される。このとき、画像縮小手段倍率が異なる縮小処理が順次適用され、ステップＳ１０２からステップＳ１０７までの処理が繰り返される。

以下、第１の顔判別手段５０および第２の顔判別手段７０における顔判別の方法について、詳細を説明する。

人が被写体の判別を行うときには、被写体の様々な部分の特徴に注目し、それらの特徴の中から被写体の判別に有効な特徴を組合せていると考えられる。例えば、顔の判別を行う場合は、目、口、鼻などの部分に似た特徴があるかどうかの結果を総合的に判断して、対象とするパターンが顔であるかを判定している。そこで本発明では被写体の特徴として多くの局所特徴量を抽出し、局所特徴量を弱判別器としてブースティング学習により性能の良い組合せ判別器を求め、被写体判別に用いることとする。

本実施例では、局所特徴量として、照合パターンのうち所定サイズ、形状の局所領域における線形識別特徴を用いる。例えば、図４に示すように照合パターンＦが２０×２０画素からなる輝度パターンであるとすると、その一部である５×５画素の正方形の局所領域Ｐなどである。この場合、照合パターン内の全ての位置において同様の局所領域Ｐを設定すれば２５６の局所領域が考えられる。

そして局所特徴量としては、照合パターンのうち、顔であるパターンと顔でない（非顔）パターンの多くのサンプルを用い、各局所領域について線形識別に基づく特徴抽出カーネルを求める。最も広く知られている線形識別の方法はフィッシャーの線形識別関数であり、局所領域における顔サンプルの平均と分散を（μO，σO^２）、非顔サンプルの平均と分散を（μN，σN^２）としたとき、以下の（式１）により、特徴抽出カーネルφを求めることになる。なお、argmaxは括弧内の値を最大とするパラメータを求めるという意味であり、固有方程式を解くことによってφが得られる。

φ＝argmax｛（μO−μN）^２／（σO^２＋σN^２）｝（式１）
なお、局所特徴量として、図５のP1、P2、P3に示すように横長の矩形、縦長の矩形など様々な形状、およびサイズの局所領域から得られたものを組合せて用いてもよい。

また、元の照合パターンを縮小して様々な低解像度の照合パターンを作成し、各解像度の照合パターン中の局所特徴量を組合せて用いてもよい。

また、特徴抽出カーネルとしてフィッシャーの線形識別関数から導出されたものを用いたが、その他、線形サポートベクターマシンにより線形識別関数を求めても良い。また、以下の非特許文献５で提案されているＭＲＣを用いてもよい。また、線形識別関数に限定されるものではなく、例えばニューラル・ネットワークにより構成される非線形識別関数を用いてもよい。

次に、以上の局所特徴量の中から被写体の判別に有効な特徴を組合せる方法について説明する。なお、本手法は識別特徴量の中から最初に最も識別性能の良い特徴を抽出し、その性能を補完するように別の特徴を追加していくことで性能向上を図るものでブースティング学習の考え方に基づくアルゴリズムである。図６にそのアルゴリズムを示す。

まず、学習に必要なサンプルを入力する。（Ｓ２０１）本実施例では、サンプルとして顔および非顔の照合パターンを用いる。すなわち、サンプルの特徴ベクトルをｘ_iとすると、ｘ_iは照合パターンが２０×２０画素の輝度パターンの場合、４００の輝度データからなる４００次元の特徴ベクトルということになる。また、サンプルの属するクラスをｙ_iとし、ｙ_iは顔であるかどうかを表し、顔ならば１、非顔ならば-１の値をとるようにする。ここでiはサンプルの番号を表し、全サンプル数をNとするとき、i=1, ．．．, Nである。

次にサンプルの重みを均等になるように初期化する。（S２０２）すなわち、サンプル重みをｄ_iとし、ｄ_i＝１/Nに初期化する。

次にサンプルおよびその重みから局所特徴の抽出を行う。（S２０３）なお、ここで求める局所特徴は前述したように照合パターンの所定の各局所領域について線形識別により得られるφである。ただし、局所特徴の領域の定義により複数の特徴抽出カーネルφ_j（j=1, ．．．, M．Mは局所領域の定義領域の数）を抽出しておく。また、特徴抽出カーネルを求める際に用いる顔、非顔サンプルの平均および分散はサンプル重みを考慮して重み付けられた値を用いる。

次に各局所特徴の識別性能を、サンプルを用いて評価し、最も識別性能の良い特徴を弱判別器として抽出する。（S２０４）即ち、まず、各局所特徴の特徴抽出カーネルφ_jを用いてサンプルｘ_iの各局所領域に対応した局所パターン（ｚ_iとする）から特徴量u_ijを以下の（式２）のように算出する。（Tはベクトルの転置を表す）
u_ij＝φ_jTｚ_i （式２）
そして、特徴量のサンプル分布を所定のサイズの区間（ビン）を持つヒストグラムから推定する。そして、顔サンプルから求めたヒストグラムのｋ番目のビンの値をW_＋ ^ｋ、非顔サンプルから求めたヒストグラムのｋ番目のビンの値をW₋ ^ｋとするとき、以下の（式３）の｛｝内の値を最小とする局所特徴φｔをM個の局所特徴の中から抽出する。なお、ここで求めるヒストグラムの値は特徴量u_ijが相当するビンの範囲に入るサンプル重みｄ_iの総和である。

φ_ｔ＝argmin{Σ_ｋ（√W_＋ ^ｋ・W₋ ^ｋ）} （式３）
すなわち、φｔがｔ＝１番目の弱判別器の特徴抽出カーネルであり、弱判別器の出力は判別する被写体の信頼度を表すもので、特徴量の各値に対応する顔である確率密度（頻度）と非顔である確率密度（頻度）との対数比とする。すなわち、以下の（式４）の値をビンのサイズ分、テーブルとする。但し、εは発散を避けるための適当な小さな定数である。

ｈ_ｔ＝1/2・ln{( W_＋ ^ｋ+ε)/( W₋ ^ｋ+ε)} （式４）
なお、（式４）の代わりに、以下の非特許文献６で提案されている以下の（式５）の値を出力するようにしてもよい。

ｈ_ｔ＝（W_＋ ^ｋ−W₋ ^ｋ＋ε）/（ W₋ ^ｋ＋ W₋ ^ｋ＋ε）（式５）
次に、抽出した弱判別器での各サンプル出力値ｈ_ｔiの値をもとにサンプルの重みを更新する。（S２０５）更新式は以下の（式６）にしたがう。

ｄ_i＝ｄ_i×exp｛−ｙ_i・ｈ_ｔi｝（式６）
なお、（式６）によって抽出した弱判別器で誤判別するサンプルの重みは大きく、正判別するサンプルの重みは小さく更新される。

以上、S２０３〜S２０５の処理を所定回数繰り返し、所定回数分の弱判別器を得る。そして、求めた弱判別器を組合せた判別器を出力する。（S２０６）すなわち、T個の弱判別器を組合せる場合には、組合せ判別器の出力Hは以下の（式７）のようになる。

H＝Σ_ｔｈ_ｔ（ｔ＝1, ．．．, T）（式７）
なお、組合せ判別器の出力Hを求めるのに必要な各弱判別器の特徴抽出カーネル、局所領域を特定する座標値、および特徴抽出カーネルによって求めた特徴量を弱判別器の出力に変換する信頼度テーブルを学習結果として保存しておく。

以上の学習アルゴリズムを用いて被写体判別を行う方法を以下に説明する。すなわち、ここで説明する内容は図１の第１の顔判別手段５０、および第２の顔判別手段７０の処理内容である。以下、第１の顔判別手段５０を例に説明する。図７に第１の顔判別手段５０のブロック図を示す。また、図８に各弱判別器の詳細ブロック図を示す。

まず、第１の顔判別手段５０に入力された照合パターンは弱判別器６０１の局所領域抽出手段６０１１により、特徴量の算出に必要な局所領域の輝度パターンｚが抽出される。そして、特徴量算出手段６０１３は、カーネル記憶手段６０１２に記憶されている学習によって得た特徴抽出カーネルφ₁とから特徴量u₁を以下の（式８）のように算出する。

u₁＝φ₁ ^Tｚ（式８）
そして、テーブル変換手段６０１５は、信頼度テーブル記憶手段６０１４のデータを参照し、求めた特徴量u1が属するビンの番号に基づいてテーブル変換により、被写体信頼度の値を弱判別器の出力とする。

同様に、弱判別器６０２ないし弱判別器６０Ｔの出力が得られ、加算器６００１によって総和を求め、組合せ判別器の出力とする。最後に閾値処理手段６００２は所定の閾値に基づいて、第１の顔判別手段５０の入力パターンが顔かどうかを判定し、その結果を出力する。そして、上記アルゴリズムに基づいて構成された弱判別器を、非特許文献３のように学習によって得た組合せ判別器を直列に繋ぎ、カスケード型の顔検出器を構成する。これによると、顔判別手段６０の構成は図７に示したものの代わりに図９に示すようなものになる。すなわち、組合せ判別器６１、組合せ判別器６２、．．．、組合せ判別器６KのK個の組合せ判別器の直列接続により構成される。なお、各組合せ判別器の構成は図７に示したような弱判別器の組合せからなる。

特に、第１の顔判別手段５０、５１、５２においては、非顔パターンを高精度に除去するため、図６に示したアルゴリズムにより以下のように学習を行う。まず、回転の無い顔パターンを判別する第１の顔判別手段５０の学習サンプルとして、図１０（１）のように照合パターンそのものと、非顔の照合パターンを用いる。そして、Ｓ２０１〜Ｓ２０６の手続きにより学習を行い、弱判別器の特徴抽出カーネル、局所領域を特定する座標値および特徴抽出カーネルによって求めた特徴量を弱判別器の出力に変換する信頼度テーブルを求める。また、回転したサンプルを判別する第1の顔判別手段５１の学習サンプルとして、図１０（２）のように、照合パターンを所定の回転量だけ回転させたものと、非顔の照合パターンを用いて学習を行う。他にも、図１０（３）のように回転したサンプルを判別する第1の顔判別手段５２の学習サンプルとして、照合パターンを前記第1の顔判別手段５１とは異なる回転量だけ回転させたものと、非顔の照合パターンを用いて同様に学習を行う。上記第1の顔判別手段の学習時は、照合パターンの回転方向を統一しているが、前述したように、学習時とは逆方向の回転に対しての顔判定は、照合パターンを垂直軸方向に左右反転させることで検出可能となる。

さらに、第２の顔判別手段７０においては、回転の無い顔パターンを判別可能できる第１の顔判別手段５０と同様の顔を判別するためのパラメータを用意するが、このときのサンプルとして、輝度分布正規化手段６０により輝度分布を正規化した顔パターン、及び非顔パターンを用いる。第１の顔判別手段５０、５１、５２、及び第２の顔判別手段７０は、図７、図８、図９に示した同様の構成となる。なお、本実施例においては、回転サンプル判別手段５１の学習用には２組の照合パターンの組み合わせを用いているが、特に上記組み合わせに限るものではなく、更に多くの組み合わせを用いて学習を行っても良いし、1種類の組み合わせで学習を行っても構わない。

以上、本実施例では、回転した顔パターンも判別可能な構成となっているため、従来より多くの被写体パターンを対象にした検出処理を効率よく行うことができる。

もちろん、本発明において、第１の顔判別手段５０、５１、５２および第２の顔判別手段７０は上記説明したものに限定される訳ではなく、非特許文献２による方法、または、その他の顔判別方法を用いて構成しても良い。

また、上記の実施例では被写体パターンとして人物の顔を検出するようにしたが、その他の被写体のパターンであっても構わない。
［産業上の利用可能性］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の実施例の概略構成を示すブロック図。本発明の実施例の概略処理フローを示す図。画像から顔パターンの探索を行う方法を説明する図。顔の局所領域を説明する図。顔の別の局所領域を説明する図。局所領域の組合せ判別器を学習するアルゴリズムを示す図。本発明による顔判別器の構成を示す図。弱判別器の詳細ブロック図。組合せ判別器の直列接続による顔判別器の構成を示す図。参照パターンの回転に対応した学習の組み合わせを示す図。

Claims

画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体パターンと照合するための所定の部分領域を抽出する照合パターン抽出部と、前記照合パターン抽出部で抽出された部分領域が前記被写体パターンであるかを判別する前記被写体パターンの回転量に対応した複数の第1のパターン判別部と、前記第1のパターン判別部によって前記被写体パターンであると判別された前記部分領域の少なくとも回転量を正規化する画像特性正規化部と、前記画像特性正規化部の出力について前記被写体パターンであるかを判別する第２のパターン判別部を備えた画像処理装置において、前記第1のパターン判別部および第２のパターン判別部は前記被写体パターンから所定の複数の局所特徴量を算出し、前記複数の局所特徴量の判別結果を組み合わせて前記被写体パターンの判別を行うことを特徴とする画像処理装置。
前記被写体が顔であることを特徴とする請求項１に記載の画像処理装置。
画像から所定の被写体パターンを検出する画像処理方法において、画像から前記被写体パターンと照合するための所定の部分領域を抽出する照合パターン抽出手段と、前記照合パターン抽出手段で抽出された部分領域が前記被写体パターンであるかを判別する前記被写体パターンの回転量に対応した複数の第1のパターン判別手段と、前記第1のパターン判別手段によって前記被写体パターンであると判別された前記部分領域の少なくとも回転量を正規化する画像特性正規化手段と、前記画像特性正規化手段の出力について前記被写体パターンであるかを判別する第２のパターン判別手段を備えた画像処理装置において、前記第1のパターン判別手段および第２のパターン判別手段は前記被写体パターンから所定の複数の局所特徴量を算出し、前記複数の局所特徴量の判別結果を組み合わせて前記被写体パターンの判別を行うことを特徴とする画像処理方法。
前記請求項３記載の被写体が顔であることを特徴とする画像処理方法。
請求項３から請求項４のいずれかに記載の画像処理方法を実行するプログラムを記録した記録媒体。