JP2004054956A

JP2004054956A - 顔／類似顔映像で学習されたパターン分類器を利用した顔検出方法及びシステム

Info

Publication number: JP2004054956A
Application number: JP2003276745A
Authority: JP
Inventors: Tae Kyun Kim; 金　泰　均
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-07-19
Filing date: 2003-07-18
Publication date: 2004-02-19
Also published as: US20040022442A1; KR20040008792A; EP1388804A2; EP1388804A3; US7447338B2; KR100442834B1

Abstract

【課題】顔映像及び類似顔映像を利用してパターン分類器を学習し、それを利用して顔を検出するシステム及び方法を提供する。
【解決手段】複数の顔映像及び複数の類似顔映像を入力され、顔映像を表現する複数の顔基底ベクトル及び類似顔映像を表現する複数の類似顔基底ベクトルを抽出する基底ベクトル抽出部と、顔映像及び類似顔映像を基底ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出し、顔検出のための入力映像を基底ベクトルに投影して入力映像特徴ベクトルを抽出する特徴ベクトル抽出部と、顔特徴ベクトルと類似顔特徴ベクトルとを所定のサブクラスに分類し、サブクラスのうち入力映像特徴ベクトルが属するサブクラス番号を出力するクラスタリング部と、各サブクラスに属する顔特徴ベクトル及び類似顔特徴ベクトルを利用し、サブクラスに該当するパターン分類器を学習するパターン分類器学習部と、入力映像特徴ベクトルを入力映像特徴ベクトルの属するサブクラスのパターン分類器に印加し、入力映像が顔であるか否かを判定する顔判定部とを含む。
【選択図】図１Ａ

Description

　本発明は、顔映像及び類似顔映像を利用して学習されたパターン分類器を利用して顔を検出する方法及びシステムに関する。

　顔検出技術は顔認識のための前段階としてだけではなく、ヒューマンコンピュータインタフェース、ビデオ監視システム、顔を利用した映像検索などの多様な応用分野が近年生じてきており、その重要性がますます大きくなっている。最近、顔検出技術についての多くの研究がなされているが、実際生活に適用されるにはまだアルゴリズムの信頼性が低くて速度も満足なものではない。

　かかる問題を解決するために、顔サンプルパターンから決定境界(decision boundary)を学習させて顔検出に利用する方法が研究されている。その代表的な方法としては、ＭＬＰ(Multi Layer Perception)とＳＶＭ(Support Vector Machine)とがある。

　従来のＭＬＰの一つは、local receptive fieldを顔映像に適用した。従来の方法は、多数のＰＣＡ(Principle Component Analysis)空間に映像パターンを投影し、空間に対する距離をＭＬＰの入力として使用した。

　しかし、ＭＬＰを介した学習法は与えられたサンプルデータからのエラーだけを最小化させるので、学習されたデータについてはよく動作するが、学習されていない新しいデータについてはうまく動作することを保証できない。特に、照明、表情、及びポーズの要因による顔映像の多様な変化を考慮する時、ＭＬＰに基づいた方法はサンプルデータの数が多数でなければ信頼性が落ちる。

　これに反し、ＳＶＭは与えられたデータのエラーを最小化させるだけではなく、全体システムのマージンを同時に最大化させるために、ＭＬＰに比べて新しいパターンについての一般化能力にすぐれる。従来の技術は、ＳＶＭを顔映像にそのまま適用し、ある程度信頼性ある顔検出結果を得ていたが、実生活に適用されるにはまだ満足できない。他の従来技術は顔映像をそのまま使用せずに、独立成分分析法（ＩＣＡ：Independent Component Analysis）を介して特徴を抽出し、ＳＶＭを適用することにより顔検出の信頼性が多少向上した。しかし、かかる従来の技術は信頼性ある顔検出性能を得るために一般的に非線形ＳＶＭを使用するが、それは演算量が多くてアルゴリズムの実行速度が遅いという問題点がある。

　本発明の目的は、顔検出のためのパターン分類器の信頼性を高めるために、顔及び類似顔パターンを利用してパターン分類器を学習させる方法、ならびにそれを利用した顔検出方法及びシステムを提供することである。

　本発明の他の目的は、顔検出の速度を改善するために、複数の並列のパターン分類器を学習させる方法、ならびにそれを利用した顔検出方法及びシステムを提供することである。

　前述の最初の目的を達成するため、本発明の顔／類似顔映像で学習されたパターン分類器を利用した顔検出システムは、複数の顔映像及び複数の類似顔映像を入力され、顔映像を表現する複数の顔基底ベクトル及び複数の類似顔映像を表現する複数の類似顔基底ベクトルを抽出する基底ベクトル抽出部と、顔映像及び類似顔映像を顔／類似顔特徴ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出し、顔検出のための入力映像を基底ベクトルに投影して入力映像特徴ベクトルを抽出する特徴ベクトル抽出部と、顔特徴ベクトル及び類似顔特徴ベクトルを利用してパターン分類器を学習させるパターン分類器学習部と、入力映像特徴ベクトルをパターン分類器に印加（入力）し、入力映像が顔映像であるか否かを判定する顔判定部とを含む。

　また、前述の最初の目的を達成するための顔／類似顔映像で学習されたパターン分類器を利用した顔検出方法は、（ａ）複数の顔映像及び複数の類似顔映像を入力され、顔映像を表現する複数の顔基底ベクトル及び類似顔映像を表現する複数の類似顔基底ベクトルを抽出する段階と、（ｂ）顔映像及び類似顔映像を顔及び類似顔基底ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出する段階と、（ｃ）顔特徴ベクトル及び類似顔特徴ベクトルを利用してパターン分類器を学習させる段階と、（ｄ）顔検出のための入力映像を基底ベクトルに投影して入力映像の特徴ベクトルを抽出し、入力映像の特徴ベクトルをパターン分類器に印加し、パターン分類器で入力映像が顔映像であるか否かを判定する段階とを含む。

　一方、前述の本発明の最初及び次の目的を同時に達成するための顔／類似顔映像で学習されたパターン分類器を利用した顔検出システムは、複数の顔映像及び複数の類似顔映像を入力され、顔映像を表現する複数の顔基底ベクトル及び類似顔映像を表現する複数の類似顔基底ベクトルを抽出する基底ベクトル抽出部と、顔映像及び類似顔映像をそれぞれの基底ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出し、顔検出のための入力映像を基底ベクトルに投影して入力映像特徴ベクトルを抽出する特徴ベクトル抽出部と、顔特徴ベクトルと類似顔特徴ベクトルとを所定のサブクラスに分類し、サブクラスのうち入力映像特徴ベクトルの属するサブクラス番号を出力するクラスタリング部と、各サブクラスに属する顔特徴ベクトル及び類似顔特徴ベクトルを利用し、サブクラスに該当するパターン分類器を学習するパターン分類器学習部と、入力映像特徴ベクトルを入力映像特徴ベクトルの属するサブクラスのパターン分類器に印加し、入力映像が顔であるか否かを判定する顔判定部とを含む。

　また、前述の本発明の最初及び次の目的を同時に達成するための、顔／類似顔映像で学習されたパターン分類器を利用した顔検出方法は、（ａ）複数の顔映像及び複数の類似顔映像を入力され、顔映像を表現する複数の顔基底ベクトル及び類似顔映像を表現する複数の類似顔基底ベクトルを抽出する段階と、（ｂ）顔映像及び類似顔映像をそれぞれの基底ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出する段階と、（ｃ）顔特徴ベクトルと類似顔特徴ベクトルとを所定のサブクラスに分類する段階と、（ｄ）各サブクラスに属する顔特徴ベクトル及び類似顔特徴ベクトルを利用してサブクラスに該当するパターン分類器を学習する段階と、（ｅ）顔検出のための入力映像の特徴ベクトルを抽出し、入力映像特徴ベクトルを入力映像特徴ベクトルが属するサブクラスのパターン分類器に印加し、入力映像が顔であるか否かを判定する段階とを含む。

　また、前記（ｅ）段階は（ｅ１）顔検出のための入力映像を基底ベクトルに投影して入力映像特徴値を得、前記特徴値を利用して入力映像特徴ベクトルを抽出する段階と、（ｅ２）サブクラスのうち入力映像特徴ベクトルの属するサブクラスを決定する段階と、（ｅ３）入力映像特徴ベクトルを入力映像特徴ベクトルの属するサブクラスのパターン分類器に印加し、入力映像が顔であるか否かを判定する段階とを含むことが望ましい。

　本発明は顔映像だけではなく、類似顔映像を学習データとして利用して顔パターン分類器に学習させることにより、照明や表情などが学習されたデータとは異なる顔映像が入れば顔ではないと判断するか、顔ではないが顔とある程度類似したパターンを顔であると判断する従来技術の誤りを大きく減らせる。

　併せて、本発明は顔パターン分類器の学習に既存に多用されるＰＣＡの代わりに、ＰＣＡとＩＣＡとを結合して使用することにより最終的な検出性能を向上させられるだけではなく、顔及び類似顔の特徴を表現する特徴値として残余誤差値を利用することにより顔学習及び顔検出性能を大きく向上させられる。

　また、本発明は既存の特徴ベクトルを単一の顔パターン分類器に学習させたものとは異なり、顔パターン分類器を並列化することにより、少数のサポートベクトルで効果的に決定バウンダリーを表現でき、大きいマージンを得ることができる。その結果、高い信頼性が保証され、正確性だけではなく決定バウンダリーの演算量を大きく減らして新しいパターンが入力された時に判断速度を大きく向上させられる。

　以下、添付した図面を参照して本発明の望ましい実施例を説明する。
　本発明の望ましい実施例はパターン分類器としてＳＶＭ(Support Vector Machine)を利用し、以下本明細書及び添付された図面はＳＶＭをパターン分類器と同じ意味に使用した。

　図１Ａは本発明の望ましい実施例による顔検出システムのパターン分類器学習システムの構成を示したブロック図である。

　本発明のパターン分類器学習システムは、顔映像を貯蔵した顔データベース（ＤＢ）１００、顔と類似したパターンの映像を貯蔵した類似顔ＤＢ１０５、顔ＤＢ１００及び類似顔ＤＢ１０５から複数の映像をそれぞれ入力されて映像を表現する複数の基底ベクトルを抽出する基底ベクトル抽出部１１０、顔ＤＢ１００及び類似顔ＤＢ１０５に貯蔵された顔映像及び類似顔映像を複数の基底ベクトルに投影して、各特徴ベクトル及び残余誤差値を出力する特徴抽出部１２０、特徴抽出部１２０から受信された特徴ベクトルを所定のサブクラスに分類するクラスタリング部１３０ａ、各サブクラス別に特徴ベクトルを貯蔵する特徴クラスＤＢ１４０、各サブクラス別にＳＶＭを学習させるＳＶＭ学習部１５０を含む。

　以下、本発明の望ましい実施例による顔検出方法を説明するフローチャートである図３Ａを参照して本発明のパターン分類器の学習過程及び顔検出過程を説明する。
　本発明はパターン分類器を学習させるために、多様な表情と照明とが反映されたさまざまな人の顔映像を顔ＤＢ１００に構築し、顔映像とパターン距離が類似した多数の映像を類似顔ＤＢ１０５に構築する（Ｓ３００）。

　顔ではないパターンはその種類があまりにも多様であってモデリングに大きな意味がなく、またモデリングも困難である。そのため、顔ではないパターンであるが、顔と似ていて誤りを起こしうるパターンを類似顔サンプルとして収集する。類似顔サンプルを収集する方法は多様である。本発明では、平均顔映像パターンとのユークリッド距離が一定値以下の映像パターンを収集して初期の類似顔ＤＢ１０５を構築した。また、パターン分類器を設計してから顔検出を実施した後で誤りが検出された顔ではないパターンを類似顔サンプルとして収集して類似顔ＤＢ１０５に貯蔵して学習を反復した。

　顔ＤＢ１００及び類似顔ＤＢ１０５に貯蔵された映像は基底ベクトル抽出部１１０に出力されて基底ベクトルが抽出される（Ｓ３１０，Ｓ３２０）。図１Ｂを参照して基底ベクトル抽出部１１０の構成を説明すれば、基底ベクトル抽出部１１０は、入力された映像にＰＣＡ(Principle Component Analysis)を行ってＰＣＡ基底ベクトルを抽出するＰＣＡ基底ベクトル抽出部１１２と、ＰＣＡ基底ベクトル抽出部１１２から入力されたＰＣＡ基底ベクトルを貯蔵していて出力する第１顔基底ベクトルＤＢ１１４及び第１類似顔基底ベクトルＤＢ１１５と、基底ベクトルＤＢ１１４，１１５から入力された基底ベクトルにＩＣＡ(Independent Component Analysis)を行ってＩＣＡ基底ベクトルを出力するＩＣＡ基底ベクトル抽出部１１６と、顔映像についてのＩＣＡ基底ベクトルを貯蔵する第２顔基底ベクトルＤＢ１１８及び第２類似顔基底ベクトルＤＢ１１９とを含む。

　顔ＤＢ１００から出力された顔映像は基底ベクトル抽出部１１０のＰＣＡ基底ベクトル抽出部１１２に入力され、ＰＣＡ基底ベクトル抽出部１１２は入力された映像についてＰＣＡを行ってＰＣＡ基底ベクトルを抽出する（Ｓ３１０）。

　ＰＣＡ基底ベクトル抽出部１１２は顔ＤＢ１００から入力された顔映像の目の座標を利用し、顔映像の位置と大きさとを正規化する。その後、ＰＣＡを行って顔空間をよく表現できるＰＣＡ基底ベクトルを抽出する。類似顔ＤＢ１０５から入力された類似顔映像についてもＰＣＡを行い、類似顔空間の基底ベクトルを抽出する。

　図４Ａは３０個の顔映像についてのＰＣＡ基底ベクトルを映像に表現した図面であり、図４Ｂは３０個の類似顔映像についてのＰＣＡ基底ベクトルを映像に表現した図面である。

　このように抽出されたＰＣＡ基底ベクトルのうち顔映像についての基底ベクトルは第１顔基底ベクトルＤＢ１１４に、類似顔映像についての基底ベクトルは第１類似顔基底ベクトルＤＢ１１５にそれぞれ貯蔵される。各ＤＢ別に貯蔵された基底ベクトルのうち固有値の大きいＮ個の基底ベクトルがＩＣＡ基底ベクトル抽出部１１６に出力される。併せて、ＰＣＡ基底ベクトルをＤＢ１１４，１１５に貯蔵せずにＰＣＡ基底ベクトル抽出部１１２からＩＣＡ基底ベクトル抽出部１１６に直接出力できることはもちろんである。

　ＩＣＡ基底ベクトル抽出部１１６は入力された顔及び類似顔ＰＣＡ基底ベクトルについてＩＣＡを行ってＩＣＡ基底ベクトルを抽出する（Ｓ３２０）。

　従来のパターン分類器学習システム及び方法は、映像の隣接画素間の２次元的関係を考慮するＰＣＡだけを使用してパターン分類器を学習したが、本発明は、隣接していない画素間の関係までも表現することにより映像の高次元的表現が可能なように、ＰＣＡ基底ベクトルについてＩＣＡを行ってＩＣＡ基底ベクトルを抽出し、かように抽出されたＩＣＡ基底ベクトルはＰＣＡベクトルに比べて優れた顔の表現性能を示す。

　図４Ｃは、３０個の顔映像についてのＩＣＡ基底ベクトルを映像に表現した図面であり、図４Ｄは、３０個の類似顔映像についてのＩＣＡ基底ベクトルを映像に表現した図面である。

　前述のごとく基底ベクトル抽出部１１０にて抽出された顔映像及び類似顔映像の基底ベクトルは特徴抽出部１２０に出力されて顔映像及び類似顔映像の特徴ベクトル抽出に利用される。

　図１Ｃを参照すれば、特徴抽出部１２０は顔映像及び顔類似映像の特徴ベクトルを抽出する特徴ベクトル抽出部１２２と、顔特徴ベクトルを貯蔵する顔特徴ベクトルＤＢ１２４と、類似顔特徴ベクトルを貯蔵する類似顔特徴ベクトルＤＢ１２６とを含む。

　特徴ベクトル抽出部１２２は、基底ベクトル抽出部１１０から出力された顔基底ベクトル及び類似顔基底ベクトルに、顔ＤＢ１００及び類似顔ＤＢ１０５に貯蔵された顔映像及び類似顔映像をそれぞれ投影し、各ベクトルについての係数及び残余誤差値より構成される顔特徴ベクトル及び類似顔特徴ベクトルを抽出する（Ｓ３３０）。

　特徴ベクトル抽出部１２２は、まず１つの顔映像を顔映像から抽出されたＮ個の顔基底ベクトルに投影してＮ個の特徴値（投影係数）を抽出し、同映像を類似顔映像から得られたＮ個の類似顔基底ベクトルに投影してＮ個の特徴値を抽出し、その結果、全体で２Ｎ個の特徴値を得る。

　同様に、特徴ベクトル抽出部１２２は１つの類似顔映像を顔映像の場合と同じ方法で顔基底ベクトルに投影してＮ個の特徴値（投影係数）を得、類似顔基底ベクトルに投影してＮ個の特徴値を得、類似顔映像一つについて全体で２Ｎ個の特徴値を得る。

　一方、特徴ベクトル抽出部１２２は前述の特徴値（投影係数）以外に、パターン分類器を学習させるための特徴値として残余誤差値を計算する（Ｓ３４０）。

　残余誤差値というのは、各映像をＮ個の基底ベクトルに投影して得られた特徴値（投影係数）を前記基底ベクトルにかけ合わせて映像を復元した時、復元された映像のベクトルと投影前映像の実際ベクトル間の距離を示すものである。顔映像を顔基底ベクトルＮ個を利用して復元する場合には残余誤差値が小さいが、類似顔映像を顔基底ベクトルＮ個を利用して復元する場合は残余誤差値が大きい。反対に、顔映像を類似顔基底ベクトルＮ個を利用して復元する場合には残余誤差値が大きいが、類似顔映像を類似顔基底ベクトルＮ個を利用し復元する場合には残余誤差値が小さくなる。

　図５は、学習に使用した顔と類似顔映像の残余誤差値を示したグラフである。図５に示されたように、顔映像と類似顔映像の残余誤差値を同時に使用する時、二つの残余誤差値だけでも概略的にクラスを区分できることを確認できる。従って、本発明はパターン分類器の信頼性を高めるために顔と類似顔とを区分する特徴ベクトルを抽出するための値として前述の２Ｎ個の特徴値及び二つの残余誤差値を使用する。

　特徴ベクトル抽出部１２２は１つの映像について得られた２Ｎ＋２つの特徴値を利用して１つの特徴ベクトルを抽出し、顔映像についての特徴ベクトルは顔特徴ベクトルＤＢ１２４に、類似顔映像についての特徴ベクトルは類似顔特徴ベクトルＤＢ１２６にそれぞれ貯蔵された後、クラスタリング部１３０ａに出力される。

　クラスタリング部１３０ａはまず、入力された顔特徴ベクトルを所定のサブクラスに分類し、各サブクラスを代表する中心顔特徴ベクトルを選定する（Ｓ３５０）。

　本発明は、顔特徴ベクトルを「k-means clustering」アルゴリズムを使用して、複数のサブクラスに分類し、この時サブクラスの数は可変的でありうる。クラスタリング部１３０ａは　k-means clusteringアルゴリズムにより顔映像特徴ベクトル間のユークリッド距離を測定し、ユークリッド距離が近いもの同士をまとめて所定のサブクラスに顔特徴ベクトルを分類して特徴クラスＤＢ１４０に貯蔵する。その後、各サブクラスに貯蔵された顔特徴ベクトルのベクトル平均に最も近接な顔特徴ベクトルを各サブクラスを代表する中心顔特徴ベクトルとして選定する。

　図６は顔特徴ベクトルを１０個のサブクラスに分類した時、各サブクラスの中心顔特徴ベクトルを映像に表現した図面である。各映像に大きい差はないが、照明、表情、角度によって少しずつ異なって現れる。

　クラスタリング部１３０ａは顔特徴ベクトルを所定のサブクラスに分類した後、類似顔特徴ベクトルを同じサブクラスに分類する（Ｓ３６０）。

　クラスタリング部１３０ａは全ての類似顔特徴ベクトルとサブクラスの中心顔ベクトル間のユークリッド距離を測定し、ユークリッド距離が最も近いサブクラスに類似顔特徴ベクトルを割り当てる。従って、顔特徴ベクトル及び類似顔特徴ベクトルを含む所定のサブクラスが得られる。

　特徴ベクトルが所定のサブクラスに分類された後、パターン分類器学習部１５０は各サブクラスの顔特徴ベクトル及び類似顔特徴ベクトルを利用し、サブクラス別にパターン分類器を学習させる（Ｓ３７０）。

　図７を参照すれば、クラス１は顔特徴ベクトルを、クラス２は類似顔特徴ベクトルをそれぞれ示す。図７に示されたように顔や類似顔クラスのように特徴ベクトルの数が多くて多様な変化を有する場合は、その分布が１つの中心と分散とでは容易に表現されず、多様な形態で特徴ベクトルが分布する。従って、複雑なクラスを１つの決定バウンダリーに区分しなければならない場合には演算がかなり複雑であって長時間がかかり、ＳＶＭを学習させて信頼できる決定バウンダリーを得ることもまた容易ではない。

　従って、本発明は図７の右上と右下とに示されたように、全体クラスを前述のような所定のサブクラスに分類した後に、各サブクラス別に顔特徴ベクトル及び類似顔特徴ベクトルを利用してＳＶＭを学習させることにより、学習に必要な演算量を大幅に減少させて迅速でかつ信頼性あるバウンダリー決定が可能になる。

　前述のような過程を介して本発明のパターン分類器が学習されて顔検出のための映像が入力されれば、学習されたパターン分類器を利用して顔を検出する（Ｓ３８０）。

　以下、本発明の顔検出システムの構成を簡略に示したブロック図である図２及び第Ｓ３８０段階の詳細フローチャートである図３Ｂを参照して顔検出過程を説明する。

　まず、顔検出のための映像は特徴ベクトル抽出部１２２に入力される（Ｓ３８１）。

　図２の特徴ベクトル抽出部１２２は図１Ｃに示された特徴ベクトル抽出部１２２とその機能が同一である。すなわち、特徴ベクトル抽出部１２２は、入力映像を基底ベクトル抽出部１１０から入力されたＮ個の顔基底ベクトル及び類似顔基底ベクトルにそれぞれ投影して２Ｎ個の特徴値を得る（Ｓ３８３）。

　一方、特徴ベクトル抽出部１２２は、入力映像について前述の第Ｓ３４０段階と同じ方法で残余誤差値を計算し、２Ｎ個の特徴値（投影係数）と２つの残余誤差値を利用して１つの特徴ベクトルを抽出してクラスタリング部１３０ｂに出力する（Ｓ３８５）。

　クラスタリング部１３０ｂは、入力映像の特徴ベクトルと前述の学習段階にて分類されたサブクラスの中心顔特徴ベクトル間のユークリッド距離を測定し、ユークリッド距離が最も近い中心顔特徴ベクトルの属するサブクラスを入力映像が属するサブクラスに決定して前記サブクラス番号を顔判定部１６０に出力する（Ｓ３８７）。

　顔判定部１６０は、入力されたサブクラス番号に該当するパターン分類器に、顔検出のための入力映像の特徴ベクトルを入力し、入力映像に表現されたパターンが顔であるか否かを判断する（Ｓ３８９）。

　前述の方法及びシステムにより学習されたパターン分類器を利用して顔検出を行った実験データを表１及び図８に図示した。

　本実験のために類似顔映像は、最初に学習段階で顔の平均テンプレートをマッチングさせることにより選定され、ブートストラップ技法により拡大された。一方、本発明の顔検出性能実験のために、顔検出用入力映像に２つの白黒イメージ集合が使われた。集合ＡはオリベッティイメージＤＢから抽出された、映像ごとに１つの顔が込められた４００枚の高画質映像より構成されて、集合Ｂは　ローリ（Ｒｏｗｌｅｙ）イメージＤＢから抽出された全体１７２名の顔映像が含まれた多様な画質の３６個の映像より構成される。

　入力映像から顔を検出するために、本発明のパターン分類器はできる限り全ての位置及びスケールの探索窓について顔があるかを判定した。

　表１の従来技術は、顔映像から５０個のＩＣＡ特徴値を抽出して学習したパターン分類器を利用して顔検出を行い、本発明は、顔映像及び類似顔映像からそれぞれ抽出された５０個ずつの特徴値と２つの残余誤差値とを利用して学習したパターン分類器を利用して顔検出を行った。前記表１及び集合Ｂについての検出率を表した図８に示すように、顔検出率が大きく向上したことが分かる。

　一方、顔及び類似顔特徴ベクトルを単一パターン分類器に学習させた場合と顔及び類似顔特徴ベクトルを所定のサブクラスに分類して各サブクラス別にパターン分類器に学習させた場合、すなわちパターン分類器を並列化した場合の前述の集合Ｂについての顔検出性能実験結果を下の表２に表した。

　前記表２にて示されたように、同じ検出率を示す単一分類器に比べて並列化されたパターン分類器はさらに大きいマージンを有するので、検出誤差の確率がさらに低い。そして、一層少ないサポートベクトル（ＳＶ）を有するので、単一分類器より約３．７倍速い検出速度を示すことが分かる。

　本発明はまたコンピュータにて読み込みうる記録媒体にコンピュータが読み込めるコードでもって具現できる。コンピュータの読み込める記録媒体はコンピュータシステムにより読み込めるデータが貯蔵される全種の記録装置を含む。コンピュータが読み込める記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ貯蔵装置などがあり、またキャリアウエーブ（例えばインターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータが読み込める記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み込めるコードが貯蔵されて実行されうる。

　これまで本発明についてその望ましい実施例を中心に説明した。本発明が属する技術分野にて当業者は本発明が本発明の本質的な特性を外れない範囲にて変形された形態に具現できることを理解するであろう。従って、開示された実施例は限定的な観点ではなくして説明的な観点から考慮されなければならない。本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にある全ての差異点は本発明に含まれたものと解釈されるものである。

本発明の望ましい実施例による顔検出システムのパターン分類器学習システムの構成を示したブロック図である。図１Ａに示された基底ベクトル抽出部の詳細ブロック図である。図１Ａに示された特徴抽出部の詳細ブロック図である。本発明の顔検出システムの構成を簡略に示したブロック図である。本発明の望ましい実施例による顔検出方法を説明するフローチャートである。図３Ａに示したＳ３８０段階の詳細フローチャートである。３０個の顔映像についてのＰＣＡ基底ベクトルを映像に表現した図面である。３０個の類似顔映像についてのＰＣＡ基底ベクトルを映像に表現した図面である。３０個の顔映像についてのＩＣＡ基底ベクトルを映像に表現した図面である。３０個の類似顔映像についてのＩＣＡ基底ベクトルを映像に表現した図面である。本発明の望ましい実施例により計算された残余誤差値を示した図面である。本発明の望ましい実施例によるサブクラスの中心顔特徴ベクトルを示した図面である。本発明の望ましい実施例によるパターン分類器の学習過程を説明する図面である。本発明のパターン分類器による検出率を示した図面である。

符号の説明

　１００　顔ＤＢ
　１０５　類似顔ＤＢ
　１１０　基底ベクトル抽出器
　１２０　特徴抽出部
　１３０ａ　クラスタリング部
　１４０　特徴クラスＤＢ
　１５０　ＳＶＭ学習部

Claims

　顔／類似顔映像で学習されたパターン分類器を利用した顔検出法であり、
　（ａ）複数の顔映像及び複数の類似顔映像を入力され、前記顔映像を表現する複数の顔基底ベクトル及び前記類似顔映像を表現する複数の類似顔基底ベクトルを抽出する段階と、
　（ｂ）前記顔映像及び前記類似顔映像を前記顔及び類似顔基底ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出する段階と、
　（ｃ）前記顔特徴ベクトルと前記類似顔特徴ベクトルとを所定のサブクラスに分類する段階と、
　（ｄ）前記各サブクラスに属する顔特徴ベクトル及び類似顔特徴ベクトルを利用して前記サブクラスに該当するパターン分類器を学習させる段階と、
　（ｅ）顔検出のための入力映像の特徴ベクトルを抽出し、前記入力映像特徴ベクトルを前記入力映像特徴ベクトルが属するサブクラスのパターン分類器に印加し、入力映像が顔であるか否かを判定する段階とを含むことを特徴とする顔検出法。
　前記（ｅ）段階は、
　（ｅ１）顔検出のための入力映像を前記基底ベクトルに投影して入力映像の特徴値を得、前記特徴値を利用して入力映像特徴ベクトルを抽出する段階と、
　（ｅ２）前記サブクラスのうち入力映像特徴ベクトルの属するサブクラスを決定する段階と、
　（ｅ３）前記入力映像特徴ベクトルを前記入力映像特徴ベクトルの属するサブクラスのパターン分類器に印加し、入力映像が顔であるか否かを判定する段階とを含むことを特徴とする請求項１に記載の顔検出法。
　顔／類似顔映像で学習されたパターン分類器を利用した顔検出法であり、
　（ａ）複数の顔映像及び複数の類似顔映像を入力され、前記顔映像を表現する複数の顔基底ベクトル及び前記類似顔映像を表現する複数の類似顔基底ベクトルを抽出する段階と、
　（ｂ）前記顔映像及び前記類似顔映像を前記顔及び類似顔基底ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出する段階と、
　（ｃ）前記顔特徴ベクトル及び類似顔特徴ベクトルを利用してパターン分類器を学習する段階と、
　（ｄ）顔検出のための入力映像を前記基底ベクトルに投影して入力映像の特徴ベクトルを抽出し、前記入力映像の特徴ベクトルを前記パターン分類器に印加して前記入力映像が顔映像であるか否かを判定する段階とを含むことを特徴とする顔検出法。
　前記（ａ）段階は、
　（ａ１）入力された複数の顔映像及び複数の類似顔映像それぞれに主成分分析法（ＰＣＡ）を行い、前記顔映像についてのＰＣＡ基底ベクトル及び前記類似顔映像についてのＰＣＡ基底ベクトルを抽出する段階と、
　（ａ２）入力された前記各ＰＣＡ基底ベクトルについて独立成分分析法（ＩＣＡ）を行い、ＩＣＡ基底ベクトルを前記顔基底ベクトル及び前記類似顔基底ベクトルとして出力する段階とを含むことを特徴とする請求項１ないし３のうちいずれの１項に記載の顔検出法。
　前記（ａ）段階は、
　前記顔基底ベクトル及び前記類似顔基底ベクトルを貯蔵する段階をさらに含むことを特徴とする請求項４に記載の顔検出法。
　前記（ｂ）段階は、
　（ｂ１）前記顔映像及び前記類似顔映像を前記基底ベクトルに投影して投影係数を求める段階と、
　（ｂ２）前記投影係数を前記基底ベクトルにかけ合わせて復元した値と、前記顔映像及び前記類似顔映像のそれぞれとの差である残余誤差値を計算する段階と、
　（ｂ３）前記投影係数値及び残余誤差値を利用して顔映像及び類似顔映像の特徴ベクトルを抽出する段階とを含むことを特徴とする請求項１ないし３のうちいずれか１項に記載の顔検出法。
　前記（ｃ）段階は、
　（ｃ１）前記顔特徴ベクトルの各ユークリッド距離を測定し、前記距離が近い特徴ベクトルごとに所定のサブクラスに分類する段階と、
　（ｃ２）前記各サブクラスに含まれた顔特徴ベクトルのベクトル平均により中心顔特徴ベクトルを選定する段階とを含むことを特徴とする請求項１あるいは２に記載の顔検出法。
　前記（ｃ）段階は、
　前記類似顔特徴ベクトルと前記中心顔ベクトルとのユークリッド距離を測定し、前記類似顔特徴ベクトルをユークリッド距離が最も近い中心顔ベクトルの属するサブクラスに分類する段階をさらに含むことを特徴とする請求項７に記載の顔検出法。
　前記（ｃ）段階は、
　ｋ−ｍｅａｎｓクラスタリングアルゴリズムを使用して顔特徴ベクトルを所定のサブクラスに分類することを特徴とする請求項１あるいは２に記載の顔検出法。
　前記（ｅ１）段階は、
　前記入力映像を前記顔基底ベクトル及び前記類似顔基底ベクトルに投影して計算された投影係数を前記基底ベクトルにかけ合わせて復元した値と、前記入力映像との差である残余誤差値とを計算する段階を含み、前記入力映像特徴ベクトルは前記投影係数値及び前記残余誤差値を利用して抽出されることを特徴とする請求項２に記載の顔検出法。
　請求項１ないし３のうちいずれか１項の方法をコンピュータにて実行可能なプログラムコードで記録した記録媒体。
　顔／類似顔映像で学習されたパターン分類器を利用した顔検出システムであり、
　複数の顔映像及び複数の類似顔映像を入力され、前記顔映像を表現する複数の顔基底ベクトル及び前記類似顔映像を表現する複数の類似顔基底ベクトルを抽出する基底ベクトル抽出部と、
　前記顔映像及び前記類似顔映像を前記顔及び類似顔基底ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出し、顔検出のための入力映像を前記基底ベクトルに投影して入力映像特徴ベクトルを抽出する特徴ベクトル抽出部と、
　前記顔特徴ベクトルと前記類似顔特徴ベクトルとを所定のサブクラスに分類し、前記サブクラスのうち入力映像特徴ベクトルが属するサブクラス番号を出力するクラスタリング部と、
　前記各サブクラスに属する顔特徴ベクトル及び類似顔特徴ベクトルを利用し、前記サブクラスに該当するパターン分類器を学習するパターン分類器学習部と、
　前記入力映像特徴ベクトルを前記入力映像特徴ベクトルの属するサブクラスのパターン分類器に印加し、入力映像が顔であるか否かを判定する顔判定部とを含むことを特徴とする顔検出システム。
　顔／類似顔映像で学習されたパターン分類器を利用した顔検出システムであり、
　複数の顔映像及び複数の類似顔映像を入力され、前記顔映像を表現する複数の顔基底ベクトル及び前記複数の類似顔映像を表現する複数の類似顔基底ベクトルを抽出する基底ベクトル抽出部と、
　前記顔映像及び前記類似顔映像を前記顔及び類似顔特徴ベクトルに投影して顔特徴ベクトル及び類似顔特徴ベクトルを抽出し、顔検出のための入力映像を前記基底ベクトルに投影して入力映像特徴ベクトルを抽出する特徴ベクトル抽出部と、
　前記顔特徴ベクトル及び類似顔特徴ベクトルを利用してパターン分類器を学習するパターン分類器学習部と、
　前記入力映像特徴ベクトルを前記パターン分類器に印加して前記入力映像が顔映像であるか否かを判定する顔判定部とを含むことを特徴とする顔検出システム。
　前記基底ベクトル抽出部は、
　入力された複数の顔映像及び複数の類似顔映像それぞれにＰＣＡを行い、前記顔映像についてのＰＣＡ基底ベクトル及び前記類似顔映像についてのＰＣＡ基底ベクトルを抽出するＰＣＡ基底ベクトル抽出部と、
　入力された前記各ＰＣＡ基底ベクトルについてＩＣＡを行い、前記顔基底ベクトル及び前記類似顔基底ベクトルを出力するＩＣＡ基底ベクトル抽出部とを含むことを特徴とする請求項１２あるいは１３に記載の顔検出システム。
　前記基底ベクトル抽出部は、
　前記顔基底ベクトルを貯蔵する顔基底ベクトル貯蔵部と、
　前記類似顔基底ベクトルを貯蔵する類似顔基底ベクトル貯蔵部とを含むことを特徴とする請求項１４記載の顔検出システム。
　前記特徴ベクトル抽出部は、
　前記顔映像、前記類似顔映像、及び前記入力映像を前記顔基底ベクトル及び前記類似顔基底ベクトルに投影して投影係数を求め、前記投影係数を前記基底ベクトルにかけ合わせて復元した値と、前記顔映像、前記類似顔映像及び前記入力映像との差である残余誤差値を求め、前記投影係数及び前記誤差値を利用して顔特徴ベクトル、類似顔特徴ベクトル及び入力映像特徴ベクトルを抽出することを特徴とする請求項１２あるいは１３に記載の顔検出システム。
　前記クラスタリング部は、
　前記顔特徴ベクトルのユークリッド距離を測定し、前記距離が近い特徴ベクトルごとに所定のサブクラスに分類し、前記各サブクラスに含まれた顔特徴ベクトルのベクトル平均により中心顔特徴ベクトルを選定することを特徴とする請求項１２に記載の顔検出システム。
　前記クラスタリング部は、
　前記類似顔特徴ベクトルと前記中心顔特徴ベクトルとのユークリッド距離を測定し、前記類似顔特徴ベクトルをユークリッド距離が最も近い中心顔特徴ベクトルの属するサブクラスに分類することを特徴とする請求項１７に記載の顔検出システム。
　前記クラスタリング部は、
　前記入力映像の特徴ベクトルと前記各サブクラスの中心顔特徴ベクトルとのユークリッド距離を測定し、前記距離が最も近いサブクラスに前記入力映像の特徴ベクトルを分類することを特徴とする請求項１７に記載の顔検出システム。
　前記クラスタリング部は　ｋ−ｍｅａｎｓクラスタリングアルゴリズムを使用して顔特徴ベクトルを所定のサブクラスに分類することを特徴とする請求項１７ないし１９のうちいずれか１項に記載の顔検出システム。