JP2010271861A - オブジェクト識別装置及びオブジェクト識別方法 - Google Patents

Abstract

【課題】登録時と認証時に撮影条件又は変動条件等が異なった場合でも、高精度な識別を行うことを目的とする。
【解決手段】オブジェクト辞書データ生成手段によって生成されたオブジェクト辞書データからオブジェクトの属性に基づいてオブジェクト辞書データを選択するオブジェクト辞書データ選択手段とオブジェクト辞書データ選択手段で選択されたオブジェクト辞書データとオブジェクト識別用データとを照合し照合した結果に基づいてオブジェクトの属するクラスを識別するオブジェクト識別器を保持するオブジェクト識別器保持手段とオブジェクト属性推定手段で推定されたオブジェクトの属性に基づいてオブジェクト識別器を選択又は再構成するオブジェクト識別器選択・再構成手段とを有することによって課題を解決する。
【選択図】図５

Description

本発明は、オブジェクト識別装置及びオブジェクト識別方法に関する。

画像データ中の被写体であるオブジェクトが、別の画像中の被写体であるオブジェクトと同一のものであると識別する技術として、例えば、個人の顔を識別する顔識別技術がある。以下、本明細書では、オブジェクトの識別とは、オブジェクトの個体の違い（例えば、個人としての人物の違い）を判定することを意味する。一方、オブジェクトの検出は、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、顔を検出する）、ことを意味するものとする。
顔識別技術として、例えば、非特許文献１のような技術がある。この技術は、顔による個人の識別問題を、差分顔と呼ばれる特徴クラスの２クラス識別問題に置き換えることによって、顔の登録・追加学習をリアルタイムに行うことを可能にした記述である。

例えば、一般によく知られているサポートベクターマシン（ＳＶＭ）を用いた顔識別では、ｎ人分の人物の顔を識別するために、登録された人物の顔と、それ以外の顔を識別するｎ個のＳＶＭ識別器が必要になる。人物の顔を登録する際には、ＳＶＭの学習が必要となる。ＳＶＭの学習には、登録したい人物の顔と、既に登録されている人物とその他の人物の顔データが大量に必要で、非常に計算時間がかかるため、予め計算しておく手法が一般的であった。
しかし、非特許文献１の方法によれば、個人識別の問題を、次に挙げる２クラスの識別問題に置き換えることよって、追加学習を実質的に不要にすることができる。即ち、
・ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓ：同一人物の画像間の、照明変動、表情・向き等の変動特徴クラス
・ｅｘｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓ：異なる人物の画像間の、変動特徴クラス
の２クラスである。

前記２クラスの分布は、特定の個人によらず一定であると仮定して、個人の顔識別問題を、前記２クラスの識別問題に帰着させて識別器を構成する。予め、大量の画像を準備して、同一人物間の変動特徴クラスと、異なる人物間の変動特徴クラスと、の識別を行う識別器を学習する。新たな登録者は、顔の画像（若しくは必要な特徴を抽出した結果）のみを保持すればよい。識別する際には２枚の画像から差分特徴を取り出し、前記識別器で、同一人物なのか異なる人物なのかを判定する。このようにすることで、個人の顔登録の際にＳＶＭ等の学習が不要になり、リアルタイムで登録を行うことができる。

上述したような、オブジェクト（より具体的には、人物の顔）の識別をｉｎｔｒａ−ｃｌａｓｓとｅｘｔｒａ−ｃｌａｓｓとの２クラス問題に帰着させて解く装置及び方法において、識別性能を低下させる要因として、２枚の画像間の変動が挙げられる。即ち、識別対象であるオブジェクト（人物の顔）の２枚の画像間の変動、より具体的には、照明条件、向き・姿勢や、表情による変動等が大きくなると、識別性能が大幅に低下してしまう。
この問題に対して、特許文献１では、２枚の画像から、自然な撮影条件で一般的に起こりうる変動に対して頑健な特徴量を抽出することによって、識別性能を向上させる手法の提案がなされている。より具体的には、顔画像の局所的な特徴量をガボァフィルタによって抽出し、２枚の画像間での相関値（類似度）を求め、それらを複数箇所で求め特徴ベクトルを生成する。さらに、この特徴ベクトルをＳＶＭによる識別器に入力することによって、ｉｎｔｒａ−ｃｌａｓｓとｅｘｔｒａ−ｃｌａｓｓとの識別を行っている。

特開２００６−４００３号公報

Ｂａｂａｃｋ Ｍｏｇｈａｄｄａｍ，Ｂｅｙｏｎｄ Ｅｉｇｅｎｆａｃｅｓ：Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ（Ｍ．Ｉ．Ｔ Ｍｅｄｉａ Ｌａｂｏｒａｔｏｒｙ Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．４３３），ＰｒｏｂａｂｉｌｉｓｔｉｃＶｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ． １９， Ｎｏ． ７， ＪＵＬＹ １９９７）

しかしながら、人物の顔のような変動が大きく、更に撮影条件が様々な環境においても、頑健な特徴量を見つけることは難しい。特に、カメラ等撮像装置への応用を考えた場合、登録時と識別時とでは、画像の撮影条件及び変動（向き、表情）が、大きく異なることが一般的であり、識別率向上が大きな問題点であった。

本発明はこのような問題点に鑑みなされたもので、登録時と認証時に撮影条件又は変動条件等が異なった場合でも、高精度な識別を行うことを目的とする。

そこで、本発明は、オブジェクトがどのクラスに属するか識別するオブジェクト識別装置であって、撮像されたオブジェクトの画像データから前記オブジェクトの識別用データを生成するオブジェクト識別用データ生成手段と、前記識別用データに基づいて、前記オブジェクトの属性を推定するオブジェクト属性推定手段と、所定の変動が与えられた前記オブジェクトの画像データに基づいて、オブジェクト辞書データを生成するオブジェクト辞書データ生成手段と、前記オブジェクト辞書データ生成手段によって生成された、オブジェクト辞書データから、前記オブジェクト属性推定手段で推定されたオブジェクトの属性に基づいて、前記オブジェクト辞書データを選択するオブジェクト辞書データ選択手段と、前記オブジェクト辞書データ選択手段で選択されたオブジェクト辞書データと、前記オブジェクト識別用データと、を照合し、照合した結果に基づいて、前記オブジェクトの属するクラスを識別するオブジェクト識別器を少なくとも１つ保持するオブジェクト識別器保持手段と、前記オブジェクト属性推定手段で推定されたオブジェクトの属性に基づいて、前記オブジェクト識別器を選択、又は再構成するオブジェクト識別器選択・再構成手段と、を有することを特徴とする。
かかる構成とすることにより、登録時と認証時に撮影条件又は変動条件等が異なった場合でも、高精度な識別を行うことができる。
また、本発明は、オブジェクト識別方法としてもよい。

本発明によれば、登録時と認証時に撮影条件又は変動条件等が異なった場合でも、高精度な識別を行うことができる。

オブジェクト識別装置の構成の一例を示す図である。 オブジェクト識別装置における全体処理の一例を示したフローチャートである。 オブジェクト登録部の一例を示したブロック図である。 オブジェクト識別部の一例を示したブロック図である。 オブジェクト識別部で行われる識別処理の一例を示したフローチャートである。 図５のＳ１４のオブジェクト識別器選択・再構成処理の一例を示したフローチャートである。 オブジェクトの属性と、オブジェクト識別器と、の対応を表にしたＬＵＴの一例を示す図である。 ＳＶＭを用いた２クラス識別器の再構成処理の一例を示したフローチャートである。 オブジェクト識別演算部の一例を示すブロック図である。 オブジェクト識別演算処理の一例を示したフローチャートである。 オブジェクト登録部５Ａの一例を示すブロック図である。 オブジェクト識別部６Ａの一例を示すブロック図である。 オブジェクト識別部６Ａで行われる処理の一例を示したフローチャートである。 図１３のＳ５４のオブジェクト属性一致度評価処理の一例を示したフローチャートである。 オブジェクト識別器を弱識別器のツリー構造で構成した場合の模式図である。 オブジェクト識別演算部の処理の一部である識別結果の統合処理の一例を示したフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
以下、図面を参照して実施形態１について図面に基づいて説明する。
図１は、オブジェクト識別装置の構成の一例を示す図である。図１に示すように、オブジェクト識別装置１００は、結像光学系１、撮像部２、撮像制御部３、画像記録部４、オブジェクト登録部５、オブジェクト識別部６、外部出力部７、バス８を含む。
なお、オブジェクト登録部５、オブジェクト識別部６は、典型的には、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵ等）であってもよい。また、オブジェクト登録部５、オブジェクト識別部６は、単一の専用回路及び汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラム（又はソフトウェア）として存在してもよい。
結像光学系１は、ズーム機構を備えた光学レンズで構成される。また、結像光学系１は、パン・チルト軸方向の駆動機構を備えてもよい。

撮像部２の映像センサとしては典型的にはＣＣＤ又はＣＭＯＳイメージセンサが用いられ、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号（例えば、サブサンプリング、ブロック読み出しして得られる信号）が画像データとして出力される。
撮像制御部３は、撮影者からの指示（画角調整指示、シャッター押下、等）及びオブジェクト登録部５又はオブジェクト識別部６からの情報を基に、実際に撮影が行われるタイミングを制御する。
画像記録部４は、半導体メモリ等で構成され、撮像部２から転送された画像データを保持し、オブジェクト登録部５、オブジェクト識別部６からの要求に応じて、所定のタイミングで、画像データを転送する。
オブジェクト登録部５は、画像データから識別の対象とするオブジェクトの情報を抽出し、記録・保持する。オブジェクト登録部５のより詳細な構成及び実際に行われる処理のより具体的な内容については、後で詳しく説明する。

オブジェクト識別部６は、画像データ及びオブジェクト登録部５から取得したデータを基に、画像データ中のオブジェクトの識別を行う。オブジェクト識別部６に関して、より具体的な構成及び行われる処理の詳細については、後で詳しく説明する。
外部出力部７は、典型的には、ＣＲＴやＴＦＴ液晶等のモニタであり、撮像部２及び画像記録部４から取得した画像データを表示したり、又は、画像データにオブジェクト登録部５及びオブジェクト識別部６の結果出力を重畳表示したりする。また、外部出力部７は、オブジェクト登録部５及びオブジェクト識別部６の結果出力を電子データとして、外部メモリ等に出力するようにしてもよい。
バス８は、前記構成要素間の制御・データ接続を行う。

（全体フロー）
図２は、オブジェクト識別装置における全体処理の一例を示したフローチャートである。図２を参照しながら、このオブジェクト識別装置１００が、画像データからオブジェクトの識別を行う実際の処理について説明する。なお、以下では、識別するオブジェクトが人物の顔である場合を例に説明を行う。
初めに、オブジェクト識別部６は、画像記録部４から画像データを取得する（Ｓ００）。続いて、オブジェクト識別部６は、取得した画像データに対して、人の顔の検出処理を行う（Ｓ０１）。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。オブジェクト識別部６は、例えば、「特許３０７８１６６号公報」や「特開２００２−８０３２号公報」で提案されているような技術を用いることができる。
オブジェクト識別部６は、対象オブジェクトである人物の顔の検出処理をしたのち、画像中に人の顔が存在するならば（Ｓ０２でＹｅｓの場合）、オブジェクト識別処理、即ち個人の識別処理を行う（Ｓ０３）。オブジェクト識別部６は、画像中に人の顔が存在しない場合（Ｓ０２でＮｏの場合）には、図２に示す処理を終了する。オブジェクト識別処理（Ｓ０３）のより具体的な処理内容については、後で詳しく説明する。

オブジェクト識別部６は、オブジェクト識別処理の結果から、登録済みの人物に該当する顔があるか判定する（Ｓ０４）。オブジェクト識別部６は、Ｓ０１で検出した顔と同一人物が、登録済みの人物の中にある場合（Ｓ０４でＹｅｓの場合）には、Ｓ０７の処理に進む。検出された顔が、登録済み人物の誰とも一致しない場合（Ｓ０４でＮｏの場合）には、オブジェクト識別部６は、その人物を登録するか否かを判定する（Ｓ０５）。人物を登録するか否かを、予め設定していてもよいし、例えばユーザが外部インターフェースやＧＵＩ等を通じて、その場で登録するかどうか決定し、オブジェクト識別部６は、この決定に基づいて登録を行ったり、登録を行わなかったりするようにしてもよい。
登録すると判定された場合（Ｓ０５でＹｅｓの場合）、オブジェクト登録部５は、後述するオブジェクト（人物の顔）の登録処理を行う（Ｓ０６）。登録を行わないと判定した場合（Ｓ０５でＮｏの場合）、オブジェクト識別部６は、そのまま処理を続行する。Ｓ０６のオブジェクト登録処理後、又はＳ０５で登録を行わないと判定した場合、オブジェクト識別部６は、検出されたオブジェクト全てについて処理が終わったか否かを判定する（Ｓ０７）。未処理のオブジェクトがある場合（Ｓ０７でＮｏの場合）、オブジェクト識別部６は、Ｓ０３まで処理を戻す。検出された全てのオブジェクトについて処理が終わった場合（Ｓ０７でＹｅｓの場合）、オブジェクト識別部６は、一連のオブジェクト識別処理の結果を、外部出力部７に出力する。
以上が、本実施形態にかかるオブジェクト識別装置の全体の処理フローである。

（オブジェクト登録部）
図３は、オブジェクト登録部の一例を示したブロック図である。図３に示すように、オブジェクト登録部５は、オブジェクト辞書データ生成部２１、オブジェクト変動データ生成部２２、オブジェクト辞書データ保持部２３、オブジェクト辞書データ選択部２４を含む。
オブジェクト辞書データ生成部２１は、画像記録部４から取得した画像データから、オブジェクトの個体を識別するために必要なオブジェクト辞書データを生成する。例えば、非特許文献１にあるようなｉｎｔｒａ−ｃｌａｓｓ及びｅｘｔｒａ−ｃｌａｓｓの２クラス問題を判別する場合、典型的には、人物の顔画像を辞書データとすればよい。オブジェクト辞書データ生成部２１は、オブジェクト検出処理によって検出されたオブジェクトの画像データを、大きさや向き（面内回転方向）等を正規化したのち、オブジェクト辞書データ保持部２３に格納する。なお、オブジェクト辞書データ生成部２１は、画像データそのものではなく、識別時に必要なデータのみをオブジェクト辞書データ保持部２３に格納するようにしてもよい。例えば、オブジェクト辞書データ生成部２１は、オブジェクトを含んだ画像に対して、主成分分析や独立成分分析を用いて、射影したベクトルのみをオブジェクト辞書データ保持部２３に保持させる。このようにすることによって、データ量を削減することができる上に、識別処理の計算時間も短縮することができる。また、オブジェクト辞書データ生成部２１は、ｉｎｔｒａ−ｃｌａｓｓ、ｅｘｔｒａ−ｃｌａｓｓの２クラス問題ではなく、例えば、オブジェクト識別処理で、局所領域のベクトル相関をとって識別演算を行う場合、その局所領域のみを切り出すようにしてもよい。
以上のように、オブジェクト辞書データ生成部２１は、適宜必要な情報を画像から抽出し、オブジェクト辞書データ保持部２３に格納する。

オブジェクト変動データ生成部２２は、オブジェクト辞書データ生成部２１から受け取ったオブジェクトのデータ、典型的には画像データに対して、変動を与えたデータをオブジェクト辞書データ生成部２１に提供する。これによって、オブジェクト辞書データ生成部２１は、変動を加えたオブジェクト辞書データを生成することができる。
ここでオブジェクトに与える変動としては、単純には、画像に対するノイズや色相、解像度等の変動がある。また、オブジェクトに与える変動としては、照明条件や、オブジェクトの向き・姿勢等の変動もある。また、オブジェクトが人物である場合、表情の変化等をオブジェクトに与える変動として含めてもよい。例えば、オブジェクト変動データ生成部２２は、予めオブジェクトの３次元データを保持しておくことで、オブジェクトの向き・姿勢を変化させた場合の画像を取得することができる。照明条件についても、オブジェクト変動データ生成部２２が、３次元データと照明位置、光源等とを光線追跡法等の光学シミュレーションにより計算することによって、様々な照明条件でのオブジェクトの画像データを取得することができる。３次元データは、個々のオブジェクトの３次元データをオブジェクト変動データ生成部２２が、予め入手しておいてもよいが、ジェネリックな３次元データ（人物の顔であれば、共通化された平均顔３次元モデル）を用いるとよい。３次元データにオブジェクトの画像データを対応付けるのに、オブジェクト変動データ生成部２２は、公知の技術を用いることができる。表情の変動においては、オブジェクト変動データ生成部２２は、例えば人物の表情筋のモデルを用いて、任意の表情を作り出すことによって、変動を作り出すことができる。

オブジェクト辞書データ選択部２４は、後述するオブジェクト識別部６の要求に応じて、オブジェクト辞書データ保持部２３から必要なオブジェクト辞書データを読み出して、オブジェクト識別部６にオブジェクト辞書データを転送する。なお、オブジェクト辞書データ選択部２４は、後述するオブジェクト識別部６から、後述するオブジェクト属性推定部３３で推定されたオブジェクトの属性を含む要求を受信するようにしてもよい。前記要求を受信した場合、オブジェクト辞書データ選択部２４は、要求に含まれるオブジェクトの属性に基づいて、オブジェクト辞書データを１つ又は複数、オブジェクト辞書データ保持部２３から選択する。

（オブジェクト識別部）
図４は、オブジェクト識別部の一例を示したブロック図である。図４に示すように、オブジェクト識別部６は、オブジェクト識別用データ生成部３１、オブジェクト辞書データ取得部３２、オブジェクト属性推定部３３、オブジェクト識別演算部３４、オブジェクト識別器選択・再構成部３５、オブジェクト識別器保持部３６を含む。
オブジェクト識別用データ生成部３１は、画像記録部４から取得した画像データから、オブジェクトの識別に必要な情報の抽出を行う。ここで行われる処理については、後で詳しく説明する。
オブジェクト辞書データ取得部３２は、オブジェクト登録部５より、オブジェクトの辞書データを取得する。

オブジェクト属性推定部３３は、オブジェクト識別用データ生成部３１より取得したオブジェクトの情報から、オブジェクトの属性について推定する処理を行う。推定を行う具体的な属性は、オブジェクトの大きさ、姿勢・向き、照明条件等である。オブジェクトが人物である場合、オブジェクト属性推定部３３は、更に、人物の年齢、性別、表情、等の属性を推定する。これらの属性推定には公知の技術を用いることができる。オブジェクト属性推定部３３は、例えば「特開２００３−２４２４８６号公報」のような方法を用いることで、人物の属性を検出（又は推定）することができる。
オブジェクト識別演算部３４は、オブジェクト識別用データ生成部３１から取得したデータと、オブジェクト辞書データ取得部３２から得た辞書データと、から、オブジェクトの固体識別処理を行う。ここで行われる処理については、後で詳しく説明する。
オブジェクト識別器選択・再構成部３５は、オブジェクト属性推定部３３より得られたオブジェクトの属性から、この属性に適したオブジェクト識別器を選択又は、適するように識別器の再構成を行う。ここで行われる識別器の選択処理及び再構成処理についても後で詳しく説明する。
オブジェクト識別器保持部３６は、異なったアルゴリズムの種類又は学習条件・パラメータ等の、オブジェクト識別器を複数保持している。後述するオブジェクト識別器選択・再構成処理によって、適切なオブジェクト識別器が選択・再構成され、オブジェクト識別演算部３４に設定される。なおオブジェクト識別器は、オブジェクト辞書データ選択部２４で選択されたオブジェクト辞書データと、オブジェクト識別用データ生成部３１で生成されたオブジェクト識別用データと、を照合し、照合した結果に基づいてオブジェクトの属するクラスを識別する。

図５は、オブジェクト識別部で行われる識別処理の一例を示したフローチャートである。まず、オブジェクト辞書データ取得部３２は、オブジェクト登録部５からオブジェクト辞書データを取得する（Ｓ１０）。次に、オブジェクト識別用データ生成部３１は、画像記録部４よりオブジェクト画像データを取得する（Ｓ１１）。続いて、オブジェクト識別用データ生成部３１は、オブジェクト識別用データ生成処理を行う（Ｓ１２）。典型的には、オブジェクト識別用データ生成部３１は、Ｓ１１で取得した画像データについて、大きさや向き（面内回転）について正規化処理を行う。

次に、オブジェクト属性推定部３３は、Ｓ１２で生成されたオブジェクト識別用データに基づいて、オブジェクトの属性推定処理を行う（Ｓ１３）。上述したように、オブジェクト属性推定部３３は、属性推定には公知の技術を用いる。なお、オブジェクト属性推定部３３は、属性推定に、カメラパラメータを用いるようにしてもよい。例えば、オブジェクト属性推定部３３は、撮像制御部３から制御用のＡＥ、ＡＦに関するパラメータを取得することによって、照明条件等の属性を精度良く推定することができる。ここで、カメラパラメータの具体例として、露出条件、ホワイトバランス、ピント、オブジェクトの大きさ等がある。例えば、オブジェクト属性推定部３３は、予め作成された露出条件及びホワイトバランスと、肌色成分領域に対応する色成分との対応表を、ルックアップテーブルとして保持しておくことで、撮影条件に影響されないオブジェクトの色属性を推定することができる。また、オブジェクト属性推定部３３は、被写体であるオブジェクトまでの距離をＡＦ等の距離測定手段を用いることによって測定し、オブジェクトの大きさを推定することができる。より詳細には、オブジェクト属性推定部３３は、以下の式に従ってオブジェクトの大きさを推定することができる。
ｓ ＝ （ ｆ／ｄ − ｆ ）・Ｓ
ここで、ｓはオブジェクトの画像上での大きさ（ピクセル数）、ｆは焦点距離、ｄは装置からオブジェクトまでの距離、Ｓはオブジェクトの実際の大きさ、である。但し（ｄ＞ｆ）であるとする。このように、撮影条件に影響されないオブジェクトの大きさを属性として推定することができる。

次に、オブジェクト識別器選択・再構成部３５は、オブジェクト属性推定の結果を用いて、オブジェクト識別器の選択・再構成処理を行う（Ｓ１４）。ここで行われる処理の詳細については、後で説明することにする。
Ｓ１４で対象オブジェクトの属性に対して適切な識別器が設定されたのち、オブジェクト識別演算部３４において、オブジェクト識別演算処理が行われる（Ｓ１５）。オブジェクト識別演算処理の出力として、登録済みデータ（辞書データ）との一致をバイナリ（０ｏｒ１）で出力する場合と、正規化した出力値（０〜１の実数値）で出力する場合と、がある。更に、オブジェクト識別演算部３４は、登録オブジェクト（登録者）が複数（複数人）ある場合には、それぞれの登録オブジェクト（登録者）に対して、出力値を出力してもよいが、最も良く一致した登録データだけを出力してもよい。なお、オブジェクト識別演算処理のより具体的な内容についても、後で詳しく説明する。
以上が、オブジェクト識別部６における処理フローの説明である。

（オブジェクト識別器選択・再構成処理）
図６は、図５のＳ１４のオブジェクト識別器選択・再構成処理の一例を示したフローチャートである。
オブジェクト識別器選択・再構成部３５は、オブジェクト識別用データの属性値を取得し（Ｓ２１）、オブジェクト識別器保持部３６のオブジェクト識別器の中から対象オブジェクトの識別に適したオブジェクト識別器の選択を行う（Ｓ２２）。
ここで、選択されるオブジェクト識別器は、１つである場合もあるが、複数であってもよい。
オブジェクト識別器の選択には、例えばルックアップテーブル（ＬＵＴ）を用いる方法がある。図７は、オブジェクトの属性と、オブジェクト識別器と、の対応を表にしたＬＵＴの一例を示す図である。テーブルの１行目が、オブジェクト識別器の番号を表し、２行目以降には、オブジェクト識別器のアルゴリズムを表す識別子や、カメラパラメータ、オブジェクト識別器の対応する変動範囲等が列挙されている。ここで、変動範囲とは、典型的には、オブジェクト識別器学習時の学習データの変動範囲のことである。オブジェクト識別器選択・再構成部３５は、このＬＵＴの中から、Ｓ１３の属性推定結果に最も一致する、属性と対応付けられたオブジェクト識別器を１つか、又はそれに類似するオブジェクト識別器を複数、選択すればよい。また、オブジェクト識別器選択・再構成部３５は、変動範囲だけでなく、予め対応する変動範囲での識別性能を測定しておくことによって、ＬＵＴ内に識別成績（スコア）を保持するようにしてもよい。オブジェクト識別器選択・再構成部３５は、このスコアの値と変動範囲とを勘案して、オブジェクト識別器を選択するようにしてもよい。更には、オブジェクト識別器選択・再構成部３５は、識別性能だけではなく、処理時間も予め計測しておくことによって、識別器選択のための評価に組み入れてもよい。
Ｓ２２でオブジェクト識別器の選択を行った後、オブジェクト識別器選択・再構成部３５は、識別器の再構成処理を行う（Ｓ２３）。再構成処理の具体的な内容は、実際に選択されたオブジェクト識別器のアルゴリズムに依存する。ここでは、例としてｉｎｔｒａ−ｃｌａｓｓ、ｅｘｔｒａ−ｃｌａｓｓの２クラス問題を識別する、ＳＶＭを用いたオブジェクト識別器の再構成処理について説明する。

図８は、ＳＶＭを用いた２クラス識別器の再構成処理の一例を示したフローチャートである。
まず、オブジェクト識別器選択・再構成部３５は、選択したオブジェクト識別器を取得する（Ｓ３０）。オブジェクト識別器の数が１つか複数かで、以下の処理が分かれる（Ｓ３１）。取得した識別器が複数であった場合（Ｓ３１でＹｅｓの場合）、オブジェクト識別器選択・再構成部３５は、各オブジェクト識別器（ＳＶＭ）の重み付けと閾値とを計算する。ここで、重み付けの値は、典型的には、変動範囲が最もよく一致するＳＶＭ識別器の重みを大きくするようにするとよい。また、オブジェクト識別器選択・再構成部３５は、識別器選択の際に用いた、識別性能によるスコアを参照して、性能の高いＳＶＭ識別器の重みを相対的に大きくしてもよい。また、オブジェクト識別器選択・再構成部３５は、閾値調整に関して、予め閾値と識別率とのテーブルを保持しておくことによって、識別率と誤識別率との調整を行うことができる。

選択された識別器が１つであった場合（Ｓ３１でＮｏの場合）、オブジェクト識別器選択・再構成部３５は、閾値調整を行う（Ｓ３２）。ＳＶＭ識別器の重み付け及び閾値調整が終わった後、オブジェクト識別器選択・再構成部３５は、処理速度の算出を行う（Ｓ３４）。演算速度の算出は、各ＳＶＭ識別器が保持している、典型的な入力データに関して計測したデータを用いることで実現することができる。オブジェクト識別器選択・再構成部３５は、各ＳＶＭ識別器の処理時間を積算して、１つの識別器としての処理時間を見積もる。また、オブジェクト識別器選択・再構成部３５は、実際の計測値ではなく、サポートベクターの数とカーネル関数の種類によって、概算して処理時間を見積もるようにしてもよい。
処理時間を算出した後、オブジェクト識別器選択・再構成部３５は、閾値調整後の識別性能と処理時間とを勘案して、識別器として性能を満足するか判定する（Ｓ３４）。条件を満足しない場合（Ｓ３５でＮｏの場合）、オブジェクト識別器選択・再構成部３５は、サポートベクター数を削減する処理を行う（Ｓ３６）。サポートベクターの削減方法は、例えば「Ｂｕｒｇｅｓ， Ｃ．Ｊ．Ｃ（１９９６）． "Ｓｉｍｐｌｉｆｉｅｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄｅｃｉｓｉｏｎ ｒｕｌｅｓ．" Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ （ｐｐ．７１−７７）．」に記載されているような方法を用いて、予めサポートベクターを削除したＳＶＭ識別器を複数用意しておくことで実現することができる。以下、オブジェクト識別器選択・再構成部３５は、識別性能と処理時間との条件を満たす構成が見つかるまでＳ３４からＳ３６までの処理を繰り返す。なお、オブジェクト識別器選択・再構成部３５は、前記処理を所定回数繰り返したところで、繰り返しを止めるようにしてもよい。
以上のようにすることで、オブジェクト識別器選択・再構成部３５は、ＳＶＭ識別器（オブジェクト識別器）の再構成を行う。

また、重み付け平均以外にも複数ＳＶＭ識別器をカスケード接続するようにしてもよい。このような接続形態の場合オブジェクト識別器選択・再構成部３５は、対象とする変動範囲が異なるＳＶＭ識別器を複数選ぶのではなく、変動範囲がほぼ同じ（変動範囲の差が所定内）で精度と速度とに関するトレードオフがある識別器を複数選ぶようにしてもよい。即ち、オブジェクト識別器選択・再構成部３５は、処理速度は速いが、精度が劣るもの（誤識別率が高いもの）と、精度は高いが演算コストが大きいものと、組み合わせる。オブジェクト識別器選択・再構成部３５は、速度と精度とを両立させるために、複数ＳＶＭ識別器を演算する順番を最適化する。オブジェクト識別器選択・再構成部３５は、各ＳＶＭ識別器を、識別の結果、ｉｎｔｒａ−ｃｌａｓｓと識別された場合だけ後段のＳＶＭ識別器が処理を行うようにする（演算打ち切り）。演算打ち切りを行う閾値は、予めオフラインで閾値と識別率のテーブルとを求めておくことで、設定することができる。

また、オブジェクト識別器選択・再構成部３５は、ＳＶＭ識別器を１つ選んだ場合でも、上述したサポートベクター削減方法を用いて、カスケード接続型ＳＶＭ識別器を構成することができる。即ち、オブジェクト識別器選択・再構成部３５は、１つのＳＶＭ識別器から、サポートベクター数の異なる複数のＳＶＭ識別器を作ることで、段階的に識別性能を向上させたカスケード接続ＳＶＭ識別器を作ることができる。
以上が、ＳＶＭ識別器における再構成方法の一例を示した説明である。なお、以上説明したオブジェクト識別器再構成処理は、一般に実行時の処理コストが高い。そのため、オブジェクト識別用データの属性が同程度のものに対しては、２度目の演算以降は、１回目の再構成結果を保持したものを用いる等、処理コストを低減する工夫を取り入れるとよい。

（オブジェクト識別演算処理）
オブジェクト識別演算処理について説明する。ここでは、一例として、ｉｎｔｒａｌ−ｃｌａｓｓ、ｅｘｔｒａ−ｃｌａｓｓの２クラス問題を、ＳＶＭ識別器を用いて判定する場合について説明する。
図９は、オブジェクト識別演算部の一例を示すブロック図である。オブジェクト識別演算部３４は、オブジェクト識別用データ取得部４１、オブジェクト辞書データ取得部４２、変動特徴抽出部４３、ＳＶＭ識別器４４、識別結果保持部４５、識別結果統合部４６を含む。

図１０は、オブジェクト識別演算処理の一例を示したフローチャートである。以下この図を用いて説明する。
始めに、オブジェクト識別演算部３４は、オブジェクト識別用データ生成部３１よりオブジェクト識別用データを取得する（Ｓ４０）。続いて、オブジェクト識別演算部３４は、オブジェクト辞書データ取得部３２よりオブジェクト辞書データを取得する（Ｓ４１）。次に、オブジェクト識別演算部３４は、Ｓ４０及びＳ４１で取得したオブジェクト識別用データ及びオブジェクト辞書データに基づいて、変動特徴抽出処理を行う（Ｓ４２）。ここで、変動特徴とは、典型的には２枚の画像から抽出される、同一オブジェクト間の変動、又は異なるオブジェクト間の変動、の何れかに属する特徴のことである。変動特徴の定義は様々なものが考えられているが、ここでは、一例として、局所特徴をベースとした特徴量を考える。

まず、オブジェクト識別演算部３４は、オブジェクト辞書データとオブジェクト識別用データとのそれぞれについて、顔画像から、目、口、鼻等構成要素の端点を検出する。オブジェクト識別演算部３４は、端点を検出するアルゴリズムとして、例えば、特許３０７８１６６号広報に記載の畳み込み神経回路網を用いた方法等を用いることができる。オブジェクト識別演算部３４は、端点を検出した後、この端点を基準として、所定領域の輝度値をベクトルとして取得する。領域の数は任意であるが、典型的には、一つの部位の端点に対して端点とその周辺について数点をとる。端点は、左右の目、口の両端点、鼻、等個人の特徴を現すと考えられる部位を予め選択しておく。更に、オブジェクト識別演算部３４は、辞書データと、識別用データとで、同じ領域ベクトル間で相関値（内積）を計算し、その相関値を成分とするベクトルを変動特徴ベクトルとする。前記定義によれば、変動特徴ベクトルの次元数は、領域数（前記の場合、端点数×（周辺数＋１））と一致する。

また、オブジェクト識別演算部３４は、輝度値を直接取得するのではなく、ガボアフィルタ等何らかのフィルタ演算を施した結果からベクトルを抽出してもよい。更には、オブジェクト識別演算部３４は、主成分分析（ＰＣＡ）や独立成分分析（ＩＣＡ）等次元圧縮を施した結果からベクトル抽出をしてもよい。また、オブジェクト識別演算部３４は、相関値を取る前に、ＰＣＡやＩＣＡで次元圧縮するようにしてもよい。
オブジェクト識別演算部３４は、Ｓ４２で取得した取得した変動特徴ベクトルをＳＶＭ識別器に投入する（Ｓ４３）。ＳＶＭによる識別演算は、識別器選択・再構成処理の説明で述べたように、複数のＳＶＭ識別器を用いるとよい。局所領域の数を増やすと、それだけ変動特徴ベクトルの次元数が増え、演算時間が増加するので、処理時間を優先した場合、カスケード接続型のＳＶＭ識別器が有効である。この場合、ＳＶＭ識別器は局所領域ごとに訓練されたもので構成される。そして、オブジェクト識別演算部３４は、変動特徴ベクトルを、局所領域ごとに分割してＳＶＭ識別器に投入する。このようにすることで、演算時間を削減することができる。一方、識別精度を重視する場合、ＳＶＭ識別器を並列に演算し、演算結果について重み付け和をとるようにするとよい。この場合でも、上述したように、サポートベクター数を削減するアルゴリズムを適用することで、ある程度演算時間を短縮することができる。

オブジェクト識別演算部３４は、Ｓ４３で算出された辞書データとオブジェクト識別用データとの識別結果を識別結果保持部４５に保持する（Ｓ４４）。次に、オブジェクト識別演算部３４は、全ての辞書データについて、識別演算が終わったか否かを判定する（Ｓ４５）。まだ辞書データがある場合（Ｓ４５でＮｏの場合）、オブジェクト識別演算部３４は、Ｓ４１に戻る。全ての辞書データについて識別演算が終わった場合（Ｓ４５でＹｅｓの場合）、オブジェクト識別演算部３４は、識別結果の統合処理を行う（Ｓ４６）。識別結果の統合処理として、オブジェクト識別演算部３４は、例えば、最も単純には、ＳＶＭ識別器が回帰値を出力する識別器であった場合、最も値の高かった辞書データを、識別結果として出力する。また、オブジェクト識別演算部３４は、一致度の高かった上位数名の結果をリストとして出力するようにしてもよい。また、オブジェクト識別演算部３４は、ＳＶＭ識別器がバイナリ出力である、又は回帰値の出力レベルが一定でない等、複数の辞書データと識別対象オブジェクトが一致し、かつ、その優劣が判断できない場合、以下のような方法を採るとよい。即ち、オブジェクト識別演算部３４は、識別対象オブジェクトの属性と、オブジェクト識別器の変動範囲と、の一致度が高いものの結果を優先するように判定する。オブジェクトの属性と、識別器の変動範囲と、が一致していれば、その結果は妥当性が高いと予想される。
以上が、オブジェクト識別演算処理の説明である。

＜実施形態２＞
以下、図面を参照して実施形態２について図面に基づいて説明する。
実施形態２は、実施形態１に対して、オブジェクト登録部と、オブジェクト識別部と、の処理内容が異なる。
実施形態１では、識別対象オブジェクトの属性値のみに対応してオブジェクト識別器を選択・再構成していた。それに対して、本実施形態では、オブジェクト辞書データの属性と識別対象オブジェクトの属性との一致度を評価して、その一致度を基にオブジェクト識別器とオブジェクト辞書データとの選択及び再構成・再生成を行う点が異なる。
また、本実施形態では、オブジェクト識別器の識別器構成が実施形態１と異なっている。
以下、より具体的に説明する。なお、重複を避けるため、以下の説明において、実施形態１と同じ部分は、省略する。本実施形態に係わるオブジェクト識別装置全体の構成を説明するブロック図は実施形態１と同一である。なお、説明の便宜上、本実施形態においても、識別する対象となるオブジェクトを、画像中の人物の顔としているが、本実施形態は、人物の顔以外のオブジェクトにも適用可能である。

（オブジェクト登録処理）
図１１は、オブジェクト登録部５Ａの一例を示すブロック図である。オブジェクト登録部５Ａは、オブジェクト辞書データ生成部５１、オブジェクト変動データ生成部５２、オブジェクト辞書データ保持部５３、オブジェクト辞書データ属性評価部５４、オブジェクト辞書データ選択部５５を含む。実施形態１と異なるのは、新たにオブジェクト辞書データ属性評価部５４が加わった点である。
オブジェクト辞書データ属性評価部５４は、登録されたオブジェクトの辞書データについて、その属性を評価する。評価する属性の項目及び方法は、実施形態１のオブジェクト識別部６のオブジェクトの属性の推定の方法と同様に行えばよい。また、 オブジェクト辞書データ属性評価部５４は、オブジェクト変動データ生成部５２によって与えられた変動によって生成された辞書データについては、その変動要素についても記録しておく。このオブジェクト辞書データ属性評価部５４で評価された属性データは、後段のオブジェクト識別処理で用いられる。

（オブジェクト識別処理）
図１２は、オブジェクト識別部６Ａの一例を示すブロック図である。図１２に示すように、オブジェクト識別部６Ａは、オブジェクト識別用データ生成部６１、オブジェクト辞書データ取得部６２、オブジェクト属性推定部６３、オブジェクト属性一致度評価部６４、オブジェクト識別演算部６５を含む。また、オブジェクト識別部６Ａは、オブジェクト識別器選択・再構成部６６、オブジェクト識別器保持部６７を含む。実施形態１と異なる点は、オブジェクト属性一致度評価部６４が新たに加わったことである。更に、不図示であるが、後述するオブジェクト識別演算部の識別結果の統合処理及びオブジェクト識別器選択・再構成部６６の処理内容が変わっている。これについては後で詳しく説明する。

図１３は、オブジェクト識別部６Ａで行われる処理の一例を示したフローチャートである。実施形態１と異なるのは、Ｓ５４のオブジェクト属性一致度評価処理と、Ｓ５５の所定条件判定処理と、Ｓ５６のオブジェクト辞書データ再取得処理と、が加わった点である。
例えば、オブジェクト属性一致度評価部６４は、後述するオブジェクト属性一致度評価処理の評価値を基に、評価値が所定条件を満たしているか否かを判定する（Ｓ５７）。ここで所定条件とは、典型的には、オブジェクト属性一致度がある閾値を超えているか、又は、前記処理の繰り返し回数（Ｓ５４−Ｓ５５−Ｓ５６のループ回数）が所定回数を超えたか、等である。所定条件を満たしていると判定した場合（Ｓ５５でＹｅｓの場合）、実施形態１と同様にオブジェクト識別器選択・再構成部６６は、オブジェクト識別器選択・再構成処理を行う（Ｓ５７）。満たしていないと判定した場合（Ｓ５５でＮｏの場合）、オブジェクト辞書データ取得部６２は、オブジェクト辞書データの再取得を行う（Ｓ５６）。例えば、オブジェクト辞書データ取得部６２は、オブジェクト辞書データ保持部５３からより近い属性をもつオブジェクト辞書データを探し出す。オブジェクト辞書データ取得部６２は、より近い属性をもつオブジェクト辞書データが見つからない場合には、動的にオブジェクト辞書データの再生成を行う。

図１４は、図１３のＳ５４のオブジェクト属性一致度評価処理の一例を示したフローチャートである。始めに、オブジェクト属性一致度評価部６４は、オブジェクト属性推定部６３よりオブジェクト属性推定部６３が推定したオブジェクトの属性を取得する（Ｓ６０）。
続いて、オブジェクト属性一致度評価部６４は、オブジェクト辞書データ取得部６２を介してオブジェクト辞書データのオブジェクトの属性を取得する（Ｓ６１）。そして、オブジェクト属性一致度評価部６４は、Ｓ６０で取得したオブジェクトの属性と、Ｓ６１で取得したオブジェクト辞書データのオブジェクトの属性と、のマッチング処理（一致評価処理）を行う（Ｓ６２）。オブジェクト属性一致度評価部６４は、マッチング処理として、例えば、属性を数値化したベクトルを定義して、ベクトルの内積をとる。また、オブジェクト属性一致度評価部６４は、マッチング処理として、例えば、重み付き内積をとるようにして、重要視すべき属性の重みを大きくするようにしてもよい。なお、Ｓ６２の処理は、一致度算出手段による処理の一例である。
オブジェクト属性一致度評価部６４は、計算した一致度を出力する（Ｓ６３）。
このように、オブジェクト辞書データのオブジェクトの属性と、オブジェクト識別用データのオブジェクトの属性と、できるだけ一致させることによって、以下のような効果が期待できる。即ち、オブジェクト辞書データと識別用データとの本来的に識別に関係のない変動が小さくなり、後述するオブジェクト識別器による識別の精度が向上することが期待できる。

（オブジェクト識別器選択・再構成処理）
次に、オブジェクト識別器選択・再構成処理について説明する。実施形態１では、識別器が複数又は１つのＳＶＭ識別器である場合の説明を行った。本実施形態では、オブジェクト識別器が複数の弱識別器の集合体で構成される場合について説明する。
多数の弱識別器を接続し、識別性能を向上させる方法として、「Ｖｉｏｌａ ＆ Ｊｏｎｅｓ （２００１） ”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ
ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，
Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．」に記載されているようなＡｄａＢｏｏｓｔ用いた方法がある。本実施形態でも、弱識別器と呼ばれる、識別器単体では性能が低い識別器を多数接続した識別器（強識別器）の構成を用いる。また、弱識別器の演算も、前記文献のようなＨａａｒ様基底を用いたフィルタ演算を用いることができる。強識別器の構成は、典型的には前記文献に記載されているような弱識別器によるスコア値累積型の判別方法を部分的に用いてもよい。

図１５は、オブジェクト識別器を弱識別器のツリー構造で構成した場合の模式図である。図中の枠１つが１つの弱識別器を表している。以下、ツリー構造をなす各弱識別器のことをノード識別器と呼ぶことがある。識別時は、矢印の方向に沿って処理が行われる。即ち、上位にある弱識別器から処理を行って、処理が進むにつれ、下位の弱識別器で処理を行う。一般に、上位にある弱識別器は、変動に対するロバスト性が高いが、誤識別率は高い傾向にある。下位にある弱識別器ほど変動に対するロバスト性は低い一方で、変動範囲が一致したときの識別精度は高くなるように学習してある。ある特定の変動範囲（顔の奥行き方向や、表情変動、照明変動等）に特化した弱識別器系列を複数用意し、ツリー構造をとることで、全体としての対応変動範囲を確保している。図１５では、５系列の弱識別器系列がある場合について示している。また、図１５では、最終的に５つの弱識別器系列が１つのノード識別器に統合されている。この最終ノード識別器は、例えば５系列の累積スコアを比較して、最も高いスコアをもつ系列の識別結果を採用する等の処理を行うようにしてもよい。また、１つの識別結果に統合して出力するのではなく、各系列の識別結果をベクトルとして出力するようにしてもよい。

各弱識別器は、ｉｎｔｒａ−ｃｌａｓｓ，ｅｘｔｒａｌ−ｃｌａｓｓの２クラス問題を判別する識別器であるが、分岐の基点にあるノード識別器は、どの弱識別器系列に進むか、分岐先を決める判定を行う。もちろん、２クラス判定を行いつつ、分岐先も決めるようにしてもよい。また、分岐先を決めず、全ての弱識別器系列で処理するようにしてもよい。また、各ノード識別器は、２クラス判定の他に、演算を打ち切るか否かを判定するようにしてもよい（打ち切り判定）。打ち切り判定は、各ノード識別器単体の判定でもよいが、他のノード識別器の出力値（判定スコア）を累積したものを閾値処理する等して判定してもよい。

オブジェクト識別器選択・再構成部６６が、弱識別器のツリー構造を、オブジェクト属性推定部６３及びオブジェクト属性一致度評価部６４の結果を用いて、選択・再構成する処理について以下説明する。弱識別器系列の選択は、例えば実施形態１のようにＬＵＴを用いるとよい。ＬＵＴのエントリに、オブジェクト属性の一致度を加えておく。そしてオブジェクト識別器選択・再構成部６６は、好適な弱識別器系列を選択すればよい。一般に、一致度が低ければ、ロバスト性の高い弱識別器系列を選択するようにする。又は、ロバスト性が低い弱識別器系列を複数選択して、結果的にロバスト性が高くなるようにする方法も考えられる。このような場合、対応する分岐選択ノード識別器がないこともある。このときは、オブジェクト識別器選択・再構成部６６は、全分岐を処理するような接続構成にする。
なお、オブジェクト識別器選択・再構成部６６が、必要のない弱識別器を間引いていくようにしてもよい。即ち、考えられる変動範囲全てをカバーする弱識別器ツリー構造を、予め用意しておく。次にオブジェクト識別器選択・再構成部６６が、オブジェクト識別用データの属性及び辞書データとの一致度から、必要のない弱識別器系列を取り外せばよい。予め用意された弱識別器ツリーは、分岐選択ノード識別器も、分岐選択精度が高いと期待されるので、初めから識別器ツリーを構成するより、精度と処理時間ともに向上する可能性がある。

弱識別器系列を全て取り外すのではなく、オブジェクト識別器選択・再構成部６６が、分岐選択ノード識別器を、選択しなおしてもよい。オブジェクト識別器選択・再構成部６６は、必要のない弱識別器系列が分岐選択されてないように予め学習された分岐選択ノード識別器を選択するようにする。このようにすることで、再構成にかかる処理コストを低減することができる。
また、オブジェクト識別器選択・再構成部６６は、弱識別器系列のツリー構造が決定した後に、個々の弱識別器の最適化を行うようにしてもよい。例えば、オブジェクト識別器選択・再構成部６６は、弱識別器の重み付けであるスコア値を、オブジェクト属性一致度や、オブジェクト属性と弱識別器の学習条件との一致度を考慮して、調整するようにする。より典型的には、オブジェクト識別器選択・再構成部６６は、識別対象であるオブジェクトの属性（顔の向き、表情等）と弱識別器の学習条件での変動範囲とが一致しているものほど、スコア値を高くするようにする。
また、実施形態１における、識別器再構成処理の説明のように、予め典型的なデータでの識別率を計測しておいて、テーブルとして保持しておくことで、実行時の調整を可能にすることもできる。弱識別器系列の構成が決定された後にも、個々の弱識別器の性能を前記テーブルによって算出することができるから、予め測定済みのデータに関してではあるが、最適な閾値を調整することができる。

（オブジェクト識別結果の統合処理）
図１６は、オブジェクト識別演算部の処理の一部である識別結果の統合処理の一例を示したフローチャートである。以下、順に説明する。まず、オブジェクト識別演算部６５は、全ての辞書データに対するオブジェクト識別結果の出力レベルが一定であるか否か判定する（Ｓ７０）。辞書データによって、識別器が異なる可能性があるので、オブジェクト識別演算部６５は、その出力レベルについて調べる。一般的には、ＳＶＭの学習条件や、弱識別器の数が異なると、出力レベルは一定でない可能性が高い。出力レベルが一定になるように学習していない場合や、出力値を正規化していない場合には、識別器によって出力レベルが異なる。このような場合（Ｓ７０でＮｏの場合）、オブジェクト識別演算部６５は、閾値処理を行う（Ｓ７１）。ここでの閾値処理は、各識別器固有の閾値であるので、出力レベルの違いは考慮しなくてよい。Ｓ７１で閾値を超えた辞書データに対して、オブジェクト識別演算部６５は、オブジェクト属性一致度評価部６４からオブジェクト属性一致度を取得する（Ｓ７２）。そして、オブジェクト識別演算部６５は、一致度が最大の識別結果に対応する辞書データを識別結果として出力する（Ｓ７３）。Ｓ７１の閾値処理で、閾値を超える結果がなかった場合は、オブジェクト識別演算部６５は、入力されたオブジェクトに対応する登録オブジェクト辞書データがなかったとして、対応する登録オブジェクトなしを出力する。

識別器の出力レベルが一定で合った場合（Ｓ７０でＹｅｓの場合）、オブジェクト識別演算部６５は、全辞書データによる識別結果を出力値でソートする（Ｓ７４）。オブジェクト識別演算部６５は、ソート処理の結果、最大値に対応する識別結果が複数あるか否かを判定する（Ｓ７５）。最大値に対応する結果が１つであった場合（Ｓ７５でＮｏの場合）、オブジェクト識別演算部６５は、その識別結果に対応する辞書データを、閾値処理に出力する（Ｓ７６）。出力値が最大の結果が複数あった場合（Ｓ７５でＹｅｓの場合）、オブジェクト識別演算部６５は、最大値に対応する辞書データについて、オブジェクト属性一致度を取得する（Ｓ７７）。そして、オブジェクト識別演算部６５は、最も一致度の高い辞書データを識別結果として閾値処理に出力する（Ｓ７８）。そして、最後に、オブジェクト識別演算部６５は、オブジェクト識別結果の閾値処理を行う（Ｓ７９）。閾値を超える場合、オブジェクト識別演算部６５は、その辞書データが、入力されたオブジェクトに対応する登録オブジェクトであると出力する。また、閾値を超えない場合、オブジェクト識別演算部６５は、入力されたオブジェクトに対応する登録オブジェクトなしを出力する。

以上、上述した各実施形態によれば、識別対象のオブジェクトの変動に対応する辞書データを選択又は動的に生成し、更にその評価値によって、識別器の構成を適応させることよって、登録時と認証時に撮影条件又は変動条件等が異なった場合でも、高精度な識別を行うことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

５ オブジェクト登録部、６ オブジェクト識別部

Claims (4)

1. オブジェクトがどのクラスに属するか識別するオブジェクト識別装置であって、
   撮像されたオブジェクトの画像データから前記オブジェクトの識別用データを生成するオブジェクト識別用データ生成手段と、
   前記識別用データに基づいて、前記オブジェクトの属性を推定するオブジェクト属性推定手段と、
   所定の変動が与えられた前記オブジェクトの画像データに基づいて、オブジェクト辞書データを生成するオブジェクト辞書データ生成手段と、
   前記オブジェクト辞書データ生成手段によって生成されたオブジェクト辞書データから、前記オブジェクト属性推定手段で推定されたオブジェクトの属性に基づいて、前記オブジェクト辞書データを選択するオブジェクト辞書データ選択手段と、
   前記オブジェクト辞書データ選択手段で選択されたオブジェクト辞書データと、前記オブジェクト識別用データと、を照合し、照合した結果に基づいて、前記オブジェクトの属するクラスを識別するオブジェクト識別器を少なくとも１つ保持するオブジェクト識別器保持手段と、
   前記オブジェクト属性推定手段で推定されたオブジェクトの属性に基づいて、前記オブジェクト識別器を選択、又は再構成するオブジェクト識別器選択・再構成手段と、
   を有することを特徴とするオブジェクト識別装置。
2. 前記オブジェクト辞書データ生成手段によって生成されたオブジェクト辞書データのオブジェクトの属性と、前記オブジェクト属性推定手段で推定されたオブジェクトの属性との、一致度を算出する一致度算出手段と、
   を更に有し、
   前記オブジェクト識別器選択・再構成手段は、前記一致度算出手段で算出された一致度に基づいて、前記オブジェクト識別器を選択、又は再構成することを特徴とする請求項１に記載のオブジェクト識別装置。
3. 前記オブジェクト識別器は、更に、前記一致度算出手段で算出された一致度に基づいて、オブジェクトの属するクラスを識別することを特徴とする請求項２に記載のオブジェクト識別装置。
4. オブジェクトがどのクラスに属するか識別するオブジェクト識別装置におけるオブジェクト識別方法であって、
   撮像されたオブジェクトの画像データから前記オブジェクトの識別用データを生成するオブジェクト識別用データ生成ステップと、
   前記オブジェクト識別用データ生成ステップで生成された前記識別用データに基づいて、前記オブジェクトの属性を推定するオブジェクト属性推定ステップと、
   所定の変動が与えられた前記オブジェクトの画像データに基づいて、オブジェクト辞書データを生成するオブジェクト辞書データ生成ステップと、
   予め登録された、又は前記オブジェクト辞書データ生成ステップによって生成された、オブジェクト辞書データから、前記オブジェクト属性推定ステップで推定されたオブジェクトの属性に基づいて、前記オブジェクト辞書データを選択するオブジェクト辞書データ選択ステップと、
   前記オブジェクト辞書データ選択ステップで選択されたオブジェクト辞書データと、前記オブジェクト識別用データと、を照合し、照合した結果に基づいて、前記オブジェクトの属するクラスを識別するオブジェクト識別器を少なくとも１つ保持するオブジェクト識別器保持ステップと、
   前記オブジェクト属性推定ステップで推定されたオブジェクトの属性に基づいて、前記オブジェクト識別器を選択、又は再構成するオブジェクト識別器選択・再構成ステップと、
   を有することを特徴とするオブジェクト識別方法。

Images