JP2011138387A - オブジェクト識別装置及びその制御方法 - Google Patents

Abstract

【課題】入力された画像を、予め登録済みの画像と比較することにより、前記入力画像内のオブジェクトが予め登録済みのどのクラスに属するか識別するオブジェクト識別装置において、識別したい特定のクラスに対しての認識性能を向上させる。
【解決手段】入力画像に含まれているオブジェクトが、予め登録された複数のクラスのいずれに属するか識別するオブジェクト識別装置は、入力画像の識別に用いられる複数の登録画像を登録し、識別に使用する部分領域を指定する指定データを保持する。装置は、入力画像と複数の登録画像の各々から、指定データによって指定された部分領域の特徴量を抽出し、抽出された特徴量に基づいて前記入力画像が属するクラスを識別する。装置は、登録されている複数の登録画像に基づいて、識別手段の処理内容の更新が必要か否かを判定し、更新が必要であると判定された場合に、登録されている登録画像に基づいて、指定データによる部分領域の指定を更新する。
【選択図】 図２

Description

本発明は、入力データが属するクラスを識別するオブジェクト識別装置およびその制御方法に関する。

入力されたデータを、予め登録済みのデータと比較することにより、入力データ内のオブジェクトが予め登録されたどのクラスに属するかを識別する技術が多く提案されているおり、その応用分野として、例えば個人の顔を識別する顔識別技術がある。顔識別におけるクラスとは、個人を特定できる名前やＩＤであり、登録画像にはそのクラスの識別子があらかじめ付与されている。登録画像の撮影条件が様々であるとしても、同一人物が写っている登録画像は同一クラスに属するとする。以下、本明細書では、オブジェクトの識別とは、オブジェクトの個体の違い（例えば、人物の違い）を判定することを意味する。一方、オブジェクトの検出とは、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、顔を検出する）、ことを意味するものとする。

顔識別技術として、例えば、画像の部分的な特徴量（部分特徴量）を使って顔を識別する特許文献１のような方法がある。この方法では、まず入力画像中のいくつかの特徴的な部分領域から部分特徴量を抽出し、同時に登録画像においても、入力画像の部分領域に対応する部分領域から部分特徴量を抽出しておく。そして、入力画像と登録画像で対応する部分特徴量同士を比較して得られる類似度を統合し、入力画像と登録画像の類似度とする。最終的に、この入力画像との類似度が最も大きい登録画像が属するクラスが、入力画像に対応するクラスとして定められる。

上記のような、部分特徴量を求めるための部分領域は、例えば非特許文献１で用いられているAdaBoost法のような手法を用いて事前に求めておくことができる。一方、この事前学習に対して、非特許文献２のような、認識処理の運用中に教師データを逐次追加しながら認識性能を向上させていく逐次学習の方法が、画像処理に限らない幅広い分野で多く応用されている。

特開２００３−３２３６２２

Shen, L., Bai,L., Bardsley, D., Wang, Y., Gabor feature selection for face recognition using improved adaboost learning. Proceedings of International Workshop on Biometric Recognition System, in conjunction with ICCV’05, 2005 Glenn Fung, O.L.Mangasarian, Incremental support vector machine classification, Proceedings of Second SIAM International Conference on Data Mining, 2002.

部分領域を用いる顔識別手法において、典型的には、あらゆる識別対象に対して平均的な識別性能が高くなるように、部分領域の位置や数が予め定められる。しかしながら、ある特定少数のクラスに属する対象のみを精度良く識別したい場合などにおいては、その平均的な識別性能では十分でない場合があることが課題である。また、非特許文献２に示されているような逐次学習の方法では、識別性能を向上させたい対象のデータを教師データとして逐次追加することで、ある特定の対象についての識別性能を改善することを目的としている。しかしながら、逐次型の学習によって獲得した識別手段は、教師データとして与えられたデータに過度に最適化されてしまう傾向がある。そのため、逐次学習を繰り返すことにより、その特定の対象以外の識別性能が極端に悪化してしまう、過学習という現象が起こる可能性がある。

本発明は、上記の課題に鑑みてなされたものであり、逐次学習型の識別手段を更新する際に現れる可能性がある、過学習による識別性能の劣化を抑えつつ、識別したい特定のオブジェクトについての識別性能を向上させることを目的とする。

上記の目的を達成するための本発明の一態様によるオブジェクト識別装置は以下の構成を備える。すなわち、
入力画像に含まれているオブジェクトが、予め登録された複数のクラスのいずれに属するか識別するオブジェクト識別装置であって、
入力画像の識別に用いる複数の登録画像を登録してある登録手段と、
使用すべき部分特徴を指定する指定データを保持する保持手段と、
前記入力画像と前記複数の登録画像の各々から、前記指定データによって指定された部分特徴における特徴量を抽出し、抽出された特徴量に基づいて前記入力画像が属するクラスを識別する識別手段と、
前記識別手段により識別された入力画像を用いて前記登録手段の登録内容を更新する登録更新手段と、
前記登録手段に登録されている前記複数の登録画像に基づいて、前記生成用データの更新の要否を判定する判定手段と、
前記判定手段により更新が必要であると判定された場合に、前記登録手段に登録されている登録画像に基づいて、前記指定データにおける部分特徴の指定を更新する第１更新手段とを備える。

本発明によれば、逐次学習型の識別手段を更新する際に現れる可能性がある、過学習による識別性能の劣化を抑えつつ、識別したい特定のオブジェクトについての識別性能を向上させることができる。

実施形態によるオブジェクト識別装置の構成例を示すブロック図。 実施形態のオブジェクト識別装置による入力画像の識別処理を示すフロー図。 オブジェクト識別部の一構成例を示したブロック図。 オブジェクト識別部で行われる識別処理の一例を示したフロー図。 部分特徴量抽出部の一構成例を示したブロック図。 特徴ベクトル生成用データ保持部に保存される部分領域の例を示す図。 識別部の一構成例を示したブロック図。 識別結果統合部の一構成例を示したブロック図。 画像登録部の位置構成例を示したブロック図。 画像登録部で行われる処理の一例を示したフロー図。 部分領域の学習処理の一例を示したフロー図。 ＳＶＭ識別器の学習処理の一例を示したフロー図。 第３実施形態の画像登録部の一構成例を示すブロック図。 第５実施形態の画像登録部の一構成例を示すブロック図。

［第１実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。図１の（ａ）は、第１実施形態によるオブジェクト識別装置１００の構成例を示すブロック図である。画像を入力する画像入力部１は、識別すべき画像データを供給する装置であればよく、特定の機器に限定されるものではない。すなわち、光学レンズと映像センサを備えた撮像装置でも構わないし、画像データが保持され読み出し可能な半導体メモリでもよい。

外部出力部２は、オブジェクト識別部４の出力である、入力画像に対応するクラスを、適切な形で外部に出力する。典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、画像入力部１から取得した画像データを表示する。または、画像データにオブジェクト識別部４の出力を重畳表示する。また、外部出力部２は、オブジェクト識別部４の結果出力を電子データとして外部の記憶媒体などに出力する形態や、紙媒体に印刷する形態をとってもよい。なお、出力の手段は上に挙げた限りではなく、さらに、複数の手段を同時に行使してもよい。

登録画像記録部３は、画像入力部１より登録画像として入力された画像データを記録・保持する。典型的には、繰り返し書き換え可能な半導体メモリであるのがよい。登録画像記録部３は、画像データを数十枚もしくはそれ以上を保持するために十分な大容量を持つことが望ましいが、オブジェクト識別部４で使用する情報（例えば各画像の特徴量）を保持しておき、画像データそのものは保持しないという方法をとってもよい。

オブジェクト識別部４および画像登録部５は、例えば、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）で実現される。或いは、オブジェクト識別部４および画像登録部５は、単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。オブジェクト識別部４は、画像入力部１と登録画像記録部３から画像を取得し、入力画像中にあるオブジェクトを検出し、識別する。この部分の構成および処理の詳細については後で述べる。画像登録部５は、登録画像記録部３に登録画像を追加、あるいは既に登録画像記録部３に記録されている画像の削除・差し替えの処理を行い、オブジェクト識別部４の処理内容を更新する。この部分の構成および処理の詳細については後で述べる。接続バス６は、上述の構成要素間の制御・データ接続を行うためのバスである。

＜全体フロー＞
次に、図２を参照しながら、オブジェクト識別装置１００が、画像からオブジェクトの識別を行う実際の処理について説明する。なお、以下では、識別するオブジェクトが人物の顔である場合について説明するが、本発明がこれに限るものでないことは、言うまでもない。

始めに、画像入力部１が画像データを取得する（Ｓ００）。続いて、オブジェクト識別部４は、取得した画像データに対して、対象オブジェクト検出処理（本実施形態では人の顔の検出処理）を行う（Ｓ０１）。画像中から人物の顔を検出する方法については、公知の技術を用いればよい。例えば、特許第３０７８１６６号公報や特開２００２−８０３２号公報で提案されているような技術を用いることが出来る。

対象オブジェクトである人物の顔の検出処理をしたのち、画像中に人の顔が存在するならば（Ｓ０２でＹｅｓの場合）、オブジェクト識別部４は、個人の識別処理を行う（Ｓ０３）。画像中に人の顔が存在しない場合（Ｓ０２でＮｏの場合）には本処理を終了する。オブジェクト識別処理（Ｓ０３）の具体的な処理内容については、あとで詳しく説明する。

画像登録部５は、オブジェクト識別処理の結果から、登録済みの人物に該当する顔が入力画像中にあるか判定する（Ｓ０４）。対象オブジェクト検出処理（Ｓ０１）で検出された顔と同一人物が、登録済みの人物の中にある場合（Ｓ０４でＹｅｓの場合）には、Ｓ０９の処理に進む。Ｓ０９において、画像登録部５は、登録済み人物の画像を再登録するかどうかを判定する。また、検出された顔が登録済み人物の誰とも一致しない場合（Ｓ０４でＮｏの場合）には、画像登録部５は、その人物を登録画像に追加するか判定する（Ｓ０５）。Ｓ０５、Ｓ０９では、必ず登録されるようにする方法もあるが、例えばユーザが外部インターフェイスやＧＵＩなどを通じて、その場で登録するかどうか決定するようにしても良い。登録すると判定された場合（Ｓ０５或いはＳ０９でＹｅｓの場合）、画像登録部５は、後述するオブジェクト（人物の顔）の登録処理を行う（Ｓ０６）。登録を行わない場合（Ｓ０５或いはＳ０９でＮｏの場合）、そのままＳ０７に処理を進める。Ｓ０６の画像登録処理後、およびＳ０５、Ｓ０９で登録を行わないと判定された場合、オブジェクト識別部４は、検出されたオブジェクト全てについて処理が終わったかどうかを判定する（Ｓ０７）。未処理のオブジェクトがある場合（Ｓ０７でＮｏの場合）、Ｓ０３へ処理を戻す。検出された全てのオブジェクトについて処理が終わった場合（Ｓ０７でＹｅｓの場合）、オブジェクト識別部４は、一連のオブジェクト識別処理の結果を、外部出力部２に出力する。

なお、画像登録処理（Ｓ０６）においては、画像中に未登録の顔が多数ある場合にユーザの操作が煩雑になるといえる。よって、この場合には画像中で大きく写っている数個の顔に処理を限定しても良い。さらに、図２に示すフローを介さずに画像入力部１から直接画像を転送して行う手段があってもよい。すなわち、登録画像のオブジェクト抽出・識別は、必ずしもこの装置で行わなくてもよい。このときの直接登録処理と識別処理の切り替えは、上述の外部インターフェイスやＧＵＩなどを通じて行うなどがよい。

以上が、本実施形態にかかるオブジェクト識別装置の処理フローである。次に、Ｓ０３で行われるオブジェクト識別処理について、続いて、Ｓ０６で行われる画像登録処理について詳細を述べる。

＜オブジェクト識別処理＞
まず、図３を用いて、オブジェクト識別部４の構成を説明する。部分特徴量抽出部２１は、画像入力部１から取得した入力画像と、登録画像記録部３から取得した登録画像に対して同じ処理を行い、オブジェクトの識別に必要な、入力画像と登録画像で対応する特徴量の抽出を行う。類似度計算部２２は、部分特徴量抽出部２１で得られた、入力画像と登録画像で対応する特徴量の類似度を算出する。識別部２３は、類似度計算部２２により求められた類似度から、登録画像が属するクラスに入力画像が属するかどうかを判断する。識別結果統合部２４は、識別部２３の判断結果を用いて、入力画像が属するクラスを最終的に判断する。このオブジェクト識別部４で行われる処理それぞれについては、後で詳しく説明する。

次に、オブジェクト識別部４が行うオブジェクト識別処理（Ｓ０３）を、図４のフロー図を用いて説明する。まず、オブジェクト識別部４は、画像入力部１より入力画像を取得する（Ｓ１０）。次に、オブジェクト識別部４は、登録画像記録部３から登録画像を１枚取得する（Ｓ１１）。続いて、部分特徴量抽出部２１は、両画像に対して部分特徴量抽出処理を行う（Ｓ１２）。次に、類似度計算部２２は、抽出された部分特徴量を用いて両画像間の類似度を計算する類似度計算処理を行う（Ｓ１３）。そして、識別部２３は、類似度計算部２２により算出された類似度を用いて識別処理（Ｓ１４）を行う。この識別処理の結果として、登録画像が属するクラスに入力画像が属するか判断しうる実数値が得られる。これら（Ｓ１２）から（Ｓ１４）の処理については、あとで詳しく説明する。そして登録画像記録部３に保持されている全ての登録画像について、（Ｓ１１）から（Ｓ１４）の一連の処理を行ったか判別し（Ｓ１５）、未処理の登録画像があれば同様の処理を繰り返す。全ての登録画像について処理を完了すると、識別結果統合部２４は、識別処理において最も大きい値が得られた登録画像が属するクラスに入力画像を分類し、その分類結果をオブジェクト識別部４の出力として外部出力部２に出力する（Ｓ１６）。出力の形態は、最も良く一致した登録画像とその出力値あるいはクラスの識別子だけを出力しても良く、登録画像が複数ある場合にはそれぞれの登録画像について出力しても良い。

＜部分特徴量抽出処理＞
次に、部分特徴量抽出部２１について図５を用いて説明する。部分特徴量抽出部２１においては、入力画像および登録画像には同じ処理が施され、それぞれ対応する部分特徴量が抽出される。この実施形態では、オブジェクトが人物の顔である場合、典型的には部分特徴量として画像の部分領域を切り出し、所定の処理を施したものを特徴ベクトルとして抽出する。具体的には以下のようにすることができる。

特徴ベクトル抽出部３１は、顔画像から、目、口、鼻など構成要素の端点を検出する。端点を検出するアルゴリズムは、例えば、特許第３０７８１６６号公報に記載の畳み込み神経回路網を用いた方法などを用いることが出来る。端点を検出した後、その端点を基準として、所定領域の輝度値を特徴ベクトルとして取得する。領域の数は任意であるが、典型的には、ひとつの部位の端点に対して端点とその周辺について数点をとる。局所領域の位置を決定する基準となる端点は、左右の目、口の両端点、鼻、など個人の特徴を現すと考えられる部位から予め選択しておく。また、輝度値を直接取得するのではなく、ガボアフィルタ、Local Binary Pattern（ＬＢＰ）など何らかのフィルタ演算を施した結果から特徴ベクトルを抽出してもよい。なお、ＬＢＰについては「T.Ahonen, A. Hadid, M. Pietikainen, （2004） “Face recognition with local binary patterns”, Proc. of 8th European Conference onComputer Vision, ser. Lecture Notes in Computer Science, vol. 3021」を参照されたい。

続いて特徴ベクトル変換部３２は、特徴ベクトル抽出部３１によって抽出された特徴ベクトルに所定の変換を施す。特徴ベクトルの変換は、例えば、主成分分析（ＰＣＡ）による次元圧縮や、独立成分分析（ＩＣＡ）による次元圧縮などが行われる。また、フィッシャー判別分析（ＦＤＡ）による次元圧縮を行ってもよい。特徴ベクトルの変換方法にＰＣＡを用いた場合、その基底数（特徴ベクトルの次元削減数）や、どの基底を用いるか、などのパラメータが存在する。基底数の代わりに、基底ベクトルに対応する固有値の和、すなわち累積寄与率を指標としてもよい。これらのパラメータや変換方法は、部分領域ごとに異なったものにすることもできる。実際にどのようなパラメータを設定するかは後述する特徴ベクトル生成用データ保持部３３から取得すればよい。また、部分領域の数、それぞれの位置や信頼度といえる重み、および変換方法などのパラメータも予め定められており、後述する特徴ベクトル生成用データ保持部３３から取得され得る。すなわち、特徴ベクトル生成用データ保持部３３は、識別処理において使用すべき特徴領域の指定と、その特徴ベクトルの変換方法の指定を含む指定データを保持している。これらの決め方は、画像登録部５の説明で述べることとする。

特徴ベクトル生成用データ保持部３３は、特徴ベクトル抽出部３１および特徴ベクトル変換部３２において、特徴ベクトルの生成を行う際に必要なデータを保持している。具体的には、上述したような、検出された端点に対する部分領域の位置（すなわち使用すべき部分領域の指定）、部分領域ごとにどの変換を施すかなどの設定情報と、さらに実際の変換に必要な以下の情報が挙げられる。すなわち、特徴ベクトル変換部３２で行う変換に主成分分析（ＰＣＡ）による次元圧縮を用いる場合、分散共分散行列の固有ベクトルが含まれる。また、独立成分分析（ＩＣＡ）による次元圧縮を行う場合は、独立成分の基底ベクトルが含まれる。

特徴ベクトル生成用データ保持部３３に保存される部分領域は大きく分けて２種類存在する。この部分領域の種類を図６に示す。部分領域には、あらかじめ定められた標準型の部分領域Ｓと、登録画像記録部３の内容が図２に示す画像登録処理（Ｓ０６）によって更新されたときに、登録画像に基づいて逐次求められる、適応型の部分領域がある。さらに適応型の部分領域には２種類存在する。標準型の部分領域と重複しない適応型の部分領域Ａａｄｄは、標準型の部分領域に追加される。また一方、標準型の部分領域と重複する適応型の部分領域Ａｄｅｌは、対応する位置に存在する標準型の部分領域に対して不要な部分領域であると設定される。実際に標準型と適応型の部分領域を定める方法については、画像登録部５で詳しく述べることにする。なお、上述したオブジェクト識別処理を高速化するために、登録画像においては予め部分特徴量抽出処理を行って得られた部分特徴量を別途用意した記録媒体に保存しておき、これら保存された部分特徴量を繰り返し利用するようにしてもよい。

＜類似度計算処理＞
次に、類似度計算部２２について説明する。ここでは、入力画像と登録画像から抽出された特徴ベクトルと、部分特徴量抽出部２１で使用した、部分領域ごとの重みを用いて、入力画像と登録画像の類似度を定める。類似度の定義は様々なものが考えられるが、ここでの一例として、登録画像と入力画像における同じ領域に対応する特徴ベクトル間での相関値（内積）を計算し、対応する部分領域の尤度をその相関値に乗じたものを成分とするベクトルを類似度ベクトルとする。この定義によれば、類似度ベクトルの次元数は、部分領域数と一致する。

＜識別処理＞
次に、識別部２３および識別結果統合部２４について説明する。ここでは、入力画像が属する登録済みクラスを、上記の類似度計算処理で得られた類似度ベクトルから判別する。その方法として、類似度ベクトルを、画像内の同一クラスに属するオブジェクト間の変動を表すクラス（intra-class）と、異なるクラスに属するオブジェクト間の変動を表すクラス（extra-class）の２クラスに分類する。顔を例にあげて説明すれば、intra-classに属する類似度ベクトルとは、同一人物だが顔向きや照明条件が異なる２画像から得られた類似度ベクトルである。一方extra-classに属する類似度ベクトルとは、異なる２人物の画像から得られた類似度ベクトルである。以下、識別部２３について説明する。

多変量のデータを２クラスに識別する識別器として、典型的には、ＳＶＭ識別器などの識別器を用いればよい。本実施形態では、ＳＶＭ識別器を用いて判定する場合について説明する。図７の（ａ）に示すように、識別部２３は、ＳＶＭ識別器駆動部４１、ＳＶＭ識別器データ保持部４２を含む。また、図８に示すように、識別結果統合部２４は、出力値統合部５１、統合用データ保持部５２、統合結果記憶部５３を含む。識別部２３で用いるＳＶＭ識別器には、大きく分けて２種類存在する。予め画像内の同一クラスに属するオブジェクト間の変動クラス（intra-class）と、異なるクラスに属するオブジェクト間の変動クラス（extra-class）の２クラスを識別する識別器として学習させておいた標準型のＳＶＭ識別器を一つ備える。さらに識別部２３は、図１における登録画像記録部３の内容が、図２における画像登録処理（Ｓ０６）によって更新されたときに、登録画像を教師データとして逐次学習する適応型のＳＶＭ識別器を、登録済みクラスと対応する数だけ備える。適応型のＳＶＭ識別器は、ある特定のクラスに属するオブジェクト間の変動クラス（intra-class）と、それ以外の変動クラスを識別する。これらＳＶＭ識別器のパラメータは、ＳＶＭ識別器データ保持部４２に格納され、識別処理時にＳＶＭ識別器駆動部４１に転送される。なお、ＳＶＭでの識別に関する技術は公知の文献、例えば「V.N. Vapnik （1998） “Statistical Learning Theory”」などによるものなので詳細な説明は割愛する。また適応型のＳＶＭ識別器を学習する手順については、画像登録部５の部分で述べることとする。

入力画像と登録画像の類似度ベクトルを識別する手順は以下のとおりである。まずＳＶＭ識別器駆動部４１は、類似度ベクトルのうち、不要な適応型部分領域を含む標準型の部分領域とそうでない標準型の部分領域も含め、図６における標準型の部分領域Ｓに対応する成分のみを、標準型のＳＶＭ識別器に入力する。並行して、適応型のＳＶＭ識別器にも類似度ベクトルの一部成分を入力する。適応型のＳＶＭ識別器に入力される類似度ベクトルの成分は、図６における、追加する適応型の部分領域Ａａｄｄと、不要な適応型の部分領域Ａｄｅｌを除いた標準型の部分領域Ｓとに対応する類似度ベクトルの成分である。２つの識別器それぞれは、類似度ベクトルがintra-classに属するかどうか判断しうる実数値を一つ出力する。次に、両実数値を識別結果統合部２４に入力する。識別結果統合部２４の出力値統合部５１は、識別部２３から得られた実数値それぞれを、画像登録部５により設定された重みで乗じた上で加算し、最終的な出力値と定め、統合結果記憶部５３に保持する。なお、本実施形態の出力値統合部５１は２つのＳＶＭ識別器の出力を線形和で結合するが、この方法については別途関数を用意するなどしてもよい。なお、標準型と適応型のＳＶＭ識別器を訓練する方法と、その出力を結合する重みを決定する手順については、画像登録部５の説明で詳しく述べることにする。

ＳＶＭ識別器駆動部４１で得られた値が大きいほど、入力画像が登録画像の属するクラスに属する可能性が高いといえるが、あくまでも判断の基準である。そこで、識別結果統合部２４においては、登録画像全てにおいて識別処理が完了した後、統合結果記憶部５３に保持されている、統合後の出力値が最も大きい登録画像が属するクラスに入力画像のクラスを定める。あるいは、ＳＶＭ識別器駆動部４１で得られた最大の値がある閾値より小さければ、入力画像はどのクラスにも属さないと判断し、外部出力部２にその旨を出力する。この閾値の大きさは任意であるが、大きすぎれば多くの入力画像がどの登録済みクラスにも属さないと判別される。また小さすぎれば、本来登録済みクラスに属さない入力画像もいずれかの登録済みクラスに属すると判別される。この閾値は、あらかじめ調整を重ねて決めておくとよく、またユーザが設定できるようにしてもよい。

ところで、一般的に部分領域の数を増やすと、それだけ類似度ベクトルの次元数が増え、演算時間が増加する。ＳＶＭの演算時間を抑えるには、サポートベクター数を削減するアルゴリズムを適用することなどで、ある程度演算時間を短縮することは可能である。サポートベクター数を削減する方法は、「Burges, C.J.C （1996）. “Simplified support vector decision rules.” International Conference on Machine Learning（pp.71-77）.」に記載されているような公知の技術であるので、ここでは説明を割愛する。以上が、オブジェクト識別処理の説明である。続いて、図２における画像登録処理（Ｓ０６）について詳細を説明する。

＜画像登録部５＞
画像登録部５およびその処理について説明する。まず、画像登録部５の構成を図９を参照して説明する。登録画像更新部６１は、登録画像記録部３における登録内容の更新（登録更新処理）を行う。すなわち、登録画像記録部３に対して、登録画像を新規に追加、既存の登録画像を削除、差し替えなどを行う。登録画像情報取得部６２は、登録画像記録部３に保存されている画像についての諸々の情報を抽出、あるいは計算する。部分特徴評価部６３と識別処理評価部６５は、それぞれ特徴ベクトル生成用データと識別用データの更新判定を行う。部分特徴評価部６３は、登録画像情報取得部６２で取得した情報に基づき、部分領域の更新が必要か否かを判断する、更新判定を行う。この更新判定で更新が必要と判断されると、特徴ベクトル生成用データ更新部６４は、登録画像情報取得部６２から得られる情報を用いて適応型の部分領域を選び、部分特徴量抽出部２１内の特徴ベクトル生成用データ保持部３３の内容を更新する（第１更新処理）。同様に、識別処理評価部６５は登録画像情報取得部６２で取得した情報に基づき、識別部２３の更新が必要か判断する。そして、更新が必要と判断されると、識別用データ更新部６６は、登録画像情報取得部６２から得られる情報を用いて適応型のＳＶＭ識別器のパラメータを設定しなおし、ＳＶＭ識別器データ保持部４２の内容を更新する（第２更新処理）。また、識別処理評価部６５は登録画像情報取得部６２で取得した情報に基づき、識別結果統合部２４の内容の更新が必要か判断する。そして、更新が必要と判断されると、識別用データ更新部６６は、登録画像情報取得部６２から得られる情報を用いて統合用データ保持部５２内のパラメータを設定しなおし、識別結果統合部２４の内容を更新する。例えば、統合時における各識別器の重みが更新される。

次に、図１０を参照して、画像登録部５で行われる処理を説明する。まず、登録画像更新部６１は、画像入力部１より取得した画像を、登録画像記録部３に保存する（Ｓ２０）。次に、登録画像情報取得部６２は、登録画像記録部３に保存されている全画像について、撮影日時或いは作成日時や画像解像度などいくつかの統計情報を取得する（Ｓ２１）。部分特徴評価部６３は、この情報を用いて、部分領域の更新が必要か判断する（Ｓ２２）。例えば、日時の新しい画像や解像度の高い画像が登録された場合に、更新が必要と判断することができる。更新が必要と判断されると、特徴ベクトル生成用データ更新部６４は、特徴ベクトルを求めるために用いる適応型の部分領域を選び、特徴ベクトル生成用データを更新する、第１更新処理を行う（Ｓ２３）。続いて、識別処理評価部６５は、登録画像情報取得処理（Ｓ２２）で得られた情報を用いて、識別部２３及び識別結果統合部２４の更新が必要か判断する（Ｓ２４）。更新が必要と判定されると、識別用データ更新部６６は、識別部２３が含むＳＶＭ識別器と、識別結果統合部２４の統合基準を設定する、第２更新処理を行う（Ｓ２５）。このＳ２１からＳ２５の処理は、登録画像記録部３の内容が更新されるたびに行っても良いが、ある一定枚数以上の登録画像に変化があるまでは処理を延期しておいても良い。また、登録画像記録部３の更新時だけでなく、本装置に電源が投入された際に行ってもよい。

＜登録画像更新処理＞
図９における登録画像更新部６１は、画像入力部１より取得される画像を登録画像記録部３に転送する、登録画像記録部３に保存されている画像を削除する、取得した画像で登録画像記録部３に保存されている画像を差し替える、の３つの処理いずれかを行う。どの処理をどの画像に対して行うかの指示は、外部インターフェイスやＧＵＩなどを通じて行われるのがよい。画像入力部１より取得される画像には、属する登録済みクラスを示す識別子がインターフェイスを通じて付与されており、また、入力される画像は一度に１枚に限らず複数枚でもよい。

＜登録画像情報取得処理＞
登録画像情報取得部６２は、登録画像記録部３に保存されている画像それぞれについて、情報を算出・取得する。このとき、取得できる情報として、大きく分けて３種類ある。登録画像単体についての情報、クラスごとの登録画像についての統計情報、全登録画像についての統計情報である。

「登録画像単体についての情報」として、デジタルカメラで撮影された画像であれば、登録画像情報取得部６２はＥＸＩＦ情報から例えば画像作成からの経過時間、画像解像度を取得できる。さらに、登録画像に対して識別処理を行っておくことも良い。適応型の部分領域とＳＶＭ識別器を使用せずに、逐次学習していない初期状態、つまり標準型での識別処理を行う。そして登録画像に対して図１０における登録画像更新処理（Ｓ２０）で付与したクラスの識別子と、識別処理で得られたクラスの識別子との差異を求めれば、標準型での識別処理の信頼度が求められる。また、特徴ベクトル抽出部３１で行う端点検出処理において、検出された各端点の尤度が得られる。具体的には、畳み込み神経網を用いる手法やAppearanceMatchingを用いる手法など複数の端点検出法を用いて得られた端点位置の差異量の逆数を、端点検出の尤度として取得できる。上記の端点検出手法に何を用いるかは任意であり、公知のものを用いればよい。

「クラスごとの登録画像についての統計情報」として、登録画像情報取得部６２は、そのクラスに属する登録画像の枚数、上記の登録画像単体についての情報の合計、平均などを取得する。例えば登録画像に対する識別結果を集計すれば、このオブジェクト識別装置においてのクラスごとの識別率が得られる。

「全登録画像についての統計情報」としては、全登録画像数、クラスごとの登録画像数などが挙げられる。

なお、登録画像情報取得部６２において、ひとつの登録画像についての不変の情報は、その画像が図１における登録画像記録部３に追加された際に算出しておいて、別途用意した記録媒体などに保存しておくのも良い。ただし、クラスや全ての登録画像をまたいだ総計などの統計情報はこの限りではない。

＜部分特徴評価処理＞
部分特徴評価部６３は、以前に選んだ適応型の部分領域と、登録画像情報取得部６２から取得できる情報に基づいて、適応型の部分領域を登録画像に基づいて更新すべきか判断する。判断の例として、登録画像の撮影日時或いは作成日時に基づく判断について説明する。識別すべきオブジェクトの性質によっては、時間経過によって外見が変化する場合がある。このような場合では、ある時点で取得した登録画像に基づいて選んだ適応型の部分領域が正しく識別に寄与しない可能性があるため、特徴ベクトル生成用データ更新処理の必要があると判断する。具体例としては、撮影されてからの時間が予め定められた日数を超過した登録画像が全体に対して所定の割合を上回る場合に、上記日数以内に撮影された登録画像のみで更新処理を行う判断ができる。同時に、このとき更新に用いることができる登録画像があらかじめ定められた数以下である場合に限っては、更新処理を実行しないなどの判断ができる。

別の判断の例として、適応型の部分領域における登録画像間の類似度に基づく判断を説明する。追加された適応型の部分領域において、登録画像同士の類似度を求める。同一クラスに属する登録画像同士（intra-class）での局所領域の類似度は大きく、異なるクラスに属する登録画像同士（extra-class）での局所領域の類似度が小さければ、類似度の分離度は大きい。そして、この類似度の分離度が大きければ、識別に関して有効な部分領域であるといえる。そこで、登録画像の更新により、追加された適応型の部分領域における類似度の分離度が所定の値を下回った場合には、特徴ベクトル生成用データ更新処理の必要があると判断する。具体的な分離度の定義として、intra-class、extra-classの類似度分布間のマハラノビス距離を導入するとよい。

＜特徴ベクトル生成用データ更新処理＞
特徴ベクトル生成用データ更新部６４は、登録画像記録部３に保存されている登録画像と登録画像情報取得部６２から取得できる情報を用いて、適応型の部分領域を選ぶ。例として、AdaBoostを用いた場合の手順について説明する。標準型の部分領域と適応型の部分領域の差異は、学習に用いるデータであり、手順はほぼ同一である。標準型の部分領域は教師データとして多様・多数の画像が与えられ、あらかじめ装置外でAdaBoost法が行われて選ばれる。適応型の部分領域は教師データとして登録画像が与えられ、装置内で逐次AdaBoost法が行われて選ばれる。なお、以下で説明するAdaBoostの処理は、概ね公知の技術に関するものなので、本発明の本質に関連する部分以外は、適宜説明を省略する。

図１１は、部分領域の学習処理の一例を示したフロー図である。まず、特徴ベクトル生成用データ更新部６４は教師データとなる画像を取得する（Ｓ３０）。人物の顔を扱う場合は、教師データとして、クラスの識別子が付加された顔を含む画像を多数用意する。この際、１人あたりの画像数が十分用意されていることが望ましい。照明変動や、表情の変動に頑健な部分領域および特徴ベクトルの変換方法を学習するためには、教師データに上記の変動を十分含んだサンプルを用意することが重要だからである。次に、特徴ベクトル生成用データ更新部６４は弱仮説の選択処理を行う（Ｓ３１）。ここでの弱仮説とは、典型的には、部分領域と特徴ベクトル変換方法との組み合わせのことである。特徴ベクトル生成用データ更新部６４は、顔の部分領域候補と、特徴ベクトル変換方法の全組み合わせを予め用意しておく。そして、Ｓ３０で取得した教師データに対して、AdaBoostの枠組みに沿って、もっとも性能のよい弱仮説、すなわち、部分領域と特徴ベクトルの変換方法の組み合わせを選択する。性能評価を行うための具体的な手順としては、類似度計算部２２の説明で述べた、類似度ベクトルの算出処理例が挙げられる。すなわち、教師データに対して、特徴ベクトルの相関値（内積）を求め、類似度ベクトルを生成し、ＳＶＭ識別器に入力する。同一ラベルの人物間（画像は異なる）と、異なるラベルの人物間とで、それぞれ正しい識別結果になっているか判定し、教師データの重みつき誤り率を求める。

特徴ベクトル生成用データ更新部６４は、もっとも性能のよい弱仮説を選択したら、その弱仮説の教師データに関する識別結果をもとに、教師データの重み付けを更新する（Ｓ３２）。つぎに、特徴ベクトル生成用データ更新部６４は、弱仮説数が所定数に達しているか判定する（Ｓ３３）。所定数に達している場合（Ｓ３３でＹｅｓの場合）、学習処理を終了する。所定数に達していない場合（Ｓ３３でＮｏの場合）、新たな弱仮説の選択を行う。

なお、重みつき誤り率の算出や、教師データの重み付けの更新方法など、AdaBoostによる学習の詳細な手順は、「Viola＆Jones （2001） “Rapid ObjectDetection using a Boosted Cascade of Simple Features”, Computer Vision and Pattern Recognition.」などに記載されている方法を適宜参照すればよい。以上が、特徴ベクトルを作る際に用いる部分領域を学習する手順であり、以下、本発明の説明に戻る。

適応型の部分領域を選ぶ過程においては、教師データとして十分な数の登録画像が得られない問題が想定できる。その対策の一例として、登録画像に変動を加えた画像を生成し、教師データとなる画像を増やすとよい。具体的な変動として、ノイズの付加、オブジェクトのモデルを用いた回転などの画像処理がある。変動画像の生成については公知の文献を参照すればよいので、ここでは説明を省略する。

別の問題として、AdaBoost法は計算負荷が大きい処理であるため、装置の計算性能や電源の仕様によっては、装置内でAdaBoost法を行うのは難しいことが想定できる。その問題を軽減する対策の一例として、あらかじめ上記部分領域候補の数を絞っておき、必要な計算量を減らしてもよい。標準型の部分領域を選ぶ際には部分領域候補として数百個を用意する。それに対して適応型の部分領域を選ぶ際には、部分領域候補として数十個を用意する。この数十個の部分領域候補自体も、標準型の部分領域と同様にAdaBoost法で事前に選んでおいてもよい。

次に、特徴ベクトル生成用データ更新部６４は、選択された標準型と適応型の部分領域を組み合わせて、図３における部分特徴量抽出部２１で用いる部分領域とする。組み合わせ方の一例として、以下のようにするのがよい。標準型の部分領域数以下の範囲で、AdaBoost法で得られた尤度が大きく、かつ標準型と異なる部分領域を複数個選び、標準型の部分領域に追加する。逆に尤度が小さく、かつ標準型の部分領域と重複する複数個の部分領域においては、その標準型の部分領域は不要であると設定する。さらに、追加された適応型の部分領域それぞれには、標準型の部分領域に対して相対的な重みが設定される。この重みについては、適応型の部分領域全てに同一の値を用いてもよく、それぞれ異なる値を設定してもよい。また、この重みの初期値として、典型的には、AdaBoost法で得られた尤度とするのがよい。

適応型の部分領域数と重みは、登録画像と登録画像情報取得部６２で得られる情報に基づいて、例えば以下のような基準で定めることができる。下記の方法の１つ以上を組み合わせて適応型の部分領域数と重みを決定するのがよい。なお、以下の設定方法の例で用いる式中の記号を以下のように定義する。
n：全登録画像数
n[c] ：登録済みクラスcに属する登録画像の数
Nstd：標準型の部分領域の数
Nadd：追加する適応型の部分領域の数
Ndel：不要とする標準型の部分領域の数
W：追加された部分領域に対する重み
ここでNstdは定数であり、適応型の部分領域の数Nadd、NdelについてはあらかじめNstd以下の初期値が与えられていることとする。また、適応型の部分領域の数Nadd、NdelがNstdの所定の割合を超えないよう、あらかじめ上限を設けておくとよい。また、以下に続く設定方法の例では、追加する適応型の部分領域と不要とする標準型の部分領域の数を同じとしているが、異なる値にしてもよい。

＜全登録画像数に基づく適応型部分領域の設定方法＞
登録画像記録部３に保存されている画像数nが大きければ、それだけ幅広い変動を含んだ教師データで学習していると仮定できる。従って、適応型の部分領域の数Nadd’、Ndel’あるいは追加する適応型の部分領域に対する重みW’を以下の式を用いて大きくするとよい。あるいは、登録画像数が予め定められた数nminに満たない場合には教師データが不足しているとして、適応型の部分領域を一切使わないようにしても良い。
Nadd’ = Nadd×（n÷nmin） （n ＜ nminの場合はNadd’はゼロ）
Ndel’ = Ndel×（n÷nmin） （n ＜ nminの場合はNdel’はゼロ）
W’ = W×（n÷nmin）

＜識別処理結果に基づく適応型部分領域の設定方法＞
各登録画像について、図１０における登録画像情報取得処理（Ｓ２１）で述べたような、適応型の部分領域とＳＶＭ識別器を使用せずに、逐次学習していない初期状態、つまり標準型での識別処理を行い、クラスの識別子が付与されているとする。このとき、図１０における登録画像更新処理（Ｓ２０）においてユーザが設定したクラスの識別子との差異を求めれば、標準型での識別処理の識別率Rstdが求められる。従ってこの識別率が、あらかじめ定められた基準の識別率Rthrより低ければ、標準型の部分領域を補う形で、適応型の部分領域数Nadd’、Ndel’あるいはそれらに対する重みW’を大きくするとよい。その方法として、例えば以下の式を示す。
Nadd’ = Nadd×（Rthr÷Rstd）
Ndel’ = Ndel×（Rthr÷Rstd）
W’ = W×（Rthr÷Rstd）

＜端点検出結果に基づく適応型部分領域の設定方法＞
図５における特徴ベクトル抽出部３１で行う端点検出処理を行っていれば、上で述べたように端点それぞれの尤度を取得できる。ある端点に対する尤度を登録画像間で平均すれば、その端点における平均尤度が求められる。またそれを全端点間で平均すれば、登録画像における端点検出の平均尤度が求められる。登録画像における端点検出の平均尤度の大小は、登録画像においてオブジェクトが識別に適した姿勢で入力画像に写っているか、つまり登録画像として有効な画像なのか判断する手がかりとなり得る。登録画像における端点検出の平均尤度の大小に応じて、適応型の部分領域数や重みを大きくするとよい。端点検出尤度の基準をAstd、端点検出の平均尤度をAavgとしたとき、適応型の部分領域の数や重みは以下の式を用いて求めるとよい。
Nadd’ = Nadd×（Aavg÷Astd）
Ndel’ = Ndel×（Aavg÷Astd）
W’ = W×（Aavg÷Astd）

また、平均尤度が高い端点においては、入力画像に対しても小さい誤差で端点が検出できる可能性がある。従って、平均尤度が高い端点を基準に位置を定める部分領域については、その重みを大きくするとよい。ある端点iにおける検出尤度をA[i]とするとき、その端点を基準に位置を定める局所領域iの重みW[i]の更新後の値W[i]’は以下の式で求められる。
W[i]’ = W[i]×（A[i]÷Astd）

以上が特徴ベクトル生成用データ更新処理の説明である。続いて、識別手段評価処理について説明する。

＜識別手段評価処理＞
識別処理評価部６５は登録画像情報取得部６２から取得できる情報に基づいて、適応型の入力画像識別手段を更新すべきかと、標準型および適応型それぞれのＳＶＭ識別器の出力値を統合する基準を更新すべきかとを判断する。

判断の例として、登録画像の識別率について説明する。まず、登録画像それぞれに対して図４に示す識別処理を行い、クラスの識別子を推定する。また、登録画像情報取得部６２から、標準型の部分特徴と識別器のみを用いて推定したクラスの識別子と、ユーザが設定したクラスの識別子を取得する。次に、上記識別子の情報から、標準型の部分特徴と識別手段のみを用いた場合の識別率と、現在の識別処理における識別率を算出する。登録画像の更新により、現在の識別処理における識別率が、前記標準型の部分特徴と識別手段のみを用いた場合の識別率を下回る、あるいは同程度になった場合に、ＳＶＭ識別器更新処理の必要があると判断する。すなわち、識別処理評価部６５は、標準型の識別器のみを用いた識別率と、標準型の識別器及び適応型の識別器を用いた識別率との大きさの関係に基づいて識別用データ行進処理の要否を判断する。
また別の判断基準として、図９における部分特徴評価部６３と同様に登録画像の撮影日時を用いることができるが、ここでは割愛する。

＜識別用データ更新処理＞
識別用データ更新部６６は、特徴ベクトル生成用データ更新部６４での処理と同様に、登録画像記録部３に保存されている登録画像と登録画像情報取得部６２から取得できる情報を用いて、適応型のＳＶＭ識別器を学習する。そして、標準型および適応型のＳＶＭ識別器の出力値を統合する基準を設定する。

まず、適応型のＳＶＭ識別器を学習する。標準型の部分領域と適応型のＳＶＭ識別器の差異は、教師データと学習のタイミングであり、学習の手順は同一とすることができる。標準型のＳＶＭ識別器は、教師データとして多数の画像が与えられ、あらかじめ装置外で学習が完了していることに対して、適応型のＳＶＭ識別器は、教師データとして登録画像が与えられ、装置内で逐次再学習が行われる。以下では、図１２を参照して、識別用データ更新部６６によるＳＶＭ識別器の学習手順を説明する。

まず、識別用データ更新部６６は、教師データとなる画像を取得する（Ｓ４０）。人物の顔を扱う場合は、教師データとして、個人の識別子を表すラベルのついた顔を含む画像を多数用意する。次に、識別用データ更新部６６は、これらの画像の中から２つを取り出し、部分特徴量抽出部２１および類似度計算部２２で述べた方法で類似度ベクトルを生成する（Ｓ４１）。続いて、識別用データ更新部６６は、類似度ベクトルと、その類似度ベクトルがintra-classの類似度なのかextra-classの類似度なのかを表すラベルを併せて、ＳＶＭの学習器に与える（Ｓ４２）。識別用データ更新部６６は、この（Ｓ４１）から（Ｓ４２）の処理を取得した全ての画像の組み合わせについて行ったか判定する（Ｓ４３）。完了していると判定された場合には、識別用データ更新部６６は、intra-classとextra-classの類似度ベクトルを類似度ベクトル空間上で分離させる超曲面（分離平面）を導出する（Ｓ４４）。以上がＳＶＭ識別器を学習させる手順の説明である。なお、ここで説明した処理は、概ね公知の技術に関するものなので、適宜省略してある。なお、適応型のＳＶＭ識別器については、初期状態からの再学習を必要とせず、追加された教師データのみで逐次学習する方式のＳＶＭ識別器を、適応型のＳＶＭ識別器に用いることもできる。この逐次学習型のＳＶＭについては、「G.Cauwenberghs ＆ T. Poggio （2001）“Incremental and decremental support vector machine Learning”, In Advances in NeuralInformation Processing Systems」などの公知の文献を参照されたい。

識別用データ更新部６６は、登録済みクラスの数だけ、それぞれに対応する適応型のＳＶＭ識別器を生成する。登録画像更新部６１の処理結果により、登録済みクラスが増加した場合にはその分だけ適応型のＳＶＭ識別器が追加され、クラスが減少した場合にはそのクラスに対応する適応型のＳＶＭ識別器が破棄される。

あるクラスに対応する適応型のＳＶＭ識別器を学習させる際には、
・そのクラスに属する登録画像同士から得られる類似度ベクトルをintra-classの教師データとして、
・そのクラスに属する登録画像とそれ以外のクラスに属する登録画像から得られる類似度ベクトルをextra-classの教師データとして、
それぞれＳＶＭ学習器に与える。

次に、識別結果統合部２４で標準型のＳＶＭ識別器の出力値と適応型のＳＶＭ識別器の出力値とを統合する重みを定める。重みは適応型のＳＶＭ識別器それぞれ異なるものを定めても良いし、全て同じものを用いても良い。例えば重みの決め方として、以下のようなものがあり、下記の方法の１つ以上を組み合わせて重みを決定するのがよい。なお、以下の設定方法の例で用いる式中の記号を以下のように定義する。また上述の部分特徴評価処理での定義も併せて参照されたい。ここでrstdにはあらかじめ初期値が与えられていることとし、さらにrstdはゼロにならないよう下限を設けておくとよい。
rstd：Ostdが最終的な出力値に寄与する割合
rada：Oadaが最終的な出力値に寄与する割合（1.0− rstd）
Ostd：標準型のＳＶＭ識別器による出力値
Oada：適応型のＳＶＭ識別器による出力値
Ofin：標準型および適応型の出力値を統合した最終的な出力値
Ofin = Ostd×rstd + Oada×rada

＜登録画像数に基づく適応型ＳＶＭ識別器重みの設定方法＞
登録画像の数nが大きければ、それだけ幅広い変動を含んだ教師データで学習していると仮定できる。従って適応型のＳＶＭ識別器に対しての重みradaを大きくするのが良い。あるいは、nが登録画像数の基準nminを下回っている場合には、適応型のＳＶＭ識別器の出力値に対する重みradaをゼロにしてしまう、つまり使用しない方法もよい。重みrada’は、例えば以下の式を用いて求めることができる。
rada’ = rada×（n÷nmin） （n ＜ nminの場合はrada’はゼロ）

あるいは、登録済みクラスごとにそれぞれ異なる重みを求めることもできる。あるクラスに属する登録画像の数をn[c]、１つのクラスに属する登録画像数の基準をnmincとするとき、そのクラスに対応する適応型のＳＶＭ識別器から出力される値の重みrada[c]の更新後の値rada[c]’は以下の式で計算できる。
rada[c]’ = rada[c]×（n[c]÷nminc）

＜識別処理結果に基づく適応型ＳＶＭ識別器重みの設定方法＞
各登録画像について、前記登録画像情報取得処理（Ｓ２１）で述べたような、適応型の部分領域とＳＶＭ識別器を使用せずに、逐次学習していない初期状態、つまり標準型での識別処理を行い、クラスの識別子が付与されているとする。このとき、前記登録画像更新処理（S２０）において人手から得られたクラスの識別子との差異を求めれば、標準型での識別処理の識別率Rstdが求められる。従って、この識別率Rstdが低ければ、適応型のＳＶＭ識別器を補う形で重みradaを大きくするとよい。例えば、あらかじめ定められた基準の識別率Rthrを用いて、以下に示す式で重みrada’を設定できる。
rada’ = rada×（Rthr÷Rstd）

あるいは上と同様に、登録済みクラスごとにそれぞれ異なる重みを求めることもできる。例えばあるクラスcにおける標準型での識別処理での識別率をRstd[c]とするとき、そのクラスに対応する適応型のＳＶＭ識別器による出力値の重みrada[c]の更新後の値rada[c]’は以下の式で計算できる。
rada[c]’ = rada[c]×（Rthr[c]÷Rstd）

以上が適応型のＳＶＭ識別器を学習しなおす処理であり、それぞれのＳＶＭ識別器の分離平面に関するパラメータをＳＶＭ識別器データ保持部４２に転送し、出力値を統合する重みを、図８における統合用データ保持部５２に転送する。

以上のように、第１実施形態によれば、過学習による識別性能の劣化を抑えつつ、識別したい特定のオブジェクトについての識別性能を向上させることが可能となる。

［第２実施形態］
第１実施形態では、識別処理の際、入力画像とどの登録済みクラスに属する登録画像とを比較するかによらず、常に同一の適応型の部分領域を入力画像および登録画像に設定した。それに対して第２実施形態は、登録済みクラスごとに異なる適応型の部分領域を選ぶ点で第１実施形態と異なる。以下、具体的に説明する。なお、重複を避けるため、以下の説明においては、前実施形態と同じ部分は省略する。各部の基本的な機能は第１実施形態と同一であるため、各部の説明は第１実施形態を参照されたい。

＜特徴ベクトル生成用データ更新処理＞
図９に示されている、画像登録部５内の特徴ベクトル生成用データ更新部６４について、第１実施形態との差異を説明する。第１実施形態では、図１１に示すAdaBoost法により適応型の部分領域を求める際、登録画像間での全ての組み合わせを教師データとして、弱仮説の選択（Ｓ３１）から重み更新（Ｓ３２）まで行う。これにより、登録済みクラスを識別する性能が平均的に高い適応型の部分領域が１セット選ばれる。部分特徴量抽出部２１は、どんな入力画像と登録画像を比較する際にも、同一の適応型の部分領域を用いて標準型の部分領域に追加および削除を行った部分領域を、入力画像および登録画像に設定することとなる。

それに対して第２実施形態では、登録済みクラス毎に、その登録済みクラスを識別する性能が高くなる適応型の部分領域をそれぞれ選ぶ。つまり、適応型の部分領域のセットが、登録済みクラスと等しい数だけ選ばれることとなる。図３における部分特徴量抽出部２１は、ある登録済みクラスに属する登録画像と入力画像を比較する際、その登録済みクラスと対応する適応型の部分領域で標準型の部分領域に追加および削除を行う。そして追加および削除を行った部分領域を入力画像および登録画像に設定する。

ある登録済みクラスに対応する適応型の部分領域をAdaBoost法で選ぶ際には、教師データとする登録画像間での組み合わせの全ては用いず、以下の組み合わせを教師データとして用いる。それは、対象となるクラスに属する登録画像同士の組み合わせと、対象となるクラスに属する登録画像と、それ以外のクラスに属する登録画像の組み合わせである。対象とならないクラスに属する登録画像同士の組み合わせは、教師データから除外する。

以上のように第２実施形態によれば、クラスごとに異なる適応型の部分領域が選ばれるので、第１実施形態の効果に加えて、クラス毎に適切な部分領域を選択することができる。

［第３実施形態］
第１実施形態では、適応型の部分領域が、AdaBoost法による機械学習で決定される。それに対して第３実施形態は、あらかじめ装置外でオブジェクトの平均画像を生成しておき、その平均画像と登録画像を比較することで、適応型の部分領域を選択する。以下、第３実施形態を具体的に説明する。なお、重複を避けるため、以下の説明においては、第１実施形態と同じ部分に関する説明は省略する。各部の基本的な機能は第１実施形態と同様であるため、各部の説明は第１実施形態を参照されたい。

＜平均特徴量生成処理＞
第３実施形態による画像登録部５について、図１３を用いて説明する。第３実施形態の画像登録部５が第１実施形態と異なる点は、平均特徴量保持部６７が追加されており、特徴ベクトル生成用データ更新部６４がこれを参照する点である。平均特徴量保持部６７には、オブジェクトの平均画像として、あらかじめ定められた部分特徴候補それぞれにおける部分特徴量の平均値（平均特徴量）が保持されている。この平均特徴量は、あらかじめ装置外で十分な量の教師データが与えられて生成されることが望ましい。以下では、第１実施形態にならい、部分特徴として画像の部分領域を用いる場合の平均特徴量生成について説明するが、平均の部分特徴量はいかなる種類の部分特徴からも生成できることは言うまでもない。

まず、平均特徴量保持部６７は、与えられた平均特徴量生成用データとなる画像中の、あらかじめ定められている部分領域候補すべてにおいて、部分特徴量抽出部２１について説明したような部分特徴量の抽出処理を施す。この処理で得られるものを全ての画像について平均すれば、部分領域候補それぞれについて平均特徴量が得られる。ただし、部分特徴量抽出部２１で行われるどの時点での特徴量を平均するかは任意である。例えば、切り出された画像の部分領域そのもの、部分領域に対して輝度値を取り出すなどのフィルタ演算を施したもの、フィルタ演算を施した部分領域に対してＰＣＡなどを用いて圧縮したものが挙げられる。なお、後で述べる特徴ベクトル生成用データ更新処理での計算量の観点から、最もデータ量が削減されているＰＣＡなどを用いて次元を圧縮した特徴ベクトルを、教師データとなる画像間で平均して平均特徴量保持部６７に保持しておくのが良い。

＜特徴ベクトル生成用データ更新処理＞
第３実施形態の特徴ベクトル生成用データ更新部６４は、登録画像記録部３に保存されている登録画像、登録画像情報取得部６２から取得できる情報、さらに平均特徴量保持部６７に保持されている平均特徴量を用いて、適応型の部分領域とその重みを選ぶ。

まず、特徴ベクトル生成用データ更新部６４は、登録画像それぞれについて、平均特徴量生成処理で教師データとなる画像に適用したものと同じ特徴量抽出処理を施し、あらかじめ定められている部分領域候補それぞれから部分特徴量を抽出する。続いて、特徴ベクトル生成用データ更新部６４は、登録画像の特徴量と平均特徴量に基づいて、あらかじめ定められている部分領域候補それぞれについて重みを決定する。本実施形態における重みと適応型部分特徴の数の求め方は、第１実施形態における特徴ベクトル生成用データ更新処理で述べた設定方法に加えて、以下の設定方法で選ぶことができる。これらの１つ以上を組み合わせて適応型の部分領域の数と重みを決定するのがよい。

＜平均特徴量との差分に基づく部分領域候補の重み設定方法＞
ある部分領域候補pについて、平均特徴量と登録画像から得られた特徴量の差分を取る。この差分をあるクラスcに属する登録画像すべてに対して取得し、クラス内差分平均da[p][c]を得る。さらに、クラス内差分平均を全ての登録済みクラスにおいて平均することで、差分平均da[p]が取得できる。このクラス内差分平均の大きさとは、あるクラスのオブジェクトがこの部分領域候補において、平均的なオブジェクトと比較してどれほど特徴的であるか表す尺度といえる。差分平均da[p]に比べてクラス内差分平均da[p][c]が著しく大きい部分領域候補、例えば顔画像においては個人に特有のホクロなど目印となるような部分領域候補を積極的に用いれば、クラスcの識別性能を上げられる可能性がある。従って、部分領域候補を以下の式で評価することで、前記目印となりうる部分領域候補の重みW[p]’を大きくできる。また、そのクラスに属する登録画像の枚数n[c]が大きいほど差分平均の信頼性が上がるため、１つのクラスに属する登録画像数の基準nmincを用いて、以下の式からW[p]の重みを大きくするとよい。なお、式中の記号については、第１実施形態での前記部分特徴評価処理での定義も併せて参照されたい。
W[p]’ = W[p]×（da[p][c]÷da[p]）×（n[c]÷nminc）

＜同一クラス登録画像間との差分に基づく部分領域候補の重み設定方法＞
ある部分領域候補pについて、ある同一クラスcに属する登録画像同士から得られた特徴量の差分を取る。この差分をそのクラスに属する登録画像同士の組み合わせすべてに対して取得し平均することで、自己差分平均d[p][c]を得る。この自己差分平均の大きさとは、あるクラスのオブジェクトがこの部分領域候補pにおいて、どれほど変化するかを表す尺度といえる。この自己差分平均が大きい部分領域候補とは、例えば顔画像においては、表情で大きく変化する目や、時間経過で変化が大きい髪の毛などであるといえる。この差分平均が小さい、つまり同一オブジェクトにおいて変化しにくい部分領域候補を積極的に用いることで、識別性能を上げられる可能性がある。従って、あるクラスに属する登録画像においてこの差分平均が小さい部分領域候補の重みを、差分平均が小さいほど大きくすると良い。また同時に、そのクラスに属する登録画像の枚数が大きいほど差分平均の信頼性が上がるため、前記差分平均が小さい部分領域候補の重みを大きくするとよい。例えば、以下の式からW[p]の重みを変更できる。なお、式中のdとは、自己差分平均を全登録済みクラスおよび全部分領域候補で平均をとったものである。
W[p]’ = W[p]×（d[p][c]÷d）×（n[c]÷nminc）

なお、上記の設定方法における差分の定義は任意であるが、ベクトルの内積を利用して0.0から1.0の範囲で求めるのが良い。以上が第３実施形態の説明である。

［第４実施形態］
第４実施形態は、第１実施形態に対して、オブジェクト識別部４が含む識別部と、画像登録部５が含む識別用データ更新部の処理内容が異なる。第１実施形態では、適応的に構成されるＳＶＭ識別器の出力が、標準型のＳＶＭ識別器の出力と線形和で結合されており、適宜追加される登録画像に基づいて線形和の重みを逐次更新していた。それに対して第４実施形態では、標準型のＳＶＭ識別器と適応型のＳＶＭ識別器が直列に配置され、順に駆動される。標準型のＳＶＭ識別器の出力値がある閾値を超えなければ、その時点で処理が打ち切られる。出力値がある閾値を超えた場合、適応型のＳＶＭ識別器の出力値により入力画像が属するクラスが判別される。閾値は、識別用データ更新部により更新される。以下、第４実施形態を具体的に説明する。重複を避けるため、以下の説明においては、第１実施形態と同様の構成についての説明は省略する。各部の基本的な機能は第１実施形態と同一であるため、各部の説明は第１実施形態を参照されたい。

＜識別処理＞
オブジェクト識別部４内の識別部について、第１実施形態との差異を説明する。ここでは第１実施形態と同じく、intra-class, extra-classの２クラス問題を、ＳＶＭ識別器を用いて判定する場合について説明する。図７の（ｂ）は、オブジェクト識別部４における識別部２３の一構成例を示すブロック図である。識別部２３は、ＳＶＭ識別器駆動部４１、ＳＶＭ識別器データ保持部４２を含む。ＳＶＭ識別器駆動部４１で用いる標準型および適応型のＳＶＭ識別器の性質や、適応型のＳＶＭ識別器を登録済みクラスと等しい数だけ備えることは、第１実施形態と同じである。ただし、ＳＶＭ識別器駆動部４１におけるＳＶＭ識別器の組み合わせ方が一部異なり、並列ではなく直列に結合される。識別部２３が入力画像と登録画像の類似度ベクトルを識別する手順は以下のとおりである。

まずＳＶＭ識別器駆動部４１は、類似度ベクトルのうち、不要な標準型の部分領域とそうでない標準型の部分領域も含め、標準型の部分領域に対応する成分のみを、標準型のＳＶＭ識別器に入力する。このとき、標準型のＳＶＭ識別器から出力される実数値が所定の閾値を超えない場合には、この登録画像が属するクラスに入力画像は属さないとして処理を打ち切る。閾値を超える場合には、続いて、類似度ベクトルの全ての成分を、登録画像が属するクラスに対応する適応型のＳＶＭ識別器に入力し、得られた出力値を識別結果統合部２４に出力する。続く識別結果統合部２４での処理において第１実施形態と異なる点は次のとおりである。すなわち、登録画像全てにおいて識別処理が完了した後、適応型のＳＶＭ識別器の出力が最も大きい登録画像が属するクラスに入力画像のクラスを必ず定め、該当する登録済みクラス無しと出力しないことである。閾値を決定する手順については、以下の識別用データ更新部で詳しく述べることにする。

＜識別用データ更新処理＞
画像登録部５内の識別用データ更新部６６（図９）について、第１実施形態との差異を説明する。ここでは第１実施形態と同様に、まず登録画像記録部３に保存されている登録画像と登録画像情報取得部６２から取得できる情報を用いて、適応型のＳＶＭ識別器を更新する。この適応型のＳＶＭ識別器の学習は第１実施形態と同じであるため、割愛する。

続いて、第１実施形態では標準型と適応型のＳＶＭ識別器の出力値を線形和で出力する重みを求めたが、本実施形態では、標準型のＳＶＭ識別器の出力値に対する閾値を求める。閾値はあらかじめ初期値が設定されていることとし、識別用データ更新処理でクラスcごとに異なる閾値Th[c]を定めても良いし、全ての登録済みクラスで同じ閾値Thを定めても良い。例えば重みの決め方として、以下のようなものがあり、下記の方法の１つ以上を組み合わせて重みを決定するのがよい。なお、設定方法で述べる式中の記号については、第１実施形態での前記部分特徴評価処理での定義も併せて参照するとよい。

＜登録画像数に基づく適応型ＳＶＭ識別器重みの設定方法＞
あるクラスに属する登録画像が多ければ、そのクラスに対応する適応型のＳＶＭ識別器はそれだけ幅広い変動を含んだ教師データで学習しており、適応型のＳＶＭ識別器がそのクラスに対する類似を識別する性能は高くなると仮定できる。従って、標準型のＳＶＭ識別器でそのクラスに対する変動を識別する際の閾値Th[c]を下げ、適応型のＳＶＭ識別器に委ねるとよい。あるいは、あるクラスに属する登録画像数n[c]が予め定められた値を下回っている場合には、そのクラスに対応する適応型のＳＶＭ識別器を使用しない方法もよい。また、クラス毎の登録画像数に限らず、全登録画像数nの大小によって、全てのクラスに対して、閾値Thを一様に増減しても良い。
Th[c]’ = Th[c]×（nminc÷n[c]） （n[c] ＜nmincの場合はTh[c]’はゼロ）
Th’ = Th×（nmin÷n） （n ＜ nminの場合はTh’はゼロ）

＜識別処理結果に基づく適応型ＳＶＭ識別器重みの設定方法＞
各登録画像について、登録画像情報取得処理（Ｓ２１）で述べたような、適応型の部分領域とＳＶＭ識別器を使用せずに、逐次学習していない初期状態、つまり標準型での識別処理を行い、クラスの識別子が付与されているとする。このとき、登録画像更新処理（Ｓ２０）においてユーザから得られたクラスの識別子との差異を求めれば、標準型での識別処理の識別率が、クラスごとに求められる。あるクラスに対しての標準型のＳＶＭ識別器の識別率Rstd[c]が低ければ、標準型のＳＶＭ識別器でそのクラスに対する変動を識別する際の閾値Th[c]を下げ、適応型のＳＶＭ識別器に識別を委ねるとよい。
Th[c]’ = Th[c]×（Rstd[c]÷Rthr）

以上が適応型のＳＶＭ識別器を学習しなおす処理であり、それぞれのクラスに対応する適応型のＳＶＭ識別器のパラメータと閾値を、ＳＶＭ識別器データ保持部４２に転送する。以上が第４実施形態の説明である。

［第５実施形態］
第５実施形態は、第１実施形態に対して、特徴ベクトル抽出部と識別用データ更新部が用いる教師データとして、登録画像だけでなく、装置内にあらかじめ保存される教師画像を併用するという点で異なる。以下、具体的に説明する。重複を避けるため、以下の説明においては、第１実施形態と同様の構成の説明は省略する。各部の基本的な機能は第１実施形態と同様であるため、各部の説明は第１実施形態を参照されたい。

第５実施形態によるオブジェクト識別装置１００の全体のハードウェア構成例を図１の（ｂ）に示す。また、第５実施形態の画像登録部５の一構成例を図１４に示す。第５実施形態が第１実施形態と異なる点は、教師画像記録部７が追加されていることである。教師画像記録部７には、教師データとして利用できる、オブジェクトの画像が多数保存されており、また、保存されている教師画像はどの登録済みクラスにも属さない。登録画像はユーザにより追加・削除・差し替えが行われることに対して、教師画像にはそのような操作は必要ない。

第１〜第４実施形態のように、登録画像のみで適応型の部分領域とＳＶＭ識別器の学習を行う場合、登録画像の枚数が少なすぎて、十分な学習結果が得られない場合がある。また、登録画像すべてがいずれかのクラスに属するオブジェクト画像であり、いずれのクラスにも属さないオブジェクト画像を学習に用いることができないため、登録画像に極端に特化した適応型の部分領域とＳＶＭ識別器の学習を行ってしまう可能性がある。本実施形態では、登録画像情報取得部６２、特徴ベクトル生成用データ更新部６４、識別用データ更新部６６における処理では、登録画像記録部３に登録されている画像だけでなく、教師画像記録部７に保存されている教師画像も併せて使用する。

本発明は、上記第１乃至第５実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１をはじめとする構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。

Claims (17)

1. 入力画像に含まれているオブジェクトが、予め登録された複数のクラスのいずれに属するか識別するオブジェクト識別装置であって、
   入力画像の識別に用いられる複数の登録画像を登録してある登録手段と、
   識別に使用する部分領域を指定する指定データを保持する保持手段と、
   前記入力画像と前記複数の登録画像の各々から、前記指定データによって指定された部分領域の特徴量を抽出し、抽出された特徴量に基づいて前記入力画像が属するクラスを識別する識別手段と、
   前記登録手段の登録内容を更新する登録更新手段と、
   前記登録手段に登録されている前記複数の登録画像に基づいて、前記識別手段の処理内容の更新が必要か否かを判定する更新判定手段と、
   前記更新判定手段により更新が必要であると判定された場合に、前記登録手段に登録されている登録画像に基づいて、前記指定データによる部分領域の指定を更新する第１更新手段とを備えることを特徴とするオブジェクト識別装置。
2. 前記識別手段は、
   前記入力画像と登録画像の特徴量に基づいて類似度ベクトルを取得する取得手段と、
   前記複数の登録画像の各々について前記取得手段が取得した類似度ベクトルを用いて、前記入力画像が登録画像の属しているクラスに属するかを判別する判別手段と、
   前記複数の登録画像についての前記判別手段による複数の判別の結果を統合して識別結果を生成する統合手段と、
   前記更新判定手段により、前記判別手段および前記統合手段で用いられるパラメータの更新が必要であると判定された場合に、前記登録手段に登録されている登録画像に基づいて、前記パラメータを更新する第２更新手段とを更に備えることを特徴とする請求項１に記載のオブジェクト識別装置。
3. 前記更新判定手段は、前記複数の登録画像の作成日時に基づいて前記指定データの更新が必要か否かを判定することを特徴とする請求項１または２に記載のオブジェクト識別装置。
4. 前記更新判定手段は、前記指定データが指定する部分領域に関して、同じクラスの登録画像間における類似度と、別のクラスの登録画像との間の類似度との比である分離度に基づいて前記指定データの更新が必要か否かを判定することを特徴とする請求項１または２に記載のオブジェクト識別装置。
5. 前記判別手段は、複数の教師画像を用いた学習によりパラメータが設定された標準型の識別器と、前記登録手段に登録された登録画像を用いてパラメータが設定されたクラスごとの適応型の識別器とを有し、
   前記更新判定手段は、前記標準型の識別器のみを用いた識別率と、前記標準型の識別器及び前記適応型の識別器を用いた識別率との大きさの関係に基づいて、前記パラメータの更新の要否を判定することを特徴とする請求項２に記載のオブジェクト識別装置。
6. 前記第２更新手段は、前記標準型の識別器及び前記適応型の識別器における分離平面を更新することを特徴とする請求項５に記載のオブジェクト識別装置。
7. 前記第２更新手段は、前記標準型の識別器と前記適応型の識別器の各々の結果の出力に対する統合時の重み付けを更新することを特徴とする請求項５または６に記載のオブジェクト識別装置。
8. 前記識別に使用する部分領域は、クラスに関わらず同じであることを特徴とする請求項１に記載のオブジェクト識別装置。
9. 前記識別に使用する部分領域は、クラスごとに異なることを特徴とする請求項５に記載のオブジェクト識別装置。
10. 複数の教師画像を用いて算出された各部分領域の特徴量の平均値を保持する平均特徴量保持手段を更に備え、
    前記第１更新手段は、同じクラスに属する登録画像を用いて算出された部分領域の特徴量の平均値と、対応する部分領域の前記平均特徴量保持手段に保持されている平均値とに基づいて、当該部分領域に対する重み値を更新することを特徴とする請求項１に記載のオブジェクト識別装置。
11. 前記標準型の識別器と前記適応型の識別器は並列に接続され、
    前記統合手段は、前記標準型の識別器と前記適応型の識別器から得られた識別結果を統合することを特徴とする請求項５に記載のオブジェクト識別装置。
12. 前記標準型の識別器と前記適応型の識別器は直列に接続され、
    前記統合手段は、前記適応型の識別器から得られた識別結果を統合することを特徴とする請求項５に記載のオブジェクト識別装置。
13. 前記適応型の識別器は、前記標準型の識別器の識別結果が閾値を越えている場合にのみ処理を実行し、
    前記第２更新手段は、前記閾値を更新することを特徴とする請求項１２に記載のオブジェクト識別装置。
14. 前記適応型の識別器はクラスごとに設けられ、前記閾値はクラスごとに異なることを特徴とする請求項１３に記載のオブジェクト識別装置。
15. 複数の教師画像を記憶した教師画像記録手段を更に備え、
    前記第１更新手段と前記第２更新手段は、前記登録手段の登録画像が不足する場合に、前記教師画像記録手段に保持された教師画像を利用して更新処理を行うことを特徴とする請求項２に記載のオブジェクト識別装置。
16. 入力画像の識別に用いられる複数の登録画像を登録してある登録手段と、
    識別に使用する部分領域を指定する指定データを保持する保持手段とを備え、
    入力画像に含まれているオブジェクトが、予め登録された複数のクラスのいずれに属するか識別するオブジェクト識別装置の制御方法であって、
    識別手段が、前記入力画像と前記複数の登録画像の各々から、前記指定データによって指定された部分領域の特徴量を抽出し、抽出された特徴量に基づいて前記入力画像が属するクラスを識別する識別工程と、
    登録更新手段が、前記登録手段の登録内容を更新する登録更新工程と、
    更新判定手段が、前記登録手段に登録されている前記複数の登録画像に基づいて、前記識別手段の処理内容の更新が必要か否かを判定する更新判定工程と、
    前記更新判定工程において更新が必要であると判定された場合に、前記登録手段に登録されている登録画像に基づいて、前記指定データによる部分領域の指定を更新する更新工程とを有することを特徴とするオブジェクト識別装置の制御方法。
17. 請求項１乃至１５のいずれか１項に記載のオブジェクト識別装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。

Images