JP2016062253A - オブジェクト識別装置、オブジェクト識別方法及びプログラム - Google Patents

Abstract

【課題】ユーザの利便性を保ちつつ、オンライン学習を有効に利用できるようにする。【解決手段】オブジェクト識別装置１００は、登録画像内のオブジェクトの特徴部分の部分特徴量に対して設定された類似度に基づいて、オブジェクトの類似度を生成する生成手段と、その類似度に基づいてオブジェクトの識別処理に利用されるパラメータを学習する学習手段と、入力画像内のオブジェクトの特徴部分の部分特徴量と登録画像内のオブジェクトの部分特徴量との類似度を取得する取得手段と、取得された類似度と学習されたパラメータに基づいて、入力画像内のオブジェクトの識別をする識別手段とを有することにより、学習データの削減と学習処理の軽減をする。【選択図】図１

Description

本発明は、オブジェクト識別装置、オブジェクト識別方法及びプログラムに関する。

パターン認識における識別技術、特に画像データ中の被写体である個人が、別の画像中の被写体である個人と同一であるか否か識別する技術として、個人の顔を識別する顔識別技術がある。以下、本明細書では、オブジェクトの識別とは、オブジェクトの個体の違い（例えば、個人としての人物の違い）を判定することを意味する。一方、オブジェクトの検出とは、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、顔を検出する）ことを意味するものとする。

特許第４３７９４５９号公報

Ｑｉ Ｙｉｎ， Ｘｉａｏｏｕ Ｔａｎｇ， ａｎｄ Ｊｉａｎ Ｓｕｎ． "Ａｎ Ａｓｓｏｃｉａｔｅ−Ｐｒｅｄｉｃｔ Ｍｏｄｅｌ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ．" Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０１１． Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊｏｎｅｓ，"Ｒｏｂｕｓｔ ｒｅａｌ−ｔｉｍｅ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ"， ｐｐ．７４７， Ｅｉｇｈｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＣＣＶ'０１） − Ｖｏｌｕｍｅ ２， ２００１．

上記のような、パターン（画像中のオブジェクト、人物の顔等）の識別を行う装置及び方法においての識別性能を低下させる要因としては、登録用パターンと認証用パターンとの間の変動が挙げられる。即ち、識別対象である人物の顔等のオブジェクトの変動、具体的には、照明条件、向き・姿勢、他のオブジェクトによる隠れ、表情による変動等である。登録用パターンと認証用パターンとの間の変動が大きくなると、識別性能が大幅に低下してしまうという問題がある。
この問題に対するための従来技術には、画像中のオブジェクトの局所部分に注目するという技術がある。例えば、オブジェクトが人物の顔であるとして、ある個人を撮像した顔画像データについて、一般に上述のような変動の影響は、顔の全域で均一には現れない。例えば、表情変動の場合、表情のある画像と無表情の画像では、口や目に比べて、鼻付近の変動は少ないと期待される。同様に、照明変動の場合、斜光を受けた顔画像と全体に均一に照明が当たった顔画像との間の変動は、斜光が当たっている部分における変動のほうが、斜光が当たっていない部分における変動に比べて小さいと期待される。また、顔の向きが観察者に相対して左に向いた場合、顔の３次元形状から、顔の左側は奥行き方向に隠れるため、正面顔との変動は顔の右側よりも顔の左側の方が大きい。したがって、表情変動や、照明変動、顔向き変動等の変動が生じても、ある局所領域の変動が個人の識別が不可能なほどに大きくても、他の局所領域では個人の特定が可能な程度の変動である場合がある。即ち、比較的変動の少ない局所領域毎の類似度を選択的に統合して用いれば、良好な個人識別が可能となると考えられる。

また、大きな変動に対応するためには、予め登録用パターンに十分な変動を含ませることが、一般的に有効であるとされている。例えば人物の顔の場合、登録人物ごとに、照明条件、向き・姿勢、隠れ、表情等の変動をもつ画像を登録しておけばよい。撮影の際に起こりうる条件を予め登録画像に含めておけば、認識精度の向上が期待できる。
しかし、予め多数の登録画像を準備することは、ユーザの利便性とは相反する制約であり、さらに、精度向上に寄与する変動パターンを用意することも実用上は困難であるという問題がある。
上記問題に対して、特許文献１では、登録オブジェクトの３次元形状を用いて、１枚の画像から様々な変動画像を作り出し、擬似的に登録画像を増やす方式を提案している。
また、非特許文献１では、予め人種や、性別、年齢について十分な数のデータを準備しておき、そこから入ってきた画像に近い画像を再構成する方式を提案している。準備されたデータには、向きや照明条件について変動を加えたデータが予め紐づけられているので、例えば横を向いた画像から、正面を向いた画像を再構成することが可能になる。

認識精度の向上のために、登録オブジェクトに特化した識別器を個々に用意する手法も長く研究されている。この手法は、画像を登録した際に機械学習を行うので、オンライン学習とも呼ばれる。オンライン学習は精度向上のための有効な技術であるが、大きく２つの問題がある。１つ目の問題は、学習データの問題である。上述のようにユーザの利便性を考えると登録オブジェクトの画像は、少ない程よい。一方、識別器を登録オブジェクトに特化させるには、学習データはある程度十分な数が必要である。２つ目の問題は、計算量の問題である。一般に機械学習は、様々な統計処理や数値演算を駆使して行われることが多いが、デジタルカメラや携帯電話等限られた計算リソースしかないデバイスに組み込もうとする場合、その処理量が問題になる。１つ目の問題は、上述の特許文献１や非特許文献１の方法により、少ない登録画像から変動画像を作り出すことによって、回避できる可能性があるが、画像を入力とするので２つ目の問題を大きくする。即ち、画像のような高次元のデータを機械学習の入力とすると、処理負荷が大きくなる。一方、処理負荷を減らすために、学習データの量を減らすと、十分な変動を含むことができなくなり、精度向上が期待できなくなる。上記のような問題のために、ユーザの利便性を保ちつつ、オンライン学習を有効に用いることができなかった。
そこで、本発明は、ユーザの利便性を保ちつつ、オンライン学習を有効に利用できるようにすることを目的とする。

そこで、本発明のオブジェクト識別装置は、登録画像内のオブジェクトの特徴部分の部分特徴量に対応する部分特徴量に対して設定された類似度に基づいて、前記登録画像の前記特徴部分の部分特徴量の類似度を生成する生成手段と、前記生成手段により生成された前記類似度に基づいて、前記登録画像内のオブジェクトの識別処理に利用されるパラメータを学習する学習手段と、入力画像内のオブジェクトの前記特徴部分の部分特徴量と前記登録画像内のオブジェクトの前記特徴部分の部分特徴量との類似度を取得する取得手段と、前記取得手段により取得された類似度と、前記学習手段により学習されたパラメータとに基づいて、前記入力画像内のオブジェクトが前記登録画像内のオブジェクトと同一か否かを識別する識別手段と、を有する。

本発明によれば、ユーザの利便性を保ちつつ、オンライン学習を有効に利用できるようにすることができる。

オブジェクト識別装置のハードウェア構成の一例を示す図である。 オブジェクト識別装置の処理の一例を示すフローチャートである。 オブジェクト登録部の機能構成の一例を示す図である。 登録オブジェクト辞書データ生成部の機能構成の一例を示す図である。 識別器学習部の機能構成の一例を示す図である。 登録オブジェクト類似度生成部の機能構成の一例を示す図である。 オブジェクト類似度生成部の処理の一例を示すフローチャートである。 識別器学習部の処理の一例を示すフローチャートである。 入力オブジェクト識別部の機能構成の一例を示す図である。 入力オブジェクト識別部の処理の一例を示すフローチャートである。 入力オブジェクト識別用データ生成部の機能構成の一例を示す図である。 入力オブジェクト識別演算部の機能構成の一例を示す図である。 入力オブジェクト識別演算部の処理の一例を示すフローチャートである。 登録オブジェクト辞書データ生成部の機能構成の一例を示す図である。 部分特徴量選択部の処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、オブジェクト識別装置１００全体のハードウェア構成の一例を示す図である。オブジェクト識別装置１００は、結像光学系１、撮像部２、撮像制御部３、画像記録部４、オブジェクト登録部５、入力オブジェクト識別部６、外部出力部７、接続バス８、を含む。
結像光学系１は、ズーム機構を備えた光学レンズを含み、パン・チルト軸方向の駆動機構を備えてもよい。
撮像部２は、映像センサとして典型的にはＣＣＤ又はＣＭＯＳイメージセンサを含み、センサ駆動回路からの読み出し制御信号に基づいて、予め定められた映像信号（サブサンプリング、ブロック読み出しして得られる信号等）を画像データとして出力する。
撮像制御部３は、撮影者の操作に基づく指示（画角調整指示、シャッター押下等）、オブジェクト登録部５や入力オブジェクト識別部６からの情報等に基づいて、実際に撮影が行われるタイミングを制御する。

画像記録部４は、半導体メモリ等を含み、撮像部２から転送された画像データを保持し、オブジェクト登録部５、入力オブジェクト識別部６からの要求に応じて、予め定められたタイミングで、画像データを転送する。
オブジェクト登録部５は、画像データから識別対象のオブジェクトの情報を抽出し、記録・保持する。オブジェクト登録部５の、詳細な構成及び行われる処理の内容の詳細については、図３〜８で後述する。
入力オブジェクト識別部６は、オブジェクト登録部５から取得した画像データ等の画像データに基づいて、オブジェクトの識別を行う。入力オブジェクト識別部６の、詳細な構成及び行われる処理の内容の詳細については、図９〜１３で後述する。
外部出力部７は、典型的には、ＴＦＴ液晶等のモニタを含み、撮像部２及び画像記録部４等から取得した画像データを、又は、画像データにオブジェクト登録部５、入力オブジェクト識別部６等の出力結果を重畳した画像データを、表示する。また、外部出力部７は、オブジェクト登録部５、入力オブジェクト識別部６の出力結果を電子データとして、外部メモリ等に出力してもよい。
接続バス８は、オブジェクト識別装置１００の構成要素間の制御・データ接続を行うためのバスである。

撮像制御部３、オブジェクト登録部５、入力オブジェクト識別部６は、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵ等）等を有していてもよい。
また、撮像制御部３、オブジェクト登録部５、入力オブジェクト識別部６は、オブジェクト識別装置１００にソフトウェア構成として実装されてもよい。即ち、オブジェクト識別装置１００は、ハードウェア構成としてＣＰＵとメモリとを更に有する。そして、ＣＰＵがメモリに記憶されているプログラムに基づき処理を実行することによって、撮像制御部３、オブジェクト登録部５、入力オブジェクト識別部６に機能を実現するようにしてもよい。
ただし、撮像制御部３、オブジェクト登録部５、入力オブジェクト識別部６がそれぞれ専用回路、プロセッサ等を有している場合、撮像制御部３、オブジェクト登録部５、入力オブジェクト識別部６の機能及び処理については、以下のようになる。即ち、前記専用回路、プロセッサ等が、ハードディスク装置又はＲＯＭ等に記憶されたプログラムに基づき処理を実行することによって、前記機能及び処理が実現される。

［全体処理］
図２は、オブジェクト識別装置１００の処理の一例を示すフローチャートである。図２を参照し、オブジェクト識別装置１００が、入力オブジェクトの識別を行う実際の処理について説明する。入力オブジェクトは、入力画像内のオブジェクトである。なお、以下では、識別対象のオブジェクトが人物の顔であるとして説明するが、識別対象のオブジェクトは、人物の顔に限られず、人物の全体像、道路標識等であってもよい。
Ｓ００において、オブジェクト識別装置１００は、起動処理を行う。オブジェクト識別装置１００の各構成要素は、起動の際に行うよう設定されている処理を行う。オブジェクト登録部５、入力オブジェクト識別部６は、利用するパラメータをハードディスク装置、ＲＯＭ等の記憶部から読み出す処理等を行う。
Ｓ０１において、オブジェクト識別装置１００は、画像記録部４から処理対象の画像データを取得する。前記画像データは入力画像の一例である。
Ｓ０２において、オブジェクト識別装置１００は、Ｓ０１で取得した画像データに対して、人の顔の検出処理を行う。画像中から、人物の顔を検出する方法については、例えば、非特許文献２で提案されている技術等の公知の技術を用いればよい。
Ｓ０３において、オブジェクト識別装置１００は、Ｓ０２の検出処理で、人の顔を検出したか否かを判定する。オブジェクト識別装置１００は、Ｓ０２の検出処理で、人の顔を検出した場合、Ｓ０４の処理へ進む。オブジェクト識別装置１００は、Ｓ０２の検出処理で、人の顔を検出しなかった場合、処理を終了する。

Ｓ０４において、オブジェクト識別装置１００は、Ｓ０２で検出した人の顔の識別処理を行う。より具体的には、オブジェクト識別装置１００の構成要素である入力オブジェクト識別部６がＳ０４の処理を行う。処理の詳細については、図９〜１３で後述する。
Ｓ０５において、オブジェクト識別装置１００は、Ｓ０４での識別処理の結果から、Ｓ０２で検出した顔の人物と同一人物が登録済みの人物の中に存在するか否かを判定する。オブジェクト識別装置１００は、Ｓ０２で検出した顔の人物と同一人物が登録済みの人物の中に存在すると判定した場合、Ｓ０８の処理へ進む。オブジェクト識別装置１００は、Ｓ０２で検出した顔の人物と同一人物が登録済みの人物の中に存在しないと判定した場合、Ｓ０６の処理へ進む。
Ｓ０６において、オブジェクト識別装置１００は、Ｓ０２で検出した顔の人物を登録するか否かを判定する。オブジェクト識別装置１００は、予め定められた設定に基づいて、Ｓ０２で検出した顔の人物を登録するか否かを判定してもよいし、操作部を介したユーザの操作に基づいて、Ｓ０２で検出した顔の人物を登録するか否かを判定してもよい。オブジェクト識別装置１００は、Ｓ０２で検出した顔の人物を登録すると判定した場合、Ｓ０７の処理へ進む。オブジェクト識別装置１００は、Ｓ０２で検出した顔の人物を登録しないと判定した場合、Ｓ０８の処理へ進む。

Ｓ０７において、オブジェクト識別装置１００は、Ｓ０２で検出した顔の人物について、顔の登録処理を行う。より具体的には、オブジェクト識別装置１００の構成要素であるオブジェクト登録部５がＳ０７の処理を行う。処理の詳細については、図３〜８で後述する。Ｓ０２で検出した顔の人物について顔の登録処理が行われる場合、Ｓ０１で取得された画像は、登録画像の一例である。
Ｓ０８において、オブジェクト識別装置１００は、Ｓ０２で検出された人の顔全てについてＳ０４〜Ｓ０７の処理が完了したか否かを判定する。オブジェクト識別装置１００は、Ｓ０２で検出された人の顔全てについてＳ０４〜Ｓ０７の処理が完了したと判定した場合、Ｓ０９の処理へ進む。オブジェクト識別装置１００は、Ｓ０２で検出された人の顔全てについてＳ０４〜Ｓ０７の処理が完了していないと判定した場合、Ｓ０４の処理へ進む。
Ｓ０９において、オブジェクト識別装置１００は、Ｓ０２で検出した顔の人物と同一人物が登録済みの人物の中に存在するか否かの識別処理の結果を、外部出力部７を介して出力する。オブジェクト識別装置１００は、Ｓ０７で新たに人物の顔の登録処理を行った場合、前記登録処理の結果を出力してもよい。
以上が、本実施形態にかかるオブジェクト識別装置１００の全体の処理である。

［オブジェクト登録部］
オブジェクト登録処理について図３に基づいて、説明する。図３は、オブジェクト登録部５の機能構成の一例を示す図である。オブジェクト登録部５は、登録オブジェクト辞書データ生成部２１、登録オブジェクト辞書データ保持部２２、識別器学習部２５、登録オブジェクトデータ選択部２６、を含む。登録オブジェクト辞書データ保持部２２は、属性データ保持部２３、部分特徴量保持部２４、を含む。
登録オブジェクト辞書データ生成部２１は、画像記録部４から取得した画像データに基づいて、オブジェクトの個体を識別するために必要な登録オブジェクト辞書データを生成する。登録オブジェクト辞書データ生成部２１で行われる処理の詳細については、図４で後述する。

登録オブジェクト辞書データ保持部２２は、登録オブジェクト辞書データ生成部２１で取得された登録オブジェクトの部分特徴量を辞書データとして保持する。登録オブジェクトは、登録画像内のオブジェクトである。登録オブジェクト辞書データ保持部２２は、属性データを、登録オブジェクト辞書データ生成部２１から取得してもよいが、登録の際に操作部へのユーザによる操作に基づいて取得してもよい。
属性データ保持部２３は、登録するオブジェクトの属性、例えばオブジェクトが人物の顔である場合、性別、年齢、表情、顔の向き、等を保持する。
部分特徴量保持部２４は、登録オブジェクト辞書データ生成部２１によって抽出した部分特徴量を保持する。
識別器学習部２５は、入力オブジェクト識別部６で用いられる識別器の学習を行う。識別器学習部２５で行われる処理の詳細については、図５〜８で後述する。
登録オブジェクトデータ選択部２６は、入力オブジェクト識別部６からの要求に応じて、以下の処理を行う。即ち、登録オブジェクトデータ選択部２６は、登録オブジェクト辞書データ保持部２２及び識別器学習部２５から、識別に用いる辞書データ、識別器のパラメータ等を取得し、入力オブジェクト識別部６に転送する。

［登録オブジェクト辞書データ生成部］
図４は、登録オブジェクト辞書データ生成部の機能構成の一例を示す図である。登録オブジェクト辞書データ生成部２１は、部分特徴量抽出部３０を含む。部分特徴量抽出部３０は、部分特徴量パラメータ決定部３１、特徴ベクトル抽出部３２、を含む。
部分特徴量抽出部３０は、対象となるオブジェクトを含んだ画像から、特徴ベクトルを抽出する処理を行う。
部分特徴量パラメータ決定部３１は、画像データに対して、特徴ベクトル抽出部３２による特徴ベクトルの抽出処理に利用されるパラメータを決定する。前記パラメータは、典型的には、部分特徴量を抽出するために定めた位置や範囲、等である。また、前記パラメータには、部分特徴量を抽出する際の特徴量のパラメータも含まれる。以下では、部分特徴量を抽出するために定めた位置や範囲のことを部分領域という。部分領域は、特徴部分の一例である。部分特徴量パラメータ決定部３１は、部分領域の位置と範囲、その他の特徴量のパラメータを、機械学習の方法等を用いて予め設定してもよい。部分特徴量パラメータ決定部３１は、特徴量抽出する部分領域の数を、処理にかかる時間等を考慮して、予め設定してもよい。また、部分特徴量パラメータ決定部３１は、前記パラメータを予め用意した学習用サンプルに対して、十分な識別性能を得られる値を計測して決める等してもよい。部分特徴量パラメータ決定部３１は、１つの部分領域に対して複数パラメータを発行してもよい。１つの部分領域に複数の特徴量抽出パラメータを設定する場合の目的や効果については、特徴ベクトル抽出部３２の説明において後述する。

特徴ベクトル抽出部３２は、登録用オブジェクトの画像データから特徴ベクトルを抽出する。特徴ベクトル抽出部３２は、対象オブジェクトが人物の顔である場合、顔を含む画像データから、識別に必要なデータを特徴ベクトルとして取り出す処理を行う。特徴ベクトル抽出部３２は、識別に必要なデータを、部分特徴量パラメータ決定部３１により設定された部分領域から、例えば、前記部分領域内の輝度値を特徴ベクトルとして抽出する。特徴ベクトル抽出部３２は、輝度値による特徴ベクトル以外に、オブジェクトの部分領域の位置に対して不変な特徴量、位置の変動に頑健な特徴量、例えば、輝度の頻度分布等を特徴ベクトルとして抽出してもよい。
特徴ベクトル抽出部３２は、輝度に基づいた特徴量を抽出する際に、照明変動に対して頑健になるように、前記画像データに対して前処理を行ってもよい。特徴ベクトル抽出部３２は、前記画像データに対して、例えばガンマ補正やヒストグラム平坦化等の補正処理を行った後に、特徴量抽出を行うことで最終的な認証精度を向上させることができる。特徴ベクトル抽出部３２は、補正処理のパラメータとして、部分特徴量パラメータ決定部３１によって予め定められた値を適用する。

特徴ベクトル抽出部３２は、部分特徴量パラメータ決定部３１の説明で言及したように、１つの部分領域に対して、複数のパラメータを用いて、特徴量抽出を行うようにしてもよい。特徴ベクトル抽出部３２は、異なるパラメータで抽出を行った部分特徴量を、それぞれ別の登録オブジェクト辞書データとして、登録オブジェクト辞書データ保持部２２に記録する。１つの部分領域に対して、複数のパラメータを用いて特徴量抽出を行うことによって、擬似的に複数の条件で登録するのと同じような効果を期待できる。即ち、特徴ベクトル抽出部３２は、登録の際と認証の際で照明条件等の条件が大きく異なる場合に対応するために、登録の際に複数の条件（パラメータ）で特徴量抽出を行うことにより、認証の際に起こりうる変動に近い条件の特徴量を事前に用意することができる。
特徴ベクトル抽出部３２は、前記前処理のパラメータだけでなく、特徴量抽出のパラメータそのものを複数用意して、前記複数用意したパラメータに基づいて、複数の登録ベクトルを抽出してもよい。例えば、輝度を２値化したものを特徴量として抽出する場合、特徴ベクトル抽出部３２は、２値化の閾値というパラメータを複数用意し、前記複数用意した閾値に基づいて、複数の特徴量を抽出してもよい。特徴ベクトル抽出部３２は、顔認証で良く用いられるＬｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）特徴を用いる場合、注目画素と対象画素との輝度値の差でコード化を行うが、新たなパラメータとして閾値を導入してもよい。特徴ベクトル抽出部３２は、輝度値の単純な大小ではなく、輝度値の差が閾値より大きい場合と閾値より小さい場合とで２値化することにより、照明変動に対して頑健な特徴量にすることができる。閾値を大きくすると、頑健になるが、個人差も失われるので、照明条件に応じて認証に適切な閾値が存在する。特徴ベクトル抽出部３２は、閾値を複数用意して、特徴量抽出を行い、別の登録ベクトルとして登録を行うことによって、様々な照明変動に対応する。

［識別器学習部］
図５は、識別器学習部２５の機能構成の一例を示す図である。識別器学習部２５は、登録オブジェクト類似度生成部４１、類似度特徴生成部４２、識別器学習演算部４３、識別器パラメータ保持部４４、を含む。
識別器学習部２５は、登録オブジェクトの辞書データに基づいて、前記登録オブジェクトと同一なオブジェクトを識別する識別器を学習する処理を行う。即ち、識別器学習部２５は、登録オブジェクトの辞書データに基づいて、機械学習を行うために必要なデータを生成し、前記登録オブジェクト固有の識別器を個別に学習する。前記識別器は、２クラス識別器であるとする。２クラス識別器は、比較するオブジェクト同士が同一であるか否かの判定を行う識別器である。オブジェクトが人物の顔である場合、２クラス識別器は、本人同士（Ｉｎｔｒａ−Ｐｅｒｓｏｎａｌ Ｃｌａｓｓ）か、他人同士（Ｅｘｔｒａ−Ｐｅｒｓｏｎａｌ Ｃｌａｓｓ）かの判定を行うことになる。

登録オブジェクト類似度生成部４１は、登録オブジェクト辞書データ保持部２２から取得した部分特徴量に基づいて、登録オブジェクトの類似度を生成する。登録オブジェクト類似度生成部４１で行われる具体的な処理の内容については、図６、７で後述する。
類似度特徴生成部４２は、登録オブジェクト類似度生成部４１で生成された登録オブジェクトの類似度データに基づいて、識別器学習演算部４３の入力となる類似度特徴データを生成する。
識別器学習演算部４３は、類似度特徴を入力とする識別器の学習を行う。
識別器パラメータ保持部４４は、識別器学習演算部４３で用いられるパラメータを保持する。
類似度特徴生成部４２、識別器学習演算部４３、及び、識別器パラメータ保持部４４で行われる処理の詳細、パラメータの内容等は、図８で後述する。

［登録オブジェクト類似度生成部］
図６は、登録オブジェクト類似度生成部４１の機能構成の一例を示す図である。登録オブジェクト類似度生成部４１は、登録オブジェクト辞書データ保持部２２から、対象となる登録オブジェクトの辞書データを取得し、識別器学習演算部４３での学習処理に必要な登録オブジェクトに関する類似度データを生成する。登録オブジェクト類似度生成部４１は、識別器に２クラス識別器を用いる場合、２つのクラスに属する類似度データを生成する。即ち、登録オブジェクト類似度生成部４１は、同じクラスに属するオブジェクト同士の類似度と、違うクラスに属するオブジェクト同士の類似度を生成する。登録オブジェクト類似度生成部４１は、オブジェクトが人物の顔である場合、同じ人物の顔から取得した部分特徴量間の類似度データと、異なる人物同士の部分特徴量間の類似度データを生成し、類似度データが属するクラスのラベル情報も一緒に出力する。
登録オブジェクト類似度生成部４１は、部分特徴量比較部５１、学習用部分特徴量保持部５２、オブジェクト類似度選択部５３、学習用部分特徴量類似度保持部５４、を含む。
部分特徴量比較部５１は、登録オブジェクトの部分特徴量と、学習用部分特徴量保持部５２に格納してある部分特徴量とを比較し、登録オブジェクトの部分特徴量に最も近い部分特徴量を探し出す処理を行う。
学習用部分特徴量保持部５２は、予め用意されたサンプルから予め抽出された部分特徴量を保持している。
オブジェクト類似度選択部５３は、学習用部分特徴量類似度保持部５４から、部分特徴量比較部５１により探し出された部分特徴量の類似度を取得し、類似度データとして出力を行う。また、オブジェクト類似度選択部５３は、前記類似度データが、どのクラスに属するのかのラベル情報も一緒に出力し、識別器学習演算部４３の処理で前記ラベル情報を利用できるようにする。
学習用部分特徴量類似度保持部５４は、次のような類似度データを保持する。前記類似度データは、学習用部分特徴量保持部５２に格納してある部分特徴量と、学習用部分特徴量保持部５２に格納してある前記部分特徴量の抽出元となるオブジェクトの前記部分特徴量を抽出した画像とは別の画像から抽出した部分特徴量と、の類似度である。

図７は、登録オブジェクト類似度生成部４１の処理の一例を示すフローチャートである。以下、図７を用いて登録オブジェクト類似度生成部４１の処理の内容を説明する。
Ｓ１０において、登録オブジェクト類似度生成部４１は、登録オブジェクトデータ選択部２６を経由して、登録オブジェクト辞書データ保持部２２から登録オブジェクト辞書データを取得する。前記登録オブジェクト辞書データは、１つの登録オブジェクトに関する辞書データであり、複数の部分特徴量から構成される。
Ｓ１１において、登録オブジェクト類似度生成部４１は、Ｓ１０で取得された登録オブジェクト辞書データから、１つの部分特徴量を選択する。

Ｓ１２において、部分特徴量比較部５１は、学習用部分特徴量保持部５２に保持してある部分特徴量から、Ｓ１１で選択した部分特徴量の値に最も近い部分特徴量を選択する。部分特徴量比較部５１は、部分特徴量に、オブジェクト上の位置情報を記録しておき、同じ位置に対応する部分特徴量の中で、Ｓ１１で選択した部分特徴量の値に最も近い部分特徴量を選択する。部分特徴量比較部５１は、例えばオブジェクトが人物の顔である場合、部分特徴量が目を含む部位を切り出したものだとすると、予め用意した様々な人物の目を含む特徴量の中から、登録する顔の目を含む特徴量と最も近いものを探す。
部分特徴量比較部５１が学習用部分特徴量保持部５２に保持してある部分特徴量からＳ１１で選択した部分特徴量の値に最も近いものを選択する方法として、次のような手法がある。即ち、例えば、特徴量をベクトル（以下、特徴ベクトルと呼ぶ）として扱い、学習用部分特徴量保持部５２に保持してある特徴ベクトルの１つ１つとＳ１１で選択した特徴ベクトルとの内積を取って、値が最も大きいものを最も近いものとして選択する手法である。また、学習用部分特徴量保持部５２に保持してある特徴ベクトルの１つ１つとＳ１１で選択した特徴ベクトルとの間のＬ２距離（ユークリッド距離）を計算し、距離が最も小さいものを最も近いものとして選択するという手法でもよい。仮に、学習用部分特徴量保持部５２に保持されている部分特徴量に、登録オブジェクトの部分特徴量と十分近い（閾値等で判断する）ものが存在しない場合、部分特徴量比較部５１は、以下のような処理を行えばよい。部分特徴量比較部５１は、例えば、学習用部分特徴量保持部５２に保持された部分特徴量の重み付け和を求めればよい。即ち、部分特徴量比較部５１は、合成部分特徴量を生成し、登録オブジェクトと十分に近い部分特徴量を探す処理を行う。合成部分特徴量を計算するための式は、数式１のようになる。

数式１で、ｙは、登録オブジェクトの部分特徴ベクトルである。Ａは、行列であり、学習用部分特徴量保持部５２に格納された部分特徴ベクトルを縦に並べたものである。ｗは、Ａの各部分特徴ベクトルに関する重みを表すベクトルである。ｅは、誤差を表すベクトルであり、前記誤差を表すベクトルの大きさ｜ｅ｜が小さい程にＳ１１で選択した部分特徴量と合成部分特徴量とが近いことになる。｜ｅ｜を最小にするｗを求めるには、公知の最適化技術を用いればよい。例えば、ｗの大きさに制約を課すことで、数式１はＬａｓｓｏと呼ばれる形式に定式化され、Ｏｒｔｈｏｇｏｎａｌ Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔ等のアルゴリズムを用いて解を求めることができる。部分特徴量比較部５１は、登録オブジェクトに近い部分特徴量を、重み付け和で求めた場合、重み付け係数ｗを保持しておく。
フローチャートの説明に戻る。

Ｓ１３において、オブジェクト類似度選択部５３は、Ｓ１２で選択又は合成した部分特徴量に対応する部分特徴量の類似度を、学習用部分特徴量類似度保持部５４から選択する。部分特徴量を、学習用部分特徴量の重み付け和で表現した場合は、オブジェクト類似度選択部５３は、対応するすべての部分特徴量の類似度を、同じ重み付け係数をかけて和をとればよい。１つの部分特徴量に対して、選択する学習用部分特徴量の類似度は、複数あってもよい。むしろ、識別器学習処理での十分な頑健性を持つ識別器の学習のためには、十分な変動を持つ類似度データが必要であり、オブジェクト類似度選択部５３は、学習用部分特徴量類似度保持部５４から積極的に複数の類似度データを選択する方が好適である。そのため、学習用部分特徴量類似度保持部５４には、Ｓ１２で選択された学習用部分特徴量と、前記学習用部分特徴量の抽出元となるオブジェクトの、前記学習用部分特徴量を抽出したものとは別の画像から抽出した部分特徴量との類似度データが格納されている。
また、学習用部分特徴量類似度保持部５４には、抽出元とは異なる個体のオブジェクトから抽出された部分特徴量との類似度データも格納されている。オブジェクトが人物の顔の場合、同じ人物の異なる部分特徴量との類似度は、Ｉｎｔｒａ−Ｐｅｒｓｏｎａｌ Ｃｌａｓｓのクラスに属する類似度データになる。また、異なる人物の部分特徴量との類似度は、Ｅｘｔｒａ−Ｐｅｒｓｏｎａｌ Ｃｌａｓｓのクラスに属する類似度データになる。オブジェクト類似度選択部５３は、類似度の属するクラスの情報であるラベル情報も類似度と一緒に出力する。類似度を求めるためのオブジェクトの画像の組み合わせは、様々な変動が与えられている方が好適である。変動の例としては、撮像した際の照明条件の違いである照明変動、オブジェクトの向きの違いである角度変動、撮影時期が異なるために生じる変動である経年変動、等がある。また、変動には、オブジェクトが人物の顔である場合、表情の違いである表情変動も含まれる。例えば、照明変動のある画像の組合せ、角度変動のある画像の組合せ、経年変動のある画像の組合せ等を用意するとよい。オブジェクトが人物の顔の場合、表情変動のある画像の組合せを用意してもよい。また、複数の変動が複合された画像の組合せを用意すると、より多様な変動に対応できる。学習用部分特徴量類似度保持部５４は、多様な変動を持つ画像の組合せから算出された部分特徴量間の類似度を保持することによって、１枚の画像にある登録オブジェクトから抽出した部分特徴量に対して、多様な類似度データを導出可能になる。なお、一般的に、同じオブジェクト同士（顔の場合Ｉｎｔｒａ−Ｐｅｒｓｏｎａｌ Ｃｌａｓｓ）の組合せよりも、異なるオブジェクト同士（顔の場合Ｅｘｔｒａ−Ｐｅｒｓｏｎａｌ Ｃｌａｓｓ）の組合せの方が、数が圧倒的に多い。オブジェクト類似度選択部５３は、両者のバランスをとるように調整するとよい。Ｓ１３の処理で登録オブジェクトの１つの部分特徴量に対応する類似度選択が終了する。

Ｓ１４において、登録オブジェクト類似度生成部４１は、Ｓ１０で取得された登録オブジェクト辞書データの全ての部分特徴量についてＳ１１〜Ｓ１３の処理が完了したか否かを判定する。登録オブジェクト類似度生成部４１は、登録オブジェクトの全ての部分特徴量についてＳ１１〜Ｓ１３の処理が完了したと判定した場合、処理を終了する。登録オブジェクト類似度生成部４１は、登録オブジェクトの全ての部分特徴量についてＳ１１〜Ｓ１３の処理が完了していないと判定した場合、Ｓ１１の処理へ進む。
以上が、登録オブジェクト類似度生成部４１が実行する処理の概要である。登録オブジェクト類似度生成部４１は、登録オブジェクトの部分特徴量から、複数の類似度を生成することによって、識別器学習演算部４３で識別器の学習を行うために必要な類似度データを提供することができる。即ち、登録オブジェクト類似度生成部４１は、登録オブジェクトが１つしかない場合でも、多様な変動を持つ、同じクラスに属するオブジェクト同士の類似度データが生成できる。多様な変動を持つ類似度データの提供により、識別器学習演算部４３で学習される登録オブジェクトを識別する識別器の精度向上が期待できる。

［識別器学習処理］
図８は、識別器学習部２５の処理の一例を示すフローチャートである。以下、図８を用いて識別器学習部２５の処理の内容について説明する。
Ｓ２０において、類似度特徴生成部４２は、登録オブジェクト類似度生成部４１から登録オブジェクトの類似度データを取得する。
Ｓ２１において、類似度特徴生成部４２は、Ｓ２０で取得した類似度データから、類似度特徴を生成する（Ｓ２１）。類似度特徴とは、典型的には、１つのオブジェクトに対して複数ある部分特徴量の類似度を全て連結して、ベクトルとして表したものである。例えば、１つのオブジェクトに対して部分特徴量を３０カ所から抽出した場合、類似度特徴の次元数は３０になる。類似度特徴生成部４２は、類似度を連結した類似度特徴とともに、前記類似度特徴が属するクラスのラベル情報も一緒に出力する。クラスのラベル情報は、オブジェクトが人物の顔の場合は、同一人物というラベル情報（Ｉｎｔｒａ−Ｐｅｒｓｏｎａｌ Ｃｌａｓｓ）と他人同士というラベル情報（Ｅｘｔｒａ−Ｐｅｒｓｏｎａｌ Ｃｌａｓｓ）の２クラスとなる。

Ｓ２２において、識別器学習演算部４３は、識別器パラメータ保持部４４から識別器のパラメータ、学習に必要なパラメータ等を取得する。前記識別器のパラメータとは、典型的には、以下のものを指す。例えば、類似度特徴の識別器に、２クラス判別のためのサポートベクターマシン（ＳＶＭ）を用いた場合、前記識別器のパラメータは、ＳＶＭの演算に必要なパラメータそのものである。識別器にサポートベクターやカーネル関数を用いる場合、前記識別器のパラメータは、カーネルパラメータ等を含む。前記識別器のパラメータは、予め用意した学習データで学習しておいたものが識別器パラメータ保持部４４に保持されており、前記識別器の初期値として用いられる。学習に必要なパラメータには、２つのクラスに属する学習データの重み付けがある。また、学習に必要なパラメータには、学習データに関する識別誤りをどの程度許容するかを表すＣパラメータ等もある。
Ｓ２３において、識別器学習演算部４３は、Ｓ２２で取得したパラメータに基づいて、類似度特徴を評価する。識別器学習演算部４３は、Ｓ２１で類似度特徴生成部４２により取得された類似度特徴の評価精度を、Ｓ２０で取得した類似度データとともに取得した前記類似度データがどのクラスに属するかのラベル情報に基づいて、数値で表すことができる。

Ｓ２４において、識別器学習演算部４３は、前記評価精度が閾値を上回っているか否かを判定する。識別器学習演算部４３は、前記評価精度が前記閾値を上回っていると判定した場合、処理を終了する。識別器学習演算部４３は、前記評価精度が前記閾値を上回っていないと判定した場合、Ｓ２５の処理へ進む。
Ｓ２５において、識別器学習演算部４３は、識別器のパラメータを更新する。識別器のパラメータの更新方法は、具体的な識別器のアルゴリズムに依存する。識別器学習演算部４３は、識別器にＳＶＭを用いる場合、識別器のパラメータの更新方法としてＳ２１で類似度特徴生成部４２により生成された類似度特徴に基づいて２次計画問題を解くことにより、登録オブジェクトに最適な識別器を構成することができる。
以上が、オブジェクト登録部５の説明である。

識別器学習部２５で、類似度特徴を入力とする識別器を学習することの意味について説明する。類似度特徴は、部分特徴量間の類似度を連結したベクトルである。部分特徴量は、オブジェクトに対して、複数設定され、抽出されるが、一般に、部分特徴量の数は、限定的である。特に、部分特徴量の数は、画像の画素数よりは大幅に少なく設定されることが殆どである。例えば、処理対象のオブジェクトとして人物の顔を例に説明する。１００ｘ１００ピクセルの顔画像があるとする。前記顔画像を縦横にそれぞれ１０分割し、１０ｘ１０ピクセルの部分特徴量をとると、部分特徴量は、ＬＢＰ特徴ならば、画素と同じく、１つの部分領域について１００次元となる。即ち、１００次元の部分領域が１００個あることになる。類似度特徴ではなくＬＢＰ特徴のような画像から直接得られる特徴量を入力とする識別器において、登録オブジェクトに特化した識別器学習の負荷は、類似度特徴を入力とする場合と比べて飛躍的に増加する。即ち、識別器は、登録オブジェクトと、前記登録オブジェクトの比較対象となる入力オブジェクトと、の２つのオブジェクトの対応する部分領域の特徴ベクトルを入力とする必要があるので、識別器への入力は、１００次元以上になる。前記識別器への入力は、前記部分領域の特徴ベクトルを単純に連結したものであれば、２倍の２００次元となる。更に、前記識別器は、部分領域ごとに入力を必要とするので、部分領域の数（１００回）、前記識別器の学習処理を繰り返す必要がある。対して、類似度特徴を入力とする場合、入力である特徴次元は、部分領域の数である１００であり、識別器の学習回数は、１回である。したがって、部分特徴量の数と同じ次元数を持つ類似度特徴を入力とする識別器の学習は、部分特徴量を入力とする識別器の学習に比べて、機械学習の負荷を減らすことができる。

また、類似度特徴を入力とする識別器は、学習に必要なデータの数も減らすことができる。部分特徴量を入力とする識別器の学習には、部分特徴量が必要であり、様々な変動に対応するためには、変動の組合せの数だけ部分特徴量が必要になる。上記の例において、部分特徴量１つは、１００次元、類似度は、１次元（スカラー）である。更に、部分特徴量を入力とする識別器は、比較のために、入力オブジェクトと登録オブジェクトとの２つの特徴量が必要なり、実際には部分領域１つにつき、類似度を入力とする識別器に比べて、２００倍のデータが入力として必要になる。
類似度特徴を入力とする識別器を利用することによって、必要なデータ量、学習の演算回数を減らすことが可能になり、組み込み機器等のリソースが限られている機器上での識別器のオンライン学習の応用が可能になる。

［入力オブジェクト識別部］
入力オブジェクト識別処理について説明する。図９は、入力オブジェクト識別部６の機能構成の一例を示す図である。入力オブジェクト識別部６は、入力オブジェクト識別用データ生成部６１、登録オブジェクトデータ取得部６２、入力オブジェクト識別演算部６３、を含む。
入力オブジェクト識別用データ生成部６１は、画像記録部４から取得した画像データに基づいて、対象オブジェクトの識別に必要な情報の抽出を行う。
登録オブジェクトデータ取得部６２は、オブジェクト登録部５から入力オブジェクトの識別に必要な辞書データ及び識別器の情報を、入力オブジェクト識別用データ生成部６１から得られる識別用データと比較可能な（特徴量の次元が一致）状態として、取得する。
入力オブジェクト識別演算部６３は、入力オブジェクト識別用データ生成部６１から取得した識別用データと、登録オブジェクトデータ取得部６２から取得した辞書データと、に基づいて、入力オブジェクトの識別処理を行う。

図１０は、入力オブジェクト識別部６の処理の一例を示すフローチャートである。
Ｓ３１において、登録オブジェクトデータ取得部６２は、オブジェクト登録部５から登録オブジェクトデータを取得する。
Ｓ３２において、入力オブジェクト識別用データ生成部６１は、画像記録部４より入力オブジェクトの画像データを取得する。
Ｓ３３において、入力オブジェクト識別用データ生成部６１は、入力オブジェクト識別用データ生成処理を行う。Ｓ３３の処理の詳細については、図１１で後述する。

Ｓ３４において、入力オブジェクト識別演算部６３は、入力オブジェクト識別演算処理を行う。Ｓ３４の処理の出力の形式には、登録済みデータ（辞書データ）との一致をバイナリ（０又は１）で出力する形式と、正規化した出力値を尤度（例えば０〜１の実数値）として出力する形式と、がある。更に、入力オブジェクト識別演算部６３は、登録オブジェクト（登録者）が複数（複数人）ある場合、それぞれの登録オブジェクト（登録者）に対して、尤度を出力してもよいし、最も良く一致した登録オブジェクトに対する識別結果だけを出力してもよい。また、入力オブジェクト識別演算部６３は、登録オブジェクトに対する尤度ではなく、登録オブジェクトが属するクラスに対しての尤度を出力してもよい。即ち、入力オブジェクト識別演算部６３は、識別対象が人物の場合には、個々の登録顔画像への結果ではなく、人物のＩＤ（名前）に対する尤度を出力するようにしてもよい。なお、Ｓ３４の処理の詳細については、図１２、１３で後述する。
以上が、入力オブジェクト識別部６の処理の説明である。

［入力オブジェクト識別用データ生成部］
図１１は、入力オブジェクト識別用データ生成部６１の機能構成の一例を示す図である。入力オブジェクト識別用データ生成部６１は、部分特徴量抽出部７０を含む。部分特徴量抽出部７０は、部分特徴量パラメータ決定部７１、特徴ベクトル抽出部７２、を含む。入力オブジェクト識別用データ生成部６１の構成及び処理は、図４で説明した登録オブジェクト辞書データ生成部２１の構成及び処理と同様である。

［入力オブジェクト識別演算処理］
図１２は、入力オブジェクト識別演算部６３の機能構成の一例を示す図である。入力オブジェクト識別演算部６３は、入力オブジェクト識別用データ取得部８１、登録オブジェクト辞書データ取得部８２、部分特徴量類似度算出部８３、類似度特徴生成部８４、入力オブジェクト識別処理部８５、を含む。

図１３は、入力オブジェクト識別演算部６３の処理の一例を示すフローチャートである。
Ｓ４０において、入力オブジェクト識別用データ取得部８１は、入力オブジェクト識別用データ生成部６１から入力オブジェクト識別用データを取得する。
Ｓ４１において、登録オブジェクト辞書データ取得部８２は、登録オブジェクトデータ取得部６２から登録オブジェクトの辞書データを取得する。
Ｓ４２において、部分特徴量類似度算出部８３は、Ｓ４０で取得された入力オブジェクト識別用データの部分特徴量と、Ｓ４１で取得された登録オブジェクトの辞書データの前記部分特徴量と対応する部分の部分特徴量と、に基づいて部分特徴量の類似度を算出する。前記類似度は、それぞれ対応する入力オブジェクトの部分特徴ベクトルと登録オブジェクトの部分特徴ベクトル間のユークリッド距離の逆数として表される。また、前記類似度は、ユークリッド距離ではなく、ベクトル間のなす角を類似度として表されてもよい。さらに一般的な距離として、以下の数式２で表されるミンコフスキー距離Ｌの逆数を採用してもよい。

数式２において、２つのベクトルｘ、ｙは、それぞれｄ次元である。必要な２つのパラメータａ、ｂは、予め、評価用のサンプルで、最も識別性能が良くなるように定めておけばよい。

Ｓ４３において、入力オブジェクト識別演算部６３は、Ｓ４１で取得された登録オブジェクトの辞書データ内の部分特徴量全てについて、Ｓ４１で取得された入力オブジェクト識別用データ内の部分特徴量との類似度を求めたか否かを判定する。入力オブジェクト識別演算部６３は、前記辞書データ内の部分特徴量全てについて前記類似度を算出したと判定した場合、類似度特徴生成部８４にＳ４４の処理を実行させる。入力オブジェクト識別演算部６３は、前記辞書データ内の部分特徴量全てについて前記類似度を算出していないと判定した場合、部分特徴量類似度算出部８３にＳ４２の処理を実行させる。
Ｓ４４において、類似度特徴生成部８４は、Ｓ４２で算出された部分特徴量ごとの類似度に基づいて、類似度特徴を生成する。類似度特徴生成部８４は、典型的には、複数の類似度を連結して１つのベクトルにする。
Ｓ４５において、入力オブジェクト識別演算部６３は、全ての登録してあるオブジェクトについての辞書データに対して、類似度特徴を生成したか否かを判定する。入力オブジェクト識別演算部６３は、全ての登録してあるオブジェクトについての辞書データに対して、類似度特徴を生成したと判定した場合、入力オブジェクト識別処理部８５にＳ４６の処理を実行させる。入力オブジェクト識別演算部６３は、全ての登録してあるオブジェクトについての辞書データに対して、類似度特徴を生成していないと判定した場合、登録オブジェクト辞書データ取得部８２にＳ４１の処理を実行させる。

Ｓ４６において、入力オブジェクト識別処理部８５は、入力オブジェクトの識別処理を行う。前記入力オブジェクトの識別処理は、登録してある全てのオブジェクトの辞書データとの類似度に基づいて、入力オブジェクトがどの登録オブジェクトに対応するか判定する処理である。入力オブジェクト識別処理部８５は、典型的には、Ｓ４４で取得した類似度特徴を、識別器学習部２５から取得した登録オブジェクトごとに特化した識別器に入力し、入力オブジェクトが前記登録オブジェクトと同一であるか否かを判定する。入力オブジェクト識別処理部８５は、判定を行う際に、尤度を取得し、複数の登録オブジェクトに対する尤度を比較し、前記複数のオブジェクトに対する尤度の中の最大値のものが、入力オブジェクトに対応する登録オブジェクトであるとしてもよい。入力オブジェクト識別処理部８５は、入力オブジェクトがどの登録オブジェクトに対応するかを出力する。
本実施形態の処理によって、オブジェクト識別装置１００は、ユーザの利便性を保ちつつ、オンライン学習を有効に利用することができるようになる。
オブジェクト識別装置１００は、類似度特徴を識別器への入力とすることで、学習データの削減と学習処理の軽減とを実現できる。したがって、デジタルカメラや携帯電話等のリソースが限られた機器においても、オンライン学習が有効に実施可能となる。
また、オブジェクト識別装置１００は、予め準備した学習用部分特徴量から登録オブジェクトの部分特徴量に近いものを探し、前記部分特徴量が変動を受けた場合の類似度を記憶しておき、学習データとして利用することで、次のような効果が得られる。即ち、オブジェクト識別装置１００は、登録オブジェクトの画像が少数（典型的には１枚の）でも、識別器を学習する際に十分な学習データを用意することができるようになる。更に、オブジェクト識別装置１００は、部分特徴量ではなく、類似度を記憶しておくことによって、様々な変動を受けた場合の部分特徴量（または画像）を記憶しておく必要がなくなり、大幅なデータ量の削減が可能になる。学習データの数が少量で済むためユーザの利便性を損ねることはない。

＜実施形態２＞
実施形態２は、実施形態１に対して、登録オブジェクトと入力オブジェクトとに対して、それぞれ学習用部分特徴量記憶部から最も近い部分特徴量を探し出し、変動条件を調整してから、類似度を求める処理を行う点が、異なる。
以下、本実施形態の処理について説明する。なお、以下の説明において、実施形態１と同じ部分は、省略する。
本実施形態におけるオブジェクト識別装置１００全体のハードウェア構成は、実施形態１と同様である。
本実施形態の登録オブジェクト辞書データ生成部２１と、入力オブジェクト識別用データ生成部６１とは、実施形態１と構成の一部が異なる。本実施形態の処理は、実施形態１の処理と一部異なる。以下、実施形態１と異なる点を中心に説明する。

［登録オブジェクト辞書データ生成部］
図１４は、登録オブジェクト辞書データ生成部２１の機能構成の一例を示す図である。登録オブジェクト辞書データ生成部２１は、部分特徴量抽出部３０、学習用部分特徴量保持部３３、部分特徴量選択部３４、を含む。部分特徴量抽出部３０は、部分特徴量パラメータ決定部３１、特徴ベクトル抽出部３２、を含む。学習用部分特徴量保持部３３と部分特徴量選択部３４が追加されている点が、実施形態１と異なる。学習用部分特徴量保持部３３、部分特徴量選択部３４以外の各構成要素の役割は、実施形態１と同様である。入力オブジェクト識別用データ生成部６１についても、図１４の構成と同様になる。
学習用部分特徴量保持部３３は、事前に用意された様々なオブジェクトの部分特徴量を保持している。学習用部分特徴量保持部３３は、オブジェクトが変動を受けた場合の部分特徴量も、同一のオブジェクトに関して対応づけて保持している。したがって、部分特徴量選択部３４は、学習用部分特徴量保持部３３が保持する部分特徴量の中の１つの部分特徴量に関してアクセスすると、同じオブジェクトの同じ部分領域の様々な変動を受けた部分特徴量についてもアクセスすることができる。
部分特徴量選択部３４は、登録オブジェクトの部分特徴量について、学習用部分特徴量保持部３３から、前記部分特徴量に最も近い部分特徴量を探し出す。部分特徴量選択部３４は、更に、探し出した前記部分特徴量と紐づけられた同一オブジェクトに関する部分特徴量のうち、最も変動の少ないものを選択する。部分特徴量選択部３４が行う処理の詳細については、図１５で後述する。

図１５は、部分特徴量選択部３４の処理の一例を示すフローチャートである。
Ｓ１００において、部分特徴量選択部３４は、部分特徴量抽出部３０から部分特徴量を取得する。
Ｓ１０１において、部分特徴量選択部３４は、学習用部分特徴量保持部３３に保持されている部分特徴量の中から、Ｓ１００で取得した部分特徴量に最も近い部分特徴量の探索処理を行う。部分特徴量選択部３４は、前記探索処理を、実施形態１の登録オブジェクト類似度生成部４１の説明で説明した方法と同様に行えばよいが、以下の手法により、より高速に行えるようにしてもよい。即ち、学習用部分特徴量保持部３３の格納形式について事前に処理を加えておくことで、高速な探索処理が行えるようにする手法である。より具体的には、学習用部分特徴量保持部３３に保持されている部分特徴量について予めクラスタリングを行い、クラスタ中心となる代表部分特徴量を予め決定しておく。Ｓ１０１の処理の際、部分特徴量選択部３４は、まず前記代表部分特徴量との比較を行うようにする。部分特徴量選択部３４は、最も近い代表部分特徴量が求められたら、次は、前記代表部分特徴量が属するクラスタ内で最も近い部分特徴量を探索するようにすればよい。前記手法によって、Ｓ１０１の処理においての部分特徴量の比較の処理を大幅に減らすことが可能になる。オブジェクトの識別処理においては、入力画像が入力されるたびに学習用部分特徴量保持部３３に保持されている部分特徴量の中から、入力オブジェクトの部分特徴量に最も近いものを探索する処理を行う必要があり、高速性が重要となる。したがって、前記手法のような探索手法は、単純な逐次探索手法よりも、処理の軽減、高速化等の効果は大きい。

Ｓ１０２において、部分特徴量選択部３４は、Ｓ１０１で探索した部分特徴量のオブジェクトと同一のオブジェクトの部分特徴量の中で、最も変動の少ない部分特徴量を選択する。識別対象のオブジェクトとして人物の顔を例にとり説明する。登録する顔が横を向いた顔画像である場合、部分特徴量選択部３４は、Ｓ１０１で事前に用意したサンプルの中から、似た人物の顔についての部分特徴量が選択する。前記部分特徴量は、横を向いた顔から抽出した部分特徴量である可能性が、変動のない又は横を向いている以外の変動を加えられた顔から抽出した部分特徴量である可能性よりも、高い。Ｓ１０２で、部分特徴量選択部３４は、横を向いた部分特徴量から、同じ人物の顔について、最も変動の少ない部分特徴量、即ち、正面を向いた顔の部分特徴量を選択することになる。Ｓ１０２のような処理を行うことで、大きな変動を受けたオブジェクトが登録された場合、部分特徴量選択部３４は、前記オブジェクトが変動を受けていない状態の部分特徴量を近似的に求めることが可能になる。また、オブジェクト識別装置１００は、Ｓ１０２の処理を入力オブジェクトが入力された際に、行うことにより、登録オブジェクトと入力オブジェクトとが同じ条件で比較できるようになり、より識別の精度を向上できる。更には、オブジェクト識別装置１００は、Ｓ１０２の処理によって、登録オブジェクトに特化した識別器の学習を行う際に、想定する変動範囲を狭めることが可能になり、識別器の負担を軽減できる。

Ｓ１０３において、部分特徴量選択部３４は、全ての部分特徴量についてＳ１０１、Ｓ１０２の処理を行ったか否かを判定する。部分特徴量選択部３４は、全ての部分特徴量についてＳ１０１、Ｓ１０２の処理を行ったと判定した場合、処理を終了する。部分特徴量選択部３４は、全ての部分特徴量についてＳ１０１、Ｓ１０２の処理を行っていないと判定した場合、Ｓ１００の処理へ進む。
以上が、実施形態２の処理の説明である。
本実施形態の処理により、オブジェクト識別装置１００は、登録オブジェクトと入力オブジェクトと間の属性（顔向き、表情、照明条件等）変動の影響を軽減することができる。また、登録オブジェクトに特化した識別器を学習する際に、想定する登録オブジェクトと入力オブジェクトとの間の変動を小さく見積もることができ、学習の負荷を軽減（少ない学習データで高精度な識別器を学習）することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ オブジェクト識別装置、５ オブジェクト登録部、６ 入力オブジェクト識別部

Claims (8)

1. 登録画像内のオブジェクトの特徴部分の部分特徴量に対応する部分特徴量に対して設定された類似度に基づいて、前記オブジェクトの類似度を生成する生成手段と、
   前記生成手段により生成された前記類似度に基づいて、前記登録画像内のオブジェクトの識別処理に利用されるパラメータを学習する学習手段と、
   入力画像内のオブジェクトの前記特徴部分の部分特徴量と前記登録画像内のオブジェクトの前記特徴部分の部分特徴量との類似度を取得する取得手段と、
   前記取得手段により取得された類似度と、前記学習手段により学習されたパラメータとに基づいて、前記入力画像内のオブジェクトが前記登録画像内のオブジェクトと同一か否かを識別する識別手段と、
   を有するオブジェクト識別装置。
2. 前記生成手段は、前記登録画像内のオブジェクトの特徴部分の部分特徴量に対応する部分特徴量の中で最も変動の少ない部分特徴量に対して設定された類似度に基づいて、前記オブジェクトの類似度を生成する請求項１記載のオブジェクト識別装置。
3. 前記生成手段は、前記登録画像内のオブジェクトの特徴部分の部分特徴量に対応する部分特徴量と前記部分特徴量に対応するオブジェクトに対して設定された変動が加えられたオブジェクトの部分特徴量との類似度に基づいて、前記オブジェクトの類似度を生成する請求項１又は２記載のオブジェクト識別装置。
4. 前記変動は、照明変動、角度変動、経年変動のうち、少なくとも１つを含む請求項３記載のオブジェクト識別装置。
5. 前記オブジェクトは、人の顔である請求項１乃至４何れか１項記載のオブジェクト識別装置。
6. 前記オブジェクトは、人の顔であり、前記変動は、表情変動である請求項３又は４記載のオブジェクト識別装置。
7. オブジェクト識別装置が実行するオブジェクト識別方法であって、
   登録画像内のオブジェクトの特徴部分の部分特徴量に対応する部分特徴量に対して設定された類似度に基づいて、前記オブジェクトの類似度を生成する生成ステップと、
   前記生成ステップにより生成された前記類似度に基づいて、前記登録画像内のオブジェクトの識別処理に利用されるパラメータを学習する学習ステップと、
   入力画像内のオブジェクトの前記特徴部分の部分特徴量と前記登録画像内のオブジェクトの前記特徴部分の部分特徴量との類似度を取得する取得ステップと、
   前記取得ステップにより取得された類似度と、前記学習ステップにより学習されたパラメータとに基づいて、前記入力画像内のオブジェクトが前記登録画像内のオブジェクトと同一か否かを識別する識別ステップと、
   を含むオブジェクト識別方法。
8. コンピュータに
   登録画像内のオブジェクトの特徴部分の部分特徴量に対応する部分特徴量に対して設定された類似度に基づいて、前記オブジェクトの類似度を生成する生成ステップと、
   前記生成ステップにより生成された前記類似度に基づいて、前記登録画像内のオブジェクトの識別処理に利用されるパラメータを学習する学習ステップと、
   入力画像内のオブジェクトの前記特徴部分の部分特徴量と前記登録画像内のオブジェクトの前記特徴部分の部分特徴量との類似度を取得する取得ステップと、
   前記取得ステップにより取得された類似度と、前記学習ステップにより学習されたパラメータとに基づいて、前記入力画像内のオブジェクトが前記登録画像内のオブジェクトと同一か否かを識別する識別ステップと、
   を実行させるためのプログラム。

Images