JP2011145958A

JP2011145958A - パターン識別装置及びその制御方法

Info

Publication number: JP2011145958A
Application number: JP2010007445A
Authority: JP
Inventors: Hiroshi Sato; 博佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-01-15
Filing date: 2010-01-15
Publication date: 2011-07-28
Anticipated expiration: 2030-01-15
Also published as: US20110179052A1; JP5588180B2; US8626782B2

Abstract

【課題】他の装置との間で追加学習の結果を共有することを可能とし、追加学習に要する手間、時間を削減する。
【解決手段】参照パターンのデータまたはその特徴量を含む登録データと、入力データと登録データとを比較するための処理内容を規定する識別パラメータとを用いて、入力データに存在するパターンを識別するパターン識別装置は、登録データと識別パラメータとをラベルに関連付けて保持する。パターン識別装置は、外部装置で生成された登録データと識別パラメータとラベルを取得し、取得した登録データと識別パラメータを取得したラベルに関連付けて追加登録する。追加登録において、取得したラベルに関連する登録データと識別パラメータが登録済みとなっている場合には、上記取得した登録データをラベルに関連付けて追加登録するとともに、上記取得した識別パラメータと登録済みとなっている当該ラベルに関連する識別パラメータのいずれか一方が選択され、登録される。
【選択図】図７

Description

本発明は、識別対象のパターンの追加登録が可能なパターン識別装置及びその制御方法に関する。

パターン認識における識別技術、典型的には、画像データ中の被写体であるオブジェクトが、別の画像中の被写体であるオブジェクトと同一のものであると識別する技術として、例えば、個人の顔を識別する顔識別技術がある。以下、本明細書では、パターンの識別とは、パターンの個体の違い（例えば、個人としての人物の違い）を判定することを意味する。一方、パターンの検出とは、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、顔を検出する）ことを意味するものとする。

顔識別技術として、例えば非特許文献１のような方法がある。これは、顔による個人の識別問題を、差分顔と呼ばれる特徴クラスの２クラス識別問題に置き換えることによって、顔の登録・追加学習をリアルタイムに行うことを可能にしたアルゴリズムである。

例えば、一般によく知られているサポートベクターマシン（ＳＶＭ）を用いた顔識別では、ｎ人分の人物の顔を識別するために、登録された人物の顔と、それ以外の顔を識別するｎ個のＳＶＭ識別器が必要になる。人物の顔を登録する際には、ＳＶＭの学習が必要となる。ＳＶＭの学習には、登録したい人物の顔と、既に登録されている人物とその他の人物の顔データが大量に必要で、非常に計算時間がかかるため、予め計算しておく手法が一般的であった。

しかし、非特許文献１の方法によれば、個人識別の問題を、次に挙げる２クラスの識別問題に置き換えることよって、追加学習を実質的に不要にすることが出来る。即ち、intra-personal class：同一人物の画像間の、照明変動、表情・向きなどの変動特徴クラスextra-personal class：異なる人物の画像間の、変動特徴クラスの２クラスである。上記２クラスの分布は、特定の個人によらず一定であると仮定して、個人の顔識別問題を、上記２クラスの識別問題に帰着させて識別器を構成する。予め、大量の画像を準備して、同一人物間の変動特徴クラスと、異なる人物間の変動特徴クラスの識別を行う識別器を学習する。新たな登録者は、顔の画像（若しくは顔の画像から必要な特徴を抽出した結果）のみを保持すればよい。識別する際には２枚の画像から差分特徴を取り出し、上記識別器で、同一人物なのか異なる人物なのかを判定する。これにより、個人の顔登録の際にＳＶＭなどで必要とされていた大量の学習が不要になり、リアルタイムでオブジェクトの登録を行うことが出来る。

ところで、追加学習が不要なアルゴリズムであっても、識別性能を向上させる上で追加学習が有効な方法であることには変わりがない。例えば、上述のような２クラスの識別問題として識別を行う構成であっても、新たな登録画像を正しく識別できるように識別パラメータを調整する追加学習により、識別性能を向上させることができる。ユーザによって登録されたデータに特化して識別パラメータを調整し、識別性能を向上させる追加学習の導入は、寧ろ以前より要求が高まってきているといえる。例えば、人物の顔を用いた個人認識において、前述のような変動へのロバスト性向上を優先すると、似た人物の識別性能の劣化を招く場合がある。デジタルカメラなどコンシューマ機器では、親子や兄弟など、特に似た人物が登録される場合が多くなる。変動へのロバスト性を維持しつつ、似た人物間の識別性能を向上させるために、追加学習が有効な手段として考えられている。追加学習を行うことによって、ユーザが登録した人物、特に似た人物の識別に特化したパラメータを生成し、識別性能を向上させることが期待できる。

Baback Moghaddam, Beyond Eigenfaces :Probabilistic Matching for Face Recognition (M.I.T Media Laboratory Perceptual Computing Section Technical Report No.433), Probabilistic Visual Learning for Object Representation (IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, JULY 1997)

しかしながら、複数の装置を有するユーザが識別性能を向上させるために個々の装置で追加学習を行うと、装置毎に追加学習の内容が異なってしまい、装置毎に識別性能が異なってくることがある。また、ユーザが複数の装置で同等の識別性能を持たせることを望む場合、装置間で登録された識別対象に対する識別結果を同じにするためには装置毎に当該識別対象を用いた追加学習を行うことが必要となり、ユーザに過大な負荷がかかるとともに、多くの学習時間を費やしてしまう。

本発明は、上記課題に鑑みてなされたものであり、他の装置との間で追加学習の結果を共有することを可能とし、追加学習に要する手間、時間を削減することを目的とする。

上記の目的を達成するための本発明の一態様によるパターン識別装置は以下の構成を備える。すなわち、
参照パターンのデータまたはその特徴量を含む登録データと、入力データと前記登録データとを比較するための処理内容を規定する識別パラメータとを用いて、前記入力データに存在するパターンを識別するパターン識別装置であって、
登録データと識別パラメータとをラベルに関連付けて保持する保持手段と、
外部装置で生成された登録データと識別パラメータとラベルを取得する取得手段と、
前記取得手段で取得した登録データと識別パラメータを、前記取得手段で取得したラベルに関連付けて前記保持手段に追加する追加手段とを備え、
前記追加手段は、前記取得手段で取得したラベルに関連する登録データと識別パラメータが前記保持手段に既に保持されている場合には、前記取得手段で取得した登録データを前記ラベルに関連付けて前記保持手段に追加するとともに、前記取得手段で取得した識別パラメータと前記保持手段に保持されている前記ラベルに関連する識別パラメータのいずれか一方を選択して保持する。

本発明によれば、他の装置との間で追加学習の結果を共有することが可能となり、追加学習に要する手間、時間を削減することができる。

パターン識別装置を適用したデジタルカメラの構成例を示すブロック図。実施形態に係るパターン識別装置の処理フロー図。入力データ識別部の構成例を示すブロック図。入力データ識別部の処理例を示すフロー図。（ａ）は第１実施形態によるデータ登録部の構成例を示すブロック図、（ｂ）第２実施形態によるデータ登録部の構成例を示すブロック図。データ共有処理部の構成例を示すブロック図。登録データ／識別パラメータ共有処理の例を示すフロー図。（ａ）は互換性確認部の構成例を表すブロック図、（ｂ）は互換性情報保持部が保持する互換性情報テーブルの例を示す図。第２実施形態による識別パラメータ共有処理の例を示すフロー図。

以下、添付の図面を参照して本発明の第１の実施形態を詳細に説明する。

［第１実施形態］
＜パターン識別装置の構成＞
図１は、第１実施形態によるパターン識別装置が適用されたデジタルカメラ１００の構成例を示すブロック図である。なお、本実施形態では、パターン識別装置をデジタルカメラに適用した例を説明するがこれに限られるものではなく、パーソナルコンピュータ等の情報処理装置に適用できることは明らかである。

デジタルカメラ１００において、結像光学系１は、ズーム機構を備えた光学レンズで構成される。また、パン・チルト軸方向の駆動機構を備えてもよい。撮像部２の映像センサとしては、典型的にはＣＣＤまたはＣＭＯＳイメージセンサが用いられる。撮像部２は、不図示のセンサ駆動回路からの読み出し制御信号にしたがって所定の映像信号（例えば、サブサンプリング、ブロック読み出しして得られる信号）を画像データとして出力する。撮像制御部３は、撮影者からの指示（画角調整指示、シャッター押下、など）および、データ登録部５または入力データ識別部６からの情報を元に、実際に撮影が行われるタイミングを制御する。画像記録部４は、半導体メモリ等で構成され、撮像部２から転送された画像データを保持する。また、画像記録部４は、データ登録部５、入力データ識別部６からの要求に応じて、所定のタイミングで、画像データを転送する。

データ登録部５は、典型的には画像データから、識別の対象とするオブジェクトの情報を抽出し、記録・保持する。データ登録部５のより詳細な構成および実際に行われる処理の具体的な内容については、後で述べることにする。入力データ識別部６は、入力データおよびデータ登録部５から取得したデータを元に、対象オブジェクト、より典型的には、画像データ中のオブジェクトの識別を行う。入力データ識別部６に関しても、具体的な構成および行われる処理の詳細については、後で詳しく説明する。なお、データ登録部５、入力データ識別部６は、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰなど）であってもよい。また、単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。

外部入出力部７は、外部装置との間でデータを交換するのに用いられる。典型的には、コンパクトフラッシュ（登録商標）などの外部記憶装置を用いて外部装置との間でデータを交換することが考えられる。また、ネットワーク装置を介して入出力を行うようにしても良いし、外部装置との直接的な接続（例えばＵＳＢ等の有線接続や、Bluetooth、赤外線通信等の無線接続）を利用しても良い。外部入出力部７は、データ登録部５、入力データ識別部６の結果出力を電子データとして、外部装置との間で入出力する。データ登録部５とのデータ入出力については、あとで詳しく説明する。また、識別結果の出力として、外部入出力部７にＣＲＴやＴＦＴ液晶などのモニタを含むようにしても良い。撮像部２および画像記録部４から取得した画像データを表示、または、画像データにデータ登録部５、入力データ識別部６の結果出力を重畳表示する。

また、ユーザは、操作部８を介してデータの登録動作を行うためのモード設定や、登録データに関する操作を含む各種操作を行うことができる。接続バス９は、上記構成要素間の制御・データ接続を行うためのバスである。

＜全体フロー＞
図２は、本実施形態におけるパターン識別装置の全体処理の一例を示したものである。以下、図２を参照しながら、パターン識別装置が、入力パターンの識別を行う際の処理について説明する。以下に説明するように、パターン識別装置は、入力データに存在するパターンを識別するにおいて、参照パターンを表す登録データと、入力データと登録データとを比較するための処理内容を規定する識別パラメータを用いる。登録データは、例えば、参照パターンの全体のデータ、局所領域のデータ、特徴量などのいずれかを含む。なお、以下では、識別するパターン（識別対象のパターン）が、画像中のオブジェクト、より具体的には、人物の顔である場合について説明するが、本発明がこれに限るものでないことは、言うまでもない。すなわち、文字画像データや音声データなど種々のものが、本発明に適用できる。

まず、入力データ識別部６は、画像記録部４から画像データを取得する（Ｓ００）。続いて、入力データ識別部６は、取得した画像データに対して、対象オブジェクトの検出、具体的には人の顔の検出処理を行う（Ｓ０１）。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。例えば、特許第３０７８１６６号公報や特開２００２−８０３２号公報で提案されているような技術を用いることが出来る。人物の顔以外を検出する場合でも、前述の技術を用いて、所望のオブジェクトを訓練データとすることにより、検出が可能である。

入力画像中に、対象オブジェクトが存在しなければ（Ｓ０２でＮｏの場合）、処理を終了する。一方、入力画像中に対象パターンが存在する場合（Ｓ０２でＹｅｓの場合）、入力データ識別部６は処理モードが登録モードであるか識別モードであるかの判定を行う（Ｓ０３）。登録モードか識別モードかは、操作部８を用いることによりユーザが予め設定しておくことができる。登録モードであると判定された場合（Ｓ０３でＹｅｓの場合）、データ登録部５がデータ登録処理を行う（Ｓ０４）。データ登録処理の具体的な内容は、後で詳しく説明する。識別モードであった場合（Ｓ０３でＮｏの場合）は、入力データ識別部６が入力データの識別処理を行う（Ｓ０５）。入力データ識別処理についても、後述する。最後に、データ登録処理または入力データ識別処理の結果が外部入出力部７に出力される（Ｓ０６）。以上が、本実施形態にかかるパターン識別装置の全体処理である。

＜入力データ識別部６について＞
入力データ識別部６による入力データ識別処理（Ｓ０５）について説明する。図３は、入力データ識別部６の詳細な一構成例を示したブロック図である。入力データ識別部６において、識別用データ生成部２１は、識別パラメータ保持部２４に保持されている識別パラメータを用いて、画像記録部４から取得した画像データから、対象オブジェクトの識別に必要な情報を抽出する。登録データ取得部２２は、データ登録部５より、入力データの識別に必要な登録データを取得する。入力データ識別演算部２３は、識別用データ生成部２１が取得した識別用データと、登録データ取得部２２が取得した登録データとを用いて、入力データの識別処理を行う。識別パラメータ保持部２４は、識別処理の際に使用される各種パラメータを保持する。すなわち、識別パラメータ保持部２４は、識別のために、入力データ（画像データ）と登録データとを比較するための処理内容を規定する識別パラメータを保持する。なお、識別パラメータ保持部２４に、データ登録部５での処理結果（すなわち登録データ）を格納するようにしても良い。識別パラメータは、登録データに固有のパラメータとして、登録データごとに、すなわち、登録データのラベル情報とともに格納される。こうして、登録データと識別パラメータはラベルに関連付けて保持されることになる。

図４は、入力データ識別部６による識別処理の一例を示したフロー図である。まず、登録データ取得部２２は、データ登録部５から登録データを取得する（Ｓ１０）。登録データは、典型的には、入力画像から対象となるオブジェクトを切り出したあとに、傾きなどを補正し、所定の大きさに拡大または縮小した正規化画像である。また、あらかじめ後述の識別用データ生成処理と同様の処理を施しておき、特徴量を抽出したものを登録データとしてもよい。この処理については、データ登録部５の説明で改めて述べる。識別用データ生成部２１は、画像記録部４より処理対象の入力データ（本例では入力画像）を取得する（Ｓ１１）。続いて、識別用データ生成部２１は、識別パラメータ保持部２４から識別用のパラメータ（以下、識別パラメータ）を取得する（Ｓ１２）。ここで、識別パラメータとは、典型的には後述する特徴量の抽出方法や、次元圧縮の次元数、などを含む。

次に、識別用データ生成部２１は、処理対象の入力データと識別パラメータを用いて識別用データ生成処理を行う（Ｓ１３）。なお、登録データが画像である場合は、ここで入力画像だけでなく、登録データについても識別用データ生成処理を行う。識別用データ生成処理において、識別用データ生成部２１は、入力データから対象オブジェクト（典型的には人の顔）を切り出し、所定の大きさや回転方向の正規化を施した後、識別パラメータにしたがって特徴量の抽出を行う。ここで、例えば、画像の輝度をそのまま用いて特徴量を算出するようにしても良いが、変動に対してより頑健な特徴量として、輝度に対して、Local Binary Pattern や増分符号などへの変換を施したものを用いてもよい。また、特徴量に対して、主成分分析法（PCA: Principal Component Analysis）や独立成分分析法（ICA: Independent Component Analysis）によって、特徴ベクトルの次元を削減したものを新たな特徴量として用いてもよい。また、特徴量を部分的な領域を設定した後に抽出するようにしても良い。以下、この部分的な領域を局所領域と呼ぶ。例えば、対象オブジェクトが人物の顔である場合、顔の目や口の周りなど、個人の特徴の現れやすいところに局所領域を設定し、上記のような変換を施した後、特徴量として抽出するようにしても良い。局所領域をいくつ用いるか、局所領域を何処に設定するかなどは、全て識別パラメータとして、識別パラメータ保持部２４に予め保持されている。

続いて、入力データ識別演算部２３は、Ｓ１０で取得した登録データとＳ１１で取得した入力データから得られた識別用データ（Ｓ１３で得られた特徴量）についてマッチング処理を行う（Ｓ１４）。マッチング処理は、典型的には、登録データと入力データそれぞれから抽出した特徴ベクトルの相関演算を行う。登録データが複数ある場合には、それらすべてとの総当たりで行う。相関演算は、単純な内積でもよいし、相関係数を求めてもよい。

例えば、前述のような局所領域を設定して特徴抽出を行った場合は、入力データと登録データの両者で対応する局所領域同士の特徴量のマッチングを行う。マッチングの結果は、局所領域の数だけ得られることになるが、最終的な出力には、それら複数の値を平均すればよい。単純な平均ではなく、予め学習などで求めた重み付け平均をとっても良い。このように、局所的なマッチングを行うことによって、照明変動や顔の一部が隠れてしまうなどの変動に対して頑健になることが知られている。

また、マッチング処理の出力として、登録データとの一致をバイナリ（０または１）で出力する場合と、正規化した出力値（０〜１の実数値）を尤度として出力する場合が考えられる。さらに登録データ（登録者）が複数（複数人）ある場合には、それぞれの登録データ（登録者）に対して、尤度を出力しても良い。また、最も良く一致した登録データに対する結果だけを出力するようにしても良い。他に、個々の登録データに対する尤度ではなく、登録データが属するクラスに対しての尤度を出力するようにしてもよい。すなわち、人物の場合には、個々の登録顔画像への結果ではなく、人物のＩＤ（名前）に対する尤度を出力するようにする。
以上が、入力データ識別部６における処理フロー例の説明である。

＜データ登録部５＞
次に、データ登録部５によるデータ登録処理について説明する。図５の（ａ）は、第１実施形態によるデータ登録部５の詳細な構成例を示したブロック図である。データ登録部５において、登録データ生成部３１は、画像記録部４から取得した画像データから対象オブジェクトの個体を識別するために必要な登録データを生成する。例えば、非特許文献１にあるようなintra-classおよびextra-classの２クラス問題を判別する場合は、典型的には、人物の顔画像を登録データとすればよい。また、顔検出処理によって検出された人物の顔画像データを、大きさや向き（面内回転方向）などを正規化したのち、登録データ保持部３２に格納するようにする。この際、登録画像に対して、ユーザが操作部８などを通じて設定したラベル情報も一緒に登録データ保持部３２に記録される。なお、画像データそのものではなく、識別時に必要なデータのみを登録データとして登録データ保持部３２に保持するようにすることによって、データ量を削減することも出来る。例えば、当該オブジェクトの局所領域のベクトル相関をとって識別演算を行う場合、データ登録部５は予めその局所領域のみを切り出して、登録データとして保持しておけばよい。

以上のように、登録データ生成部３１は、適宜必要な情報を画像から抽出し、上述したような所定の変換を行って得られたデータを、オブジェクトの識別を行うための特徴ベクトルとして、登録データ保持部３２に格納する。

学習部３４は、登録データ生成部３１から登録データを受け取って、登録データの識別性能が向上するように追加学習を行う。例えば、入力データ識別部６の説明で述べた、局所領域を設定して識別を行う方式を採用する場合、その局所領域の数、局所領域の特徴ベクトルの次元圧縮方法および次元数、などを登録データごとに学習する。学習部３４による学習の方法には、公知の技術を用いることができる。例えば、前述の局所領域ごとにマッチングをとる方法の場合、局所領域とそのパラメータの組み合わせを１つの弱判別器とみなし、AdaBoostなどに代表されるブースティングの手法を適用することができる。学習データには、最も単純には、登録データを用いればよい。すなわち、すでに登録済みの登録データとこれから登録するデータを用いて、追加学習を行う。また、追加学習用に予め学習専用のデータを保持しておいても良い。このようにして、追加学習したパラメータは、識別パラメータ保持部２４に格納するようにする。

登録データ選択部３３は、前述の入力データ識別部６の要求に応じて、登録データ保持部３２から必要な登録データを読み出して、入力データ識別部６に登録データを転送する。データ共有処理部３５は、外部入出力部７などを介して、他の機器との登録データおよび登録データ識別パラメータの共有を行うための処理を担う。以下、データ共有処理部３５の処理の詳しい内容について説明する。

＜データ共有処理部３５＞
データ共有処理部３５で行われる処理について説明する。図６は、データ共有処理部３５の構成例を示したブロック図である。データ共有処理部３５において、登録データ共有部４１は、登録データを共有するための処理を行う。例えば、パターン識別のための画像データを他の装置との間で共有する処理を行う。登録データ共有部４１は、ラベル情報と画像データ（登録データ）のペアを、外部入出力部７を介して取得し、すでに保持している登録データと比較する。この比較の結果、保持していないラベル情報を持つ登録データに関しては、それを登録データ保持部３２にコピーして格納する。他方、すでに同一のラベルが登録されている場合は、所定の基準にしたがって、格納を行うか判定する。所定の基準としては、例えば、同一ラベルに対する登録データの数や、全体の登録データ数が、記憶容量に対して余裕があるか、などが挙げられる。なお、登録データの同一性を判定するようにしてもよい。同じ登録データに対して、違うラベルが割り当てられている場合もあり得るからである。このような場合には、操作部８を介して、ユーザにどちらのラベルに統一するか指示するように促してもよい。

識別パラメータ共有部４２は、識別パラメータを共有するための処理を行う。また、識別パラメータ再設定部４３は、識別パラメータ共有部４２で行われる処理に応じて識別パラメータが共有前後で整合するように、識別パラメータの再設定を行う。識別パラメータ共有部４２および識別パラメータ再設定部４３で行われる処理の具体的な内容について、以下に、詳しく説明する。

なお、上述のように、本実施形態では、複数の登録データが一つのラベルに関連付けて登録され得るようにしている。これに対して、識別パラメータは後述するように一つのラベルに対して１種類の識別パラメータが登録される。このように、同じラベルの画像については同じ識別パラメータで識別するようにすることで識別性能の向上とメモリの節約を実現している。但し、例えば１つのラベルを特定の人物に対応させた場合に、同一のラベルであっても正面の画像と横向きの画像が存在すると、単一の識別パラメータで識別を行うことが却って識別性能を劣化させる可能性がある。従って、ラベルに撮影方向（正面、横）や撮影環境（太陽光、蛍光灯）などのような属性を付加し、ラベルと属性が一致する場合に同一の識別パラメータを利用するようにしても良い。この場合、以下の共有処理において「ラベルが一致する」といった場合には、「ラベルとその属性が一致する」ということになる。また、ラベルを、人物名＋撮影方向のような記述として上記課題を回避することもできる。

＜識別パラメータ共有処理・再設定処理＞
図７は、登録データ共有部４１、識別パラメータ共有部４２および識別パラメータ再設定部４３での処理の一例を示したフロー図である。まず、登録データ共有部４１は、外部入出力部７から、共有の対象である登録データとラベルを含む外部データを取得する（Ｓ２１）。次に、識別パラメータ共有部４２は、外部データに登録データを識別するために用いられる識別パラメータが存在するか調べる（Ｓ２２）。ここで、識別パラメータとは、例えば学習部３４で追加学習されたような、対象となる登録データに固有のパラメータである。識別パラメータが存在するか否かの判定は、外部データに予め識別パラメータの存在を判定するためのデータを用意しておき、識別パラメータ共有部４２がそれを読み取って判定すればよい。識別パラメータが存在しない場合（Ｓ２２でＮｏの場合）は、登録データ共有部４１が登録データ共有処理（Ｓ２７）に進む。

一方、識別パラメータが存在する場合（Ｓ２２でＹｅｓの場合）には、識別パラメータ共有部４２は、外部データより識別パラメータを取得する（Ｓ２３）。続いて、識別パラメータ再設定部４３は、取得した識別パラメータに対して、再設定が必要かどうか判定する（Ｓ２４）。ここで、再設定の必要性の判定は、例えば以下のように行う。まず、外部データに含まれる識別パラメータと同一ラベルの識別パラメータが識別パラメータ保持部２４に存在するか調べる。そして、存在する場合は、同一ラベルに関する識別パラメータ同士の同一性を判定する。両識別パラメータが全く同じパラメータである場合は、何もしなくてよい（再設定が不要である）が、異なっている場合には再設定が必要になる。再設定が不要の場合（Ｓ２４でＮｏの場合）は、識別パラメータの共有処理（Ｓ２６）に進む。再設定が必要な場合（Ｓ２４でＹｅｓの場合）、識別パラメータ再設定部４３は識別パラメータ再設定処理を行う（Ｓ２５）。この識別パラメータ再設定処理は、例えば、以下のようにして、識別パラメータを一方に統一することで実現される。即ち、取得した識別パラメータとすでに保持している識別パラメータとで、同一ラベルに属する登録データを評価データとして用いて、識別率の高い方に統一する。或いは、より単純には、予め識別パラメータを学習した時刻（識別パラメータを生成した時刻）を記録しておいて、より新しい方に統一するようにしてもよい。また、操作部８などを介して、どの識別パラメータに統一するかをユーザに選択させるようにしてもよい。

次に、識別パラメータ共有部４２は、識別パラメータの共有を行う（Ｓ２６）。これは、Ｓ２５で再設定が行われた場合にはそのパラメータに更新すればよいし、取得した識別パラメータの対応するラベルが登録データ保持部３２に保持されていない場合には、単純にコピーを行って、識別パラメータ保持部２４に格納すればよい。Ｓ２７において、登録データ共有部４１は、外部データに含まれている登録データを、上述したようにして登録する。なお、Ｓ２７の処理はＳ２１の直後に実行されてもよい。

以上のように、第１実施形態のパターン識別装置によれば、登録データだけでなく、識別パラメータをも共有することを実現することによって、機器間で識別性能を共有することが可能になる。このため、使用する機器によって識別性能が著しくことなる、といった不都合を低減することができる。また、追加学習時間の短縮を実現することが可能になる。

［第２実施形態］
次に、第２実施形態を説明する。第２実施形態では、第１実施形態における登録データ／識別パラメータの共有化機能に、識別処理の異なる装置間での共有化を実現する機能を実現する構成を説明する。なお、説明の重複を避けるため、第１実施形態と同様の構成については説明を省略する。また、説明の便宜上、識別する対象となるパターンを、画像中の人物の顔としているが、本発明が、人物の顔以外のパターンに適用可能であることは第１実施形態でも述べたとおりである。

＜データ登録部＞
図５の（ｂ）は、第２実施形態によるデータ登録部５の構成例を示したブロック図である。第１実施形態と比べて、互換性確認部３６が追加された点と、データ共有処理部３５の処理内容の一部が異なる。

互換性確認部３６は、登録データおよび識別パラメータの共有を行う機器間で、入力データ識別部６での識別方式が異なる場合でも、できるだけパラメータの共有が出来るようにする。以下、データ共有処理部３５および互換性確認部３６の具体的な処理内容について詳しく説明する。

図８の（ａ）は、互換性確認部３６の構成例を示したブロック図である。互換性確認部３６において、互換性判定部１４１は、外部入出力部７を介して取得した外部データに含まれる識別パラメータが、当該データ識別装置が使用可能なパラメータであるか（互換性があるか）どうかを判定する。互換性情報保持部１４２は、複数の識別方式間（機種間）で互換性がある識別パラメータについての情報を格納している。図８の（ｂ）は、互換性情報保持部１４２に格納されている互換性情報の一例である。図８の（ｂ）のように、互換性情報は、テーブルの形式をとるとよい。この互換性情報テーブル１４３には、機種間で互換性がある、すなわち利用が可能な識別パラメータを示す。互換性情報テーブル１４３の内容は、予め機器が保持してもよいが、例えば外部入出力部７を介して、外部から更新出来るようにしてもよい。

互換性情報テーブル１４３の内容について説明する。テーブルの行はそれぞれ識別パラメータの登録元（source）の機器の種類を表し、列はそれぞれ登録先（destination）の機器の種類を表している。テーブルで対角線上にあるものは、同機種間でのデータの登録になるので、全てのパラメータに対して互換性がある（完全互換）。対角線上にないものは、異なる機種でのデータの登録になるので、一部互換性のないものが含まれる。また、互換性情報テーブル１４３には、互換性のあるパラメータが記載されている。したがって、例えば、機種がカメラ１の識別パラメータを、機種がカメラ２の機器に登録する場合は、次元圧縮方法と局所領域に関して互換性があるので、基底ベクトル及び局所領域の数や位置を共有できることが分かる。これに対して、カメラ２の識別パラメータをカメラ１が共有しようとする場合には、局所領域の識別パラメータのみが共有可能である。これは、例えば、カメラ２の方がカメラ１よりも上位機種であることに起因する。

なお、パラメータ互換性の情報は、図８の（ｂ）に示したものに限られるものではない。例えば、パターン識別方法が局所領域ごとの相関値を統合する方式である場合、局所領域の数や、局所領域の位置、局所領域ごとの次元圧縮方法、局所領域の特徴ベクトル次元数などを含むようにしてもよい。また、互換性情報として、学習アルゴリズムや、相関演算方法、計算リソースなどを含むようにしてもよい。例えば、学習アルゴリズムを互換性情報に含めることによって、学習方式が同じ機器間で、学習の初期値などを共有できるようになる。また、計算リソースを互換性情報に含めることによって、時間のかかる追加学習を適切なタイミング（必要なリソースを確保できたタイミング）および適切な機器（必要なリソースを確保できる機器）で実行するように制御することが可能になる。また、外部データ（登録データ、識別パラメータ、ラベル）を提供する機種の情報は、例えば外部データに保持させておけばよい。或いは、外部入出力部７が外部記憶装置から外部データを取得する場合には、当該外部記憶装置に所定のデータ名で機種の情報を記録しておくようにしても良い。また、外部入出力部７が他の機器との通信により外部データを取得する場合には、例えば通信の確立時に機種の情報を取得しておくようにしてもよい。さらに、互換性情報テーブルには当該機種を登録元とする情報のみを保持するようにしてもよい。

図７のＳ２６において、識別パラメータ共有部４２は互換性のある識別パラメータのみを登録し、不足する識別パラメータをデフォルト値で補う。或いは、不足する識別パラメータを追加学習により補うようにしても良い。Ｓ２６における識別パラメータ共有処理について図９を参照して以下に説明する。

まず、識別パラメータ再設定部４３は、互換性情報保持部１４２から識別パラメータの互換性情報を取得する（Ｓ３１）。次に、識別パラメータ再設定部４３は、取得した互換性情報をもとに、外部データから登録可能な識別パラメータを取得する（Ｓ３２）。続いて、識別パラメータ再設定部４３は、Ｓ３２で取得した識別パラメータをもとに、識別性能を計測する（Ｓ３３）。このとき、互換性の関係により外部データから取得することができなかった識別パラメータ（不足したパラメータ）にはデフォルト値が設定されるものとする。また、識別性能は、登録データを評価データとして識別率を計測すればよい。次に、識別パラメータ再設定部４３は、計測した識別性能が所定値を上回っているか判定する（Ｓ３４）。計測した識別性能が所定値を上回っている場合は（Ｓ３４でＹｅｓの場合）処理を終了する。計測した識別性能が所定値を下回っている場合（Ｓ３４でＮｏの場合）、識別パラメータ再設定部４３は学習部３４に追加学習を実行させる（Ｓ３５）。追加学習は、所定閾値を上回るまで、例えば初期値を変えながら続けてもよいが、いつまでも終了しない場合もあるので、学習回数が所定回数を超えないように制限をつけてもよい。なお、外部から取得した識別パラメータに互換性が全くない場合は、実質的に登録データのみが追加され、識別パラメータはデフォルト値となり、追加学習が行われる。

以上のように、第２実施形態によれば、登録データを識別するために追加学習を行ったパラメータを、識別方式が異なる装置でも最大限共有することが可能になる。

なお、上記の例では追加学習を駆動するか否かを識別率の評価に従って決定したが、これに限られるものではない。新たに登録データが保持される度に識別パラメータの追加学習を行うようにしても良い。或いは、識別パラメータの互換性情報に、追加学習の駆動の要否を示す要否情報を含めておき、これに従って追加学習を行うか否かを決定するようにしてもよい。例えば、図８の（ｂ）において、機種がカメラ１の機器に登録されていた識別パラメータを、機種がサーバの機器に登録した際、追加学習を行うフラグが有効なら、学習部３４に追加学習を実行させる。その際、学習アルゴリズムに互換性があるなら、共有するパラメータを、追加学習の初期値に設定することが出来る。そのような追加学習の初期値としては、典型的には、局所特徴の位置や、局所特徴の数を採用することが出来る。

以上のように、第２実施形態によれば、登録データ識別パラメータの共有後に、所定条件を満たす場合に限り、追加学習を行うことによって、時間のかかる追加学習をむやみに実行することを抑制することが出来る。したがって、第２実施形態によれば、登録データと機器固有の識別方法による登録データ識別のためのパラメータを、複数の機器間で共有することが可能になり、識別性能の平準化や、追加学習時間の短縮を実現することが可能になる。

本発明は、デジタルカメラやカムコーダー、ネットワークカメラなど、撮像装置に適用することが可能である。また、ＰＣや携帯機器、その他の組み込みアプリケーションにも適用可能である。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

参照パターンのデータまたはその特徴量を含む登録データと、入力データと前記登録データとを比較するための処理内容を規定する識別パラメータとを用いて、前記入力データに存在するパターンを識別するパターン識別装置であって、
登録データと識別パラメータとをラベルに関連付けて保持する保持手段と、
外部装置で生成された登録データと識別パラメータとラベルを取得する取得手段と、
前記取得手段で取得した登録データと識別パラメータを、前記取得手段で取得したラベルに関連付けて前記保持手段に追加する追加手段とを備え、
前記追加手段は、前記取得手段で取得したラベルに関連する登録データと識別パラメータが前記保持手段に既に保持されている場合には、前記取得手段で取得した登録データを前記ラベルに関連付けて前記保持手段に追加するとともに、前記取得手段で取得した識別パラメータと前記保持手段に保持されている前記ラベルに関連する識別パラメータのいずれか一方を選択して保持することを特徴とするパターン識別装置。
前記追加手段は、前記取得手段で取得したラベルが前記保持手段に既に保持されている場合に、前記取得手段で取得した識別パラメータと前記保持手段に保持されている前記ラベルに関連する識別パラメータのそれぞれについて識別率を評価し、識別率が高い方の識別パラメータを前記保持手段に保持させることを特徴とする請求項１に記載のパターン識別装置。
前記追加手段は、前記取得手段で取得したラベルが前記保持手段に既に保持されている場合に、前記取得手段で取得した識別パラメータと前記保持手段に保持されている前記ラベルに関連する識別パラメータのうち、生成された時刻が新しい方の識別パラメータを前記保持手段に保持させることを特徴とする請求項１に記載のパターン識別装置。
参照パターンのデータまたはその特徴量を含む登録データと、入力データと前記登録データとを比較するための処理内容を規定する識別パラメータとを用いて、前記入力データに存在するパターンを識別するパターン識別装置であって、
登録データと識別パラメータとをラベルに関連付けて保持する保持手段と、
外部装置で生成された登録データと識別パラメータとラベルを取得する取得手段と、
前記取得手段で取得した登録データと識別パラメータを、前記取得手段で取得したラベルに関連付けて前記保持手段に追加する追加手段とを備え、
前記追加手段は、
他の機種との間で共有可能な識別パラメータを示す互換性情報を保持し、
前記外部装置の機種と前記互換性情報とを参照することにより、前記取得手段により取得した識別パラメータのうち利用が可能な識別パラメータを前記ラベルに関連付けて保持させ、不足する識別パラメータをデフォルト値または追加学習により補うことを特徴とするパターン識別装置。
前記互換性情報は、他の機種との間で識別パラメータの共有を行った際の追加学習の要否を示す要否情報を含み、
前記追加手段は、不足する識別パラメータを補う際に、前記要否情報によって追加学習が必要であることが示されている場合に前記追加学習を実行することを特徴とする請求項４に記載のパターン識別装置。
前記追加手段は、不足する識別パラメータをデフォルト値で補った後、当該識別パラメータの識別率を評価し、識別率が所定値を下回った場合に当該識別パラメータについて前記追加学習を行うことを特徴とする請求項４に記載のパターン識別装置。
前記入力データは画像データであることを特徴とする請求項１乃至６のいずれか１項に記載のパターン識別装置。
参照パターンのデータまたはその特徴量を含む登録データと、入力データと前記登録データとを比較するための処理内容を規定する識別パラメータとを用いて、前記入力データに存在するパターンを識別するパターン識別装置の制御方法であって、
登録手段が、登録データと識別パラメータとをラベルに関連付けて保持手段に保持する保持工程と、
取得手段が、外部装置で生成された登録データと識別パラメータとラベルを取得する取得工程と、
追加手段が、前記取得工程で取得した登録データと識別パラメータを、前記取得工程で取得したラベルに関連付けて前記保持手段に追加する追加工程とを有し、
前記追加工程は、前記取得工程で取得したラベルに関連する登録データと識別パラメータが前記保持手段に既に保持されている場合には、前記取得工程で取得された登録データを前記ラベルに関連付けて前記保持手段に追加するとともに、前記取得工程で取得された識別パラメータと前記保持手段に保持されている前記ラベルに関連する識別パラメータのいずれか一方を選択して保持することを特徴とするパターン識別装置の制御方法。
参照パターンのデータまたはその特徴量を含む登録データと、入力データと前記登録データとを比較するための処理内容を規定する識別パラメータとを用いて、前記入力データに存在するパターンを識別するパターン識別装置の制御方法であって、
登録手段が、登録データと識別パラメータとをラベルに関連付けて保持手段に保持する保持工程と、
取得手段が、外部装置で生成された登録データと識別パラメータとラベルを取得する取得工程と、
追加手段が、前記取得工程で取得した登録データと識別パラメータを、前記取得工程で取得したラベルに関連付けて前記保持手段に追加する追加工程とを備え、
前記追加工程では、
他の機種との間で共有可能な識別パラメータを示す互換性情報と前記外部装置の機種とを参照することにより、前記取得手段により取得した識別パラメータのうち利用が可能な識別パラメータを前記ラベルに関連付けて保持させ、不足する識別パラメータをデフォルト値または追加学習により補うことを特徴とするパターン識別装置の制御方法。
コンピュータを、請求項１乃至７のいずれか１項に記載のパターン識別装置の各手段として機能させることを特徴とするプログラム。
コンピュータを、請求項１乃至７のいずれか１項に記載のパターン識別装置の各手段として機能させることを特徴とするプログラムを格納したコンピュータで読み取り可能な記憶媒体。