JP2012027617A - パターン識別装置、パターン識別方法及びプログラム - Google Patents

Abstract

【課題】複数の登録画像が互いにどのような状態にあるのか簡易に確認できるようにする。
【解決手段】画像を辞書に登録する登録手段と、前記登録手段により既に登録されている辞書画像を確認する確認手段とを有し、前記確認手段は、複数の辞書画像の間の関係を表示させる。また、前記辞書画像の関係は、パターンの識別に用いる特徴空間上での位置関係である。もしくは、パターンの識別に用いる特徴量を射影した射影空間上での位置関係である。
【選択図】図１

Description

本発明はパターン識別装置、パターン識別方法及びプログラムに関し、特に、辞書画像を識別するために用いて好適な技術に関する。

パターン認識における識別技術、典型的には、画像データ中の被写体であるオブジェクトが、別の画像中の被写体であるオブジェクトと同一のものであると識別する技術として、例えば、個人の顔を識別する顔識別技術がある。顔識別技術としては、例えば非特許文献１に記載されているような方法がある。この方法は、顔による個人の識別問題を、差分顔と呼ばれる特徴クラスの２クラス識別問題に置き換えることによって、顔の登録・追加学習をリアルタイムに行うことを可能にしたアルゴリズムである。

例えば、一般によく知られているサポートベクターマシン（ＳＶＭ）を用いた顔識別では、ｎ人分の人物の顔を識別するために、登録された人物の顔と、それ以外の顔とを識別するｎ個のＳＶＭ識別器が必要になる。人物の顔を登録する際には、また、ＳＶＭの学習が必要となる。ＳＶＭの学習には、登録したい人物の顔と、既に登録されている人物とその他の人物の顔データが大量に必要であり、非常に計算時間がかかるため、予め計算しておく手法が一般的であった。

しかしながら、非特許文献１に記載の方法によれば、個人識別の問題を、次に挙げる２クラスの識別問題に置き換えることよって、追加学習を実質的に不要にすることができる。この２クラスとは、同一人物の画像間の、照明変動、表情・向きなどの変動特徴クラス（intra-personal class）と異なる人物の画像間の、変動特徴クラス（extra-personal class）とである。上記２クラスの分布が特定の個人によらず一定であると仮定して、個人の顔識別問題を、上記２クラスの識別問題に帰着させて識別器を構成する。そして、予め、大量の画像を準備して、同一人物間の変動特徴クラスと、異なる人物間の変動特徴クラスとの識別を行うように識別器を学習する。これにより、新たな登録者は、顔の画像若しくは必要な特徴を抽出した結果のみを保持すればよい。識別する際には２枚の画像から差分特徴を取り出し、上記識別器で、同一人物なのか異なる人物なのかを判定する。これにより、個人の顔登録の際にＳＶＭなどの学習が不要になり、リアルタイムで登録を行うことができる。

上記のような、具体的には画像中のオブジェクト、より具体的には、人物の顔の識別を行う装置において、識別性能を低下させる要因として、登録用パターンと認証用パターンとの間の変動が挙げられる。即ち、識別対象であるオブジェクト（人物の顔）の変動、具体的には、照明条件、向き・姿勢、他のオブジェクトによる隠れや、表情による変動などがあげられる。上記のような変動が、登録用パターンと認証用パターンとの間で大きくなると、識別性能が大幅に低下してしまう。このような問題に対する解決策として、例えば、特許文献１に記載の技術では、登録用の画像を取得する際に、登録に適しているかの適応度を画面に表示し、使用者に判断の材料を与えている。

特開２００９−４８４４７号公報 特許３０７８１６６号公報 特開２００２−８０３２号公報

Baback Moghaddam, Beyond Eigenfaces :Probabilistic Matching for Face Recognition(M.I.T Media Laboratory Perceptual Computing Section Technical Report No.433), ProbabilisticVisual Learning for Object Representation(IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 19, No. 7, JULY 1997)

しかし、ユーザーは、実際に登録した画像が、識別性能にどのように影響するか確認するすべはなく、機器の推奨する登録画像を取得し、登録を行うしかなかった。また、登録画像に枚数の制限がある場合、どの登録画像を削除するべきか、判断を行うための情報も十分には与えられていなかった。

本発明は前述の問題点に鑑み、複数の登録画像が互いにどのような状態にあるのか簡易に確認できるようにすることを目的としている。

本発明のパターン識別装置は、画像を辞書に登録する登録手段と、前記登録手段により既に登録されている辞書画像を確認する確認手段とを有し、前記確認手段は、複数の辞書画像の間の関係を表示させることを特徴とする。

本発明によれば、ユーザーが、複数の登録辞書画像が互いにどのような状態にあるのか簡易に確認することが可能となり、より妥当な登録画像を選択することができる。

実施形態に係るパターン識別装置の機能構成例を示すブロック図である。 パターン識別装置の全体処理手順の一例を示すフローチャートである。 入力画像識別部の詳細な機能構成例を示すブロック図である。 入力画像識別部による識別処理手順の一例を示すフローチャートである。 辞書画像登録部の詳細な機能構成例を示すブロック図である。 辞書画像確認部の詳細な機能構成例を示すブロック図である。 辞書画像関係演算部による処理手順の一例を示すフローチャートである。 辞書画像表示部による表示例を示す模式図である。 辞書画像登録部の詳細な機能構成例を示すブロック図である。 辞書画像確認部の詳細な機能構成例を示すブロック図である。 辞書画像群評価部による処理手順の一例を示すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳細に説明する。
図１は、本実施形態に係るパターン識別装置１００の構成例を示すブロック図である。
図１に示すように、パターン識別装置１００は、結像光学系１、撮像部２、撮像制御部３、画像記録部４、辞書画像登録部５、入力画像識別部６、及び辞書画像確認部７を備えている。また、識別結果を出力する外部出力部８、使用者が各種操作を行うための操作部９、及び各構成要素の制御・データ接続を行うための接続バス１０をさらに備えている。なお、辞書画像登録部５及び入力画像識別部６は、典型的には、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰなど）であってもよい。また、単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。

結像光学系１は、ズーム機構を備えた光学レンズで構成される。また、パン・チルト軸方向の駆動機構を備えてもよい。撮像部２の映像センサとしては、典型的にはＣＣＤまたはＣＭＯＳイメージセンサが用いられる。不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号（例えば、サブサンプリング、ブロック読み出しして得られる信号）が画像データとして撮像部２から出力される。撮像制御部３は、撮影者からの指示（画角調整指示、シャッター押下、など）、及び辞書画像登録部５または入力画像識別部６からの情報を元に、実際に撮影が行われるタイミングを制御する。

画像記録部４は、半導体メモリ等で構成され、撮像部２から転送された画像データを保持し、辞書画像登録部５や、入力画像識別部６からの要求に応じて、所定のタイミングで、画像データを転送する。辞書画像登録部５は、画像データから識別の対象とするオブジェクトの情報を抽出し、記録・保持する。なお、辞書画像登録部５におけるより詳細な構成及び実際に行われる処理の具体的な内容については後述する。

入力画像識別部６は、画像データおよび辞書画像登録部５から取得したデータを元に、画像データ中のオブジェクトの識別を行う。なお、入力画像識別部６に関して、具体的な構成及び行われる処理の詳細については後述する。辞書画像確認部７は、使用者が辞書画像の内容を確認するためのものである。また、辞書画像登録部５で登録しようとする登録候補画像の確認を行うために用いることもできる。この辞書画像確認部７で行われる処理及び表示の内容については後述する。

外部出力部８は、典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、撮像部２及び画像記録部４から取得した画像データを表示したり、画像データに辞書画像登録部５、入力画像識別部６、及び辞書画像確認部７の出力結果を重畳表示したりする。また、辞書画像登録部５、入力画像識別部６及び辞書画像確認部７の出力結果を電子データとして、外部メモリなどに出力する形式をとってもよい。

操作部９は、使用者が、辞書画像の登録動作を行うためのモード設定や、登録されている辞書画像に関する操作を行うためなどの各種操作を行う。接続バス１０は、上記構成要素間の制御・データ接続を行うためのバスである。以下、パターンの識別とは、パターンの個体の違い（例えば、個人としての人物の違い）を判定することを意味する。一方、パターンの検出は、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、顔を検出する）ことを意味するものとする。

図２は、本実施形態におけるパターン識別装置１００の全体処理手順の一例を示すフローチャートである。以下、図２を参照しながら、このパターン識別装置１００が入力パターンの識別を行う実際の処理について説明する。なお、以下では、識別するパターンが、画像中のオブジェクト、より具体的には、人物の顔である場合について説明するが、本発明がこれに限るものでないことは、言うまでもない。

まず、入力画像識別部６は、画像記録部４から画像データを取得する（ステップＳ２００）。続いて、取得した画像データに対して、対象パターンの検出、具体的には人の顔の検出処理を行う（ステップＳ２０１）。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。例えば、特許文献２や特許文献３で提案されているような技術を用いることができる。人物の顔以外を検出する場合でも、前述の技術を用いて、所望のオブジェクトを訓練データとすることにより、検出が可能である。

次に、入力画像中に、対象パターンが存在するか否かを判定する（ステップＳ２０２）。この判定の結果、対象パターンが存在しない場合は、処理を終了する。一方、ステップＳ２０２の判定の結果、入力画像中に対象パターンが存在する場合は、登録モードに設定されているか否かの判定を行う（ステップＳ２０３）。なお、この登録モードは、ユーザーにより操作部９で所定の動作を行うことによって予め設定することができる。この判定の結果、登録モードである場合は、辞書画像登録部５により辞書画像登録処理を行う（ステップＳ２０４）。この辞書画像登録処理の具体的な内容は、後で詳しく説明する。

一方、ステップＳ２０３の判定の結果、登録モードでない場合は、入力画像識別部６により入力画像の識別処理を行う（ステップＳ２０５）。この入力画像識別処理の具体的な内容についても、後述する。そして最後に、辞書画像登録処理または入力画像識別処理の結果を外部出力部８に対して出力する（ステップＳ２０６）。

次に、入力画像識別処理について説明する。図３は、入力画像識別部６の詳細な機能構成例を示すブロック図である。
図３に示すように、入力画像識別部６は、入力画像識別用データ生成部２１、辞書画像データ取得部２２、及び入力画像識別演算部２３を備えている。

入力画像識別用データ生成部２１は、画像記録部４から取得した画像データから、対象オブジェクトの識別に必要な情報の抽出を行う。辞書画像データ取得部２２は、辞書画像登録部５より、入力画像の識別に必要な辞書データを取得する。入力画像識別演算部２３は、入力画像識別用データ生成部２１から取得した識別用データと、辞書画像データ取得部２２から得た辞書データとから、入力画像の識別処理を行う。

図４は、入力画像識別部６で行われる識別処理手順の一例を示すフローチャートである。
まず、辞書画像登録部５から辞書データを取得する（ステップＳ４００）。この辞書データは、典型的には、入力画像から対象となるオブジェクトを切り出したあとに、傾きなどを補正し、所定の大きさに拡大または縮小した正規化画像である。また、あらかじめ後述の入力画像識別用データ生成処理と同様の処理を施しておき、特徴量を抽出したものを辞書データしてもよい。

次に、画像記録部４より画像データを取得する（ステップＳ４０１）。そして、入力画像識別用データ生成処理を行う（ステップＳ４０２）。ここで、辞書データが画像である場合、入力画像だけでなく、辞書データについても識別用データ生成処理を行う。入力画像識別用データ生成処理では、始めに入力画像データから、対象オブジェクト（典型的には人の顔）を切り出し、所定の大きさや回転方向の正規化を施した後、特徴量の抽出を行う。ここで、特徴量は、単純には画像の輝度をそのまま用いる方法もあるが、変動に対してより頑健な特徴量として、輝度に対して、Local Binary Pattern や増分符号などを施したものを用いてもよい。また、前記特徴量に対して、主成分分析法（ＰＣＡ）や独立成分分析法（ＩＣＡ）によって、特徴ベクトルの次元を削減したものを新たな特徴量として用いてもよい。

次に、ステップＳ４００で取得した辞書データと、ステップＳ４０１で取得した識別用データとでマッチング処理を行う（ステップＳ４０３）。マッチング処理は、典型的には、辞書データと入力データとのそれぞれから抽出した特徴ベクトルの相関演算を行う。辞書データが複数ある場合には、それらすべてとの総当たりで行う。相関演算は、単純な内積でもよいし、相関係数を求めてもよい。また、マッチング処理の出力として、登録済みデータ（辞書データ）との一致をバイナリ（０または１）で出力する場合と、正規化した出力値を（０〜１の実数値）尤度として出力する場合とが考えられる。さらに、登録パターン（登録者）が複数（複数人）ある場合には、それぞれの登録パターン（登録者）に対して、尤度を出力しても良い。また、最も良く一致した登録パターンに対する結果だけを出力しても良い。他に、登録パターンに対する尤度ではなく、登録パターンが属するクラスに対しての尤度を出力するようにしてもよい。すなわち、人物の場合には、個々の登録顔画像への結果ではなく、人物のＩＤ（名前）に対する尤度を出力するようにする。

次に、辞書登録処理について説明する。図５は、辞書画像登録部５の詳細な機能構成例を示すブロック図である。
図５に示すように、辞書画像登録部５は、辞書画像データ生成部３１、辞書画像データ保持部３２、辞書画像データ選択部３３、及び登録候補画像確認部３４を備えている。

辞書画像データ生成部３１は、画像記録部４から取得した画像データからパターンの個体を識別するために必要な辞書画像データを生成する。例えば、非特許文献１に記載されているように、intra-class及びextra-classの２クラス問題を判別する場合、典型的には、人物の顔画像を辞書画像データとすればよい。また、顔検出処理によって検出された人物の顔画像データを、大きさや向き（面内回転方向）などを正規化したのち、辞書画像データ保持部３２に格納するようにしてもよい。この際、辞書画像に対して、ユーザーが操作部９などを通じて設定したラベル情報も一緒に記録する。このように画像データそのものではなく、識別時に必要なデータのみを保持するようにすることによって、辞書データ量を削減することもできる。当該パターンの部分領域のベクトル相関をとって識別演算を行う場合、予めその部分領域のみを切り出しておけばよい。

また、辞書画像データ生成部３１は、ユーザーが後述する辞書画像確認部７を介して指定された画像に対して処理を行うようにすることができる。以上のように、適宜必要な情報を画像から抽出し、後述する所定の変換を行った後、オブジェクトの識別を行うための特徴ベクトルとして、辞書画像データ保持部３２に格納する。

辞書画像データ選択部３３は、前述の入力画像識別部６の要求に応じて、辞書画像データ保持部３２から必要な辞書画像データを読み出して、入力画像識別部６に辞書画像データを転送する。登録候補画像確認部３４は、辞書画像データ生成部３１に入力された辞書画像データを使用者が確認するための表示装置および操作を行うためのインターフェースから構成される。登録候補画像確認部３４による処理例は、後述する辞書画像確認部７の説明で改めて説明する。

次に、辞書画像確認部７で行われる処理について説明する。図６は、辞書画像確認部７の詳細な機能構成例を示すブロック図である。
図６に示すように、辞書画像確認部７は、辞書画像関係演算部４１、辞書画像関係表示部４２、及び辞書画像関係操作部４３を備えている。

辞書画像関係演算部４１は、辞書画像データ保持部３２から、複数の辞書画像データを取得し、それら辞書画像間の関係性を数値として演算するための処理を行う。この処理の内容に関しては後に詳しく説明する。辞書画像関係表示部４２は、辞書画像関係演算部４１の出力結果を表示するための表示部である。この表示方法についても後に詳しく説明する。辞書画像関係操作部４３は、使用者が辞書画像関係表示部４２の結果をもとに、辞書画像群に対して、種々の操作を行うための操作デバイスである。

次に、辞書画像関係演算部４１で行われる処理の内容について説明する。図７は、辞書画像関係演算部４１による処理手順の一例を示すフローチャートである。
まず、辞書画像データ保持部３２から辞書画像データを取得する（ステップＳ７００）。続いて、取得した辞書画像データから、特徴量を取得する（ステップＳ７０１）。ここで、特徴量は、入力画像識別用データ生成部２１で生成された特徴量をそのまま用いればよい。また、演算負荷低減のために、典型的には、輝度値をそのまま特徴ベクトルとするなど、より簡易な特徴量を抽出するようにしてもよい。

次に、抽出した特徴量を特徴ベクトルとして抽出する（ステップＳ７０２）。続いて、取り出した特徴ベクトルを次元削減する（ステップＳ７０３）。ここで、次元削減処理では、入力画像識別用データ生成部２１で行われる処理と同様の方法をとればよい。典型的には、主成分分析（ＰＣＡ）や独立成分分析（ＩＣＡ）などの手法が用いられる。削減後の次元数は、入力画像識別用データ生成部２１の値と同じでもよいし、異なる値にしてもよい。そして、全ての辞書画像データについて処理が完了したか否かを判定する（ステップＳ７０４）。この判定の結果、すべて完了した場合は、ステップＳ７０５に進み、未処理のデータがある場合は、ステップＳ７０１に戻る。

次に、相対座標演算処理を行う（ステップＳ７０５）。この処理では、ステップＳ７０３で取得した全辞書画像データの次元削減後の特徴ベクトルを用いて、辞書画像間の相対的な関係を演算する。具体的には、以下のように行う。まず、全ての辞書画像同士の組み合わせで相関値を計算し、各辞書画像間の類似性を数値化する。そして、全辞書画像間の類似性をテーブルとして、後述する辞書画像関係表示部４２へ出力する。このようにすることにより、登録画像が他の登録画像とどのような関係（類似性）にあるのか、辞書画像関係表示部４２で可視化することができる。

また、相関値ではなく、特徴ベクトルを２次元ないし３次元まで次元削減し、位置関係を図示できるような形式にすることもできる。この場合、ステップＳ７０３の特徴ベクトル次元削減処理において、削減後の次元数を２ないし３にすればよい。ＰＣＡを用いる場合、典型的には、寄与度の高い基底ベクトルを２ないし３選択し、その基底ベクトルの張る空間に射影したものを、辞書画像の位置関係とする。また、多次元尺度構成法（ＭＤＳ）を用いても良い。ＭＤＳによれば、似たものは近く、異なったものは遠くに配置されるように、特徴ベクトルを低次元化し、特徴量空間を代表させて表示することができる。

このように、特徴ベクトルを１次元または、２次元、３次元に低次元化して、辞書画像関係表示部４２に出力することにより、辞書画像の位置関係を可視化することができる。即ち、使用者が、辞書画像を、実際の識別が行われる特徴空間上とほぼ同じ空間（射影空間上）で確認することができる。

次に、辞書画像関係表示部４２で行われる処理の内容について説明する。辞書画像関係表示部４２は、辞書画像関係演算部４１の出力結果を可視化して表示するためのものであり、典型的には、ＬＣＤなどモニタ装置から構成される。

図８は、辞書画像関係表示部４２による表示例を示す模式図である。
図８において、辞書画像を２次元のグラフにマッピングしている。即ち、辞書画像関係表示部４２において、辞書画像の特徴ベクトルを２次元まで次元削減し、その結果をグラフ上に表示している。表示の際に、辞書画像を縮小したアイコンをグラフ上に表示するようにすると、複数の辞書画像の位置関係がより直感的に確認できる。アイコン表示の下に、ユーザーが定義したラベル（人物の顔の場合、個人ＩＤ）を表示するようにしてもよい。

上記のような処理を経て表示された辞書画像は、同一のラベルが付いたもの同士であれば、近い位置に表示され、異なるラベルが付いたもの同士は、遠い位置に表示されることが期待される。仮に、同じラベルが付いた辞書画像が相対的に離れた位置にある場合は、何らかの条件により識別に好ましくない状態にあることが推定される。逆に、異なるラベルが付いた辞書画像が近い位置にある場合も、識別に好ましい状態とは言えない。このように、複数の辞書画像の関係を表示することにより、ユーザーは、登録してある辞書画像がどのようになっているのか直感的に理解することができるようになる。

また、辞書画像確認部７と登録候補画像確認部３４とを連携させることも可能である。例えば、辞書画像登録部５に入力された入力画像を、登録候補画像確認部３４を介して、辞書画像確認部７に入力し、辞書画像関係演算部４１で、他の辞書画像データと同様の処理を行う。登録候補画像に対して、処理を行った結果を辞書画像関係表示部４２に表示し、他の辞書画像との関係性を示すことができる。このようにすることによって、ユーザーは、登録しようとする画像が、すでに登録してある辞書画像とどのような関係にあるのか直感的に理解できるようになる。さらに、上記処理をリアルタイムに行うと、より効果的である。即ち、ユーザーが登録しようとする被写体を、画角や照明条件を変えて撮影し、それがすでに登録してある辞書画像群とどのような関係にあるのか即時に確認することが可能になる。

辞書画像確認部７と登録候補画像確認部３４とを連携させる別の例として、登録候補画像の状態をもとに、ユーザーにアドバイスするようにしてもよい。例えば、上記連携例と同様の処理を行って、辞書画像確認部７に登録済みの辞書画像とともに、登録候補画像を表示し、登録候補画像がどうなれば、表示位置が変わるか、情報を表示する。前述のように、辞書画像関係表示部４２に表示される位置関係によって、辞書画像の状態を確認することができる。即ち、同じラベルの辞書画像同士は近い位置に、異なるラベルの辞書画像同士は遠い位置に表示されるのが望ましい辞書画像の状態である。登録候補である入力画像が、他の辞書画像に対して、上記のような状態になるためのアドバイスを行うようにする。具体的には、被写体である顔の向きや、照明条件、表情などをどうすれば、よりよい辞書画像になるかアドバイスする。

アドバイスの内容をどのように設定するかは、予め十分な量の典型的な被写体データを集めておき、学習することで求めることができる。即ち、顔の向きや、照明条件の変化が、辞書画像関係表示部の表示空間において、どのような軌跡になるのか、サンプルデータから求めておくことで、実現することができる。このように、どのようにすれば、好ましい辞書画像を登録することが出来るのか、ユーザーが試行錯誤することなく、簡便に撮影条件を設定することが可能になる。

（第２の実施形態）
本実施形態では、第１の実施形態に対して、辞書画像登録部及び辞書画像確認部の構成が一部異なっている。以下、本実施形態について具体的に説明する。なお、重複を避けるため、以下の説明において、第１の実施形態と同じ部分は、省略する。本実施形態に係るパターン識別装置全体の構成は、第１の実施形態で説明した図１と同様であるため説明を省略する。

図９は、辞書画像登録部５の詳細な機能構成例を示すブロック図である。
図９ｂに示すように、辞書画像登録部５は、辞書画像データ生成部５１、辞書画像データ保持部５２、辞書画像データ選択部５３、登録候補画像確認部５４、及び辞書画像削除部５５を備えている。第１の実施形態と比べ、辞書画像削除部５５が追加された点と、辞書画像データ選択部５３の処理内容の一部とが異なっている。

辞書画像データ選択部５３は、入力画像識別部６からの要求に応じて辞書画像データ保持部５２が保持する辞書画像データを選択し、転送するだけでなく、操作部９などを介した使用者からの要求に応じて、辞書画像を１つ以上選択することができる。また、辞書画像削除部５５は、辞書画像データ選択部５３によって選択された辞書画像を、辞書画像データ保持部５２から削除する。

図１０は、辞書画像確認部７の詳細な機能構成例を示すブロック図である。
図１０に示すように、辞書画像確認部７は、辞書画像関係演算部６１、辞書画像関係表示部６２、辞書画像関係操作部６３、辞書画像群評価部６４、及び辞書画像関係入力部６５を備えている。第１の実施形態と比べ、辞書画像群評価部６４、及び辞書画像関係入力部６５が追加されている点が異なっている。

辞書画像群評価部６４は、辞書画像データおよび辞書画像関係演算部６１の演算結果を用いて、登録されている辞書画像全ての総合的な状態を評価する。辞書画像群評価部６４で行われる処理の具体的な内容は後で詳しく説明する。辞書画像関係入力部６５は、ユーザーが複数の辞書画像のラベル情報に対して、その関係を入力するための処理を行う。辞書画像関係入力部６５で行われる処理の具体的な内容については後で説明する。

次に、辞書画像群評価部６４の処理内容について説明する。図１１は、辞書画像群評価部６４により行われる処理手順の一例を示すフローチャートである。
まず、辞書画像データ保持部５２から、登録してある全ての辞書画像データを取得する（ステップＳ１１００）。続いて、辞書画像関係演算部６１から、全辞書画像データ間の関係性を表すデータを取得する（ステップＳ１１０１）。そして、ステップＳ１１００で取得した辞書画像データの属性値を取得する（ステップＳ１１０２）。ここで、辞書画像データの属性値とは、典型的には、照明条件や、対象オブジェクトの大きさ、向き、などである。対象オブジェクトが人物の顔である場合には、表情や、性別、年齢などを含んでもよい。これら辞書画像データの属性は、辞書画像データから直接検出してもよいし、照明条件などは、撮像時に記録されるカメラパラメータから推定してもよい。

次に、ステップＳ１１０２で取得した辞書画像データの属性を、辞書画像のラベル情報ごとに集計する（ステップＳ１１０３）。即ち、同じラベル情報が付与されている辞書画像データの属性について、属性のバリエーションを計測する。次に、ステップＳ１１０１で取得した辞書画像関係データと、ステップＳ１１０３で取得した同一ラベル辞書画像での属性バリエーションとを総合的に評価して、辞書画像群の評価値を算出する（ステップＳ１１０４）。

評価値の算出方法は、例えば、辞書画像のラベル数、同一ラベルに属する辞書画像の数、属性のバリエーションなどを基準にして求めることができる。一般的に、辞書画像のラベル数が少なければ、識別するクラスの数が少なくなるので、辞書画像群の評価値としては高い値を与えることができる。また、同一ラベルに属する辞書画像データの数が多く、また様々な属性が含まれた方が、より識別性能が向上するので、評価画像群の評価値は高くできる。

辞書画像の数や属性ではなく、特徴量を評価に用いる方法も考えられる。例えば、同一ラベルに属する特徴量と異なるラベルに属する特徴量の分布を計測し、その分離度を、評価値に加えることができる。特徴ベクトルの分離度は、以下の式（１）を用いて求めるとよい。

なお、関数ｄは２つのベクトルの距離を求める関数であり、典型的には２つのベクトルのユークリッド距離を算出する。上記のようにして、ラベルＣ１、Ｃ２に属する辞書画像間の距離を平均したものを、分離度Ｄとする。一般に、異なるラベルに属する辞書画像間の分離度が高いほど識別性能は高くなると期待される。即ち、全てのラベルの組み合わせについて、分離度を求め、平均することによって、辞書画像群の評価値とすることができる。

また、式（１）に示すような特徴量間の距離ではなく、同一ラベルに属する特徴量間の分散と、異なるラベルに属する特徴量群間の分散との比を用いることもできる。例えば、以下の式（２）に示すような量を求める。

なお、式（２）のＪの分母は同一ラベルに属する特徴ベクトル間の分散を表し、分子は異なるラベルに属する特徴ベクトルの分散を表している。一般に、異なるラベルに属する特徴ベクトルは離れていて、かつ、同じラベルに属する特徴ベクトルはまとまっていた方が、識別性能は良くなると考えられる。即ち、異なるラベルに属する特徴ベクトル間の分散は大きく、同一ラベルに属する特徴ベクトルの分散は小さいほうが望ましい。よって、Ｊが大きいほど、辞書画像群の評価値を高くすることができる。

上記のように、辞書画像群の評価値を算出し、辞書画像確認部に表示することによって、使用者は、機器に登録してある辞書画像がどのような状態にあるのか簡単に確認することが可能になる。

次に、辞書画像関係入力部６５について説明する。辞書画像関係入力部６５は、使用者が辞書画像のラベル間の関係を入力するための機能を有する。ここで、辞書画像のラベル間の関係とは、例えば対象オブジェクトが人物の顔であって、ラベルが人物の名前である場合、その人物間の関係のことである。より具体的には、「親子」、「兄弟」、などの血縁関係を入力する。なお、「友人」、「同僚」など血縁関係以外の関係を入力してもよい。

上記のように、使用者が入力した、登録されている辞書画像ラベルの関係性を、辞書画像群評価部６４の評価に用いることができる。例えば、辞書画像群評価部の評価演算で、異なるラベルに属する辞書画像の分離度平均を計算する際に、異なるラベル間の関係性を、重みづけに用いることができる。一般に、親子や兄弟など血縁関係にある場合と、そうでない場合とでは、特徴ベクトルの分離度に異なった傾向がでると考えられる。即ち、親子・兄弟の関係にある人同士の特徴ベクトルは、異なるラベルが付けられていても、分離度が、他人同士のそれよりも低めに出ることが予想される。単純に、分離度の平均をとると、血縁関係にあるラベルが含まれている辞書画像群と、そうでない辞書画像群とでは、後者の方が、評価値が高くなる。また、辞書画像を追加登録する場合に、血縁関係者を追加する場合と、他人を追加する場合とでは、辞書画像群の評価値は、後者の方が有利になる。このような現象を軽減するために、血縁関係にある場合の異なるラベル間の特徴ベクトル分離度の重みづけを低くするとよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

５ 辞書画像登録部、６ 入力画像識別部、７ 辞書画像確認部

Claims (5)

1. 画像を辞書に登録する登録手段と、
   前記登録手段により既に登録されている辞書画像を確認する確認手段とを有し、
   前記確認手段は、複数の辞書画像の間の関係を表示させることを特徴とするパターン識別装置。
2. 前記辞書画像の関係は、パターンの識別に用いる特徴空間上での位置関係であることを特徴とする請求項１に記載のパターン識別装置。
3. 前記辞書画像の関係は、パターンの識別に用いる特徴量を射影した射影空間上での位置関係であることを特徴とする請求項１に記載のパターン識別装置。
4. 画像を辞書に登録する登録工程と、
   前記登録工程において既に登録さている辞書画像を確認する確認工程とを有し、
   前記確認工程においては、複数の辞書画像の間の関係表示させることを特徴とするパターン識別方法。
5. 請求項４に記載のパターン識別方法の各工程をコンピュータに実行させるためのプログラム。

Images