JP2011210126A - パターン認識装置及びパターン認識方法 - Google Patents

Abstract

【課題】実装上軽量で、かつ、登録条件、又は照合条件による認識精度に対する影響を抑制することを目的とする。
【解決手段】入力データの局所特徴と、入力データの局所特徴に対応する複数の辞書データの局所特徴と、から局所特徴単位の類似度集合を算出する類似度算出部１０３と、類似度算出部１０３で算出された局所特徴単位の類似度集合を登録条件、又は照合条件に応じて複数、統合して統合類似度を算出する統合類似度算出部１０４と、統合類似度算出部１０４で算出された統合類似度に基づいて、入力データに対応する辞書データを識別する識別部１０６と、を有することによって課題を解決する。
【選択図】図１

Description

本発明は、パターン認識装置及びパターン認識方法に関する。

入力パターンから所定のパターンを検出、識別するパターン認識の技術がある。計算機の性能の向上と共にパターン認識技術も進展し、最近では、画像中の顔をリアルタイムで検出するシステムが出始めている。また画像中の顔領域を検出し、その顔領域の人物が誰であるのかを照合する顔認識技術が知られている。
顔認識技術の精度は、登録データの登録条件に大きく左右される。登録条件とは、照明条件、顔向き変動、表情の変動、オクルージョンの影響、撮影装置の特性、各登録者の登録枚数、登録人数等である。
これら登録条件に存在する種々の変動に対応する技術がいくつか提案されている。次に、変動の１つである登録画像枚数による変動が顔認識精度に影響を与える理由と、提案されている技術と、について述べる。
まず、登録画像枚数が顔認識精度に与える影響について説明する。まず、登録者以外の他人を照合する場合、登録画像枚数が多い登録者の登録画像の中には、他人と似ている画像が存在する確率が高くなる。このとき、登録画像枚数が多い登録者との類似度が、平均的に高くなる。こういった類似度変動があるために、他人を登録者と誤認する確率を表す他人受け入れ率が、影響を受けることになる。この影響を抑制する技術が、特許文献１に開示されている。
特許文献１は、登録画像枚数に応じて、照合アルゴリズム又は特徴量を動的に変更することで、登録画像枚数の変動に対してロバスト性を向上させている。照合アルゴリズムを動的に変更するとは、登録画像枚数が多い場合、複数の本人画像から求められる分布と入力画像の距離とを類似度に基づいて認識する。一方、登録画像枚数が少ない場合、１つの本人画像と入力画像の各類似度に基づいて認識するという手法である。特許文献１には、本人画像の枚数が多くなるほど、本人の分布をより正確に表現することができるので、この場合統計的な照合方法を行うことで、認識精度の向上が望めると記載されている。また、特徴量を変更する方法に関しては、登録画像枚数が少ない場合、各画像の輝度データを特徴量として用いる。一方、登録画像枚数が多い場合、所定の固有空間に射影し、射影後の平均ベクトルを特徴量として用いると記載されている。

特開２００５―１４９０７４号公報

特許文献１は、登録者の登録枚数に応じて、照合アルゴリズム、又は特徴量を変更するとあるが、照合手段と特徴量抽出手段とを実装上、複数用意する必要があるため、リソース上好ましくない。

本発明はこのような問題点に鑑みなされたもので、実装上軽量で、かつ、登録条件、又は照合条件による認識精度に対する影響を抑制することを目的とする。

そこで、本発明は、入力データの局所特徴と、前記入力データの局所特徴に対応する複数の辞書データの局所特徴と、から局所特徴単位の類似度集合を算出する類似度集合算出手段と、前記類似度集合算出手段で算出された局所特徴単位の類似度集合を登録条件、又は照合条件に応じて複数、統合して統合類似度を算出する統合類似度算出手段と、前記統合類似度算出手段で算出された統合類似度に基づいて、前記入力データに対応する辞書データを識別する識別手段と、を有する。

本発明によれば、実装上軽量で、かつ、登録条件、又は照合条件による認識精度に対する影響を抑制することができる。

パターン認識装置の構成の一例を示す図である。 パターン認識処理の一例を示すフローチャートである。 顔検出枠の一例を示す図である。 切り出し正規化画像の一例を示す図である。 局所特徴類似度集合算出処理の一例を示すフローチャートである。 辞書データベースの一例を示す図である。 実施形態１のパラメータテーブルの一例を示す図である。 統合前の類似度から図７のパラメータテーブルを用いて、どのように統合類似度を算出するかの概念図である。 登録画像枚数が変動したときの統合類似度の変化を表す図である。 被統合類似度数を調整した後の統合類似度の分布の一例を示す図である。 実施形態２の類似度集合算出方法を説明するための図である。 実施形態３の類似度集合算出方法を説明するための図である。 実施形態４のパラメータテーブルの一例を示す図である。 顔向きの程度によるｉｎｔｒａ分布とｅｘｔｒａ分布との変化を表す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
画像情報ベースの顔認識を具体的な実施形態とし、以下に、本実施形態の詳細を説明する。なお、本実施形態の処理は、顔認識に限定されるものでなく、一例として静脈認識や指紋認識といったものでもよい。また、顔や人物以外に車や、ペットを対象とした物体認識でもよい。
本実施形態は、後述する登録条件及び／又は照合条件による精度劣化を抑制するためのパラメータ調整になる。以下では、登録条件のみで定まる登録画像枚数の違いを条件とする場合について説明する。
図１は、パターン認識装置の構成の一例を示す図である。図１のパターン認識装置は、制御バス１０１を介して接続された、領域設定部１０２、類似度算出部１０３、統合類似度算出部１０４、パラメータ記憶部１０５、識別部１０６から構成されている。次に、各ブロックの詳細について説明する。制御バス１０１は、各機能ブロックの入力又は出力の制御を行う。次に、領域設定部１０２は、外部から入力される入力データ、即ち入力画像を所定の手段により取得し、取得した画像に対して特徴量を抽出する局所領域を設定する。局所領域の設定の仕方等々の詳細は、後述する。また、画像を取得する手段としては、一般的な手段でよく、一例としてＣＣＤといった撮像素子をパターン認識装置に組み込み、その撮像素子を介して取得するといったものでよい。また、画像としては、顔画像や人物画像といったものである。次に、類似度算出部１０３は、前述の領域設定部１０２で設定された局所領域単位で、入力画像と予め取得されている辞書画像との間の類似度の算出を行う。類似度算出方法の詳細については、後述する。なお、前述の辞書画像は、図示しない所定の記憶部に記録されている。次に、統合類似度算出部１０４は、前述の類似度算出部１０３で求めた局所領域単位の類似度を複数、統合して、統合類似度の算出を行う。統合類似度の算出方法については、後述する。次に、パラメータ記憶部１０５は、前述の統合類似度算出部１０４で使用するパラメータを記憶する記憶装置である。パラメータ記憶部１０５は、ＨＤＤ又は半導体記憶装置で構成される。パラメータの詳細については、後述する。次に、識別部１０６は、前述の統合類似度を用いて、入力画像が辞書画像のどれに値するのかを識別する処理を行う。識別処理の詳細については、後述する。なお、領域設定部１０２、類似度算出部１０３、統合類似度算出部１０４、識別部１０６は、演算回路又はファームウエアで構成されるものとする。
但し、領域設定部１０２、類似度算出部１０３、統合類似度算出部１０４、識別部１０６は、をソフトウェアとして構成してもよい。つまり、ＣＰＵが記憶装置等に記憶されているプログラムに基づき処理を実行することによって、領域設定部１０２、類似度算出部１０３、統合類似度算出部１０４、識別部１０６を実現するようにしてもよい。

図２は、パターン認識処理の一例を示すフローチャートである。図２を用いて本実施形態の詳細を説明する。
ステップＳ２０１において、領域設定部１０２は、局所領域設定処理を行う。より具体的に説明すると、領域設定部１０２は、類似度を算出する対象となる局所特徴を抽出する局所領域の位置を入力画像（言い換えると照合画像）に対して決定する処理を行う。局所領域の位置の決定は、一般的な方法でよく、本実施形態では、次のように行う。
本実施形態では、領域設定部１０２は、入力画像を一般的な物体検出方法、より具体的には顔検出方法を用いて顔を検出し、その検出結果に基づいた切り出し正規化画像に対して、局所領域を設定する。より具体的には、領域設定部１０２は、切り出し正規化画像の原点座標を基準点として、局所領域の設定を行う。
切り出し正規化画像の作成は、一般的な方法でよい。本実施形態では、領域設定部１０２は、図３で示すように、顔検出で出力される顔検出位置３０２に基づいた切り出しと、顔検出枠３０３の縦幅及び横幅を基にその横幅が任意の値になるような、画像の拡大又は縮小と、を行う。なお、顔検出処理としては、公知のテンプレートマッチング手法といったものでよい。また、領域設定部１０２は、顔検出枠３０３の縦幅及び横幅の決定を、目特徴点の位置検出結果を利用して行えばよい。より具体的には、領域設定部１０２は、顔検出枠３０３の横幅及び縦幅を、検出した目特徴点の座標から決まる両目間距離の２倍というように決定する。なお、目特徴点等の器官位置検出の処理としては、例えば、左目周辺部に相当する局所特徴のテンプレートを用いて、左目にもっともらしい部位を抽出するといった手法でよい。

図４は、切り出し正規化画像の一例を示す図である。切り出し正規化画像４０１の顔領域は、顔検出で出力される顔サイズが正確であるなら、どの顔画像に対しても、概ね同じような位置に存在する。局所領域は、この切り出し正規化画像４０１の画像原点４０２を基準として定められる。即ち、第ｉ局所領域４０３は、画像原点４０２から、切り出し正規化画像４０１の水平方向にｗｉｄｔｈ画素と垂直方向にＨｅｉｇｈｔ画素分、原点から離れた位置となる。この様子を図４に示す。また、第ｉ局所領域以外の局所領域も同じく、画像原点（もしくは、第ｉ局所領域）から何画素離れているのかという情報により、コントロールされる。以上、図２のステップＳ２０１での処理の概要である。

図２の説明に戻る。次に、ステップＳ２０２において、類似度算出部１０３は、局所特徴類似度集合算出処理を行う。より具体的に説明すると、類似度算出部１０３は、ステップＳ２０１で設定された図３の第ｉ局所領域から抽出される局所特徴と、辞書画像一枚の対応する第ｉ局所領域から抽出される局所特徴との類似度を算出する処理を行う。ここで、類似度算出部１０３は、局所特徴単位の類似度算出処理は、次式に基づいて行う。

ここで、（１）式において

は、登録者ｐのｋ枚目の辞書画像における、入力画像の第ｉ局所領域と前述の辞書画像の第ｉ局所領域間の類似度である。また、

は、局所特徴であり、入力画像の第ｉ局所領域の輝度値である。また、

は、同様に局所特徴であり、登録者ｐのｋ枚目の辞書画像における第ｉ局所領域の輝度値である。ちなみに、（１）式の類似度は、輝度値ベースで算出されるが、輝度値に限定されるものでない。つまり、類似度算出部１０３は、所定のフィルタ演算の出力結果に基づいて類似度を算出してよい。また、類似度算出部１０３は、類似度を（１）式以外の手法で求めてもよい。例えば、類似度算出部１０３は、

と

とのユークリッド距離に基づいて類似度を求めてもよい。ステップＳ２０２において、類似度算出部１０３は、（１）式で表される類似度算出を、全登録画像に対して実行し、局所特徴類似度集合を算出する。局所特徴類似度集合算出処理の詳細を図５の処理フローチャートを用いて説明する。

ステップＳ５０１において、類似度算出部１０３は、後述する辞書画像データベース５０２から登録者ｐに関するｋ枚目の画像を選択する。
次に、辞書画像データベース５０２の詳細について説明する。辞書画像データベース５０２には、図６に示すように、別のタイミングで取得された複数の登録者の複数の画像が記録されている。また、辞書画像データベース５０２には、辞書情報として、登録者を区別するＩＤ、登録人数、登録画像枚数等の付加情報が共に記憶されている。まず、登録者ｐに関して、第ｋ_p辞書正規化画像６０１及び第ｋ_p＋１辞書正規化画像６０３が記録されている。もちろん、登録者ｐに関する辞書画像は、図６に示した２枚に限定されず、何枚でもよい。なお、辞書正規化画像とは、図４の切り出し正規化画像のように、所定のサイズに規格化されており、ある登録者の画像であることを指す。また、辞書正規化画像６０１と辞書正規化画像６０３とは、まったく同じ画像でなく、辞書正規化画像６０３には図に示して陽に陰影部がある等の差異が存在する。同じく、登録者ｐ＋１に関する第ｋ_p+1辞書正規化画像６０５が辞書画像データベースに記録されている。登録者ｐ＋１に関しても、辞書正規化画像が１枚に限定されるものでなく、複数枚、存在してもよい。ちなみに、辞書画像データベースは、画像を記憶するのでなく、辞書正規化画像単位である各局所領域の特徴量を記録しておくものでもよい。その際、データベースは、登録者ｐの第ｋ_p辞書正規化画像の第ｉ局所領域と、その輝度値に代表される特徴量との対応付けが必須である。ステップＳ５０１では、類似度算出部１０３が、図６のように記録された辞書データベースから、対象となる辞書正規化画像を選択する処理を行う。

次に、ステップＳ５０３において、類似度算出部１０３は、ステップＳ５０１で選択した正規化辞書画像の第ｉ局所領域を参照する処理を行う。局所領域の参照方法は、ステップＳ２０１の領域設定方法と同様であるので説明を省略する。
次に、ステップＳ５０４において、類似度算出部１０３は、ステップＳ５０３で参照した第ｉ局所領域内の局所特徴と入力画像の対応する第ｉ局所領域内の局所特徴とから類似度を算出する。類似度算出部１０３は、（１）式を使って算出を行う。類似度算出部１０３は、算出した類似度を、順次、類似度データベース５０５に記録する。本実施形態では、類似度データベースには、辞書情報に紐付けされた類似度集合が記録される。ここで、辞書情報とは、前述したように、ＩＤ、登録画像のことである。
次に、ステップＳ５０６において、類似度算出部１０３は、ステップＳ５０１で選択した辞書画像に設定されている局所領域を全て参照したかどうかのチェックを行う。局所領域を全て参照していない場合、類似度算出部１０３は、再度、ステップＳ５０３に移行し、局所領域を全て参照した場合、ステップＳ５０７に移行する。
次に、ステップＳ５０７において、類似度算出部１０３は、前述した辞書画像データベース５０２に記録されている全画像に対して処理を完了したか否かの判断を行う。全画像の処理が完了した場合、類似度算出部１０３は、図５に示すフローチャートの処理を終了する。

図２の説明に戻る。ステップＳ２０３において、統合類似度算出部１０４は、統合類似度の算出処理を行う。統合類似度は、登録画像別に局所領域単位の局所特徴類似度を一つに結合した値である。本実施形態は、統合類似度を加重平均値とする。
統合類似度算出部１０４は、統合類似度を、次式で求める。

ここで、

は、第ｋ_p辞書正規化画像６０１に関する統合類似度を表している。なお、この統合類似度は、各辞書画像に対して算出する。

は、局所領域単位の類似度であり、より具体的には、登録者ｐの第ｋ_p辞書正規化画像の第ｉ局所領域と、入力画像の対応する第ｉ局所領域と、のそれぞれの局所特徴間の類似度を表している。また、ｗ_iは、加重平均を計算する際の重みで、値として、０、１のみを出力するものである。例えば、統合類似度算出部１０４は、１００個の局所特徴類似度のうち、類似度の上位７０個の局所特徴類似度を用いて、統合類似度を算出するということである。この重みに関する詳細を、次に示す。

まず、統合類似度算出部１０４は、重みを、局所領域類似度に対してソーティングを行い、所定のパラメータに応じて、動的に定める。より具体的には、統合類似度算出部１０４は、局所特徴類似度

を領域番号ｉに関してソーティングを行い、上位所定個の局所特徴類似度に対する重みを１とする。一方、統合類似度算出部１０４は、上位所定個に含まれなかった局所特徴類似度の重みは、０とする。即ち、統合類似度とは、類似度が小さいものを省いた画像単位の類似度を表している。したがって、パラメータは、類似度上位の局所特徴類似度をいくつ用いるか、即ち、被統合する類似度数である被統合局所特徴類似度数を定めるパラメータである。このパラメータの詳細を、次に説明する。
パラメータは、図７のテーブルのように与えられる。図７のパラメータテーブル７０１は、パラメータの詳細を表しており、（２）式を求める際に、上位何個の類似度を用いるかを示しているテーブルである。パラメータテーブル７０１では、被統合類似度数が各々の登録者ｐの登録画像枚数毎に定められる。例えば、所定登録者の登録画像が１０枚存在した場合、局所特徴類似度の上位７０個の局所特徴類似度より、統合類似度を算出することを表している。一方、所定登録者の登録枚数が１枚しかない場合、局所特徴類似度の上位５０個の局所特徴類似度より、統合類似度を算出することを示している。つまり、パラメータは、被統合される局所領域類似度の個数をコントロールするパラメータになる。次に、図７のパラメータテーブルの使い方について、説明する。

図８は、統合前の類似度から図７のパラメータテーブルを用いて、どのように統合類似度を算出するかの概念図である。図８の類似度集合８０１は、統合前の類似度集合を表している。類似度集合８０１は、第ｋ_p辞書画像と入力画像から求められる類似度集合である。

は、第ｉ局所領域における局所特徴類似度を表す。ここで、局所特徴類似度は、１００個あるとする。つまり、局所領域の個数は、１００個になる。降順にソーティングされた後の類似度集合をソート後類似度集合８０２で表す。図８の８０２に示すように、統合類似度算出部１０４は、ソート後、類似度集合を、２つのグループに分割する。２つのグループとは、類似度上位グループと類似度下位グループとである。類似度上位グループは、Ｎ_MP個の上位類似度からなる。ここで、Ｎ_MPは、図７のパラメータテーブル７０１において、登録者ｐの登録枚数Ｍｐから決まる被統合類似度数である。なお、Ｎ_MPは、１００個以下である。更に、統合類似度算出部１０４は、この類似度上位グループに含まれる類似度に対応する重みｗ_i（（２）式参照）を、１に設定する。一方、統合類似度算出部１０４は、類似度下位グループに含まれる類似度に対応する重みｗ_iを、０に設定する。以上のように定めた重みを用いて、統合類似度算出部１０４は、（２）式で統合類似度を算出する。次に、登録枚数に応じて、図７のパラメータテーブルで示したように被統合類似度数を変更する理由について説明する。

図９は、登録画像枚数が変動したときの統合類似度の変化を表す図である。図９の（ａ）、（ｂ）及び（ｃ）では、横軸を統合類似度とし、縦軸を確率密度としている。図９では、被統合領域数は、（ａ）、（ｂ）及び（ｃ）で同じであるとする。つまり、ここでの統合類似度は、登録画像枚数毎に被統合類似度数が一定の場合を示している。また、マッチングする２枚の画像が同一人物であった場合の統合類似度は、図９中のｉｎｔｒａと記載されている分布に含まれる。一方、２枚の画像が他人であった場合の統合類似度は、図９中のｅｘｔｒａと記載されている分布に含まれる。図９に示すように、登録画像枚数が増加すると、ｉｎｔｒａ（本人間類似度）とｅｘｔｒａ（他人間類似度）との分布が推移していく。つまり、登録画像枚数が増えると、照合画像は本人に類似する確率及び他人登録画像のどれかに似る確率が高くなるので、図９で示すように分布が推移する。この状態だと、登録画像が１枚のもの、登録画像が１０枚もの、が混在した顔認識処理を行った場合、統合類似度の出力値のレベルが合わないことになる。即ち、登録画像１枚の統合類似度の影響が小さくなる。とすると、仮に登録画像の１枚の登録者が照合画像になった場合、その照合画像の登録画像、１０枚の登録者とのｅｘｔｒａ統合類似度は、その照合画像の人物の登録画像のｉｎｔｒａ統合類似度と同程度の値になる。したがって、本人画像との照合は、意味を成さなくなる。そこで、統合類似度算出部１０４は、前述の被統合領域個数を図７のように登録枚数に応じて動的に定め、統合類似度の出力値のレベル合わせを行う。如何様に被統合領域個数を登録画像枚数に応じて決定するかは、次の通りである。

統合類似度算出部１０４は、図９の（ａ）、（ｂ）及び（ｃ）のそれぞれの分布が交差する部分の統合類似度が、図９の（ａ）、（ｂ）及び（ｃ）でそれぞれ約一定になる被統合類似度数を求めることで、被統合領域個数を決定する。統合類似度が約一定になる被統合類似度数の求め方としては、登録画像枚数が異なるパターンを複数用意し、被統合類似度数をパラメータとし、統合類似度の約一定を評価関数として求める手法等が適当である。なお、統合類似度が約一定になる被統合類似度数の求め方は、この方法に限らない。このようにして、最終的に求めた登録画像枚数に依存した被統合局所特徴の個数は、図７で示すパラメータテーブルとして、出力される。
図１０は、被統合類似度数を調整した後の統合類似度の分布の一例を示す図である。変換後の分布は、Ｅｘｔｒａの分布とｉｎｔｒａの分布とが変わっている。また、その２つの分布が交差する点は、登録画像枚数が異なった場合でも同一になっている。

図２の説明に戻る。次に、ステップＳ２０４において、識別部１０６は、識別処理を実行する。まず、識別部１０６は、登録者単位の画像平均類似度を次式で算出する。

ここで、

は、画像単位の統合類似度であり、（３）式は、所定登録者ｐに対する画像単位の統合類似度の平均値を求めていることになる。また、（３）式は、登録者単位の統合類似度と言うべきものである。なお、（３）式は、平均値を算出するものだけに限定するものでない。例えば、所定の登録者ｐの統合類似度の最大値であってもよい。次に、識別部１０６は、（３）式の登録者単位の統合類似度を基に、照合画像の人物が登録者のどの人物に最もらしいか判定を行う。識別部１０６は、統合類似度が最も高い登録者を結果として出力する。
以上で実施形態１の説明を終わる。実施形態１の効果は、登録画像枚数が登録者間で異なったときに、顔認識精度に影響することを抑制することである。
なお、登録条件として、登録画像枚数に限定されるものではない。他の例としては、登録者の人数条件である。この条件の場合、統合類似度算出部１０４は、登録人数が少ない場合と多い場合とで、被統合類似度数を変更するということになる。

＜実施形態２＞
実施形態２について説明する。
実施形態１と異なる部分は、類似度集合の算出方法である。実施形態２の類似度集合算出方法について、図１１の類似度集合の算出概念図を用いて説明する。
図１１は、実施形態２の類似度集合算出方法を説明するための図である。登録者Ａの辞書画像１１０１は、登録者Ａに関する辞書画像で、図１１では、２枚辞書画像が存在すると仮定している。なお、図１１は、登録者１名であるが、登録者Ａ以外の人物がいてもよい。この場合、登録者Ａ以外の登録画像に対しても図１１に示したことと同様のことを行う。図５のフローチャートで説明したとおり、類似度算出部１０３は、入力画像１１０２と第１辞書画像１１０３との対応する局所領域の局所特徴類似度を算出する。より具体的には、類似度算出部１０３は、図１１の第１局所領域１１０５の輝度値の類似度

を、（１）式で算出する。そして、類似度算出部１０３は、類似度を、第１辞書画像１１０３及び陰影有第２辞書画像１１０４から各対応する局所領域間で算出し、図１１の類似度集合１１０６を求める。つまり、類似度集合１１０６は、局所特徴類似度集合で、登録者Ａに関する局所領域単位の全類似度を含んでいる。

次に、図１１の類似度集合１１０６から統合類似度を算出する方法について説明する。実施形態２において、統合類似度算出部１０４は、統合類似度を、次式を用いて求める。

ここで、

は、図１１の、ある登録者に対する類似度集合の各要素である。より具体的には、図１１の類似度集合１１０６と同じものである。また、

は、各類似度に対する重みであり、類似度集合１１０６をソーティングして、類似度上位の所定個数のグループに含まれるものの重みが１になり、グループに含まれないものの重みが０となる。つまり、実施形態１で示した被統合類似度の個数を制限するパラメータである。よって、（４）式は、（２）式と同様に類似度集合から加重平均により、登録者ｐに関する１つの統合類似度を求めていることに相当する。

次に、被統合類似度の個数を制限するパラメータについて、説明する。パラメータそのものは、実施形態１で説明した、登録画像枚数に応じて定まるものである。このパラメータの実態、及び求め方自体も実施形態１と同様である。つまり、統合類似度算出部１０４は、図９で示した分布の横軸を（４）式とし、登録枚数に対応して、ｉｎｔｒａ分布とｅｘｔｒａ分布との交差する点が約一定になるように調整する。そして、統合類似度算出部１０４は、図７に相当するパラメータテーブルを、作成する。
次に、どのように識別するのかという処理、つまり、本実施形態における図２のステップＳ２０４の処理について説明する。識別部１０６は、次式を用いて識別する。

（５）式は、（４）式で表される登録者ｐに関する統合類似度の最大値を記録する人物を認識結果としている。このとき、

は、図７のパラメータテーブルに相当するものを参照し、登録者の登録画像枚数に依存した被統合類似度数を用いて、（４）式で求められる。なお、識別部１０６は、認識結果を得るために、各統合類似度の最大値から求めるだけでなく、統合類似度の閾値処理を行い、閾値処理以上の統合類似度から最大値を抽出してもよい。

以上、実施形態２について、説明した。本実施形態の効果は、登録画像枚数の変動の影響を抑制すると共に、各局所領域の類似度を多種多様な変動を有する複数の辞書画像から求めることである。つまり、変動多種な登録画像で登録枚数が多い人物の精度劣化を抑制することができる。

＜実施形態３＞
実施形態３について説明する。実施形態３の基本的な流れは、実施形態２とほぼ同様であり、異なる点を以下に示す。
実施形態２と異なる部分は、類似度集合の算出方法である。実施形態３の類似度集合算出方法について、図１２の類似度集合の算出概念図を用いて説明する。図１２は、実施形態３の類似度集合算出方法を説明するための図である。
図１２の登録者Ａの辞書画像１２０１は、登録者Ａに関する辞書画像で、図１２では、２枚辞書画像が存在すると仮定している。なお、図１２は、登録者が１名であるが、登録者Ａ以外の人物がいてもよい。この場合、登録者Ａ以外の登録画像に対しても、図１２に示したことと同様のことを行う。登録者Ａの辞書画像１２０１は、第１辞書画像１２０３と陰影有第２辞書画像１２０４とから成る。第１辞書画像１２０３は、顔向きや陰影といった変動がない画像である。一方、陰影有第２辞書画像１２０４は、斜線で示される陰影成分が存在する画像である。また、入力画像１２０２は、第１辞書画像と同じく、顔向きや陰影といった変動がない画像である。このとき、前述の図１１で説明したように、類似度算出部１０３は、入力画像１２０２と第１辞書画像１２０３との対応する局所領域の特徴量の相関値と、入力画像１２０２と陰影有第２辞書画像１２０４との対応する局所領域の特徴量の相関値と、を算出する。算出した類似度は、類似度ベクトル１２０６のようになる。この類似度ベクトル１２０６より、統合類似度算出部１０４は、局所領域別の類似度集合１２０７を求める。局所領域別の類似度は、例えば、第１辞書画像１２０３の第１局所領域の類似度

と陰影第２辞書画像の第１局所領域の類似度

との平均値から構成される。一般形は、次式となる。

ここで、

は、登録者ｐに関する第ｉ局所領域、つまり位置情報別の類似度の平均値を表している。

は、登録者ｐの第Ｋｐ番目の辞書画像の第ｉ局所領域での類似度を表している。（６）式は、同じ位置に設定される局所領域の局所領域単位の類似度を１つにまとめる処理を表している。

次に、図１２の類似度集合１２０７から統合類似度を算出する方法について説明する。実施形態３において、統合類似度算出部１０４は、統合類似度を、次式を用いて求める。

ここで、

は、図１１のある登録者に対する類似度集合１２０７の各要素である。より具体的には、図１１の類似度集合１１０６と同じものである。また、

は、各類似度に対する重みである。類似度ベクトル１２０６をソーティングして、類似度上位の所定個数のグループに含まれるものの重みが１になり、グループに含まれないものの重みが０となる。つまり、実施形態１で示した被統合局所領域の個数を制限するパラメータである。したがって、（７）式は、（２）式と同様に類似度集合から加重平均により、登録者ｐに関する１つの統合類似度を求めていることに相当する。

次に、被統合類似度数を制限するパラメータについて、説明する。パラメータそのものは、実施形態１で説明した、登録画像枚数に応じて定まるものである。そのパラメータの実態、及び求め方自体も実施形態１と同様である。つまり、統合類似度算出部１０４は、図９で示した分布の横軸を（７）式とし、登録枚数に対応して、ｉｎｔｒａ分布とｅｘｔｒａ分布との交差する点が約一定になるように調整する。そして、統合類似度算出部１０４は、図７に相当するパラメータテーブルを、作成する。
次に、どのように識別するのかという処理、つまり、図２のステップＳ２０４の処理について説明する。実施形態３における、ステップＳ２０４での識別処理は、実施形態２の（５）式と同様である。したがって、ここでは、識別処理を表す式そのものは割愛する。本実施形態での（５）式は、（７）式で表される登録者ｐに関する統合類似度の最大値を記録する人物を認識結果としている。このとき、識別部１０６は、各登録者に対する統合類似度を、図７のパラメータテーブルに相当するものを参照し、登録者の登録画像枚数に依存した被統合類似度数を用いて、（７）式で求める。なお、識別部１０６は、認識結果を得るために、各統合類似度の最大値から求めるだけでなく、統合類似度の閾値処理を行い、閾値処理以上の統合類似度から最大値を抽出してもよい。

以上、実施形態３について、説明した。本実施形態の効果は、登録画像枚数の変動の影響を抑制すると共に、各局所領域の類似度を多種多様な変動を有する複数の辞書画像から求めることである。つまり、変動多種な登録画像で登録枚数が多い人物の精度劣化を抑制することができる。

＜実施形態４＞
前述の実施形態１、実施形態２及び実施形態３は、登録画像枚数変動に対する実施形態であったが、本発明は、登録画像枚数変動に限定されない。本発明は、登録条件である登録者の人数、もしくは登録画像毎の、撮像する撮像装置の特性、顔サイズ、照明環境、顔向き、顔器官の隠蔽、表情の変化、顔検出信頼度、局所特徴信頼度、といった条件の相違にも対応できるものである。
また、本発明は、照合条件である、照合時における辞書データの撮影時からの経過時間、又は照合画像の、顔サイズ、照明環境、顔向き、顔器官の隠蔽、表情の変化、顔検出信頼度、局所特徴信頼度の登録画像に対する相違に対応できるものである。
本実施形態では、顔向き、より具体的には辞書データと入力データとの程度差を一例として実施形態を説明する。顔向きの場合、図１３に示す、顔向き用パラメータテーブルを用いる。図１３のテーブルは、辞書データと入力データそれぞれの顔向きが正面、左向き３０°、右向き３０°、上向き３０°、下向き３０°になったときの被統合類似度数を表している。なお、顔向きの角度が３０°に限定されるわけではなく、１５°であってもよい。また、顔向き方向が左右、及び上下に限定されているが、左右の顔向きと上下の顔向きが混ざった場合も対象としてよい。また、左右の定義としては、画像向かって左手方向を左向き、画像向かって右手方向を右向きとする。顔向き用パラメータテーブルは、辞書データと入力データとが同じ顔向きであった場合、被統合類似度数を上位７０個としている。なお、局所特徴類似度の最大値は、１００個とする。また、辞書データの顔向きが正面で、入力データの顔向きが左向き３０°といったように、顔向きの程度差が３０°程度の場合、被統合類似度数を上位６０個とする。また、辞書データの顔向きが左向き３０°で、入力データの顔向きが右向き３０°といったように、顔向きの程度差が６０°程度の場合、被統合類似度数を上位５０個とする。
以上のように、本実施形態の統合類似度算出部１０４は、辞書データと入力データとの顔向き程度差に応じて、被統合類似度数を動的に定める。このようにする理由は、顔向きに程度差がない場合と、顔向きに程度差がある場合と、において図９で示したような統合類似度の分布の相違が存在する。但し、被統合類似度数が同一である、という条件の元での相違である。つまり、同一人物であっても、顔向きの程度差により、難しさは変化する。したがって、図９で示した分布を顔向きの程度差がある場合でも、難しさを約一定にするため、顔向きの程度差に応じて被統合類似度数を動的に定める仕組みが必要となる。次に、顔向き用パラメータテーブル１３０１の求め方について説明する。

顔向き用パラメータテーブル１３０１の求め方は、実施形態１のものと大きく変わらない。本実施形態においても、統合類似度算出部１０４は、顔向き用パラメータテーブル１３０１を、図９に相当する分布を作成し、ｉｎｔｒａ分布とｅｘｔｒａ分布との交差する点が顔向き程度差に対して、約一定になるように調整して、求める。図１４は、顔向きの程度によるｉｎｔｒａ分布とｅｘｔｒａ分布との変化を表している。図１４の統合類似度の分布１４０１は、辞書データと入力データの顔向きの程度差が、０°、３０°及び６０°時の統合類似度の分布の変化を表している。なお、顔向きの程度差は、図１４のみに限定されるものでなく、顔向きの程度差が１５°、もしくは７５°の場合も存在する。図１３のパラメータを求めるために、統合類似度算出部１０４は、図１４のｉｎｔｒａ分布とｅｘｔｒａ分布との交差する点を約一定にする。約一定にする方法は、実施形態１に記載されている方法である。次に、統合類似度を求める方法について説明する。
統合類似度算出部１０４は、統合類似度を、実施形態１と同じく、（２）式と、図１３のパラメータテーブルを用いて算出する。実施形態１と異なる点は、顔向きの程度差を測るため、入力データ及び辞書データ共に顔向きといった属性判定する方法が必要となる。その顔向きを類推する手法は、公知の技術でよい。例えば、"Ｈｅａｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ａ Ｓｕｒｖｅｙ"， ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ， ｐｐ．６０７−６２６， ＶＯＬ． ３１， ＮＯ． ４， ＡＰＲＩＬ ２００９に記載されている技術を流用すればよい。辞書データの顔向きは、データ自身を取得する際に、顔向きを所定の技術により抽出する。一方、入力データの顔向きは、図２に示したフローチャートのステップＳ２０３を実行する前に求められる。なお、実際の識別処理は、実施形態１の識別処理ステップＳ２０４と同様であるので、説明を割愛する。
以上で、顔向きを一例として、実施形態の詳細を説明した。本実施形態では、顔向きに限定されるものではない。顔向き以外の登録条件及び照合条件に関する事項について、その調整方法を簡単に説明する。

次に、顔サイズ条件について説明する。この条件の場合、統合類似度算出部１０４は、辞書データと入力データとの顔検出時に取得される顔サイズの差により、被統合類似度数を動的に定める。
次に、照明環境条件について説明する。この条件の場合、統合類似度算出部１０４は、辞書データと入力データとの照明環境の程度の差により、被統合類似度数を動的に定める。
次に、顔器官の隠蔽条件について説明する。この条件の場合、統合類似度算出部１０４は、辞書データと入力データとの目等々の顔器官が髪の毛等での隠蔽度合いにより、被統合類似度数を動的に定める。
次に、表情の変化条件について説明する。この条件の場合、統合類似度算出部１０４は、辞書データと入力データとの表情の差に応じて、被統合類似度数を動的に定める。
次に、顔検出信頼度条件について説明する。この条件の場合、統合類似度算出部１０４は、辞書データと入力データとの顔検出処理の顔らしさを測る度合いの差に応じて、被統合類似度数を動的に定める。
次に、局所特徴信頼度条件について説明する。この条件の場合、統合類似度算出部１０４は、辞書データと入力データとの局所特徴の特徴信頼度の差に応じて、被統合類似度数を動的に定める。
次に、撮像装置の特性条件について説明する。この条件の場合、統合類似度算出部１０４は、辞書データと入力データとのそれぞれの撮像装置の特性差に応じて、被統合類似度数を動的に定める。ここで、撮像装置の特性とは、ホワイトバランス、又はＩＳＯ感度等である。
次に、辞書データの撮影時からの経過時間条件について説明する。この条件の場合、統合類似度算出部１０４は、照合時点の辞書データの経時時間に応じて、被統合類似度数を動的に定める。
実施形態４の効果は、登録画像の登録条件又は、照合条件の相違による顔認識精度の劣化を抑制することである。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、前述した各実施形態によれば、実装上軽量で、かつ、登録条件、又は照合条件による認識精度に対する影響を抑制することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０２ 領域設定部、１０３ 類似度算出部、１０４ 統合類似度算出部、１０６ 識別部

Claims (5)

1. 入力データの局所特徴と、前記入力データの局所特徴に対応する複数の辞書データの局所特徴と、から局所特徴単位の類似度集合を算出する類似度集合算出手段と、
   前記類似度集合算出手段で算出された局所特徴単位の類似度集合を登録条件、又は照合条件に応じて複数、統合して統合類似度を算出する統合類似度算出手段と、
   前記統合類似度算出手段で算出された統合類似度に基づいて、前記入力データに対応する辞書データを識別する識別手段と、
   を有するパターン認識装置。
2. 前記統合類似度算出手段は、前記類似度集合算出手段で算出された局所特徴単位の類似度集合の、登録条件、又は照合条件によって重み付けを行った位置情報別の加重平均値から前記統合類似度を算出する請求項１記載のパターン認識装置。
3. 前記入力データ、及び前記辞書データは、人物画像もしくは顔画像である請求項１又は２記載のパターン認識装置。
4. パターン認識装置が実行するパターン認識方法であって、
   入力データの局所特徴と、前記入力データの局所特徴に対応する複数の辞書データの局所特徴と、から局所特徴単位の類似度集合を算出する類似度集合算出ステップと、
   前記類似度集合算出ステップで算出された局所特徴単位の類似度集合を登録条件、又は照合条件に応じて複数、統合して統合類似度を算出する統合類似度算出ステップと、
   前記統合類似度算出ステップで算出された統合類似度に基づいて、前記入力データに対応する辞書データを識別する識別ステップと、
   を有するパターン認識方法。
5. コンピュータを、
   入力データの局所特徴と、前記入力データの局所特徴に対応する複数の辞書データの局所特徴と、から局所特徴単位の類似度集合を算出する類似度集合算出手段と、
   前記類似度集合算出手段で算出された局所特徴単位の類似度集合を登録条件、又は照合条件に応じて複数、統合して統合類似度を算出する統合類似度算出手段と、
   前記統合類似度算出手段で算出された統合類似度に基づいて、前記入力データに対応する辞書データを識別する識別手段と、
   して機能させるプログラム。

Images