JP2015106197A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 画像の撮影条件の変動を鑑みたオブジェクト識別技術を提供すること。
【解決手段】 入力画像中のオブジェクトの複数の局所特徴量と、予め登録されている登録画像中のオブジェクトの複数の局所特徴量と、で対応する局所特徴量同士の類似度を求める。求めた類似度のうち、入力画像中のオブジェクトに対する撮像状況及び登録画像中のオブジェクトに対する撮像状況に応じて１つ以上の類似度を選択し、該選択された１つ以上の類似度から１つの類似度を導出する。導出した１つの類似度に基づいて、入力画像中のオブジェクトが登録画像中のオブジェクトと同一のカテゴリであるかを判断する。
【選択図】 図１

Description

本発明は、画像中のオブジェクトを識別するための技術に関するものである。

入力された画像データを、予め登録済みの画像データと比較することにより、入力された画像データに表現されるオブジェクトが、予め登録済みのどのカテゴリに属するかを識別する技術が多く提案されている。このようなオブジェクト識別の具体例として、人物認証がある。これは、顔や指紋など個人に固有の特徴を用いて人物の識別を行うものであり、それぞれ顔認証、指紋認証などと呼ばれる。人物認証におけるカテゴリとは、個人を特定できる名前やIDである。人物認証を含むオブジェクト識別においては、識別を運用する前に予め識別したいオブジェクトの画像を登録画像として名前やIDと併せて登録しておく必要がある。この登録を経たのち、識別を実際に運用できることになる。識別すべきオブジェクトの画像（以下、入力画像）が入力されると、予め登録されている登録画像それぞれと比較し、合致する登録画像がある場合には、その登録画像に対応する登録済みオブジェクトを識別結果として出力する。合致する登録画像がない場合には、該当オブジェクトなしとして出力する。以下、本明細書では、オブジェクトのカテゴリを識別することとは、オブジェクトの個体の違い（例えば、人物の違い）を判断することを意味する。

顔画像から人物を識別する技術的な方法として、顔画像そのものの画素を特徴量とし、それら同士を直接比較する方法が考えられる。ただしこの方法では、顔の向き・表情・照明条件の画素値の変動が、人物の違いによる変動よりも強く、人物の識別が困難である。そこで、顔画像から個人の特徴を表す局所的な領域だけを複数取り出し、対応する局所領域を比較する方法が多数提案されている。しかしこの方法でも上で述べたような変動をすべて取り除くことは難しく、識別に有用な局所領域とそうでない局所領域が生じてしまう。そこで、識別に有用な局所領域だけを選ぶ方法として、画像間で対応する局所領域を比較した結果の類似度が高い順に所定個数を選ぶなどの方法が提案されている（例えば特許文献１）。

特許第４８０３２１４号 特開２００７−１２８２６２号公報

Active Shape Models - Their Training and Application: T.F. Cootes, C.J. Taylor, D. Cooper, and J. Graham: 1998 Face Recognition with Local Binary Patterns: T. Ahonen and A. Hadid, M. Pietikainen: 1994 Support vector machine based multi-view face detection and recognition: Y. Li, S. Gong, J. Sherrah, and H. Liddell: 2004 Histograms of Oriented Gradients for Human Detection: Navneet Dalal and Bill Triggs: 2005

特許文献１に開示されている技術は、複数の局所領域の類似度の中から、類似度が高い順に所定の個数を選ぶものである。これは、画像の中で変動がない、つまり類似度が高い局所領域だけを用いる考えに基づくものである。しかし画像の間でどの程度、撮影条件の変動があるかによって、用いるべき最適な局所領域の個数は変動してしまう。撮影条件が近い場合には変動が少ないためより多くの局所領域を使う方がよく、撮影条件が異なる場合には逆に少ない個数の局所領域を使う方が望ましい。

本発明はこのような問題に鑑みてなされたものであり、画像の撮影条件の変動を鑑みたオブジェクト識別技術を提供する。

本発明の一様態は、入力画像中のオブジェクトを識別する画像処理装置であって、前記入力画像中のオブジェクトの複数の局所特徴量と、予め登録されている登録画像中のオブジェクトの複数の局所特徴量と、で対応する局所特徴量同士の類似度を求める計算手段と、前記計算手段が求めた類似度のうち、前記入力画像中のオブジェクトに対する撮像状況及び前記登録画像中のオブジェクトに対する撮像状況に応じて１つ以上の類似度を選択し、該選択された１つ以上の類似度から１つの類似度を導出する導出手段と、前記導出手段が導出した前記１つの類似度に基づいて、前記入力画像中のオブジェクトが前記登録画像中のオブジェクトと同一のカテゴリであるかを判断する判断手段とを備えることを特徴とする。

本発明の構成により、画像の撮影条件の変動を鑑みたオブジェクト識別技術を提供することができる。

オブジェクト識別装置１０００の機能構成例を示すブロック図。 オブジェクト識別装置１０００が行う処理のフローチャート。 ステップＳ１１０４における処理のフローチャート。 画像識別部１２００の機能構成例を示すブロック図。 ステップＳ１２０３における処理のフローチャート。 統合方法制御部１２５０の機能構成例を示すブロック図。 統合方法制御部１２５０の機能構成例を示すブロック図。 顔向きのグループ化の模式図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、オブジェクトとして人間の顔を、オブジェクトのカテゴリとして人物の違いを、入力画像から識別する顔認証を例に説明する。また本実施形態では、オブジェクトの撮像状況の差分として奥行き方向の顔向きの違いを例として説明する。先ず、本実施形態に係る画像処理装置として機能するオブジェクト識別装置１０００の機能構成例について、図１のブロック図を用いて説明する。

画像入力部１１００はオブジェクト識別装置１０００に画像を入力するためのものであり、光学レンズと映像センサを備えた撮像装置でも構わないし、画像が保持され読み出し可能な半導体メモリでもよい。また、画像入力部１１００は、１枚の画像を本装置に入力するためのものであっても良いし、連続する各フレームの画像を順次本装置に入力するためのものであっても良い。もちろん、ユーザ操作などによって決まる静止画像、動画像の何れか一方を本装置に入力するものであっても良い。

画像識別部１２００は、画像入力部１１００が入力した画像中のオブジェクトを識別するための処理を行うものである。画像識別部１２００は、専用回路（ASIC）、プロセッサ（リコンフィギュラブルプロセッサ、DSP、CPU等）のハードウェアで構成されても良いし、単一の専用回路及び汎用回路（PC用CPU）内部において実行されるプログラムで実装されても良い。

登録画像記録部１３００には、１以上のオブジェクトを含む画像が複数枚、登録画像として格納されている。これらの登録画像は、例えば、画像入力部１１００によって本装置に入力された画像である。登録画像記録部１３００は、例えば、繰り返し書き換え可能な半導体メモリである。なお、登録画像記録部１３００の記憶容量は、数十枚若しくはそれ以上の登録画像を格納するために十分な容量であることが好ましいが、画像識別部１２００が現在使用する分だけの登録画像を格納するために十分な容量であっても良い。この場合、登録画像記録部１３００には、十分な枚数の登録画像を保持している他のメモリ装置から、現在画像識別部１２００が使用する分だけを適宜ダウンロードすることになる。

外部出力部１４００は、画像識別部１２００による識別結果、すなわち本実施形態の場合には、画像中のオブジェクトが属するカテゴリを示す情報を適切な形で外部に出力する。外部出力部１４００は典型的には、CRTやTFT液晶などのモニタであり、画像入力部１１００から取得した画像を表示したり、この画像上に、画像識別部１２００による識別結果を重畳表示したりする。

また、外部出力部１４００は、画像入力部１１００から取得した画像や、画像識別部１２００による識別結果などの様々な情報を外部の機器に対して出力するようにしても構わないし、紙などの記録媒体上にこのような様々な情報を印刷出力しても構わない。なお、出力形態は上に挙げた限りではなく、さらに複数の機能部を同時に行使してもよい。

次に、人の顔がオブジェクトとして写っている入力画像をオブジェクト識別装置１０００に入力した場合に、オブジェクト識別装置１０００が行うオブジェクト識別処理について、同処理のフローチャートを示す図２を用いて説明する。

ステップＳ１１０１では、画像入力部１１００が１枚の画像を入力画像として本装置に入力する。この入力画像は動画像を構成する各フレームであっても良いし、１枚の静止画像であっても良い。

ステップＳ１１０２では、画像識別部１２００は、画像入力部１１００が本装置に入力した入力画像から、オブジェクトが写っている領域内の画像、即ち、ここでは人の顔が写っている領域内の画像を、顔画像として抽出する。

ここで、入力画像中に人の顔が写っていない場合や、人の顔の認識が失敗した場合など、入力画像から顔画像が抽出できなかった場合には、処理はステップＳ１１０３を介してステップＳ１１０１に戻り、次の入力画像を取得する。一方、入力画像から顔画像を抽出することができた場合には、処理はステップＳ１１０３を介してステップＳ１１０４に進む。

ステップＳ１１０４では、画像識別部１２００は、登録画像記録部１３００に格納されているそれぞれの登録画像と、顔画像と、を用いて、該顔画像内に写っている顔のカテゴリを識別する。

ステップＳ１１０５では、画像識別部１２００は、入力画像から抽出された全ての顔画像についてステップＳ１１０４における処理を行ったか否かを判断する。この判断の結果、入力画像から抽出された全ての顔画像についてステップＳ１１０４における処理を行った場合には、処理はステップＳ１１０１に戻る。一方、入力画像から抽出された顔画像のうちまだステップＳ１１０４における処理の対象となっていない顔画像（未処理の顔画像）が残っている場合には、処理はステップＳ１１０４に戻り、未処理の顔画像についてステップＳ１１０４における処理を行う。

なお、これら一連の処理はリアルタイムで実行され、ステップＳ１１０４における識別処理の結果（カテゴリ判定結果）を、外部出力部１４００にリアルタイムで出力することもできる。また、ステップＳ１１０４における処理を行う度に外部出力部１４００は、ステップＳ１１０４における識別処理の結果を出力するようにしても良いし、画像ごとに、該画像から識別された１以上のオブジェクトのそれぞれの識別結果を出力するようにしても良い。

また、図２では一連の処理の終了については触れていないが、例えばユーザが不図示の操作部を操作して終了指示を入力し、本装置の制御部がこの終了指示を検知して図２の処理を終了させるようにしても構わない。

次に、上記のステップＳ１１０４における処理について、図３のフローチャートを用いて説明する。ステップＳ１２０１では、画像識別部１２００は、ステップＳ１１０２で抽出された顔画像を入力する。ステップＳ１１０２で複数個の顔画像が抽出された場合には、そのうち未選択の顔画像が１つ選択されて入力される。

ステップＳ１２０２では、画像識別部１２００は、登録画像記録部１３００から未選択の登録画像を１つ選択して取得する。

ステップＳ１２０３では、画像識別部１２００は、ステップＳ１２０１で取得した顔画像中の顔と、ステップＳ１２０２で取得した登録画像中の顔と、の類似度（それぞれの顔が同一の人物である確からしさ（度合い）を示す）を求める。

ステップＳ１２０４では、画像識別部１２００は、ステップＳ１２０２でまだ選択されていない登録画像が残っているか否かを判断する。この判断の結果、残っている場合には処理はステップＳ１２０２に戻り、残っていない場合には、処理はステップＳ１２０５に進む。

ステップＳ１２０５では、画像識別部１２００は、登録画像記録部１３００に格納されているそれぞれの登録画像について求めた類似度のうち最も大きい類似度を特定する。そして画像識別部１２００は、この最も大きい類似度と規定の閾値との大小比較を行う。大小比較の結果、最も大きい類似度が閾値以上であれば、該最も大きい類似度を求めた登録画像に関連づけられている「該登録画像が属するカテゴリ」を、ステップＳ１２０１で入力した顔画像中の顔が属するカテゴリと判断する。なお、最も大きい類似度が閾値未満であれば、顔画像中の顔が属するカテゴリはないと判断する。このような判断結果は外部出力部１４００に通知される。

この「規定の閾値」は、予め目的に応じて調整しておくとよい。閾値が低いと、登録されている人物を認識できる可能性が高まるが、登録されていない人物も登録されている人物のいずれかと判定する可能性も高まる。逆に閾値を高めると、登録されていない人物を誤認識する可能性は減るが、登録されている人物を認識できない可能性が高まる。

次に、上記のステップＳ１２０３における処理について、図５のフローチャートを用いて説明する。ここで、画像識別部１２００の機能構成例を図４に示す。図４に示した各機能部の機能については、図５のフローチャートに沿った説明の中で触れることにする。

局所特徴抽出部１２１０はステップＳ１１０２で、画像入力部１１００から入力した入力画像から顔画像を抽出し、ステップＳ１２０１で該顔画像を入力し、ステップＳ１３０２では、該顔画像から複数の局所特徴量を抽出する。また、局所特徴抽出部１２１０は、ステップＳ１２０２で登録画像（選択登録画像）を取得し、ステップＳ１３０２では、該選択登録画像から同様にして顔画像を抽出し、該顔画像から複数の局所特徴量を抽出する。

ステップＳ１３０４では、局所類似度算出部１２２０は、入力画像（中の顔画像）から抽出した複数の局所特徴量と、選択登録画像（中の顔画像）から抽出した複数の局所特徴量と、で対応する局所特徴量同士の類似度（局所類似度）を求める。

ステップＳ１３０５では、撮影条件検出部１２４０は、入力画像から抽出した顔画像中の顔に対する撮像状況と、選択登録画像から抽出した顔画像中の顔に対する撮像状況と、を求める。

ステップＳ１３０６では、統合方法制御部１２５０は、入力画像から抽出した顔画像中の顔に対する撮像状況と、選択登録画像から抽出した顔画像中の顔に対する撮像状況と、の間の差分を、撮影条件変動として求める。

ステップＳ１３０７では、統合方法制御部１２５０は、ステップＳ１３０４で求めた局所類似度のうち、局所類似度の大きい順に上位から、撮影条件変動に応じて決まる個数分の局所特徴量を選択する。

ステップＳ１３０８では、類似度統合部１２３０は、ステップＳ１３０７で選択した類似度から１つの類似度を求める。

次に、上記のステップＳ１３０２における処理、及び該処理を実行する局所特徴抽出部１２１０について説明する。局所特徴抽出部１２１０は、顔画像から、個人の識別に必要な複数の局所特徴量を抽出するのであるが、先ずはじめに、顔画像に、局所特徴量を抽出するための複数の局所領域を設定する。局所領域の大きさ、形、場所は任意であるが、ひとつの例として以下のようにするとよい。個人の特徴をよく表す目や口などの器官に重なるように、器官とほぼ同じ大きさの矩形領域を設定する。矩形領域を設定する座標は全ての顔画像で固定・共通の座標を用いても良いが、顔の向きや個人差による顔の形で、かならず矩形に器官が収まるとはいえない。そこで非特許文献１等に記載の顔器官検出を用いて、目・鼻・口など、顔器官の位置を検出する。そして検出された器官位置を中心に局所領域を設定するとよい。加えて顔器官以外の場所にも局所領域を設定したい場合には、以下のようにするとよい。二つの顔器官の位置を結ぶ線分を求め、線分を予め定められた比で分割する位置を中心に局所領域を設定するとよい。この方法により、個人差や年齢による顔器官の相対的な位置関係によらず、適切な場所に局所領域を設定できる。

続いて、局所特徴抽出部１２１０は、設定された局所領域それぞれから局所特徴量を抽出する。局所特徴量として、顔画像における局所領域内の輝度値をそのまま抽出しても良いが、これでは、照明条件の違いなどの影響を受けやすく、識別に望ましくない。そこでLBP変換（非特許文献２）のような画像変換を施すことで、全体的な照明条件の変動を吸収することが出来る。LBP変換についての詳細は文献を参照されたいが、概要を説明する。LBP変換では、画像の画素値を、その画素と隣接する８画素いずれか１つ以上との輝度の大小を比較する。各比較結果を所定の順番で上位ビット深さ方向に上位から下位に割り当てることで、最大で８ビットに量子化された画素値を変換後の画素値とする。LBP変換の概要は以上である。ここまでの処理で、局所領域内の輝度画像をLBP変換した画素値を順に取り出したベクトルを、局所特徴量とする。

次に、上記のステップＳ１３０４における処理、及び該処理を実行する局所類似度算出部１２２０について説明する。ステップＳ１３０４では上記の通り、入力画像（顔画像）から抽出した複数の局所特徴量と、選択登録画像（顔画像）から抽出した複数の局所特徴量と、で対応する局所特徴量同士の類似度（局所類似度）を求める。局所類似度を求める方法には様々な方法が考え得り、類似度が大きいほど、局所特徴量が似ていることを表すような方法であれば良い。例えば、局所特徴量のベクトル同士が成す角度のコサイン値を局所類似度とする方法や、局所特徴量のベクトル間のユークリッド距離の逆数を局所類似度とする方法がある。

次に、上記のステップＳ１３０５における処理、及び該処理を実行する撮影条件検出部１２４０について説明する。ステップＳ１３０５では上記の通り、入力画像から抽出した顔画像中の顔に対する撮像状況と、選択登録画像から抽出した顔画像中の顔に対する撮像状況と、を求めるのであるが、以下では「撮影条件」として「顔の奥行き方向の回転角度（パン角）」を用いる。また、以下の説明ではこの「顔の奥行き方向の回転角度」を単に顔角度と呼称する。

画像から顔角度を検出する方法には様々な方法が考え得るが、例えば非特許文献３などに記載されている方法を用いるとよい。方法の詳細は文献に譲るが、概要はこうである。顔画像から、個人差や照明条件を除いて顔向きを判定し得る情報を取り出すために、縦と横のSobelフィルタでエッジを検出し、エッジの強度画像を特徴量とする。この特徴量を予め学習されたSupport Vector Machineに入力して、顔角度に回帰させる方法である。なおここでは顔角度として数値が得られる方法で説明したが、もっと粗く、右・左・正面などおおまかなクラスを出力する方法でも構わない。

次に、上記のステップＳ１３０６における処理、及び該処理を実行する統合方法制御部１２５０について説明する。ここで、統合方法制御部１２５０の機能構成例を図６に示す。ステップＳ１３０６における処理は変動検出部１２５１が行う。

変動検出部１２５１は、入力画像から抽出した顔画像中の顔に対する撮像状況と、選択登録画像から抽出した顔画像中の顔に対する撮像状況と、の間の差分を、撮影条件変動として求める。上記の通りここでは撮影条件として顔角度を用いるので、変動検出部１２５１は、顔角度の差を求めることになる。なお、「顔角度の差」とは、入力画像から抽出した顔画像中の顔の顔角度と、選択登録画像から抽出した顔画像中の顔の顔角度と、の差の絶対値である。

次に、上記のステップＳ１３０７における処理、及び該処理を実行する統合方法制御部１２５０について説明する。ステップＳ１３０７における処理はグループ内局所類似度選択部１２５２が行う。

グループ内局所類似度選択部１２５２は、局所類似度算出部１２２０が求めたそれぞれの局所類似度のうち、統合対象となる１つ以上の局所類似度を選択する。ただし、局所類似度算出部１２２０が求めたそれぞれの局所類似度のうちどの局所類似度を統合対象とするのかを直接的に決めるのではなく、局所類似度が大きい順にいくらかの割合の局所類似度を用いるかを顔角度の差によって定めることで、間接的に定める。

具体的には、局所類似度算出部１２２０が求めた局所類似度のうち、局所類似度の大きい順に上位から、顔角度の差に応じて決まる個数（顔角度の差に応じて決まる割合×局所類似度算出部１２２０が求めた局所類似度の個数）分を、統合対象として選択する。

局所類似度の相対的な順位から局所類似度の使用・不使用（統合対象・非統合対象）を間接的に定めるメリットは以下のとおりである。それは局所類似度の大きさそのものが、その局所領域が顔画像の上で変動を受けて識別に不向きになっているかを検出する指標になるからである。局所領域ひとつひとつについて、別途に信頼度を検出する方法（特許文献２など）もあるが、本実施形態のように局所特徴量の照合結果を直接、その局所領域の信頼度として扱う方法のほうが頑健であるといえる。

本実施形態では、顔角度の差が小さい、つまり顔画像の上で見た目の変化が小さい場合には、局所類似度算出部１２２０が求めた局所類似度のうち統合対象となる局所類似度の割合を大きくする。これは、顔向きの違いによる変動を受ける局所領域が全体の中では少ないと考えられることに基づく。逆に、顔角度の差が大きい、つまり顔画像の上で見た目の変化が大きい場合には、局所類似度算出部１２２０が求めた局所類似度のうち統合対象となる局所類似度の割合を小さくする。これは、顔向きの違いによる変動を受ける局所領域が全体の中で多くなると考えられるためである。具体的な顔向きの違いと上記割合との関係は、局所特徴量の抽出方法、数、大きさ、位置などに影響されるため一意には定まらないが、本装置の運用前に予め調整しておくことが望ましい。

次に、上記のステップＳ１３０８における処理、及び該処理を実行する類似度統合部１２３０について説明する。類似度統合部１２３０は、ステップＳ１３０７で選択した類似度から１つの類似度を導出するのであるが、該１つの類似度を導出する方法には様々な方法が考え得る。例えば、ステップＳ１３０７で選択した類似度の平均値をこの「１つの類似度」とする。別の方法としては、Support Vector Machineを用いた方法が考え得る。同一人物の顔画像間で得られた局所類似度群と、別人物間の顔画像間で得られた局所類似度群と、を識別するよう多数の学習データで予め学習しておく。そのSupport Vector Machineに局所類似度群を入力した際の出力値を、上記の「１つの類似度」として扱うことが出来る。

＜変形例＞
第１の実施形態では、登録画像記録部１３００には登録画像そのものが登録されているものとして説明した。しかし、登録画像の代わりに、該登録画像中の顔画像内の顔に対する撮像状況（上記の場合は顔角度）や、該顔画像内の複数の局所特徴量を、登録画像記録部１３００に登録するようにしても構わない。これにより、図５のフローチャートにおいて、登録画像中の顔画像内の顔に対する撮像状況や該顔画像内の複数の局所特徴量を求める処理を省くことができる。

［第２の実施形態］
第１の実施形態では、顔角度の差の絶対値のみを撮影条件変動としたが、第１の実施形態では、同じ顔角度の差でも、２つの顔角度そのものがどのようであるかは考慮していない。本実施形態では、顔角度の差と、ふたつの各角度を考慮して、最終的な１つの類似度を求める。

本実施形態は、ステップＳ１３０７における処理及び該処理を実行する統合方法制御部１２５０の機能構成が第１の実施形態とは異なり、それ以外については第１の実施形態と同様である。以下では、本実施形態に係るステップＳ１３０７の処理、及び該処理を実行する統合方法制御部１２５０の機能構成例について説明する。本実施形態に係る統合方法制御部１２５０の機能構成例を図７に示す。図７に示した構成は、図６に示した構成に、局所類似度グループ構成部１２５３を加えた点にある。

局所類似度グループ構成部１２５３は、登録画像と入力画像の顔角度に応じて、局所類似度をグループに分割する。本実施形態では、局所類似度を得た局所領域の位置に基づいてグループに分ける例で説明する。顔向きのグループ化の模式図を図８に示す。図の上段と中段の例では、画角手前の局所類似度グループ１と、画角奥の局所類似度グループ２に分割する。図の下段の例では顔向きが互い違いであるため、顔中央部を局所類似度グループ１に、顔側面を局所類似度グループ２に分割する。どの顔角度でどの局所類似度がどのグループに所属するかは局所特徴量の抽出方法、数、大きさ、位置などに影響されるため一意には定まらないが、識別装置の運用前に予め調整しておくことが望ましい。

グループ内局所類似度選択部１２５２は、各局所類似度グループについて、該局所類似度グループに分類された局所類似度のうち統合対象に用いる局所類似度の割合を決定する。典型的には、画角手前の局所類似度グループ１は顔画像の見た目の変化が小さいため、割合を高めに設定するとよい。また逆に局所類似度グループ２は画角の奥で顔画像の見た目の変化が大きいため、割合を低めに設定するとよい。各グループでの最適な割合はやはり局所特徴量の抽出方法、数、大きさ、位置などに影響されるため一意には定まらないため、識別装置の運用前に予め調整しておくことが望ましい。

このように、本実施形態によれば、角度差だけでなく２つの顔がどのような向きをしているかの情報を用いる。この情報を用いて、顔向きの違いによって画像の見た目の変化が大きいと考えられる部分と、変化が小さいと考えられる部分が推定できるため、局所領域をその部分に従って明示的にグループに分類する。明示的に分類したグループ内でそれぞれ独立して統合の割合を調整できるため、より顔向きの違いに対して頑健に個人識別できる効果が期待できる。

次に、本実施形態に係る類似度統合部１２３０及び類似度統合部１２３０が行う処理（ステップＳ１３０８）について説明する。上記の通り、本実施形態ではグループごとに割合が決まるので、グループごとに、第１の実施形態と同様にして該グループ内で統合対象となる局所類似度を決定する。そしてグループごとに決定した統合対象の局所類似度から、最終的な１の類似度similarityを求める。

例えば、局所類似度グループ１における統合対象の局所類似度群Ｇ１と、局所類似度グループ２における統合対象の局所類似度群Ｇ２と、から以下の式（１）を計算することで、これらの局所類似度群の平均を最終的な１つの類似度として求める方法がある。しかしG1とG2で局所類似度の数N1とN2が大きく異なる場合、数が多い局所類似度グループの局所類似度に最終結果が大きく依存するため、局所領域数の影響を正規化した式（２）を式（１）の代わりに用いても良い。

similarity＝Σ_g∈G1∪G2)g/(N1+N2) （１）
similarity＝(Σ_g∈G1g/N1+Σ__g∈G2g/N2)／2 （２）
［第３の実施形態］
本実施形態では、撮影条件変動として、顔を撮影した照明条件の違いを例にとる。その中でも特に、光源の方向を照明条件の違いとして説明する。その場合に行う処理の内容を以下説明する。なお、以下では、第１，２の実施形態と本実施形態との相違点について重点的に説明する。然るに、以下で特に触れない限りは、第１，２の実施形態と同様であるものとする。

先ず、局所特徴抽出部１２１０が行う処理（ステップＳ１３０２における処理）について説明する。第１の実施形態では、局所特徴量としてLBP変換した画像を用いると述べたが、本実施形態ではそれに加えて別の特徴量も抽出して局所特徴量とする。第１の実施形態で述べたLBP変換では隣り合う画素の大小関係を用いることで、全体的な輝度値の変動、つまり全体的に明るい顔と全体的に暗い顔の間に生まれる変動を吸収することが出来る。しかし特定の方向から照明が当たる場合、光源の方向が異なると顔の陰影に変動が生まれる。これは局所的な輝度値の変動であり、LBP変換はその影響を受けるため、同じ人物でも変換されたLBP画像は異なるものとなってしまい、個人の識別に適さない。そこでHOG変換（非特許文献４）のような方法を用いるとよい。HOG変換についての詳細は文献に譲るが、概要は以下である。

まず画像を細かい矩形領域に分割する。矩形領域それぞれについて、該矩形領域内に含まれる各方向の勾配量を集計したヒストグラムを作成する。ヒストグラムの面積を正規化したのち、各矩形領域のヒストグラムと連結したベクトルを特徴量とするものである。HOG変換では画像がヒストグラムとして集計されてしまうため、位置や形状の情報は残らず個人差を表現する情報は減ってしまう。ただし隣り合う画素以外の関係も用いることや勾配量を正規化することなどから、局所的な照明の変動に対して頑健な特徴量であるといえる。その一方でLBP特徴量は前述したように局所的な照明の変動に影響されやすいという性質はあるが、あくまで画像のままであるため個人差を表す目や口など顔器官の形状や位置は残っており、個人差を表現する情報を多く含む特徴量であるといえる。

LBP特徴量を抽出する局所領域とHOG特徴量を抽出する局所領域は同じものを用いてひとつの局所領域から２種類の特徴量を抽出するようにしても良いが、それぞれ別の局所領域から別の特徴量を抽出するようにしてもよい。

本実施形態でもステップＳ１３０４において対応する局所特徴量同士の類似度を局所類似度として算出するが、その際には当然ながら同じ種類の局所特徴量同士で類似度を求めることになる。

次に、撮影条件検出部１２４０が行う処理（ステップＳ１３０５における処理）について説明する。ここでは入力画像（登録画像）から、撮影条件を検出する。特に本実施形態では顔を照らす光源の方向の角度について検出する。これ以降、本実施形態では光源の方向の角度を単に照明角度と呼ぶこととする。

顔画像から照明角度を検出する方法は任意だが、例えば以下のような方法で行うことが出来る。まず初めに顔画像を低解像度に縮小する。目や口の詳細が消えて個人がわからなくなるが、顔の陰影や側光はかろうじて確認できる程度まで縮小することが望ましい。続いて、縮小された顔画像の各画素値をベクトルとみなし、ベクトルを予め主成分分析で求めておいた部分空間に射影する。この射影されたベクトルが顔の照明の状態を表す属性情報である。なお部分空間は、光が様々な方向から当たっている顔画像を予め多数収集しておき、それらを学習データとして主成分分析を行って構成する。典型的には、固有値が特に大きい数個に対応する固有ベクトル数個が、照明角度を表現できる部分空間である。

次に、統合方法制御部１２５０（変動検出部１２５１）が行う処理（ステップＳ１３０６における処理）について説明する。変動検出部１２５１は、入力画像から抽出した顔画像中の顔に対する撮像状況と、選択登録画像から抽出した顔画像中の顔に対する撮像状況と、の間の差分を、撮影条件変動として求める。上記の通りここでは撮影条件として照明角度を用いるので、変動検出部１２５１は、照明角度の差を求めることになる。なお、「照明角度の差」とは、例えば、入力画像から抽出した顔画像中の照明角度のベクトルと、選択登録画像から抽出した顔画像中の照明角度のベクトルと、の間の距離、またはベクトル同士がなす角度のコサインである。

次に、統合方法制御部１２５０（局所類似度グループ構成部１２５３及びグループ内局所類似度選択部１２５２）が行う処理（ステップＳ１３０７における処理）について説明する。

局所類似度グループ構成部１２５３は、局所類似度をグループに分割する。本実施形態では、局所特徴量の種類の違いによって局所領域をグループにわける例で説明する。LBP特徴量を照合した局所類似度グループ１と、HOG特徴量を照合した局所類似度グループ２に分割する。

続いてグループ内局所類似度選択部１２５２では、各局所類似度グループについて、統合に用いる局所類似度の割合を決定する。上記では、LBP特徴量は個人差を表現する情報を多く含むが局所的な照明の変動を受けやすいと述べた。またHOG特徴量については局所的な照明の変動に頑健であるがヒストグラム化されるため個人差を表現する情報は減っていると述べた。本実施形態では、照明角度の差が小さい、つまり顔画像の上で陰影の付き方が似ており局所的な照明の変動が小さい場合には、統合対象に用いるLBP特徴量の類似度の割合を大きくしてHOG特徴量の類似度の割合を小さくする。これは、LBP特徴量が局所的な照明の変動を受ける可能性が少ないため、より個人差を表現する特徴量で識別するねらいがある。反対に照明角度の差が大きい、つまり顔画像の上で陰影の付き方が異なり局所的な照明の変動が大きい場合には、統合対象に用いるLBP特徴量の類似度の割合を小さくしてHOG特徴量の類似度の割合を大きくする。これは、照明の変動を受けて個人識別が難しくなってしまった特徴量を多く用いるよりも、個人差を表現する情報は少ないが照明の変動に頑健な特徴量で識別することで、識別精度を維持するねらいがある。具体的な照明角度の違いと類似度統合の割合との関係は、局所特徴量の種類、数、大きさ、位置などに影響されるため一意には定まらないが、識別装置の運用前に予め調整しておくことが望ましい。

本実施形態では照明条件の違いに対して、複数の特徴量を用いて照合した局所類似度を特徴量の種類の違いからグループに分類することを述べた。別の例として、照明条件の違いに対して、第１の実施形態と同様に単一の局所類似度群に対して統合する割合を調整することももちろん可能であることをここで付け加えておく。LBP特徴量のみを用いて局所類似度を得る場合、照明角度の差が大きいときには、統合に用いる割合を下げることで変動を受けていない局所類似度のみを用いることが出来る。ただし統合に用いる割合が著しく小さくなることも考えられ、その場合には個人を識別し得るに十分な数の局所類似度を得られず、効果は限定的になると考えられる。またもうひとつの例として、LBP特徴量とHOG特徴量を用いてそれぞれの局所類似度を得るが、グループに分類せず単一の局所類似度群に対して統合する割合を調整することも可能である。ただし先ほど述べたようにLBP特徴量とHOG特徴量の性質は異なり、互いに補い合うものである。そのため、照明角度の差に応じてLBPとHOGを同じように割合調整をした場合には互いに補い合う性質を活かせない可能性があり、効果は限定的になると考えられる。

なお、上記の各実施形態や変形例はいずれも、単ある一例であり、以下に説明する基本構成の一例に過ぎない。基本構成によれば、入力画像中のオブジェクトを識別する画像処理装置は、入力画像中のオブジェクトの複数の局所特徴量と、予め登録されている登録画像中のオブジェクトの複数の局所特徴量と、で対応する局所特徴量同士の類似度を求める（計算する）。そして、この計算で求めた類似度のうち、入力画像中のオブジェクトに対する撮像状況及び登録画像中のオブジェクトに対する撮像状況に応じて１つ以上の類似度を選択し、該選択された１つ以上の類似度から１つの類似度を導出する。そして、導出した１つの類似度に基づいて、入力画像中のオブジェクトが登録画像中のオブジェクトと同一のカテゴリであるかを判断する。

また、図１，４，６，７に示した各部はいずれもハードウェアで構成しても良いが、登録画像記録部１３００をメモリで構成し、そのほかの各部をソフトウェア（コンピュータプログラム）で実装しても良い。このような場合、ＰＣ（パーソナルコンピュータ）などのコンピュータが有するメモリにこのコンピュータプログラムを格納すると共に、該コンピュータに登録画像記録部１３００に相当するメモリを搭載させる。そして本コンピュータのＣＰＵ等のプロセッサがこのコンピュータプログラムを用いて処理を実行することで、本コンピュータはオブジェクト識別装置１０００が行うものとして上述した各処理を実行することになる（図２〜３、５のフローチャートの処理）。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 入力画像中のオブジェクトを識別する画像処理装置であって、
   前記入力画像中のオブジェクトの複数の局所特徴量と、予め登録されている登録画像中のオブジェクトの複数の局所特徴量と、で対応する局所特徴量同士の類似度を求める計算手段と、
   前記計算手段が求めた類似度のうち、前記入力画像中のオブジェクトに対する撮像状況及び前記登録画像中のオブジェクトに対する撮像状況に応じて１つ以上の類似度を選択し、該選択された１つ以上の類似度から１つの類似度を導出する導出手段と、
   前記導出手段が導出した前記１つの類似度に基づいて、前記入力画像中のオブジェクトが前記登録画像中のオブジェクトと同一のカテゴリであるかを判断する判断手段と
   を備えることを特徴とする画像処理装置。
2. 前記導出手段は、
   前記入力画像中のオブジェクトに対する撮像状況と、前記登録画像中のオブジェクトに対する撮像状況と、の間の差分を求める手段と、
   前記計算手段が求めた類似度から、類似度が高い順に上位から前記差分に応じた個数分の類似度を選択し、該選択された類似度から１つの類似度を導出する手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記差分が大きいほど前記個数は小さく、前記差分が小さいほど前記個数は大きい、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記導出手段は、
   前記計算手段が求めたそれぞれの類似度を、該類似度を求めるために使用した局所特徴量の前記入力画像及び前記登録画像における位置に対して前記入力画像中のオブジェクトに対する撮像状況及び前記登録画像中のオブジェクトに対する撮像状況に応じて予め設定されたグループに分類する手段と、
   前記グループに分類された類似度のうち、類似度が高い順に上位から、該グループに対して予め設定されている割合に相当する個数分の類似度を選択する手段と、
   前記グループごとに選択された類似度から１つの類似度を導出する手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記導出手段は、
   前記入力画像中のオブジェクトに対する撮像状況と、前記登録画像中のオブジェクトに対する撮像状況と、の間の差分を求める手段と、
   前記計算手段が求めたそれぞれの類似度を、該類似度を求めるために使用した局所特徴量の種類に応じたグループに分類する手段と、
   前記グループに分類された類似度から、類似度が高い順に上位から前記グループ及び前記差分に応じて決まる個数分の類似度を選択する手段と、
   前記グループごとに選択された類似度から１つの類似度を導出する手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記判断手段は、
   複数の前記登録画像中のオブジェクトのうち、前記１つの類似度が閾値以上で最大の類似度に対応する、前記登録画像中のオブジェクトが属するカテゴリを示す情報を、前記入力画像中のオブジェクトに対する識別結果として出力することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記導出手段は、
   前記選択された１つ以上の類似度の平均値を前記１つの類似度として求めることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 入力画像中のオブジェクトを識別する画像処理装置が行う画像処理方法であって、
   前記画像処理装置の計算手段が、前記入力画像中のオブジェクトの複数の局所特徴量と、予め登録されている登録画像中のオブジェクトの複数の局所特徴量と、で対応する局所特徴量同士の類似度を求める計算工程と、
   前記画像処理装置の導出手段が、前記計算工程で求めた類似度のうち、前記入力画像中のオブジェクトに対する撮像状況及び前記登録画像中のオブジェクトに対する撮像状況に応じて１つ以上の類似度を選択し、該選択された１つ以上の類似度から１つの類似度を導出する導出工程と、
   前記画像処理装置の判断手段が、前記導出工程で導出した前記１つの類似度に基づいて、前記入力画像中のオブジェクトが前記登録画像中のオブジェクトと同一のカテゴリであるかを判断する判断工程と
   を備えることを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images