JP2009211490A - 画像認識方法および装置 - Google Patents

Abstract

【課題】冗長な計算やデータを省くことで、処理負荷を低減して記憶領域を有効利用できる画像認識方法および装置を提供する。
【解決手段】ステップＳ３１では注目画素Pi,jに隣接する８つの周辺画素の一つが時計回りに選択される。ステップＳ３２では、注目画素Pi,jの画素値と今回の周辺画素の画素値とが比較される。ステップＳ３３では、比較結果に応じてOLBPの対応ビットに「０」または「１」がセットされる。ステップＳ３４では、非冗長の全ての周辺画素に関して上記した処理が完了したか否かが判定され、全ての画素に関して対応ビットのセットが完了するまではステップＳ３１へ戻り、周辺画素を時計回りにシフトさせながら上記の処理が繰り返される。
【選択図】図５

Description

本発明は、画像認識方法および装置に係り、特に、顔画像の認識に好適な画像認識方法および装置に関する。

顔写真の中から自動的に顔の領域を検出し、それが誰であるかを識別する顔認証の研究開発が盛んである。顔認証では、元来３次元の構造物である顔を２次元の画像として認識するため、顔の見た目と識別結果とが、顔に付加される様々な変動要素の影響に応じて大きく異なる場合がある。代表的な変動要素として、照明およびカメラの特性の違いによる「照明変動」と、カメラやスキャナ等の機材の違いによる「特性変動」とがある。

このような「照明変動」および「特性変動」を抑制するために、本発明の発明者は、照明変動や撮影機材の特性変動に対して耐性のある隣接相対ビット列(LBP)に基づいて画像を比較し、その類似スコアに基づいて画像認識を行う技術を発明し、特許出願した（特許文献１）。

この先行技術では、正規化された顔画像内で各画素に順次注目し、各注目画素を、当該注目画素と、この注目画素に隣接する複数の周辺画素との相対的な特徴量の相対値が各周辺画素の位置に応じて配列されたLBP（Local Binary Pattern)に変換される。

LBPはテクスチャ解析の手法であり、主に領域分割等で使用されている。このLBPは、画像処理分野でのエッジ抽出用のフィルタ（ラプラシアンフィルタ、Cannyフィルタ等）処理と同様であり、注目画素と周辺画素との特徴量の相対値に基づいて出力値が決定される。

図１３は、LBPを概念的に説明した図である。LBPは、一つの注目画素Pi,jおよびその周辺画素の特徴量（例えば、輝度差）の相対値を示す情報である。顔画像から抽出された一つの注目画素の特徴量が、これに隣接する８つの周辺画素の特徴量と比較され、特徴量が注目画素よりも大きい周辺画素には「１」が、小さい周辺画素には「０」が、それぞれ割り当てられ、その一つをMSBとして時計回りに８ビットで構成される数値列がLBPとして出力される。図１３の例では、LBP値は「１３１（１０進数）」となる。

図１４(a)，(b)は、同一人物の顔を異なる照明下で撮影して得られた２つの顔画像から求められたLBPを可視化したLBP画像であり、各画素がLBPに対応した輝度で表現されている。同図(a)，(b)を比較すれば、顔画像には照明変動に応じた輝度差やコントラスト差が認められるものの、LBP画像では照明変動の影響が抑制されていることが判る。

以上のようにして、全画素のLBPが求まると、参照顔画像のLBPと各被参照顔画像のLBPとが比較され、両者の類似度に基づいて類似スコアを算出される。

図１５は、類似度算出方法を模式的に表現した図であり、参照顔画像Dの注目画素Pi,jのLBPと、被参照顔画像Dkにおいて前記注目画素Pi,jに対応する位置の画素（対応画素）P'i,jのLBPとが、対応するビットごとに比較される。そして、値が一致するビットには「１」、不一致のビットには「０」が割り当てられ、一画素分のビット和が当該注目画素Pi,jの類似スコアとなる。

図１５に示した例では、参照顔画像Dの注目画素Pi,jのLBPが(10001011)であり、被参照顔画像Dkの対応画素P'i,jのLBPが(00011010)であり、MSBから第２，３，５，６，７番目の各ビット同士が一致するので、当該注目画素Pi,jの類似スコアは「５」となる。そして、これを参照顔画像Dの全画素に関して繰り返し、全画素の類似スコアの総和ΣCi,jが参照顔画像Dと被参照顔画像Dkとの類似スコアとなる。
特願２００７−２５４６４１号

図１６は、相互に隣接する２つの注目画素に関して、それぞれの周辺画素が重畳する様子を示した図であり、同図(a)に示したように、注目画素Pi,jと、その左上に隣接する注目画素Pi-1,j-1とは、両者の画素値が一致しない限りLBPビットに関して相補的な関係にあり、注目画素Pi,jから見た周辺画素Pi-1,j-1のLBPビット「１」であれば、注目画素Pi-1,j-1から見た周辺画素Pi,jのLBPビットは「０」になる。したがって、注目画素Pi-1,j-1から見た周辺画素Pi,jのLBPビットが「０」であることが既知ならば、注目画素Pi,jから見た周辺画素Pi-1,j-1のLBPビットは「１」であることが直ちに判明する。

同様の関係は、同図(b)に示したように、注目画素Pi,jとその上に隣接する注目画素Pi-1,j、同図(c)に示したように、注目画素Pi,jとその右上に隣接する注目画素Pi-1,j+1、同図(d)に示したように、注目画素Pi,jとその左に隣接する注目画素Pi,j-1、などにおいても同様に成立する。

そして、注目画素Pi,jが画像の左上から右下へラスタスキャンされる場合を考えれば、図１７に示したように、注目画素Pi,jの左に隣接する周辺画素Pi1,j-1、左上に隣接する周辺画素Pi-1,j-1、真上に隣接する周辺画素Pi-1,j、および右上に隣接する周辺画素Pi-1,j+1のLBPビットは冗長となる。

しかしながら、上記した従来技術では、これらの冗長なLBPビットも全て計算されていたので、認識処理に無駄が生じるのみならず、冗長なLBPビットを記憶する記憶容量が無駄に消費されるという技術課題があった。

本発明の目的は、上記した従来技術の課題を解決し、冗長な計算やデータを省くことで、処理負荷を低減して記憶領域を有効利用できる画像認識方法および装置を提供することにある。

上記した目的を達成するために、本発明は、参照画像と被参照画像とを比較して両者の類似スコアを算出する画像認識装置において、以下のような手段を講じた点に特徴がある。

(1)画像ごとに各画素に順次注目し、当該注目画素とその複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列された相対ビット列を求める手段と、前記参照画像および被参照画像の対応する画素の相対ビット列同士を、対応するビットごとに比較して、相対ビット列同士の類似度を算出する手段と、各画素の相対ビット列同士の類似度に基づいて、参照画像と被参照画像との類似スコアを算出する手段とを含み、前記相対ビット列を求める手段は、今回の周辺画素のうち、当該今回の周辺画素を注目画素として今回の注目画素を周辺画素とした相対値が算出済みでない周辺画素と注目画素とに基づいて相対ビット列を求めることを特徴とする。

(2)画像の各画素に順次注目し、当該注目画素ごとに、その相対ビット列に冗長ビットを補完する手段を含み、前記補完手段が、今回の注目画素の相対ビット列を取り込み、当該相対ビット列に関して、注目画素とその複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列されていないビット位置に、今回の周辺画素を注目画素として今回の注目画素を周辺画素とした他の相対ビット列の対応ビットの反転値を、当該今回の周辺画素の位置に応じて補完することを特徴とすることを特徴とする。

本発明によれば、以下のような効果が達成される。
(1)冗長な計算やデータを省くことができるので、処理負荷の低減による認識速度の向上および記憶領域の有効利用が可能になる。
(2)冗長部分が削除されたした相対ビット列に冗長なデータを付与できるので、冗長部分を含む相対ビット列に基づいて認識処理を実行する既存システムと相対ビット列を共用できる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明を適用した顔画像認識システムの主要部の構成を示したブロック図であり、撮影された顔画像を、データベースに既登録の多数の顔画像と比較し、類似度の高い既登録の顔画像を認識結果として出力する。

撮影された顔画像は顔検出部１０に取り込まれる。顔検出部１０は、入力された顔画像の中から顔の領域を検出する。本実施形態では、以下の文献に記載された公知の顔画像検出方法に基づいて顔領域の座標情報が出力される。顔領域が長方形で規定され場合、座標情報とは顔領域の左上座標、幅および高さである。なお、複数の顔領域が検出された場合は各顔領域の座標情報が出力される。

文献：P. Viola, M.J. Jones, "Robust real-time object detection," in: Second International Workshop on Theories of Visual Modelling, Learning, Computing, and Sampling, 2001.

基準点検出部１１は、検出された顔領域の中から顔の基準点となる器官として、目および鼻の位置を検出する。本実施形態では、顔領域から目鼻等の器官を検出する代表的な手法である円形リングフィルタを用いて基準点が検出される。

図２は、円形リングフィルタを利用した器官検出方法を概念的に示した図であり、初めに、座標情報に基づいて顔領域Rが特定[同図(a)]される。次いで、概念的には外周が半径r2の白色リングフィルタ、内周が半径r1の黒色円形リングフィルタ[同図(b)]が前記顔領域で走査される。円形リングフィルタでは、黒目と白目との差が大きい箇所で出力が大きくなるので、目および鼻の対応位置にフィルタ出力（孤立点）が得られる[同図(c)]。本実施形態では、顔領域内上方で円形リングフィルタの出力値が大きい２つの孤立点P1，P2が「目」と認識され、下方で円形リングフィルタの出力値が大きい２つの孤立点P3，P4が「鼻」と認識[同図(c)]される。

図１へ戻り、正規化部１２は、前記基準点に基づいて顔の切り出し位置を決定し、この切り出し位置から切り出された顔画像を、その大きさ（画素数）が一定となるように正規化する。

本実施形態では、図３に示したように、前記検出された両目の座標P1，P2の距離を「１０」とし、この距離に基づいて、目から左右方向に距離「３」の各垂直線を顔領域の左右輪郭L1，L2、目から上方向に距離「６」の水平線を顔領域の上輪郭L3、目から下方向に距離「１４」の水平線を顔領域の下輪郭L4とし、[１６×２０]の画像領域が顔の切り出し領域として決定される。次いで、切り出し領域の画素数が[４０×５０]となるように拡大／縮小することで顔画像が正規化される。

図１へ戻り、隣接相対ビット列変換部１３は、正規化された顔画像内で、各注目画素を、当該注目画素と、この注目画素に隣接する複数の周辺画素との相対的な特徴量の相対値が各周辺画素の位置に応じて配列された数値列（ここでは、隣接相対ビット列と表現する）に変換する。本実施形態では、隣接相対ビット列としてLBP（Local Binary Pattern)を採用すると共に、後に詳述するように、冗長なLBPビットの算出処理を省くことでLBP変換が簡単化され、さらにLBPのビット数が従来の半分に減ぜられる。以下、ビット数を減ぜられて最適化されたLBPをOLBP (Optimized LBP)と表現する。

切替部１４は、上記のようにして求められた各顔画像のOLBPを、被参照顔画像Dkとして登録するか、あるいは参照顔画像Dとして既登録の被参照顔画像と比較して類似スコアを算出するかを切り替える。被参照顔画像のOLBPは、登録部１５によって、その人物を特定できる名前や識別情報と共に予めデータベース(DB)１６に登録される。類似度算出部１７は、参照顔画像のOLBPを、前記DB１６に既登録の各被参照顔画像のOLBPと比較し、両者の類似度に基づいて類似スコアを算出する。

結果出力部１８は、全ての被参照顔画像Dkを類似スコアに基づいてソートし、上位数％の被参照顔画像を認識結果として出力したり、あるいは類似度が最も高い唯一の被参照顔画像のみを認識結果として出力したりする。

冗長情報補完部１９は、前記DB１６に登録された被参照顔画像DkのOLBPを、従来のLBPに基づく顔認識システムでも活用できるように、OLBPに冗長情報を補完してLBPに変換する。冗長情報削除部２０は、従来のLBPに基づく顔認識システムで構築された被参照顔画像のLBPを本システムで活用できるように、LBPから冗長情報を削除してOLBPに変換し、これをDB１６に登録する。

次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図４は、OLBPを用いた顔画像認識手順を示したフローチャートであり、ここでは、多数の被参照顔画像Dkの中から参照顔画像Dに類似した顔画像を検出する場合を例にして説明する。

ステップＳ１では、比較対照となる被参照顔画像DkがDB１６から選択される。ステップＳ２では、参照顔画像Dの一つの画素が今回の注目画素Pi,jとして選択される。本実施形態では、注目画素Pi,jが画像の左上から右下へラスタスキャンと同一の順序で選択されるものとする。ステップＳ３では、選択された注目画素Pi,jのOLBPが算出される。

図５は、OLBP算出処理の手順を示したフローチャートであり、ステップＳ３１では注目画素Pi,jに隣接する８つの周辺画素の一つが選択される。本実施形態では、図６に示したように、注目画素Pi,jの右側に隣接する周辺画素1[Pi,j+1]から順に、時計回りで４つの周辺画素が選択される。ステップＳ３２では、注目画素Pi,jの画素値と今回の周辺画素の画素値とが比較される。

ステップＳ３３では、比較結果に応じてOLBPの対応ビットに「０」または「１」がセットされる。ステップＳ３４では、非冗長の全ての周辺画素（本実施形態では、図６の位置1、2、3、4で隣接する４つの周辺画素）に関して上記した処理が完了したか否かが判定され、全ての画素に関して対応ビットのセットが完了するまではステップＳ３１へ戻り、周辺画素を時計回りにシフトさせながら上記の処理が繰り返される。

すなわち、本実施形態では今回の８つの周辺画素のうち、当該今回の周辺画素を注目画素として今回の注目画素Pi,jを周辺画素とした相対値が算出済みでない４つの周辺画素[Pi,j+1，Pi+1,j+1，Pi+1j，Pi+1,j-1]と注目画素Pi,jとに基づいて４ビットのOLBPが求められる。

図４へ戻り、ステップＳ４では、今回の被参照顔画像Dkから今回の注目画素Pi,jに対応した位置の画素（対応画素）P'i,jのOLBPがDB１６から取り込まれる。ステップＳ５では、注目画素Pi,jのOLBPと対応画素のOLBPとが、対応するビットごとに比較される。ステップＳ６において、各ビットの値が一致していると判定されれば、ステップＳ７でスコアCi,jがインクリメントされる。

ステップＳ８では、OLBPの全ビット（本実施形態では、４ビット）に関して上記した比較が完了したか否かが判定され、完了していなければステップＳ５へ戻り、注目ビットを切り替えながら上記した各処理が繰り返される。

その後、 今回の注目画素Pi,jに関して、そのOLBPの全ビットの比較が完了してビット和が求まるとステップＳ９へ進む。ステップＳ９では、参照顔画像Dの全画素に関して上記した処理が完了したか否かが判定され、完了していなければステップＳ２へ戻り、注目画素Pi,jを切替ながら上記した各処理が繰り返される。

その後、参照顔画像Dの全ての画素に関して上記した処理が完了するとステップＳ１０へ進み、全ての画素のスコアCi,jの総和ΣCi,jが、今回の被参照顔画像Dkと参照顔画像Dとの類似度を代表する類似スコアCkとして登録される。ステップＳ１１では、全ての被参照顔画像Dkに関して上記した比較が完了したか否かが判定される。完了していなければステップＳ１へ戻り、被参照顔画像Dkを切替ながら上記した各処理が繰り返される。

その後、全ての被参照顔画像Dkに関して上記した処理が完了し、参照顔画像Dとの類似度Ckが求まるとステップＳ１２へ進む。ステップＳ１２では、被参照顔画像Dkが前記類似度Ckに基づいてソートされ、上位の被参照顔画像のみが認識結果として出力される。

なお、本実施形態のOLBPはLBPの上位４ビットのみであり、下位４ビットは比較対照となっていない。しかしながら、LBPの下位４ビットの各ビットは、他のいずれかのLBPのいずれかのビットと相補的な関係にあって相殺されるので無視できる。

すなわち、図１８に一例を示したように、参照顔画像Dのある注目画素Pi,jのLBPの下位４ビットが[1011]であり、被参照顔画像Dkの対応する注目画素P'i,jのLBPの下位４ビットが[1110]である場合を考えると、当該注目画素同士は、上位４ビットを無視すれば２つのビットで一致する。

一方、各注目画素Pi,jに隣接する８つの周辺画素の中には、前記下位４ビットの各ビットの反転値を上位４ビットのいずれかに含む４つの画素が存在し、この４つの周辺画素に関して参照顔画像Dおよび被参照顔画像Dkの対応する各LBPを比較すれば、２つのLBPで１ビットずつ一致することになるので、計２ビットが一致することになる。すなわち、LBPの下位４ビット同士がnビット一致すれば、上位４ビット同士の比較でも必ずnビットが一致し、合計で2nビットが必ず一致することになる。したがって、LBPの下位４ビットを無視しても、得られる類似度が半分になるだけで相対的には等しくなる。

図７は、前記冗長情報補完処理部１９の動作を示したフローチャートであり、ここでは、被参照顔画像Dkの全てのOLBP（４ビット）に冗長情報を補完することで当該OLBPがLBP（８ビット）に変換され、当該被参照顔画像Dkが既存のシステムでも利用できるように汎用化される。

ステップＳ４１では、被参照顔画像Dkの一つの画素が今回の注目画素Pi,jとして選択される。本実施形態では、注目画素Pi,jが画像の左上からラスタスキャンと同一の順序で選択されるものとする。ステップＳ４２では、注目画素Pi,jのOLBP（４ビット）がDB１６から取り込まれる。ステップＳ４３では、図８に示したように、注目画素Pi,jに隣接する８つの周辺画素のうち、左側に隣接する周辺位置5の画素Pi,j-1から順に時計回りで４つの画素が順次に選択される。

すなわち、本実施形態では今回の注目画素Pi,jのOLBPを取り込み、当該OLBPに関して、注目画素Pi,jとその複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列されていない下位４ビットに、今回の周辺画素を注目画素として今回の注目画素を周辺画素とした他の相対ビット列の対応ビットの反転値を、当該今回の周辺画素の位置に応じて補完する。

ステップＳ４４では、前記注目画素Pi,jのOLBP（４ビット）がLBPの上位４ビットとして登録される。ステップＳ４５では、今回の周辺画素のOLBP（４ビット）がDB１６から取り込まれる。ステップＳ４６では、取り込まれた周辺画素のOLBPの対応ビットの反転値が、今回の注目画素Pi,jのLBPの対応ビット（LSB側の下位４ビットのいずれか）にセットされる。

図９は、周辺画素のOLBPの対応ビットが注目画素Pi,jのLBPの対応ビットにセットされる様子を模式的に示した図である。

本実施形態では、注目画素Pi,jのLBPのMSB側から第５番目のビットには、位置5で隣接する周辺画素[Pi,j-1]のOLBPのMSBの反転値がセットされる。同様に、注目画素Pi,jのLBPのMSB側から第６番目のビットには、位置6で隣接する周辺画素[Pi-1,j-1]のOLBPのMSB側から第２番目のビットの反転値がセットされる。同様に、注目画素Pi,jのMSB側から第７番目のビットには、位置7で隣接する周辺画素[Pi-1,j]のOLBPのMSB側から第３番目のビットの反転値がセットされる。同様に、注目画素Pi,jのMSB側から第８番目のビット（すなわち、LSB）には、位置8で隣接する周辺画素[Pi-1,j+1]のOLBPのMSB側から第４番目のビットの反転値がセットされる。

図７へ戻り、ステップＳ４７ではLBPの下位４ビットが全て補完されたか否かが判定され、補完が完了するまではステップＳ４３へ戻り、周辺画素を時計回りにシフトさせながら上記の処理が繰り返される。ステップＳ４８では、全画素に関してLBPへの変換が完了したか否かが判定され、全画素に関して完了するまではステップＳ４１へ戻り、注目画素をラスタスキャン方向へシフトさせながら上記の処理が繰り返される。

図１０は、前記冗長情報削除処理部２０の動作を示したフローチャートであり、ここでは、被参照顔画像Dkの８ビットLBPの下位４ビットを削除することで当該LBPが４ビットのOLBPに変換される。

ステップＳ６１では、被参照顔画像Dkの一つの画素が今回の注目画素Pi,jとして選択される。本実施形態では、注目画素Pi,jが画像の左上からラスタスキャンと同一の順序で選択されるものとする。ステップＳ６２では、注目画素Pi,jのLBP（８ビット）が取り込まれる。ステップＳ６３では、前記LBPの上位４ビットが抽出され、OLBPとしてDB１６に登録される。ステップＳ６４では、全画素に関してOLBPへの変換が完了したか否かが判定され、全画素に関して完了するまではステップＳ６１へ戻り、注目画素をシフトさせながら上記の処理が繰り返される。

次いで、本発明の変形例について説明する。上記した実施形態では、３×３の画素ブロックを対象に、その中心に位置する注目画素Pi,jと、この注目画素Pi,jに隣接する非冗長の４つの周辺画素との特徴量の大小関係に基づいて４ビットのOLBPが求められるものとして説明したが、図１１に示したように、例えば５×５の画素ブロックを対象に、その中心に位置する注目画素Pi,jと、この注目画素Pi,jから半径が２画素で円周方向に等間隔で配置された８つの周辺画素P1〜P8のうち４つの周辺画素P1〜P4との特徴量の大小関係に基づいて４ビットのOLBPを求めるようにしても良い。このとき、周辺画素P2，P4のように、４つの画素に跨る仮想的な画素に関しては、当該４つの画素の特徴量の平均値を特徴量として採用できる。

そして、サイズの異なる画素ブロックごとに求められたOLBPを用いて、それぞれ類似スコアを計算し、画素ブロックの大きさとは無関係に、類似スコアが上位の被参照顔画像のみが認識結果として出力されるようにしても良い。

また、上記した実施形態では、類似度算出部１７は、参照顔画像Dの注目画素Pi,jのOLBPと、被参照顔画像Dkの対応画素P'i,jのOLBPとを、対応するビットごとに比較して一致するビット数Ci,jを画素ごとに求め、その全画素分の総和ΣCi,jを参照顔画像Dと被参照画像Dkとの類似スコアCkとするものとして説明したが、本発明はこれのみに限定されるものではなく、参照顔画像Dの注目画素Pi,jごとに、前記一致するビット数Ci,jが所定の閾値Cref以上であるか否かを求め、前記一致するビット数Ci,jが閾値Cref以上である画素の総数を類似スコアCkとしても良い。

さらに、上記した実施形態では、前記正規化部１２によって４０×５０画素の大きさに正規化された顔画像のOLBPに基づいて類似度が算出されるものとして説明したが、本発明はこれのみに限定されるものではなく、参照画像Dおよび被参照画像Dkのいずれに関しても、図１２に模式的に示したように、画素数の異なる複数の正規化画像を求め、正規化画像ごとに類似スコアを算出し、正規化画像の大きさとは無関係に、類似スコアが上位の被参照顔画像のみが認識結果として出力されるようにしても良い。

ただし、類似スコアCkは正規化画像の面積に依存するので、４０×５０画素の正規化画像から求められた類似スコア以外には、面積比に応じた係数を乗じて正規化された類似スコアCk1，Ck2，Ck3，Ck4を求め、これら正規化された類似スコアCk1，Ck2，Ck3，Ck4同士を比較することが望ましい。

さらに、上記した実施形態では、本発明を顔画像認識に適用して説明したが、それ以外にも、例えばオブジェクト認識、テクスチャ認識あるいは画像認識にも同様に適用できる。

本発明を適用した顔画像認識システムのブロック図である。 円形リングフィルタを利用した器官検出方法を概念的に示した図である。 顔画像の正規化方法を説明した図である。 LBPを用いた顔画像認識手順を示したフローチャートである。 OLBP算出処理の手順を示したフローチャートである。 周辺画素の参照順序を示した図である。 補完処理の手順を示した図である。 周辺画素の参照順序を示した図である。 OLBPとLBPの冗長ビットとの関係を示した図である。 削除処理の手順を示した図である。 本発明の変形例を説明した図（その１）である。 本発明の変形例を説明した図（その２）である。 LBPを概念的に説明した図である。 LBP画像の一例を示した図である。 類似度算出方法を模式的に表現した図である。 相互に隣接する２つの注目画素の周辺画素が重畳する様子を示した図である。 冗長部分の一例を示した図である。 OLBPによる類似度算出の正当性を説明した図である。

符号の説明

１０…顔画像検出部，１１…基準点検出部，１２…正規化部，１３…隣接相対ビット列変換部，１４…切替部，１５…登録部，１６…データベース(DB)，１７…類似度算出部，１８…結果出力部

Claims (9)

1. 参照画像と被参照画像とを比較して両者の類似スコアを算出する画像認識装置において、
   画像ごとに各画素に順次注目し、当該注目画素とその複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列された相対ビット列を求める手段と、
   前記参照画像および被参照画像の対応する画素の相対ビット列同士を対応するビットごとに比較して、相対ビット列同士の類似度を算出する手段と、
   各画素の相対ビット列同士の類似度に基づいて、参照画像と被参照画像との類似スコアを算出する手段とを含み、
   前記相対ビット列を求める手段は、前記複数の周辺画素のうち、当該周辺画素を注目画素として前記注目画素を周辺画素とした相対値が算出済みでない周辺画素と注目画素とに基づいて相対ビット列を求めることを特徴とする画像認識装置。
2. 前記相対ビット列の類似度を算出する手段は、前記相対ビット列同士を、対応するビットごとに比較し、相対値の一致数を画素ごとに求め、
   前記類似スコアを算出する手段は、前記相対値の一致数の総和を類似スコアとすることを特徴とする請求項１に記載の画像認識装置。
3. 前記相対ビット列の類似度を算出する手段は、前記相対ビット列同士を対応するビットごとに比較し、相対値の一致数を画素ごとに求め、
   前記類似スコアを算出する手段は、前記相対値の一致数が所定の基準値を超えるか否かを判定し、前記相対値の一致数が所定の基準値を超える画素数を類似スコアとすることを特徴とする請求項１に記載の画像認識装置。
4. 前記相対ビット列を求める手段が、参照画像および被参照画像の画素ごとに、周辺画素の範囲が異なる複数の相対ビット列を求め、
   前記相対ビット列の類似度を算出する手段が、前記周辺画素の範囲が異なる相対ビット列ごとに、前記参照画像および被参照画像の対応する画素の相対ビット列同士を、対応するビットごとに比較して、各相対ビット列の類似度を算出し、
   前記類似スコアを算出する手段が、各画素の相対ビット列同士の類似度に基づいて、参照画像と被参照画像との類似スコアを算出することを特徴とする請求項１ないし３のいずれかに記載の画像認識装置。
5. 前記参照画像および被参照画像を同一画素数に正規化する複数の正規化手段を含み、
   前記各正規化手段が、それぞれ前記参照画像および被参照画像を異なる画素数に正規化し、
   前記相対ビット列を求める手段が、各正規化画像の画素ごとに、当該画素と複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列された相対ビット列を求め、
   前記相対ビット列の類似度を算出する手段が、正規化画像ごとに、前記参照画像および被参照画像の対応する画素の相対ビット列同士を、対応するビットごとに比較して、相対ビット列同士の類似度を算出し、
   前記類似スコアを算出する手段が、正規化画像ごとに、各画素の相対ビット列の類似度に基づいて、参照画像と被参照画像との類似スコアを算出する手段とを含むことを特徴とする請求項１ないし３のいずれかに記載の画像認識装置。
6. 前記画像の各画素に順次注目し、当該注目画素ごとに、その相対ビット列に冗長ビットを補完する手段を含み、
   前記補完手段が、
   注目画素の相対ビット列を取り込み、当該相対ビット列に関して、注目画素とその複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列されていないビット位置に、周辺画素を注目画素として注目画素を周辺画素とした他の相対ビット列の対応ビットの反転値を、当該周辺画素の位置に応じて補完することを特徴とすることを特徴とする請求項１ないし５のいずれかに記載の画像認識装置。
7. 前記相対ビット列がLBP(Local Binary Pattern)であることを特徴とする請求項１ないし６のいずれかに記載の画像認識装置。
8. 前記参照画像および被参照画像が顔画像であり、
   入力された顔画像の中から顔の領域を検出する顔検出手段と、
   前記顔領域から複数の器官を基準点として検出する基準点検出手段と、
   前記各基準点間の距離に基づいて顔画像の大きさを正規化する正規化手段とを含み、
   前記相対ビット列を求める手段が、正規化された各顔画像の画素ごとに相対ビット列を求めることを特徴とする請求項１ないし７のいずれかに記載の画像認識装置。
9. 参照画像と被参照画像とを比較して両者の類似スコアを算出する画像認識方法において、
   画像ごとに各画素に順次注目し、当該注目画素とその複数の周辺画素との特徴量の相対値が各周辺画素の位置に応じて配列された相対ビット列を求める手順と、
   前記参照画像および被参照画像の対応する画素の相対ビット列同士を対応するビットごとに比較して、相対ビット列同士の類似度を算出する手順と、
   各画素の相対ビット列同士の類似度に基づいて、参照画像と被参照画像との類似スコアを算出する手順とを含み、
   前記相対ビット列を求める手順では、複数の周辺画素のうち、当該今回の周辺画素を注目画素として前記注目画素を周辺画素とした相対値が算出済みでない周辺画素と注目画素とに基づいて相対ビット列が生成されることを特徴とする画像認識方法。