JP2011128990A - 画像処理装置とその方法 - Google Patents

Abstract

【課題】処理画像で選択された注目画素の近傍画素についての増分符号算出の方向を限定することにより、出現確率のテーブルのサイズを削減し、必要なメモリ容量を削減する。
【解決手段】画像処理装置は、処理画像から注目画素を選択し、注目画素から所定範囲内に存在する複数の近傍画素の各々とを比較し輝度値の差を算出する輝度値差算出手段と、輝度値差算出手段により算出された輝度値の差と注目画素と複数の近傍画素の各々との相対的位置関係とに基づいて特徴量を算出し特徴量画像を生成する特徴量生成手段とを備え、輝度値差算出手段が、注目画素に関して互いに点対称の位置にある２つの近傍画素については、いずれか一方の近傍画素に関して注目画素との差を算出する。
【選択図】図７

Description

本発明は、画像処理技術分野におけるパターン照合に関する。

近年、画像中から画像処理により対象パターンを検出する手法において、実用的な手法が提案されている。特に対象パターンを人間の顔とした場合には、様々な応用が考えられるため、その検出手法に関して盛んに研究開発が行われている。さらには、顔を検出するだけでなく、検出した顔が、あらかじめ登録してある人物のうちの誰であるのかを、識別する顔認識の手法に関しても盛んに研究開発が行われている。

これらの検出／認識手法においてよく用いられる技術としてマッチング手法がある。マッチング手法では、あらかじめ用意してあるテンプレート（登録画像）と、処理画像との間で、正規化相関等の識別処理により、類似度が算出される。

このようなマッチング手法を用いた顔検出／顔認識を、監視システム等の実環境下で応用する場合、天候の変動や時間帯によって、画像のコントラストが変化したり、画像中に部分的な影が生じたりする可能性がある。実環境下では、このような照明条件の変動によって画像中での見え方（パターン）が大きく変わり、検出精度／認識精度も大きく影響を受ける。

この影響を軽減するために、画像の輝度値そのものに対して識別処理を行うのではなく、輝度値から照明変動にロバストな（頑健な）特徴量を抽出して、その特徴量に対して識別処理を行うことが提案されている。例えば、対象画素と周辺画素との輝度差分の符号（周辺増分符号）に対して相関処理を行う手法が特許文献１に示されている。これらの手法では、テンプレート画像および処理画像のそれぞれにおいて、対象画素と周囲画素との濃淡値の増分（大小関係）を符号として表現し、その符号の一致数を類似度としている。このような手法により、符号が逆転しない範囲の輝度変動やノイズ混入に対して頑強な照合を行うことができることが知られている。

しかしながら、特許文献１に示されている技術は、テンプレート画像と処理画像の類似度を算出するものである。従って、顔等のように、同一カテゴリーに属するが、それぞれ個性を持つようなものに検出対象を広げようとした場合、顔の種類だけテンプレートを用意する必要が生じ、実際には実現が困難であった。

このような課題に対して、特許文献２や特許文献３では、例えば様々な顔画像などの検出対象の画像から構成されるデータベースから、周辺増分符号の統計的な性質を抽出することなどの解決が試みられている。

特許３８３１２３２号公報 特許３６９６２１２号公報 特開２００６−１４６６２６号

しかしながら、従来の手法で対象パターンを検出する際には、データベースを用いて測定した出現確率を保持しておくテーブルを実現するメモリの容量が大きくなるという課題があった。

また、従来の手法を、あらかじめ登録した人物のうちの誰であるのかを顔を基に識別する顔認識の手法に応用しようとすると、登録する人数に比例してテーブルのサイズが増大するという課題もあった。

本発明は、処理画像で選択された注目画素の近傍画素についての増分符号算出の方向を限定することにより、出現確率のテーブルのサイズを削減し、必要なメモリ容量を削減することを目的とする。

上記課題を解決するために、本発明によれば、
処理画像から注目画素を選択し、注目画素から所定範囲内に存在する複数の近傍画素の各々とを比較し輝度値の差を算出する輝度値差算出手段と、輝度値差算出手段により算出された輝度値の差と注目画素と該複数の近傍画素の各々との相対的位置関係とに基づいて特徴量を生成する特徴量生成手段とを備え、輝度値差算出手段が、注目画素に関して互いに点対称の位置にある２つの近傍画素については、いずれか一方の近傍画素に関して前記注目画素との差を算出することを特徴とする。

本発明では、注目画素に対して、互いに点対称の位置にある２つの近傍画素に対しては、いずれか一方のみをＬＢＰ値の算出に用いる。従って、ＬＢＰ画像を算出するときの演算量の削減とＬＢＰ画像を格納するメモリ量の削減が可能となる。

実施形態１における認識システムを示すブロック図。 ＬＢＰ値算出処理を模式的に表した図。 実施形態１における４ビットＬＢＰ画像と従来の８ビットＬＢＰ画像との比較を示す図。 実施形態１における４ビットＬＢＰ画像から従来の８ビットＬＢＰ画像の復元方法を示す図。 実施形態１の認識システムにおける画像処理部の処理を模式的に表した図。 実施形態１において切出し正規化画像中で処理ウインドウをスキャンさせる様子を示す図。 実施形態１の認識システムにおける画像処理部の処理の流れを示すフローチャート。 実施形態１の認識システムにおける登録特徴量画像格納部での特徴量画像の格納状態を示す図。 実施形態２における検出システムを示すブロック図。 実施形態３におけるハードウエアの構成を示すブロック図。 従来と本発明によるＬＢＰ値算出処理における処理ウインドウ内の近傍画素の様子を示す図。

以下、本発明の画像処理手法を用いた認識システムについて説明を行う。

認識とは、認識対象がいくつかの概念（クラス）に分類できる時、観測された認識対象をそれらの概念のひとつに対応させる処理である。例えば顔認識とは、入力された画像中に存在する顔画像が、あらかじめ登録してある人物のうちの誰であるのかを識別する画像処理手法のことである。

＜実施形態１＞
本実施形態においては、本発明による画像処理手法をパターン認識手法に適用する例を示す。特にパターン認識のアプリケーションとして、顔認識に対して用いる場合を示す。顔認識処理の前段階で必要となる顔検出処理（画像中での顔の位置、サイズ、傾きの検出）は、すでに他の何らかの手法で検出されているものと仮定する。ここで、顔の傾きとは、画像内回転（面内回転）を指すこととする。

実施形態１では、顔検出によって検出された顔位置、顔サイズおよび顔傾きに応じて顔の周囲画像が切出され、さらに予め定められた所定の顔サイズ、所定の顔傾きに正規化された画像に対して、本発明による画像処理手法を適用する。従って本発明の画像処理手法が適用される画像である顔検出によって切出され、正規化された画像は、画像中での目、鼻、口等の位置が概ね揃っているものとなる。

また、説明を簡単にするため、本実施形態で扱う画像は全てグレースケール画像（輝度画像）であると仮定する。

図１は、実施形態１における顔認識システムの各機能ブロックを示す図である。顔認識システム１０９には、処理画像が入力され、認識処理結果が出力される。顔認識システム１０９は、あらかじめ登録してある人物のうちのいずれかが、処理画像中に存在するか否かを判断する。もしあらかじめ登録してある人物のうちのいずれかが処理画像中に存在すると判断すれば、その人物を特定する情報が認識処理結果として出力される。また、あらかじめ登録してあるどの人物も処理画像中に存在しないと判断すれば、その旨が出力される。

顔認識システム１０９の動作モードとして、登録モードと認識モードの２つのモードがある。登録モードのときには、処理画像として登録画像（認識したい人物が映っている画像）を入力し、登録特徴量画像格納部１０５に特徴量画像を格納する。認識モードのときは、処理画像として検査画像（認識したい人物が映っているか否かを調べたい画像）を入力し、登録モードのときに登録特徴量画像格納部１０５に格納した特徴量画像と、検査画像の特徴量画像との比較を行う。各動作モードの処理並びに各ブロックについて以下に述べる。

顔検出部１０８は、入力された処理画像に対し、所定の顔検出手法によって、処理画像中での顔の検出とその位置やサイズ、方向を特定する。また、顔検出部１０８は、特定された顔位置、顔サイズ、顔方向に基づき、あらかじめ定められた所定の大きさに顔サイズを正規化する。そして、あらかじめ定められた所定の方向に顔が傾く（例えば顔を正立させる）ように、顔画像を切出すことで、切出し正規化画像を作成し、出力する。顔検出部１０８における顔の検出は、公知の技術を用いても良い。また実施形態２に示す構成における画像処理手法を検出処理に用いて顔検出を行っても良い。

画像処理部１００は、顔検出部１０８において作成した切出し正規化画像に対して、特徴量画像生成処理を行い、登録モード時には４ビットＬＢＰ特徴量画像を、認識モードでは、４ビットＬＢＰ画像を復元した８ビットＬＢＰ画像を出力する。画像処理部は、特徴量を計算するための注目画素とその近傍画素との輝度値の差を算出する輝度値差算出手段も含む。また、第１相関演算手段である相関演算部１０６は、登録特徴量画像格納部１０５に登録されていた４ビットＬＢＰの検査特徴量画像を８ビットＬＢＰの検査特徴量画像に復元する。そして、復元されたそれぞれの検査特徴量画像と画像処理部で算出された特徴量画像との相関演算を行う。ここで、登録特徴量画像格納部１０５は、登録のための複数の４ビットＬＢＰ特徴量画像を格納しておく。統合判断部１０７は、第１相関演算部１０６から送られてくる相関値とＩＤ情報とから、検査画像にあらかじめ登録してある人物のうち、どの人物が存在するか否かを判断する。

本発明では、Local Binary Pattern (以下ＬＢＰと呼ぶ)オペレータを用いるので、ここでＬＢＰの発明に係る部分について説明する。

本実施形態で用いるＬＢＰオペレータにより算出されたＬＢＰ値を、従来の８ビットのＬＢＰ値と区別するために４ビットＬＢＰ値と呼ぶ。ただし、後述の実施形態で示すように本発明によるＬＢＰ値は４ビットに限定するものではない。ここでは説明を簡単にするために４ビットを用いている。同様に、従来のＬＢＰ値を８ビットＬＢＰ値と呼ぶ。また、本発明により算出されたＬＢＰ値から構成されるＬＢＰ画像を、従来の８ビットＬＢＰ値から構成されるＬＢＰ画像と区別するために４ビットＬＢＰ画像と呼ぶ。同様に、従来のＬＢＰ画像を８ビットＬＢＰ画像と呼ぶ。

４ビットＬＢＰ値から構成される４ビットＬＢＰ画像からは、８ビットＬＢＰ画像をほぼ復元することが可能である。つまり、ほとんど情報量を失うことなく、従来の８ビットＬＢＰ画像を、本実施形態により作成する４ビットＬＢＰ画像に置き換えることができる。

図２は、本実施形態によるＬＢＰ値の算出処理を、注目画素とその近傍画素との相対的位置関係に基づいて、模式的に表した図である。近傍画素はお互いに隣接関係にある。

また図３および図４は、４ビットＬＢＰによる特徴画像から８ビットＬＢＰによる特徴画像を復元する方法を示している。図３で用いている４ビットＬＢＰ値は、次の式で算出される。変数の意味は式（１）と式（２）に共通で、図２に示すように近傍画素のインデックスｎは、位置（ｘ_ｃ，ｙ_ｃ）に対して左上画素をｎ=３として、時計回りに１ずつ減少していくとする。

図３の（ａ）の輝度画像において、ます目内の数値は輝度値を示す。図３（ｂ）の８ビットＬＢＰ画像において、ます目内の数値は、８ビットＬＢＰ値を示す。また図３（ｃ）の４ビットＬＢＰ画像において、ます目内の数値は４ビットＬＢＰ値を示す。

これらの図３の（ａ）と（ｂ）の数値処理により、図３（ｄ）に示される２値コードの例が作成される過程が示されている。ｘとｙは座標軸を示し、例えば輝度画像における座標（２，１）の輝度値は、１４２となる。同様に８ビットＬＢＰ画像、４ビットＬＢＰ画像における座標（２，１）のＬＢＰ値は、それぞれ４４と２となる。

また図３の（ａ）には、選択された注目画素と近傍８画素との輝度値の大小比較結果である、８ビットＬＢＰ画像のＬＢＰ値４４のＬＢＰ画素（太枠）を作る例を示している。式１、式２から明らかなように、近傍画素の輝度値の方が大きければ（等号を含む）１、小さければ０となる。

図４は、４ビットＬＢＰ画像から８ビットＬＢＰ画像を復元する例として、この８ビットＬＢＰ値４４を復元する例（座標（２，１）の８ビットＬＢＰ値を復元する例）を示す。図３と図４の４ビットＬＢＰ画像は同じものである。図４の（ａ）において、８ビットＬＢＰ画像のＬＢＰ値４４の画素（復元する画素）に対応する位置の画素（４ビットＬＢＰ値２）については、斜線を入れて識別している。

図４の（ｂ）には、４ビットＬＢＰ画像中に黒枠で示した注目画素の近傍の６画素に対して、２値コード（大小比較結果を並べたもの）に戻したものを示している。２値コードを２進数と見て、それを１０進数で表現したものがＬＢＰ値となる。従って、ＬＢＰ値と２値コードは１対１に対応するように符号化されているので、４ビットＬＢＰ値から２値コードに戻すことが可能である。図４の（ｃ）は、４ビットの２値コードから、８ビットＬＢＰ値を復元する方法を示している。この復元は、本実施例では、図１の画像処理部１００および相関演算部１０６において行われる。

まず、図３の座標（２，１）の８ビットＬＢＰ値と４ビットＬＢＰ値とを参照する。座標（２，１）の８ビットＬＢＰ値を算出するには、座標（２，１）の輝度値と、以下の８座標の輝度値とを比較する必要がある。
Ａ：座標（１，０）：輝度値７６
Ｂ：座標（２，０）：輝度値１２７
Ｃ：座標（３，０）：輝度値２１６
Ｄ：座標（３，１）：輝度値１１
Ｅ：座標（３，２）：輝度値１５３
Ｆ：座標（２，２）：輝度値１５１
Ｇ：座標（１，２）：輝度値９２
Ｈ：座標（１，１）：輝度値９６
座標（２，１）の４ビットＬＢＰ値を算出するには、座標（２，１）の輝度値と、上記８座標の輝度値の前半４座標（Ａ〜Ｄ）の輝度値とを比較する必要がある。従って、何らかの手法により、座標（２，１）の輝度値と、後半４座標（Ｅ〜Ｈ）の輝度値とを比較した結果がわかれば、座標（２，１）の８ビットＬＢＰ値が復元できることになる。

ここで、Ｅに示された座標（３，２）と座標（２，１）との比較、すなわち輝度値の算出は、座標（３，２）の４ビットＬＢＰ値を算出するときに行われている。従って、座標（３，２）の４ビットＬＢＰ値の２値コードから８ビットＬＢＰ値を算出することができる。具体的には、座標（３，２）の４ビットＬＢＰ値の２値コードの先頭ビット（右から０スタートで数えて３番目：図４の右下の図で格子状の網掛け）を反転（０ならば１、１ならば０）すれば、座標（２，１）と座標（３，２）との比較結果になる。反転するのは、「引く数」になるか、あるいは「引かれる数」になるかを逆転するためである。すなわち反転により、座標（２，１）の４ビットＬＢＰ値を算出するときと、座標（３，２）の４ビットＬＢＰ値を算出するときでは、それぞれの座標の輝度値が、引く数になるときと引かれる数になるときで逆転する。

同様に、Ｆ、Ｇ、Ｈに示された比較に関しても、それぞれ、座標（２，２）、座標（１，２）、座標（１，１）の４ビットＬＢＰ値の２値コードから知ることができる。図４の（ｂ）で、それぞれの２値コードの格子状の網掛けにしたビットを反転する。

このようにして、座標（２，１）の８ビットＬＢＰ値の２値コードを知ることができるので、あとはこの２値コードから８ビットＬＢＰ値に変換すればよい。

以上の手順をまとめると、座標（ｘ，ｙ）の４ビットＬＢＰ値（ＬＢＰ４（ｘ，ｙ））から、座標（ｘ，ｙ）の８ビットＬＢＰ値（ＬＢＰ８（ｘ，ｙ））を算出するには、

となる。ここで、ＬＢＰ４（ｘ，ｙ）[ｎ]は、座標（ｘ，ｙ）の４ビットＬＢＰ値（ＬＢＰ４（ｘ，ｙ））の２値コードの（右から０スタートして）ｎビット目を示す。例えば、ＬＢＰ４（２，１）[１]は、座標（２，１）の４ビットＬＢＰ値（２）の２値コード（００１０）の１ビット目（右から０スタート）なので、０となる。

このようにして、４ビットＬＢＰ画像から８ビットＬＢＰ画像を復元し、特徴量画像を生成することができるが、常に復元できるわけではない。例えば、４ビットＬＢＰ値を算出する際、輝度値が等しい２つの座標間の比較を用いる場合は、正確には復元できない。しかし、一般的な画像では、４ビットＬＢＰ画像を算出する際に輝度値の比較を行う座標の対において、輝度値が一致する対が多く発生することは考えにくい。

従って、４ビットＬＢＰ画像から８ビットＬＢＰ画像をほぼ復元することが可能であると言える。つまり、本実施形態で作成する４ビットＬＢＰ画像は、従来の８ビットＬＢＰ画像が持つ情報量を、ほとんど失うことなく持っているという言うことができる。尚、上記では２値に量子化する例を説明したが、これに限らない。例えば、後述する式（５）や（６）による３値に量子化する場合、つまり一方が大きいとき、他方が大きいとき、等しいときについても、ＬＢＰ画像を復元できる。

図１の画像処理部１００では、顔検出部１０８において作成した切出し正規化画像に対して、特徴量画像生成処理を行い、４ビットの特徴量画像を出力する。画像処理部１００による特徴量の抽出を以下に説明する。実施形態１では、画像処理部において、４ビットＬＢＰ値から構成される登録モードでは、４ビットＬＢＰ画像が、認識モードでは、復元された８ビット特徴量画像が出力される例を示す。従来の８ビットＬＢＰ値の算出に必要な８つの近傍画素のうち、どの４つの近傍画素を用いて４ビットＬＢＰ値を算出するかは、注目画素に対して、所定範囲内にあり、互いに点対称の位置にある２つの近傍画素のいずれか一方を使うようにさえすれば任意である。

図５は、処理ウインドウ７０１があるスキャン位置にあるときの特徴量画像生成の手順を示している。図２で示す４ビットＬＢＰ値の算出と、図５の従来の８ビットＬＢＰ値の算出を比較する。図２では、選択された注目画素（斜線で図示）に対して、互いに点対称の位置にある２つの近傍画素に関して、いずれか一方のみを特徴量画像生成に用いるように構成されている。どの４ビットを用いるかは予め適切に選んでおけば良い。

図６は、切出し正規化画像中に対して、どのように特徴量画像（４ビットＬＢＰ画像）を生成していくのかを示している。また、図７の符号７００で示される部分は、切出し正規化画像を示している。太線枠の形状（５画素分のサイズ）は、処理ウインドウ７０１である。図１の画像処理部１００では、処理ウインドウ７０１を切出し正規化画像中でスキャンさせるとともに、各スキャン位置において特徴量（４ビットＬＢＰ値）を算出する。実施形態１でのスキャンのステップは、水平方向および垂直方向、ともに１画素とする。また図７の処理ウインドウ７０１の中の注目画素の部分を斜線で示している。

符号５００で示す枠内には、あるスキャン位置での処理ウインドウ７０１内にある画素の輝度値を示している。図５において、太線の枠は処理ウインドウを示す。それぞれのスキャン位置において、処理ウインドウ内の斜線で示される位置にある画素を注目画素と呼び、その周囲にある画素を近傍画素と呼ぶ。図に示すように、近傍画素は複数（本実施形態の場合は４画素）存在する。また、近傍画素を区別するために、中心から見て左上にある近傍画素を３として、時計回りに１ずつ減少させ、３，２，１，０としていくインデックスを与える。符号５００で示す枠内の場合、注目画素の輝度値は９６であり、インデックス３の近傍画素の輝度値は８４、インデックス２の近傍画素の輝度値は７６、・・・となる。

図７は、画像処理部１００で行われる処理のフローチャートである。Ｓ８００において、まず画像処理部１００は、切出し正規化画像７００に対し、処理ウインドウ７０１のスキャンをスタートさせる。Ｓ８０５において、処理ウインドウ７０１を新たなスキャン位置に移動させると、画像処理部１００は、そのスキャン位置での注目画素と近傍画素の輝度値を参照する。

Ｓ８０１において、画像処理部１００は、Ｓ８０５の参照結果を用いて、そのスキャン位置での注目画素と近傍画素との輝度値の大小比較を行う。まず、そのスキャン位置での注目画素と近傍画素とから輝度差分値を求める。

本実施形態では、輝度差分値として、近傍画素の輝度値から、注目画素の輝度値を引いたものとする。輝度差分値は近傍画素ごとに算出するので、輝度差分値は近傍画素の数に等しい数だけ算出される（図５の５０１枠内の差分値の算出に対応）。

Ｓ８０２において、画像処理部１００は、輝度差分値に対する量子化処理を行う。本実施形態では、量子化処理の量子化レベルは２としており、輝度差分値が０以上であれば１、０未満であれば０と量子化する（図５の５０２枠内の輝度差分値の量子化に対応）。量子化処理は、各近傍画素インデックスに対して、式（４）の処理を行うことに相当する。

Ｓ８０３において、画像処理部１００はＬＢＰ値の算出を行う。ここでは、近傍画素インデックスと、そのインデックスに対応する量子化値とから、式（３）を用いて、ＬＢＰ値を算出する。（図５の５０３枠内の差分値の算出に対応）５０３、Ｓ８０３）。このＬＢＰ値を、ＬＢＰ画像の注目画素位置の画素値とする。

Ｓ８０４において、画像処理部１００は、全スキャン位置についてＳ８０１〜Ｓ８０３の処理が終了していれば、Ｓ８０６へ移る。処理が終了していなければ、Ｓ８０５へ移り、次の位置へウインドウを移動する。

Ｓ８０６において、画像処理部１００はスキャンを終了し、その切出し正規化画像に対する画像処理を終了する。

ある切出し正規化画像に対して画像処理部１００の処理が終了すると、抽出した特徴量（４ビットＬＢＰ値）を画素値とする特徴量画像（４ビットＬＢＰ画像）が生成される。また、この図に示していないが、画像処理部１００は、登録モードでは、この４ビットＬＢＳ特徴量画像を、認識モードでは、この４ビットＬＢＳ特徴量画像を復元した８ビット特徴量画像を出力する。

図１の登録特徴量画像格納部１０５には、登録画像に対する特徴量画像を格納しておく。この例では、本発明による４ビットＬＢＰによる特徴量画像が格納されているとする。登録画像とは、認識したい人物が映っている画像のことを言う。

図１の顔認識システム１０９が登録モードのときには、登録画像に対して、顔検出部１０８による顔検出処理、画像処理部１００による特徴量生成処理が行われ、４ビットＬＢＰによる特徴量画像が出力される。この登録画像に対する特徴量画像は、登録特徴量画像格納部１０５に格納される。また各登録画像に映っている人物を特定するＩＤ情報(名前等)も、特徴量画像に関連付けて格納される。

図８は、登録特徴量画像格納部１０５に格納されている特徴量画像の例を示す。図８には、登録人物（認識したい人物）としてＩＤ０とＩＤ１の２名の場合が示されている。また、この例ではそれぞれの登録人物に対して、２枚ずつの登録画像を用いて特徴量画像（ＩＤ０に対してはＦ_０_０とＦ_０_１の２枚の特徴量画像、ＩＤ１に対してはＦ_１_０とＦ_１_１の２枚の特徴量画像）を作成し、格納している場合を示している。

顔認識システム１０９が認識モードのときには、格納されている特徴量画像とその特徴量画像のＩＤ情報が、登録特徴量画像格納部１０５から順次出力される。例えば、登録特徴量画像格納部１０５が図８に示すように特徴量画像を格納している場合、４ビットＬＢＰによる特徴量画像としてＦ_０_０、Ｆ_０_１、Ｆ_１_０、Ｆ_１_１が順次出力され、それぞれのＩＤ情報としてＩＤ０、ＩＤ０、ＩＤ１、ＩＤ１が出力される。

図１の第１相関演算手段である相関演算部１０６は、登録特徴量画像格納部１０５から送られる登録画像（検査画像）である４ビット検査特徴量画像を８ビット検査特徴量画像に復元し、復元された検査特徴量画像と画像処理部１００で生成された特徴量画像との間の相関演算を行う。相関演算の種類は特には問わないので、公知の技術で行えばよい。本実施形態では、正規化相関演算を行うものとする。

例えば、登録特徴量画像格納部１０５において、図８のように特徴量画像が格納されていたとすると、相関演算部１０６は、まず復元された検査画像の特徴量画像と、復元されたＦ_０_０との正規化相関演算を行い、相関値を算出する。続いて、復元されたＦ_０_１との正規化相関演算を行い、相関値を算出する。同様に復元されたＦ_１_０並びにＦ_１_１との正規化相関演算を行い、それぞれ相関値を算出する。算出した相関値は、相関値算出に用いた登録画像の特徴量画像に関連付けられていたＩＤ情報とともに、出力する。相関演算部１０６において算出される相関値の数は、登録特徴量画像格納部１０５において格納されている特徴量画像の数（図８の場合４個）に等しい。

図１の統合判断部１０７は、相関演算部１０６から送られてくる相関値とＩＤ情報とから、検査画像にあらかじめ登録してある人物のうち、どの人物が存在するか否かを判断する。この判断の手法に関しては、特に問わないので公知の手法を用いて良い。本実施形態では、ＩＤ情報単位で相関値の平均（相関値平均）を算出し、その相関値平均の中で最大のもの（最大相関値平均）を求める。その最大相関値平均が所定の閾値を超えた場合、その最大相関値平均に関連付けられたＩＤ情報の人物が、検査画像中に存在すると判断する。最大相関値平均が所定の閾値を超えない場合、登録してあるどの人物は、検査画像中に存在しないとの判断を行う。以上が、画像処理を用いた顔認識システムの説明である。

本実施形態の認識システムでは、動作モードとして、登録モードと認識モードがあるとしたが、登録モードは必ずしも必須ではない。登録画像に対して、登録モードで行うのと同等の処理をあらかじめオフラインで行って特徴量画像を算出し、登録特徴量画像格納部１０５に格納しておくことで代替しても良い。

本実施形態で示した特徴量画像は、図５の説明図式、式（３）および式（４）によって求められる４ビットＬＢＰ値で構成される４ビットＬＢＰ画像とした。しかし、４ビットＬＢＰ値の算出の方法は、上記手法にこだわる必要はない。特徴量算出手法として、注目画素に対して、互いに点対称の位置にある２つの近傍画素に対しては、いずれか一方のみを特徴量画像生成に用いるようにすることが本発明の特徴である。従って、そのように構成されている特徴量画像生成手法であれば手法は問わない。

例えば、図７のＳ８０３のステップに対応した図５のＬＢＰ値の算出において、上述の説明では式（３）の処理を行ってＬＢＰ値を算出した。しかし、次の式（６）によって算出したものでもよい。式（６）と式（３）では、ＬＢＰ値算出の際に、注目画素と近傍画素との大小関係に応じて加算する、各近傍画素インデックスに対応する加算値（２のべき乗で表される値）が異なる。この近傍画素インデックスに対応して加算する加算値のことを重み値と呼ぶ。式（４）では、近傍画素インデックス３（注目画素の左上の画素を示す）に対応する重み値は、２^３（＝８）であるが、式（４）では、２^０（＝１）となる。

もちろん、近傍画素インデックスと重み値の対応は上記の例に限らない。近傍画素インデックス３、２、１、０に対して、式４では、それぞれ８、４、２、１の重み値が対応し、式（６）では、それぞれ１、２、４、８の重み値が対応しているが、近傍画素インデックスと重み値の対応は、任意に設定できる。

また、重み値は２のべき乗の値に限る必要もない。算出されたＬＢＰ値と、各近傍画素インデックスに対応する重み値とがわかり、注目画素と各近傍画素との大小関係が逆算できるように設定されていればよい。このようにして、本発明の手法により算出された４ビットＬＢＰ画像から８ビットＬＢＰ画像を算出することができる。

＜実施例２＞
続いて、本発明の画像処理手法を用いた検出システムについて説明する。本実施形態では、本発明の画像処理手法をパターン検出手法に適用する例を示す。特にパターン検出のアプリケーションとして、「目（人間の目）」の検出に用いる場合を示す。つまり、入力された画像中に目が在るか、あるいは目が無いかを検出する画像処理手法に適用する例を示す。

説明を簡単にするため、本実施形態においても取り扱う画像は全てグレースケール画像（輝度画像）であると仮定する。

図９は、実施形態２における目の検出システムのブロック図である。目検出システム１００９には、処理画像が入力され、検出処理結果が出力される。検出処理結果としては、処理画像中に目が存在すると判断すれば、その位置を特定する情報が出力される。目が処理画像中に存在しないと判断すればその旨が出力される。

画像処理部１０００は、処理画像に対して、特徴量画像生成処理を行い、実施形態１における認識モード時の復元された８ビットＬＢＳ特徴量画像を出力する。この手順は、実施形態１の画像処理部１００の認識モード時の手順と同じである。ここで、画像処理部１００に入力される画像が、切出し正規化画像か、処理画像かという違いがあるが、処理内容には違いはない。従って、画像処理部１０００の詳細な説明は省略する。

検出対象領域切出し部１００２は、一部の特徴量画像に対して、所定のサイズの検出ウインドウをスキャンさせて、そのスキャン位置での検出ウインドウ内の特徴量画像を切出す処理を行う。検出ウインドウのサイズで切出された領域を検出ウインドウ領域と呼ぶ。検出対象領域切出し部１００２は、特徴量画像中から切出した検出ウインドウの位置を統合判断部１００７に出力し、切出した検出ウインドウ領域を第２相関演算手段である相関演算部１００６に出力する。

登録特徴量画像格納部１００５に、検出対象である目の４ビットＬＢＰ検査特徴量画像を格納しておく。これにより、格納するための容量は、通常の容量に比べて半減することが可能と成る。目の特徴量画像は、例えば以下のように作成する。

まず、概ね同サイズの目が写っている検出ウインドウと同じサイズの画像を多数用意し、その平均画像を作成する。その平均画像に対して画像処理部１０００と同様の処理を行い、目の特徴量画像とする。これを登録特徴量画像格納部１００５に格納しておく。

登録特徴量画像格納部１００５に格納されている４ビット検査特徴量画像は、相関演算部１００６に出力される。

相関演算部１００６は、登録特徴量画像格納部１００５から出力される４ビットＬＢＰの登録された検査特徴量画像を８ビットに復元し、検出対象領域切出し部１００２から出力された検出ウインドウ領域の８ビットＬＢＰと復元された検査特徴量画像との相関演算を行う。復元の方法は、図４の説明で述べた。また、相関演算いついては、実施形態１と同様に行われるが、次の点が異なる。すなわち、実施形態１では、対象パターンを認識するため、１つの４ビット特徴画像に対して、複数の登録画像との相関演算をおこなった。実施形態２では、相関演算は、検出対象領域切出し部１００２から新たな検出ウインドウ領域が出力される毎に行われる。つまり、検出対象領域切出し部１００２において、生成した特徴量画像に対して検出ウインドウの移動が行われる毎に相関値が算出される。算出された相関値は、統合判断部１００７に出力される。

統合判断部１００７は、相関演算部１００６から送られてくる相関値から、検出ウインドウ領域内に目が存在するか否かを判断する。すなわち、第２相関演算部１００６と統合判断部１００７を含む第２判断手段（不図示）は、登録された複数の検査特徴量画像の中に、抽出された特徴量画像が含まれているか否かを判断する。この判断の手法に関しては特に問わないので公知の手法を用いればよい。本実施形態では、入力される相関値が所定の閾値を超えた場合、目が検出ウインドウ領域に存在すると判断する。所定の閾値を超えない場合、検出ウインドウ領域に目が存在しないとの判断を行う。特徴量画像中の検出ウインドウの位置と、その位置において切出された検出ウインドウに対する検出対象（本実施形態では目）の有無判断とから、処理画像中のどの位置に検出対象が存在するかが検出できる。以上が、本発明の画像処理を用いた目の検出システムの説明である。このように、実施形態２の構成により、目のようなパターン検出が可能になるという効果を奏する。

＜実施形態３＞
本実施形態では、実施形態１および２で示した画像処理方法を実行するハードウエア構成について説明する。

図１０は、本発明の実施例に係わる情報処理装置のコンピュータのハードウエア構成を説明するブロック図である。図において、ＣＰＵ（１１００）は中央演算装置で、実施形態１および２で説明した画像処理方法をコンピュータプログラムに従って実行する。プログラムメモリ１１０１は、ＣＰＵ１１００により実行されるプログラムが記憶されている。ＲＡＭ１１０２は、ＣＰＵ１１００によるコンピュータプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ハードディスク１１０３は、画像ファイルや登録画像の特徴量画像などを保存するための記憶媒体である。ディスプレイ１１０４は、本実施形態の処理結果をユーザに提示する装置である。制御バス・データバス１１０５は、以上の各部とＣＰＵ１１００とを接続し、通信・制御を行うためのインタフェースである。

このような構成のハードウエアを用いることにより、本発明による画像処理方法を実行することができる。

上記のハードウエア構成は、画像処理方法の全てをＣＰＵ１１００の処理によって行う場合であるが、もちろん一部の処理を専用ハードウエアに置き換えることも可能である。例えば、画像処理部１００、１０００で行われる処理を専用ハードウエアで行う、といったことも可能である。

＜他の実施形態＞
これまで説明してきた実施形態では、特徴量画像生成処理において量子化する場合、輝度差分値の符号（つまり０との比較）に応じて量子化していた。しかし、本発明の量子化はこれに限るものではない。例えば、輝度差分値とある所定の閾値とを比較して、量子化するものでもよい。

また、輝度差分値として、近傍画素の輝度値から、注目画素の輝度値を引いたものとしていたが、逆に注目画素の輝度値から、近傍画素の輝度値を引いたものとしてもよい。

また、量子化レベルを２の場合についてのみ説明を行ったが、量子化レベルの数はこれに限るものではない。例えば、輝度差分値が正、零、負の場合の３レベルで量子化してもよい。例えば３レベルで量子化（輝度差分値が正の場合２、ゼロの場合１、負の場合０に量子化）する場合には、式（７）と式（８）を用いて、それぞれの量子化値に対し、３のべき乗で重み値を与えれば良い。このように量子化すれば、注目画素と近傍画素の輝度値が等しい場合が、等しくない場合と区別して量子化されるため、従来のＬＢＰ画像を完全に復元することが可能である。

注目画素と近傍画素の位置関係も、これまで説明してきた実施形態１から３で示したものに限らない。特徴量算出手法として、注目画素に対して、互いに点対称の位置にある２つの近傍画素に対しては、いずれか一方のみを特徴量画像生成に用いるようにすることが本発明の特徴である。従って、そのように構成されている特徴量画像生成手法であれば手法は問わない。

これまで説明した実施形態では、認識や検出に用いる特徴量画像として４ビットＬＢＰ画像を使用する例を示した。本発明により算出された４ビットＬＢＰ画像は、従来の８ビットＬＢＰ値から構成される８ビットＬＢＰ画像とほぼ同等の情報量を有する。

従来のＬＢＰ値算出手法には、８ビットに限らず４ビット（注目画素の最近傍４画素を近傍画素とする。本発明による４ビットとは異なる点に注意）や１６ビット、２４ビット等が存在する。

図１１は、これまでのＬＢＰ値算出手法による処理ウインドウ（太線）内の注目画素と近傍画素の様子を示している。図の各画素に割り振られている番号は、近傍画素を区別するためのインデックスであり、番号が割り振られていない画素は、処理ウインドウ内にあるが近傍画素としては用いられない画素を示している。図１１の上段において、符号１２００、１２０１および１２０３で示す枠内には、従来のＬＢＰ値算出手法による４ビット、１６ビット、２４ビットＬＢＰ値が示されている。

これに対して、図１１の下段に示すように、符号１３００、１３０１および１３０２で示す枠内には、本発明によるＬＢＰ値算出手法により、ビット数がそれぞれ半分になることが示されている。すなわち、２ビット、８ビット、１２ビットＬＢＰ値となる。ここでの従来４ビットＬＢＰ値は、本発明の定義による４ビットＬＢＰ値と異なる点に注意されたい。

これまで説明してきた実施形態では、例えば、符号１３０１のように近傍画素と注目画素とは隣接画素であったが、それに限らない。近傍画素は注目画素の近傍にあればよい。また処理ウインドウのサイズにも限定はなく、符号１３０１や１３０２のように５×５のサイズでもよい。

更に、各近傍画素に割り振られているインデックスは、各近傍画素を区別するだけのものであるので、割り振りかたは、本発明の画像処理手法を実装する際に、やりやすいように割り振ればよい。また、重み値（近傍画素インデックスに対応して加算する加算値）は、実施例で示したように、近傍画素インデックスと量子化値とから論理演算で算出しても良いし、テーブルとしてメモリに持つものでも良い。

論理演算で重み値を算出する場合、重み値を２のべき乗に限定すれば、量子化した結果得られる量子化値（１或いは０）を、シフト演算すれば得られる。この場合には、近傍画素インデックスごとにどれだけシフトするかを記憶しておけばよく、重み値そのものを記憶する必要は無くなる。また、これまで説明してきた実施形態では、認識システムや検出システムに輝度画像を入力していたが、入力するのは輝度画像に限らない。例えばカラー画像に対して認識／検出を行いたい場合は、認識システムや検出システムの前段に、色チャネルを輝度に変換する処理を入れれば良い。或いは、認識システムや検出システムの中で、認識／検出に都合のよい輝度画像に変換する処理を行い、画像処理部に投入してもよい。更に、各色チャネルに対して独立に実施例で示した処理を行い、認識システムや検出システムの後段で各色チャネルでの出力結果を統合するものでもよい。

また、これまで説明してきた実施形態では、認識結果或いは検出結果を得るために、ＬＢＰ画像同士の相関演算、つまり予め登録してあるＬＢＰ画像と現在入力してきたＬＢＰ画像との相関演算を行った。これについては、図１の第１相関演算部１０６および図１０の第２相関演算部１００６を参照いただきたい。しかしながら、本発明によるＬＢＰ画像を用いて、認識結果或いは検出結果を得る手法はこれに限らない。

例えば、本発明により算出したＬＢＰ画像から、各ＬＢＰ画素のＬＢＰ値をビンのラベルとするようなヒストグラムを作成し、そのヒストグラム同士を比較するような手法でも良い。つまり、予め登録してあるＬＢＰ画像から作成したヒストグラムと現在入力してきたＬＢＰ画像から作成したヒストグラムを比較するような手法でも良い。比較の方法はヒストグラムインタセクション等、既存の手法を用いればよい。

更にヒストグラムを作成する際に、本発明により算出したＬＢＰ画像から、一旦従来手法で算出されるＬＢＰ画像に復元してからヒストグラムを作成してもよい。例えば本発明による４ビットＬＢＰ画像から、従来手法による８ビットＬＢＰ画像を復元し、従来の８ビットＬＢＰ画像のＬＢＰ値をビンのラベルとするようなヒストグラムを作成してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 処理画像から注目画素を選択し、該注目画素から所定範囲内に存在する複数の近傍画素の各々とを比較し輝度値の差を算出する輝度値差算出手段と、
   前記輝度値差算出手段により算出された輝度値の差と前記注目画素と該複数の近傍画素の各々との相対的位置関係とに基づいて特徴量を算出し特徴量画像を生成する特徴量生成手段とを備え、
   前記輝度値差算出手段が、前記注目画素に関して互いに点対称の位置にある２つの近傍画素については、いずれか一方の近傍画素に関して前記注目画素との差を算出することを特徴とする画像処理装置。
2. 前記点対称の位置にある２つの近傍画素のうち前記注目画素との差を算出しなかった画素の輝度値の差を、該差を算出しなかった画素に対して前記特徴量生成手段が算出した特徴量から算出する復元手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量生成手段は、前記注目画素と前記複数の近傍画素の各々との相対的位置関係に応じて異なる重み値を設定し、前記注目画素と前記複数の近傍画素の各々との間を比較した輝度値の差に前記重み値を乗じて加算することを特徴とする請求項１に記載の画像処理装置。
4. 前記重み値は、２のべき乗を用いて設定されることを特徴とする請求項３に記載の画像処理装置。
5. 前記特徴量生成手段は、前記輝度値の差に基づいて量子化する処理を含むことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記特徴量生成手段により生成された複数の特徴量画像を登録する登録特徴量画像格納手段と、
   前記特徴量生成手段により生成された特徴量画像と前記登録された複数の検査特徴量画像との間に相関があるか否かを判断する相関演算手段と
   を更に備え、パターン認識を行うことを特徴とする請求項１に記載の画像処理装置。
7. 処理画像から注目画素を選択し、該注目画素から所定範囲内に存在する複数の近傍画素の各々とを比較し輝度値の差を算出する輝度値差算出工程と、
   前記算出された輝度値の差と前記注目画素と該複数の近傍画素の各々との相対的位置関係とに基づいて特徴量を生成する特徴量生成工程とを備え、
   前記輝度値差算出工程が、前記注目画素に関して互いに点対称の位置にある２つの近傍画素については、いずれか一方の近傍画素に関して前記注目画素との差を計算することを特徴とする画像処理の方法。
8. 請求項７に記載の各工程をコンピュータに実行させるプログラム。

Images