JP2005275916A - 画像認識装置及び画像認識方法 - Google Patents

Abstract

【課題】 認識対象物を高精度に認識することができる画像認識装置及び画像認識方法を提供することを課題とする。
【解決手段】 撮像画像から対象物を認識する画像認識装置１であって、撮像手段２と、認識対象物の所定部分の参照画像を低解像度の画像に変換し、当該低解像度に変換した画像と参照画像との各画素間の差分をとった参照画像を保持する保持手段１３と、撮像手段で撮像した撮像画像を低解像度の画像に変換する低解像度変換手段１０と、撮像手段で撮像した撮像画像と低解像度変換手段で変換した低解像度画像との各画素間の差分をとり、差分画像を生成する差分手段１１と、差分手段で生成した差分画像と保持手段で保持している参照画像とに基づいて認識対象物か否かを判定する判定手段１４，１５とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、撮像画像から認識対象物を認識する画像認識装置及び画像認識方法に関する。

個人認証等に利用するために、撮像画像から人間の顔を検出する装置が開発されている。顔検出装置では、顔を撮像した画像からエッジを検出し、このエッジ形状に基づいて顔を検出している（特許文献１参照）。
特開平１０−６３８５０号公報

しかしながら、撮像する際の照明等の様々な条件により撮像画像から安定したエッジが得られるとは限らないので、顔を検出するために必要なエッジ形状が得られない場合には顔を検出できない。また、個人毎に顔の特徴となる部分（目、鼻、口等）の形状や位置が異なるので、人によっては顔を検出できない場合がある。

そこで、本発明は、認識対象物を高精度に認識することができる画像認識装置及び画像認識方法を提供することを課題とする。

本発明に係る画像認識装置は、撮像手段と、認識対象物の所定部分の参照画像を低解像度の画像に変換し、当該低解像度に変換した画像と参照画像との各画素間の差分をとった参照画像を保持する保持手段と、撮像手段で撮像した撮像画像を低解像度の画像に変換する低解像度変換手段と、撮像手段で撮像した撮像画像と低解像度変換手段で変換した低解像度画像との各画素間の差分をとり、差分画像を生成する差分手段と、差分手段で生成した差分画像と保持手段で保持している参照画像とに基づいて認識対象物か否かを判定する判定手段とを備えることを特徴とする。

この画像認識装置では、保持手段に認識対象物の所定部分の参照画像に低解像度変換手段及び差分手段で行う同様の処理を施した参照画像を保持しておく。画像認識装置では、撮像手段によりある対象物を撮像し、撮像画像を取得する。そして、画像認識装置では、低解像度変換手段により撮像画像を低解像度に変換する。この低解像度画像では、撮像画像において隣接する画素間で輝度値等の画像情報の値に差がない箇所（つまり、画像情報の値が一様な箇所）では各画素には撮像画像における値と同程度の値が設定されるが、撮像画像において隣接する画素間で画像情報の値に差がある箇所（つまり、画像情報の値が変化している箇所）では各画素には撮像画像における値とは異なる値が設定されている。さらに、画像認識装置では、差分画像により撮像画像と低解像度画像とにおいて対応する画素間の差分をとる。この差分画像では、撮像画像において隣接する画素間で画像情報の値に差がない箇所では２つの画像間の各画素の画像情報の値に差がでないが、撮像画像において隣接する画素間で画像情報の値に差がある箇所では２つの画像間の各画素の画像情報の値に差がでる。つまり、１つの撮像画像に基づいて、２つの解像度の異なる画像から撮像画像における画像情報の値が変化する箇所を検出しており、エッジを確実に検出することができる。そして、画像認識装置では、判定手段により差分画像（エッジ画像）と参照画像（エッジ画像）とに基づいて認識対象物か否かを判定する。エッジを用いて判定を行うので、２つのエッジ画像間でエッジが重なる箇所だけ相関が強くなり、２つのエッジ画像で同様のエッジの形状がある箇所では相関が非常に強くなる。このように、画像認識装置では、画像情報の値が一様な箇所（例えば、背景、認識対象物が人物の場合には肌、自動車の場合にはボディ）の情報を抜いたエッジ画像を用いて認識を行うことにより、撮像画像において参照画像におけるエッジ形状と同様の部分が存在するか否かを確実に判定でき、認識対象物を高精度で認識することができる。また、画像認識装置では、撮像画像における対象物の特徴部分（エッジとして検出される部分）と参照画像における特徴部分との形状や位置が多少異なっていても、多少ずれながらもエッジ同士は重なるので、認識可能があり、１枚の参照画像で認識対象物を認識可能である。例えば、人物の顔を認識する場合、個人毎に顔の特徴部分（目、鼻、口等）の形状や位置が異なっているが、ある一人の顔の参照画像により任意の人物の顔を認識することができる。このように、画像認識装置は、認識対象物の特徴部分の位置関係や形状の差にも強い認識装置である。

なお、認識対象物の所定部分の参照画像については、認識対象物の全体の画像でもよいし、あるいは、認識対象物の一部分の画像でもよい。一部分の場合、認識対象物の特徴的な部分であり（例えば、認識対象物が人物の顔の場合には、目、鼻、口等）、その個数については単数でも複数でもよいが、複数の方が認識対象物の認識精度が高くなる。また、認識対象物の全体の参照画像より、認識対象物の一部分の参照画像の方が認識精度が高くなる。

本発明の上記画像認識装置では、差分手段で生成した差分画像の各画素の情報に当該画素の周りの画素の情報を累積し、累積画像を生成する累積手段を備え、判定手段では、累積手段で生成した累積画像と保持手段で保持している参照画像とに基づいて認識対象物か否かを判定する構成としてもよい。

この画像認識装置では、累積手段により差分画像の各画素の画像情報に当該画素の周りの画素の画像情報を累積し、判定手段においてこの累積画像（エッジ画像）と参照画像（エッジ画像）を用いて認識対象物か否かを判定する。累積画像では、各画素にはその周辺の画素の画像情報の値が加味された値が設定されるので、差分画像における各画素の画像情報の値がなまされる。したがって、差分画像にノイズがある場合にはそのノイズを抑制することができる。

本発明に係る画像認識方法は、撮像画像から認識対象物を認識する画像認識方法であって、認識対象物の所定部分の参照画像を低解像度の画像に変換し、当該低解像度に変換した画像と参照画像との各画素間の差分をとった参照画像を予め保持し、撮像画像を低解像度の画像に変換する低解像度変換ステップと、撮像画像と低解像度変換ステップで変換した低解像度画像との各画素間の差分をとり、差分画像を生成する差分ステップと、差分ステップで生成した差分画像と保持している参照画像とに基づいて認識対象物か否かを判定する判定ステップとを含むことを特徴とする。

本発明の上記画像認識方法では、差分ステップで生成した差分画像の各画素の情報に当該画素の周りの画素の情報を累積し、累積画像を生成する累積ステップを含み、判定ステップでは、累積ステップで生成した累積画像と保持している参照画像とに基づいて認識対象物か否かを判定する構成としてもよい。

上記した各画像認識方法では、上記した画像認識装置と同様の作用効果を奏する。

本発明によれば、認識対象物を高精度に認識することができる。

以下、図面を参照して、本発明に係る画像認識装置及び画像認識方法の実施の形態を説明する。

本実施の形態では、本発明を、顔検出装置に適用する。本実施の形態に係る顔検出装置では、検出対象が任意の人物の顔であり、撮像画像に人物の顔が存在するか否かを検出する。なお、本実施の形態では、各画像のデータを画素単位で取り扱い、座標系としては画素単位の（ｘ，ｙ）とする。

図１〜図５を参照して、顔検出装置１の構成について説明する。図１は、本実施の形態に係る顔検出装置の構成図である。図２は、図１の低解像度画像生成部の説明図である。図３は、図１の画像間絶対値差分演算部の説明図である。図４は、図１の累積演算部の説明図である。図５は、図１の画像間類似度評価部の説明図である。

顔検出装置１では、人物の顔全体又は顔の特徴部分（例えば、目、鼻、口）のエッジからなる参照エッジ画像を保持している。顔検出装置１では、撮像画像からエッジを検出し、このエッジ画像と参照エッジ画像とに基づいて撮像画像に人物の顔が存在するか否かを判定する。そのために、顔検出装置１は、カメラ２及び画像ＥＣＵ[Electronic Control Unit]３を備えており、画像ＥＣＵ３内に低解像度画像生成部１０、画像間絶対値差分演算部１１、累積演算部１２、参照エッジ画像データベース１３、画像間類似度評価部１４、顔判定部１５が構成される。

なお、本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、低解像度画像生成部１０が特許請求の範囲に記載する低解像度変換手段に相当し、画像間絶対値差分演算部１１が特許請求の範囲に記載する差分手段に相当し、累積演算部１２が特許請求の範囲に記載する累積手段に相当し、参照エッジ画像データベース１３が特許請求の範囲に記載する保持手段に相当し、画像間類似度評価部１４及び顔判定部１５が特許請求の範囲に記載する判定手段に相当する。

カメラ２は、例えば、ＣＣＤ[Charge Coupled Device]カメラである。カメラ２では、ある対象物を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[Red Green Blue]による画像）を取得する。例えば、図７（ａ）に示すような、撮像画像である。カメラ２では、その撮像画像のデータを画像ＥＣＵ３に送信する。なお、カメラ２はカラーであるが、少なくとも輝度情報が得られればよいので、白黒のカメラでもよい。

画像ＥＣＵ３は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなり、顔検出装置１の各処理部及びデータベースが構成される。画像ＥＣＵ３では、ある人物の顔全体の参照エッジ画像又は人物の顔の特徴部分の参照エッジ画像を保持している。特徴部分の参照エッジ画像の場合、特徴部分としては目部分、鼻部分、口部分等であり、この特徴部分のうちの単一部分又は複数部分の参照エッジ画像を保持している。画像ＥＣＵ３では、カメラ２から撮像画像のデータを取り入れ、撮像画像からエッジ画像を生成する。そして、画像ＥＣＵ３では、生成したエッジ画像と保持している参照エッジ画像とに基づいて撮像画像に顔が存在するか否かを判定する。

低解像度画像生成部１０では、撮像画像ＰＩから４×４の１６個の画素からなる領域を他の領域と接するように、撮像画像ＰＩ全体にわたって順次切り出す（図２参照）。そして、低解像度画像生成部１０では、切り出した領域毎に、その各領域の１６個の画素の輝度値の平均値を算出し、その算出した平均値を切り出した領域の１６個の画素にそれぞれ設定し、低解像度画像ＬＩを生成する（図２参照）。低解像度画像ＬＩは、撮像画像ＰＩを低い解像度に変換したものであり、カメラ２より低解像度のカメラで撮像した撮像画像に相当する画像である。低解像度画像ＬＩでは、４×４の１６個の画素からなる領域毎に、各領域の全ての画素に同じ値の輝度値が設定されている。また、低解像度画像ＬＩでは、撮像画像ＰＩにおいて人物の肌や背景等の隣接する画素間で輝度値が一様な領域ではその領域の各画素に撮像画像ＰＩにおける輝度値と同程度の値が設定されるが、撮像画像ＰＩにおいて顔の特徴部分や背景と顔の境界部分等の隣接する画素間で輝度値が変化する領域（つまり、エッジとして検出される箇所）ではその領域の各画素に撮像画像ＰＩにおける輝度値とは異なる値が設定される。なお、領域の単位としては、４×４ではなく、３×３、５×５等の他の単位としてもよい。

画像間絶対値差分演算部１１では、撮像画像ＰＩと低解像度画像ＬＩとの対応する位置の画素毎に、輝度値の差分の絶対値を算出する（図３参照）。そして、画像間絶対値差分演算部１１では、元の位置の画素にその算出した絶対値を設定し、差分画像ＤＩを生成する（図３参照）。撮像画像ＰＩにおいて人物の肌や背景等の隣接する画素間で輝度値が一様な箇所では撮像画像ＰＩと低解像度画像ＬＩとの間で輝度値に差がでないので、差分画像ＤＩではその箇所の画素に設定される差分の絶対値としては小さい値となる。一方、撮像画像ＰＩにおいて顔の特徴部分や背景と顔の境界部分等の隣接する画素間で輝度値が変化する箇所では撮像画像ＰＩと低解像度画像ＬＩとの間で輝度値に差がでるので、差分画像ＤＩではその箇所の画素に設定される差分の絶対値としては大きい値となる。つまり、差分画像ＤＩは、撮像画像ＰＩのエッジを示す画像となる。

累積演算部１２では、差分画像ＤＩの画素毎に、その画素を中心とした円（例えば、半径４画素の円）内の画素の輝度値を累積し、その中心の画素に累積値を設定する（図４参照）。この累積値からなる画像が顔検出装置１におけるエッジ画像ＥＩであり、例えば、図７（ａ）の撮像画像に対するエッジ画像は図７（ｂ）のような画像となる。エッジ画像ＥＩは、各画素の周りの画素の輝度値を累積することにより差分画像ＤＩをなまらせた画像であり、差分画像ＤＩにノイズがある場合にはそのノイズを抑制した画像となる。ちなみに、撮像画像ＰＩにおける背景や人物の肌の部分でも照明等の影響により輝度値が一様となっていない箇所があり、その箇所がノイズとなって現れる。なお、輝度値を累積する範囲としては、半径４画素の円以外にも半径３画素の円、半径５画素の円等の半径を異なる円としてもよいし、あるいは、円ではなく正方形等の他の形の範囲としてもよい。

参照エッジ画像データベース１３は、ＲＯＭ内に構築され、参照エッジ画像ＲＥＩのデータを格納している。参照エッジ画像ＲＥＩは、参照画像に対して低解像度画像生成部１０、画像間絶対値差分演算部１１及び累積演算部１２と同様の処理を施した画像であり、画素毎の輝度値で表されるエッジ画像である。参照画像は、ある人物の顔全体又はその顔の特徴となる部分の画像であり、特徴部分としては目、鼻、口等である。これ以外でも、耳、眉毛等の他の特徴部分の参照画像を用いてもよい。特徴部分を参照画像とする場合、単一の特徴部分でもよいし、複数の特徴部分でもよい。本実施の形態では、特定の人物の顔を認識するのではなく、人物の顔か否かを判別するので、参照画像を作成するための顔画像としては、一般的な人物の顔を撮像した撮像画像でもよいし、あるいは、多数の人物の顔の画像を収集し、その平均的な形や大きさをした目、鼻、口からなる人物の顔画像を作成してもよい。なお、カメラ２で必ずしも正面を向いている顔を撮像できない場合、様々な向きをした顔の平均的な顔画像を作成し、その平均的な顔画像から参照画像を作成してもよい。また、顔は様々な表情するので、様々な表情をした顔の平均的な顔の画像を作成し、その平均的な顔画像から参照画像を作成してもよい。

図６（ａ）に、参照画像となる顔画像の一例を示す。この参照画像は、ある人物の顔全体を真正面から撮像した撮像画像である。図６（ｂ）には、図６（ａ）の参照画像に対する参照エッジ画像である。この参照エッジ画像は、参照画像から低解像度画像を生成し、その低解像度画像と参照画像とから各画素間の輝度値の差分の絶対値ならなる差分画像を生成し、その差分画像の各画素に対してその周辺の輝度値を累積することにより作成された画像である。なお、この参照エッジ画像から目の部分、鼻の部分、口の部分等を切り出すことにより特徴部分の参照エッジ画像を作成できるし、あるいは、参照画像から部分、鼻の部分、口の部分等を切り出し、その切り出した各領域画像に対して各処理を施すことにより特徴部分の参照エッジ画像を作成できる。

画像間類似度評価部１４では、参照エッジ画像データベース１３から参照エッジ画像ＲＥＩを抽出する。そして、画像間類似度評価部１４では、参照エッジ画像ＲＥＩとエッジ画像ＥＩとの間で、式（１）により、対応する位置の画素毎に輝度値の差分の絶対値を算出し、参照エッジ画像ＲＥＩの全ての画素分の絶対値差分の総和を計算する（図５参照）。

式（１）において、Ｔ（ｘ，ｙ）はエッジ画像ＥＩの（ｘ，ｙ）の位置の画素の輝度値であり、Ｓ（ｘ，ｙ）は参照エッジ画像ＲＥＩの（ｘ，ｙ）の位置の画素の輝度値である。参照エッジ画像ＲＥＩのサイズをｘ方向をｍ画素、ｙ方向をｎ画素とすると、ｍ×ｎ個の差分の絶対値が算出され、ｍ×ｎ個の絶対値差分が積算される。したがって、エッジ画像ＥＩと参照エッジ画像ＲＥＩとの類似度が高いほど（相関があるほど）、絶対値差分総和値は小さくなり、エッジ画像ＥＩと参照エッジ画像ＲＥＩとが一致する場合には絶対値差分総和値は０になる。

なお、参照エッジ画像ＲＥＩは顔全体の画像の場合と特徴部分の画像の場合がある。参照エッジ画像ＲＥＩが顔全体の画像の場合、エッジ画像ＥＩの中心点（ｘｃ，ｙｃ）をｘ方向又はｙ方向に１画素ずつずらしながら、全画素に対して絶対値差分総和値を求める。一方、参照エッジ画像ＲＥＩが特徴部分の画像の場合、切り出す領域の中心点（ｘｃ，ｙｃ）をｘ方向又はｙ方向に１画素ずつずらしながら、エッジ画像ＥＩから参照エッジ画像ＲＥＩと同一のサイズの領域を切り出し（図５参照）、全画素に対して絶対値差分総和値を求める。特徴部分の参照エッジ画像ＲＥＩが複数ある場合、各参照エッジ画像ＲＥＩに対して同じ処理を行う。

さらに、画像間類似度評価部１４では、輝度値の最大値からその絶対値差分総和値を減算し、エッジ画像ＥＩと参照エッジ画像ＲＥＩとの類似度を示す輝度値を求める。したがって、エッジ画像ＥＩと参照エッジ画像ＲＥＩとの類似度が高いほど、輝度値は大きくなり、エッジ画像ＥＩと参照エッジ画像ＲＥＩとが一致する場合には輝度値の最大値となる。そして、画像間類似度評価部１４では、絶対値差分総和値を求める際に中心点とした各座標（ｘｃ，ｙｃ）にその輝度値をそれぞれ設定していき、類似度評価マップＳＭを生成する（図５参照）。類似度評価マップＳＭは、全ての画素に参照エッジ画像ＲＥＩとの類似度である輝度値を配列させたマップであり、エッジ画像ＥＩと参照エッジ画像ＲＥＩにおいてエッジが重なった箇所の輝度値が大きくなる。類似度評価マップＳＭは、画面に表示すると、類似度が高いほど輝度値が大きくなるので、その箇所が白くなる。また、参照エッジ画像ＲＥＩが顔全体の画像の場合、類似度評価マップＳＭでは、エッジ画像ＥＩ全体が参照エッジ画像ＲＥＩ全体と類似するようなエッジを有すると、顔全体が位置する中心部で類似度がピークとなる。一方、参照エッジ画像ＲＥＩが特徴部分の画像の場合、類似度評価マップＳＭでは、エッジ画像ＥＩが参照エッジ画像ＲＥＩと類似するエッジ部分を有すると、その特徴部分が位置する中心部で類似度がピークとなる。特徴部分の参照エッジ画像ＲＥＩが複数ある場合、参照エッジ画像ＲＥＩ毎に類似度評価マップＳＭを生成する。

顔判定部１５では、類似度評価マップＳＭの全ての画素の輝度値を閾値と比較し、輝度値が閾値より大きい画素がある場合には撮像画像ＰＩに顔が存在すると判定し、輝度値が閾値より大きい画素がない場合には撮像画像ＰＩに顔が存在しないと判定する。さらに、顔判定部１５では、類似度評価マップＳＭにおいて類似度が閾値より大きくなった画素の位置を検出し、この位置から撮像画像ＰＩに存在する顔の位置を特定する。参照エッジ画像ＲＥＩが顔全体の画像の場合にはその検出された位置が顔の中心位置であり、参照エッジ画像ＲＥＩが特徴部分の画像の場合にはその検出された位置がその特徴部分の中心位置である。例えば、図７（ｃ）には、図７（ａ）の撮像画像ＰＩに顔が存在したとする判定結果を示しており、特定された顔の位置を実線の長方形で囲んでいる。なお、特徴部分の参照エッジ画像ＲＥＩが複数ある場合、複数の類似度評価マップＳＭがあるので、各類似度評価マップＳＭに対して比較を行い、全ての類似度評価マップＳＭに対する比較において輝度値が閾値より大きい画素がある場合のみ撮像画像ＰＩに顔が存在すると判定する。

図１を参照して、顔検出装置１における動作を説明する。顔検出を行う前に、ある人物の顔の撮像した撮像画像を用意する。そして、その顔全体または顔の特徴となる部分（目、鼻、口等）の画像に対して低解像画像生成処理、画像間絶対値差分演算処理及び累積演算処理を行い、参照エッジ画像ＲＥＩを作成し、その参照エッジ画像ＲＥＩのデータ（画素毎の輝度値）を参照エッジ画像データベース１３に格納しておく。

カメラ２により、ある対象物を正面から撮像し、その撮像画像ＰＩのデータを画像ＥＣＵ３に送信する。画像ＥＣＵ３では、撮像画像ＰＩを低解像度に変換し、低解像度画像ＬＩを生成する。続いて、画像ＥＣＵ３では、撮像画像ＰＩと低解像度画像ＬＩとの間の各画素の輝度値の差分の絶対値を算出し、差分画像ＤＩを生成する。さらに、画像ＥＣＵ３では、差分画像ＤＩの各画素の輝度値に周辺の画素の輝度値を累積し、エッジ画像ＥＩを生成する。

次に、画像ＥＣＵ３では、参照エッジ画像データベース１３から参照エッジ画像ＲＥＩを取り出す。そして、画像ＥＣＵ３では、エッジ画像ＥＩの全ての画素それぞれを中心座標（ｘｃ，ｙｃ）として、参照エッジ画像ＲＥＩとの類似度を示す輝度値をそれぞれ算出する。さらに、画像ＥＣＵ３では、その算出した輝度値をその中心座標（ｘｃ，ｙｃ）にそれぞれ設定し、類似度評価マップＳＭを生成する。画像ＥＣＵ３では、参照エッジ画像ＲＥＩの枚数に応じて類似度評価マップＳＭを生成する。エッジ画像ＥＩにおいて参照エッジ画像ＲＥＩと同様の形状のエッジが存在する場合、類似度評価マップＳＭでは、参照エッジ画像ＲＥＩが顔全体の画像の場合には顔の中心となる位置において輝度値がピークとなり、参照エッジ画像ＲＥＩが特徴部分の画像の場合にはその特徴部分の中心となる位置において輝度値がピークとなる。

最後に、画像ＥＣＵ３では、類似度評価マップＳＭの全ての画素の輝度値を閾値と比較し、閾値より大きい画素がある場合には撮像画像ＰＩには人物の顔が存在すると判定し、閾値より大きい画素がない場合には撮像画像ＰＩには人物の顔が存在しないと判定する。人物の顔が存在すると判定した場合、画像ＥＣＵ３では、輝度値が閾値より大きくなる位置を検出し、この位置から撮像画像ＰＩにおいて顔の存在する位置を特定する。なお、類似度評価マップＳＭが複数ある場合、画像ＥＣＵ３では、各類似度評価マップＳＭに対して比較を行い、全ての類似度評価マップＳＭとの比較において閾値より大きい画素がある場合にのみ撮像画像ＰＩに人物の顔があると判定する。

この顔検出装置１によれば、撮像画像とその撮像画像の低解像度画像との間の各画素の輝度値の差分の絶対値を求めることにより、撮像画像から安定したエッジを検出することができる。さらに、顔検出装置１によれば、撮像画像によるエッジ画像と参照画像による参照エッジ画像との類似度を求めることにより、撮像画像に人物の顔が存在するか否かを高い精度で判定できるとともに、撮像画像において顔の存在する位置を特定できる。エッジによって類似度を評価した場合、エッジの形状がほぼ重なるような箇所で類似度がピークとなるので、撮像画像と参照画像とにおいて同様の形状をした部分があるか否かを判定でき、ノイズもでにくい。特に、エッジ画像では人物の肌や背景等の輝度値が一様となる箇所の情報が排除され、目や鼻等の特徴部分の情報や顔と背景との境界部分等の輝度値が変化している箇所の情報が強調されるので、エッジ画像による類似度評価では撮像画像に顔の特徴部分や境界部分等があるか否かを判定できる。

また、顔検出装置１では、撮像画像における人物の顔の特徴部分（エッジとして検出される部分）と参照画像における人物の顔の特徴部分との形状や位置が多少異なっていても、エッジ画像を用いた類似度評価では、多少ずれながらもエッジ同士が重なるので、検出可能があり、１枚の参照エッジ画像で人物の顔を検出可能である。つまり、この顔検出装置１は、人物の顔の目や鼻等の位置関係や形状の差に強い顔検出装置であり、ある１人の顔の参照エッジ画像により任意の人物の顔を認識することができる。なお、特徴部分の参照エッジ画像を用いた方が顔全体の参照エッジ画像を用いた場合より検出精度が高く、特徴部分の参照エッジ画像の枚数が多いほど検出精度が高い。

また、顔検出装置１では、差分画像を生成後に各画素の輝度値をその周辺の画素の類似度で累積することにより、エッジ画像におけるノイズを抑制でき、検出精度が更に高くなる。さらに、顔検出装置１では、輝度値により類似度を示しているので、視覚的に類似度を評価できる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では人物の顔の認識に適用したが、自動車や動物等の様々のものの認識に適用可能である。人物を認識する場合、特定の個人を認証する個人認証にも適用可能であり、その場合にはその認識する個人の顔を撮像した顔画像の参照エッジ画像を作成する。

また、本実施の形態では差分画像を生成後に、差分画像に対して累積演算処理を施す構成としたが、累積演算処理を行わない構成としてもよい。

また、本実施の形態では参照エッジ画像に対する類似度を輝度値としたが、輝度値ではなく、絶対値差分総和値自体を類似度としてもよいし、あるいは、他の手法により参照エッジ画像に対する類似度を求めてもよい。

また、本実施の形態では各処理において輝度値を用いたが、画像の他の値も用いて計算してもよい。例えば、彩度値、色合を用いてもよいし、あるいは、ＲＧＢ画像のＲ値、Ｇ値、Ｂ値を用いてもよい。

本実施の形態に係る顔検出装置の構成図である。 図１の低解像度画像生成部の説明図である。 図１の画像間絶対値差分演算部の説明図である。 図１の累積演算部の説明図である。 図１の画像間類似度評価部の説明図である。 図１の参照エッジ画像データベースに保持している参照エッジ画像の一例であり、（ａ）が参照エッジ画像を作成する元となる顔全体の参照画像の一例であり、（ｂ）が（ａ）図の参照画像に対する参照エッジ画像である。 図１の顔検出装置の処理過程の一例であり、（ａ）が撮像画像であり、（ｂ）がエッジ画像であり、（ｃ）が検出結果を示す撮像画像である。

符号の説明

１…顔検出装置、２…カメラ、３…画像ＥＣＵ、１０…低解像度画像生成部、１１…画像間絶対値差分演算部、１２…累積演算部、１３…参照エッジ画像データベース、１４…画像間類似度評価部、１５…顔判定部

Claims (4)

1. 撮像手段と、
   認識対象物の所定部分の参照画像を低解像度の画像に変換し、当該低解像度に変換した画像と参照画像との各画素間の差分をとった参照画像を保持する保持手段と、
   前記撮像手段で撮像した撮像画像を低解像度の画像に変換する低解像度変換手段と、
   前記撮像手段で撮像した撮像画像と前記低解像度変換手段で変換した低解像度画像との各画素間の差分をとり、差分画像を生成する差分手段と、
   前記差分手段で生成した差分画像と前記保持手段で保持している参照画像とに基づいて認識対象物か否かを判定する判定手段と
   を備えることを特徴とする画像認識装置。
2. 前記差分手段で生成した差分画像の各画素の情報に当該画素の周りの画素の情報を累積し、累積画像を生成する累積手段を備え、
   前記判定手段では、前記累積手段で生成した累積画像と前記保持手段で保持している参照画像とに基づいて認識対象物か否かを判定することを特徴とする請求項１に記載する画像認識装置。
3. 撮像画像から認識対象物を認識する画像認識方法であって、
   認識対象物の所定部分の参照画像を低解像度の画像に変換し、当該低解像度に変換した画像と参照画像との各画素間の差分をとった参照画像を予め保持し、
   撮像画像を低解像度の画像に変換する低解像度変換ステップと、
   撮像画像と前記低解像度変換ステップで変換した低解像度画像との各画素間の差分をとり、差分画像を生成する差分ステップと、
   前記差分ステップで生成した差分画像と前記保持している参照画像とに基づいて認識対象物か否かを判定する判定ステップと
   を含むことを特徴とする画像認識方法。
4. 前記差分ステップで生成した差分画像の各画素の情報に当該画素の周りの画素の情報を累積し、累積画像を生成する累積ステップを含み、
   前記判定ステップでは、前記累積ステップで生成した累積画像と前記保持している参照画像とに基づいて認識対象物か否かを判定することを特徴とする請求項３に記載する画像認識方法。

Images