JP2008257649A - 画像認識装置 - Google Patents

Abstract

【課題】 入力画像及び標準画像の双方から特徴点を抽出してその特徴量を算出し、双方の特徴量に基づき入力画像中の対象物（標準画像）を認識するにあたり、入力画像から対象物の特徴点を十分に抽出できない場合でも対象物を確実に認識できるようにする。
【解決手段】 予め標準画像から特徴点を抽出し、その特徴点の特徴量として、スケール不変特徴量にその特徴点の位置情報（ある基準点に対する当該特徴点の位置ベクトル）を付加したものを算出しておく。そして、入力画像中から特徴点を抽出してその特徴量を算出し、標準画像における特徴量と類似する特徴点同士を、対応点として設定する。そして、入力画像における各対応点（特徴点）毎に、対応する標準画像の特徴点の特徴量（位置情報等含む）に基づいて基準点を算出し、入力画像平面に投票する。ある小領域内に所定閾値以上の投票値があった場合は、入力画像中に対象物が存在していると判断する。
【選択図】 図１５

Description

本発明は、入力された画像から対象物を認識する画像認識装置に関する。

従来より、入力された画像から予め登録された標準画像（認識対象物）を認識する手法が種々提案されている。例えば、入力画像中から特徴点を抽出すると共にその特徴点に関する特徴量を算出し、その特徴量と標準画像中の特徴点の特徴量とを比較して、入力画像中に標準画像が存在しているか否かを判断する方法が知られている。

そして、上記のように入力画像と標準画像の双方で特徴量の比較を行う方法として、特に、画像の拡大や縮小、回転に拘わらず不変な特徴量を用いることで、標準画像に対して入力画像中の対象物のスケールや回転位置が異なっていてもその対象物を認識できるようにした方法が提案されている（例えば、特許文献１、非特許文献１参照。）。

上記各文献に記載の方法では、まず、入力画像に対し、ガウス関数を用いた画像平滑化を行う。具体的には、ガウス関数のスケールσを複数段階に変えた複数枚の平滑化画像を得る。

そして、スケールの異なる複数の平滑化画像に対してＤｏＧ（Difference of Gaussian）フィルタを適用し、そのＤｏＧフィルタ出力画像（ＤｏＧ画像）から極値を検出してこの極値となる点を特徴点候補点とする。なお、このとき極値となるＤｏＧ画像のスケールを、後で特徴量抽出の際に用いる。また、１つの入力画像に対してだけでなく、それを所定の縮小率で縮小した入力画像に対しても、同様にＤｏＧフィルタを用いた特徴点候補点の検出を行う。

なお、検出された特徴点候補点には、開口問題が発生しやすい点が含まれている可能性があるため、コントラストの低い点やエッジ上の候補点を削除し、より頑健な点を特徴点として抽出する。

そして、このようにして検出された各特徴点に対し、特徴量を算出する。ここで算出する特徴量は、スケール不変特徴量、特徴量を求める際のスケール情報（範囲）、及びその範囲の画像の回転情報で構成されている。スケール不変特徴量は、上記各文献に詳しく記載されている通り、画像の拡大や縮小、回転に拘わらず不変なものである。そのため、入力画像中に対象物が含まれていれば、それがどのような大きさ、回転位置で含まれていても、標準画像と入力画像の特徴量を比較することで、入力画像中の対象物（標準画像）を認識することができる。

即ち、標準画像中のある特徴点と入力画像中の全ての特徴点についてスケール不変特徴量の比較を行う。この比較を、標準画像中の全ての特徴点に対して行う。この結果、特徴量の一致又は類似する特徴点がある程度多ければ、入力画像中に対象物が存在していると判断できる。

例えば、標準画像中に特徴点が１００点ある場合に、その標準画像の各特徴点の特徴量と同じ又は類似する特徴量を有する特徴点が入力画像中から多数（例えば９０点以上）抽出された場合は、入力画像中に対象物が存在している可能性が非常に高いため、対象物が存在していると判断できる。逆に、一致又は類似する特徴点が少ない（例えば１０点以下）場合は、対象物が存在していない可能性が非常に高いため、対象物が存在していないと判断することができる。
特開２００６−６５３９９号公報 David G. Lowe,"Distinctive image features from scale-invariant keypoints", Journal of Computer Vision , 60 , 2 , pp.91-110 , 2004

しかしながら、入力画像中に対象物が存在していても、その対象物の特徴点を十分に抽出できない場合がある。そのような場合、対象物が存在しているにも拘わらず、標準画像の特徴量との比較において、特徴量の一致又は類似する特徴点が少ないため対象物は存在しないと誤判断されてしまうおそれがある。

このように、入力画像中に対象物が存在しているにも拘わらずその特徴点を十分に抽出できないケースとして、例えばオクルージョンがある。即ち、対象物が別の物体に隠れていて一部分しか見えていない場合である。このような場合、対象物が存在していてもそこから抽出できる特徴点（対象物の特徴点）は当然ながら少なくなる。

また例えば、対象物の大きさが極端に小さい場合なども、その対象物の特徴点を十分に抽出することができない。即ち、入力画像中の対象物の大きさが標準画像と同じ程度の大きさであれば、両者から抽出される特徴点の数はほぼ同数となるはずであり、そのような場合は問題ない。しかし、標準画像の大きさに対して対象物の大きさが非常に小さいと、解像度が低いため、そこから抽出できる特徴点の数はおのずと少なくなってしまう。

このように、スケール不変特徴量を用いた画像認識においては、拡大・縮小・回転に拘わらず対象物を良好に認識することができるものの、入力画像の状態（オクルージョン等）によっては、入力画像中に対象物が存在しているにも拘わらず特徴量の一致又は類似する特徴点の数が少なくなるケースも生じ、その場合は、対象物が存在していないと誤認識されるおそれがあった。

本発明は上記課題に鑑みなされたものであり、入力画像及び標準画像の双方から特徴点を抽出するとともにその特徴量を算出し、双方の画像の特徴量を比較することにより入力画像中の対象物（標準画像）を認識する画像認識装置において、入力画像中に対象物が存在しているにも拘わらずその対象物の特徴点が十分に抽出できない場合であっても、対象物を確実に認識できるようにすることを目的とする。

上記課題を解決するためになされた請求項１記載の発明は、入力された入力画像から、認識対象物として予め登録されている標準画像を認識する画像認識装置であって、入力画像から特徴点を抽出する特徴点抽出手段と、特徴点抽出手段により抽出された特徴点の各々に対し、該特徴点の特徴的情報である特徴量を算出する特徴量算出手段とを備えている。

また、標準画像に対しては、予め、該標準画像から特徴点が抽出されると共に、該抽出された特徴点の各々に対して該特徴点の特徴的情報である特徴量が算出され、当該画像認識装置に設定されている。また、標準画像に対する特徴量には、該標準画像における対応する特徴点の位置を直接又は間接的に示す位置情報が含まれている。

そして、特徴量比較手段が、上記特徴量算出手段により算出された入力画像の特徴点の特徴量と、上記設定されている標準画像の特徴点の特徴量とを比較し、該各画像間で特徴量が類似する特徴点同士を対応点として設定する。

そして、判定手段が、入力画像中に標準画像が存在しているか否かを判定する。即ち、入力画像中の特徴点のうち特徴量比較手段により対応点として設定された特徴点である対応特徴点の位置関係が、該各対応特徴点に対応した標準画像中の特徴点の位置関係と類似しているか否かを、該標準画像中の各特徴点の特徴量に含まれている位置情報に基づいて直接又は間接的に判断する。そして、類似していると判断した場合に、前記入力画像中に前記標準画像が存在していると判定する。

上記のように構成された画像認識装置では、標準画像中の各特徴点の特徴量として、標準画像中における当該特徴点の位置を示す位置情報が含まれている。そのため、仮に入力画像中に標準画像が存在しているならば、特徴量比較手段により設定された対応点のうち入力画像中の対応特徴点の位置関係は、標準画像中における対応する特徴点の位置関係と類似するはずである。

そこで、標準画像中の対応点（特徴点）に対応した上記位置情報に基づき、入力画像中の対応点の位置関係が標準画像中の対応点の位置関係と類似しているか否かを判断する。そして、類似している場合、即ち、対応点の位置関係が入力画像及び標準画像の双方で類似しているならば、標準画像が入力画像中に存在していると判定する。

つまり、従来のように、単に特徴量の一致又は類似する特徴点が多いか少ないかという単純な判定方法で標準画像の有無を判定するのではなく、標準画像と入力画像における対応点の位置関係を調べることで、標準画像の有無を判定しているのである。

従って、本発明の画像認識装置によれば、入力画像から抽出できる特徴点（標準画像に対応した特徴点）の数が少ない場合であっても、特徴点の位置関係に基づいて標準画像の存在を判定できるため、認識対象物を確実に認識することができる。

ここで、位置情報としては種々考えられるが、例えば請求項２に記載のように、位置ベクトルを設定することができる。即ち、請求項２記載の画像認識装置は、標準画像中の任意の１点に基準点が設定されており、位置情報は、標準画像における上記基準点に対する各特徴点の位置ベクトルである。そして、判定手段は、入力画像中の各対応特徴点毎に、該対応特徴点に対応する標準画像中の特徴点に対する位置ベクトルに基づいて、入力画像中における対応特徴点に対する基準点を算出し、該算出した基準点を入力画像上に投票する。そして、入力画像上の所定の小領域内に、予め設定された投票閾値以上の数の基準点が投票された場合に、入力画像中に標準画像が存在していると判定する。

このように構成された画像認識装置によれば、入力画像中に標準画像が存在しているにも拘わらず入力画像から抽出できる特徴点（標準画像に対応した特徴点）の数が少なくて入力画像中の対応特徴点が少ない場合であっても、各対応特徴点に対応した基準点の全て又は大部分は入力画像中の所定の小領域内に投票されることになる。そのため、その投票値に基づいて、入力画像中の対応特徴点の位置関係が該各対応特徴点に対応した標準画像中の特徴点の位置関係と類似しているか否かを間接的に判断でき、その結果、入力画像中の標準画像の有無を確実に判定することができる。

この場合において、投票閾値は、例えば、標準画像の種類に拘わらず一定値としてもよいが、例えば請求項３記載のように、標準画像において抽出されている特徴点の数に応じ、該標準画像毎に個別に設定するようにしてもよい。

例えば、標準画像において抽出されている特徴点の数が多いほど投票閾値も大きくする、といったことが可能である。このように特徴点の数に応じて標準画像毎に投票閾値を設定することで、種々の標準画像を確実に判定（判別）することが可能となる。

また、位置情報としては、例えば請求項４記載のような位置ベクトルを設定することもできる。即ち、請求項４記載の画像認識装置は、位置情報が、標準画像における各特徴点の相対的位置関係を示す位置ベクトルである。そして、判定手段は、入力画像中の各対応特徴点の座標に基づいて該各対応特徴点相互間の位置ベクトルを算出し、該算出した位置ベクトルと、標準画像における位置情報としての位置ベクトルとを比較することにより、判定を行う。

つまり、上記請求項２記載の発明では、標準画像中に基準点を設定してこの基準点に対する位置ベクトルを設定したのに対し、請求項４記載の発明では、基準点は設けず、標準画像中の特徴点相互間の位置関係を位置ベクトルとして算出するのである。

従って、このように構成された画像認識装置によっても、位置ベクトルに基づいて、入力画像中の対応特徴点の位置関係が該各対応特徴点に対応した標準画像中の特徴点の位置関係と類似しているか否かを間接的に判断でき、その結果、入力画像中の標準画像の有無を確実に判定することができる。

上記請求項４のように位置ベクトルを設定する場合は、より具体的には、例えば請求項５記載のように構成できる。即ち、判定手段は、入力画像中の対応特徴点のうち任意の３点を選択してその３点の対応特徴点を結んで構成される三角形を入力画像側判定用三角形として設定すると共に、標準画像における上記３点の対応特徴点に対応した３つの特徴点を結んで構成される三角形を標準画像側判定用三角形として設定する。そして、入力画像中の３つの対応特徴点の座標と標準画像中における３つの特徴点相互間の位置ベクトルに基づいて、上記各判定用三角形が相似しているか否かを判断し、相似していると判断した場合に、入力画像中に標準画像が存在していると判定する。

つまり、標準画像中の対応点から３点を選んで三角形を構成し、その３点に対応した入力画像中の３つの特徴点（対応特徴点）により三角形を形成する。入力画像中に標準画像が存在していれば、両三角形は相似するはずであり、入力画像中に標準画像が存在していない場合は、両三角形は相似しない可能性が高い。そのため、両三角形の相似度をみることで、入力画像中の標準画像の有無を確実に判定することができる。

なお、判定手段は、例えば請求項６記載のように、入力画像中における対応特徴点の数が、標準画像における特徴点の総数に対する所定の割合以上の場合は、そのまま入力画像中に標準画像が存在していると判定するようにしてもよい。つまり、対応特徴点の数が多くて標準画像が存在している可能性が高い場合は、あえて上述した各請求項１〜５に記載のような判定は行わない。そして、対応特徴点の数が少ない場合に、上記各請求項１〜５に記載した判定を行うのである。

このようにしても、上記各請求項１〜５とほぼ同等の確実性をもって標準画像の有無を判定できる。

以下に、本発明の好適な実施形態を図面に基づいて説明する。
図１は、本発明が適用された標識認識システムの概略構成を示すブロック図である。本実施形態の標識認識システム１は、車両に搭載され、車両前方における所定範囲内の画像を撮影してその画像中に所定の対象物（各種道路標識等）が存在しているか否かを判断し、対象物の存在を認識した場合はその旨を運転者等へ伝えるものである。この標識認識システム１は、図１に示す如く、主として、カラーカメラ１０と、ナビゲーションＥＣＵ（以下「ナビＥＣＵ」と略す）２０と、出力部３０とを備えている。

カラーカメラ１０は、車両において例えばルームミラー近傍に取り付けられ、車両前方の所定範囲を撮影する。具体的には、レンズ１１と撮像素子１２とにより構成され、レンズ１１を通して撮像素子１２に入力された画像情報が画素信号（ＲＧＢ信号）としてナビＥＣＵ２０へ出力される。なお、本実施形態の標識認識システム１は、多色画像を入力可能なカラーカメラ１０を備えた構成としたが、モノクロ画像を撮影するカメラを用いてもよい。

ナビＥＣＵ２０は、車両におけるいわゆるナビゲーションシステムを制御するための電子制御装置であるが、本実施形態では、ナビゲーションシステムに関する各種制御に加え、カラーカメラ１０からの画素信号（以下「入力画像」ともいう）に基づく標識認識も行う。そのため、標識認識を行うための画像処理部２１を備えている。

画像処理部２１には、認識対象物としての各種道路標識の画像が、その種類毎に標準画像として登録されている。そのため、画像処理部２１は、カラーカメラ１０からの入力画像中に、その登録されている標準画像のいずれか（１つ又は複数）が存在しているか否かを判断し、その結果を出力部３０へ出力する。

画像処理部２１は、より具体的には、入力画像及び標準画像から特徴点を抽出する特徴点抽出部２２と、特徴点抽出部２２にて抽出された特徴点毎に特徴量を算出する特徴量算出部２３と、入力画像中の各特徴点の特徴量と標準画像中の各特徴点の特徴量を比較し、特徴量が一致又は類似する特徴点同士を対応点として設定する特徴量比較部２４と、特徴量比較部２４により対応点として設定された特徴点に基づいて入力画像中に標準画像（対象物）が存在しているか否かを判定する対象標識判定部２５とを備えている。対象標識判定部２５による判定結果は、出力部３０に出力される。

なお、特徴点抽出部２２における標準画像の特徴点抽出は、入力画像の特徴点抽出を行う毎に逐一行っても良いが、本実施形態では、標準画像の登録の際に予め特徴点の抽出が行われ、抽出された特徴点が標準画像毎に図示しないメモリに格納されている。特徴量算出部２３における標準画像の特徴量算出についても同様であり、標準画像の特徴点抽出・メモリ格納時に、抽出された各特徴点について特徴量の算出も行われ、その算出結果がメモリに格納されるようにしている。つまり、標準画像については、特徴点の抽出及び特徴量の算出のいずれも、当該標識認識システム１への標準画像登録時に行っておくのである。そのため、実際に入力画像中に標準画像が存在しているか否かの判定を行う際には、特徴点抽出部２２は入力画像に対して特徴点の抽出を行い、特徴量算出部２３はその抽出された入力画像中の特徴点に対する特徴量の算出を行うこととなる。

上記構成の画像処理部２０は、特徴点抽出部２２、特徴量算出部２３、特徴量比較部２４、及び対象標識判定部２５がそれぞれ別個独立したハードウェアとして構成されたものであってもよいし、ＣＰＵがプログラムを実行することで上記特徴点抽出部２２、特徴量算出部２３、特徴量比較部２４、及び対象標識判定部２５としての各種機能を実現するように構成されたものであってもよい。

出力部３０は、ディスプレイ３１と、スピーカ３２と、インジケータ３３とを備えている。ディスプレイ３１は、ナビゲーションシステムにおける地図画像や各種情報等を表示するほか、画像処理部２１における画像認識結果の表示も行う。具体的には、例えば、入力画像中から道路標識を認識した場合にその道路標識の画像を表示する。

スピーカ３２は、ナビゲーションシステムにおける各種音声案内等の出力を行うほか、画像処理部２１における画像認識結果の音声案内も行う。具体的には、例えば、入力画像中から横断歩道の標識を認識した場合に「前方に横断歩道があります・・・」といった音声を出力する。

インジケータ３３は、登録されている道路標識のいずれかが認識された場合に、特定のＬＥＤを点灯させることで、道路標識を認識した（車両前方に道路標識が存在している）旨を運転者へ視覚的に報知する。

次に、上記のように構成された本実施形態の標識認識システム１における、ナビＥＣＵ２０の画像処理部２１にて実行される画像認識処理について、図２に基づいて説明する。図２は、画像処理部２１にて実行される画像認識処理を表すフローチャートである。
なお、図２の画像認識処理において、Ｓ１２０の処理は特徴点抽出部２２により実行され、Ｓ１３０の処理は特徴量算出部２３により実行され、Ｓ１４０の処理は特徴量比較部２４により実行され、Ｓ１５０の処理は対象標識判定部２５により実行される。

図２に示す如く、画像処理部２１は、まず、Ｓ１１０にて、カラーカメラ１０からの画像入力を受け付ける。カラーカメラ１０からは、撮影された動画像が１秒に数十枚の静止画像として順次入力される。そのため、図２の画像認識処理は、各画像毎に実行される。

Ｓ１１０にて画像が入力されると、Ｓ１２０にて、特徴点抽出処理が実行される。なお、このＳ１２０の特徴点抽出処理と、続くＳ１３０の特徴量算出処理及びＳ１４０の特徴量比較処理は、いずれも、既述の非特許文献１に詳しく記載されているため、ここではこれら各処理の詳細説明は省略し、その概要のみ説明する。

Ｓ１２０の特徴点抽出処理は、入力画像から特徴点を抽出するものであり、その詳細は、図３に示す通りである。即ち、この特徴点抽出処理が開始されると、まず、Ｓ２１０にて、入力画像に対する多重解像度平滑化画像を作成する。具体的には、入力画像Ｉ（ｘ，ｙ）を一又は複数段階に縮小処理することにより解像度の異なる複数種類の入力画像を得る。そして、縮小前の入力画像を含む各解像度の入力画像毎に、スケールσのガウス関数Ｇ（ｘ，ｙ，σ）と入力画像Ｉ（ｘ，ｙ）を畳み込んだ平滑化画像Ｌ（ｘ，ｙ，σ）を、異なる複数のスケールσについて次式により求める。

図４は、各解像度の入力画像に対し、スケールσを５段階に変化させて各段階毎の平滑化画像を得た例を示している。

次に、Ｓ２２０にて、Ｓ２１０で得られた平滑化画像の差分をとり、特徴点候補を求める。具体的には、スケールの異なる複数の平滑化画像に対してＤｏＧ（Difference of Gaussian）フィルタを適用し、そのＤｏＧフィルタ出力画像（ＤｏＧ画像）を得る。図４には、スケールの異なる平滑化画像間の差分処理（ＤｏＧフィルタ処理）により、各解像度毎に４枚のＤｏＧ画像が得られた例が示されている。なお、ＤｏＧ画像Ｄ（ｘ，ｙ，σ）は、次式（３）により求められる。

そして、注目画素（図４中の×印）が２６近傍領域において極値（極大値又は極小値）である場合に、その注目画素を特徴点候補とする。即ち、注目画素の周囲３×３領域の画素（計８画素）と、その注目画素を含むＤｏＧ画像（スケールσ_i）より一段下位のＤｏＧ画像（スケールσ_i-1）及び一段上位のＤｏＧ画像（スケールσ_i+1）における対応する領域（３×３領域）の画素（それぞれ計９画素）の、合わせて２６画素に対し、注目画素が極値となるか否かを判断する。そして、極値である場合にその注目画素を特徴点候補とするのである。なお、このとき極値となるＤｏＧ画像のスケールは、その特徴点候補が正式に特徴点として抽出された場合であってその特徴量を抽出する際に用いる。

次に、Ｓ２３０にて、特徴点候補があるか否かを判断する。Ｓ２２０の処理にて特徴点候補が全く求められなかった場合はそのままこの特徴点抽出処理を終了するが、特徴点候補が１つでも求められたならば、Ｓ２４０に進む。

Ｓ２４０では、得られた特徴点候補１つ１つに対し、角（コーナー）に存在する点であるか否か（換言すれば、エッジ上に存在しない点であるか否か）を判断する。Ｓ２２０で求められた特徴点候補には、開口問題が発生しやすい点が含まれている可能性がある。そこで、本実施形態では、エッジ上に存在する可能性の高い特徴点候補を削除してより頑健な点のみを特徴点とするのである。つまり、Ｓ２２０にて得られた特徴点候補を更に絞り込んで、真に特徴点とすべき点を抽出するのである。

このＳ２４０の処理、即ち特徴点の絞り込みは、ハリスのコーナー検出法に類似した手法で行う。即ち、まず次式（４）で表される二次元ヘッセ行列を求める

そして、得られた二次元ヘッセ行列をもとに、次式（５）を満たす特徴点候補を正式な特徴点とする。つまり、得られた二次元ヘッセ行列の対角成分の和Ｔｒ（Ｈ）と行列式Ｄｅｔ（Ｈ）を求め、その比率が所定の閾値Ｔｈより小さいものを特徴点として抽出するのである。

Ｓ２４０にて、コーナーに存在すると判断されなかった（つまりエッジ上に存在する可能性が高い）場合は、その特徴点候補を正式な特徴点とすることなくＳ２６０に進むが、コーナーに存在すると判断された（つまりエッジ上に存在する可能性が低い）場合は、ｓ２５０に進み、その特徴点候補を正式に特徴点として抽出する。

そして、Ｓ２６０にて、全ての特徴点候補に対してＳ２４０の処理（コーナーに存在する場合はＳ２５０の処理も）を行ったか否かを判断し、全ての特徴点候補に対して上記処理が終了するまで、Ｓ２４０以下の処理が繰り返される。

なお、標準画像の特徴点については、既述の通り、登録されている各標準画像毎に、その特徴点が予め抽出されてメモリに登録されている。そして、この標準画像の特徴点抽出も、上記の入力画像の特徴点抽出と全く同様にして行われる。即ち、図３及び図４を用いて説明した方法と同じようにして、標準画像の特徴点も抽出されるのである。

ここで一旦、図２の画像認識処理に戻る。上記のようにＳ１２０の特徴点抽出処理（詳細は図３）が終了すると、Ｓ１３０に進み、特徴量算出処理を行う。即ち、Ｓ１２０の処理により抽出された特徴点の１つ１つに対し、特徴量を算出するものであり、その詳細は図５に示す通りである。

即ち、この特徴量算出処理が開始されると、まず、Ｓ３１０にて、ある１つの特徴点につき、その特徴点付近の方向ヒストグラムを生成する。具体的には、図６（ａ）に示すように、特徴点（keypoint）を中心とする基準領域（図中丸印で示した範囲）内の各画素につき、輝度勾配ｍ（ｘ，ｙ）とその勾配方向θ（ｘ，ｙ）を次式により求める。なお、この基準領域の大きさは、特徴点が抽出されたＤｏＧ画像の平滑化スケールによって決定される。

そして、求めた輝度勾配の大きさｍと勾配方向θから、３６方向に分割した重み付き方向ヒストグラムを作成する。そして、作成した３６方向のヒストグラムから、ピーク値をとる方向を、その特徴点の基準勾配方向として割り当てる。なお、本例（図６（ａ））では、ピーク値をとる方向をその特徴点の基準勾配方向としたが、別の方法として、ピーク値に近い方向（例えばピーク値の８０％以上の方向）を全てその特徴点の基準勾配方向として設定してもよい。

このようにして、特徴点付近の方向ヒストグラムを作成することによりその特徴点の基準勾配方向を求めた後は、Ｓ３２０に進み、度数（回転方向）の正規化を行う。即ち、図６（ｂ）に示すように、特徴点の周辺領域を、その特徴点の基準勾配方向に回転する。換言すれば、基準領域内（スケール内）の各画素の勾配方向を上記基準勾配方向の角度分だけマイナスする。このようにして度数の正規化を行うことで、回転に対する不変性を有する特徴量を得ることができるようになる。

そして、Ｓ３３０に進み、スケール不変特徴量を算出する。具体的には、図６（ｃ）に示すように、ガウス窓を用いて中心付近が強くなるように重み付けをする。このガウス窓の大きさは、既述の通り、特徴点が抽出されたＤｏＧ画像の平滑化スケールによって決定される。そのため、画像サイズが例えば２倍であれば、スケールも２倍となり、構造的に同一の範囲における特徴量が得られることとなる。これにより、スケール変化に対する不変性を有する特徴量を得ることができるようになる。

そして、図６（ｃ）に示すように、基準領域を４×４の１６領域に分割し、それぞれに８方向のヒストグラムを作成する。この結果、１２８次元ベクトルのスケール不変特徴量が得られることとなる。

このようにして、ある特徴点の特徴量を算出したら、Ｓ３４０に進み、全ての特徴点に対して特徴量（スケール不変特徴量）の算出を行ったか否かを判断する。全ての特徴点について特徴量算出が終了するまでは、各特徴点毎にＳ３１０〜Ｓ３３０の処理を行ってスケール不変特徴量を算出するが、全ての特徴点について特徴量算出が終了したら、この特徴量算出処理を終了する。

一方、標準画像の特徴量については、既述の通り、登録されている各標準画像の特徴点毎に、予め算出し、メモリに格納されている。この標準画像の特徴量は、基本的には、上述の入力画像の特徴量と同様の手順で算出するが、本実施形態では更に、標準画像中の各特徴点の特徴量として、当該特徴点の位置情報を付加する。具体的には、図７に示すように、標準画像中の任意の一点を基準点として設定し、その基準点に対する当該特徴点の位置ベクトルを位置情報として当該特徴点の特徴量に含ませるのである。図７は、標準画像中の三つの特徴点について基準点に対する位置ベクトルを設定した例を示している。本実施形態では、各特徴点毎に、基準点に対する位置ベクトルを特徴量として含むようにしている。

標準画像の特徴量算出の具体的手順について、図８に基づいて説明する。図８は、標準画像における各特徴点についてその特徴量を算出する標準画像特徴量算出処理を示すフローチャートである。この処理が開始されると、まずＳ４１０にて、標準画像中にある１つの基準点を与える。その上で、Ｓ４２０以降、標準画像中の特徴点毎に特徴量を算出する。なお、Ｓ４２０〜Ｓ４４０の処理は、図５の特徴量算出処理におけるＳ３１０〜Ｓ３３０の処理と全く同様であるため、ここではこのＳ４２０〜Ｓ４４０の処理についての詳細説明を省略する。

Ｓ４２０〜Ｓ４４０の処理により標準画像中のある特徴点についてスケール不変特徴量を算出すると、Ｓ４５０に進み、Ｓ４１０で与えられた基準点の座標と特徴点の座標との差Δｘ，Δｙをとる。これにより、基準点に対する特徴点の位置ベクトル（Δｘ，Δｙ）が得られることとなる。

そして、Ｓ４６０にて、Ｓ４４０で算出されたスケール不変特徴量と、Ｓ４５０で得られた位置ベクトル（Δｘ，Δｙ）を、当該特徴点に対する特徴量（位置情報を含む特徴量）として登録（メモリに格納）する。続くＳ４７０では、標準画像中の全ての特徴点に対して上記特徴量の算出（Ｓ４６０）を行ったか否かを判断し、全ての特徴点について上記特徴量（位置情報を含む特徴量）を算出するまでＳ４２０以下の処理を繰り返す。

ここで再び、図２の画像認識処理に戻る。上記のようにＳ１３０の特徴量算出処理（詳細は図５）が終了すると、Ｓ１４０に進み、特徴量比較処理（対応点探索）を行う。即ち、Ｓ１３０の処理により算出された各特徴点の特徴量と標準画像中の各特徴点の特徴量とを比較し、類似する特徴点同士を対応点として設定するものであり、その詳細は図９に示す通りである。

即ち、この特徴量比較処理が開始されると、まずＳ５１０にて、対応点探索処理を行う。この対応点探索処理は、詳細には図１０に示す通りである。即ち、図１０に示すように、まずＳ７１０にて、標準画像中のある特徴点（１点）に対する、入力画像中の全ての特徴点との、特徴量の類似度を算出する。

イメージとしては、図１１に示すように、標準画像中のある特徴点と、入力画像中の全ての特徴点とを比較して、その特徴量の類似度を求める。より具体的には、図５のＳ３３０で算出された入力画像特徴点のスケール不変特徴量と図８のＳ４４０で算出された標準画像特徴点のスケール不変特徴量（いずれも図６（ｃ）で説明した１２８次元の特徴量）の類似度が判断される。

即ち、例えば、標準画像から予めＭ個の特徴点が抽出され、入力画像からＮ個の特徴点が抽出されたとすると、標準画像中の各特徴点の特徴量Ｓtempと入力画像中の各特徴点の特徴量Ｗinputは、それぞれ次式（９），（１０）で表される。

そして、標準画像中の特徴点（ｍ番目）と、入力画像中の特徴点の、特徴量の類似度を、次式（１１）により求める。

つまり、標準画像中の特徴点１点に対して、入力画像中の全ての特徴点との類似度を求めるのである。

そして、Ｓ７２０にて、求められた類似度の中で、一番近い類似度（即ち類似度の最も高いもの）と二番目に近い類似度（即ち類似度が二番目に高いもの）とを比較し、両者の差が所定の閾値以上であれば（Ｓ７３０：ＹＥＳ）、Ｓ７４０に進み、一番近い類似度の点同士を対応点として設定する。一方、両者の差が所定の閾値未満ならば（Ｓ７３０：ＮＯ）、その両者は対応する特徴点ではないと判断してそのままこの対応点探索処理を終了する。

図９に戻り、Ｓ５１０の対応点探索処理（詳細は図１０）が終了したら、Ｓ５２０に進み、全ての組合せで比較を行ったか否かを判断する。即ち、標準画像の全ての特徴点について、入力画像中の全ての特徴点との特徴量類似度判断（Ｓ５１０の対応点探索処理）を行ったか否かを判断する。そして、全ての組合せで比較を行うと、この特徴量比較処理を終了する。この時点で、標準画像と入力画像における、特徴量の類似する特徴点の組合せ（対応点）が全て探索された状態となる。

ここで再び、図２の画像認識処理に戻る。上記のようにＳ１４０の特徴量比較処理（詳細は図９，図１０）が終了すると、Ｓ１５０に進み、対象物判定処理を行う。即ち、Ｓ１４０の処理により探索された対応点に基づき、入力画像中に対象物（標準画像）が存在しているか否かを判定するものであり、その詳細は図１２に示す通りである。

即ち、この対象物判定処理が開始されると、まずＳ６１０にて、入力画像中に対応点が存在するか否かを判断する。つまり、図１０の対応点探索処理において対応点が１つでも設定されたか否かが判断される。ここで、いずれの特徴点も対応点として設定されていない場合はそのままこの対象物判定処理を終了するが、対応点が１つでも設定されていたら、Ｓ６２０の投票処理に進む。

Ｓ６２０の投票処理では、入力画像中、対応点として設定された特徴点毎に、その特徴点に対応した基準点（標準画像中の基準点に対応するもの）を求めて、入力画像平面座標上に投票する。

即ち、図１３に示すように、まずＳ８１０にて、対応点として設定された入力画像中の特徴点毎に、その基準点を求める。図１４を参照しつつ具体的に説明すると、まず、標準画像中における対応する特徴点と基準点との距離が次式（１２）により得られる。なお、Δｘ，Δｙはそれぞれ当該特徴点（標準画像中）の位置ベクトルの各成分である。

上記式（１２）の距離に、入力画像と標準画像のスケール比σ_in／σ_tempを乗じることにより、入力画像中における特徴点と当該特徴点に対する基準点との距離が得られる（次式（１３）。

そして、この基準点を、標準画像と入力画像の特徴点の回転差分だけ余分に回転させることにより、次式（１４）〜（１６）に示す通り、入力画像中における当該特徴点に対する基準点（Ｘ，Ｙ）が求められる。なお、式（１６）のθは位置ベクトルの角度を示すものである。

そして、Ｓ８２０にて、求められた基準点を、入力画像平面座標上に投票する。そして、図１２に戻り、Ｓ６３０にて、入力画像中の全ての対応点（標準画像中の特徴点との対応がとれた特徴点）に対して投票処理（Ｓ６２０）を行ったか否かを判断し、全ての対応点に対して投票処理が終了するまでＳ６２０の処理を繰り返す。

そして、全ての対応点に対して投票処理が終了すると、Ｓ６４０にて、投票値がある閾値以上の基準点が存在するか否かを判断する。この状態においては、各対応点（特徴点）に対する基準点が入力画像平面座標上に投票されているわけだが、もし、入力画像中に対象物（標準画像）が存在していれば、入力画像平面座標上の同じ場所（ある狭い領域）内に基準点が多数投票されているはずである。そのため、例えば図１５（ａ）に示すように、基準点が相互に近接した状態にある場合は、入力画像中に対象物が存在する可能性が高いといえる。

なお、Ｓ６４０における投票値の閾値は、全ての標準画像に共通した一定の値としてもよいが、各標準画像毎に個々に設定するようにしてもよい。後者の場合、例えば、特徴点の数が多いほど閾値も大きい値にするなど、標準画像から抽出される特徴点の数に応じて、投票値の閾値を設定することができる。

逆に、特徴量の類似する特徴点があるものの入力画像中に対象物が存在しているわけではない場合は、投票される基準点の位置関係は特徴点（対応点）毎にばらばらとなる（分散する）。そのため、図１５（ｂ）に示すように、基準点が座標上に分散した状態の場合は、入力画像中に対象物が存在する可能性は低いといえる。

そこで本実施形態では、図１６に示すように、入力画像平面座標を予め複数の小領域に区切っておく。そして、その複数の小領域のうち、投票値がある閾値以上の領域が存在するか否かを判断する（Ｓ６４０）。

このＳ６４０の判断処理において、投票値が閾値以上の領域が存在していると判断されない場合はそのままこの対象物判定処理を終了するが、閾値以上の領域が存在していると判断された場合は、更にＳ６５０に進む。なお、図１６は、上から３番目且つ左から３番目の小領域に複数（閾値以上）の基準点が投票されている例を示している。

Ｓ６５０では、標準画像と入力画像の特徴点（対応点）につき、そのスケール比及び回転差分がそれぞれ所定の閾値範囲内にあるか否かを判断する。そして、各対応点のスケール比及び回転差分がそれぞれ所定の閾値範囲内にある場合、Ｓ６６０に進み、その標準画像（対象物）が入力画像中に存在しているものと判定する。

以上説明したように、本実施形態の標識認識システム１では、予め標準画像から特徴点を抽出し、その特徴点の特徴量として、スケール不変特徴量にその特徴点の位置情報（ある１つの基準点に対する当該特徴点の位置ベクトル）を付加したものを算出しておく。そして、入力画像中から特徴点を抽出してその特徴量を算出し、標準画像における特徴量と類似する特徴点同士を、対応点として設定する。そして、入力画像における各対応点（特徴点）毎に、対応する標準画像の特徴点の特徴量（位置情報等含む）に基づいて基準点を算出し、入力画像平面に投票する。そして、ある小領域内に所定閾値以上の投票値があった場合に、入力画像中に対象物（標準画像）が存在していると判断する。

従って、入力画像から抽出できる特徴点（標準画像に対応した特徴点）の数が少ない場合であっても、特徴点の位置関係に基づいて標準画像の存在を判定できるため、認識対象物を確実に認識することができる。

しかも、本実施形態の特徴量は、画像の拡大、縮小、回転に対して不変性を有するものであるため、画像の大きさや回転位置に拘わらず、しかも抽出できる特徴点の数が少ない場合でも、対象物を確実に認識することができる。

［変形例］
以上、本発明の実施の形態について説明したが、本発明の実施の形態は、上記実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。

例えば、上記実施形態では、図８で説明したように、標準画像の特徴量に付加する位置情報として、標準画像中の基準点に対する各特徴点の位置ベクトルを用いたが、このように基準点に対する位置ベクトルを位置情報として用いるのはあくまでも一例であり、標準画像中における各特徴点の位置を直接的又は間接的に示す情報であれば種々のものを用いることができる。

一例として、上記実施形態のように基準点を設定せず、複数の特徴点の相互間の相対的位置関係（位置ベクトル）を位置情報として設定することができる。以下、具体的に説明する。

複数の特徴点相互間の位置ベクトルは、具体的には、図１７に示すように設定できる。図１７では、３つの特徴点Ａ，Ｂ，Ｃを有する標準画像につき、各特徴点毎に、他の特徴点との間の位置ベクトルを設定している。即ち、特徴点Ａについては、当該特徴点Ａのスケール不変特徴量に対し、当該特徴点Ａから特徴点Ｂを見た位置ベクトル及び当該特徴点Ａから特徴点Ｃを見た位置ベクトルを位置情報として付加する。

特徴点Ｂについては、当該特徴点Ｂのスケール不変特徴量に対し、当該特徴点Ｂから特徴点Ａを見た位置ベクトル及び当該特徴点Ｂから特徴点Ｃを見た位置ベクトルを位置情報として付加する。特徴点Ｃについては、当該特徴点Ｃのスケール不変特徴量に対し、当該特徴点Ｃから特徴点Ａを見た位置ベクトル及び当該特徴点Ｃから特徴点Ｂを見た位置ベクトルを位置情報として付加する。なお、図１７では、上記全ての位置ベクトルのうち一部については図示を省略している。

上記実施形態では、標準画像の特徴量算出を、図８に示す手順で行い、基準点に対する位置ベクトルを位置情報として特徴量に含ませるようにしたが、基準点を設定せずに特徴点の位置情報を上記のように設定する場合、標準画像の特徴量算出は、図１８に示す手順で行う。

図１８に示す標準画像特徴量算出処理において、Ｓ９１０〜Ｓ９３０の各処理は、図８に示した標準画像特徴量算出処理におけるＳ４２０〜Ｓ４４０の各処理と全く同じであるため、ここではＳ９１０〜Ｓ９３０の処理の説明を省略する。

そして、Ｓ９４０では、ある特徴点の座標（ｘ，ｙ）について、他の特徴点の座標（ｘ’，ｙ’）との差Δｘ，Δｙをとる。これにより、当該特徴点から当該他の特徴点を見た位置ベクトル（Δｘ，Δｙ）が得られることとなる。

そして、Ｓ９５０にて、他の特徴点の全てに対して位置ベクトルを算出したか否かを判断し、他の特徴点全てに対する位置ベクトルを算出するまでＳ９４０の処理を続ける。これにより、ある１つの特徴点から他の特徴点を見た位置ベクトルが、当該他の特徴点毎に得られることとなる。

そして、Ｓ９６０にて、Ｓ９３０で算出されたスケール不変特徴量と、Ｓ９４０で得られた位置ベクトル（Δｘ，Δｙ）を、当該特徴点に対する特徴量（位置情報を含む特徴量）として登録（メモリに格納）する。続くＳ９７０では、標準画像中の全ての特徴点に対して上記特徴量の算出を行ったか否かを判断し、全ての特徴点に対して特徴量の算出が終了するまで、Ｓ９１０〜Ｓ９６０の処理を繰り返す。

また、上記のような位置情報を特徴量として付加する例においては、標準画像中に基準点を設定しないため、当然ながら上記実施形態の図１２に示したような対象物判定処理（ひいては図１３に示したような投票処理）は行わず、図１９に示したような対象物判定処理を行う。

図１９の対象物判定処理では、まず、Ｓ１０１０にて、入力画像中に対応点が存在するか否かを判断する。この判断は、図１２のＳ６１０と同じである。ここで、いずれの特徴点も対応点として設定されていない場合はそのままこの対象物判定処理を終了するが、対応点が１つでも設定されていたら、Ｓ１０２０の相似度算出処理に進む。

Ｓ１０２０の相似度算出処理では、図２０に示すように、標準画像中の任意の３つの特徴点を結ぶ三角形と、その３つの特徴点に対応した入力画像中の特徴点３つを結ぶ三角形を選択する。そして、選択した各画像中の三角形の相似度を、各画像中の３つの特徴点が有する位置情報（位置ベクトル）に基づいて算出する。

この三角形の種類（３つの特徴点の組合せ）は、特徴点の数が多いほど多くなり、例えば特徴点が４つある場合は、図２２（ａ）〜（ｃ）に示すような他種類の三角形（特徴点の組合せ）が考えられる。この組合せそれぞれについて、三角形の比較、即ち相似度の算出を行う。

Ｓ１０２０の相似度算出処理の詳細は図２１に示す通りであり、まずＳ１１１０にて、標準画像中の特徴点を３点選択する。選択した各特徴点の位置情報は、例えば次式（１７）のような位置ベクトルとして与えられている。

そして、Ｓ１１２０にて、上記選択した標準画像中の３つの特徴点に対応した入力画像中の特徴点（３点）の位置ベクトルを算出する。この位置ベクトルは、例えば次式（１８）として算出される。

そして、Ｓ１１３０にて、得られた位置ベクトルに基づき、標準画像中における上記選択した３点で構成される三角形と、入力画像中における対応点（３点）で構成される三角形との相似度を算出する。相似度は、例えば次式（１９）により得ることができる。

上記式（１９）において、比較している三角形が全く同じ形ならば、相似度は０となる。つまり、上記式（１９）の値が低いほど、相似具合が高いということになる。

このようにして相似度を算出したら、Ｓ１１４０にて、全ての特徴点の組合せ（任意の３点の組合せ）について三角形の相似度を算出したか否かを判断し、全ての組合せについて相似度を算出するまでＳ１１１０〜Ｓ１１３０の処理を繰り返す。

このようにして全ての三角形の組合せについて相似度を算出したら、Ｓ１０３０に進み、相似度がある閾値以内の特徴点の組合せ（対応点）が存在するか否かを判断する。このとき、閾値以内の相似度の組合せが全く存在しない場合はそのままこの対象物判定処理を終了するが、相似度が閾値以内の組合せが存在する場合は、Ｓ１０４０に進む。

このＳ１０４０の処理は、上記実施形態の図１２におけるＳ６５０の処理と同じである。このＳ１０４０の処理において、スケール比及び回転差分がそれぞれ所定の閾値範囲内にあると判断された場合は、Ｓ１０５０に進み、その標準画像（対象物）が入力画像中に存在しているものと判定する。

上記説明したように、標準画像の特徴量として位置情報を付加する方法は、上記実施形態のように基準点を設定してそれに対する位置ベクトルを設定する方法に限らず、特徴点同士の相対的位置関係（位置ベクトル）を設定する方法でもよい。その場合、標準画像と入力画像の双方において３つの対応点からなる三角形の相似度を算出することで、対象物が入力画像中に存在しているか否かを判定することができる。

また、上記実施形態では、図１１の投票処理において入力画像平面座標上に基準点を投票する際、図１６に示したように、入力画像平面座標を予め複数の小領域に区切るようにしたが、このように入力画像座標平面を予め複数の小領域に区切る方法はあくまでも一例であり、例えば、投票する毎に、その投票した基準点を中心とする所定の小領域を設定するようにしてもよい。

図２３を用いて具体的に説明すると、例えば、最初に基準点が投票されたときにその基準点を中心とする小領域Ｐ１を設定する。そして、次に基準点が投票されたとき、前回設定された小領域Ｐ１内に投票されたならば、新たな小領域は設定しないが、上記小領域Ｐ１の外部に投票された場合は、その投票された基準点を中心とする新たな小領域（例えばＰ２）を設定する。さらに次の基準点が投票されたとき、その基準点が既に設定されているＰ１又はＰ２のいずれかの小領域に投票されたならば、新たな小領域は設定しないが、上記各小領域Ｐ１，Ｐ２の外部に投票された場合は、その投票された基準点を中心とする新たな小領域（例えばＰ３）を設定する。

つまり、基準点を投票する毎に、その投票された位置が既に設定されている小領域の中であれば、その投票はその小領域における投票値として加算される。一方、投票された位置が既設の小領域の外部ならば、当該投票された位置を中心とする新たな小領域を設定する。このようにして、全ての基準点について投票を行っていき、投票数がある閾値以上の小領域があれば、対象物が入力画像中に存在していると判定できる。

また、上記実施形態では、図９の特徴量比較処理において探索された対応点の数（大小）に拘わらず、全ての対応点について図１２の対象物判定処理（図１３の投票処理）を行うようにしたが、多数の対応点（例えば標準画像中の特徴点の総数の８０％以上の数の対応点）が探索された場合は、そのことをもって入力画像中に対象物が存在しているものと判定してもよい。つまり、対応点が多い場合は対象物が存在する可能性が高いため、投票処理までは行わない。逆に、対応点が少ない場合は、対象物が存在する可能性は低いのであるがその可能性は０ではない（既述のオクルージョン等による）ため、念のため投票処理を行って、対象物の有無を確実に判定する。但し、全体として対象物の有無判定の確実性を高めるためには、上記実施形態のように、対応点の数に拘わらず必ず投票処理を行うのが好ましい。

また、上記実施形態の対応点探索処理（図１０）では、求められた類似度の中で、一番近い類似度（即ち類似度の最も高いもの）と二番目に近い類似度（即ち類似度が二番目に高いもの）とを比較し、両者の差が所定の閾値以上の場合に、一番近い類似度の点同士を対応点として設定したが、このようにして対応点を探索、設定する方法もあくまでも一例である。他の例としては、例えば、標準画像と入力画像の特徴量（スケール不変特徴量）を比較し、得られた特徴量が最も近い特徴点同士を対応点としてもよい。

また、上記実施形態では、本発明を車両の標識認識システム１に適用した例を示したが、車両への適用、或いは道路標識等を認識する標識認識システムへの適用はあくまでも一例である。本発明は、標準画像及び入力画像の特徴点を抽出すると共に各特徴点の特徴量を算出し、これに基づいて、予め登録された対象物（標準画像）が入力画像中に存在するか否かを判断（認識）するよう構成されたあらゆる画像認識装置に対して適用可能である。

本実施形態の標識認識システムの概略構成を示すブロック図である。 画像認識処理を表すフローチャートである。 図２の画像認識処理におけるＳ１２０の特徴点抽出処理を表すフローチャートである。 ＤｏＧ画像作成により特徴点を抽出する処理を説明するための説明図である。 図２の画像認識処理におけるＳ１３０の特徴量算出処理を表すフローチャートである。 スケール不変特徴量を算出する過程を説明するための説明図である。 標準画像における基準点と各特徴点との位置関係を説明するための説明図である。 標準画像における各特徴点についてその特徴量を算出する標準画像特徴量算出処理を示すフローチャートである。 図２の画像認識処理におけるＳ１４０の特徴量比較処理を表すフローチャートである。 図９の特徴量比較処理におけるＳ５１０の対応点探索処理を表すフローチャートである。 標準画像中の特徴点（１点）と入力画像中の全特徴点との比較（相似度判断）を説明するための説明図である。 図２の画像認識処理におけるＳ１５０の対象物判定処理を表すフローチャートである。 図１２の対象物判定処理におけるＳ６２０の投票処理を表すフローチャートである。 入力画像において特徴点毎に基準点を算出する方法を説明するための説明図である。 入力画像座標平面上に複数の基準点が投票された結果の一例を示す説明図である。 入力画像座標平面が複数の小領域に区切られていることを説明するための説明図である。 標準画像における各特徴点の相互間の位置関係を説明するための説明図である。 変形例としての、標準画像における各特徴点についてその特徴量を算出する標準画像特徴量算出処理を示すフローチャートである。 変形例としての、対象物判定処理を表すフローチャートである。 標準画像及び入力画像において対応する３つの特徴点により三角形が構成されることを説明するための説明図である。 図１９の対象物判定処理におけるＳ１０２０の相似度算出処理を表すフローチャートである。 標準画像及び入力画像において対応する３つの特徴点の組合せ例を説明するための説明図である。 入力画像座標平面において投票された基準点の周囲に小領域が形成されることを説明するための説明図である。

符号の説明

１…標識認識システム、１０…カラーカメラ、１１…レンズ、１２…撮像素子、２０…ナビＥＣＵ、２１…画像処理部、２２…特徴点抽出部、２３…特徴量算出部、２４…特徴量比較部、２５…対象標識判定部、３０…出力部、３１…ディスプレイ、３２…スピーカ、３３…インジケータ、Ｐ１，Ｐ２，Ｐ３…小領域

Claims (6)

1. 入力された入力画像から、認識対象物として予め登録されている標準画像を認識する画像認識装置であって、
   前記入力画像から特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段により抽出された特徴点の各々に対し、該特徴点の特徴的情報である特徴量を算出する特徴量算出手段と、
   を備え、
   前記標準画像に対し、予め、該標準画像から特徴点が抽出されると共に、該抽出された特徴点の各々に対して該特徴点の特徴的情報である特徴量が算出され、当該画像認識装置に設定されており、
   前記標準画像に対する前記特徴量には、該標準画像における対応する前記特徴点の位置を直接又は間接的に示す位置情報が含まれており、
   更に、
   前記特徴量算出手段により算出された前記入力画像の特徴点の特徴量と、前記設定されている前記標準画像の特徴点の特徴量とを比較し、該各画像間で特徴量が類似する特徴点同士を対応点として設定する特徴量比較手段と、
   前記入力画像中の前記特徴点のうち前記特徴量比較手段により対応点として設定された特徴点である対応特徴点の位置関係が、該各対応特徴点に対応した前記標準画像中の特徴点の位置関係と類似しているか否かを、該標準画像中の各特徴点の特徴量に含まれている前記位置情報に基づいて直接又は間接的に判断し、類似していると判断した場合に、前記入力画像中に前記標準画像が存在していると判定する判定手段と、
   を備えていることを特徴とする画像認識装置。
2. 請求項１記載の画像認識装置であって、
   前記標準画像中の任意の１点に基準点が設定されており、
   前記位置情報は、前記標準画像における前記基準点に対する前記各特徴点の位置ベクトルであり、
   前記判定手段は、前記入力画像中の前記各対応特徴点毎に、該対応特徴点に対応する前記標準画像中の前記特徴点に対する前記位置ベクトルに基づいて、前記入力画像中における前記対応特徴点に対する基準点を算出し、該算出した基準点を前記入力画像上に投票して、前記入力画像上の所定の小領域内に、予め設定された投票閾値以上の数の基準点が投票された場合に、前記入力画像中に前記標準画像が存在していると判定する
   ことを特徴とする画像認識装置。
3. 請求項２記載の画像認識装置であって、
   前記投票閾値は、前記標準画像において抽出されている前記特徴点の数に応じ、該標準画像毎に個別に設定されている
   ことを特徴とする画像認識装置。
4. 請求項１記載の画像認識装置であって、
   前記位置情報は、前記標準画像における前記各特徴点の相対的位置関係を示す位置ベクトルであり、
   前記判定手段は、前記入力画像中の前記各対応特徴点の座標に基づいて該各対応特徴点相互間の位置ベクトルを算出し、該算出した位置ベクトルと、前記標準画像における前記位置情報としての前記位置ベクトルとを比較することにより、前記判定を行う
   ことを特徴とする画像認識装置。
5. 請求項４記載の画像認識装置であって、
   前記判定手段は、
   前記入力画像中の前記対応特徴点のうち任意の３点を選択してその３点の前記対応特徴点を結んで構成される三角形を入力画像側判定用三角形として設定すると共に、前記標準画像における前記３点の対応特徴点に対応した３つの特徴点を結んで構成される三角形を標準画像側判定用三角形として設定し、前記入力画像中の前記３つの対応特徴点の座標と前記標準画像中における前記３つの特徴点相互間の位置ベクトルに基づいて、前記各判定用三角形が相似しているか否かを判断し、相似していると判断した場合に、前記入力画像中に前記標準画像が存在していると判定する
   ことを特徴とする画像認識装置。
6. 請求項１〜５いずれかに記載の画像認識装置であって、
   前記判定手段は、前記入力画像中における前記対応特徴点の数が、前記標準画像における前記特徴点の総数に対する所定の割合以上の場合は、そのまま前記入力画像中に前記標準画像が存在していると判定する
   ことを特徴とする画像認識装置。