JP2015210690A - 画像認識装置 - Google Patents

Abstract

【課題】探索対象画像内において背景や対象物に外観上の変化が発生しても、高い精度で認識を行うことを実現する。【解決手段】画像認識装置１は、入力画像を８つの微分方向のそれぞれで微分することにより８枚の微分画像を生成し、さらに該８枚の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことにより８枚の非極大抑制画像を生成する８方向エッジ検出部１０と、基準画像が入力画像である場合に８方向エッジ検出部により生成される８枚の非極大抑制画像に基づいてテンプレートを生成するテンプレート生成部２０と、探索対象画像が入力画像である場合に８方向エッジ検出部１０により生成される８枚の非極大抑制画像のそれぞれに基づいて生成される８枚のエッジ距離画像と、上記テンプレートとに基づいて探索対象画像内における基準画像のポーズを示すポーズ情報を取得するマッチング処理部３０とを備える。【選択図】図１

Description

本発明は画像認識装置に関し、特に、カメラ視野内における対象物の位置や向き（以下、「ポーズ」と称する）の認識処理を行う画像認識装置に関する。

工業用の計測，検査アプリケーションでは、本来の処理（計測や検査）を行なう前に、カメラ視野内における対象物のポーズを認識する必要がある。また、ロボットガイダンスアプリケーションでは、作業位置を認識するためにカメラを移動させて対象物を探す動作を行なうが、この動作では、対象物と背景（対象物以外の全て）を区別するとともに、対象物のポーズを正確かつ高速に認識することが必要となる。これらを実現する技術は、サーチあるいはマッチングと呼ばれ、コンピュータビジョンの中心的役割として認知されている。

マッチング技術では、認識の対象となる対象物を含む画像（以下、「テンプレート」と称する）が認識処理の開始前に予め用意される。画像認識装置は、カメラから出力される画像（以下、「探索対象画像」と称する）内におけるテンプレートのポーズを探索し、その結果見つかったポーズを示すポーズ情報を出力する。

マッチング技術の歴史は古く、１９８０年代から現在に至るまで研究が継続されている。当初開発された技術は、正規化相互相関演算による一致度評価法を画面全体に適用するというものであったが、処理コストの大きさが実用上の課題であった。その後、粗密探索法の一つであるピラミッドアルゴリズムという画像圧縮（ダウンサンプリング）手法を組み合わることで処理コストを劇的に削減することに成功し、それ以後、この組み合わせ技術（以下、「濃淡特徴テンプレートマッチング」と称する）がマッチング技術のスタンダードとなった。

濃淡特徴テンプレートマッチングの普及により画像処理の有用性は飛躍的に高まり、多くのアプリケーションに対して濃淡特徴テンプレートマッチングの適用が検討されたが、次第に濃淡特徴テンプレートマッチングでは対応できないニーズが生まれ始めた。その代表的な事例が、探索対象画像内における背景や対象物の外観上の変化への対応である。

例えば、対象物をロボットが吸着し、底面から見上げるように撮像する場合を考える。対象物の周囲は背景であるが、この背景に何が撮像されるかは不定であることが多い。工場の天井であるかもしれないし、工作機械の一部であるかもしれない。テンプレートには対象物だけでなく対象物の背景（通常は無地である）も含まれるため、このように背景が変化すると、濃淡特徴テンプレートマッチングによる対象物の認識は困難になる。また、対象物に工作機械の影が落ちるケースや対象物をフィルム越しに観測したいケースがあるが、この場合、影やフィルム上の鏡面反射の影響で対象物自身の濃淡分布が非線形に変化するため、やはり濃淡特徴テンプレートマッチングによる対象物の認識が困難になる。このように、濃淡特徴テンプレートマッチングには、探索対象画像内において背景や対象物に外観上の変化が発生した場合に、対象物のポーズを正しく認識することが困難になるという課題があった。

この課題を解決するために、テンプレートの全体ではなく、対象物の輪郭（エッジ）のみを頼りに対象物を認識する手法（以下、「エッジ特徴テンプレートマッチング」と称する）が２０００年代に提案された。エッジ特徴テンプレートマッチングの具体的な例としては、例えばキャニーエッジ検出法と一般化ハフ変換を組み合わせて用いる方法が知られている。

この方法では、まず初めにテンプレートから複数のエッジ点（Ｘ，Ｙ，φ）を抽出する。なお、Ｘ，Ｙ，φはそれぞれ、Ｘ座標、Ｙ座標、勾配方向φを表わしている。そして、任意の基準点ｏを設定し、抽出したエッジ点ごとに、そのエッジ点から基準点ｏに向かう特徴ベクトルの長さｒと、該特徴ベクトルと水平線とのなす角αとを、表１に示すように、勾配方向φをインデックスとするテーブルに格納する。

次に、探索対象画像から複数のエッジ点（Ｘ'，Ｙ'，φ'）を抽出する。そして、抽出したエッジ点ごとに、表１のテーブルにおいて勾配方向（φ'−θ）に対応して記憶されるすべての（ｒ，α）の組み合わせについて、次の式（１）により基準点位置（Ｘｔ，Ｙｔ）を算出する。ここで、角度θはテンプレートの回転角であり、ここでは０゜から３６０°まで１°刻みで変更しながら、すべてのθについて式（１）の算出を行う。

式（１）の算出を行うことにより、エッジ点（Ｘ'，Ｙ'，φ'）及び回転角θごとに基準点位置（Ｘｔ，Ｙｔ）が得られるので、この結果をＸ軸、Ｙ軸、θ軸で特定される空間（投票空間）内の各座標に投票する。探索対象画像内にひとつだけテンプレートを認識すればよい場合であれば、こうして投票された各座標のうち最大の票数を得たものが、探索対象画像内でテンプレートが配置されている位置（基準点ｏ）及びその傾きを表すことになる。

特許文献１には、一般化ハフ変換と同じ枠組みを採用しつつ、複数の勾配方向φ（特許文献１では「方向値φ」と称している。特許文献１の［００１６］段落他を参照）に重複投票することで、勾配方向φのばらつきに対応する技術が開示されている。ただし、この技術には、多数の偽投票を行なうことになるために、対象の誤認識を誘発するとともに、処理コストが増大するという欠点がある。

特許文献２には、勾配方向を特徴量として濃淡特徴テンプレートマッチングの一致度（特許文献２では「類似度Ｒ」と称している。特許文献２の［００１５］段落他を参照）を算出することにより、濃淡特徴テンプレートマッチングを用いながらも、背景の外観が変化した場合にも高い精度での認識を可能にする技術が開示されている。

特開平０７−２３４９３９号公報 特開平０９−０５４８２８号公報

しかしながら、上述したエッジ特徴テンプレートマッチングによっても、探索対象画像内における背景や対象物に上記のような外観上の変化があると、認識に失敗する場合がある。その原因は主として、キャニーエッジ検出法によって算出された勾配方向をパラメータ算出式に組み込んでいる点にある。以下、具体的に説明する。

キャニーエッジ検出法では、注目画素とＸ方向に隣接する２つの画素相互間、及び、注目画素とＹ方向に隣接する２つの画素相互間のそれぞれについて、明度の差分を算出する。これによりＸ方向の差分とＹ方向の差分が得られるので、これらに基づいて逆正接を算出することにより、注目画素における勾配方向を得る。そして、この勾配方向に見て注目画素が極大値となっていなければ、注目画素の明度をゼロにする（非極大抑制処理）。以上の処理を画像内のすべての画素について行うことにより、最終的に、エッジ点に相当する画素以外の明度がゼロになり、エッジ点のみが強調されたエッジ画像が得られる。

一般化ハフ変換では、このように算出されたエッジ点の座標および勾配方向を用いて、投票位置が算出される。しかしながら、勾配方向には背景や対象物の外観上の変化による誤差が生じやすいため、こうして算出された一般化ハフ変換の投票位置は、背景や対象物の外観上の変化がある場合には誤差を多く含むものとなりがちである。投票位置に誤差が含まれると明瞭なピークが形成されなくなるので、結果的に不正確な認識結果を生ずることになる。これが従来、エッジ特徴テンプレートマッチングによる認識に失敗する原因のひとつとなっていた。

したがって、本発明の目的の一つは、探索対象画像内において背景や対象物に外観上の変化が発生しても、高い精度での認識を実現できる画像認識装置を提供することにある。

また、対象物に生ずる外観上の変化としては、対象物のエッジの変形を伴うようなものも発生し得る。キャニーエッジ検出法により検出されるエッジ点は点情報であるため、対象物のエッジに変形が生ずると、算出される一致度が急激に小さくなる。つまり、エッジ特徴テンプレートマッチングは対象物のエッジの変形に対する冗長性が低く、これも認識に失敗する原因のひとつとなる。

したがって、本発明の目的の他の一つは、エッジの変形を伴うような対象物の外観上の変化が発生しても、高い精度での認識を実現できる画像認識装置を提供することにある。

さらに、上述したピラミッドアルゴリズムを用いる場合、解像度を低くしすぎると細い線状の対象物が消えてしまう場合がある。そこで従来、ピラミッドアルゴリズムにおけるピラミッドの階層をあまり深くすることはできず、その結果、対象物の認識に要する処理コストが大きくなっていた。

したがって、本発明の目的のさらに他の一つは、ピラミッドアルゴリズムを用いる場合の処理コストを低減できる画像認識装置を提供することにある。

本発明による画像認識装置は、基準画像の入力を受け付ける基準画像入力受付部と、探索対象画像の入力を受け付ける探索対象画像入力受付部と、入力画像を所定数の微分方向のそれぞれで微分することにより前記所定数の微分画像を生成し、さらに該所定数の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことにより前記所定数の非極大抑制画像を生成するエッジ検出部と、前記基準画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の非極大抑制画像に基づいてテンプレートを生成するテンプレート生成部と、前記探索対象画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の非極大抑制画像のそれぞれに基づいて生成される前記所定数の画像と、前記テンプレートとに基づいて前記探索対象画像内における前記基準画像のポーズを示すポーズ情報を取得するマッチング処理部とを備えることを特徴とする。

本発明によれば、勾配方向ではなく、所定数の微分方向のそれぞれに基づいてエッジ点を決定している（非極大抑制処理を行っている）ので、探索対象画像内において背景や対象物に外観上の変化が発生しても、高い精度で認識を行うことが可能になる。

上記画像認識装置において、前記エッジ検出部は、前記所定数の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことにより、前記所定数の仮非極大抑制画像を生成する非極大抑制処理部と、前記所定数の仮非極大抑制画像のそれぞれに含まれるエッジ点ごとに、対応する前記微分画像に基づき、対応する微分方向における該エッジ点の中心線と、該エッジ点に対応するエッジとの間の距離を示すサブピクセル変位量を算出し、各エッジ点について算出したサブピクセル変位量を前記所定数の仮非極大抑制画像のそれぞれに設定することにより、前記所定数の非極大抑制画像を生成するサブピクセル変位量算出部と、前記所定数の非極大抑制画像のそれぞれに含まれる１又は複数のエッジ点それぞれの近傍に位置する複数の画素ごとに、対応するエッジ点に設定された前記サブピクセル変位量に基づいて、該画素と対応するエッジとの間の距離を示すエッジ距離を算出し、対応する前記非極大抑制画像に設定することにより、前記所定数のエッジ距離画像を生成するエッジ距離画像生成部とを有し、前記所定数の画像は、前記所定数のエッジ距離画像であることとしてもよい。これによれば、エッジ距離画像では、エッジが通過する画素であるエッジ点だけでなく、エッジ点と微分方向に隣接する画素についても、認識に用いることが可能になる。したがって、エッジの変形を伴うような対象物の外観上の変化が発生しても、高い精度で認識を行うことが可能になる。

また、上記画像認識装置において、前記テンプレート生成部は、前記基準画像の解像度を複数段階にわたって落とすことにより、前記基準画像と、解像度ごとの濃淡画像とを含む複数の第１の濃淡画像を生成する第１の高解像度ピラミッド生成部と、解像度ごとに、前記第１の濃淡画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の非極大抑制画像に基づいて前記テンプレートを生成する高解像度テンプレート生成部と、前記複数の第１の濃淡画像のうちの最も解像度が低いものが前記入力画像である場合に前記エッジ検出部により生成される前記所定数の微分画像それぞれの解像度を複数段階にわたって落とすことにより、解像度ごとの前記所定数の微分画像を含む複数の第１の微分画像を生成する第１の低解像度ピラミッド生成部と、解像度ごとに、前記所定数の第１の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことによって生成される前記所定数の非極大抑制画像に基づいて前記テンプレートを生成する低解像度テンプレート生成部とを有し、前記マッチング処理部は、前記探索対象画像の解像度を複数段階にわたって落とすことにより、前記探索対象画像と、解像度ごとの濃淡画像とを含む複数の第２の濃淡画像を生成する第２の高解像度ピラミッド生成部と、前記複数の第２の濃淡画像のうちの最も解像度が低いものが前記入力画像である場合に前記エッジ検出部により生成される前記所定数の微分画像それぞれの解像度を複数段階にわたって落とすことにより、解像度ごとの前記所定数の微分画像を含む複数の第２の微分画像を生成する第２の低解像度ピラミッド生成部と、前記複数の第２の微分画像のうち最も低い解像度に対応する前記所定数の第２の微分画像と、前記解像度ごとのテンプレートのうち最も低い解像度に対応する前記テンプレートとに基づいて、それぞれ前記ポーズ情報の候補である少なくとも１つのポーズ情報候補を取得する全探索処理部と、前記複数の第２の微分画像のうち最も低い解像度以外の解像度に対応するもの及び前記複数の第２の濃淡画像のそれぞれから前記少なくとも１つのポーズ情報候補のそれぞれに基づいて抽出される抽出画像と、前記解像度ごとのテンプレートのうち最も低い解像度以外の解像度に対応する複数の前記テンプレートとに基づいて、前記ポーズ情報を取得する周辺探索処理部とを有することとしてもよい。これによれば、解像度の低い場合に、濃淡画像ではなく、所定数の微分方向のそれぞれについて生成される微分画像を用いるので、ピラミッドアルゴリズムにおけるピラミッドの階層を従来より深くすることができる。したがって、ピラミッドアルゴリズムを用いる場合の処理コストを低減することが可能になる。

なお、この画像認識装置においてさらに、前記エッジ検出部は、前記所定数の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことにより、前記所定数の仮非極大抑制画像を生成する非極大抑制処理部と、前記所定数の仮非極大抑制画像のそれぞれに含まれるエッジ点ごとに、対応する前記微分画像に基づき、対応する微分方向における該エッジ点の中心線と、該エッジ点に対応するエッジとの間の距離を示すサブピクセル変位量を算出し、各エッジ点について算出したサブピクセル変位量を前記所定数の仮非極大抑制画像のそれぞれに設定することにより、前記所定数の非極大抑制画像を生成するサブピクセル変位量算出部と、前記所定数の非極大抑制画像のそれぞれに含まれる１又は複数のエッジ点それぞれの近傍に位置する複数の画素ごとに、対応するエッジ点に設定された前記サブピクセル変位量に基づいて、該画素と対応するエッジとの間の距離を示すエッジ距離を算出し、対応する前記非極大抑制画像に設定することにより、前記所定数のエッジ距離画像を生成するエッジ距離画像生成部とを有し、前記所定数の画像は、前記所定数のエッジ距離画像であり、前記周辺探索処理部は、解像度ごとに、該解像度に対応する前記抽出画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数のエッジ距離画像と、該解像度に対応する前記テンプレートとに基づいて、前記探索対象画像内における前記基準画像のポーズの候補である少なくとも１つのポーズ情報候補を取得するよう構成され、前記ポーズ情報は、最も高い解像度に対応して前記周辺探索処理部が取得する前記少なくとも１つのポーズ情報候補の中から選択されることとしてもよい。

また、上記画像認識装置において、前記テンプレート生成部は、前記基準画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の微分画像のうちの少なくとも一部に基づいて、量子化された勾配方向が各画素に設定された微分方向画像を生成する勾配値取得部と、前記基準画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の非極大抑制画像に含まれる複数のエッジ点それぞれについて前記微分方向画像から量子化された勾配方向を取得し、該複数のエッジ点それぞれの座標及び量子化された勾配方向を示すエッジ特徴点群を生成するエッジ特徴点群生成部とを有し、前記テンプレートは前記エッジ特徴点群を含んで構成されることとしてもよく、さらに、前記テンプレート生成部は、前記エッジ特徴点群に基づいて単位回転角を算出する単位回転角算出部と、前記単位回転角に基づいて前記エッジ特徴点群を回転させることにより、前記エッジ特徴点群を含む複数のエッジ特徴点群を取得する回転処理部とをさらに有し、前記テンプレートは前記複数のエッジ特徴点群を含んで構成されることとしてもよい。

また、上記各画像認識装置において、前記所定数の微分方向は、３６０°を８つに等分割することにより得られる８つの方向であることとしてもよい。

本発明によれば、勾配方向ではなく、所定数の微分方向のそれぞれに基づいてエッジ点を決定している（非極大抑制処理を行っている）ので、探索対象画像内において背景や対象物に外観上の変化が発生しても、高い精度で認識を行うことが可能になる。

また、エッジの変形を伴うような対象物の外観上の変化が発生しても高い精度で認識を行うことや、ピラミッドアルゴリズムを用いる場合の処理コストを低減することも可能になる。

本発明の実施の形態による画像認識装置１の機能ブロックを示す略ブロック図である。 図１に示した８方向エッジ検出部１０の内部構成を示す略ブロック図である。 図１に示したテンプレート生成部２０の内部構成を示す略ブロック図である。 図３に示した高解像度テンプレート生成部２３の内部構成を示す略ブロック図である。 図３に示した低解像度テンプレート生成部２５の内部構成を示す略ブロック図である。 図１に示したマッチング処理部３０の内部構成を示す略ブロック図である。 図６に示した全探索処理部３４の内部構成を示す略ブロック図である。 （ａ）（ｂ）ともに、図６に示した周辺探索処理部３５の内部構成を示す略ブロック図である。 図２に示したサブピクセル変位量算出部１０ｃによるサブピクセル変位量算出の説明図である。 図７に示した全探索処理部３４による一致度算出の説明図である。

以下、添付図面を参照しながら、本発明の好ましい実施の形態について詳細に説明する。

本実施の形態による画像認識装置１は、図１に示すように、機能的に、基準画像入力受付部２、設定値入力受付部３、探索対象画像入力受付部４、８方向エッジ検出部１０、テンプレート生成部２０、及びマッチング処理部３０を備えて構成される。これらの機能は、パーソナルコンピュータなどの処理装置、記憶装置、及び入出力装置などを有するコンピュータにおいて、記憶装置に記憶されるプログラムを処理装置に実行させることによって実現されるものである。画像認識装置１は、工業用の計測，検査アプリケーションの一部を構成しており、本来の処理（計測や検査）を行なう前に、図示しないカメラの視野内における対象物のポーズを認識するために用いられる。

基準画像入力受付部２は、上述したテンプレートの一部を構成する基準画像の入力を受け付ける機能を有して構成される。具体的な例では、ユーザ操作により、対象物の写った写真から対象物を含む長方形の領域を切り出し、基準画像入力受付部２に入力する。なお、基準画像としては、影や対象物以外のものなどが写り込んでいない画像を使用することが好適である。基準画像入力受付部２が受け付けた基準画像は、テンプレート生成部２０に供給される。

設定値入力受付部３は、後述するガウシアンフィルターの設定値である標準偏差値σ（以下、「σ値」という）、後述するガウシアンピラミッドの生成の際に方向別微分画像（後述）に基づく画像の生成を開始する階層ｎ、及びエッジ点の変形許容量Ｖのそれぞれについて、ユーザによる設定値の入力を受け付ける機能を有して構成される。設定値入力受付部３は、σ値及び階層ｎをテンプレート生成部２０及びマッチング処理部３０のそれぞれに供給し、変形許容量Ｖを８方向エッジ検出部１０に供給するよう構成される。

探索対象画像入力受付部４は、上述した探索対象画像の入力を受け付ける機能を有して構成される。探索対象画像は、通常、図示しないカメラが撮影した映像である。すなわち、探索対象画像入力受付部４はカメラと接続されており、このカメラによって撮影された画像が、探索対象画像として探索対象画像入力受付部４に入力される。カメラはスチルカメラでもビデオカメラでもよく、動画が入力された場合の探索対象画像入力受付部４は、その動画から静止画を切り出し、切り出した静止画を探索対象画像として受け付ける。探索対象画像入力受付部４が受け付けた探索対象画像は、マッチング処理部３０に供給される。

ここで、カメラの視野内には、普通、認識の対象物だけでなく、計測器、搬送機などの種々の装置やこれらの影などが写り込む。したがって、探索対象画像内のテンプレートの自動認識を行うにあたってはこれらの影響をできるだけ除去する必要があるが、画像認識装置１によれば、背景や対象物に外観上の変化（エッジの変形を伴うような変化を含む）が発生した場合にも、高い精度での認識が実現される。

８方向エッジ検出部１０は、テンプレート生成部２０又はマッチング処理部３０から供給される画像（入力画像）に基づいてそれぞれ８枚の微分画像及び非極大抑制画像を生成し、さらに生成した８枚の非極大抑制画像と設定値入力受付部３から供給される変形許容量Ｖとに基づいて８枚のエッジ距離画像を生成する機能を有して構成される。なお、本実施の形態では各画像の枚数を８枚としているが、この枚数は、後述する微分方向の数によって決定される。

図２を参照して、８方向エッジ検出部１０の機能についてより詳しく説明する。８方向エッジ検出部１０は、図２に示すように、方向別微分画像生成部１０ａ、非極大抑制処理部１０ｂ、サブピクセル変位量算出部１０ｃ、及びエッジ距離画像生成部１０ｄを有して構成される。

方向別微分画像生成部１０ａは、入力画像を所定数の微分方向のそれぞれで微分することにより、所定数の微分画像を生成するよう構成される。所定数の微分方向は３６０°を所定数かつ等間隔に分割してなる方向であり、本実施の形態ではこの所定数が８であることを前提として説明する。この場合、所定数の微分方向は、０°、４５°、９０°、１３５°、１８０°、２１５°、２７０°、３１５°の８つである。ただし、微分方向の数は必ずしも８でなくてもよく、好ましくは４の倍数であればよい。微分方向の数が多いほど認識精度が向上するが、一方で処理コストが大きくなるため、具体的な数は、要求される認識精度と許容される処理コストとを考慮して決定することが好適である。

方向別微分画像生成部１０ａが行う微分は一次微分（差分）であり、微分画像中の各画素の明度（微分値）は次の式（２）によって決定される。ただし、方向別微分画像生成部１０ａは、ｆ（ｘ＋１）がｆ（ｘ−１）より小さい場合（式（２）の右辺がマイナスとなる場合）には、式（２）によらず関数ｇ（ｘ）の値を０に固定するよう構成される。ここで、式（２）中のｘは対応する微分方向における座標を示し、座標ｘ−１，ｘ＋１はそれぞれ、対応する微分方向のマイナス側及びプラス側で、座標ｘにより示される画素と隣接する画素の座標である。また、関数ｆ（ｘ）は入力画像中の各画素の明度を示し、関数ｇ（ｘ）は微分画像中の各画素の明度（微分値）を示している。

以上のようにして生成される８枚の微分画像＜７：０＞はそれぞれ、対応する微分方向に沿って暗から明に変化するエッジのみが強調された画像となる。なお、本明細書において、画像＜ａ：ｂ＞と記述した場合、画像＜ｂ＞から画像＜ａ＞までのａ−ｂ＋１枚の画像を表す。生成された微分画像＜７：０＞は、図２に示すように、８方向エッジ検出部１０の出力のひとつを構成する。

なお、方向別微分画像生成部１０ａが上記のようにして微分画像＜７：０＞の生成を行うのは、図２にも示すように、入力画像が濃淡画像である場合のみである。入力画像自体が８枚の微分画像＜７：０＞となっている場合があり、その場合には、入力画像がそのまま方向別微分画像生成部１０ａの出力画像となる。

非極大抑制処理部１０ｂは、上記８枚の微分画像＜７：０＞のそれぞれについて対応する微分方向での非極大抑制処理を行うことにより、８枚の仮非極大抑制画像＜７：０＞を生成するよう構成される。仮非極大抑制画像＜７：０＞はそれぞれ、対応する微分画像内において対応する微分方向に並ぶ画素の間で明度が極大となる画素（両側に既定数ずつの隣接画素と自分自身との間で最も明度が大きくなる画素）に対応する画素（以下、「エッジ点」と称する）のみに２５５が設定され、エッジ点以外のすべての画素の値に０が設定された画像となる。

サブピクセル変位量算出部１０ｃは、非極大抑制処理部１０ｂによって生成された８枚の仮非極大抑制画像＜７：０＞それぞれに含まれるエッジ点ごとに、方向別微分画像生成部１０ａによって生成された８枚の微分画像＜７：０＞のうちの対応するものに基づき、対応する微分方向における該エッジ点の中心線と、該エッジ点に対応するエッジ（該エッジ点である画素内を通過するエッジ）との間の距離を示すサブピクセル変位量Δｘを算出する機能部である。以下、図９も参照しながら、サブピクセル変位量Δｘについて詳しく説明する。

図９には、微分方向であるｘ方向に並ぶ９つの画素Ｐ１〜Ｐ９を示している。同図に示すｙ軸の値は、各画素の明度（微分値）を示している。同図の例では画素Ｐ５がエッジ点であり、同図に示すように画素Ｐ５の中をエッジが通過している。また、同図では、画素Ｐ５のｘ座標（画素Ｐ５のｘ方向の中心線のｘ座標）をｘ_０とし、画素間距離（ｘ方向の中心線間の距離）を１としている。さらに、同図では、画素Ｐ５の明度をｄ（０）とし、画素Ｐ５にｘ方向の両側で隣接する画素Ｐ４，Ｐ６の明度をそれぞれｄ（−１），ｄ（＋１）としている。画素Ｐ５がエッジ点であることから、ｄ（０）≧ｄ（−１）かつｄ（０）≧ｄ（＋１）となる。

図９に示すように、画素Ｐ４〜Ｐ６の明度は放物線によって近似することができる。すると、この放物線の頂点のｘ座標は必ずしもｘ_０になるとは限らず、むしろ通常、座標ｘ_０から少し離れたところに位置する。これは、各画素のｘ座標が離散的であるためであり、放物線の頂点のｘ座標が実際のエッジの位置を示している。

サブピクセル変位量Δｘは、図９に示すように、上記放物線の頂点のｘ座標（実際のエッジ位置に相当するｘ座標）と、エッジ点のｘ座標ｘ_０との距離である。具体的には、明度ｄ（−１），ｄ（０），ｄ（＋１）を用いて、次の式（３）により求められる。こうして算出されるサブピクセル変位量Δｘは、−０．５以上０．５以下の範囲の値を取る。

サブピクセル変位量算出部１０ｃは、式（３）を用いて各エッジ点のサブピクセル変位量Δｘを算出し、算出したサブピクセル変位量Δｘを仮非極大抑制画像＜７：０＞の各エッジ点に格納することにより、非極大抑制画像＜７：０＞を生成するよう構成される。なお、サブピクセル変位量算出部１０ｃは、エッジ点以外の画素（背景を構成する画素）には、０ｘ７０００などの非常に大きな値を設定する。こうして生成された非極大抑制画像＜７：０＞も、図２に示すように、８方向エッジ検出部１０の出力のひとつを構成する。

エッジ距離画像生成部１０ｄは、非極大抑制画像＜７：０＞のそれぞれに含まれる１又は複数のエッジ点それぞれの近傍に位置する複数の画素ごとに、対応するエッジ点に設定されたサブピクセル変位量Δｘに基づいて、該画素と対応するエッジとの間の距離を示すエッジ距離ＥＤを算出し、非極大抑制画像＜７：０＞のうちの対応するものに設定することにより、８枚のエッジ距離画像＜７：０＞を生成するよう構成される。

エッジ距離ＥＤは、具体的には次の式（４）により算出される。ただし、ＰＤは、エッジ点の座標（図９では座標ｘ_０）からのピクセル変位量（画素間距離に方向性を付与したもの。例えば、図９の画素Ｐ４ではＰＤ＝−１、画素Ｐ６ではＰＤ＝＋１となる）である。なお、図９には、画素Ｐ１〜Ｐ９のそれぞれについて、式（４）により算出されるエッジ距離ＥＤも図示している。

エッジ距離画像生成部１０ｄは、式（４）により各エッジ点と対応する微分方向で隣接する各画素のエッジ距離ＥＤを算出し、サブピクセル変位量算出部１０ｃから供給される非極大抑制画像＜７：０＞に設定することにより、８枚のエッジ距離画像＜７：０＞を生成する。ただし、この場合において、エッジ距離画像生成部１０ｄは、設定値入力受付部３から供給される変形許容量Ｖを参照し、各エッジ点から±Ｖの範囲内に位置する画素にのみエッジ距離ＥＤを設定する。なお、図９にはＶ＝３の場合の例を示している。また、１つの画素について複数のエッジ距離ＥＤが算出される場合があり得るが、その場合には、小さい方の値を設定する。こうしてエッジ距離ＥＤが設定された画素は、後に説明するマッチング処理部３０での探索処理において、エッジの一部を構成し得る画素とみなされることになる。エッジ距離画像生成部１０ｄにより生成されたエッジ距離画像＜７：０＞も、図２に示すように、８方向エッジ検出部１０の出力のひとつを構成する。

図１に戻り、テンプレート生成部２０は、基準画像入力受付部２から供給される基準画像を８方向エッジ検出部１０に供給し、その結果として８方向エッジ検出部１０から出力される非極大抑制画像＜７：０＞に基づき、テンプレートを生成する機能を有して構成される。詳しくは後述するが、テンプレートは、図１に示すエッジ特徴点群＜１＞＜ｍ_１：０＞〜＜Ｎ＞＜ｍ_Ｎ：０＞により表される。テンプレート生成部２０は、ピラミッドアルゴリズムによる粗密探索及び回転テンプレートに対応しており、したがって、テンプレート生成部２０によって実際に生成されるテンプレートは、解像度ごとかつ角度ごとのテンプレートを含んで構成される。

図３〜図５を参照して、テンプレート生成部２０の機能についてより詳しく説明する。テンプレート生成部２０は、図３に示すように、階層数算出部２１、高解像度ピラミッド生成部２２、高解像度テンプレート生成部２３、低解像度ピラミッド生成部２４、及び低解像度テンプレート生成部２５を有して構成される。

階層数算出部２１は、基準画像入力受付部２から供給される基準画像に基づいて、ピラミッドアルゴリズムの階層数Ｎを算出するよう構成される。この算出について具体的に説明すると、まず階層数算出部２１は、長方形である基準画像の長辺と短辺それぞれの長さのうち小さい方を基準サイズとして取得する。基準画像が正方形である場合には、その一辺の長さを基準サイズとすればよい。また、階層数算出部２１には、予めパタン最小サイズが設定される。このパタン最小サイズの設定値はピラミッドアルゴリズムで生成される最小画像のサイズを示しており、あまり小さくし過ぎると対象物の自動認識が困難になる。したがって、実際にパタン最小サイズを設定する際には、いくつかのパタン最小サイズを用いて画像認識処理１による認識処理を試行し、最適な結果が得られる値を選択することが好適である。

基準サイズを取得した階層数算出部２１は、階層数Ｎに１を設定し、基準サイズを２^Ｎで除算する。その結果得られた値が上記パタン最小サイズより小さかった場合、階層数算出部２１は、階層数Ｎ＝１を出力する。一方、得られた値が上記パタン最小サイズより大きかった場合、Ｎを１増加させてＮ＝２とし、再度基準サイズを２^Ｎで除算する。その結果得られた値が上記パタン最小サイズより小さかった場合、階層数算出部２１は、階層数Ｎ＝２を出力する。一方、得られた値が上記パタン最小サイズより大きかった場合、再度Ｎを増加させて、基準サイズを２^Ｎで除算する。階層数算出部２１は、このような処理を、除算の結果として得られる値が上記パタン最小サイズを下回るまで繰り返す。その結果、階層数算出部２１からは、何らかの正整数の値が階層数Ｎとして出力されることになる。階層数算出部２１から出力された階層数Ｎは、低解像度ピラミッド生成部２４及びマッチング処理部３０（図１）に供給される。

高解像度ピラミッド生成部２２（第１の高解像度ピラミッド生成部）は、基準画像入力受付部２から供給される基準画像について、ｎ−２段階（ｎは設定値入力受付部３から供給される値）にわたり、ガウシアンフィルターを適用しつつダウンサンプリング（低解像度化）を行い、さらに、各段階で得られるダウンサンプリング後の画像に差分フィルターを適用するように構成される。１段分のダウンサンプリングによる解像度の低下量は、画像の一辺のサイズが半分になる量に予め調節される。このダウンサンプリング及びフィルタリングにより、最終的に、基準画像そのものである濃淡画像＜１＞を含むｎ−１枚の濃淡画像＜ｎ−１：１＞（複数の第１の濃淡画像）が生成される。ここで、２段階目以降のダウンサンプリングは、前段のダウンサンプリングの結果として得られた濃淡画像を入力画像として行われる。したがって、生成されるｎ−１枚の濃淡画像＜ｎ−１：１＞の解像度は、濃淡画像＜１＞から順に低くなることになる。高解像度ピラミッド生成部２２が生成した濃淡画像＜ｎ−１：１＞は、高解像度テンプレート生成部２３に供給される。

ここで、ダウンサンプリング前の画像にガウシアンフィルターを適用する目的について説明する。高解像度ピラミッド生成部２２の出力である濃淡画像＜ｎ−１：１＞は、後述する高解像度テンプレート生成部２３において微分画像化されるが、画像認識装置１が好適な認識を行うためには、こうして得られる微分画像に、マッチングに適したエッジ特徴が現れている必要がある。なお、マッチングに適したエッジ特徴とは、対象物の輪郭を安定的に含みながら、背景領域に含まれるエッジを極力含まない、というものである。

従来の粗密検索では、画像のダウンサンプリングは、単に画像の解像度を落とすことによって行われていた。もしくは、エイリアシングの発生を防ぐ程度の小さなσ値を持つガウシアンフィルターを、原画像（基準画像入力受付部２から供給された基準画像）のみに適用していた。この状態では、解像度は低下するものの対象物以外のノイズによる高周波情報が十分に残っているため、画面がエッジで埋め尽くされた状態となり、エッジ特徴マッチングに適した画像とは言えない。

これに対し、画像認識装置１では、各段階でダウンサンプリング前の画像にガウシアンフィルターを適用するので、ノイズに代表される局所的なエッジを排除しつつ、対象物のエッジのような大局的なエッジを残すことが可能となっている。したがって、画像認識装置１では、マッチングに適したエッジ特徴が現れる微分画像を得ることが可能になる。

なお、ガウシアンフィルターがこのような効果を有するためには、ある程度大きなσ値を設定する必要がある。しかし一方で、ガウシアンフィルターにはσ値が大きいほど処理コストが大きくなるという特徴があるため、あまり大きなσ値を設定することは好ましくない。これに対し、画像認識装置１では、複数段階にわたって画像のダウンサンプリングを行い、その都度ガウシアンフィルターを適用していくことから、ダウンサンプリングの段階が進むにつれてσ値が累乗されることになる。このことは、最終的に得られる濃淡画像に関して、段階数分累乗されたσ値を有するガウシアンフィルターが適用された場合と同じフィルタリング効果が得られることを意味する。したがって、設定値としてのσ値はそれほど大きな値でなくとも、実質的に、大きなσ値を設定した場合と同様の効果が得られることになるので、画像認識装置１では、大きなσ値を設定することによるガウシアンフィルターの処理コストの問題はほぼ生じない。具体的なσ値の設定値は、生成されるテンプレートを目視で確認しながら、マッチングに適したエッジ特徴が現れるよう、適宜調節することが好適である。

高解像度テンプレート生成部２３は、高解像度ピラミッド生成部２２から供給される濃淡画像＜ｋ＞（ｋは１からｎ−１の整数）を８方向エッジ検出部１０に供給し、その結果として８方向エッジ検出部１０から出力される非極大抑制画像＜ｋ＞＜７：０＞に基づき、濃淡画像＜ｋ＞の解像度に対応するテンプレートを生成するよう構成される。高解像度テンプレート生成部２３は、１からｎ−１のｎ−１個のｋそれぞれについて、このテンプレートの生成を行うよう構成される。

高解像度テンプレート生成部２３は、具体的には、図４に示すように、画像取得部２３ａ、勾配値取得部２３ｂ、エッジ特徴点群生成部２３ｃ、単位回転角算出部２３ｄ、回転処理部２３ｅを有して構成される。以下、これらの機能部の動作について説明しつつ、高解像度テンプレート生成部２３によるテンプレート生成の具体的な手順について詳しく説明する。

以下、高解像度ピラミッド生成部２２から濃淡画像＜ｋ＞が供給された場合の動作を例に取って説明する。高解像度ピラミッド生成部２２から濃淡画像＜ｋ＞が供給されると、まず画像取得部２３ａにより、供給された濃淡画像＜ｋ＞が８方向エッジ検出部１０に供給され、その結果として８方向エッジ検出部１０から出力される微分画像＜ｋ＞＜７：０＞及び非極大抑制画像＜ｋ＞＜７：０＞が取得される。画像取得部２３ａは、こうして取得した非極大抑制画像＜ｋ＞＜７：０＞のすべてをエッジ特徴点群生成部２３ｃに供給するとともに、微分画像＜ｋ＞＜７：０＞のうちそれぞれ微分方向０°、９０°、１８０°、２７０°に対応する微分画像＜ｋ＞＜０＞、微分画像＜ｋ＞＜２＞、微分画像＜ｋ＞＜４＞、微分画像＜ｋ＞＜６＞のみを勾配値取得部２３ｂに供給する。以下では、この４つの微分画像をまとめて、図４にも示すように微分画像＜ｋ＞＜０，２，４，６＞と表記する。また、画像取得部２３ａは、ｋ＝ｎ−１の場合に限り、微分画像＜ｎ−１＞＜７：０＞を図３に示す低解像度ピラミッド生成部２４に供給する。

勾配値取得部２３ｂは、微分画像＜ｋ＞＜０，２，４，６＞から画素ごとの勾配方向を取得し、この勾配方向が各画素に設定された勾配画像＜ｋ＞を生成するとともに、取得した各画素の勾配方向を量子化することにより、量子化された勾配方向が各画素に設定された微分方向画像＜ｋ＞を生成する機能を有している。具体的に説明すると、勾配値取得部２３ｂはまず、それぞれ微分方向０°，１８０°に対応する微分画像＜ｋ＞＜０，４＞から、Ｘ方向微分画像を生成する。より具体的には、微分画像＜ｋ＞＜０＞から微分画像＜ｋ＞＜４＞を減算することにより、Ｘ方向微分画像を生成する。上述したように、微分画像＜７：０＞はそれぞれ、対応する微分方向に沿って暗から明に変化するエッジのみが強調された画像である。したがって、微分画像＜ｋ＞＜０＞は微分方向０°に沿って暗から明に変化するエッジのみが強調された画像であり、微分画像＜ｋ＞＜４＞は微分方向１８０°に沿って暗から明に変化するエッジのみが強調された画像である。これに対し、Ｘ方向微分画像は上記のように微分画像＜ｋ＞＜０＞から微分画像＜ｋ＞＜４＞を減算したものであるから、微分方向０°に沿って暗から明に変化するエッジと、微分方向１８０°に沿って暗から明に変化するエッジ（すなわち、微分方向０°に沿って明から暗に変化するエッジ）との両方が強調された画像となる。

次に、勾配値取得部２３ｂは、それぞれ微分方向９０°，２７０°に対応する微分画像＜ｋ＞＜２，６＞から、Ｙ方向微分画像を生成する。より具体的には、微分画像＜ｋ＞＜２＞から微分画像＜ｋ＞＜６＞を減算することにより、Ｙ方向微分画像を生成する。こうして生成されるＹ方向微分画像は、Ｘ方向微分画像と同様の理由により、微分方向９０°に沿って暗から明に変化するエッジと、微分方向２７０°に沿って暗から明に変化するエッジ（すなわち、微分方向９０°に沿って明から暗に変化するエッジ）との両方が強調された画像となる。

続いて、勾配値取得部２３ｂは、以上のように生成したＸ方向微分画像及びＹ方向微分画像により、勾配画像＜ｋ＞を生成する。具体的に説明すると、まず逆正接を用いる次の式（５）により、各画素の勾配方向Ｇ（ｉ）（ｉは画素の通番）を算出する。ただし、式（５）中のＸ（ｉ）はｉ番目の画素のＸ方向微分画像における明度（微分値）を示し、Ｙ（ｉ）はｉ番目の画素のＹ方向微分画像における明度（微分値）を示している。勾配値取得部２３ｂは、こうして算出した勾配方向Ｇ（ｉ）を各画素に設定することにより、勾配画像＜ｋ＞を生成する。

次に、勾配値取得部２３ｂは、勾配画像＜ｋ＞から微分方向画像＜ｋ＞を生成する。具体的には、式（５）により算出した勾配方向Ｇ（ｉ）を、上記所定数（（図２に示した方向別微分画像生成部１０ａに設定される所定数。本実施の形態では「８」）の微分方向のうち最も近い方向に量子化してなる量子化勾配方向ＱＧ（ｉ）を取得する。一例を挙げて説明すると、ｉ番目の画素に対応する勾配方向Ｇ（ｉ）が例えば４０°であった場合、上述した微分方向０°、４５°、９０°、１３５°、１８０°、２１５°、２７０°、３１５°のうち、微分方向４５°が最も近い方向となるので、量子化勾配方向ＱＧ（ｉ）は４５°となる。以上のような量子化勾配方向ＱＧ（ｉ）をすべての画素について取得した後、勾配値取得部２３ｂは、量子化勾配方向ＱＧ（ｉ）を微分方向画像＜ｋ＞の各画素に設定する。これにより、勾配値取得部２３ｂによる微分方向画像＜ｋ＞の生成が完了する。勾配値取得部２３ｂが生成した微分方向画像＜ｋ＞は、エッジ特徴点群生成部２３ｃに供給される。

エッジ特徴点群生成部２３ｃは、非極大抑制画像＜ｋ＞＜７：０＞に含まれる複数のエッジ点それぞれについて微分方向画像＜ｋ＞から量子化勾配方向を取得し、該複数のエッジ点それぞれの座標及び量子化勾配方向を示すエッジ特徴点群＜ｋ＞を生成するよう構成される。より具体的に言えば、エッジ特徴点群生成部２３ｃは、微分方向画像＜ｋ＞内の各画素がエッジ点であるか否かを判定する機能と、エッジ点であると判定した各画素について、微分方向画像＜ｋ＞内における座標（ピクセル座標）、微分方向画像＜ｋ＞内に設定された量子化勾配方向ＱＧ（ｉ）、この量子化勾配方向ＱＧ（ｉ）に対応する非極大抑制画像内の対応する画素に設定された値（サブピクセル変位量Δｘ）、及び、勾配画像＜ｋ＞内に設定された勾配方向Ｇ（ｉ）を含むエッジ特徴点群＜ｋ＞を生成する機能とを有して構成される。

以下、微分方向画像＜ｋ＞内のｉ番目の画素にかかる処理に注目し、エッジ特徴点群生成部２３ｃの動作について、より具体的に説明する。エッジ特徴点群生成部２３ｃはまず、ｉ番目の画素に関して微分方向画像＜ｋ＞内に設定された量子化勾配方向ＱＧ（ｉ）を取得する。そして、８枚の非極大抑制画像＜ｋ＞＜７：０＞の中から、この量子化勾配方向ＱＧ（ｉ）に対応するものを選択する。続いて、エッジ特徴点群生成部２３ｃは、上記ｉ番目の画素に対応する選択した非極大抑制画像＜ｋ＞内の画素を参照し、そこに設定された値を取り出す。そして、取り出した値が−０．５以上０．５以下の範囲に含まれるか否かを判定し、含まれると判定した場合に、ｉ番目の画素がエッジ点であると判定する。含まれないと判定した場合には、ｉ番目の画素はエッジ点ではないと判定する。この判定では、要するに、非極大抑制画像＜ｋ＞内の対応する画素にサブピクセル変位量Δｘが設定されている場合にエッジ点であると判定し、そうでない場合にエッジ点ではないと判定していることになる。

ｉ番目の画素がエッジ点であると判定した場合、エッジ特徴点群生成部２３ｃは、微分方向画像＜ｋ＞からｉ番目の画素の座標（ピクセル座標）及び量子化勾配方向ＱＧ（ｉ）を取得するとともに、選択した非極大抑制画像＜ｋ＞から対応する画素の設定値（サブピクセル変位量Δｘ）を取得し、さらに勾配画像＜ｋ＞内から対応する画素の勾配方向Ｇ（ｉ）を取得し、こうして取得した各情報を含む一群の情報を、エッジ特徴点群＜ｋ＞内に１レコードとして格納する。

最終的に生成されるエッジ特徴点群＜ｋ＞は、微分方向画像＜ｋ＞内のすべての画素のうち、上記判定によりエッジ点であると判定された画素のそれぞれについて、同様のレコードを含む情報となる。こうして生成されるエッジ特徴点群＜ｋ＞は、画像認識装置１において使用される複数のテンプレートのうちのひとつを構成するもので、単位回転角算出部２３ｄ及び回転処理部２３ｅのそれぞれに供給される。

単位回転角算出部２３ｄは、エッジ特徴点群＜ｋ＞に基づいて単位回転角θ_０＜ｋ＞を算出する機能部である。単位回転角θ_０＜ｋ＞とは、回転テンプレートを生成するためにテンプレートを回転させる際の回転角の基準値である。単位回転角算出部２３ｄによる単位回転角θ_０＜ｋ＞の算出は、次の式（６）から式（１０）に示す一連の計算を行うことによって行われる。ただし、式（６）中のＤ_ｊは、エッジ特徴点群＜ｋ＞に含まれるｊ番目のエッジ点と、エッジ特徴点群＜ｋ＞に含まれる全エッジ点の重心位置との間の距離である。また、Ｎ_Ｅは、エッジ特徴点群＜ｋ＞に含まれるエッジ点の個数である。

式（６）から式（１０）について、計算の順を追いつつ詳しく説明する。まず単位回転角算出部２３ｄは、式（６）により距離Ｄ_ｊの平均値μを算出し、次いで式（７）により距離Ｄ_ｊの標準偏差値ｕを算出する。次に単位回転角算出部２３ｄは、式（８）に示すように、平均値μと標準偏差値ｕを加算することによってエッジ基準距離値Ｄを算出する。そして、このエッジ基準距離値Ｄを用いて、式（９）により角度変化量θ_ｃを算出する。角度変化量θ_ｃは、重心位置からエッジ基準距離値Ｄだけ離れた位置にあるエッジ点が重心位置を中心とした円軌道上を１画素分移動した場合の、該エッジ点の回転角を示している。最後に単位回転角算出部２３ｄは、式（１０）に示すように、角度変化量θ_ｃに変形許容量Ｖ（設定値入力受付部３から供給されるもの）を乗算した結果を、単位回転角θ_０＜ｋ＞として出力する。

回転処理部２３ｅは、単位回転角算出部２３ｄによって算出された単位回転角θ_０＜ｋ＞に基づいてエッジ特徴点群＜ｋ＞を回転させることにより、このエッジ特徴点群＜ｋ＞であるエッジ特徴点群＜ｋ＞＜０＞を含むｍ_ｋ＋１個のエッジ特徴点群＜ｋ＞＜ｍ_ｋ：０＞を取得する。ただし、ｍ_ｋは次の式（１１）で表わされる。

以上のようにして生成されるエッジ特徴点群＜ｋ＞＜ｍ_ｋ：０＞はそれぞれ、画像認識装置１において使用される複数のテンプレートのうちのひとつを構成する。

ここまで、高解像度ピラミッド生成部２２から濃淡画像＜ｋ＞が供給された場合の動作を例に取って高解像度テンプレート生成部２３内の各部の動作を説明してきたが、実際の高解像度テンプレート生成部２３は、１からｎ−１のｎ−１個のｋそれぞれについて同様の動作を行うよう構成される。したがって、高解像度テンプレート生成部２３は最終的に、図３に示すように、それぞれテンプレートである複数のエッジ特徴点群＜１＞＜ｍ_１：０＞〜＜ｎ−１＞＜ｍ_ｎ−１：０＞を生成することとなる。

図３に戻る。低解像度ピラミッド生成部２４（第１の低解像度ピラミッド生成部）は、高解像度テンプレート生成部２３から供給される微分画像＜ｎ−１＞＜７：０＞（濃淡画像＜ｎ−１：１＞のうちの最も解像度が低いものである濃淡画像＜ｎ−１＞が入力画像である場合に８方向エッジ検出部１０により生成される８枚の微分画像）それぞれの解像度をＮ−ｎ＋１段階にわたって落とすことにより、解像度ごとの８枚の微分画像＜７：０＞を含む８×（Ｎ−ｎ＋１）枚の微分画像＜Ｎ：ｎ＞＜７：０＞（第１の微分画像）を生成するよう構成される。

低解像度ピラミッド生成部２４の基本的な動作原理については、高解像度ピラミッド生成部２２と同様であるので、詳しい説明は省略する。ただし、低解像度ピラミッド生成部２４は、８枚の微分画像＜ｎ−１＞＜７：０＞のそれぞれをダウンサンプリング及びフィルタリングの対象とし、Ｎ−ｎ＋１段階にわたって処理を繰り返すよう構成される。１段分のダウンサンプリングによる解像度の低下量は、高解像度ピラミッド生成部２２と同様、画像の一辺のサイズが半分になる量に予め調節される。

低解像度テンプレート生成部２５は、低解像度ピラミッド生成部２４から供給される微分画像＜ｋ＞＜７：０＞（ｋはｎからＮの整数）を８方向エッジ検出部１０に供給し、その結果として８方向エッジ検出部１０から出力される非極大抑制画像＜ｋ＞＜７：０＞に基づき、微分画像＜ｋ＞＜７：０＞の解像度に対応するテンプレートを生成する機能部である。低解像度テンプレート生成部２５は、ｎからＮのＮ−ｎ＋１個のｋそれぞれについて、このテンプレートの生成を行うよう構成される。

低解像度テンプレート生成部２５は、図５に示すように、画像取得部２５ａ、勾配値取得部２５ｂ、エッジ特徴点群生成部２５ｃ、単位回転角算出部２５ｄ、回転処理部２５ｅを有して構成される。これらの機能部の動作は、基本的に、図４に示した高解像度ピラミッド生成部２２内の各機能部の動作と同様である。以下、異なる点のみを説明する。

画像取得部２５ａには、濃淡画像ではなく微分画像＜ｋ＞＜７：０＞が供給される。画像取得部２５ａは、これを８方向エッジ検出部１０に供給する。その結果として８方向エッジ検出部１０から低解像度テンプレート生成部２５に供給される画像は、図４に示した高解像度ピラミッド生成部２２の例と同様、微分画像＜ｋ＞＜７：０＞及び非極大抑制画像＜ｋ＞＜７：０＞となる。なお、高解像度ピラミッド生成部２２の画像取得部２３ａは、こうして供給された画像のうち微分画像＜ｎ−１＞＜７：０＞を低解像度ピラミッド生成部２４に出力していたが、画像取得部２５ａはそのような出力は行わない。

８方向エッジ検出部１０から供給された微分画像＜ｋ＞＜７：０＞及び非極大抑制画像＜ｋ＞＜７：０＞を受け、勾配値取得部２５ｂ、エッジ特徴点群生成部２５ｃ、単位回転角算出部２５ｄ、回転処理部２５ｅは、図４に示した勾配値取得部２３ｂ、エッジ特徴点群生成部２３ｃ、単位回転角算出部２３ｄ、回転処理部２３ｅと同様の処理を行う。これにより、図３に示すように、それぞれテンプレートである複数のエッジ特徴点群＜ｎ＞＜ｍ_ｎ：０＞〜＜Ｎ＞＜ｍ_Ｎ：０＞が生成される。

図１に戻り、マッチング処理部３０は、探索対象画像入力受付部４から供給される探索対象画像を８方向エッジ検出部１０に供給し、その結果として８方向エッジ検出部１０から供給されるエッジ距離画像＜７：０＞（８枚の非極大抑制画像＜７：０＞に基づいて生成される８枚の画像）と、テンプレート生成部２０により生成されたテンプレート（エッジ特徴点群）とに基づいて、探索対象画像内における基準画像のポーズを示すポーズ情報を取得する機能を有して構成される。

図６〜図８を参照して、マッチング処理部３０の機能について詳しく説明する。マッチング処理部３０は、図６に示すように、高解像度ピラミッド生成部３１、画像取得部３２、低解像度ピラミッド生成部３３、全探索処理部３４、及び周辺探索処理部３５を有して構成される。

高解像度ピラミッド生成部３１（第２の高解像度ピラミッド生成部）は、探索対象画像入力受付部４から供給される探索対象画像について、ｎ−２段階（ｎは設定値入力受付部３から供給される値）にわたり、ガウシアンフィルターを適用しつつダウンサンプリング（低解像度化）を行い、さらに、各段階で得られるダウンサンプリング後の画像に差分フィルターを適用するように構成される。１段分のダウンサンプリングによる解像度の低下量は、画像の一辺のサイズが半分になる量に予め調節される。高解像度ピラミッド生成部３１の具体的な機能はテンプレート生成部２０内の高解像度ピラミッド生成部２２と同様であるので、詳しい説明は省略する。最終的に、高解像度ピラミッド生成部３１は、探索対象画像そのものである濃淡画像＜１＞を含むｎ−１枚の濃淡画像＜ｎ−１：１＞（複数の第２の濃淡画像）を生成し、周辺探索処理部３５に供給する。また、濃淡画像＜ｎ−１：１＞のうち最も解像度が低い濃淡画像＜ｎ−１＞に限り、画像取得部３２にも供給する。

画像取得部３２は、高解像度ピラミッド生成部３１から供給された濃淡画像＜ｎ−１＞を８方向エッジ検出部１０に供給し、その結果として８方向エッジ検出部１０から供給される微分画像＜ｎ−１＞＜７：０＞を低解像度ピラミッド生成部３３に供給するよう構成される。

低解像度ピラミッド生成部３３（第２の低解像度ピラミッド生成部）は、画像取得部３２から供給される微分画像＜ｎ−１＞＜７：０＞それぞれの解像度をＮ−ｎ＋１段階にわたって落とすことにより、解像度ごとの８枚の微分画像＜７：０＞を含む複数の微分画像（第２の微分画像）を生成するように構成される。１段分のダウンサンプリングによる解像度の低下量は、画像の一辺のサイズが半分になる量に予め調節される。低解像度ピラミッド生成部３３の具体的な機能はテンプレート生成部２０内の低解像度ピラミッド生成部２４と同様であるので、詳しい説明は省略する。最終的に、低解像度ピラミッド生成部３３は、Ｎ−ｎ＋１組の８枚の微分画像＜Ｎ：ｎ＞＜７：０＞（複数の第２の微分画像）を生成し、そのうち微分画像＜Ｎ＞＜７：０＞を全探索処理部３４に、残りの微分画像＜Ｎ−１：ｎ＞＜７：０＞を周辺探索処理部３５にそれぞれ供給する。

全探索処理部３４は、低解像度ピラミッド生成部３３から供給される微分画像＜Ｎ＞＜７：０＞と、テンプレート生成部２０から供給されるエッジ特徴点群＜Ｎ＞＜ｍ_Ｎ：０＞とに基づいて、探索対象画像内における基準画像のポーズの候補であるＡ＋１個のポーズ情報候補＜Ｎ＞＜Ａ：０＞を取得する機能部である。なお、Ａは探索の結果として得られる数値であり、予め決められているものではない。

全探索処理部３４は、図７に示すように、画像取得部３４ａ及び一致度空間取得部３４ｂを有して構成される。

画像取得部３４ａは、低解像度ピラミッド生成部３３から供給される微分画像＜Ｎ＞＜７：０＞を８方向エッジ検出部１０に供給し、その結果として８方向エッジ検出部１０から供給されるエッジ距離画像＜Ｎ＞＜７：０＞を一致度空間取得部３４ｂに供給するよう構成される。

一致度空間取得部３４ｂは、テンプレート生成部２０から供給されるｍ_Ｎ＋１個のエッジ特徴点群＜Ｎ＞＜ｍ_Ｎ：０＞ごとに、エッジ距離画像＜Ｎ＞＜７：０＞の各画素を原点位置（左上位置）として、エッジ特徴点群内の各エッジ点とエッジ距離画像＜Ｎ＞＜７：０＞内の各画素との一致度を算出する機能を有して構成される。以下、図１０も参照しながら詳しく説明する。

一致度空間取得部３４ｂは、まずエッジ特徴点群＜Ｎ＞＜０＞に着目し、さらに、左上から順にエッジ距離画像＜Ｎ＞＜０＞の座標に順次着目する。図１０には、ある瞬間に一致度空間取得部３４ｂが着目した座標（Ｘ_ＯＦＦ，Ｙ_ＯＦＦ）を図示している。一致度空間取得部３４ｂによる一致度の算出処理では、エッジ距離画像＜Ｎ＞＜０＞のうち、着目した座標（Ｘ_ＯＦＦ，Ｙ_ＯＦＦ）を左上として、Ｘ方向の幅Ｘ_ｔｅｍｐかつＹ方向の幅Ｙ_ｔｅｍｐの領域が処理対象となる。ここで、Ｘ方向の幅Ｘ_ｔｅｍｐは、エッジ特徴点群＜Ｎ＞＜０＞に含まれる各画素のＸ座標のうち最大のものから最小のものを減じた値、つまりエッジ特徴点群＜Ｎ＞＜０＞のＸ方向の幅であり、Ｙ方向の幅Ｙ_ｔｅｍｐは、エッジ特徴点群＜Ｎ＞＜０＞に含まれる各画素のＹ座標のうち最大のものから最小のものを減じた値、つまりエッジ特徴点群＜Ｎ＞＜０＞のＹ方向の幅である。エッジ特徴点群＜Ｎ＞＜０＞内の各エッジ点は、処理対象領域内のいずれかの画素と対応することになる。

座標（Ｘ_ＯＦＦ，Ｙ_ＯＦＦ）に着目した一致度空間取得部３４ｂは、エッジ特徴点群＜Ｎ＞＜０＞内の各エッジ点について、次の式（１２）及び式（１３）により、エッジ距離画像＜Ｎ＞＜０＞内の対応する画素との一致度を算出する。ただし、関数Ｄ（ｘ，ｙ，ｄｉｒ）は、対応する微分方向がｄｉｒであるエッジ距離画像上の座標（ｘ，ｙ）に設定されているエッジ距離ＥＤ（式（４）参照）である。また、Ｔｘ（ｉ）、Ｔｙ（ｉ）、Ｔｄｉｒ（ｉ）、Ｔｄ（ｉ）はそれぞれ、エッジ特徴点群に含まれるｉ番目のエッジ点のｘ座標、ｙ座標、量子化勾配方向ＱＧ（ｉ）、及びサブピクセル変位量Δｘである。Ｖは、設定値入力受付部３から供給される変形許容量であり、Ｓ（ｉ）は、エッジ特徴点群に含まれるｉ番目のエッジ点について算出された一致度である。

以上のようにしてエッジ特徴点群＜Ｎ＞＜０＞内の各エッジ点について一致度Ｓ（ｉ）を算出した一致度空間取得部３４ｂは、次の式（１４）により、その平均値Ｓｃｏｒｅを算出する。ただし、Ｎ_Ｅは、エッジ特徴点群＜Ｎ＞＜０＞に含まれるエッジ点の個数である。

一致度空間取得部３４ｂは、Ｘ軸、Ｙ軸、θ軸で特定される投票空間内の各座標に、上記のようにして算出した平均値Ｓｃｏｒｅを対応付ける。ただし、θ座標は、エッジ特徴点群に対応する回転角に対応させる。上記の場合では、一致度空間取得部３４ｂは、Ｘ座標Ｘ_ＯＦＦ、Ｙ座標Ｙ_ＯＦＦ、θ座標０°（エッジ特徴点群＜Ｎ＞＜０＞に対応する回転角）の点に、平均値Ｓｃｏｒｅを対応付けることになる。

一致度空間取得部３４ｂは、互いに回転角の異なるｍ_Ｎ＋１個のエッジ特徴点群＜Ｎ＞＜ｍ_Ｎ：０＞と、互いに微分方向の異なる８枚のエッジ距離画像＜Ｎ＞＜７：０＞とのすべての組み合わせについて、エッジ距離画像内のすべての画素に順次着目しながら（座標（Ｘ_ＯＦＦ，Ｙ_ＯＦＦ）を切り替えながら）、以上の処理を実行する。ただし、微分方向が４５°、１３５°、２２５°、３１５°に対応するエッジ距離画像＜Ｎ＞＜１，３，５，７＞に関しては、式（１３）に代えて式（１５）を用いる。これは、これらの画像の画素間距離が、エッジ距離画像＜Ｎ＞＜０，２，４，６＞に比べて２の平方根倍になることに対応するものである。

一致度空間取得部３４ｂの上記処理により、最終的に、Ｘ軸、Ｙ軸、θ軸で特定される投票空間内の各座標に、平均値Ｓｃｏｒｅが対応づけられる。一致度空間取得部３４ｂはさらに、その中で極大値を構成している座標を取得する。そして、取得した１つ以上の座標（Ｘ，Ｙ，θ）を、Ａ＋１個のポーズ情報候補＜Ｎ＞＜Ａ：０＞として出力する。Ａ＋１は、一致度空間取得部３４ｂが取得した座標の数である。

全探索処理部３４は、以上のようにして取得したポーズ情報候補＜Ｎ＞＜Ａ：０＞を、周辺探索処理部３５に供給するよう構成される。

周辺探索処理部３５は、ポーズ情報候補＜Ｎ＞＜Ａ：０＞のそれぞれに基づいて微分画像＜Ｎ−１：ｎ＞＜７：０＞及び濃淡画像＜ｎ−１：１＞のそれぞれから画像を抽出し、さらに、抽出した画像（抽出画像）とテンプレート生成部２０から供給されるエッジ特徴点群＜１＞＜ｍ_１：０＞〜＜Ｎ−１＞＜ｍ_Ｎ−１：０＞とに基づいてポーズ情報を取得する機能部である。より具体的には、解像度ごとに、該解像度に対応する抽出画像が入力画像である場合に８方向エッジ検出部１０により生成される８枚のエッジ距離画像と、該解像度に対応するエッジ特徴点群（テンプレート）とに基づいて、探索対象画像内における基準画像のポーズの候補である少なくとも１つのポーズ情報候補を取得するよう構成される。画像認識装置１の最終的な出力であるポーズ情報は、最も高い解像度に対応して周辺探索処理部３５が取得する少なくとも１つのポーズ情報候補の中から、周辺探索処理部３５により選択される。

周辺探索処理部３５は、図８（ａ）（ｂ）に示すように、座標変換処理部３５ａ、テンプレート選択部３５ｂ、処理領域抽出部３５ｃ、画像取得部３５ｄ、一致度空間取得部３５ｅ、及び最終回答選択部３５ｆを有して構成される。周辺探索処理部３５は、これらの機能部を用いて、低い解像度から順に処理対象の解像度を上げながら、Ｎ−１段階の処理を行うよう構成される。このＮ−１段階の処理のそれぞれにおいて、周辺探索処理部３５は、Ａ＋１個のポーズ情報候補＜Ｎ＞＜Ａ：０＞のそれぞれに対応するポーズ情報候補を取得する。図８（ａ）には、このうちｋ段階目（ｋは１からＮ−１の整数）の処理かつａ番目（ａは０からＡの整数）のポーズ情報候補＜ｋ＞＜ａ＞に関する部分を図示している。

なお、本実施の形態による周辺探索処理部３５は、上記各段階のそれぞれでＡ＋１個のポーズ情報候補を取得するよう構成される。つまり、全探索処理部３４が取得したポーズ情報候補の数は周辺探索処理部３５の処理の間維持されるが、ある段階で算出した平均値Ｓｃｏｒｅが例えば予め決められた所定値を下回るようなポーズ情報候補については、その段階以降、処理の対象としないこととしてもよい。こうすることで、正しい回答である可能性の低いポーズ情報候補を処理対象から除去し、処理コストを低減することが可能になる。

以下、図８（ａ）に示したｋ段階目の処理かつａ番目のポーズ情報候補＜ｋ＞＜ａ＞に関する周辺探索処理部３５の動作を例に取って説明する。なお、ｋは、Ｎ−１から１まで１ずつデクリメントされる。

座標変換処理部３５ａは、ｋ＝Ｎ−１の場合には全探索処理部３４（図６）からポーズ情報候補＜Ｎ＞＜ａ＞を取得し、ｋ＜Ｎ−１の場合には一致度空間取得部３５ｅからひとつ前の段階で生成されたポーズ情報候補＜ｋ＋１＞＜ａ＞を取得する。そして、取得したポーズ情報候補に座標変換処理を施す。この処理は、相対的に前段の処理で使用される各画像と、相対的に後段の処理で使用される各画像とで、解像度が異なるために必要となるものである。本実施の形態では、上述したように、１段階の処理で画像の一辺のサイズが半分になるように、画像のダウンサンプリングを行っている。したがって、座標変換処理部３５ａは、ポーズ情報候補＜ｋ＋１＞＜ａ＞により示される座標（Ｘ，Ｙ，θ）のＸ座標及びＹ座標をそれぞれ２倍することにより、座標変換を行うことになる。座標変換処理部３５ａは、座標変換後のポーズ情報候補＜ｋ＋１＞＜ａ＞のうち、Ｘ座標及びＹ座標を処理領域抽出部３５ｃに、θ座標をテンプレート選択部３５ｂにそれぞれ供給する。

テンプレート選択部３５ｂは、テンプレート生成部２０（図１）から供給されるｍ_ｋ＋１個のエッジ特徴点群＜ｋ＞＜ｍ_ｋ：０＞の中から、座標変換処理部３５ａから供給されるθ座標に基づいて、７個を選択する機能を有している。具体的な例では、対応する回転角がθ座標に等しいものと、対応する回転角がθ座標にプラス側で近いものから順に３つと、対応する回転角がθ座標にマイナス側で近いものから順に３つとを選択する。以下、こうして選択されるものをエッジ特徴点群＜ｋ＞＜ｓ＋３：ｓ−３＞と表わし、それぞれに対応する回転角をθ_ｓ−３〜θ_ｓ＋３と表わす。テンプレート選択部３５ｂは、選択したエッジ特徴点群＜ｋ＞＜ｓ＋３：ｓ−３＞を一致度空間取得部３５ｅに供給するとともに、対応する回転角θ_ｓ−３〜θ_ｓ＋３を処理領域抽出部３５ｃに供給する。また、テンプレート選択部３５ｂは、回転角０°に対応するエッジ特徴点群＜ｋ＞＜０＞に関して上述したＸ方向の幅Ｘ_ｔｅｍｐ及びＹ方向の幅Ｙ_ｔｅｍｐ（図１０参照）を取得し、それぞれＸ方向の幅Ｘ_{ｔｅｍｐ０}及びＹ方向の幅Ｙ_{ｔｅｍｐ０}として処理領域抽出部３５ｃに供給する。

処理領域抽出部３５ｃは、ｋ≧ｎの場合には低解像度ピラミッド生成部３３（図６）から８枚の微分画像＜ｋ＞＜７：０＞を取得し、ｋ＜ｎの場合には高解像度ピラミッド生成部３１（図６）から濃淡画像＜ｋ＞を取得する。そして、座標変換処理部３５ａから供給されるＸ座標及びＹ座標と、テンプレート選択部３５ｂから供給される回転角θ_ｓ−３〜θ_ｓ＋３及び幅Ｘ_{ｔｅｍｐ０}，Ｙ_{ｔｅｍｐ０}とに基づき、取得した画像から処理領域を抽出する。より具体的に説明すると、処理領域抽出部３５ｃは、テンプレート選択部３５ｂから供給される回転角θ_ｓ−３〜θ_ｓ＋３及び幅Ｘ_{ｔｅｍｐ０}，Ｙ_{ｔｅｍｐ０}に基づき、まず回転角θ_ｓ−３〜θ_ｓ＋３のそれぞれに対応する処理領域の幅Ｘ_ｔｅｍｐ，Ｙ_ｔｅｍｐを算出する。そして、座標変換処理部３５ａから供給されるＸ座標及びＹ座標を左上としてＸ方向の幅Ｘ_ｔｅｍｐかつＹ方向の幅Ｙ_ｔｅｍｐの領域をまず取得し、さらにそこからＸ，Ｙ方向に±Ｖ（Ｖは、設定値入力受付部３から供給される変形許容量）だけ拡大した領域を処理領域として抽出する。処理領域抽出部３５ｃは、こうして抽出した抽出画像＜ｋ＞＜７：０＞＜ｓ＋３：ｓ−３＞＜ａ＞（ｋ≧ｎの場合）及び抽出画像＜ｋ＞＜ｓ＋３：ｓ−３＞＜ａ＞（ｋ＜ｎの場合）を、画像取得部３５ｄに供給する。

画像取得部３５ｄは、処理領域抽出部３５ｃから供給される上記画像を８方向エッジ検出部１０に供給し、その結果として８方向エッジ検出部１０から供給されるエッジ距離画像＜ｋ＞＜７：０＞＜ｓ＋３：ｓ−３＞＜ａ＞を一致度空間取得部３５ｅに供給するよう構成される。

一致度空間取得部３５ｅは、テンプレート選択部３５ｂから供給されるエッジ特徴点群＜ｋ＞＜ｓ＋３：ｓ−３＞ごとに、エッジ特徴点群内の各エッジ点とエッジ距離画像＜ｋ＞＜７：０＞＜ｓ＋３：ｓ−３＞＜ａ＞内の各画素との一致度を算出する機能を有して構成される。この一致度の具体的な算出方法は上述した一致度空間取得部３４ｂによるものと同様であるので、詳しい説明は省略する。最終的に、一致度空間取得部３５ｅは、ポーズ情報候補＜ｋ＞＜ａ＞を取得し、ｋ＞１である場合には、取得したポーズ情報候補＜ｋ＞＜ａ＞を座標変換処理部３５ａに供給する。こうして取得されたポーズ情報候補＜ｋ＞＜ａ＞は通常、抽出画像内に対象物が含まれている場合、ポーズ情報候補＜ｋ＋１＞＜ａ＞より高い精度で、抽出画像内の基準画像の位置を示すものとなる。

ｋ＝１である場合の一致度空間取得部３５ｅは、図８（ｂ）に示すように、Ａ＋１個のポーズ情報候補＜１＞＜Ａ：０＞と、それぞれについて算出した平均値Ｓｃｏｒｅ＜Ａ：０＞とを最終回答選択部３５ｆに供給する。これを受けた最終回答選択部３５ｆは、Ａ＋１個のポーズ情報候補＜１＞＜Ａ：０＞の中から平均値Ｓｃｏｒｅが最も大きいものを選択し、画像認識装置１の最終回答であるポーズ情報として出力する。

以上説明したように、本実施の形態による画像認識装置１によれば、８方向エッジ検出部１０によるエッジ点の決定（微分処理及び非極大抑制処理）を、勾配方向ではなく所定数（８）の微分方向のそれぞれに基づいて行っているので、探索対象画像内において背景や対象物に外観上の変化が発生しても、高い精度で認識を行うことが可能になる。

また、画像認識装置１では、探索対象画像を、単なるエッジ画像（非極大抑制画像）ではなく、変形許容量Ｖだけエッジに幅を持たせたエッジ距離画像としている。つまり、エッジポテンシャル表現によりエッジの冗長性を制御しているので、エッジの変形を伴うような対象物の外観上の変化（誤差による変化を含む）が発生しても、高い精度で認識を行うことが可能になる。

さらに、画像認識装置１ではピラミッドアルゴリズムによる粗密探索を行っているが、解像度の低い画像を、濃淡画像ではなく、方向別微分画像生成部１０ａにより生成した微分画像により構成しているので、画像認識装置１では、低い解像度で細い線状の対象物が消えてしまうことが防止されている。したがって、ピラミッドアルゴリズムにおけるピラミッドの階層を従来に比べて深くすることができるので、対象物の認識に要する処理コストを従来に比べて低くすることが可能になるとともに、使用メモリ量の低減も可能となっている。

以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

例えば上記実施の形態ではピラミッドアルゴリズムによる粗密探索を行う場合を例に取って説明したが、本発明は、ピラミッドアルゴリズムによる粗密探索を行わない場合にも好適に適用できる。

また、上記実施の形態では変形許容量Ｖだけエッジに幅を持たせたエッジ距離画像を使用したが、本発明は、エッジ距離画像を使用しない場合（エッジ距離画像に代えて非極大抑制画像を用いる場合）にも好適に適用できる。

１ 画像認識装置
２ 基準画像入力受付部
３ 設定値入力受付部
４ 探索対象画像入力受付部
１０ ８方向エッジ検出部
１０ａ 方向別微分画像生成部
１０ｂ 非極大抑制処理部
１０ｃ サブピクセル変位量算出部
１０ｄ エッジ距離画像生成部
２０ テンプレート生成部
２１ 階層数算出部
２２ 高解像度ピラミッド生成部
２３ 高解像度テンプレート生成部
２３ａ 画像取得部
２３ｂ 勾配値取得部
２３ｃ エッジ特徴点群生成部
２３ｄ 単位回転角算出部
２３ｅ 回転処理部
２４ 低解像度ピラミッド生成部
２５ 低解像度テンプレート生成部
２５ａ 画像取得部
２５ｂ 勾配値取得部
２５ｃ エッジ特徴点群生成部
２５ｄ 単位回転角算出部
２５ｅ 回転処理部
３０ マッチング処理部
３１ 高解像度ピラミッド生成部
３２ 画像取得部
３３ 低解像度ピラミッド生成部
３４ 全探索処理部
３４ａ 画像取得部
３４ｂ 一致度空間取得部
３５ 周辺探索処理部
３５ａ 座標変換処理部
３５ｂ テンプレート選択部
３５ｃ 処理領域抽出部
３５ｄ 画像取得部
３５ｅ 一致度空間取得部
３５ｆ 最終回答選択部

Claims (7)

1. 基準画像の入力を受け付ける基準画像入力受付部と、
   探索対象画像の入力を受け付ける探索対象画像入力受付部と、
   入力画像を所定数の微分方向のそれぞれで微分することにより前記所定数の微分画像を生成し、さらに該所定数の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことにより前記所定数の非極大抑制画像を生成するエッジ検出部と、
   前記基準画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の非極大抑制画像に基づいてテンプレートを生成するテンプレート生成部と、
   前記探索対象画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の非極大抑制画像のそれぞれに基づいて生成される前記所定数の画像と、前記テンプレートとに基づいて前記探索対象画像内における前記基準画像のポーズを示すポーズ情報を取得するマッチング処理部と
   を備えることを特徴とする画像認識装置。
2. 前記エッジ検出部は、
   前記所定数の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことにより、前記所定数の仮非極大抑制画像を生成する非極大抑制処理部と、
   前記所定数の仮非極大抑制画像のそれぞれに含まれるエッジ点ごとに、対応する前記微分画像に基づき、対応する微分方向における該エッジ点の中心線と、該エッジ点に対応するエッジとの間の距離を示すサブピクセル変位量を算出し、各エッジ点について算出したサブピクセル変位量を前記所定数の仮非極大抑制画像のそれぞれに設定することにより、前記所定数の非極大抑制画像を生成するサブピクセル変位量算出部と、
   前記所定数の非極大抑制画像のそれぞれに含まれる１又は複数のエッジ点それぞれの近傍に位置する複数の画素ごとに、対応するエッジ点に設定された前記サブピクセル変位量に基づいて、該画素と対応するエッジとの間の距離を示すエッジ距離を算出し、対応する前記非極大抑制画像に設定することにより、前記所定数のエッジ距離画像を生成するエッジ距離画像生成部とを有し、
   前記所定数の画像は、前記所定数のエッジ距離画像である
   ことを特徴とする請求項１に記載の画像認識装置。
3. 前記テンプレート生成部は、
   前記基準画像の解像度を複数段階にわたって落とすことにより、前記基準画像と、解像度ごとの濃淡画像とを含む複数の第１の濃淡画像を生成する第１の高解像度ピラミッド生成部と、
   解像度ごとに、前記第１の濃淡画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の非極大抑制画像に基づいて前記テンプレートを生成する高解像度テンプレート生成部と、
   前記複数の第１の濃淡画像のうちの最も解像度が低いものが前記入力画像である場合に前記エッジ検出部により生成される前記所定数の微分画像それぞれの解像度を複数段階にわたって落とすことにより、解像度ごとの前記所定数の微分画像を含む複数の第１の微分画像を生成する第１の低解像度ピラミッド生成部と、
   解像度ごとに、前記所定数の第１の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことによって生成される前記所定数の非極大抑制画像に基づいて前記テンプレートを生成する低解像度テンプレート生成部とを有し、
   前記マッチング処理部は、
   前記探索対象画像の解像度を複数段階にわたって落とすことにより、前記探索対象画像と、解像度ごとの濃淡画像とを含む複数の第２の濃淡画像を生成する第２の高解像度ピラミッド生成部と、
   前記複数の第２の濃淡画像のうちの最も解像度が低いものが前記入力画像である場合に前記エッジ検出部により生成される前記所定数の微分画像それぞれの解像度を複数段階にわたって落とすことにより、解像度ごとの前記所定数の微分画像を含む複数の第２の微分画像を生成する第２の低解像度ピラミッド生成部と、
   前記複数の第２の微分画像のうち最も低い解像度に対応する前記所定数の第２の微分画像と、前記解像度ごとのテンプレートのうち最も低い解像度に対応する前記テンプレートとに基づいて、それぞれ前記ポーズ情報の候補である少なくとも１つのポーズ情報候補を取得する全探索処理部と、
   前記複数の第２の微分画像のうち最も低い解像度以外の解像度に対応するもの及び前記複数の第２の濃淡画像のそれぞれから前記少なくとも１つのポーズ情報候補のそれぞれに基づいて抽出される抽出画像と、前記解像度ごとのテンプレートのうち最も低い解像度以外の解像度に対応する複数の前記テンプレートとに基づいて、前記ポーズ情報を取得する周辺探索処理部とを有する
   ことを特徴とする請求項１に記載の画像認識装置。
4. 前記エッジ検出部は、
   前記所定数の微分画像のそれぞれについて対応する微分方向での非極大抑制処理を行うことにより、前記所定数の仮非極大抑制画像を生成する非極大抑制処理部と、
   前記所定数の仮非極大抑制画像のそれぞれに含まれるエッジ点ごとに、対応する前記微分画像に基づき、対応する微分方向における該エッジ点の中心線と、該エッジ点に対応するエッジとの間の距離を示すサブピクセル変位量を算出し、各エッジ点について算出したサブピクセル変位量を前記所定数の仮非極大抑制画像のそれぞれに設定することにより、前記所定数の非極大抑制画像を生成するサブピクセル変位量算出部と、
   前記所定数の非極大抑制画像のそれぞれに含まれる１又は複数のエッジ点それぞれの近傍に位置する複数の画素ごとに、対応するエッジ点に設定された前記サブピクセル変位量に基づいて、該画素と対応するエッジとの間の距離を示すエッジ距離を算出し、対応する前記非極大抑制画像に設定することにより、前記所定数のエッジ距離画像を生成するエッジ距離画像生成部とを有し、
   前記所定数の画像は、前記所定数のエッジ距離画像であり、
   前記周辺探索処理部は、解像度ごとに、該解像度に対応する前記抽出画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数のエッジ距離画像と、該解像度に対応する前記テンプレートとに基づいて、前記探索対象画像内における前記基準画像のポーズの候補である少なくとも１つのポーズ情報候補を取得するよう構成され、
   前記ポーズ情報は、最も高い解像度に対応して前記周辺探索処理部が取得する前記少なくとも１つのポーズ情報候補の中から選択される
   ことを特徴とする請求項３に記載の画像認識装置。
5. 前記テンプレート生成部は、
   前記基準画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の微分画像のうちの少なくとも一部に基づいて、量子化された勾配方向が各画素に設定された微分方向画像を生成する勾配値取得部と、
   前記基準画像が前記入力画像である場合に前記エッジ検出部により生成される前記所定数の非極大抑制画像に含まれる複数のエッジ点それぞれについて前記微分方向画像から量子化された勾配方向を取得し、該複数のエッジ点それぞれの座標及び量子化された勾配方向を示すエッジ特徴点群を生成するエッジ特徴点群生成部とを有し、
   前記テンプレートは前記エッジ特徴点群を含んで構成される
   ことを特徴とする請求項１に記載の画像認識装置。
6. 前記テンプレート生成部は、
   前記エッジ特徴点群に基づいて単位回転角を算出する単位回転角算出部と、
   前記単位回転角に基づいて前記エッジ特徴点群を回転させることにより、前記エッジ特徴点群を含む複数のエッジ特徴点群を取得する回転処理部とをさらに有し、
   前記テンプレートは前記複数のエッジ特徴点群を含んで構成される
   ことを特徴とする請求項５に記載の画像認識装置。
7. 前記所定数の微分方向は、３６０°を８つに等分割することにより得られる８つの方向である
   ことを特徴とする請求項１乃至６のいずれか一項に記載の画像認識装置。

Images