JP2010027025A - 物体認識装置、物体認識方法及び物体認識方法のプログラム - Google Patents

Abstract

【課題】 本発明は、例えばデータベースに記録した多数の静止画像から特定の被写体を撮影した静止画像を検索する場合に適用して、モデル画像に背景が写っている場合でも、精度の劣化を防止することができるようにする。
【解決手段】本発明は、モデル画像又は処理対象画像をセグメント化した後、ベース点及び対応するサポート点を同一のセグメントに設定する。
【選択図】 図１

Description

本発明は、物体認識装置、物体認識方法、物体認識方法のプログラム及び物体認識方法のプログラムを記録した記録媒体に関し、例えばデータベースに記録した多数の静止画像から特定の被写体を撮影した静止画像を検索する場合に適用することができる。本発明は、モデル画像又は処理対象画像をセグメント化した後、ベース点及び対応するサポート点を同一のセグメントに設定することにより、モデル画像に背景が写っている場合でも、精度の劣化を防止することができるようにする。

近年、電子スチルカメラ等では、テンプレートマッチングの手法を用いた物体認識により、処理対象画像から所望する認識対象物体（以下、モデル物体と呼ぶ）を検出している。このテンプレートマッチングの手法を用いた物体認識は、モデル物体が部分的に隠れている場合、モデル物体の向きが変化している場合、照明が変化している場合等に、十分に対応できない欠点がある。

このような物体認識に関して、特開２００４−３２６６９３号公報には、モデル物体の局所的な特徴量を用いたマッチングにより物体認識する方法が提案されている。この特開２００４−３２６６９３号公報に開示の手法によれば、照明の変化による検出精度の低下を低減し、ロバストに物体認識することができる。しかしながらこの方法の場合、モデル物体にテクスチャー成分が少ないと、精度が劣化する欠点がある。

また特開２００８−７７６２６号公報には、モデル物体のエッジ画像における局所領域内のベース点と、このベース点をサポートするサポート点とを用いたマッチングにより物体認識する方法が提案されている。

この特開２００８−７７６２６号公報に開示の手法によれば、図３６において矢印Ａによりモデル画像Ｍ１と処理対象画像Ｌとの関係を示すように、モデル物体ＭＯにテクスチャー成分が少ない場合、処理対象画像Ｌでモデル物体ＭＯが隠れている場合でも、精度の劣化を防止することができる。なおここでモデル画像は、モデル物体を撮影した処理基準の画像である。
特開２００４−３２６６９３号公報 特開２００８−７７６２６号公報

ところでこの種の物体認識を各種のアプリケーションで使用する場合、図３５（Ｃ）に示すように、モデル画像に背景が写っている場合も予測される。この場合、このモデル画像Ｍ２を用いた物体認識では、矢印Ｂにより関係を示すように、この背景の写ったモデル画像Ｍ２中のモデル物体ＭＯを、処理対象画像Ｌから検出することになる。

しかしながら従来の物体認識では、モデル画像に背景が写っている場合、精度が著しく劣化する問題がある。

本発明は以上の点を考慮してなされたもので、モデル画像に背景が写っている場合でも、精度の劣化を防止することができる物体認識装置、物体認識方法、物体認識方法のプログラム及び物体認識方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、物体認識装置に適用して、モデル画像を処理するモデル画像処理部と、処理対象画像を処理する処理対象画像処理部と、前記モデル画像処理部及び処理対象画像処理部の処理結果をマッチング処理するマッチング部と、前記マッチング部の処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定部とを有するようにする。ここで前記モデル画像処理部は、前記モデル画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定部を有するようにする。前記処理対象画像処理部は、前記処理対象画像に、特徴点を設定して特徴量を検出する特徴点設定部を有するようにする。前記マッチング部は、前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行する。前記モデル画像処理部は、前記モデル画像をセグメント化するセグメンテーション部を有し、前記特徴点セット決定部は、前記モデル画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する。

また請求項２の発明は、物体認識装置に適用して、モデル画像を処理するモデル画像処理部と、処理対象画像を処理する処理対象画像処理部と、前記モデル画像処理部及び処理対象画像処理部の処理結果をマッチング処理するマッチング部と、前記マッチング部の処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定部とを有するようにする。ここで前記処理対象画像処理部は、前記処理対象画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定部を有するようにする。前記モデル画像処理部は、前記モデル画像に、特徴点を設定して特徴量を検出する特徴点設定部を有するようにする。前記マッチング部は、前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行する。前記処理対象画像処理部は、前記処理対象画像をセグメント化するセグメンテーション部を有し、前記特徴点セット決定部は、前記処理対象画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する。

また請求項３の発明は、物体認識方法に適用して、モデル画像を処理するモデル画像処理ステップと、処理対象画像を処理する処理対象画像処理ステップと、前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有するようにする。ここで前記モデル画像処理ステップは、前記モデル画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有するようにする。前記処理対象画像処理ステップは、前記処理対象画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有するようにする。前記マッチングステップは、前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行する。前記モデル画像処理ステップは、前記モデル画像をセグメント化するセグメンテーションステップを有し、前記特徴点セット決定ステップは、前記モデル画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する。

また請求項１２の発明は、物体認識方法に適用して、モデル画像を処理するモデル画像処理ステップと、処理対象画像を処理する処理対象画像処理ステップと、前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有するようにする。ここで前記処理対象画像処理ステップは、前記処理対象画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有するようにする。前記モデル画像処理ステップは、前記モデル画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有するようにする。前記マッチングステップは、前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行する。前記処理対象画像処理ステップは、前記処理対象画像をセグメント化するセグメンテーションステップを有し、前記特徴点セット決定ステップは、前記処理対象画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する。

また請求項２１の発明は、物体認識方法のプログラムに適用して、モデル画像を処理するモデル画像処理ステップと、処理対象画像を処理する処理対象画像処理ステップと、前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有するようにする。ここで前記モデル画像処理ステップは、前記モデル画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有するようにする。前記処理対象画像処理ステップは、前記処理対象画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有するようにする。前記マッチングステップは、前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行する。前記モデル画像処理ステップは、前記モデル画像をセグメント化するセグメンテーションステップを有し、前記特徴点セット決定ステップは、前記モデル画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する。

また請求項２２の発明は、物体認識方法のプログラムに適用して、モデル画像を処理するモデル画像処理ステップと、処理対象画像を処理する処理対象画像処理ステップと、前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有するようにする。ここで前記処理対象画像処理ステップは、前記処理対象画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有するようにする。前記モデル画像処理ステップは、前記モデル画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有するようにする。前記マッチングステップは、前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行する。前記処理対象画像処理ステップは、前記処理対象画像をセグメント化するセグメンテーションステップを有し、前記特徴点セット決定ステップは、前記処理対象画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する。

また請求項２３の発明は、物体認識方法のプログラムを記録した記録媒体に適用して、物体認識方法のプログラムは、モデル画像を処理するモデル画像処理ステップと、処理対象画像を処理する処理対象画像処理ステップと、前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有するようにする。ここで前記モデル画像処理ステップは、前記モデル画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有するようにする。前記処理対象画像処理ステップは、前記処理対象画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有するようにする。前記マッチングステップは、前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行する。前記モデル画像処理ステップは、前記モデル画像をセグメント化するセグメンテーションステップを有し、前記特徴点セット決定ステップは、前記モデル画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する。

また請求項２４の発明は、物体認識方法のプログラムを記録した記録媒体に適用して、物体認識方法のプログラムは、モデル画像を処理するモデル画像処理ステップと、処理対象画像を処理する処理対象画像処理ステップと、前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有するようにする。ここで前記処理対象画像処理ステップは、前記処理対象画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有するようにする。前記モデル画像処理ステップは、前記モデル画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有するようにする。前記マッチングステップは、前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行する。前記処理対象画像処理ステップは、前記処理対象画像をセグメント化するセグメンテーションステップを有し、前記特徴点セット決定ステップは、前記処理対象画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する。

請求項１、請求項３、請求項２１、又は請求項２３の構成によれば、モデル画像にベース点とサポート点とによる特徴点セットを設定し、この特徴点セットの局所特徴量を基準にしてマッチング処理することができる。従ってモデル物体にテクスチャー成分が少ない場合でも、ロバストに認識処理することができる。またベース点及び対応するサポート点を同一のセグメントに設定して特徴点セットを設定することから、背景とモデル物体とにまたがってベース点及びサポート点を設定しないようにすることができる。従って背景とモデル物体とにまたがってベース点及びサポート点を設定することによる認識精度の劣化を防止することができる。

また請求項２、請求項１２、請求項２２、又は請求項２４の構成によれば、処理対象画像にベース点とサポート点とによる特徴点セットを設定し、この特徴点セットの局所特徴量を基準にしてマッチング処理することができる。従って処理対象画像のモデル物体にテクスチャー成分が少ない場合でも、ロバストに認識処理することができる。またベース点及び対応するサポート点を同一のセグメントに設定して特徴点セットを設定することから、背景とモデル物体とにまたがってベース点及びサポート点を設定しないようにすることができる。従って背景とモデル物体とにまたがってベース点及びサポート点を設定することによる認識精度の劣化を防止することができる。

本発明によれば、モデル画像に背景が写っている場合でも、精度の劣化を防止することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
＜第１の実施の形態＞
〔全体構成〕
図２は、本発明の第１の実施の形態の物体認識装置を示す機能ブロック図である。この物体認識装置１は、例えばデータベースに記録した多数の静止画像による自然画からユーザーの操作によりモデル画像の選択を受け付ける。物体認識装置１は、ユーザーにより指定された検索範囲の自然画を処理対象画像（以下、クエリ画像と呼ぶ）に順次設定し、処理対象画像からモデル画像中のモデル物体を検出する。

物体認識装置１は、多数の自然画を格納可能な記録装置を有するコンピュータであり、このコンピュータに設けられた中央処理ユニットによる物体認識プログラムの実行により、この図２に示す機能ブロックが構成される。なおこの物体認識プログラムは、事前に、物体認識装置１にインストールして提供される。しかしながら物体認識プログラムは、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供してもよく、インターネット等のネットワークを介して提供してもよい。

物体認識装置１において、モデル画像処理部２及びクエリ画像処理部３は、それぞれモデル画像及びクエリ画像を処理して処理結果を出力する。マッチング部４は、これらモデル画像処理部２及びクエリ画像処理部３の処理結果に基づいてマッチング処理を実行し、判定部５は、このマッチング部４の処理結果に基づいて、判定結果を出力する。

〔モデル画像の処理〕
図１は、モデル画像処理部２を詳細に示すブロック図である。このモデル画像処理部２において、モデル画像入力部１１は、ユーザーの操作により図示しない記録手段に記録された多数の自然画からモデル画像Ｍの選択を受け付ける。

多重解像度部１２は、モデル画像Ｍの解像度を可変し、サンプリング数が順次段階的に変化する複数のモデル画像を生成する。これにより多重解像度部１２は、処理対象画像におけるモデル物体のスケール変化に対応可能に、入力されたモデル画像の画サイズを拡大、縮小したピラミット構造によるモデル画像を生成する。なおこの解像度の変換処理は、例えば所定のフィルタを用いたフィルタリング処理により実行される。

セグメンテーション部１３は、多重解像度部１２で生成した各解像度のモデル画像をそれぞれセグメンテーションする。具体的に、セグメンテーション部１３は、色を基準にしたセグメンテーションであるカラーセグメンテーションによりモデル画像をセグメント化する。なおカラーセグメンテーションは、種々の手法を適用することができるものの、この実施の形態では、CVPR1999 Y. Deng, B.S. Manjunath, and H. Shin, Color image segmentation に開示の手法により実行する。

なおセグメンテーションは、カラーセグメンテーションに限らず、種々の手法を広く適用できる。従って例えば輝度レベル、周波数成分等を基準にして、又はこれらの基準の組み合わせを基準にしてモデル画像をセグメント化してもよい。因みに輝度レベル、周波数成分を基準にしたセグメンテーションは、それぞれ各画素の輝度レベル、各画素の周波数成分を複数の判定基準値で判定してセグメント化する処理である。

このセグメンテーションの処理において、セグメンテーション部１３は、セグメント間に所定画素幅（例えば１画素幅）のセグメント境界を設定する。

特徴点抽出部１４は、各解像度のモデル画像に設定されたセグメント毎に、セグメント境界上に特徴点を順次設定し、各特徴点の特徴量を検出する。より具体的に、特徴点抽出部１４は、図３に示すように、セグメント毎に、セグメント境界上に、一定の間隔で特徴点Ｐを設定する。従ってこの場合、物体認識装置１は、セグメントの面積及びセグメントの周囲長が小さくなるに従って、１つのセグメントに設定する特徴点数が低減することになり、後述する特徴点セットの数が低下することになる。これによりこの物体認識装置１は、精度の劣化を防止しつつ、以降の無駄な処理を省略して全体の処理を簡略化することができる。

なおこの一定の間隔による特徴点Ｐの設定に代えて、セグメント境界上にランダムに所定個数の特徴点を配置するようにしてもよい。なおこの場合には、セグメントの面積及び又はセグメントの周囲長が小さくなるに従って、ランダムに配置する特徴点数を低減することにより特徴点セットの数を低減し、精度の劣化を防止しつつ、以降の無駄な処理を省略して全体の処理を簡略化することができる。

特徴点抽出部１４は、さらに特徴点Ｐ毎に、セグメント境界線の法線上であって、対応する特徴点Ｐから特徴量記述半径に応じたオフセット距離だけセグメント内に、特徴量記述中心Ｏを設定する。ここで特徴量記述中心Ｏは、対応する特徴点の局所領域を定義する基準位置である。この実施の形態では、この特徴量記述中心Ｏを中心とした円形形状の領域が、対応する特徴点の局所領域に設定され、この円形形状の局所領域から対応する特徴点の特徴量を求める。

特徴量記述半径は、この円形形状の領域の半径である。この実施の形態において特徴量記述半径は、値が一定の標準値が適用されるものの、モデル画像毎に、セグメント毎に、及び又はセグメントの部位毎に、セグメント境界情報に応じて設定するようにしてもよい。なおこの設定は、例えばセグメント境界上の各部位において、一定領域内に含まれるセグメント境界情報を評価する評価値を求め、この評価値に基づいてこのセグメント境界情報がマッチング処理に有意である程、小さくなるように半径を設定して実行される。

オフセット距離は、この特徴量記述半径より小さな値に設定され、この実施の形態では特徴量記述半径の２／３の値に設定される。

なおこのように特徴点Ｐを始めに設定した後、特徴量記述中心Ｏを設定する代わりに、特徴量記述中心Ｏを始めに設定した後、対応する特徴点Ｐを設定するようにしてもよい。この場合、図３との対比により図４に示すように、各セグメントをオフセット距離だけシュリンクし、このオフセット距離だけ対応するセグメントの外側を削り取った特徴量記述中心の設定用領域を形成する。続いてこの特徴量記述中心の設定用領域の外周に、一定の間隔で特徴量記述中心Ｏを設定する。従ってこの場合、セグメントの面積及びセグメントの周囲長が小さくなるに従って、１つのセグメントに設定する特徴量記述中心Ｏが低減し、対応する特徴点数も低減することになる。従ってその結果、１つのセグメントに設定する特徴点セットの数も低下することになり、精度の劣化を防止しつつ、以降の無駄な処理を省略して全体の処理を簡略化することができる。

なおこの一定の間隔による特徴量記述中心Ｏの設定に代えて、ランダムに所定個数の特徴量記述中心Ｏを配置するようにしてもよい。なおこの場合には、セグメントの面積及び又はセグメントの周囲長が小さくなるに従って配置する特徴点数を低減することにより、精度の劣化を防止しつつ、以降の無駄な処理を省略して処理を簡略化することができる。

続いて各特徴量記述中心からこの設定用領域の外側に向かって、設定用領域の輪郭線の法線を設定し、この法線とセグメント境界との交点を特徴点Ｐに設定する。

なおこの法線とセグメント境界との交点を特徴点Ｐに設定する代わりに、各特徴量記述中心から最も近いセグメント境界線上の点を特徴点Ｐに設定するようにしてもよい。この場合には、必要に応じて各特徴点から特徴量記述中心Ｏを設定し直すようにしてもよい。

なお例えば図５に示すように、オフセット距離の２倍より幅狭の部位を有するセグメントは、特徴量記述中心の設定用領域を設定する際のシュリンクによりこの幅狭の部位が削り取られ、この幅狭の部位には特徴量記述中心の設定用領域を設定できなくなる。その結果、この幅狭の部位には特徴点Ｐを設定できなくなる。

そこで図５との対比により図６に示すように、セグメントを細線化し、この細線化して作成される領域と、シュリンクにより形成される領域とを重ね合わせて特徴量記述中心の設定用領域としてもよい。なおこの場合、少なくとも幅狭の部位については、必要に応じて特徴点Ｐを設定した後、特徴量記述中心Ｏを設定し直す。

なおこのように特徴量記述中心Ｏを、特徴点位置からセグメント内側方向にオフセット距離だけずらすのは、そのセグメントがモデル物体のセグメントで、かつそのセグメントの境界が背景との境界である場合に、マッチング処理の際の背景の影響を低減し、マッチング精度を向上させるためである。従って実用上十分なマッチング精度を確保できる場合には、特徴量記述中心Ｏを特徴点Ｐに設定するようにしてもよい。

続いて特徴点抽出部１４は、各特徴点の特徴量を検出する。ここで特徴点抽出部１４は、特徴量記述中心Ｏを中心とした特徴量記述半径による円形形状の領域を、対応する特徴点の局所領域とする。特徴点抽出部１４は、この局所領域で検出される特徴量を対応する特徴点の特徴量に設定する。

特徴点抽出部１４は、この局所領域に含まれるセグメント境界情報により特徴量を検出し、モデル物体にテクスチャー成分が少ない場合でも十分なマッチング精度を確保できるようにする。なお実用上十分にマッチング精度を確保できる場合には、例えばセグメント境界情報に代えてエッジ情報により特徴量を検出する場合、局所領域の周波数成分により特徴量を検出する場合等、種々の手法により検出される特徴量を広く適用することができる。

より具体的に、特徴点抽出部１４は、局所領域を分割して形成される微小領域毎にセグメント境界情報を集計して特徴量を検出する。この実施の形態では、図７に示すように、局所領域を半径方向及び円周方向に分割してこの微小領域を形成する。なおこの図７は、局所領域を半径方向に３等分して分割し、さらに円周方向に８等分して分割した例である。ここで分割数は、必要に応じて種々に設定することができ、さらに実用上十分なマッチング精度を確保できる場合には、半径方向のみにより、又は円周方向のみにより局所領域を分割して微小領域を形成してもよい。

続いて特徴点抽出部１４は、図７との対比により図８及び図９に示すように、微小領域によりセグメント境界点の個数をヒストグラム化し、特徴量記述中心Ｏから見た角度θ及び距離ｒによる２次元のヒストグラム（図９）を作成する。特徴点抽出部１４は、この２次元のヒストグラムにより各特徴点の特徴量を検出する。なおここでセグメント境界点は、セグメント境界上の連続する画素又はセグメント境界上の一定ピッチによる画素である。図９では、分布が最も大きな微小領域を黒塗りにより示し、また続いて分布が大きな微小領域をハッチングにより示し、分布が０の微小領域を白塗りにより示す。

従ってこの場合、セグメント境界情報としてセグメント境界点の位置情報を用いて各特徴点の特徴量を求めることになる。しかしながらセグメント境界情報を用いて特徴量を検出する場合は、これに限らず、例えばセグメント境界点の位置情報と、セグメント境界を特徴付けるパラメータとにより各特徴点の特徴量を求めるようにしてもよい。なおこの場合、例えばセグメント境界点の個数に代えて、各セグメント境界点におけるパラメータを各微小領域で集計してヒストグラム化することにより、特徴量を検出することができる。なおこのパラメータとしては、例えばセグメント境界を垂直に横切る方向の画素値の勾配値を適用することができる。またエッジ情報を用いて特徴量を検出する場合は、エッジ上の点を同様に領域毎に集計して、又はエッジを特徴付ける勾配等のパラメータを領域毎に集計して、特徴量を検出することができる。

続いて特徴点抽出部１４は、抽出した特徴量の回転不変を実現するために、基準軸方向を抽出し、ヒストグラムを回転正規化する。特徴点抽出部１４は、各ヒストグラムで最も分布の大きな角度を検出して基準軸方向とする。また図９との対比により図１０に示すように、この角度分、ヒストグラムを円周方向にシフトさせ、分布の最も大きな角度から分布が開始するように、ヒストグラムを回転正規化する。

特徴点セット決定部１５（図１）は、特徴点抽出部１４で検出された特徴点をベース点に設定し、ベース点毎に、ベース点をサポートするサポート点を設定する。これにより特徴点セット決定部１５は、ベース点と対応するサポート点とによる特徴点セットを作成する。

この処理において、特徴点セット決定部１５は、同一のセグメントに設定された特徴点から、各特徴点セットのベース点ｂ及びサポート点ｓを設定する。これによりこの実施の形態の物体認識装置１では、モデル物体と背景とにまたがらないように特徴点セットを作成し、モデル画像に背景が含まれている場合でも、この背景による精度の劣化を防止する。

具体的に、特徴点セット決定部１５は、特徴点抽出部１４で検出された特徴点の全てをベース点に設定する。なおこのベース点に設定する処理において、例えば所定個数毎に特徴点をベース点に設定し、特徴点抽出部１４について上述した、セグメントの面積及び又はセグメントの周囲長が小さくなるに従って配置する特徴点数を低減する処理を、等化的に実行してもよい。また例えば特徴量の比較によりマッチング処理に有意な特徴点のみ、選択的に、ベース点に設定するようにしてもよい。

続いて特徴点セット決定部１５は、ベース点毎に、ベース点を設定したセグメントの残りの特徴点からランダムにＳ個を選択し、このＳ個を当該ベース点のサポート点に設定する。この処理において、特徴点セット決定部１５は、図１１（Ａ）〜（Ｃ）に示すように、０個から所定個数の範囲で、セグメントの面積及び周囲長が短くなるに従って数が低下するようにサポート点を設定する。

ここでテクスチャーの多い部分は、セグメントが細かくなり、この部分では、特徴点セットにサポート点が含まれていない場合でも、又は特徴点セットにサポート点数が少ない場合でも、特徴量の識別能力を十分に確保することができる。これとは逆にテクスチャーの少ない部分は、一つのセグメントが大きくなり、この部分では、セグメント境界以外に情報がなく、相対的に特徴点セットに多くのサポート点を設けないと特徴量の識別能力を確保することが困難になる。これにより０個から所定個数の範囲で、セグメントの面積及び周囲長が短くなるに従って数が低下するようにサポート点を設定することにより、十分な精度を確保しつつ、以降の無駄な処理を省略して全体の処理を簡略化することができる。

なお特徴点セット決定部１５は、ベース点からの距離が一定値以上の特徴点については、サポート点の選択対象から除外する。これによりこの認識装置１は、オクルージョン（隠れ）による精度の劣化を防止する。

なおサポート点の選択方法は、種々の手法を適用することができ、例えばランダムに特徴点をＳ個選択してサポート点に設定する代わりに、ベース点から各サポート点を見る角度がなるべく広がるように特徴点をＳ個選択してサポート点に設定するようにしてもよい。また例えば特徴量の比較によりマッチング処理に有意な特徴点のみ、選択的に、サポート点に設定するようにしてもよい。

特徴量記述部１６（図１）は、特徴点セット毎に、ベース点及び対応するサポート点の幾何学的位置関係を検出し、この幾何学的位置関係と、ベース点及び対応するサポート点の特徴量とによりモデル物体の局所領域を記述する。

ここで図１２に示すように、特徴量記述部１６は、ベース点ｂに対するサポート点ｓ１〜ｓ３の相対的な位置情報により幾何学的位置関係を定義する。より具体的に、特徴量記述部１６は、ベース点ｂで回転正規化に使用した基準軸を基準にして、ベース点ｂから各サポート点ｓ１〜ｓ３を見た角度θ１〜θ３を検出する。また特徴量記述部１６は、ベース点ｂから各サポート点ｓ１〜ｓ３までの距離ｒ１〜ｒ３を検出する。特徴量記述部１６は、これら角度θ１〜θ３、距離ｒ１〜ｒ３により幾何学的位置関係を定義する。特徴量記述部１６は、この幾何学的位置関係の情報と、ベース点及び対応するサポート点の特徴量とを、特徴点セットの特徴量としてマッチング部４に出力する。

〔クエリ画像の処理〕
図１３は、クエリ画像処理部３の構成を詳細に示すブロック図である。このクエリ画像処理部３において、クエリ画像入力部２１は、図示しない記録媒体からクエリ画像の画像データを順次読み出して出力する。多重解像度部２２は、モデル画像処理部２の多重解像度部１２と同一の処理により、クエリ画像の画像データを処理し、入力されたクエリ画像の画サイズを拡大、縮小したピラミット構造によるクエリ画像を生成する。

エッジ抽出部２３は、解像度の異なる各クエリ画像からそれぞれエッジ画像を生成する。特徴量記述部２４は、このエッジ画像に特徴点を設定し、モデル画像で検出したベース点及びサポート点の特徴量に対応するように、各特徴点の特徴量を検出する。従ってエッジ抽出部２３及び特徴量記述部２４の処理は、モデル画像処理部２における特徴点抽出部１４の処理に応じて異なることになる。そこで以下においては、モデル画像において各特徴点の特徴量を検出する処理が、微小領域によりセグメント境界点の個数をヒストグラム化する処理である場合を説明する。

エッジ抽出部２３は、モデル画像におけるセグメント境界に対応するように、クエリ画像から所定画素幅（例えば１画素幅）によりエッジ境界を抽出してエッジ画像を生成する。なおモデル画像と同様にセグメンテーションの処理を実行し、エッジ画像によるエッジに代えてセグメント境界を以降の処理に適用するようにしてもよい。

ここで図１４は、エッジ画像の生成処理を示すフローチャートである。エッジ抽出部２３は、この処理手順を開始するとステップＳＰ１からステップＳＰ２に移り、解像度の異なる各クエリ画像をスムージング処理し、画像内のノイズ及び細かいテクスチャー成分を削減する。なおスムージング処理は、各種のフィルタを用いて実行することができるものの、この実施の形態では、次式により示すガウスフィルタＧ（ｘ，ｙ）を用いた畳み込み演算により実行する。なおここでｆ（ｘ，ｙ）は、水平方向及び垂直方向の座標が（ｘ，ｙ）であるクエリ画像の画素値である。またガウスフィルタＧ（ｘ，ｙ）は、（２）式により表される。なおここでσは、スムージングの度合いを設定するパラメータである。

エッジ抽出部２３は、続くステップＳＰ３において、スムージング処理したクエリ画像の各画素について、水平方向の勾配ｇｘ（ｘ，ｙ）及び垂直方向の勾配ｇｙ（ｘ，ｙ）を算出する。より具体的に、エッジ抽出部２３は、図１５に示す水平方向の微分フィルタを適用して水平方向の勾配ｇｘ（ｘ，ｙ）を算出する。また同様に図１６に示す垂直方向の微分フィルタを適用して垂直方向の勾配ｇｙ（ｘ，ｙ）を算出する。これによりエッジ抽出部２３は、勾配ｇｘ（ｘ，ｙ）及びｇｙ（ｘ，ｙ）による勾配画像を作成する。

続いてエッジ抽出部２３は、ステップＳＰ４において、ステップＳＰ３で算出した勾配ｇｙ（ｘ，ｙ）及びｇｘ（ｘ，ｙ）を用いて次式の演算処理を実行し、エッジ強度Ｍ（ｘ，ｙ）及びエッジ角度θ（ｘ，ｙ）を算出する。これによりエッジ抽出部２３は、エッジ強度Ｍ（ｘ，ｙ）及びエッジ角度θ（ｘ，ｙ）が画素毎に設定された中間処理画像を生成する。

続いてエッジ抽出部２３は、ステップＳＰ４において、中間処理画像におけるエッジを細線化する。ここでエッジ強度Ｍ（ｘ，ｙ）による中間処理画像は、部分的に複数の画素幅によりエッジが表現されていることになる。そこでエッジ抽出部２３は、モデル画像処理部２におけるセグメント境界に対応するように、エッジ幅を設定する。

具体的に、エッジ抽出部２３は、座標（ｘ，ｙ）においてエッジ強度Ｍ（ｘ，ｙ）が０でない場合、エッジ角度θ（ｘ，ｙ）で表されるエッジ方向の座標（ｘ１，ｙ１）のエッジ強度Ｍ（ｘ１，ｙ１）、及び反対側のエッジ方向の座標（ｘ２，ｙ２）におけるエッジ強度Ｍ（ｘ２，ｙ２）を検出する。エッジ抽出部２３は、これらエッジ強度Ｍ（ｘ，ｙ）、Ｍ（ｘ１，ｙ１）、Ｍ（ｘ２，ｙ２）を比較し、エッジ強度Ｍ（ｘ１，ｙ１）又はエッジ強度Ｍ（ｘ２，ｙ２）よりエッジ強度Ｍ（ｘ，ｙ）が小さい場合、座標（ｘ，ｙ）はエッジ上の点でないとし、この座標（ｘ，ｙ）のエッジ強度Ｍ（ｘ，ｙ）を０に設定する。これによりエッジ抽出部２３は、エッジ強度Ｍ（ｘ，ｙ）による中間処理画像の、エッジ強度Ｍ（ｘ，ｙ）の値が０以外の画素が連続する部位において、最もエッジ強度Ｍ（ｘ，ｙ）が大きい画素を順次選択して細線化の処理を実行する。

続いてエッジ抽出部２３は、ステップＳＰ６において、細線化した中間処理画像からエッジ検出の処理を実行する。ここでエッジ抽出部２３は、ステップＳＰ５で細線化した中間処理画像において、エッジ強度Ｍ（ｘ，ｙ）をしきい値により判定してエッジ検出の処理を実行する。より具体的に、エッジ抽出部２３は、例えばカニーエッジフィルタを用いてエッジ検出の処理を実行する。なおカニーエッジフィルタを用いてエッジ検出する場合、座標（ｘ，ｙ）のエッジ強度Ｍ（ｘ，ｙ）が、２つのしきい値T high及びT low のうちの値の大きい側のしきい値T highより大きい場合に、この座標（ｘ，ｙ）をエッジ探索の開始点に設定する。カニーエッジフィルタを用いてエッジ検出する場合、このエッジ探索の開始点から、エッジ強度Ｍ（ｘ，ｙ）が、残りのしきい値T low より大きい座標（ｘ，ｙ）を順次探索してエッジ検出する。

エッジ抽出部２３は、全ての解像度のクエリ画像について、エッジ検出の処理を完了すると、ステップＳＰ７に移ってこの処理手順を終了する。

特徴量記述部２４（図１３）は、エッジ抽出部２３で生成された各エッジ画像に密に特徴点を設定する。より具体的に、特徴量記述部２４は、各エッジ画像の全画素を特徴点に設定し、又は図１７に示すように、水平方向及び垂直方向に所定画素ピッチで特徴点Ｑを設定する。さらに特徴量記述部２４は、各特徴点Ｑを特徴量記述中心に設定し、モデル画像の場合と同様に微小領域によるヒストグラムを作成して回転正規化し、各特徴点の特徴量を検出する。

なおモデル画像において、セグメント境界の位置情報と、セグメント境界を垂直に横切る方向の画素値の勾配等とにより各特徴点の特徴量を求める場合には、エッジ上の点の個数又はセグメント境界上の点の数に代えて、この勾配の強弱を示す値を各微小領域で集計してヒストグラムを作成することになる。

特徴量記述部２４は、このようにして各特徴点の特徴量を求めると、続いて各エッジ画像の特徴点から、エッジ上の特徴点のみ選択してマッチング処理対象に設定する。これにより特徴量記述部２４は、以降の処理における計算量を低減する。

なおこのように密に特徴点を設定して特徴量を検出した後、マッチング処理対象を選択する代わりに、エッジ上に特徴点を設定した後、各特徴点の特徴量を検出するようにしてもよい。また実用上十分な処理能力を有する場合には、密に設定した特徴点の全てをマッチング処理対象としてもよい。

〔マッチング処理〕
図１８は、マッチング部４の構成を詳細に示すブロック図である。マッチング部４において、マッチング処理部２５は、モデル画像処理部２より得られる特徴点セットの特徴量を用いたマッチング処理により、特徴点セット毎に、クエリ画像に設定されたマッチング処理対象の特徴点から類似度の高い特徴点を検出する。なおこの特徴点セットと類似度の高いクエリ画像の特徴点との組み合わせを、以下、マッチングペアと呼ぶ。またこのマッチング処理には、例えばＫＮＮ法が適用される。

具体的にマッチング処理部２５は、クエリ画像に設定されたマッチング処理対象の特徴点を順次選択する。マッチング処理部２５は、この選択した特徴点が特徴点セットのベース点に対応すると仮定し、この特徴点セットのサポート点に対応する特徴点をマッチング処理対象の特徴点から検索する。またこれらベース点及びサポート点に対応する特徴点の特徴量を特徴点セットと比較し、このベース点に仮定した特徴点について類似度を算出する。

マッチング処理部２５は、解像度の異なるクエリ画像及びモデル画像の組み合わせ毎に、この処理を実行し、解像度の異なるクエリ画像及びモデル画像の組み合わせ毎に、各特徴点セットのマッチングペアを検出する。

ここで図１９（Ａ）に示すように、マッチング処理部２５において、モデル画像に設定されたベース点ｂ１とサポート点ｓ１１〜ｓ１４とによる特徴点セットについて、クエリ画像に設定された特徴点Ｑの類似度を検出するものとする。この場合、マッチング処理部２５は、図１９（Ｂ）に示すように、回転正規化の際に、ベース点ｂ１及び特徴点Ｑでそれぞれ検出された基準軸方向ｎθ及びｎ’θに基づいて、ベース点ｂ１の基準軸方向が特徴点Ｑの基準軸方向に一致するように、ベース点ｂ１を中心にして特徴点セットを傾ける。これによりマッチング処理部２５は、クエリ画像におけるモデル物体の傾きに対応可能に、サポート点ｓ１１〜ｓ１４の位置を補正する。

続いてマッチング処理部２５は、図１９（Ｃ）に示すように、ベース点ｂ１が特徴点Ｑに一致するように、特徴点セットをクエリ画像に配置し、各サポート点ｓ１１〜ｓ１４をそれぞれ中心とした一定範囲を探索領域に設定する。マッチング処理部２５は、各探索範囲で、それぞれサポート点ｓ１１〜ｓ１４に対応すると予測される特徴点を探索する。このように各探索領域内でサポート点ｓ１１〜ｓ１４に対応すると予測される特徴点を探索することにより、サポート点の位置補正に用いる基準軸方向の誤差を吸収し、さらにクエリ画像の歪みに対応する。

ここで特徴点の探索は、例えばサポート点と対応する探索範囲に含まれる特徴点との間で、特徴量コストが最小となる特徴点を検出して実行される。なお特徴量コストは、例えば比較対象の特徴点ｍ及びｔ間における特徴量間の距離ｄ(m，t)を用いて表される。なおこの場合、ｍ及びｔがサポート点ｍ及び特徴点である。より具体的に、特徴量間の距離ｄ(m，t)は、サポート点ｍの特徴量をｈｍ（ｋ）、探索領域の特徴点ｔの特徴量ｈｔ（ｋ）とおいて、次式により表される。

特徴点セットに対する特徴点Ｑの類似度は、次式により示すように、ベース点ｂ１及び対応する特徴点Ｑとの間の距離ｄ（ｂ１，ｐ’）（Ｑ＝ｐ’）、サポート点ｓ１ｊ及び対応する特徴点ｐ’ｋとの間の距離ｄ（ｓ１ｊ，ｐ’ｋ）を用いて表される。

なおα１ｊ、β１ｊは、それぞれ角度、距離のペナルティコストであり、次式により表される。また、θｐ’ｋ、ｒｐ’ｋは、各サポート点に対して距離ｄの最も小さな（最もマッチする）特徴点ｐ’ｋのベース点ｂｉからの角度及び距離である。

マッチング処理部２５は、解像度の異なるモデル画像とクエリ画像との組み合わせ毎に、各特徴点セットと全てのマッチング処理対象の特徴点との間で特徴点Ｑの類似度を検出する。また解像度の異なるモデル画像とクエリ画像との組み合わせ毎に、各特徴点セットで検出した類似度から最も類似度の大きな特徴点を検出し、これを当該特徴点セットのマッチングペアに設定する。なおこの場合に、類似度が一定値以下の組み合わせについては、マッチングペアに設定しないように設定してもよい。

ここでマッチング処理部２５で検出されるマッチングペアは、ベース点とサポート点とで表現される局所領域の特徴量に基づいて検出される。従ってこのマッチングペアには、多くのアウトライヤが含まれることになる。

そこでマッチング部４は、続くアウトライヤ除去部２６において（図１８）、マッチング処理部２５で検出したマッチングペアからアウトライヤを除去し、精度を向上する。

ここでモデル画像とクエリ画像とに同一のモデル物体が含まれており、このモデル物体にマッチングペアが正しく設定されている場合、マッチングペアは、次式に示す幾何拘束を満たすことになる。

なおここでｍｘ，ｍｙは、モデル画像上におけるベース点座標である。またｔｘ，ｔｙは、対応するクエリ画像上における特徴点の座標である。ｄθは、ベース点と特徴点との相対角度である。またｄｘ，ｄｙは、ベース点に対する対応する特徴点のｘ方向、ｙ方向の移動量である。従ってこの拘束条件に反するマッチングペアは、アウトライヤであると言える。

そこでアウトライヤ除去部２６は、図２０に示すように、（８）式の演算式を用いて各マッチングペアのベース点を角度ｄθだけ回転させて回転正規化する。なお図２０では、ｔｉ及びｍｉがマッチングペアの特徴点及びベース点である。アウトライヤ除去部２６は、回転正規化後のベース点座標と、対応する特徴点座標との差分値ｔｉ−ｍ’ｉを計算して移動量ｄｘ、ｄｙを算出する。アウトライヤ除去部２６は、予め用意した２次元空間（ｄｘ−ｄｙ）の対応するＢｉｎに、この計算した移動量を投票する。

アウトライヤ除去部２６は、全てのマッチングペアでこの処理を実行し、２次元空間（ｄｘ−ｄｙ）で投票値が最大値をもつＢｉｎを検出する。またこの検出したＢｉｎに対応する移動量（ｄｘ、ｄｙ）をもたないマッチングペアを、アウトライヤとしてマッチングペアから除去する。

従ってこの図２０の例では、ｔ１−ｍ’１、ｔ２−ｍ’２、ｔ３−ｍ’３は、同一の移動量をもち、２次元空間の同一のＢｉｎに投票されることになる。しかしながらｔ４−ｍ’４は２次元空間の異なるＢｉｎに投票され、これによりｔ４及びｍ４によるマッチングペアは、アウトライヤとして除外されることになる。

より具体的に、アウトライヤ除去部２６は、一般化ハフ変換によるアウトライヤ除去、ＲＡＮＳＡＣによるアウトライヤ除去及び姿勢推定を順次実行し、アウトライヤを除去する。

〔判定処理〕
図２１は、判定部５を詳細に示すブロック図である。ここでこの実施の形態では、マッチング処理部２５により、解像度の異なるクエリ画像及びモデル画像の組み合わせ毎に、マッチングペアが検出されることになる。判定部５において、一次判定部３１は、このマッチングペア数を所定のしきい値で判定し、マッチングペア数が所定のしきい値以上のクエリ画像及びモデル画像の組み合わせを検出する。

ここでこのマッチングペア数が所定のしきい値以上の組み合わせは、ほぼ同一の大きさでモデル物体が撮影されているモデル画像とクエリ画像との組み合わせであると言える。従ってこの組み合わせが検出された場合には、クエリ画像にモデル物体が含まれていると判断することができる。

しかしながらこの実施の形態では、モデル画像の背景でマッチングペアが検出されている場合も予測される。従ってfalse-positiveが多く発生し、この一次判定部３１の処理のみによっては、精度が損なわれる恐れがある。

そこで判定部５において、モデル画像再処理部３２は、一次判定部３１で検出された組み合わせのモデル画像を処理対象に設定して、特徴量記述部２４と同様に特徴点を設定して特徴量を検出する。

すなわちモデル画像再処理部３２は、一次判定部３１で検出された組み合わせのモデル画像の全画素を特徴点に設定し、又は図２２に示すように、水平方向及び垂直方向に所定画素ピッチで特徴点Ｒを設定する。またこの特徴点Ｒについて、特徴量記述部２４と同様にしてセグメント境界、又はエッジ情報を用いて特徴量を検出する。なおモデル画像再処理部３２においても、特徴量記述部２４と同様に、密に設定した特徴点からエッジ上の特徴点を選択してマッチング処理対象を選択するようにしてもよい。

クエリ画像再処理部３３は、一次判定部３１で検出された組み合わせのクエリ画像を処理対象に設定し、マッチングペアを構成する特徴点セットのベース点及びサポート点にそれぞれ対応するクエリ画像の特徴点を、ベース点及びサポート点に設定し、これによりクエリ画像に特徴点セットを設定する。またこのベース点及びサポート点の特徴量を検出する。

これらにより判定部５では、一次判定部３１の判定結果により処理対象を絞り込んだ状態で、モデル画像処理部２及びクエリ画像処理部３とは逆に、モデル画像及びクエリ画像に特徴点及び特徴点セットを設定する。

バックマッチング処理部３４は、モデル画像及びクエリ画像に設定された特徴点及び特徴点セットを用いて、マッチング処理部２５と同様にマッチング処理を実行し、マッチングペアを検出する。なおこのバックマッチング処理部３４において、アウトライヤ除去の処理を実行するようにしてもよい。

チェック部３５は、バックマッチング処理部３４で検出されたマッチングペアの各特徴点が、マッチング処理部２５で検出された対応する特徴点ペアのベース点近傍座標であるか否か判定する。これによりチェック部３５は、バックマッチング処理部３４で検出されたマッチングペアの各特徴点が、元のベース点に戻るか否か判断し、元のベース点に戻らないものを処理対象から除外する。これにより判定部５は、例えば背景で検出されたマッチングペアを処理対象から除外する。

二次判定部３６は、このチェック部３５を介して得られるマッチングペア数を所定のしきい値で判定し、マッチングペア数がしきい値以上の場合に、モデル物体がクエリ画像に含まれているとの判定結果を出力する。

〔実施の形態の動作〕
以上の構成において、この実施の形態では、自然画がクエリ画像及びモデル画像に設定され、モデル画像中のモデル物体について、クエリ画像におけるモデル物体の有無が検出される。この処理において、例えば特開２００４−３２６６９３号公報に開示のモデル物体の局所的な特徴量を用いたマッチングにより物体認識する場合には、モデル物体にテクスチャー成分が少ないと、精度が劣化することになる。

そこでこの実施の形態では、特開２００８−７７６２６号公報に開示の手法を適用して、モデル画像にベース点とこのベース点をサポートするサポート点とを設定し、このベース点及びサポート点とによる特徴点セットの特徴量により物体認識する。これによりこの実施の形態では、モデル物体にテクスチャー成分が少ない場合、クエリ画像でモデル物体が隠れている場合でも、精度の劣化を防止することができる。

しかしながら自然画がモデル画像である場合には、単にモデル画像に特徴点を設定して特徴点セットを設定したのでは、背景とモデル物体とにまたがって、ベース点及びサポート点が設定される場合も避け得ず、この場合は認識精度が劣化することになる。

すなわち図２３に示すように、モデル画像の背景が均一である場合、モデル画像の局所特徴量を検出してモデル物体上のみから特徴点が検出されることになる。従ってこの特徴点に基づいたベース点及びサポート点の設定では、図２４に示すように、モデル物体上にベース点ｂ１、ｂ２及びサポート点ｓ１１〜ｓ１３、ｓ２１〜ｓ２３が設定されることになる。従ってこれらベース点ｂ１、ｂ２及びサポート点ｓ１１〜ｓ１３、ｓ２１〜ｓ２３により特徴点セットの特徴量は、正しくモデル物体の特徴量を表していることになる。

しかしながら図２５に示すように、モデル画像に背景が含まれている場合には、この背景からも特徴点が検出されることになる。その結果、図２６に示すように、背景とモデル物体とにまたがって、ベース点ｂ１、ｂ２及びサポート点ｓ１１〜ｓ１４、ｓ２１〜ｓ２３が設定されることになる。この場合、ベース点ｂ１、ｂ２及びサポート点ｓ１１〜ｓ１４、ｓ２１〜ｓ２３による特徴点セットの特徴量は、背景の特徴量をも表すことになり、その結果、認識精度が劣化することになる。

そこでこの実施の形態では、背景とモデル物体とにまたがってベース点及びサポート点を設定しないようにし、認識精度の劣化を防止する。

すなわちこの物体認識装置１においては（図２）、ユーザーにより選択された自然画によるモデル画像がモデル画像処理部２に入力される。モデル画像処理部２では（図２）、多重解像度部１２において、このモデル画像により、画サイズを順次段階的に拡大、縮小したピラミット構造によるモデル画像が生成される。またセグメンテーション部１３において、各解像度のモデル画像に対して、セグメンテーションの処理が実行され、これにより各解像度のモデル画像がセグメント化される。

この物体認識装置１では、続く特徴点抽出部１４において、セグメント毎に、特徴点が設定されて各特徴点の特徴量が検出され、また続く特徴点セット決定部１５において、セグメント毎に、各特徴点がベース点及びサポート点に設定される（図１１）。これによりこの実施の形態では、セグメント毎に、同一のセグメントにベース点及びサポート点を設定して特徴点セットを設定する。

ここでモデル画像をセグメンテーション化した場合、背景とモデル物体とが同一のセグメントにセグメンテーション化される場合は皆無であると言える。また仮に背景と、モデル物体とが同一のセグメントにセグメンテーション化される場合であっても、それはモデル物体の極一部のみであると言える。

これによりこの実施の形態では、セグメント毎に特徴点セットを設定することにより、背景とモデル物体とにまたがってベース点及びサポート点を設定しないようにすることができ、認識精度の劣化を防止することができる。

特にこの実施の形態では、セグメンテーション部１３におけるセグメンテーションの処理が、カラーセグメンテーションであり、カラーセグメンテーションの場合には、簡易な処理により、背景とモデル物体とを同一のセグメントにセグメンテーション化する状況を確実に低減することができる。従って、確実に、背景とモデル物体とにまたがってベース点及びサポート点を設定しないようにすることができ、認識精度の劣化を防止することができる。

より具体的に、特徴点抽出部１４において、モデル画像は、セグメント境界上に特徴点Ｐが設定され、この特徴点Ｐの局所特徴量が検出される（図３）。この特徴点Ｐの設定においては、一定のピッチにより、又はランダムに、セグメント面積及び又はセグメントの周囲長が小さくなるに従って特徴点数が低下するように設定される。これによりこの実施の形態ではセグメント面積及び又はセグメントの周囲長が小さくなるに従って特徴点セットの数が低下するように設定される。ここでセグメント面積が小さい場合、セグメントの周囲長が小さい場合には、特徴点セット数を増大させても、認識精度の向上には十分に寄与し得ず、その反面、演算処理が複雑になる。これによりこの実施の形態では、セグメント面積及び又はセグメントの周囲長が小さくなるに従って特徴点セット数が低下するように設定することにより、精度の劣化を防止しつつ、処理を簡略化することができる。

また各特徴点に対して、セグメントの内側に変位した位置に、特徴量記述中心Ｏが設定され（図３）、この記述中心Ｏの中心とした所定範囲が特徴点の局所領域に設定される。これによりこの実施の形態では、背景側の情報を含まないように局所特徴点量を記述することができ、これによっても背景による精度の低下を有効に回避することができる。

ここでこの特徴点及び記述中心の設定にあっては、何れを先に実行してもよく、記述中心を先に設定する場合には、各セグメントをシュリンクして記述中心設定用の領域が設定される（図４）。このとき、この実施の形態では、セグメントを細線化し、この細線化した領域をシュリンクした領域と重ね合わせて記述中心設定用の領域が設定される（図５及び図６）。またこの記述中心設定用の領域の外周に記述中心を設定した後、各記述中心から特徴点が設定される。これによりこの実施の形態では、シュリンクにより削り取られてしまう幅狭の部位についても特徴点を設定して特徴点の偏りを防止し、特徴点の偏りによる精度の劣化を防止することができる。

この実施の形態では、このようにして各セグメントに設定された特徴点がベース点及びベース点をサポートするサポート点に設定されて、モデル画像に特徴点セットが設定される（図１１）。この処理において、この実施の形態では、セグメント面積及び又はセグメント周囲長が低下するに従って、１つの特徴点セットを構成するサポート点の数が低下するように設定される。これによってもこの実施の形態では、精度の劣化を防止しつつ、処理を簡略化することができる。

モデル画像は、ベース点及びサポート点の幾何学的位置関係と、ベース点及びサポート点の特徴量とにより各特徴点セットの特徴量が記述され（図１２）、この特徴点セットの特徴量がマッチング部４（図１８）に入力される。

これに対してクエリ画像は（図１３）、多重解像度部２２において、モデル画像と同様に、画サイズを順次段階的に拡大、縮小したピラミット構造によるクエリ画像が生成される。またエッジ抽出部２３において、エッジ検出の処理が実行され、（図１４〜図１６）密に特徴点が設定されて特徴量が検出される。より具体的に、クエリ画像は、全画素が特徴点に設定され、又は所定画素ピッチ毎に、特徴点Ｑが設定され（図１７）、エッジ情報等により各特徴点の特徴量が検出される。

クエリ画像は、マッチング部４において、この特徴点から、モデル画像に設定された特徴点セットのベース点及びサポート点に対応する特徴点が検出されてマッチング処理される（図１８）。

すなわちクエリ画像は、モデル画像の特徴点セット毎に、各特徴点が順次処理対象に設定され、特徴点セットのサポート点に対応する部位にそれぞれ探索領域が設定される（図１９）。また各探索領域において、対応するサポート点に最も類似する特徴点が検出される。クエリ画像は、この処理対象の特徴点及びサポート点に最も類似する特徴点と、特徴点セットとの間で、角度及び距離をペナルティコストとして特徴量を基準にした距離が求められ、特徴点セットに対する当該特徴点の類似度が求められる。

クエリ画像は、モデル画像の１つの特徴点セットに対して、全ての特徴点でこの特徴点の類似度が求められ、求めた類似度の中で最も高い類似度の特徴点が、当該特徴点セットのマッチングペアに設定される。またこの特徴点セットのマッチングペアが全ての特徴点セットについて求められる。

しかしながらこのようにして求められるマッチングペアは、当然に、ミスマッチのペアが含まれることになる。そこでこの実施の形態では、アウトライヤ除去部２６において、各特徴点セット間の幾何学的な関係を利用してミスマッチのペアがマッチングペアから除去される（図２０）。またこの最終的なマッチングペア数が判定部５により判定され、モデル物体の有無が判定される。

しかしながらこのようにしてアウトライヤを除去した場合でも、背景に設定された特徴点セットとの間でマッチングペアが構成されている場合等も予測される。そこでこの実施の形態では、アウトライヤ除去部２６の処理結果が一次判定部３１で一次判定され（図２１）、一定数以上のマッチングペアが検出された特定解像度によるモデル画像及びクエリ画像の組み合わせが検出される。またこの特定解像度によるモデル画像及びクエリ画像の組み合わせについて、モデル画像再処理部３２において、モデル画像側に密に特徴点が設定されて特徴量が検出され（図２２）、クエリ画像再処理部３３において、クエリ画像側に特徴点セットが設定される。またバックマッチング処理部３４におけるこれら特徴点及び特徴点セットによるバックマッチング処理により、改めてマッチングペアが検出される。またチェック部３５において、この改めて検出されたマッチングペアが、一次判定に供した対応するマッチングペアに対応するものか否か判定され、この判定結果が二次判定部により判定されて最終的な判定結果が求められる。

このバックマッチング処理に係る一連の処理により、この物体認識装置１では、背景によるマッチングペアを判定対象から除外することができ、これによっても背景による認識精度の低下を防止することができる。

〔実施の形態の効果〕
以上の構成によれば、モデル画像をセグメント化した後、ベース点及び対応するサポート点を同一のセグメントに設定することにより、モデル画像に背景が写っている場合でも、精度の劣化を防止することができる。

またセグメントの境界に、ベース点及びサポート点を設定して特徴点セットを設定することにより、モデルより具体的にベース点及び対応するサポート点を同一のセグメントに設定することができ、モデル画像に背景が写っている場合でも、精度の劣化を防止することができる。

またセグメント面積及び又はセグメント周囲長に基づいて、１つのセグメントを構成する特徴点セットの数を設定することにより、精度の劣化を防止しつつ、処理を簡略化することができる。

またセグメント面積及び又はセグメント周囲長に基づいて、１つの特徴点セットを構成するサポート点の数を設定することにより、精度の劣化を防止しつつ、処理を簡略化することができる。

またセグメント境界にベース点を設定すると共に、このベース点からセグメントの内側に変位した位置に、ベース点の特徴量記述中心を設定することにより、背景の影響を低減して特徴量を検出することができ、背景による精度の劣化を防止することができる。

またセグメントをシュリンクした領域とセグメントを細線化した領域とを重ね合わせて特徴量記述中心を設定する領域を設定し、この特徴量記述中心を設定する領域の外周に特徴量記述中心を設定することにより、特徴点の偏りを防止して精度を向上することができる。

またクエリ画像については、全画素により、又は所定画素ピッチにより、密に特徴点を設定して特徴量を検出することにより、特徴点セットとの対比によるマッチング処理に適用して、背景等を有するクエリ画像から確実にモデル物体を検出することができる。

またマッチング処理の処理結果を一次判定した後、この判定結果に基づいて処理対象画像に特徴点セットを設定すると共に、モデル画像に密に特徴点を設定し、バックマッチング処理を実行して二次判定することにより、一段と認識精度を向上することができる。

＜第２の実施の形態＞
この実施の形態では、上述の実施の形態の物体認識装置１におけるモデル画像及びクエリ画像の処理を入れ換える。すなわちこの実施の形態では、クエリ画像をセグメント化して特徴点セットを設定し、またモデル画像に密に特徴点を設定する。またこれら特徴点セット及び特徴点をマッチング処理して処理結果を一次判定する。またこの一次判定結果に基づいてモデル画像に特徴点セットを設定すると共に、クエリ画像に密に特徴点を設定し、バックマッチング処理、二次判定の処理を実行する。

この実施の形態のように、モデル画像及びクエリ画像の処理を入れ換えるようにしても、上述の実施の形態と同様の効果を得ることができる。

＜第３の実施の形態＞
この実施の形態では、上述の第１の実施の形態の物体認識装置におけるクエリ画像の処理、又は第２の実施の形態の物体認識装置におけるモデル画像の処理において、セグメンテーションの処理を実行し、エッジ境界に代えて、セグメント境界により特徴点の特徴量を検出する。また特徴点を密に設定し、セグメント境界の特徴点のみ、選択的にマッチング処理対象に設定する。

この実施の形態のように、クエリ画像の処理、又はモデル画像の処理にもセグメンテーションの処理を適用するようにしても、上述の実施の形態と同様の効果を得ることができる。

＜第４の実施の形態＞
図２７は、本発明の第４の実施の形態に係るディジタルカメラを示すブロック図である。このディジタルカメラ４１において、撮像部４２は、撮像素子、この撮像素子の受光面に光学像を形成する光学系等により構成され、コントローラ４３の制御により撮像結果を取得して出力する。信号処理部４８は、コントローラ４３の制御により撮像部４２から出力される撮像結果を信号処理して画像データを生成し、この画像データをバスＢＵＳに出力する。圧縮伸長部４４は、コントローラ４３の制御によりバスＢＵＳに出力される画像データをデータ圧縮して符号化データを出力し、またこれとは逆にバスＢＵＳに出力される符号化データをデータ伸長して画像データを出力する。

記録部４５は、コントローラ４３の制御により、バスＢＵＳに出力される符号化データを記録して保持し、また保持した符号化データを再生してバスＢＵＳに出力する。表示部４６は、コントローラ４３の制御によりバスＢＵＳに出力される画像データ、各種メニュー画面等を表示する。操作部４７は、このディジタルカメラ４１に設けられた操作子、表示部４６の表示画面に設けられたタッチパネル等により構成され、ユーザーの操作をコントローラ４３に通知する。

コントローラ４３は、このディジタルカメラ４１の動作を制御する制御手段であり、図示しないメモリに記録されたプログラムの実行により各部の動作を制御する。この制御によりコントローラ４３は、ユーザーがシャッターボタンを操作して撮像結果の取得を指示すると、撮像部４２、信号処理部４８、表示部４６の制御により撮像結果を取得して表示部４６で表示する。またこの撮像結果の記録をユーザーが指示すると、圧縮伸長部４４の制御によりこの表示部４６で表示した画像データをデータ圧縮して符号化データを生成し、この符号化データを記録部４５で記録する。

これに対してユーザーがメニュー画面の表示を指示すると、表示部４６の制御によりメニュー画面を表示する。またこのメニュー画面におけるメニューの選択により、ユーザーが記録部４５に記録した撮像結果の表示を指示すると、記録部４５に記録された符号化データを順次再生して圧縮伸長部４４でデータ伸長し、その結果得られる画像データを表示部４６で表示する。

これに対してユーザーが撮像結果の検索を指示すると、図２８の処理手順を実行し、記録部４５に記録された撮像結果から、ユーザーの指示したモデル物体の撮像結果を検索する。

すなわちコントローラ４３は、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移る。ここでコントローラ４３は、モデル画像の選択を受け付ける。以下、このステップＳＰ１２で受け付けたモデル画像を初期モデル画像と呼ぶ。具体的に、コントローラ４３は、記録部４５に記録された撮像結果を順次読み出して圧縮伸長部４４でデータ伸長し、表示部４６に撮像結果を一覧表示する。またこの一覧表示におけるタッチパネルの操作により、検索対象の画像の選択を受け付け、図２９に示すように、表示部４６の一覧表示を検索対象の画像の表示に切り換える。またこの表示部４６の表示におけるタッチパネルの操作により、モデル物体ＭＯが撮影されている領域ＡＲの設定を受け付ける。コントローラ４３は、この領域ＡＲの画像データを選択的に図示しないメモリに記録することにより、この領域ＡＲの画像を切り出して初期モデル画像に設定する。コントローラ４３は、領域ＡＲの画像を切り出して初期モデル画像に設定することにより、例えば背景、モデル物体と共に撮影された他の物体等による検出精度の劣化を防止する。

続いてコントローラ４３は、ステップＳＰ１３に移り、特徴点セット選択処理を実行する。ここで特徴点セット選択処理は、モデル物体ＭＯの検出に有意な特徴点セットを選択する処理であり、詳細は後述する。

続いてコントローラ４３は、ステップＳＰ１４に移り、記録部４５に記録された撮像結果を順次処理対象に設定し、初期モデル画像との間でマッチング処理を実行し、モデル物体ＭＯを撮影した撮像結果を検出する。この処理において、コントローラ４３は、モデル画像処理部２又は判定部５における特徴点セットの設定に代えて（図１、図２参照）、このステップＳＰ１３で選択した特徴点セットを初期モデル画像又はクエリ画像に設定し、第１、第２又は第３の実施の形態について上述した手法によりマッチング処理を実行する。

コントローラ４３は、記録部４５に記録された撮像結果の全てについて、マッチング処理を完了すると、ステップＳＰ１５に移り、モデル物体ＭＯを検出した撮像結果を表示部４６で一覧表示した後、ステップＳＰ１６に移ってこの処理手順を終了する。

〔特徴点セット選択処理〕
図３０は、図２８の特徴点セット選択処理（ステップＳＰ１３）を詳細に示すフローチャートである。コントローラ４３は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移ってクロップモデル画像作成処理を実行し、記録部４５に記録された撮像結果からクロップモデル画像を作成する。

ここでクロップモデル画像は、記録部４５に記録された撮像結果から作成される初期モデル画像に対応する画像である。コントローラ４３は、記録部４５に記録された撮像結果を順次選択し、初期モデル画像との間で第１〜第３の実施の形態について上述したマッチング処理を実行する。コントローラ４３は、このマッチング処理により、図３１に示すように、モデル物体ＭＯが撮影されていると判断される画像を所定枚数検出してクエリ画像に設定する。ここでクエリ画像は、クロップモデル画像の作成元の画像である。コントローラ４３は、このクエリ画像を設定する際のマッチング処理で検出されるマッチングペアを記録して保持する。

コントローラ４３は、記録して保持したマッチングペアをそれぞれ構成するベース点の座標から、クエリ画像上のベース点の座標を初期モデル画像上の対応するベース点の座標に座標変換するアフィン変換のパラメータ（図３１ではアフィンパラメータにより示す）を検出する。またこの検出したアフィン変換のパラメータを用いてそれぞれ対応するクエリ画像をアフィン変換した後、初期モデル画像に対応する領域を切り出し、クロップモデル画像を作成する。ここでクロップモデル画像は、正しくアフィンパラメータが求められていれば、それぞれ初期モデル画像と同じ画サイズであり、初期モデル画像と重ね合わせると、クロップモデル画像のモデル物体ＭＯと初期モデル画像のモデル物体ＭＯとが概ね重なり合うことになる。このことを利用してこの実施の形態では、特徴点セットを選択してマッチング処理の信頼性を向上する。

続いてコントローラ４３は、ステップＳＰ２３に移り、クロップモデル画像にそれぞれ特徴点セットを設定する。なおこの特徴点セットは、第１の実施の形態について上述した手法により設定される。

続いてコントローラ４３は、ステップＳＰ２４に移り、重要度決定処理を実行する。ここでコントローラ４３は、クロップモデル画像に設定した特徴点セットと、初期モデル画像に設定した特徴点セットとを特徴点セットのシードに設定する。またモデル物体ＭＯの検出に対する有意性を示す重要度を各特徴点セットのシードに設定する。

続いてコントローラ４３は、ステップＳＰ２５に移り、図３２に示すように、図１４で設定した重要度を所定のしきい値で判定し、特徴点セットのシードから重要度の高い特徴点セットを選択する。続いてコントローラ４３は、ステップＳＰ２６に移って元の処理手順に戻る。従ってコントローラ４３は、このステップＳＰ２５で選択した特徴点セットを用いて、ステップＳＰ１４の検索処理を実行することになる。

〔重要度決定処理〕
図３３及び図３４は、重要度決定処理を詳細に示すフローチャートである。コントローラ４３は、この処理手順を開始すると、ステップＳＰ３１からステップＳＰ３２に移り、変数ｉを値０に初期化する。ここで変数ｉは、初期モデル画像、クロップモデル画像から特徴点セットの選択対象を特定する変数である。続いてコントローラ４３は、ステップＳＰ３３に移り、変数ｉにより特定される初期モデル画像又はクロップモデル画像を選択する。

続いてコントローラ４３は、ステップＳＰ３４に移り、変数ｍを値０に初期化する。ここで変数ｍは、ステップＳＰ３３で選択したモデル画像に設定された特徴点セットから、選択対象の特徴点セットを特定する変数である。コントローラ４３は、続いてステップＳＰ３５に移り、ステップＳＰ３３で選択したモデル画像から変数ｍで特定される特徴点セットを検出する。なおコントローラ４３は、このステップＳＰ３５において、併せて後述する選択対象の特徴点セットに係るカウンタのカウント値Ｒｅｐｃｎｔ、距離和を値０にリセットする。

続いてコントローラ４３は、ステップＳＰ３６に移り、変数ｊを値０に初期化する。ここで変数ｊは、初期モデル画像、クロップモデル画像から、重要度検出のための比較対象を特定する変数である。コントローラ４３は、続くステップＳＰ３７において、変数ｊにより特定される初期モデル画像又はクロップモデル画像を選択する。

続いてコントローラ４３は、ステップＳＰ３８に移り、変数ｉ及びｊが等しいか否か判断する。ここで肯定結果が得られると、コントローラ４３は、ステップＳＰ３８からステップＳＰ３９に移り、変数ｊを値１だけインクリメントしてステップＳＰ３７に戻る。

これに対してステップＳＰ３８で否定結果が得られると、コントローラ４３は、ステップＳＰ３８からステップＳＰ４０に移る。ここでコントローラ４３は、ステップＳＰ３７で選択した画像に設定された特徴点セットを比較対象の特徴点セットに設定する。

コントローラ４３は、続くステップＳＰ４１において、この比較対象の特徴点セットとステップＳＰ３５で選択した選択対象の特徴点セットとの間でマッチング処理を実行し、選択対象の特徴点セットに対する類似度を比較対象の特徴点セット毎に検出する。なおこのマッチング処理には、種々の手法を適用することができるものの、この実施の形態ではＫＮＮ法を適用して上述の実施の形態と同一の処理により類似度を検出する。

続いてコントローラ４３は、ステップＳＰ４２に移り（図３４）、ステップＳＰ４１で検出した類似度をソートし、比較対象の特徴点セットを類似度の高い側から所定個数Ｋだけ選択する。また選択した特徴点セットにおいて、ベース点の座標が、選択対象の特徴点セットにおけるベース点の座標と一致するものが存在するか否か判断する。なおここでこの一致の判断は、当然に、一定の誤差を見込んで判断される。

ここで肯定結果が得られると、コントローラ４３は、ステップＳＰ４２からステップＳＰ４３に移り、選択対象の特徴点セットに係るカウンタのカウント値Ｒｅｐｃｎｔを値１だけインクリメントする。またこのときベース点の座標が一致する特徴点セットについて、ベース点間の距離を計算し、この距離を距離和に加算してステップＳＰ４４に移る。これに対してステップＳＰ４２で否定結果が得られると、コントローラ４３は、直接、ステップＳＰ４２からステップＳＰ４４に移る。

ステップＳＰ４４において、コントローラ４３は、変数ｊが所定値Ｔ未満か否か判断することにより、未だ比較対象に設定していない初期モデル画像、クロップモデル画像が存在するか否か判断する。ここで肯定結果が得られると、コントローラ４３は、ステップＳＰ４４からステップＳＰ３９に移り、変数ｊをインクリメントしてステップＳＰ３７に戻る。

従ってコントローラ４３は、初期モデル画像、クロップモデル画像に設定された特徴点セットの１つを選択対象に設定して、ステップＳＰ３７−ＳＰ３８−ＳＰ３９−ＳＰ４０−ＳＰ４１−ＳＰ４２−ＳＰ４４−ＳＰ３９−ＳＰ３７、又はステップＳＰ３７−ＳＰ３８−ＳＰ３９−ＳＰ４０−ＳＰ４１−ＳＰ４２−ＳＰ４３−ＳＰ４４−ＳＰ３９−ＳＰ３７の処理手順を繰り返すことになる。その結果、コントローラ４３は、図３５に示すように、比較対象の画像を順次切り換えて、選択対象の特徴点セットとマッチングする特徴点セットの個数を距離和と共に検出する。

コントローラ４３は、ステップＳＰ４４で否定結果が得られると、ステップＳＰ４４からステップＳＰ４５に移る。ここでコントローラ４３は、変数ｍが所定値Ｍ未満か否か判断することにより、選択対象の初期モデル画像、クロップモデル画像に、未だ選択対象に設定していない特徴点セットが存在するか否か判断する。ここで肯定結果が得られると、コントローラ４３は、ステップＳＰ４５からステップＳＰ４６に移り、変数ｍをインクリメントしてステップＳＰ３５に戻り、選択対象の特徴点セットを切り換える。

これに対してステップＳＰ４５で否定結果が得られると、コントローラ４３は、ステップＳＰ４５からステップＳＰ４７に移る。ここでコントローラ４３は、変数ｉが所定値Ｔ未満か否か判断することにより、未だ選択対象に設定していない初期モデル画像、クロップモデル画像が存在するか否か判断する。ここで肯定結果が得られると、コントローラ４３は、ステップＳＰ４７からステップＳＰ４８に移り、変数ｉをインクリメントしてステップＳＰ３３に戻り、選択対象の画像を切り換える。

これに対してステップＳＰ４７で否定結果が得られると、コントローラ４３は、ステップＳＰ４７からステップＳＰ４９に移る。ここでコントローラ４３は、図３５に示すように、選択対象の特徴点セット毎に検出されたカウント値Ｒｅｐｃｎｔを値の大きい順にソートする。またカウント値Ｒｅｐｃｎｔが等しいものについては、距離和の小さい順にソートする。

ここでこのソート結果で上位の特徴点セットは、他のモデル画像に対して、よくマッチする特徴点セットだと言え、モデル物体上から抽出された特徴点セットである可能性が極めて高いと言える。このことを利用してコントローラ４３は、ソート結果に順位を設定し、この実施の形態では、この順位が重要度に設定される。

コントローラ４３は、このステップＳＰ４９の処理を実行すると、ステップＳＰ５０に移り、元の処理手順に戻る。

この実施の形態によれば、モデル物体の検出に有意な特徴点セットを事前に選択してマチング処理を実行することにより、一段と効率、精度良くマッチング処理を実行することができる。従って処理時間を格段的に低減することができる。また背景同士のマッチングによって引き起こされる、false-positiveによる認識率の低下を防止することができる。

またこの事前の処理におけるクロップ画像の作成に、上述の実施の形態の手法を適用することによっても、十分に認識精度を向上することができる。

＜第５の実施の形態＞
この実施の形態のディジタルカメラは、初期モデル画像、クロップモデル画像に特徴点セットを設定する際のセグメント化の処理を有効に利用して、第４の実施の形態における重要度設定処理を簡略化する。この実施の形態のディジタルカメラは、このセグメント化の処理に関する構成が異なる点を除いて、第５の実施の形態のディジタルカメラ４１と同一に構成される。従って以下においては、適宜、図２７の構成を流用して説明する。

この実施の形態において、コントローラ４３は、ステップＳＰ４９（図３４）におけるソーティングの際に、セグメント毎にカウント値Ｒｅｐｃｎｔを集計する。また集計結果を当該セグメントの特徴点セット数で割り算する。ここでこの割り算値が小さい場合、当該セグメントの特徴点セットは、例えカウント値Ｒｅｐｃｎｔが大きいものであっても、モデル物体ＭＯの特徴点セットである可能性が低いと言える。そこでコントローラ４３は、この割り算値が小さいセグメントの特徴点セットについては、ソート対象から除外してソーティングの処理を実行する。

なおこの場合、結局、特徴点セット当たりのカウント値Ｒｅｐｃｎｔによりセグメントの信頼性を判定し、モデル物体では無いと判断されるセグメントの特徴点セットを処理対象から最後に除外することになる。しかしながらこのセグメントの信頼性を判定して処理対象から除外する処理にあっては、図３３及び図３４における処理手順で適宜実行して処理を簡略化してもよい。具体的には、例えば変数ｉにより特定されるモデル画像の特徴点セットに対して、変数ｊにより特定されるクエリ画像のマッチングをｎ枚（ｎ＜Ｔ）実行した時点で、同様にしてセグメントの信頼性を判定して以降の処理から除外するようにしてもよい。

また逆にこの割り算値が大きい場合、当該セグメントの特徴点セットは、例えカウント値Ｒｅｐｃｎｔが小さいものであっても、モデル物体ＭＯの特徴点セットである可能性が高いと言える。そこでこの割り算値が小さいセグメントの特徴点セットについては、単純にカウント値によりソーティングする場合に比して高い順位となるように、カウント値に重み付けしてソーティングの処理を実行してもよい。

また特徴点セット毎のソーティングに代えて、この割り算値によりセグメント単位で特徴点セットを選択してもよい。

この実施の形態では、セグメンテーションを有効に利用して、第４の実施の形態と同様の効果を得ることができる。

＜変形例＞
なお上述の第４の実施の形態等では、所定枚数だけクロップモデル画像を処理する場合について述べた。しかしながら本発明はこれに限らず、必要に応じて処理するクロップモデル画像の数を可変してもよい。具体的に、例えば初期モデル画像の特徴点セットをｎ（ｎ＜Ｔ）枚のクロップモデル画像との間でマッチング処理してカウント値がｎの特徴点セットが多数検出されている場合、十分に信頼性の高い特徴点セットを検出できていると判断することができる。従ってこの場合、クロップモデル画像の枚数をｎ枚に変更すれば、処理を簡略化することができる。またこれとは逆に、カウント値が小さい場合には、比較対象のクロップモデル画像を増大させて、信頼性を向上することができる。

また上述の第４及び第５の実施の形態では、ユーザーによる領域の指定によりモデル物体が撮影された領域を検出する場合について述べた。しかしながら本発明はこれに限らず、例えば顔検出等の手法を適用してモデル物体が撮影された領域を検出するようにしてもよい。

また上述の第４及び第５の実施の形態では、本発明をディジタルカメラに適用する場合について述べた。しかしながら本発明はこれに限らず、例えばインターネット上で所望の画像を検索する場合等にも広く適用することができる。

また上述の実施の形態においては、ソフトウエア構成により物体認識装置を構成する場合について述べたが、本発明はこれに限らず、ハードウエア構成により物体認識装置を構成する場合にも広く適用することができる。

また上述の実施の形態においては、複数の静止画像による自然画からモデル画像によるモデル物体を検出する場合について述べたが、本発明はこれに限らず、動画像からモデル物体を検出する場合、撮像結果から所望の被写体を検出する場合等に広く適用することができる。

また上述の実施の形態では、それぞれ好適な構成を説明したが、本発明はこれらの構成に限らず、必要に応じて上述の構成を組み合わせてもよい。

本発明は、例えばデータベースに記録した多数の静止画像から特定の被写体を撮影した静止画像を検索する場合に適用することができる。

本発明の第１の実施の形態の物体認識装置のモデル画像処理部の構成を示すブロック図である。 本発明の第１の実施の形態の物体認識装置を示すブロック図である。 特徴量記述中心の設定の説明の供する略線図である。 特徴量記述中心の設定用領域の説明に供する略線図である。 シュリンクの説明に供する略線図である。 細線化の説明に供する略線図である。 特徴量の検出に供する微小領域の説明に供する略線図である。 特徴量の検出に供する略線図である。 ヒストグラムの説明に供する略線図である。 回転正規化の説明に供する略線図である。 特徴点セットの説明に供する略線図である。 特徴点セットの特徴量の説明に供する略線図である。 クエリ画像処理部を示すブロック図である。 エッジ抽出処理を示すフローチャートである。 水平方向の微分フィルタを示す図表である。 垂直方向の微分フィルタを示す図表である。 クエリ画像における特徴点の設定の説明に供する略線図である。 マッチング部を示すブロック図である。 マッチング処理の説明に供する略線図である。 アウトライヤの除去の説明に供する略線図である。 判定部を示すブロック図である。 モデル画像再処理部における特徴点設定の説明に供する略線図である。 背景が均一な場合における特徴点設定の説明に供する略線図である。 背景が均一な場合における特徴点セットの設定の説明に供する略線図である。 背景が存在する場合における特徴点設定の説明に供する略線図である。 背景が存在する場合における特徴点セットの設定の説明に供する略線図である。 本発明の第４の実施の形態に係るディジタルカメラを示すブロック図である。 図２７のディジタルカメラにおけるコントローラの処理手順を示すフローチャートである。 図２８の処理手順の説明に供する略線図である。 図２８の処理手順における特徴点セット選択処理を詳細に示すフローチャートである。 図３０の処理手順におけるクロップモデル画像の説明に供する略線図である。 図３０の処理手順における重要度による選択の説明に供する略線図である。 図３０の処理手順における重要度決定処理を詳細に示すフローチャートである。 図３０の続きを示すフローチャートである。 図３３の処理手順の説明に供する略線図である。 モデル画像と処理対象画像との関係の説明に供する略線図である。

符号の説明

１……物体認識装置、２……モデル画像処理部、３……クエリ画像処理部、４……マッチング部、５……判定部、１３……セグメンテーション部、１４……特徴点抽出部、１５……特徴点セット決定部、１６、２４……特徴量記述部、２３……エッジ抽出部、２５……マッチング処理部、２６……アウトライヤ除去部、３１……一次判定部、３２……モデル画像再処理部、３３……クエリ画像再処理部、３４……バックマッチング処理部、３５……チェック部、３６……二次判定部

Claims (24)

1. モデル画像を処理するモデル画像処理部と、
   処理対象画像を処理する処理対象画像処理部と、
   前記モデル画像処理部及び処理対象画像処理部の処理結果をマッチング処理するマッチング部と、
   前記マッチング部の処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定部とを有し、
   前記モデル画像処理部は、
   前記モデル画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定部を有し、
   前記処理対象画像処理部は、
   前記処理対象画像に、特徴点を設定して特徴量を検出する特徴点設定部を有し、
   前記マッチング部は、
   前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行し、
   前記モデル画像処理部は、
   前記モデル画像をセグメント化するセグメンテーション部を有し、
   前記特徴点セット決定部は、
   前記モデル画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する
   物体認識装置。
2. モデル画像を処理するモデル画像処理部と、
   処理対象画像を処理する処理対象画像処理部と、
   前記モデル画像処理部及び処理対象画像処理部の処理結果をマッチング処理するマッチング部と、
   前記マッチング部の処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定部とを有し、
   前記処理対象画像処理部は、
   前記処理対象画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定部を有し、
   前記モデル画像処理部は、
   前記モデル画像に、特徴点を設定して特徴量を検出する特徴点設定部を有し、
   前記マッチング部は、
   前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行し、
   前記処理対象画像処理部は、
   前記処理対象画像をセグメント化するセグメンテーション部を有し、
   前記特徴点セット決定部は、
   前記処理対象画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する
   物体認識装置。
3. モデル画像を処理するモデル画像処理ステップと、
   処理対象画像を処理する処理対象画像処理ステップと、
   前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、
   前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有し、
   前記モデル画像処理ステップは、
   前記モデル画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有し、
   前記処理対象画像処理ステップは、
   前記処理対象画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有し、
   前記マッチングステップは、
   前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行し、
   前記モデル画像処理ステップは、
   前記モデル画像をセグメント化するセグメンテーションステップを有し、
   前記特徴点セット決定ステップは、
   前記モデル画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する
   物体認識方法。
4. 前記特徴点セット決定ステップは、
   前記セグメントの境界に、前記ベース点及びサポート点を設定する
   請求項３に記載の物体認識方法。
5. 前記特徴点セット決定ステップは、
   ゼグメント面積及び又はセグメント周囲長に基づいて、１つのセグメントに設定する前記特徴点セットの数を設定する
   請求項３に記載の物体認識方法。
6. 前記特徴点セット決定ステップは、
   ゼグメント面積及び又はセグメント周囲長に基づいて、１つの特徴点セットを構成する前記サポート点の数を設定する
   請求項３に記載の物体認識方法。
7. 前記特徴点セット決定ステップは、
   前記セグメントの境界に、前記ベース点及び又はサポート点を設定すると共に、前記ベース点及び又はサポート点から前記セグメントの内側に変位した位置に、前記ベース点及び又はサポート点の特徴量記述中心を設定する記述中心設定ステップを有し、
   前記特徴量記述中心を中心にして前記ベース点及び又はサポート点の局所領域を設定し、
   前記局所領域の特徴量により前記ベース点及び又はサポート点の特徴量を検出して前記特徴点セットの特徴量を設定する
   請求項３に記載の物体認識方法。
8. 前記記述中心設定ステップは、
   処理対象のセグメントを前記局所領域に応じた大きさによりシュリンクするシュリンクのステップと、
   前記処理対象のセグメントを細線化する細線化のステップと、
   前記シュリンクのステップにより生成された領域と、前記細線化のステップにより細線化された領域とを重ね合わせて、前記特徴量記述中心を設定する領域を設定する記述中心の領域設定のステップとを有し、
   前記特徴量記述中心を設定する領域の外周に前記特徴量記述中心を設定し、
   前記特徴点セット決定ステップは、
   前記特徴量記述中心に基づいて、対応する前記ベース点及び又はサポート点を設定する
   請求項７に記載の物体認識方法。
9. 前記特徴点設定ステップは、
   前記処理対象画像の全画素を前記特徴点に設定し、又は前記処理対象画像に所定画素ピッチで前記特徴点を設定し、
   前記特徴点に局所領域を設定して前記特徴量を検出し、
   前記マッチングステップは、
   前記モデル画像に設定された前記特徴点セットのベース点及びサポート点に対応する前記特徴点を検出することにより、前記特徴点セットに対応する前記特徴点を検出し、前記マッチング処理を実行する 請求項３に記載の物体認識方法。
10. 前記特徴点設定ステップは、
    前記処理対象画像のエッジ上の特徴点を選択して、前記マッチングステップの処理対象の特徴点に設定する
    請求項９に記載の物体認識方法。
11. 前記判定ステップは、
    前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を一次判定する一次判定ステップと、
    前記一次判定ステップの判定結果に応じて、前記モデル画像の全画素を特徴点に設定し、又は前記モデル画像に所定画素ピッチで特徴点を設定し、前記モデル画像の特徴点の特徴量を検出するモデル画像再処理ステップと、
    前記一次判定ステップの判定結果に応じて、前記処理対象画像に前記特徴点セットを設定する処理対象画像再処理ステップと、
    前記処理対象画像再処理ステップにより前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像再処理ステップにより前記モデル画像に設定された前記特徴点の特徴量との比較により、バックマッチング処理を実行するバックマッチングステップと、
    前記バックマッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を二次判定する二次判定ステップとを有する
    請求項９に記載の物体認識方法。
12. モデル画像を処理するモデル画像処理ステップと、
    処理対象画像を処理する処理対象画像処理ステップと、
    前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、
    前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有し、
    前記処理対象画像処理ステップは、
    前記処理対象画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有し、
    前記モデル画像処理ステップは、
    前記モデル画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有し、
    前記マッチングステップは、
    前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像に設定さ
    れた前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行し、
    前記処理対象画像処理ステップは、
    前記処理対象画像をセグメント化するセグメンテーションステップを有し、
    前記特徴点セット決定ステップは、
    前記処理対象画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する
    物体認識方法。
13. 前記特徴点セット決定ステップは、
    前記セグメントの境界に、前記ベース点及びサポート点を設定する
    請求項１２に記載の物体認識方法。
14. 前記特徴点セット決定ステップは、
    ゼグメント面積及び又はセグメント周囲長に基づいて、１つのセグメントに設定する前記特徴点セットの数を設定する
    請求項１２に記載の物体認識方法。
15. 前記特徴点セット決定ステップは、
    ゼグメント面積及び又はセグメント周囲長に基づいて、１つの特徴点セットを構成する前記サポート点の数を設定する
    請求項１２に記載の物体認識方法。
16. 前記特徴点セット決定ステップは、
    前記セグメントの境界に、前記ベース点を設定すると共に、前記ベース点から前記セグメントの内側に変位した位置に、前記ベース点の特徴量記述中心を設定する記述中心設定ステップを有し、
    前記特徴量記述中心を中心にして前記ベース点の局所領域を設定し、
    前記局所領域の特徴量により前記ベース点の特徴量を検出して前記特徴点セットの特徴量を設定する 請求項１２に記載の物体認識方法。
17. 前記記述中心設定ステップは、
    処理対象のセグメントを前記局所領域に応じた大きさによりシュリンクするシュリンクのステップと、
    前記処理対象のセグメントを細線化する細線化のステップと、
    前記シュリンクのステップにより生成された領域と、前記細線化のステップにより細線化された領域とを重ね合わせて、前記特徴量記述中心を設定する領域を設定する記述中心の領域設定のステップとを有し、
    前記特徴量記述中心を設定する領域の外周に前記特徴量記述中心を設定し、
    前記特徴点セット決定ステップは、
    前記特徴量記述中心に基づいて、対応する前記ベース点を設定する
    請求項１６に記載の物体認識方法。
18. 前記特徴点設定ステップは、
    前記モデル画像の全画素を前記特徴点に設定し、又は前記モデル画像に所定画素ピッチで前記特徴点を設定し、
    前記特徴点に局所領域を設定して前記特徴量を検出し、
    前記マッチングステップは、
    前記処理対象画像に設定された前記特徴点セットのベース点及びサポート点に対応する
    前記特徴点を検出することにより、前記特徴点セットに対応する前記特徴点を検出し、前記マッチング処理を実行する
    請求項１２に記載の物体認識方法。
19. 前記特徴点設定ステップは、
    前記処理対象画像のエッジ上の特徴点を選択して、前記マッチングステップの処理対象の特徴点に設定する
    請求項１８に記載の物体認識方法。
20. 前記判定ステップは、
    前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を一次判定する一次判定ステップと、
    前記一次判定ステップの判定結果に応じて、前記処理対象画像の全画素を特徴点に設定し、又は前記処理対象画像に所定画素ピッチで特徴点を設定し、前記処理対象画像の特徴点の特徴量を検出する処理対象画像再処理ステップと、
    前記一次判定ステップの判定結果に応じて、前記モデル画像に前記特徴点セットを設定するモデル画像再処理ステップと、
    前記モデル画像再処理ステップにより前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像再処理ステップにより前記処理対象画像に設定された前記特徴点の特徴量との比較により、バックマッチング処理を実行するバックマッチングステップと、
    前記バックマッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を二次判定する二次判定ステップとを有する
    請求項１８に記載の物体認識方法。
21. モデル画像を処理するモデル画像処理ステップと、
    処理対象画像を処理する処理対象画像処理ステップと、
    前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、
    前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有し、
    前記モデル画像処理ステップは、
    前記モデル画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有し、
    前記処理対象画像処理ステップは、
    前記処理対象画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有し、
    前記マッチングステップは、
    前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行し、
    前記モデル画像処理ステップは、
    前記モデル画像をセグメント化するセグメンテーションステップを有し、
    前記特徴点セット決定ステップは、
    前記モデル画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する
    コンピュータにより実行可能な物体認識方法のプログラム。
22. モデル画像を処理するモデル画像処理ステップと、
    処理対象画像を処理する処理対象画像処理ステップと、
    前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、
    前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有し、
    前記処理対象画像処理ステップは、
    前記処理対象画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有し、
    前記モデル画像処理ステップは、
    前記モデル画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有し、
    前記マッチングステップは、
    前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行し、
    前記処理対象画像処理ステップは、
    前記処理対象画像をセグメント化するセグメンテーションステップを有し、
    前記特徴点セット決定ステップは、
    前記処理対象画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する
    コンピュータにより実行可能な物体認識方法のプログラム。
23. モデル画像を処理するモデル画像処理ステップと、
    処理対象画像を処理する処理対象画像処理ステップと、
    前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、
    前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有し、
    前記モデル画像処理ステップは、
    前記モデル画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有し、
    前記処理対象画像処理ステップは、
    前記処理対象画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有し、
    前記マッチングステップは、
    前記モデル画像に設定された前記特徴点セットの特徴量と、前記処理対象画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行し、
    前記モデル画像処理ステップは、
    前記モデル画像をセグメント化するセグメンテーションステップを有し、
    前記特徴点セット決定ステップは、
    前記モデル画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する
    コンピュータにより実行可能な物体認識方法のプログラムを記録した記録媒体。
24. モデル画像を処理するモデル画像処理ステップと、
    処理対象画像を処理する処理対象画像処理ステップと、
    前記モデル画像処理ステップ及び処理対象画像処理ステップの処理結果をマッチング処理するマッチングステップと、
    前記マッチングステップの処理結果を判定して、前記処理対象画像中のモデル物体の有無を判定する判定ステップとを有し、
    前記処理対象画像処理ステップは、
    前記処理対象画像に、ベース点と前記ベース点をサポートするサポート点とによる特徴点セットを設定し、前記特徴点セットの特徴量を検出する特徴点セット決定ステップを有し、
    前記モデル画像処理ステップは、
    前記モデル画像に、特徴点を設定して特徴量を検出する特徴点設定ステップを有し、
    前記マッチングステップは、
    前記処理対象画像に設定された前記特徴点セットの特徴量と、前記モデル画像に設定された前記特徴点の特徴量との比較により、前記特徴点セットに対応する前記特徴点を検出して前記マッチング処理を実行し、
    前記処理対象画像処理ステップは、
    前記処理対象画像をセグメント化するセグメンテーションステップを有し、
    前記特徴点セット決定ステップは、
    前記処理対象画像のセグメント毎に、前記ベース点及び対応するサポート点を同一のセグメントに設定して前記特徴点セットを設定する
    コンピュータにより実行可能な物体認識方法のプログラムを記録した記録媒体。
    

Images