JP2005063307A - 画像識別方法および装置、オブジェクト識別方法および装置ならびにプログラム - Google Patents

Abstract

【課題】 画像に含まれるオブジェクトの種類を自動的に精度よく識別する。
【解決手段】 全体画像Ｐをオブジェクト毎に領域分割した複数のオブジェクト領域ＯＲと、全体画像Ｐを設定画素数からなる、オブジェクト領域ＯＲより小さい多数の領域に分割した複数のブロック領域ＢＲとを生成する。そして、生成した各ブロック領域ＢＲから複数の特徴量を抽出して、複数の特徴量をベクトル成分とする複数の特徴ベクトルＣＢ１〜ＣＢ３を生成する。その後、生成された複数の特徴ベクトルＣＢ１〜ＣＢ３毎にブロック領域ＢＲの種類の候補を識別し、種類の候補に基づいてブロック領域ＢＲの種類を決定する。そして、決定したブロック領域ＢＲの種類をオブジェクト領域ＯＲ毎に集計し、集計された結果を用いてオブジェクトの種類を識別する。
【識別図】 図１

Description

本発明は、画像の種類を自動的に識別する画像識別方法および装置、オブジェクト識別方法および装置ならびにプログラムに関するものである。

情報の内容識別、分類、検索等の手法として、従来からのクラスタリング法等に代わるものとして、自己組織化マップを利用した手法が用いられている。自己組織化マップとは、複数の多次元ベクトル（結合荷重ベクトル）が２次元的に配されたマップであり、この自己組織化マップでは、予め多数の情報を学習することにより、互いに類似する各多次元ベクトルがそれぞれ近い位置に配置されるように構成されている。

学習後の自己組織化マップを用いれば、複数の入力情報について、その各々の特徴を示すベクトルと最も類似度の高い結合荷重ベクトル（勝者ベクトル）を自己組織化マップ上から探索し、該入力情報を自己組織化マップ上のその勝者ベクトルの位置に写像することにより、情報を２次元マップ状に一覧表示すること等が可能となる（たとえば特許文献１および２参照。）。このような一覧表示では、類似の特徴を有する情報（たとえば類似の画像や類似の商品情報等）が互いに近くに配置され表示されることになるので、視覚的に捉え易く一覧性がよい。

また、学習後の自己組織化マップにおいて特に類似の傾向が強いベクトルが集まった複数の島状の領域をクラスタとして定め、入力情報の特徴を示すベクトルと最も類似度の高い勝者ベクトルがいずれのクラスタに属するかを調べることにより、入力情報の分類や優先順位付けを行う手法も提案されている（たとえば特許文献３参照。）。

また、予めクラス分けされいずれのクラスに属するかがわかっている情報を学習させる「教師あり学習」と自己組織化マップを組み合せた「修正対向伝搬ネットワーク（Ｍｏｄｉｆｉｅｄ ＣｏｕｎｔｅｒＰｒｏｐａｇａｔｉｏｎ；ＭＣＰ）」という手法も知られている（たとえば、非特許文献１参照。）。この手法では、自己組織化マップと同じ大きさの２次元の「頻度マップ」がクラスごとに用意され、自己組織化マップの学習と並行して、各クラスごとに、自己組織化マップ上の各点に勝者ベクトルが現れる頻度を示す頻度マップの学習が行われる。これにより、学習終了後には、互いに類似するベクトルに対応する点が互いに近い位置に配置された自己組織化マップと、自己組織化マップ上の各点における各クラス情報の出現確率を示した確率分布マップとが得られることとなるので、入力情報の特徴を示すベクトルと最も類似度の高い勝者ベクトルを自己組織化マップ上から探索し、さらに確率分布マップにおける対応点を参照することにより、入力情報がいずれのクラスに属する情報であるのかを識別することが可能となる。
特開２００２−４１５４５号公報 特開２００１−３３７９５３号公報 特開２００１−３０６６１２号公報 徳高、岸田、藤村、「自己組織化マップの応用−多次元情報の２次元可視化」、海文堂、１９９９年、ｐ．６３−７３

ところで、上述した自己組織化マップ等の使用は、画像の種類識別にも応用することができる。たとえば、上記の修正対向伝搬ネットワークの手法を用いれば、予め画像の種類（上記の「クラス」に相当）、すなわち「空」や「木」の画像であることがわかっている多数の画像の特徴ベクトルを学習して、自己組織化マップと対応する種類のマップ（すなわち各種類の確率分布マップ）とを作成しておくことにより、未知の入力画像の種類を識別することができる。

このように、画像を自己組織化マップにより分類するときには、画像から複数の特徴量を抽出し、抽出した特徴量を自己組織化マップに入力することにより、画像の種類を識別することが考えられる。一般的に画像には多くの情報を含むものであるため、正確に画像の識別を行うためには、画像から多くの特徴量を抽出することが好ましいが、１つの自己組織化マップで分類しようとすると、様々な特徴量が詰め込まれすぎて逆に混乱を招いてしまう。たとえば、色の特徴だけで自己組織化マップを作成した場合、色だけが類似度の尺度となるため、「空」や「草木」などの画像はある程度まとまった位置にマップされるが、色とテクスチャの特徴で自己組織化マップを作成した場合、色が似ていてテクスチャが異なるものと、テクスチャが似ていて色が異なるものとが等価に扱われることになるため、「青空」と「海」との違い（色が似ていてテクスチャが異なるもの）と、「青空」と「壁」との違い（テクスチャが似ていて色が異なるもの）とを区別することができず、結果として「青空」「海」「壁」は互いに近い位置にマップされることになる。特徴量が増えれば増えるほど、このように混同されるものが多くなり、分類の精度の低下を招いてしまうという問題がある。

そこで、本発明は、自動的に画像の種類の識別を精度よく効率的に行うことができる画像識別方法および装置、オブジェクト識別方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の画像識別方法は、画像から複数の特徴量を抽出し、抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成し、生成した前記複数の特徴ベクトル毎に前記画像の種類の候補を識別し、前記複数の特徴ベクトル毎に識別された前記種類の候補に基づいて前記画像の種類を決定することを特徴とするものである。

本発明の画像識別装置は、画像から複数の特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段により抽出された前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成する特徴ベクトル生成手段と、該特徴ベクトル生成手段により生成された前記特徴ベクトルから前記画像の種類の候補を識別して出力する、該複数の特徴ベクトル毎に設けられた種類候補識別手段と、該複数の種類候補識別手段においてそれぞれ識別された前記画像の種類の候補に基づいて、前記画像の種類を決定する種類決定手段とを有することを特徴とするものである。

本発明のオブジェクト識別方法は、画像に含まれるオブジェクトの種類を識別するオブジェクト識別方法において、前記画像を前記オブジェクト毎に領域分割したオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割した複数のブロック領域とを生成し、生成した前記ブロック領域から複数の特徴量を抽出し、抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成し、生成した前記複数の特徴ベクトル毎に前記画像の種類の候補を識別し、前記複数の特徴ベクトル毎に識別された前記種類の候補に基づいて、前記ブロック領域の種類を決定し、決定した前記ブロック領域の種類を前記各オブジェクト領域毎に集計し、集計した結果を用いて前記オブジェクト領域の種類を識別することを特徴とするものである。

本発明のオブジェクト識別装置は、画像に含まれるオブジェクトの種類を識別するオブジェクト識別装置において、前記画像を前記オブジェクト毎に領域分割して複数のオブジェクト領域を生成するオブジェクト領域生成手段と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割して複数のブロック領域を生成するブロック領域生成手段と、該ブロック領域生成手段により生成された前記各ブロック領域から複数の特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段により抽出された前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成する特徴ベクトル生成手段と、該特徴ベクトル生成手段により生成された前記特徴ベクトルから前記ブロック領域の種類の候補を識別する、前記複数の特徴ベクトル毎に設けられた複数の種類候補識別手段と、該各種類候補識別手段において識別された前記ブロック領域の複数の種類の候補に基づいて、前記ブロック領域の種類を決定する種類決定手段と、前記各ブロック領域毎に識別された前記ブロック領域の種類を前記オブジェクト領域毎に集計し、集計した結果を用いて前記オブジェクトの種類を識別するオブジェクト識別手段とを有することを特徴とするものである。

本発明の画像識別プログラムは、コンピュータに、画像から複数の特徴量を抽出し、抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成し、生成した前記複数の特徴ベクトル毎に前記画像の種類の候補を識別し、前記複数の特徴ベクトル毎に識別された前記種類の候補に基づいて、前記画像の種類を決定することを実行させることを特徴とするものである。

ここで、「画像」は、撮影された１枚分全体の全体画像であってもよいし、全体画像をブロック状に分割した画像であってもよい。

また、「画像の種類を識別する」とは、たとえば「山」、「海」、「花」、「空」等の種類であることを特定することを意味し、さらに画像の種類がわからない場合に「不明」であることを特定することも含む。

さらに、「特徴量抽出手段」は、画像の特徴を示す複数の特徴量を抽出するものであればよく、たとえば画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段の他に、画像のエッジの特徴を示すエッジ特徴量を抽出するエッジ特徴量抽出手段や画像の色の特徴を示す色特徴量を抽出する色特徴量抽出手段を含むものであってもよい。

なお、相関特徴量抽出手段は、たとえば画像の縦方向に沿った相関特徴量、画像の横方向に沿った相関特徴量、もしくは画像の斜め方向に沿った相関特徴量を抽出する等の画像の少なくとも１方向の相関特徴量を抽出するものであってもよい。

さらに、相関特徴量抽出手段は、画像において同一方向に形成された２つの画素ラインを構成する複数の画素の成分信号値から、２つの画素ラインの相関関係を示す相関値を出力する所定の相互相関関数を有し、２つの画素ラインのいずれか一方を１画素ずつ画素ラインの形成方向にずらしながら画素の成分信号値を相互相関関数に入力することにより複数の相関値を取得し、取得した複数の相関値から最も大きい最大相関値を算出するものであり、画像の同一方向に形成された画素ラインのすべての組み合わせについて最大相関値を算出し、算出されたすべての最大相関値の平均値および標準偏差を相関特徴量として抽出するものであってもよい。

種類候補識別手段は、画像の種類の候補として１つの種類を識別するようにしてもよいし、画像の種類として可能性のある複数の種類を識別するようにしてもよい。

なお、種類候補識別手段は、複数の結合荷重ベクトルを備えた自己組織化マップと、自己組織化マップの複数の結合荷重ベクトルのうち、特徴ベクトルに最も類似する勝者ベクトルの自己組織化マップ上の座標を検出する座標検出手段と、自己組織化マップ上の座標毎に画像の種類の指標を定めた種類頻度分布マップと、座標検出手段により検出された自己組織化マップ上の座標が種類頻度分布マップ上で示す種類を特定し出力する種類候補出力手段とを備えたものであってもよい。

なお、座標検出手段は、特徴ベクトルと勝者ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには勝者ベクトルがない旨の出力を行い、種類候補識別手段が、座標検出手段から勝者ベクトルがない旨を受け取ると、種類が不明である旨の出力を行うものであってもよい。

また、設定しきい値は、一定の値のものであってもよいし、勝者ベクトルの自己組織化マップ上における位置によって異なるように定められたものであってもよい。

さらに、設定しきい値は、勝者ベクトルの近傍領域内にある複数の結合荷重ベクトルのうち勝者ベクトルとの距離が最も大きい結合荷重ベクトルと勝者ベクトルとの距離であってもよい。

また、種類候補識別手段は、自己組織化マップの座標毎に種類の頻度値を種類の指標として定めた種類頻度分布マップを種類毎に有し、種類候補出力手段が、座標検出手段により検出された座標が各種類頻度分布マップ上で示す複数の頻度値をベクトル成分とした種類ベクトルを出力するものであってもよい。

さらに、「種類決定手段」は、各特徴ベクトル毎に出力される複数の種類ベクトルのすべての成分のうち、最も大きい最大成分となる種類を画像の種類であると識別するものであってもよい。

また、種類決定手段は、最大成分が所定の最大成分しきい値よりも小さいときには、画像の種類は不明である旨の出力を行うものであってもよい。

さらに、種類決定手段は、各特徴ベクトル毎に出力される複数の種類ベクトルのすべての成分のうち、２番目に大きい成分値を検出する機能を有し、最大ベクトル成分の示す種類と２番目に大きい成分の示す種類が一致せず、最大となる成分値と２番目に大きい成分値との差が差分しきい値よりも小さいときには、画像の種類は不明である旨の出力を行うものであってもよい。

本発明の画像識別方法および装置ならびにプログラムによれば、各特徴ベクトル毎に画像の種類を識別し、識別した種類を参照して画像の種類を識別することにより、次元数を低く抑えた特徴ベクトルにより画像の種類の識別が行われることになるため、オブジェクトの種類を精度よく識別することができる。

さらに、この画像識別方法及び装置を用いたオブジェクト識別方法および装置によれば、また、各ブロック領域毎にそれぞれ種類を識別し、ブロック領域の種類を各オブジェクト領域毎に集計してオブジェクト領域の種類を識別することにより、オブジェクト領域の一部のブロック領域に本来の種類に識別されなかったものがあったとしても、その誤った認識を吸収してオブジェクトの種類を正確かつ自動的に識別することができる。

なお、特徴量抽出手段が、画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段を含む構成にすれば、相関特徴量により人工物に多く見られる規則的なパターンを有する画像と、自然物に多く見られるランダムなパターンを有する画像とを区別する指標となる特徴量を抽出することができるため、適切な種類の識別を行うことができる。

また、相関特徴量抽出手段が、画像の縦方向に沿った相関特徴量と、画像の横方向に沿った相関特徴量とを抽出するようにすれば、縦方向および横方向に向かって規則的なパターンが形成されたものと、縦方向もしくは横方向のいずれか一方に向かって規則的なパターンが形成されたものとを区別することができる。

さらに、相関特徴量抽出手段が、２つの画素ラインのいずれか一方を１画素ずつ画素ラインの形成方向にずらしながら画素の成分信号値を所定の相互相関関数に入力することにより算出される複数の相関値のうち最も大きい最大相関値を用いて相関特徴量を算出するようにすれば、画像の縦方向もしくは横方向に向かって形成された規則的なパターンのみならず、画像の斜め方向に向かって形成されている規則的なパターンについても相関特徴量として抽出することができるため、画像の縦方向、横方向および斜め方向に向かって形成される規則的なパターンを相関特徴量として抽出することができる。

さらに、エッジ特徴量抽出手段が、画像の縦方向および横方向のエッジ成分の平均値および標準偏差をそれぞれ算出するようにすれば、たとえば「水（波）」のように縦方向と横方向によってエッジが異なるものと、「植物（花畑等）」のように縦方向と横方向とで比較的均質なエッジのものとがエッジ特徴量によって区別することができる。

また、種類候補識別手段が、複数の結合荷重ベクトルを備えた自己組織化マップと、自己組織化マップの複数の結合荷重ベクトルのうち、特徴ベクトルに最も類似する勝者ベクトルの自己組織化マップ上の座標を検出する座標検出手段と、自己組織化マップ上の座標毎に画像の種類の指標を定めた種類頻度分布マップと、座標検出手段により検出された自己組織化マップ上の座標が種類頻度分布マップ上で示す種類を特定して種類の候補として出力する種類候補出力手段とを備えた構成にすれば、種類の候補を精度よく識別することができる。さらに、各特徴ベクトル毎に種類候補識別手段が用意されるため、特徴ベクトルの低次元化に合わせて自己組織化マップを構成する結合荷重ベクトルの次元を低く抑えることができ、種類識別の精度を向上させることできる。

また、座標検出手段が、特徴ベクトルと勝者ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには勝者ベクトルがない旨の出力を行い、種類候補識別手段が、座標検出手段から勝者ベクトルがない旨を受け取ると、種類が不明である旨の出力を行うようにすれば、自己組織化マップが予め学習していない種類の識別を、無理に行うことなく不明とすることができるため、種類識別結果に対する信頼性を高めることができる。

また、設定しきい値が、勝者ベクトルの近傍領域内にある複数の結合荷重ベクトルのうち勝者ベクトルとの距離が最も大きい結合荷重ベクトルと勝者ベクトルとの距離であるときには、学習内容の偏りや各種類の画像の多様性の違いによって生じる勝者ベクトルの各位置における種類識別の信頼性の相違を設定しきい値に反映させることができる。

さらに、種類候補識別手段が、自己組織化マップの座標毎に種類の頻度値を種類の指標として定めた種類頻度分布マップを種類毎に有し、種類候補出力手段が、座標検出手段により検出された座標が各種類頻度分布マップ上で示す複数の頻度値をベクトル成分とした種類ベクトルを出力するようにすれば、各特徴ベクトル毎に識別された種類の候補を１つだけ種類決定手段に出力するのではなく、画像の種類として可能性のある複数の種類を候補として種類決定手段に出力することができるため、画像の種類の決定を精度よく行うことができる。

また、種類決定手段が、各特徴ベクトル毎に出力される複数の種類ベクトルのすべての成分のうち、最も大きい最大ベクトル成分となる種類を画像の種類であると決定すれば、複数の特徴ベクトルから識別された複数の種類の中から確率の高い種類を画像の種類として決定することができる。

さらに、種類決定手段が、最大ベクトル成分が所定の最大成分しきい値よりも小さいときには、画像の種類は不明である旨の出力を行うと、最大成分が低い種類の識別の信頼度が低いものは、種類の識別を行わずに不明とすることができるため、種類識別の信頼性を高めることができる。

また、種類決定手段が、各特徴ベクトル毎に出力される複数の種類ベクトルのすべての成分のうち、２番目に大きいベクトル成分を検出する機能を有し、最大成分の示す種類と２番目に大きい成分の示す種類が一致せず、最大ベクトル成分と２番目に大きいベクトル成分との差が差分しきい値よりも小さいときには、画像の種類は不明である旨の出力を行うようにすれば、画像の種類が最大ベクトル成分の示す種類であるか２番目に大きいベクトル成分の示す種類であるか疑わしいときには不明である旨の出力が行われるため、種類識別の信頼性を高めることができる。

以下、本発明のオブジェクト識別装置の実施の形態について図面を参照しながら説明する。図１は本発明のオブジェクト識別装置の好ましい実施の形態を示すブロック図である。なお、図１のようなオブジェクト識別装置１の構成は、補助記憶装置に読み込まれたオブジェクト識別プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このオブジェクト識別プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

図１のオブジェクト識別装置１は画像に含まれるオブジェクト毎の種類を識別するものであって、ブロック領域生成手段１０、オブジェクト領域生成手段２０、ブロック領域識別手段（画像識別装置）３０、オブジェクト識別手段９５等を有する。図１のブロック領域生成手段１０は、画像を設定画素数からなる、オブジェクト領域より小さい多数の領域に分割して複数のブロック領域を生成するものである。具体的には、図２（ａ）に示すように、ブロック領域生成手段１０は、設定画素数が３２画素×３２画素に設定されている場合、全体画像Ｐを３２×３２画素からなる複数のブロック領域ＢＲに分割するようになっている。

オブジェクト領域生成手段２０は、全体画像に含まれるオブジェクト毎に領域分割して複数のオブジェクト領域を生成する機能を有する。たとえば、図２（ｂ）に示すような複数のオブジェクトを含む画像の場合、全体画像Ｐを各オブジェクト毎に領域分割してオブジェクト領域ＯＲを生成するようになっている。ここで、オブジェクトとはたとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、オブジェクト領域は被写体が画像内に占める領域を意味する。

ブロック領域識別手段３０は生成された各ブロック領域ＢＲ毎に種類を識別するものであって、たとえばブロック領域ＢＲは「山」、「海」、「花」、「空」の種類であることを特定するものである。

オブジェクト識別手段９５は、ブロック領域識別手段（画像識別装置）３０により識別されたブロック領域ＢＲの種類を、オブジェクト領域生成手段２０により生成されたオブジェクト領域ＯＲ毎に集計し、オブジェクトの種類を識別するものである。

具体的には、オブジェクト識別手段９５は、オブジェクト領域ＯＲ内の各ブロック領域ＢＲの種類の数を集計する。このとき、オブジェクト識別手段９５は、複数のオブジェクト領域ＯＲにまたがっているブロック領域ＢＲは、カウントしないようになっている。このように、２つのオブジェクト領域にまたがっているブロック領域は２つの種類を含むブロック領域ＢＲを集計から外すことにより、種類識別の信頼性が低くなってしまうのを防止することができる。

そして、オブジェクト識別手段９５は、あるオブジェクト領域ＯＲにおいて集計されたブロック領域ＢＲの種類のうち、最も多いブロック領域ＢＲの種類をオブジェクトの種類であると識別する。すると、図２（ｃ）に示すように、各オブジェクト領域ＯＲに種類が識別される。

なお、図１のオブジェクト識別手段９５において、オブジェクトの種類を多数決により決定するようにしているが、集計された種類のうち最も多い最大の種類の割合（最大の種類の数／オブジェクトを構成する全ブロック領域数）が種類情報しきい値より小さい場合、オブジェクト識別手段９５がオブジェクトの種類として「不明」を出力する機能を有していてもよい。あるいは、最大の種類の割合と２番目に多い種類の割合との差が小さい場合、オブジェクト識別手段９５がオブジェクトの種類として「不明」を出力するようにしてもよい。これは、オブジェクトの種類を誤って識別するよりも、「不明」と判断された方がユーザーにとって好ましい場合があるためである。

図３はオブジェクト領域生成手段２０の一例を示すブロック図であり、図３を参照してオブジェクト領域生成手段２０について説明する。なお、以下に示すオブジェクト領域生成手段２０は一例であり、たとえばエッジ検出により各オブジェクト領域ＯＲを生成する手法等により行うようにしてもよい。

オブジェクト領域生成手段２０は、画像を構成する各画素から複数の特徴量を抽出し、類似した画素特徴量毎に画素を分類する画像の特徴量分類手段１００と、画素の分類毎に領域分割して複数のクラスタリング領域を生成する領域分割手段１０１と、生成されたクラスタリング領域のうち最も画素数の少ない最小クラスタリング領域を抽出する最小クラスタ領域抽出手段１１２と、抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域を抽出する統合領域判断手段１１３と、生成されたクラスタリング領域を統合してオブジェクト領域を抽出する領域統合手段１１０とを有する。

ここで、図４と図５は画像を各オブジェクト領域毎に分割する過程を示す模式図であり、図４を参照してオブジェクト領域生成手段２０の動作例について説明する。まず、図４（ａ）に示すように、類似した特徴を有する画素が並んだ画像があると仮定する。このとき、特徴量分類手段１００において、各画素から複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、図４（ｂ）に示すように、複数の特徴ベクトルが類似する特徴ベクトル毎に分類される（クラスタリング）。

その後、領域分割手段１０１により、特徴量分類手段１００によりクラスタリングされた結果が実際の画像に写像される。すると、図５（ａ）に示すように、類似した画素からなる複数のクラスタリング領域が形成されて、ラベルを付したラベル画像としてデータベース１１１に記憶される。

次に、領域統合の一例について説明する。まず、最小クラスタ領域抽出手段１１２により、データベースに記憶されたクラスタリング領域の中から最も小さい最小クラスタリング領域が抽出される。また、統合領域判断手段１１３において抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域が抽出する。

ここで、最小クラスタリング領域が所定の微小画素しきい値以下の画素数（たとえば全画素数の１／１００）の場合、領域統合手段１１０において、最小クラスタリング領域が境界画素数（周囲長）の最も多い隣接クラスタリング領域と統合される。具体的には、図５（ａ）のクラスタリング領域Ａが所定の微小画素しきい値以下の画素数を有する最小クラスタリング領域であるとする。クラスタリング領域Ａは、クラスタリング領域Ｃ、Ｄと隣接しているため、クラスタリング領域Ｃ、Ｄが隣接クラスタリング領域となる。

そこで、領域統合手段１１０において、最小クラスタリング領域Ａとクラスタリング領域Ｃ、Ｄとが接している隣接画素数がそれぞれ算出される。図５（ａ）においては隣接クラスタリング領域Ｄとの境界画素数の方が隣接クラスタリング領域Ｃとの境界画素数よりも多い。このためクラスタリング領域Ａは図５（ｂ）のようにクラスタリング領域Ｄと統合する。

一方、最小クラスタリング領域が所定の小画素しきい値以下の画素数（たとえば全画素数の１／１０）の場合、領域統合手段１１０において、最小クラスタリング領域が特徴空間での距離が近い隣接クラスタリング領域と統合される。具体的には、図５（ｂ）において、クラスタリング領域Ｂが所定の小画素しきい値以下の最小クラスタリング領域であるとする。すると、クラスタリング領域Ｂの隣接クラスタリング領域はクラスタリング領域Ｃ、Ｄである。そこで、たとえばテクスチャ情報を距離を基準とした場合、どちらのクラスタリング領域Ｃ、Ｄのテクスチャがクラスタリング領域Ｂのテクスチャに近いかが判断される。そして、図５（ｃ）のように、クラスタリング領域Ｂが特徴空間での最も近い距離であるクラスタリング領域Ｄと統合される。

領域統合手段１１０において、上述した作業がたとえば最小クラスタ領域抽出手段１１２により抽出される最小クラスタリング領域が所定の小画素しきい値よりも大きい画素数になるまで行われて、画像が各オブジェクト領域ＯＲ毎に領域分割される（図２（ｃ）参照）。

次に、図１を参照してブロック領域識別手段（画像識別装置）３０について説明する。ブロック領域識別手段３０は、各ブロック領域ＢＲを１つの画像としてとらえてこの各ブロック領域ＢＲの種類を識別するものであって、各ブロック領域ＢＲから複数の特徴量を抽出する特徴量抽出手段４０と、抽出された複数の特徴量をベクトル成分とする特徴ベクトルを複数生成する特徴ベクトル生成手段５０と、生成された特徴ベクトルからブロック領域の種類の候補を識別して出力する種類候補識別手段６０と、識別されたブロック領域の種類の候補に基づいて、ブロック領域ＢＲの種類を決定する種類決定手段９０とを有する。以下にブロック領域識別手段（画像識別装置）３０の各構成について具体的に説明していく。

図６は特徴量抽出手段４０および特徴ベクトル生成手段５０の一例を示すブロック図であり、図６を参照して特徴量抽出手段４０について説明する。特徴量抽出手段４０は、画像変換手段４１、エッジ画像生成手段４２、相関特徴量抽出手段４３、エッジ特徴量抽出手段４４、色特徴量抽出手段４５等を有する。

画像変換手段４１は、ＲＧＢ表色系により表現されているブロック領域をＹＣＣ表色系に変換するものである。このとき、画像変換手段４１は、画像を構成する複数のブロック領域ＢＲのうち、１つのオブジェクト領域ＯＲに含まれるブロック領域を識別する。なお、画像を構成する複数のブロック領域ＢＲのうち、オブジェクト領域ＯＲ間の境界にまたがるブロック領域ＢＲは、オブジェクト領域ＯＲの種類の判断には使用しないため、特徴量の抽出を行わないようになっている。

エッジ画像生成手段４２は、画像変換手段４１から送られたＹ成分を用いてエッジ画像を生成し、生成したエッジ画像を相関特徴量抽出手段４３およびエッジ特徴量抽出手段４４に送る機能を有する。ここで、エッジ画像生成手段４２は、図７（ａ）に示す縦エッジ検出用フィルターを用いて縦エッジ画像を生成するとともに、図７（ｂ）に示す横エッジ検出用フィルターを用いて横エッジ画像を生成するようになっている。

なお、エッジ画像生成手段４２は、図７に示すようなエッジ検出用フィルター（ｐｒｅｗｉｔｔフィルター）を用いているが、たとえば上下左右の画素には対角線上のものより大きな重みを与えたエッジ検出用フィルター（Ｓｏｂｅｌフィルター）を用いたエッジ検出方法やその他の公知のエッジ検出方法を用いることができる。

図６の相関特徴量抽出手段４３は、ブロック領域ＢＲの各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出するものである。ここで、図８は相関特徴量抽出手段４３における相関特徴量の算出方法の一例を示すフローチャートを示しており、図８を参照して相関特徴量の算出方法について説明する。

なお、図８において横方向に沿った変化に関する相関特徴量の抽出について説明するが、同様の手法により縦方向に沿った変化に対する相関特徴量も抽出される。また、以下に示すＦ_ｉ（ｘ）は、第ｉ行における第ｘ画素（ｉ＝０〜３１、ｘ＝０〜３１）の成分信号値を示し、Ｆ_ｊ（ｘ）は第ｊ行における第ｘ画素（ｉ＝０〜３１、ｘ＝０〜３１）の成分信号値を示すものとする。

最初に、画像変換手段４１により変換された縦エッジ画像を用いて、縦エッジ画像の各行に沿った成分信号値Ｆ_ｉ（ｘ）、Ｆ_ｊ（ｘ）の変化を規格化する（ステップＳＴ１）。具体的には、成分信号値Ｆ_ｉ（ｘ）と平均値Ｆ_ｉとの差分を標準偏差δ_ｉで割り、規格化された成分信号値Ｆ_ｉ’（ｘ）が求められる。

Ｆ_ｉ’（ｘ）＝（Ｆ_ｉ（ｘ）−Ｆ_ｉ）／δ_ｉ
同様に、ｊ行の成分信号値Ｆ_ｊ（ｘ）と平均値Ｆ_ｊとの差分を標準偏差δ_ｉで割り、規格化された成分信号値Ｆ_ｉ’（ｘ）が求められる。

Ｆ_ｊ’（ｘ）＝（Ｆ_ｊ（ｘ）−Ｆ_ｊ）／δ_ｊ
このように、成分信号値を規格化して相関特徴量を求めるのは、各行間における変動幅や平均値の違いを排除して、変動パターン自体の相互相関性を示す相関特徴量を導出するためである。なお、Ｆ_ｉ（ｘ）、Ｆ_ｊ（ｘ）が一定値であり標準偏差が０の場合は、Ｆ_ｉ’（ｘ）＝０（一定）、Ｆ_ｊ’（ｘ）＝０（一定）とする。

そして、異なる２行（第ｉ行と第ｊ行）の組み合わせについて、これら２行に関する規格化された成分信号値Ｆ_ｉ’（ｘ）およびＦ_ｊ’（ｘ）を用いて、相互相関関数

が導出される（ステップＳＴ２）。この相互相関関数は、概念的に言えば、図９の（ａ）に示すように、２行の規格化された成分信号値Ｆ_ｉ’（ｘ）およびＦ_ｊ’（ｘ）をｄ画素分だけずらして掛け合わせ、その総和を取るものである。すると、図９の（ｂ）に示すような、ｄの関数としての相互相関関数Ｇ_ｉｊ（ｄ）が得られる。

次に、算出した相互相関関数Ｇ_ｉｊ（ｄ）にｄ＝０〜３１に代入したときの相関値の中から最大相関値が算出される（ステップＳＴ３）。

この作業をすべての２行の組み合わせについて繰り返し最大相関値が算出される（ステップＳＴ１〜ステップＳＴ４）。ここでは、３２画素×３２画素のブロック領域においては、０行〜３１行のすべての組み合わせの最大相関値が算出される。そして、算出されたすべての最大相関値の平均値および標準偏差が算出されて、この平均値および標準偏差が相関特徴量とされる（ステップＳＴ５）。

同様に、縦方向に沿った変化に関する最大相関値の平均値および標準偏差が相関特徴量として算出される（ステップＳＴ１〜ステップＳＴ５）。そして、図６の特徴ベクトル生成手段５０は抽出された合計４つの相関特徴量を用いて、相関特徴ベクトルＣＢ１を生成するようになっている。

上述したように算出された相関特徴量は、オブジェクトを構成するブロック領域ＢＲに規則的なパターンがあるかどうかを示すものであり、最大相関値の平均値が大きく標準偏差の小さくなればなるほど、規則的なパターンが形成されていることを意味する。一般的に撮影された画像に含まれる自然物は規則的なパターン、連続的なパターン、周期的なパターンは少なく、ランダムなパターンにより構成されていることが多い。一方、ビルや石畳等の人工物は規則的なパターン等により構成されていることが多い。そこで、オブジェクトを構成するブロック領域ＢＲが規則的なパターンを構成しているか否かを示す相関特徴量を抽出することにより、ブロック領域ＢＲが人工的に作られた建造物等の画像の一部であるのか、自然物の画像の一部であるのかを判断することができる。

なお、相関特徴量抽出手段４３は、単に規格化された成分信号値Ｆ_ｉ’（ｘ）、Ｆ_ｊ’（ｘ）の積の総和の平均値および標準偏差を相関特徴量として抽出してもよいが、上述のように、相互相関関数の最大値の平均値および標準偏差を相関特徴量として用いれば、たとえば斜め方向に規則的な模様や波紋が撮影されたブロック領域ＢＲについても、そのパターンの規則性を示す適当な相関特徴量を導出できるようになり、ブロック領域ＢＲの相関に関する特徴量を正確に表した相関特徴量の抽出を行うことができる。ここで、１画素ずつ画素ライン画素ラインをずらした場合（ｄ＝０，１，２，・・・３１）について言及しているが、２画素分ずらす等の複数画素ずらしながら最大相関値を算出するようにしてもよい。

エッジ特徴量抽出手段４４は、ブロック領域ＢＲのエッジ成分の特徴量を抽出するものである。具体的には、エッジ特徴量抽出手段４４は、エッジ検出フィルター（図７参照）を用いて生成された縦エッジ画像および横エッジ画像について、それぞれの成分信号値の平均値および標準偏差を算出し、４個のエッジ特徴量を出力するものである。そして、特徴ベクトル生成手段５０は算出された合計４つのエッジ特徴量を用いて、エッジ特徴ベクトルＣＢ２を生成するようになっている。

このように、エッジ成分の特徴量としてエッジ成分の平均値を用いることにより、自然物の中でもエッジの少ない「空」と自然物の中でもエッジの多い「水」や「植物」とを分類することができる。また、エッジ特徴量としてブロック領域ＢＲの縦方向のエッジ成分と横方向のエッジ成分とを抽出することにより、たとえば「水」のように方向によってエッジ成分の特徴が異なるオブジェクトと、「植物」「花畑」等の縦方向および横方向において比較的均一なエッジを形成するオブジェクトとを分類することができる。

色特徴量抽出手段４５は、ブロック領域ＢＲの色特徴を示す色特徴量を抽出するものである。具体的には、色特徴量抽出手段４５は、ＹＣＣ表色系で表されたブロック領域ＢＲを構成する３２×３２画素分の輝度成分（Ｙ成分）および２つの色差成分（Ｃｒ、Ｃｂ）の各成分信号値の平均値および標準偏差を算出し、１のブロック領域から６個の色特徴量を抽出するものである。そして、特徴ベクトル生成手段５０は抽出された合計６つの色特徴量を用いて、色特徴ベクトルＣＢ３を生成するようになっている。

なお、色特徴量抽出手段４５は、ＲＧＢ表色系からＹＣＣ表色系に変換された後に色特徴量が抽出するようにしているが、たとえばＲＧＢ表色系のまま各成分（ＲＧＢ）について色特徴量を抽出するようにしてもよいし、画像変換手段４１において、ＲＧＢ表色系のブロック領域ＢＲをＬａｂ表色系に変換して、Ｌａｂの各成分について色特徴量を抽出するようにしてもよい。また、色特徴量抽出手段４５は、各成分信号値の平均値と標準偏差とを色特徴量として抽出しているが、たとえば最大値や最小値、分位点等その他の代表値を色特徴量として用いてもよい。

次に、図１０は種類候補識別手段６０の一例を示すブロック図である。図１０の種類候補識別手段６０は、特徴ベクトル生成手段５０により生成された複数の特徴ベクトル毎に種類の候補の識別を行うものであって、相関特徴ベクトルＣＢ１から種類の候補を識別する相関種類候補識別手段６１、エッジ特徴ベクトルＣＢ２から種類の候補を識別するエッジ種類候補識別手段６２、色特徴ベクトルＣＢ３から種類の候補を識別する色種類候補識別手段６３の３つの種類候補識別手段を備えている。

以下に、相関種類候補識別手段６１の構成について説明する。なお、エッジ種類候補識別手段６２、色種類候補識別手段６３が相関種類候補識別手段６１と同一の構成を有する部位には同一の符号を付してその説明を省略する。この相関種類候補識別手段６１、エッジ種類候補識別手段６２、色種類候補識別手段６３において、自己組織化マップを用いた修正対向伝搬ネットワーク（参考文献：徳高、岸田、藤村「自己組織化マップの応用−多次元情報の２次元可視化」海文堂、１９９９）が用いられる。

相関種類候補識別手段６１は、複数の結合荷重ベクトルを備えた自己組織化マップＳＯＭ１と、自己組織化マップの複数の結合荷重ベクトルのうち、前記特徴ベクトルに最も類似する勝者ベクトルの自己組織化マップ上の座標ＣＩを検出する座標検出手段７０と、自己組織化マップＳＯＭ１上の座標ＣＩ毎にブロック領域ＢＲの種類の指標を定めた種類頻度分布マップＫＤＭ１と、検出された自己組織化マップＳＯＭ１上の座標ＣＩが種類頻度分布マップＫＤＭ１上で示す種類を特定して種類の候補として出力する種類候補出力手段８０とを備えている。

ここで、自己組織化マップＳＯＭ１の結合荷重ベクトルは、マトリックス状に配置されており、入力される相関特徴ベクトルＣＢ１と同一の次元、すなわち４次元のベクトルからなっている。そして、座標検出手段７０は、相関特徴ベクトルＣＢ１と自己組織化マップＳＯＭ１のすべての結合荷重ベクトルとの距離（たとえばユークリッド距離）を算出し、その中からたとえば最も距離の近い（最も類似した）結合荷重ベクトル（以下「勝者ベクトル」という）を検索する。そして、座標検出手段７０は勝者ベクトルの自己組織化マップＳＯＭ１上での座標ＣＩを取得するようになっている。

図１１に示すように、相関種類候補識別手段６１において、種類毎に複数の種類頻度分布マップＫＤＭ１が用意されており、各種類頻度分布マップＫＤＭ１は、２次元空間上に種類の指標となる頻度値（信頼度）の分布が形成されている。具体的には、図１１（ａ）は種類が「空」の種類頻度分布マップＫＤＭ１であり、図１１（ｂ）は種類が「建物」の種類頻度分布マップＫＤＭ、図１１（ｃ）は種類が「木」の種類頻度分布マップＫＤＭ、図１１（ｄ）の種類が「海」の種類頻度分布マップＫＤＭ１をそれぞれ示している。図１１において、白の範囲が０．８〜１．０の頻度値（信頼度）、グレーの範囲が０．２〜０．８の頻度値（信頼度）、黒の範囲が０．０〜０．２の頻度値（信頼度）を示している。そして、種類候補出力手段８０は、座標検出手段７０により検出された自己組織化マップＳＯＭ１上の座標ＣＩが各種類頻度分布マップＫＤＭ１上で示す複数の頻度値をベクトル成分とした種類ベクトルＫＩ１を種類の候補として出力するようになっている。

ここで、上述した自己組織化マップＳＯＭ１および種類頻度分布マップＫＤＭ１の学習について説明する。自己組織化マップＳＯＭ１の結合荷重ベクトルは、初期状態においてランダムな結合荷重ベクトルに設定されている。そして、予め種類のわかっている学習用入力データが座標検出手段７０に入力される。すると、座標検出手段７０において学習用入力データと最も近似した結合荷重ベクトル（勝者ベクトル）が識別される。同時に、識別された結合荷重ベクトル（勝者ベクトル）を取り囲むたとえば３×３個の結合荷重ベクトルが識別される。そして、勝者ベクトルおよびその近傍にある結合荷重ベクトルの結合荷重ベクトルが学習用入力データに近づく方向に更新されて、自己組織化マップＳＯＭ１の結合荷重ベクトルが学習される。

この作業が複数の学習用入力データを用いて行われる。さらに、この学習用入力データが複数回繰り返し自己組織化マップＳＯＭに入力される。ここで、複数の学習用入力データの入力が繰り返されるにつれて、結合荷重ベクトルが更新される結合荷重ベクトルの近傍領域の範囲が狭くなっていき、最後には識別された勝者ベクトルのみの結合荷重ベクトルが更新されるようになる。

次に、種類頻度分布マップＫＤＭ１の学習について説明する。種類頻度分布マップＫＤＭ１においてすべての座標の初期値は０になっている。上述したように、自己組織化マップＳＯＭ１に学習用入力データが写像された際に、自己組織化マップＳＯＭ上の座標ＣＩが出力される。すると、学習用入力データの種類に対応する種類頻度分布マップＫＤＭ１内の座標ＣＩに当たる部位およびそれを取り囲む領域（たとえば３×３個）に正の整数値（たとえば「１」）が加算される。

そして、学習用入力データが入力されて行くにつれて、種類頻度分布マップＫＤＭ１上の特定の領域ついて学習用入力データの入力により数値が加算されて大きくなっていく。つまり、同じ種類のブロック領域ＢＲであれば、特徴量が類似していることになる。特徴量が類似していれば、自己組織化マップＳＯＭ１上の近くの座標に写像されることが多くなるため、種類頻度分布マップＫＤＭ１においても特定の座標の数値が大きくなっていく。

最後に、種類頻度分布マップＫＤＭ１の各座標にある数値を全入力学習データ数×学習回数で割ると、各座標に０．０から１．０までの確率が入力された種類頻度分布マップＫＤＭが生成される。この確率が大きければ大きいほど、その種類である確率が大きくなることを意味する。図１１の種類頻度分布マップＫＤＭにおいては、白の範囲が０．８〜１．０の信頼度（確率）、グレーの範囲が０．２〜０．８の信頼度（確率）、黒の範囲が０．０〜０．２の信頼度（確率）を示している。このように種類頻度分布マップＫＤＭがたとえば「空」、「建物」、「木」、「海」等の種類毎にそれぞれ形成されていく。

なお、上述した自己組織化マップＳＯＭ１および種類頻度分布マップＫＤＭ１の学習には相関特徴ベクトルＣＢ１を用いられているが、エッジ種類候補識別手段６２の自己組織化マップＳＯＭ２および種類頻度分布マップＫＤＭ２の学習にはエッジ特徴ベクトルＣＢ２が用いられ、色種類候補識別手段６３の自己組織化マップＳＯＭ３および種類頻度分布マップＫＤＭ３の学習には色特徴ベクトルＣＢ３が用いられることになる。

このように、各特徴ベクトルＣＢ１〜ＣＢ３毎に種類の候補を修正対向伝搬ネットワーク（ＭＣＰ）を用いて識別することにより、自己組織化マップを構成する結合荷重ベクトルの次元を低く抑えることができるため、種類の候補の識別の精度を向上させることできる。

さらに、座標検出手段７０〜７３は、特徴ベクトルＣＢ１〜ＣＢ３と勝者ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには勝者ベクトルがないと判断する機能を有する。そして、座標検出手段７０〜７３は、勝者ベクトルがないと判断したときには種類が不明である旨の出力を行うようになっている。

つまり、座標検出手段７０〜７３は、特徴ベクトルＣＢ１〜ＣＢ３に最も距離の近い結合荷重ベクトルの座標を抽出するものであるため、入力された特徴ベクトルが自己組織化マップ上のいずれの結合荷重ベクトルとの距離が離れている（類似していない）ときであっても、その中から最も距離の近い結合荷重ベクトルを抽出する。

一方、自己組織化マップＳＯＭ１〜ＳＯＭ３は予め所定の種類の画像を用いて学習されたものであるため、学習された種類の画像から生成した特徴ベクトルＣＢ１〜ＣＢ３であれば、自己組織化マップＳＯＭ１〜ＳＯＭ３のいずれかの結合荷重ベクトルに類似するものである。つまり、特徴ベクトルＣＢ１〜ＣＢ３と結合荷重ベクトルとの距離が大きい場合ときには、学習していない種類であり、学習範囲を超えた特徴ベクトルが入力されたことになる。

この場合には、自己組織化マップＳＯＭ上の最も類似した結合荷重ベクトルを検索し種類の判別を行うよりも、種類が不明である旨を出力した方がブロック領域ＢＲの種類の候補の識別およびオブジェクト領域ＯＲの種類の識別の精度が向上する。したがって、特徴ベクトルと結合荷重ベクトルとの距離がしきい値以上である場合には、「不明」を示す種類ベクトルを出力するようになっている。

ここで、図１２は座標検出手段７０〜７３において種類ベクトルの出力方法の一例を示すフローチャートであり、図１２を参照して説明する。図１２において、学習済の自己組織化マップＳＯＭ上の各々の結合荷重ベクトルと特徴ベクトルとが比較されて、特徴ベクトルとのユークリッド距離が最も小さい結合荷重ベクトルが勝者ベクトルとして特定される（ステップＳＴ１０）。

次に、勝者ベクトルと特徴ベクトルとのユークリッド距離が算出されて（ステップＳＴ１１）、算出された距離が所定のしきい値と比較される（ステップＳＴ１２）。その結果、このユークリッド距離がしきい値以下である場合には勝者ベクトルの位置に対応する種類のマップ上の対応点が参照され、「空」、「木」等の種類のうち、対応点において最も高い確率を示している種類が、現在のブロック領域の種類として特定される（ステップＳＴ１３）。

一方、勝者ベクトルと特徴ベクトルとのユークリッド距離がしきい値より大きい場合には、ブロック領域の種類は不明であると判断されて、たとえばベクトル成分がすべて「０」の不明を示す種類ベクトルが出力される（ステップＳＴ１４）。このように、設定しきい値を用いることにより、自己組織化マップＳＯＭ１〜ＳＯＭ３が予め学習していないような画像が入力された場合にもいわばむりやりに種類を識別する事態を回避できるので、種類の候補の識別結果に対する信頼性を高めることができる。つまり、種類の候補が「不明」ではなく所定の種類として識別されたことは、一定の確実性をもって識別されたことを意味するため、種類の候補の識別の信頼性を高める結果となる。

ここで、設定しきい値には、一定の設定しきい値を定めてもよいが、好ましくは勝者ベクトルの近傍領域内にある複数の結合荷重ベクトルのうち勝者ベクトルとの距離が最も大きい結合荷重ベクトルと勝者ベクトルとの距離が用いられる。これは、学習内容の偏りや各種類の画像の多様性の違いによって生じる各結合荷重ベクトルの「守備範囲」の相違をしきい値に反映させるためである。

つまり、自己組織化マップ上の位置によって近傍の結合荷重ベクトルとの類似度が異なっているため、勝者ベクトルとの類似度がある値であっても、その勝者ベクトルと近傍の結合荷重ベクトルのとの類似度が高い場合と低い場合とでは、勝者が妥当であるか否か、つまり本当に似ているためその勝者ベクトルが選ばれたのか、偶然にその勝者ベクトルが選ばれたのかを判断する基準は異なってくる。

そこで、自己組織化マップ上の結合荷重ベクトルの位置により各結合荷重ベクトルの守備範囲が異なるように各結合荷重ベクトルの守備範囲を勝者ベクトルとその近傍領域の結合荷重ベクトルとの距離に基づいて設定し、写像された結合荷重ベクトルの位置に応じた、すなわち特徴ベクトルの値に応じた「不明」の判断を行うようにする。これにより、「不明」の判断の精度を向上させることができるようになる。

たとえば、図１３（ａ）に示すように、特徴ベクトルが「建物」の部分であるブロック領域ＢＲから抽出され、図１３（ｂ）に示す座標検出手段７０により勝者ベクトルが勝者ベクトルに決定され、図１３（ｃ）に示す種類頻度分布マップＫＤＭにおいて「土」示す種類が最もベクトル成分の大きい種類の候補として出力される場合について考える。このとき、設定しきい値を考慮しなければ、「建物」の種類のブロック領域ＢＲが「土」であると決定されてしまう。

一方、勝者ベクトルと自己組織化マップ上において勝者ベクトルの周辺５×５の近傍領域内にある他の２４個の結合荷重ベクトルとのユークリッド距離の最大値をしきい値として用いれば、各勝者ベクトルの守備範囲を超えるような場合には、特徴ベクトルと勝者ベクトルとの距離はしきい値より大きくなり、種類の候補が「不明」であると判断される。

なお、上述した最大値に代えて平均値等をしきい値として用いてもよいし、近傍領域の大きさも５×５に限られず、たとえば３×３の近傍領域からしきい値を算出するようにしてもよい。あるいは、近傍領域内にある結合荷重ベクトルのベクトル長の標準偏差等を基準にしてもよい。

次に、図１０を参照して種類決定手段９０について説明する。種類決定手段９０は、複数の種類候補識別手段６０から出力される種類ベクトルＫＩに基づいてブロック領域ＢＲの種類を決定するものである。ここで、種類候補識別手段６０は、各種類候補識別手段６１〜６３から出力される複数の種類ベクトルＫＩ１〜ＫＩ３のすべてのベクトル成分のうち、最も大きい最大ベクトル成分となる種類をブロック領域ＢＲの種類であると決定するようになっている。

たとえば、図１４に示すように、種類候補識別手段６０からそれぞれ５つのベクトル成分からなる３つの種類ベクトルＫＩ１、ＫＩ２、ＫＩ３が出力されたとする。すると、種類決定手段９０は、３つの種類ベクトルＫＩ１〜ＫＩ３の１５個のベクトル成分のうち、最も頻度値の大きいベクトル成分である「空」をブロック領域ＢＲの種類であると識別する。

なお、上述のように、複数の種類ベクトルＫＩ１〜ＫＩ３のすべてのベクトル成分の最大値により種類を識別するのではなく、３つの種類ベクトルの各成分の平均値を算出して、最も大きい平均値となった種類をブロック領域ＢＲの種類であると識別してもよい。さらに、種類によって識別に適する特徴は異なるものであるため、３つの種類ベクトルＫＩ１〜ＫＩ３の各ベクトル成分毎に異なる重み付けをして平均するようにしてもよい。

また、種類決定手段９０は、最大ベクトル成分が所定の最大成分しきい値（たとえば０．６）よりも小さいときには、ブロック領域ＢＲの種類は「不明」である旨の決定を行う機能を有している。これにより、ブロック領域ＢＲがその種類であることの信頼性が低いときには、オブジェクト領域ＯＲの種類の集計において信頼性の低い種類はカウントされることがなくなるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。

さらに、種類決定手段９０は、２番目に大きい成分の示す種類が最大成分の示す種類と一致せず複数の種類ベクトルＫＩ１〜ＫＩ３のすべてのベクトル成分のうち、２番目に大きいベクトル成分を検出する機能を有する。そして、種類決定手段９０は、最大ベクトル成分と２番目に大きいベクトル成分との差が差分しきい値（たとえば０．２）よりも小さいときには、ブロック領域ＢＲの種類は不明である旨の出力を行うようになっている。これにより、ブロック領域ＢＲが２番目に大きいベクトル成分の種類である可能性も高いときには、オブジェクト領域ＯＲの種類の集計において信頼性の低い種類はカウントされることがなくなるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。

したがって、種類決定手段９０において、図１５に示すように、まず複数の種類ベクトルＫＩ１〜ＫＩ３のすべてのベクトル成分から最大ベクトル成分が検出される（ステップＳＴ２０）。そして、その最大ベクトル成分が最大成分しきい値と比較される（ステップＳＴ２１）。そして、最大ベクトル成分が最大成分しきい値よりも小さい場合には、種類識別の信頼度が低いと判断されて、種類が不明である旨の決定がなされる（ステップＳＴ２４）。

一方、最大ベクトル成分が最大成分しきい値よりも大きい場合であっても、最大ベクトル成分と２番目に大きいベクトル成分との差が差分ベクトルしきい値と比較されて（ステップＳＴ２５）、差分ベクトルしきい値よりも小さい場合には種類識別の信頼度が低いと判断されて、種類が不明である旨の決定がなされる。さらに、最大ベクトル成分と２番目に大きいベクトル成分との差が差分ベクトルしきい値よりも大きいときに、ブロック領域ＢＲがその最大ベクトル成分が示す種類であると決定されるようになっている。このように、各ブロック領域ＢＲの種類の識別の信頼性を高めることにより、オブジェクト識別手段９５における種類の集計をした後のオブジェクト領域ＯＲの種類識別の信頼度を高めることができる。

図１６は本発明のオブジェクト識別方法および画像識別方法の好ましい実施の形態を示すフローチャート図であり、図１から図１６を参照してオブジェクト識別方法（ステップＳＴ３０〜ステップＳＴ３７）および画像識別方法（ステップＳＴ３１〜ステップＳＴ３４）について説明する。

まず、オブジェクト領域生成手段２０により入力された画像をオブジェクト毎に領域分割したオブジェクト領域ＯＲが生成される（図２〜図５参照）。一方、ブロック領域生成手段１０により入力された画像を設定画素数（たとえば３２×３２画素）からなる、オブジェクト領域ＯＲより小さい複数のブロック領域ＢＲが生成される（ステップＳＴ３０）。

次に、特徴量抽出手段４０により、ブロック領域ＢＲから複数の特徴量が抽出されて（図６〜図９参照）（ステップＳＴ３１）、特徴ベクトル生成手段５０により複数の特徴量から相関特徴ベクトルＣＢ１、エッジ特徴ベクトルＣＢ２および色特徴ベクトルＣＢ３が生成される（ステップＳＴ３２）。

その後、種類候補識別手段６０において、生成した複数の特徴ベクトルＣＢ１〜ＣＢ３毎に、それぞれブロック領域ＢＲの種類の候補が識別される（図１０〜図１３）（ステップＳＴ３３）。すると、種類決定手段９０において、各特徴ベクトル毎に識別された種類の候補に基づいて、ブロック領域ＢＲの種類が決定される（図１４、図１５参照）（ステップＳＴ３４）。この作業がすべてのブロック領域ＢＲについて行われる（ステップＳＴ３１〜ステップＳＴ３５）。

その後、オブジェクト識別手段９５において、各オブジェクト領域ＯＲ毎に付与された種類を集計する（ステップＳＴ３６）。そして、最も多い種類がそのオブジェクト領域ＯＲの種類として出力される（ステップＳＴ３７）。

上記実施の形態によれば、各特徴ベクトルＣＢ１〜ＣＢ３毎にブロック領域ＢＲの種類の候補を識別し、識別した種類の候補を参照してブロック領域ＢＲの種類を識別することにより、次元数を低く抑えた特徴ベクトルによりブロック領域ＢＲの種類の識別が行われることになるため、オブジェクトの種類を精度よく識別することができる。

また、各ブロック領域ＢＲ毎にそれぞれ種類を決定し、ブロック領域ＢＲの種類を各オブジェクト領域ＯＲ毎に集計してオブジェクト領域ＯＲの種類を識別することにより、オブジェクト領域ＯＲの一部のブロック領域ＢＲに本来の種類に識別されなかったものがあったとしても、その誤った認識を吸収してオブジェクトの種類を正確かつ自動的に識別することができる。

さらに、図６に示すように、特徴量抽出手段４０が、ブロック領域ＢＲの各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段４３を含む構成にすれば、相関特徴量により人工物に多く見られる規則的なパターンを有する画像と、自然物に多く見られるランダムなパターンを有する画像とを区別する指標となる特徴量を抽出することができるため、適切な種類の識別を行うことができる。

また、図６の相関特徴量抽出手段４３が、ブロック領域ＢＲの縦方向に沿った相関特徴量と、ブロック領域ＢＲの横方向に沿った相関特徴量とを抽出するようにすれば、縦方向および横方向に向かって規則的なパターンが形成されたものと、縦方向もしくは横方向のいずれか一方に向かって規則的なパターンが形成されたものとを区別することができる。

さらに、相関特徴量抽出手段４３が、２つの画素ラインのいずれか一方を１画素ずつ画素ラインの形成方向にずらしながら画素の成分信号値を所定の相互相関関数に入力することにより算出される複数の相関値のうち最も大きい最大相関値を用いて相関特徴量を算出するようにすれば、ブロック領域ＢＲの縦方向もしくは横方向に向かって形成された規則的なパターンのみならず、ブロック領域ＢＲの斜め方向に向かって形成されている規則的なパターンについても相関特徴量として抽出することができるため、ブロック領域ＢＲの縦方向、横方向および斜め方向に向かって形成される規則的なパターンを相関特徴量として抽出することができる。

さらに、エッジ特徴量抽出手段４４が、ブロック領域ＢＲの縦方向および横方向のエッジ成分の平均値および標準偏差をそれぞれ算出するようにすれば、たとえば「水（波）」のように縦方向と横方向によってエッジが異なるものと、「植物（花畑等）」の縦方向と横方向とで比較的均質なエッジのものとがエッジ特徴量によって区別することができる。

また、各種類候補識別手段６１〜６３が、複数の結合荷重ベクトルを備えた自己組織化マップＳＯＭ１〜ＳＯＭ３と、自己組織化マップＳＯＭ１〜ＳＯＭ３の複数の結合荷重ベクトルのうち、特徴ベクトルＣＢ１〜ＣＢ３に最も類似する勝者ベクトルの自己組織化マップＳＯＭ１〜ＳＯＭ３上の座標を検出する座標検出手段７０と、自己組織化マップＳＯＭ１〜ＳＯＭ３上の座標毎にブロック領域ＢＲの種類の指標を定めた種類頻度分布マップＫＤＭ１〜ＫＤＭ３と、座標検出手段７０により検出された自己組織化マップＳＯＭ１〜ＳＯＭ３上の座標が種類頻度分布マップＫＤＭ１〜ＫＤＭ３上で示す種類を特定して種類の候補として出力する種類候補出力手段８０とを備えた構成にすれば、種類の候補を精度よく識別することができる。

さらに、各特徴ベクトルＣＢ１〜ＣＢ３毎に各種類候補識別手段６１〜６３が用意されるため、特徴ベクトルＣＢ１〜ＣＢ３の低次元化に合わせて自己組織化マップＳＯＭ１〜ＳＯＭ３を構成する結合荷重ベクトルの次元を低く抑えることができ、種類識別の精度を向上させることできる。

また、座標検出手段７０が、特徴ベクトルＣＢ１〜ＣＢ３と勝者ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには勝者ベクトルがない旨の出力を行い、種類候補出力手段８０が、座標検出手段７０から勝者ベクトルがない旨を受け取ると、種類が不明である旨の出力を行うようにすれば、自己組織化マップＳＯＭ１〜ＳＯＭ３が予め学習していない種類の識別を、無理に行うことなく不明とすることができるため、種類識別結果に対する信頼性を高めることができる。

また、設定しきい値が、勝者ベクトルの近傍領域内にある複数の結合荷重ベクトルのうち勝者ベクトルとの距離が最も大きい結合荷重ベクトルと勝者ベクトルとの距離であるときには、学習内容の偏りや各種類の画像の多様性の違いによって生じる勝者ベクトルの各位置における種類識別の信頼性の相違を設定しきい値に反映させることができる。

さらに、各種類候補識別手段６１〜６３が、自己組織化マップＳＯＭ１〜ＳＯＭ３の座標毎に種類の頻度値を種類の指標として定めた種類頻度分布マップＫＤＭ１〜ＫＤＭ３を種類毎に有し、種類候補出力手段８０が、座標検出手段７０により検出された座標が各種類頻度分布マップＫＤＭ１〜ＫＤＭ３上で示す複数の頻度値をベクトル成分とした種類ベクトルＫＩ１〜ＫＩ３を出力するようにすれば、各特徴ベクトルＣＢ１〜ＣＢ３毎に識別された種類の候補を１つだけ種類決定手段９０に出力するのではなく、ブロック領域ＢＲの種類として可能性のある複数の種類を候補として種類決定手段９０に出力することができるため、ブロック領域ＢＲの種類の決定を精度よく行うことができる。

また、種類決定手段９０が、各特徴ベクトルＣＢ１〜ＣＢ３毎に出力される複数の種類ベクトルＫＩ１〜ＫＩ３のすべての成分のうち、最も大きい最大ベクトル成分となる種類をブロック領域ＢＲの種類であると決定すれば、複数の特徴ベクトルから識別された複数の種類の中から確率の高い種類の識別を行うことができる。

さらに、種類決定手段９０が、最大ベクトル成分が所定の最大成分しきい値よりも小さいときには、ブロック領域ＢＲの種類は不明である旨の出力を行うと、最大ベクトル成分が低い種類の識別の信頼度が低いものは、種類の識別を行わずに不明とすることができるため、種類識別の信頼性を高めることができる。

また、種類決定手段９０が、各特徴ベクトル毎に出力される複数の種類ベクトルＫＩ１〜ＫＩ３のすべての成分のうち、２番目に大きいベクトル成分を検出する機能を有し、最大成分の示す種類と２番目に大きい成分の示す種類が一致せず、最大ベクトル成分と２番目に大きいベクトル成分との差が差分しきい値よりも小さいときには、ブロック領域ＢＲの種類は不明である旨の出力を行うようにすれば、ブロック領域ＢＲの種類が最大ベクトル成分の示す種類であるか２番目に大きいベクトル成分の示す種類であるか疑わしいときには不明である旨の出力が行われるため、種類識別の信頼性を高めることができる。

なお、本発明の実施の形態は上記実施の形態に限定されない。たとえば、図の特徴量抽出手段において相関特徴量、エッジ特徴量および色特徴量の３種類の特徴量を抽出しているが、たとえばテクスチャ成分や画素の高周波成分等その他の特徴量をブロック領域ＢＲから抽出するようにしてもよい。この場合であっても、抽出した特徴量をベクトル成分とする各特徴ベクトル毎に種類の候補が識別されることになる。

また、上記実施の形態における各種類候補識別手段６１〜６３において、複数の種類の信頼度をベクトル成分とする種類ベクトルを出力するようにしているが、各特徴ベクトルから１つの種類を識別するようにしてもよい。具体的には、各種類候補識別手段６１〜６３が、複数の種類頻度分布マップＫＤＭからそれぞれ座標ＣＩの信頼度を複数抽出する。そして、種類候補識別手段６０は最も大きい確率を有する種類をブロック領域ＢＲの種類情報であると識別して、種類をオブジェクト識別手段９５に送るようにしてもよい。このとき、オブジェクト識別手段９５において、各種類候補識別手段６１〜６３により識別された複数の種類から多数決によりブロック領域ＢＲの種類を決定してもよいし、種類の候補のうち最も信頼度の高い種類をブロック領域の種類であると決定してもよい。

さらに、図１０に示す種類候補識別手段において、各種類毎に複数の種類頻度分布マップＫＤＭを用意した場合について例示しているが、図１７に示すように、自己組織化マップＳＯＭ１〜ＳＯＭ３の座標にそれぞれ対応して１つの種類を定義した１つの種類頻度分布マップＫＤＭ１〜ＫＤＭ３により種類の候補を識別するようにしてもよい。

また、図１５のブロック領域識別手段３０において、５つのベクトル成分を有する種類ベクトルＫＩ１〜ＫＩ３に基づいてブロック領域ＢＲの種類の識別を行う場合ついて例示しているが、識別する種類の数はこれに限定されない。

さらに、本発明の画像識別方法および装置の実施の一形態として、ブロック領域ＢＲの識別について例示しているが、全体画像Ｐ（図２（ａ）参照）から複数の特徴量を抽出して複数の特徴ベクトルを生成し、各特徴ベクトル毎に画像の種類の候補を識別して、種類の候補から全体画像の種類を決定するようにしてもよい。このとき、識別する種類の候補は、「空」や「海」等だけでなく、画像のシーンを種類の候補として識別するようにしてもよい。

本発明のオブジェクト識別装置の第１の実施の形態を示すブロック図 本発明のオブジェクト識別装置において、画像に含まれるオブジェクト毎に種類が識別される様子を示す図 本発明のオブジェクト識別装置におけるオブジェクト領域生成手段の一例を示すブロック図 図２のオブジェクト領域生成手段により画像が領域分割される様子を示す図 図２のオブジェクト領域生成手段によりクラスタリング領域が統合されてオブジェクト領域が形成される様子を示す図 本発明のオブジェクト識別装置における特徴量抽出手段の一例を示すブロック図 図６のエッジ画像生成手段において使用されるエッジフィルターの一例を示す図 図６の相関特徴量抽出手段の動作例を示すフローチャート 図６の相関特徴量抽出手段における相互相関関数の一例を示すグラフ図 本発明のオブジェクト識別装置における種類候補識別手段の一例を示すブロック図 図１０の種類候補識別手段における種類頻度分布マップの一例を示す模式図 図１０の種類候補識別手段における種類候補出力手段の動作例を示すフローチャート 図１０の種類候補識別手段における種類候補出力手段の動作例を示す模式図 図１０の種類決定手段の動作例を示す模式図 本発明のオブジェクト識別装置における種類決定手段の動作例を示すフローチャート 本発明のオブジェクト識別方法の好ましい実施の形態を示すフローチャート 本発明の種類候補識別手段における自己組織化マップおよび種類頻度分布マップの別の実施の形態を示す模式図

符号の説明

１ オブジェクト識別装置
１０ ブロック領域生成手段
２０ オブジェクト領域生成手段
４０ 特徴量抽出手段
４３ 相関特徴量抽出手段
４４ エッジ特徴量抽出手段
４５ 色特徴量抽出手段
５０ 特徴ベクトル生成手段
６０ 種類候補識別手段
７０ 座標検出手段
８０ 種類候補出力手段
９０ 種類決定手段
９５ オブジェクト識別手段
ＢＲ ブロック領域
ＣＢ 特徴ベクトル
ＣＩ 座標
ＫＤＭ 種類頻度分布マップ
ＫＩ 種類ベクトル
ＯＲ オブジェクト領域
Ｐ 画像
ＳＯＭ 自己組織化マップ

Claims (18)

1. 画像から複数の特徴量を抽出し、
   抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成し、
   生成した前記複数の特徴ベクトル毎に前記画像の種類の候補を識別し、
   前記複数の特徴ベクトル毎に識別された前記種類の候補に基づいて前記画像の種類を決定する
   ことを特徴とする画像識別方法。
2. 画像から複数の特徴量を抽出する特徴量抽出手段と、
   該特徴量抽出手段により抽出された前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成する特徴ベクトル生成手段と、
   該特徴ベクトル生成手段により生成された前記特徴ベクトルから前記画像の種類の候補を識別して出力する、該複数の特徴ベクトル毎に設けられた種類候補識別手段と、
   該複数の種類候補識別手段においてそれぞれ識別された前記画像の種類の候補に基づいて、前記画像の種類を決定する種類決定手段と
   を有することを特徴とする画像識別装置。
3. 前記特徴量抽出手段が、前記画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段を含むものであることを特徴とする請求項２に記載の画像識別装置。
4. 前記相関特徴量抽出手段が、前記画像の縦方向に沿った前記相関特徴量と、前記画像の横方向に沿った前記相関特徴量とを抽出するものであることを特徴とする請求項３に記載の画像識別装置。
5. 前記相関特徴量抽出手段が、前記画像において同一方向に形成された２つの画素ラインを構成する複数の画素の成分信号値から、前記２つの画素ラインの相関関係を示す相関値を出力する所定の相互相関関数を有し、
   前記２つの画素ラインのいずれか一方を１画素ずつ前記画素ラインの形成方向にずらしながら前記画素の成分信号値を前記相互相関関数に入力することにより複数の前記相関値を取得し、取得した前記複数の相関値から最も大きい最大相関値を算出するものであり、
   前記画像の同一方向に形成された前記画素ラインのすべての組み合わせについて前記最大相関値を算出し、算出されたすべての前記最大相関値の平均値および標準偏差を相関特徴量として抽出するものであることを特徴とする請求項３または請求項４に記載の画像識別装置。
6. 前記特徴量抽出手段が、前記画像の縦方向および横方向のエッジ成分の特徴を示すエッジ特徴量を抽出するエッジ特徴量抽出手段を含むものであることを特徴とする請求項２から請求項５のいずれか１項に記載の画像識別装置。
7. 前記特徴量抽出手段が、前記画像の色成分の特徴を示す色特徴量を抽出する色特徴量抽出手段を含むものであることを特徴とする請求項２から請求項６のいずれか１項に記載の画像識別装置。
8. 前記種類候補識別手段が、
   複数の結合荷重ベクトルを備えた自己組織化マップと、
   該自己組織化マップの前記複数の結合荷重ベクトルのうち、前記特徴ベクトルに最も類似する前記結合荷重ベクトルを勝者ベクトルとして検出し、前記自己組織化マップにおける検出した該勝者ベクトルの座標を検出する座標検出手段と、
   前記自己組織化マップ上の座標毎に前記画像の種類の指標を定めた種類頻度分布マップと、
   前記座標検出手段により検出された前記自己組織化マップ上の座標が該種類頻度分布マップ上で示す種類を特定して種類の候補として出力する種類候補出力手段と
   を備えたものであることを特徴とする請求項２から請求項７のいずれか１項に記載の画像識別装置。
9. 前記座標検出手段が、前記特徴ベクトルと前記勝者ベクトルとの距離を検出し、検出された距離が設定しきい値よりも小さいときには前記勝者ベクトルがないと判断するものであり、前記種類候補識別手段が、前記勝者ベクトルがないと判断されたには前記種類が不明である旨の出力を行うものであることを特徴とする請求項８に記載の画像識別装置。
10. 前記設定しきい値が、前記勝者ベクトルの近傍領域内にある複数の前記結合荷重ベクトルのうち前記勝者ベクトルとの距離が最も大きい前記結合荷重ベクトルと前記勝者ベクトルとの距離であることを特徴とする請求項９に記載の画像識別装置。
11. 前記種類候補識別手段が、前記自己組織化マップの座標毎に前記種類の頻度値を前記種類の指標として定めた前記種類頻度分布マップを前記種類毎に有し、前記種類候補出力手段が、前記座標検出手段により検出された座標が前記各種類頻度分布マップ上で示す複数の頻度値をベクトル成分とした種類ベクトルを出力するものであることを特徴とする請求項８から請求項１０のいずれか１項に記載の画像識別装置。
12. 前記種類決定手段が、前記各種類候補識別手段から出力される前記複数の種類ベクトルのすべてのベクトル成分のうち、最も大きい最大ベクトル成分となる種類を前記画像の種類であると決定するものであることを特徴とする請求項１１に記載の画像識別装置。
13. 前記種類決定手段が、前記最大ベクトル成分が所定の最大成分しきい値よりも小さいときには、前記画像の種類は不明である旨の出力を行うものであることを特徴とする請求項１２に記載の画像識別装置。
14. 前記種類決定手段が、前記各特徴ベクトル毎に出力される前記複数の種類ベクトルのすべての成分のうち、２番目に大きいベクトル成分を検出する機能を有し、前記最大ベクトル成分の示す種類と２番目に大きいベクトル成分の示す種類が一致せず、前記最大ベクトル成分と２番目に大きいベクトル成分との差が差分しきい値よりも小さいときには、前記画像の種類は不明である旨の出力を行うものであることを特徴とする請求項１２または請求項１３に記載の画像識別装置。
15. コンピュータに、
    画像から複数の特徴量を抽出し、
    抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成し、
    生成した前記複数の特徴ベクトル毎に前記画像の種類の候補を識別し、
    前記複数の特徴ベクトル毎に識別された前記種類の候補に基づいて、前記画像の種類を決定する
    ことを実行させるための画像識別プログラム。
16. 画像に含まれるオブジェクトの種類を識別するオブジェクト識別方法において、
    前記画像を前記オブジェクト毎に領域分割したオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割した複数のブロック領域とを生成し、
    生成した前記ブロック領域から複数の特徴量を抽出し、
    抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成し、
    生成した前記複数の特徴ベクトル毎に前記画像の種類の候補を識別し、
    前記複数の特徴ベクトル毎に識別された前記種類の候補に基づいて、前記ブロック領域の種類を決定し、
    決定した前記ブロック領域の種類を前記各オブジェクト領域毎に集計し、
    集計した結果を用いて前記オブジェクト領域の種類を識別する
    ことを特徴とするオブジェクト識別方法。
17. 画像に含まれるオブジェクトの種類を識別するオブジェクト識別装置において、
    前記画像を前記オブジェクト毎に領域分割して複数のオブジェクト領域を生成するオブジェクト領域生成手段と、
    前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割して複数のブロック領域を生成するブロック領域生成手段と、
    該ブロック領域生成手段により生成された前記各ブロック領域から複数の特徴量を抽出する特徴量抽出手段と、
    該特徴量抽出手段により抽出された前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成する特徴ベクトル生成手段と、
    該特徴ベクトル生成手段により生成された前記特徴ベクトルから前記ブロック領域の種類の候補を識別する、前記複数の特徴ベクトル毎に設けられた複数の種類候補識別手段と、
    該各種類候補識別手段において識別された前記ブロック領域の複数の種類の候補に基づいて、前記ブロック領域の種類を決定する種類決定手段と、
    前記各ブロック領域毎に識別された前記ブロック領域の種類を前記オブジェクト領域毎に集計し、集計した結果を用いて前記オブジェクトの種類を識別するオブジェクト識別手段と
    を有することを特徴とするオブジェクト識別装置。
18. コンピュータに、
    画像をオブジェクト毎に領域分割したオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割した複数のブロック領域とを生成し、
    生成した前記ブロック領域から複数の特徴量を抽出し、
    抽出した前記複数の特徴量をベクトル成分とする特徴ベクトルを複数生成し、
    生成した前記複数の特徴ベクトル毎に前記画像の種類の候補を識別し、
    前記複数の特徴ベクトル毎に識別された前記種類の候補に基づいて、前記ブロック領域の種類を決定し、
    決定した前記ブロック領域の種類を前記各オブジェクト領域毎に集計し、
    集計した結果を用いて前記オブジェクト領域の種類を識別する
    ことを実行させるためのオブジェクト識別プログラム。

Images