JP2004078939A - オブジェクト識別方法および装置ならびにプログラム - Google Patents

Abstract

　【課題】　画像に含まれるオブジェクトの種類を自動的に識別する。
　【解決手段】　画像Ｐをオブジェクト毎に領域分割したオブジェクト領域ＯＲと、画像Ｐを設定画素数からなる、オブジェクト領域ＯＲより小さい多数の領域に分割した複数のブロック領域ＢＲとを生成する。そして、複数の各ブロック領域ＢＲ毎にそれぞれ種類を識別して、識別したブロック領域ＢＲの種類を各オブジェクト領域ＯＲ毎に集計する。その後、集計した結果を用いてオブジェクト領域ＯＲの種類を識別する。
【選択図】　図１

Description

　本発明は、画像を構成するオブジェクトの種類を自動的に識別するオブジェクト識別方法および装置ならびにプログラムに関するものである。

　デジタルカメラ等で撮像した画像情報において、画像情報にどのような画像が撮像されているかが識別することができれば、たとえば画像に含まれるオブジェクトの種類毎に分類、検索もしくは画像処理などをすることができる。

　たとえば画像の分類・検索をする場合、画像に含まれる物理的特徴量を用いて類似度を判断する画像検索システムが提案されている。すなわち、入力画像の局所領域を抽出して、その局所領域が位置と大きさを変化させながら参照画像と照合されて、画像の分類・検索を行う手法がある。また上記手法において、局所領域の色ヒストグラムを利用してヒストグラムを参照画像の色ヒストグラムと照合することにより物体の位置を検出して、画像の分類・検索を効率よく行う手法がある（たとえば非特許文献１参照）。しかし、上述したいずれの方法においても、画像の物理的特徴量で類似度を識別しているため、種類的には似ていないものが物理量の類似性により似ていると判断されてしまう場合があり、検索の精度が悪いという問題がある。

　また、画像処理を行う場合、高画質化処理の一例として特定色領域を識別して異なる処理をする方法が知られている（たとえば特許文献１参照）。これは、雑音成分が目立ちやすい領域を色で識別して、雑音除去を行うものである。しかし、色のみに基づいて識別しているため、たとえば肌と砂等を混同してしまう場合がある。そして、砂の領域を肌の領域と誤って認識して、砂の領域に雑音除去を行ってしまうと、テクスチャが失われて不自然な画像になるおそれがある。
特公平５−６２８７９号公報 電子情報通信学会誌、ｖｏｌ．ｊ８１−ＤII，ｎｏ．９，ｐｐ．２０３５−２０４２，１９９８

　上述のように、画像から直接得られる情報に基づいて画像の分類、検索もしくは画像処理を行う場合、ユーザーに適切な情報を提供することができない。これを解決する手法の１つとして、オブジェクトの種類を識別した上で、画像の分類、検索もしくは画像処理を行うことが考えられる。すると、画像の分類・検索においては、識別した種類に応じて分類・検索を行うことができるため、画像の分類・検索を容易に精度よく行うことができる。また、画像処理をする場合においても、そのオブジェクトにあった画像処理条件を用いて画像処理を行うことができる。

　上述した画像に含まれるオブジェクトの種類の識別は、画像に含まれるオブジェクト領域を抽出して、各オブジェクト領域毎に種類を識別する必要がある。このとき、たとえばユーザーが画面を見ながら画像内のオブジェクト領域を抽出して、各オブジェクト毎に種類を入力することも考えられる。しかし、ユーザーによるオブジェクト領域の種類の付与は作業の手間がかかるという問題がある。

　そこで、本発明は、画像に含まれるオブジェクトの種類を自動的に識別することができるオブジェクト識別方法および装置ならびにプログラムを提供することを目的とする。

　本発明のオブジェクト識別方法は、画像に含まれるオブジェクトの種類を識別するオブジェクト識別方法において、前記画像を前記オブジェクト毎に領域分割したオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割した複数のブロック領域とを生成するステップと、生成した複数の前記各ブロック領域毎にそれぞれ種類を識別するステップと、識別した前記ブロック領域の種類を前記各オブジェクト領域毎に集計するステップと、集計した結果を用いて前記オブジェクト領域の種類を識別するステップとを有することを特徴とする。

　本発明のオブジェクト識別装置は、画像に含まれるオブジェクトの種類を識別するオブジェクト識別装置において、前記画像を前記オブジェクト毎に領域分割して複数のオブジェクト領域を生成するオブジェクト領域生成手段と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割して複数のブロック領域を生成するブロック領域生成手段と、生成された複数の前記ブロック領域毎にそれぞれ種類を識別するブロック領域識別手段と、前記各ブロック領域毎に識別された前記ブロック領域の種類を前記オブジェクト領域毎に集計し、集計した結果を用いて前記オブジェクトの種類を識別するオブジェクト識別手段とを有することを特徴とする。

　本発明のオブジェクト識別プログラムは、コンピュータに、画像をオブジェクト毎に領域分割したオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割した複数のブロック領域とを生成する手順と、生成した複数の前記各ブロック領域毎にそれぞれ種類を識別する手順と、識別した前記ブロック領域の種類を前記各オブジェクト領域毎に集計する手順と、集計した結果を用いて前記オブジェクト領域の種類を識別する手順とを実行させることを特徴とするものである。

　ここで、「オブジェクト」はたとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、「オブジェクト領域」は被写体が画像内に占める領域を意味する。

　「オブジェクトの種類を識別する」とは、画像内のオブジェクトについてたとえば「山」、「海」、「花」、「空」等の種類であることを特定することを意味し、さらにオブジェクトの種類がわからない場合に「不明」であることを特定することも含む。

　また、「ブロック領域識別手段」は、ブロック領域毎に種類を識別するものであればよく、ブロック領域から複数のブロック特徴量を抽出する特徴量抽出手段と、抽出された複数の前記ブロック特徴量を２次元空間上に写像する写像手段と、２次元空間上の座標毎に種類を定義した種類頻度分布マップを有し、写像された２次元空間上の座標が種類頻度分布マップ上で示す種類をブロック領域の種類として出力する種類出力手段とを有するようにしてもよい。

　「２次元空間」は、学習機能を有する複数のニューロンをマトリックス状に配置した自己組織化マップであってもよい。

　また、「種類出力手段」は、識別したブロック領域の種類に関する情報を出力するものであればよく、識別した１つの種類を出力するものでもよいし、自己組織化マップの座標毎に種類の頻度値を種類の指標として定めた種類頻度分布マップを種類毎に有し、写像手段により検出された座標が各種類頻度分布マップ上で示す複数の頻度値をベクトル成分とした種類ベクトルを出力するものであってもよい。

　なお、「種類出力手段」は、種類ベクトルのベクトル成分のうち、最も大きい最大ベクトル成分となる種類を出力するものであってもよい。

　また、「種類出力手段」は、種類ベクトルのうちベクトル成分の大きさが最大となる最大ベクトル成分が所定の最大成分しきい値よりも小さいときには、種類が不明である旨の出力を行うようにしてもよい。

　さらに、「特徴量抽出手段」は、画像の特徴を示す複数の特徴量を抽出するものであればよく、ブロック領域の色成分と明度成分と像的特徴成分をブロック特徴量として抽出するものであってもよいし、たとえば画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段の他に、画像のエッジの特徴を示すエッジ特徴量を抽出するエッジ特徴量抽出手段や画像の色の特徴を示す色特徴量を抽出する色特徴量抽出手段を含むものであってもよい。

　なお、「相関特徴量抽出手段」は、たとえば画像の縦方向に沿った相関特徴量、画像の横方向に沿った相関特徴量、もしくは画像の斜め方向に沿った相関特徴量を抽出する等の画像の少なくとも１方向の相関特徴量を抽出するものであればよい。

　さらに、「相関特徴量抽出手段」は、画像において同一方向に形成された２つの画素ラインを構成する複数の画素の成分信号値から、２つの画素ラインの相関関係を示す相関値を出力する所定の相互相関関数を有し、２つの画素ラインのいずれか一方を１画素ずつ画素ラインの形成方向にずらしながら画素の成分信号値を相互相関関数に入力することにより複数の相関値を取得し、取得した複数の相関値から最も大きい最大相関値を算出するものであり、画像の同一方向に形成された画素ラインのすべての組み合わせについて最大相関値を算出し、算出されたすべての最大相関値の平均値および標準偏差を相関特徴量として抽出するものであってもよい。

　また、「ブロック領域生成手段」は、たとえば前記画像をメッシュ状に区切った複数の第１ブロック領域と、複数の第１ブロック領域とメッシュ状に区切る位相をずらした第２ブロック領域とを生成するものや、オブジェクト領域内に設定画素数からなる切取枠を走査させて、切取枠により囲まれた画像を前記ブロック領域として生成するもののような、設定画素数からなるブロック領域を生成するものであればよい。

　さらに、「ブロック領域生成手段」は、画像から解像度の異なる複数の解像度変換画像を生成する機能を有し、生成した複数の解像度変換画像からそれぞれブロック領域を生成するものであってもよい。

　本発明のオブジェクト識別装置は、画像に含まれるオブジェクトの種類を識別するオブジェクト識別装置において、前記画像を前記オブジェクト毎に領域分割して複数のオブジェクト領域を生成するオブジェクト領域生成手段と、該オブジェクト領域生成手段により生成された前記オブジェクト領域から複数のオブジェクト特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段により抽出されたオブジェクト特徴量を用いて、前記オブジェクト領域の種類を識別するオブジェクト識別手段とを有することを特徴とするものである。

　さらに、オブジェクト識別装置は、オブジェクト領域の外接矩形画像を規格化した規格化オブジェクト領域を生成する規格化手段を備えるものであってもよい。

　なお、「特徴量抽出手段」は、規格化オブジェクト領域から特徴量を抽出する機能を有するものであってもよい。

　本発明のオブジェクト識別方法および装置ならびにプログラムによれば、オブジェクト領域の種類の識別にブロック領域を使用することにより、各画素毎に種類を識別する場合に比べて、像構造的特徴をオブジェクト領域の種類の判断に加えることができるため、オブジェクトの種類を正確に識別することができる。

　また、各ブロック領域毎にそれぞれ種類を識別し、ブロック領域の種類を各オブジェクト領域毎に集計してオブジェクト領域の種類を識別することにより、オブジェクト領域の一部のブロック領域に本来の種類に識別されなかったものがあったとしても、その誤った認識を吸収してオブジェクトの種類を正確かつ自動的に識別することができる。

　なお、ブロック領域識別手段が、ブロック領域から複数のブロック特徴量を抽出する特徴量抽出手段と、抽出された複数の特徴量を２次元空間上に写像する写像手段と、２次元空間上の位置毎に種類を定義した種類頻度分布マップを有し、種類頻度分布マップを用いて複数の特徴量が写像された２次元空間上の位置からブロック領域の種類を出力する種類出力手段とを有する構成にすれば、ブロック領域の種類の識別を精度よく、かつ効率的に行うことができる。

　また、特徴量抽出手段が、ブロック領域の色成分と明度成分と像的特徴成分をブロック特徴量として抽出するようにすれば、ブロック領域の種類の識別をより正確に行うことができる。

　さらに、種類出力手段が、自己組織化マップの座標毎に種類の頻度値を種類の指標として定めた種類頻度分布マップを種類毎に有し、種類出力手段が、写像手段により検出された座標が各種類頻度分布マップ上で示す複数の頻度値をベクトル成分とした種類ベクトルを出力するようにすれば、識別された１つの種類を出力するのではなく、ブロック領域の種類として可能性のある複数の種類の中からブロック領域の種類を識別できるようになるため、種類の識別精度を向上させることができる。

　また、種類出力手段が、種類ベクトルの成分のうち、最も大きい最大ベクトル成分となる種類をブロック領域の種類であると識別すれば、複数の種類の中から確率の高い種類をブロック領域の種類することができるため、識別精度を向上させることができる。

　さらに、種類出力手段が、最大ベクトル成分が所定の最大成分しきい値よりも小さいときには、画像の種類は不明である旨の出力を行うと、最大成分が低い種類の識別の信頼度が低いものは、種類の識別を行わずに不明とすることができるため、種類識別の信頼性を高めることができる。

　さらに、ブロック領域生成手段が、画像をメッシュ状に区切った複数の第１ブロック領域と、複数の第１ブロック領域とメッシュ状に区切る位相をずらした第２ブロック領域とを生成するようにすれば、オブジェクト領域の種類を識別するのに用いられるブロック領域の数を増やすことができるため、ブロック領域の種類の識別からオブジェクト領域の種類の識別を行う際の精度を向上させることができる。

　また、ブロック領域生成手段が、オブジェクト領域内に設定画素数からなる切取枠を走査させて、切取枠により囲まれた画像をブロック領域として生成するようにすると、オブジェクト領域の種類を識別するのに用いられるブロック領域の数を増やすことができるため、ブロック領域の種類の識別からオブジェクト領域の種類の識別を行う際の精度を向上させることができる。

　さらに、ブロック領域生成手段が、画像から解像度の異なる複数の解像度変換画像を生成する機能を有し、生成した複数の解像度変換画像からそれぞれブロック領域を生成するようにすれば、被写体との距離によりオブジェクトの写り方が画像によって違う場合であっても、精度よくオブジェクトの種類を識別することができる。

　また、特徴量抽出手段が、画像の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段を含む構成にすれば、相関特徴量により人工物に多く見られる規則的なパターンを有する画像と、自然物に多く見られるランダムなパターンを有する画像とを区別する指標となる特徴量を抽出することができるため、適切な種類の識別を行うことができる。

　さらに、相関特徴量抽出手段が、画像の縦方向に沿った相関特徴量と、画像の横方向に沿った相関特徴量とを抽出するようにすれば、縦方向および横方向に向かって規則的なパターンが形成されたものと、縦方向もしくは横方向のいずれか一方に向かって規則的なパターンが形成されたものとを区別することができる。

　また、相関特徴量抽出手段が、２つの画素ラインのいずれか一方を１画素ずつ画素ラインの形成方向にずらしながら画素の成分信号値を所定の相互相関関数に入力することにより算出される複数の相関値のうち最も大きい最大相関値を用いて相関特徴量を算出するようにすれば、画像の縦方向もしくは横方向に向かって形成された規則的なパターンのみならず、画像の斜め方向に向かって形成されている規則的なパターンについても相関特徴量として抽出することができるため、画像の縦方向、横方向および斜め方向に向かって形成される規則的なパターンを相関特徴量として抽出することができる。

　さらに、エッジ特徴量抽出手段が、画像の縦方向および横方向のエッジ成分の平均値および標準偏差をそれぞれ算出するようにすれば、たとえば「水（波）」のように縦方向と横方向によってエッジが異なるものと、「植物（花畑等）」の縦方向と横方向とで比較的均質なエッジのものとがエッジ特徴量によって区別することができる。

　また、本発明のオブジェクト識別装置によれば、オブジェクト領域生成手段により生成されたオブジェクト領域から複数のオブジェクト特徴量を抽出し、オブジェクト特徴量を用いて、前記オブジェクト領域の種類を識別することにより、オブジェクト領域の形状が複雑な場合やオブジェクト領域が小さいときであっても、確実にオブジェクトの種類の識別を行うことができる。

　なお、オブジェクト領域の外接矩形画像を規格化した規格化オブジェクト領域を生成する規格化手段をさらに備え、特徴量抽出手段が、規格化手段により生成された規格化オブジェクト領域から特徴量を抽出するようにすれば、被写体との距離により、画像内での大きさの異なるオブジェクト領域について同一の大きさに規格化された規格化オブジェクト領域から特徴量が抽出させることになるため、自己組織化マップによる種類の識別の精度を向上させることができる。

　以下、本発明のオブジェクト識別装置について図面を参照しながら説明していく。図１は本発明のオブジェクト識別装置の第１の実施の形態を示すブロック図である。図１のオブジェクト識別装置１は全体画像Ｐに含まれる各オブジェクト毎の種類を識別するものであって、ブロック領域生成手段１０、オブジェクト領域生成手段２０、ブロック領域識別手段３０、オブジェクト識別手段７０等を有する。

　図１のブロック領域生成手段１０は、図２（ａ）に示すように、全体画像Ｐを設定画素数毎に分割したブロック領域ＢＲを生成する機能を有する。そして、ブロック領域生成手段１０は生成したブロック領域ＢＲをブロック領域識別手段３０に送る。たとえば設定画素数が３２画素×３２画素である場合、全体画像Ｐが３２×３２画素からなる複数のブロック領域ＢＲに分割されることになる。

　オブジェクト領域生成手段２０は、図２（ｂ）に示すように、全体画像Ｐを各オブジェクト毎に領域分割してオブジェクト領域ＯＲを生成する機能を有する。そしてオブジェクト領域生成手段２０は生成した各オブジェクト領域ＯＲをオブジェクト識別手段７０に送る。

　ブロック領域識別手段３０は生成された各ブロック領域ＢＲ毎に種類を識別する機能を有する。すなわち、ブロック領域識別手段３０は、画像内のオブジェクトが「山」、「海」、「花」、「空」等の種類であることを特定するようになっている。ブロック領域識別手段３０は識別した種類をオブジェクト識別手段７０に送るようになっている。

　オブジェクト識別手段７０は、送られたブロック領域ＢＲ毎の種類を用いて、分割されたオブジェクト領域ＯＲ毎に種類情報を付与して、オブジェクト領域ＯＲの種類を識別可能にする機能を有する。具体的には、オブジェクト識別手段７０は、オブジェクト領域ＯＲ内の各ブロック領域ＢＲの種類を集計する。そして、オブジェクト識別手段７０は、あるオブジェクト領域ＯＲにおいて集計されたブロック領域ＢＲの種類のうち、最も多いブロック領域ＢＲの最大種類情報をオブジェクトの種類と識別する。なお、オブジェクト識別手段７０は、複数のオブジェクト領域ＯＲにまたがっているブロック領域ＢＲは、カウントしないようになっている。すると、図２（ｃ）に示すように、各オブジェクト領域ＯＲに種類が付された状態になり、オブジェクト領域ＯＲが種類情報によって識別可能となる。

　なお、図１のオブジェクト識別手段７０において、オブジェクトの種類を多数決により決定するようにしているが、集計された種類情報のうち最も多い最大種類情報の割合（最大種類ｍａｘの数／オブジェクトを構成する全ブロック領域数）が種類情報しきい値より小さい場合、オブジェクト識別手段７０がオブジェクトの種類情報として「不明」を出力する機能を有していてもよい。あるいは、最大種類情報の割合と２番目に多い種類情報の割合との差が小さい場合、オブジェクト識別手段７０がオブジェクトの種類として「不明」を出力するようにしてもよい。これは、オブジェクトの種類情報を誤って識別するよりも、「不明」と判断された方がユーザーにとって好ましい場合があるためである。

　オブジェクト領域生成手段２０は、画像を構成する各画素から複数の特徴量を抽出し、類似した画素特徴量毎に画素を分類する画像の特徴量分類手段１００と、画素の分類毎に領域分割して複数のクラスタリング領域を生成する領域分割手段１０１と、生成されたクラスタリング領域のうち最も画素数の少ない最小クラスタリング領域を抽出する最小クラスタ領域抽出手段１１２と、抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域を抽出する統合領域判断手段１１３と、生成されたクラスタリング領域を統合してオブジェクト領域を抽出する領域統合手段１１０とを有する。

　ここで、図４と図５は画像を各オブジェクト領域毎に分割する過程を示す模式図であり、図４を参照してオブジェクト領域生成手段２０の動作例について説明する。まず、図４（ａ）に示すように、類似した特徴を有する画素が並んだ画像があると仮定する。このとき、特徴量分類手段１００において、各画素から複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、図４（ｂ）に示すように、複数の特徴ベクトルが類似する特徴ベクトル毎に分類される（クラスタリング）。

　その後、領域分割手段１０１により、特徴量分類手段１００によりクラスタリングされた結果が実際の画像に写像される。すると、図５（ａ）に示すように、類似した画素からなる複数のクラスタリング領域が形成されて、ラベルを付したラベル画像としてデータベース１１１に記憶される。

　次に、領域統合の一例について説明する。まず、最小クラスタ領域抽出手段１１２により、データベースに記憶されたクラスタリング領域の中から最も小さい最小クラスタリング領域が抽出される。また、統合領域判断手段１１３において抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域が抽出する。

　ここで、最小クラスタリング領域が所定の微小画素しきい値以下の画素数（たとえば全画素数の１／１００）の場合、領域統合手段１１０において、最小クラスタリング領域が境界画素数（周囲長）の最も多い隣接クラスタリング領域と統合される。具体的には、図５（ａ）のクラスタリング領域Ａが所定の微小画素しきい値以下の画素数を有する最小クラスタリング領域であるとする。クラスタリング領域Ａは、クラスタリング領域Ｃ、Ｄと隣接しているため、クラスタリング領域Ｃ、Ｄが隣接クラスタリング領域となる。

　そこで、領域統合手段１１０において、最小クラスタリング領域Ａとクラスタリング領域Ｃ、Ｄとが接している隣接画素数がそれぞれ算出される。図５（ａ）においては隣接クラスタリング領域Ｄとの境界画素数の方が隣接クラスタリング領域Ｃとの境界画素数よりも多い。このためクラスタリング領域Ａは図５（ｂ）のようにクラスタリング領域Ｄと統合する。

　一方、最小クラスタリング領域が所定の小画素しきい値以下の画素数（たとえば全画素数の１／１０）の場合、領域統合手段１１０において、最小クラスタリング領域が特徴空間での距離が近い隣接クラスタリング領域と統合される。具体的には、図５（ｂ）において、クラスタリング領域Ｂが所定の小画素しきい値以下の最小クラスタリング領域であるとする。すると、クラスタリング領域Ｂの隣接クラスタリング領域はクラスタリング領域Ｃ、Ｄである。そこで、たとえばテクスチャ情報を距離を基準とした場合、どちらのクラスタリング領域Ｃ、Ｄのテクスチャがクラスタリング領域Ｂのテクスチャに近いかが判断される。そして、図５（ｃ）のように、クラスタリング領域Ｂが特徴空間での最も近い距離であるクラスタリング領域Ｄと統合される。

　領域統合手段１１０において、上述した作業がたとえば最小クラスタ領域抽出手段１１２により抽出される最小クラスタリング領域が所定の小画素しきい値よりも大きい画素数になるまで行われて、画像が各オブジェクト領域ＯＲ毎に領域分割される（図２（ｃ）参照）。

　次に、図１を参照してブロック領域識別手段３０について説明する。ブロック領域識別手段３０は、特徴量抽出手段４０、写像手段５０、種類出力手段６０等を有する。特徴量抽出手段４０は、ブロック領域ＢＲから複数のブロック特徴量を抽出する機能を有する。写像手段５０は、たとえば自己組織化マップからなる２次元空間ＳＯＭを有し、複数のブロック特徴量（多次元特徴量）を二次元空間ＳＯＭ上に写像するものである。種類出力手段６０は、２次元空間ＳＯＭ上の位置毎に種類を定義した種類頻度分布マップＫＤＭを有する。そして、種類出力手段６０は写像手段５０により写像された２次元空間ＳＯＭ上の座標ＣＩから種類頻度分布マップＫＤＭを用いてブロック領域ＢＲの種類を出力するものである。以下にブロック領域識別手段３０の各構成について具体的に説明していく。

　図６は特徴量抽出手段４０の一例を示すブロック図であり、図６を参照して特徴量抽出手段４０について説明する。特徴量抽出手段４０は、色成分、明度成分および像的特徴成分からなる１５個のブロック特徴量ＢＣＱを出力するものであって、Ｌａｂ変換手段４１、第１平均値算出手段４２、第１ウェーブレット変換手段４３、距離画像生成手段４６、第２ウェーブレット変換手段４７等を有する。

　Ｌａｂ変換手段４１は、ＲＧＢ画像からなるブロック領域ＢＲをＬａｂ画像に変換する機能を有する。平均値算出手段４２は、Ｌａｂ変換されたブロック領域ＢＲのＬ成分、ａ成分およびｂ成分の平均値Ｌ−ａｖｅ、ａ−ａｖｅ、ｂ−ａｖｅをそれぞれ算出する機能を有する。そして、算出された平均値Ｌ−ａｖｅ、ａ−ａｖｅ、ｂ−ａｖｅが色成分を抽出したブロック特徴量ＢＣＱとなる。

　第１ウェーブレット変換手段４３は、Ｌａｂ変換されたブロック領域ＢＲをウェーブレット変換して明度成分の高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨを算出するものである。また第１ウェーブレット変換手段４３に平均値算出手段４４と最大値算出手段４５とが接続されている。

　平均値算出手段４４は、第１ウェーブレット変換手段４３により算出された高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨの平均値Ｌ−ＬＨ−ａｖｅ、Ｌ−ＨＬ−ａｖｅ、Ｌ−ＨＨ−ａｖｅを算出するものである。そして、算出された平均値Ｌ−ＬＨ−ａｖｅ、Ｌ−ＨＬ−ａｖｅ、Ｌ−ＨＨ−ａｖｅが明度成分を抽出したブロック特徴量ＢＣＱとなる。

　また、最大値算出手段４５は、第１ウェーブレット変換手段４３により算出された高周波成分Ｌ−ＬＨ、Ｌ−ＨＬ、Ｌ−ＨＨの頻度分布において大きい方から５％の値を算出するものである。この最大値Ｌ−ＬＨ−ｍａｘ、Ｌ−ＨＬ−ｍａｘ、Ｌ−ＨＨ−ｍａｘが明度成分を抽出したブロック特徴量ＢＣＱとなる。

　このように、Ｌ成分のブロック特徴量ＢＣＱとして平均値と最大値とを利用することにより、平均的に一定強度の高周波成分が分布してブロック領域ＢＲと、一部に強い高周波成分があるブロック領域ＢＲとを区別することができるようになり、ブロック領域ＢＲの種類の識別を正確に行うことができるようになる。

　距離画像生成手段４６は、Ｌａｂ変換手段４１によりＬａｂ変換されたブロック領域ＢＲから距離画像Ｄを生成する機能を有する。ここで、距離画像Ｄは、一般的な距離画像とは異なり、図７に示すように、Ｌａｂ変換した３変数のブロック領域ＢＲと、ウェーブレット変換した際に生成したブロック領域ＢＲの低周波成分からなるボケ画像とのユークリッド距離を画像化したものである。すなわち、Ｌａｂ空間における３次元距離画像は、均等色空間における信号変動の様子を１枚の画像にしたものであり、人が知覚する変動を表現したものとして説明することができる。３次元空間での変動を扱うことにより、明度画像から得られない像構造的特徴を引き出すことができるため、種類の識別をより正確に行うことができる。

　つまり、各画素毎に抽出した画素特徴量に基づいて種類を識別した場合、像構造による種類の識別を行うことができないため、たとえば「空」と「海」のように像構造は異なるが明度や色が類似した種類の識別を精度よく行うことができない。一方、ブロック領域ＢＲ毎に距離画像Ｄを生成した像構造により種類の抽出を行うことにより、種類の識別をより正確に行うことができる。

　第２ウェーブレット変換手段４７は生成された距離画像Ｄをウェーブレット変換して、その高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨを出力する機能を有する。第２ウェーブレット変換手段４７に平均値算出手段４８と最大値算出手段４９とが接続されている。

　平均値算出手段４８は、第２ウェーブレット変換手段４７により算出された高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨの平均値Ｄ−ＬＨ−ａｖｅ、Ｄ−ＨＬ−ａｖｅ、Ｄ−ＨＨ−ａｖｅを算出するものである。そして、算出された平均値Ｄ−ＬＨ−ａｖｅ、Ｄ−ＨＬ−ａｖｅ、Ｄ−ＨＨ−ａｖｅが像的特徴成分を抽出したブロック特徴量ＢＣＱとなる。

　また、最大値算出手段４９は、第１ウェーブレット変換手段４３により算出された高周波成分Ｄ−ＬＨ、Ｄ−ＨＬ、Ｄ−ＨＨの頻度分布において大きい方から５％の値を算出するものである。この最大値Ｄ−ＬＨ−ｍａｘ、Ｄ−ＨＬ−ｍａｘ、Ｄ−ＨＨ−ｍａｘが像的特徴成分を抽出したブロック特徴量ＢＣＱとなる。

　このように、Ｄ（距離）成分のブロック特徴量ＢＣＱとして平均値と最大値とを利用することにより、平均的に一定強度の高周波成分が分布してブロック領域ＢＲと、一部に強い高周波成分があるブロック領域ＢＲとを区別することができるようになり、ブロック領域ＢＲの種類の判別を正確に行うことができるようになる。

　次に、図８は写像手段５０および種類出力手段６０の一例を示す模式図であり、図１と図８を参照して写像手段５０および種類出力手段６０について説明する。この写像手段５０および種類出力手段６０には自己組織化マップを用いた修正対向伝搬ネットワーク（参考文献：徳高、岸田、藤村「自己組織化マップの応用−多次元情報の２次元可視化」海文堂、１９９９）が用いられている。

　写像手段５０は、複数のニューロンＮをマトリックス状に配置した自己組織化マップからなる２次元空間ＳＯＭを有し、複数の特徴量（多次元特徴量）を２次元空間ＳＯＭ上に写像する機能を有する。各ニューロンＮはそれぞれブロック特徴量ＢＣＱと同一次元のベクトル座標を有する。本実施の形態においてはブロック特徴量ＢＣＱは１５個のブロック特徴量ＢＣＱからなっているため、各ニューロンは１５次元の結合荷重ベクトルからなっていることになる。

　そして、写像手段５０は、１つのブロック領域ＢＲから抽出された１５個のブロック特徴量ＢＣＱを自己組織化マップＳＯＭ上のニューロンＮの中から、最も近似した（たとえば最もユークリッド距離等の近い）ニューロンＮｉ（発火要素）を選択する。これにより、複数のブロック特徴量ＢＣＱからなる多次元空間から２次元空間ＳＯＭ上に写像されたことになる。そして、写像手段５０は選択したニューロンＮｉの座標ＣＩを種類出力手段６０に送るようになっている。

　種類出力手段６０は、２次元空間ＳＯＭと同一の座標系を有する複数の種類頻度分布マップＫＤＭを有しており、写像手段５０により写像された２次元空間ＳＯＭ上の座標ＣＩから、種類頻度分布マップＫＤＭ上でその座標ＣＩの示す部位が示す種類を出力する機能を有する。この種類頻度分布マップＫＤＭは、図９に示すように、各種類毎に２次元空間上に様々な種類の分布が形成されており、各種類毎にそれぞれ種類頻度分布マップＫＤＭが用意されている。たとえば、図９（ａ）は種類が「空」の種類頻度分布マップＫＤＭ、図９（ｂ）は種類が「建物」の種類頻度分布マップＫＤＭ、図９（ｃ）は種類がＫＩの「木」の種類頻度分布マップＫＤＭ、図９（ｄ）は種類が「海」の種類頻度分布マップＫＤＭをそれぞれ示している。図９において、白の範囲が０．８〜１．０の頻度値（信頼度）、グレーの範囲が０．２〜０．８の頻度値（信頼度）、黒の範囲が０．０〜０．２の頻度値（信頼度）を示している。

　なお、各種類毎に種類頻度分布マップＫＤＭが用意されている場合について例示しているが、１枚の種類頻度分布マップＫＤＭに複数の種類の分布が形成されていてもよい。

　ここで、上述した種類を識別する際（認識モード）に使用される自己組織化マップＳＯＭおよび種類頻度分布マップＫＤＭは、予め学習されたものが使用される。すなわち、２次元空間ＳＯＭおよび種類頻度分布マップＫＤＭは学習機能を有しており、予め種類が判っているブロック領域ＢＲから抽出されたブロック特徴量ＢＣＱからなる学習用入力データを用いて各ニューロンＮおよび種類頻度分布マップＫＤＭが学習される。

　具体的には、まず自己組織化マップＳＯＭの学習について説明する。自己組織化マップＳＯＭのニューロンは、初期状態においてランダムな結合荷重ベクトルを有している。そして、予め種類のわかっている学習用入力データが写像手段５０に入力される。すると、写像手段５０により学習用入力データと最も近似したニューロンＮｉ（発火要素）が選択される。同時に、選択されたニューロンＮｉ（発火要素）を取り囲むたとえば３×３個のニューロンが選択される。そして、ニューロンＮｉ（発火要素）およびその近傍にあるニューロンＮの結合荷重ベクトルが学習用入力データに近づく方向に更新されて、自己組織化マップＳＯＭのニューロンＮが学習される。

　この作業が複数の学習用入力データを用いて行われる。さらに、この学習用入力データが複数回繰り返し自己組織化マップＳＯＭに入力される。ここで、複数の学習用入力データの入力が繰り返されるに連れて、結合荷重ベクトルが更新されるニューロンＮの近傍領域の範囲が狭くなっていき、最後には選択されたニューロンＮｉ（発火要素）のみの結合荷重ベクトルが更新される。

　次に、種類頻度分布マップＫＤＭの学習について説明する。種類頻度分布マップＫＤＭにおいてすべての座標の初期値は０になっている。上述したように、自己組織化マップＳＯＭに学習用入力データが写像された際に、自己組織化マップＳＯＭ上の座標ＣＩが出力される。すると、学習用入力データの種類に対応する種類頻度分布マップＫＤＭ内の座標ＣＩに当たる部位およびそれを取り囲む領域（たとえば３×３個）に正の整数値（たとえば「１」）が加算される。

　そして、学習用入力データが入力されて行くにつれて、種類頻度分布マップＫＤＭ上の特定の領域ついて学習用入力データの入力により数値が加算されて大きくなっていく。つまり、同じ種類のブロック領域ＢＲであれば、ブロック特徴量ＢＣＱが類似していることになる。ブロック特徴量ＢＣＱが類似していれば、自己組織化マップＳＯＭ上の近くの座標に写像されることが多くなるため、種類頻度分布マップＫＤＭにおいても特定の座標の数値が大きくなっていく。

　最後に、種類頻度分布マップＫＤＭの各座標にある数値を全入力学習データ数×学習回数で割ると、各座標に０．０から１．０までの確率が入力された種類頻度分布マップＫＤＭが生成される。この確率が大きければ大きいほど、その種類である確率が大きくなることを意味する。図９の種類頻度分布マップＫＤＭにおいては、白の範囲が０．８〜１．０の信頼度（確率）、グレーの範囲が０．２〜０．８の信頼度（確率）、黒の範囲が０．０〜０．２の信頼度（確率）を示している。このように種類頻度分布マップＫＤＭがたとえば「空」、「建物」、「木」、「海」等の種類毎にそれぞれ形成されていく。

　そして、実際のブロック領域ＢＲについて種類の識別をする際（認識モード）では、種類出力手段６０は、複数の種類頻度分布マップＫＤＭからそれぞれ座標ＣＩの部位が有する信頼度を抽出する。具体的には、写像手段５０から座標ＣＩが送られてきた場合、たとえば「空」、「建物」、「木」、「海」等のそれぞれの種類頻度分布マップＫＤＭ上の座標ＣＩに該当する部位の信頼度を抽出する。そして、種類出力手段６０は、各種類頻度分布マップＫＤＭから得られた確率をベクトル成分とする種類ベクトルを生成する。この場合、空の信頼度、建物の信頼度、木の信頼度および海の信頼度をベクトル成分とする種類ベクトルが生成される。その後、種類出力手段６０は最も大きい確率を有する種類をブロック領域ＢＲの種類情報であると識別して、種類をオブジェクト識別手段７０に送る。

　なお、種類出力手段６０において、上述した種類ベクトルを構成するベクトル成分が、所定のベクトル成分しきい値より小さい場合、ブロック領域ＢＲの種類の識別の確信度が低いと判断して、「不明」とした種類をオブジェクト識別手段７０に送るようにしてもよい。もしくは最も大きいベクトル成分と２番目に大きいベクトル成分との差が小さい場合にも同様に、ブロック領域ＢＲの種類の識別の確信度が低いと判断して、種類を「不明」としてオブジェクト識別手段７０に送るようにしてもよい。これにより、種類の識別について信頼性の低いブロック領域ＢＲについてはオブジェクト領域ＯＲの種類の識別に与える影響を少なくすることができるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。

　さらに、写像手段５０が送られた複数のブロック特徴量ＢＣＱを自己組織化マップＳＯＭに写像する際に、最も近似したニューロンＮｉ（発火要素）と複数のブロック特徴量ＢＣＱとの距離（たとえばユークリッド距離等）が所定の距離しきい値より大きい場合、写像手段５０は種類出力手段６０に対してマッチング処理を行わない旨の情報を送るようにしてもよい。その場合、種類出力手段６０においても、種類を「不明」とする種類をオブジェクト識別手段７０に送るようにしてもよい。この場合であっても、種類の識別について信頼性の低いブロック領域ＢＲについてはオブジェクト領域ＯＲの種類の識別に与える影響を少なくすることができるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。

　図１０は本発明のオブジェクト識別方法の好ましい実施の形態を示すフローチャートであり、図１から図１０を参照してオブジェクト識別方法について説明する。まず、オブジェクト領域生成手段２０により入力された画像をオブジェクト毎に領域分割したオブジェクト領域ＯＲが生成される。一方では、ブロック領域生成手段１０により入力された画像を設定画素数（たとえば３２×３２画素）からなる、オブジェクト領域ＯＲより小さい複数のブロック領域ＢＲが生成される。（ステップＳＴ１）。

　次に、特徴量抽出手段４０により、ブロック領域ＢＲから１５個の特徴量ＢＣＱが抽出される（ステップＳＴ２）。その後、抽出した特徴量ＢＣＱが写像手段５０により自己組織化マップＳＯＭに写像されて、自己組織化マップＳＯＭの座標ＣＩが種類出力手段６０に送られる（ステップＳＴ３）。種類出力手段６０において、種類頻度分布マップＫＤＭにおいて座標ＣＩが示す種類を抽出して、オブジェクト識別手段７０に送る（ステップＳＴ４）。この作業がすべてのブロック領域ＢＲについて行われる（ステップＳＴ５）。

　その後、オブジェクト識別手段７０において、各オブジェクト領域ＯＲ毎に付与された種類を集計する（ステップＳＴ６）。そして、最も多い種類がそのオブジェクト領域ＯＲの種類として出力される（ステップＳＴ７）。

　上記実施の形態によれば、各ブロック領域ＢＲ毎にそれぞれ種類を識別し、ブロック領域ＢＲの種類を各オブジェクト領域ＯＲ毎に集計してオブジェクト領域ＯＲの種類を識別することにより、正確にオブジェクトの種類を自動的に識別することができる。すなわち、ブロック領域識別手段３０において、各ブロック領域ＢＲについて本来のオブジェクトの種類とは異なる種類であると識別される場合がある。たとえば、オブジェクトが「海」である場合、海のオブジェクト領域ＯＲ内のブロック領域ＢＲに「空」と判断されるものが存在することがある。このとき、オブジェクト領域ＯＲの種類は集計された種類のうち最も多い種類が付与されるようになっているため、一部にオブジェクトの真の種類情報と異なる種類情報が付されたブロック領域ＢＲが存在した場合であっても、本当のオブジェクトとは異なる種類がオブジェクトに付されるのを防止することができる。よって、自動的にかつ正確にオブジェクトの種類を識別することができる。

　一方、上述したように、ブロック領域ＢＲの色成分、明度成分および像的特徴成分をブロック特徴量ＢＣＱとして抽出して、ブロック特徴量ＢＣＱを修正対向伝搬ネットワークに入力することにより、ブロック領域ＢＲ毎の種類を識別することができるようになる。つまり、画素毎に画素特徴量を抽出して種類を識別しようとした場合、種類の識別を正確に行うことができない。これは、画像から得られる画素特徴量には距離情報（像情報）が含まれておらず、明度情報もしくは色情報しか抽出することができない。よって、たとえば「海」と「空」は同一の色の場合もあるため、「海」のオブジェクトが「空」のオブジェクトと判断されてしまう場合がある。

　一方、ブロック領域ＢＲ毎にブロック特徴量ＢＣＱを抽出して種類を識別するようにしているため、「海」と「空」等の色情報や明度情報が類似しているオブジェクトであっても識別することができるようになり、正確に種類の識別をすることができる。

　図１１は本発明のオブジェクト識別装置の第２の実施の形態を示すブロック図であり、図１１を参照してオブジェクト識別装置２００について説明する。なお、図のオブジェクト識別装置２００において、図１のオブジェクト識別装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。

　図１１のオブジェクト識別装置２００が図１のオブジェクト識別装置１と異なる点は、オブジェクト領域ＯＲを抽出した後、そのオブジェクト領域ＯＲをブロック領域ＢＲに分割する点である。

　すなわち、図１１のオブジェクト識別装置２００は、ブロック領域生成手段１０、オブジェクト領域生成手段２０、ブロック領域識別手段３０、オブジェクト識別手段７０等を有する。そして、オブジェクト領域生成手段２０により、画像をオブジェクト領域ＯＲ毎に領域した後、ブロック領域生成手段１０により、オブジェクト領域ＯＲを各ブロック領域ＢＲ毎に分割する。そして、ブロック領域識別手段３０により、各ブロック領域ＢＲ毎に種類を識別した後、オブジェクト識別手段７０において、オブジェクト領域ＯＲ内のブロック領域ＢＲを集計してオブジェクト領域ＯＲの種類を識別する。このオブジェクト識別装置２００であっても、図１のオブジェクト識別装置１と同様の効果を得ることができる。

　なお、上記各実施の形態において、図８の写像手段５０においては１つの自己組織化マップＳＯＭを有するものであるが、図１２に示すように、２つの自己組織化マップを有するようにしてもよい。具体的には、写像手段１５０は第１自己組織化マップＳＯＭ１と第２自己組織化マップＳＯＭ２を備え、第１自己組織化マップＳＯＭ１へ複数のブロック特徴量ＢＣＱを写像するための第１写像手段１５１と、第１写像手段１５１により各ブロック領域ＢＲ毎に取得された第１自己組織化マップＳＯＭ１における第１座標ＣＩ１を取得して、複数の第１座標ＣＩ１を第２自己組織化マップＳＯＭ２に写像する第２写像手段１５２とを備えている。

　ここで、第１写像手段１５１および第１自己組織化マップＳＯＭ１は、図の写像手段５０および自己組織化マップＳＯＭと同一の構造を有している。一方、第２写像手段１５１は、たとえば互いに隣接する３×３個のブロック領域等の空間的に特定の位置関係にある複数のブロック領域ＢＲについて、第１写像手段１５１から出力された複数の第１座標ＣＩ１を第２自己組織化マップＳＯＭ２に写像するようになっている。これにより、ブロック領域ＢＲによる種類の識別をする際に、複数のブロック領域ＢＲからなる大域的な特徴（構造的な特徴）を利用した種類の識別を行うことができるため、ブロック領域ＢＲの種類の識別の精度を向上させることができる。さらに、上述した２段階の自己組織化マップＳＯＭ１、ＳＯＭ２だけでなく更に多段にすることにより、より大域的構造から種類を識別することができるようになる。

　また、上記各実施の形態において、ブロック領域生成手段１０は以下に示すような機能を有していてもよい。すなわち、ブロック領域生成手段１０は、図１３（ａ）に示すように、画像をメッシュ状に区切った複数の第１ブロック領域ＢＲ１と、図１３（ｂ）に示すように、複数の第１ブロック領域ＢＲ１とメッシュ状に区切る位相をずらした第２ブロック領域ＢＲ２とを生成するようになっている。つまり、ブロック領域生成手段１０はたとえば３２画素×３２画素からなる設定画素数のブロック領域をメッシュ状に機械的に区切って第１ブロック領域ＢＲ１を生成する（図１３（ａ）参照）他に、さらに、図１３（ｂ）に示すような横方向および横方向に対して半ブロック分（１６画素分）ずらしたメッシュ状の第２ブロック領域ＢＲ２を生成する。そして、生成された第１ブロック領域ＢＲ１および第２ブロック領域ＢＲ２を用いて種類の識別が行われることとなる。なお、この場合であっても、オブジェクト領域ＯＲの境界を含むブロック領域ＢＲ１、ＢＲ２は種類の識別に用いられないようになっている。

　このように、オブジェクト領域ＯＲの種類の識別に用いられるブロック領域ＢＲの数を増やすことにより、識別の精度を向上させることができる。すなわち、上述したように、オブジェクト領域ＯＲの境界を含むブロック領域ＢＲは、複数の領域の特徴が混在しているとともに境界のエッジも含まれることによる識別精度の低下を防止するために、オブジェクト領域ＯＲの種類の集計に含まれていない。したがって、オブジェクト領域ＯＲが小さい場合には生成されるブロック領域ＢＲの数は少なくなり、複雑な形状のオブジェクト領域ＯＲの場合には、他のオブジェクト領域ＯＲとの境界が多くなるため、識別に用いられるブロック領域ＢＲの数は少なくなる。このため、識別された種類は精度が低くなってしまい、特に、少し複雑な画像になると識別ができず多くのオブジェクト領域ＯＲが不明であると判断されてしまう。

　このとき、図１３（ａ）、（ｂ）に示すようなそれぞれ位相のずれたブロック領域ＢＲ１、ＢＲ２を生成すれば、オブジェクト領域ＯＲの境界を含まないブロック領域ＢＲの数を増やして、より正確な種類の識別を行うことができる。

　なお、図１３（ｂ）においては、横方向および縦方向に対して半ブロック分ずらした第２ブロック領域ＢＲ２を生成するようにしているが、図１３（ｃ）に示すような横方向にのみ半ブロック分（１６画素分）ずらした第２ブロック領域ＢＲ２を生成してもよいし、図１３（ｄ）に示すように縦方向にのみ半ブロック分ずらした第２ブロック領域ＢＲ２を生成するようにしてもよい。また、ブロック領域識別手段３０において、図１３（ａ）〜図１３（ｄ）の各ブロック領域ＢＲ１、ＢＲ２のすべてを用いてもよいし、ブロック領域ＢＲのいずれかを組み合わせて用いるようにしてもよい。さらに、図１３（ａ）〜図１３（ｄ）において、ブロック領域生成手段１０は、半ブロック分ずらした場合について例示しているが、半ブロック分ずらす場合に限定されず、たとえば１／４ブロック分（８画素分）ずらす等の設定画素数よりも小さいピッチだけずらしたものであればよい。

　さらに、上記各実施の形態において、ブロック領域生成手段１０が図１４に示すように、画像から解像度の異なる複数の解像度変換画像を生成する機能を有し、生成した複数の解像度変換画像から設定画素数からなるブロック領域を生成する機能を有していてもよい。具体的には、ブロック領域生成手段１０は、全体画像に対してたとえばガウシアンピラミッドもしくはウェーブレット変換等の公知の解像度変換技術を施し、複数の解像度変換画像を生成する。そして、ブロック領域生成手段１０は、生成した複数の解像度変換画像についてそれぞれ設定画素数毎にメッシュ状に区切ることにより、ブロック領域ＢＲを生成していく。そして、複数の解像度変換画像から生成されたブロック領域ＢＲ毎に種類の識別が行われるようになる。

　このとき、ブロック領域生成手段１０は、設定画素数（たとえば３２画素×３２画素）の変更は行わない。これは、ブロック領域識別手段３０において、特徴量に基づいて種類の識別を行う際に、学習した際のブロック領域ＢＲの大きさと、識別する際のブロック領域ＢＲの大きさが異なるのを防止して、自己組織化マップＳＯＭにおける識別精度の低下を防止するためである。

　このように、解像度の異なる解像度変換画像を用いてブロック領域ＢＲを生成することにより、ブロック領域ＢＲの種類の識別の精度を向上させることができる。すなわち、通常の全体画像において、同じ被写体を近くから撮影した画像と遠くから撮影した画像とでは被写体の写り方が異なる。近くから撮影した場合には被写体の種類が識別できなくても遠くから撮影した場合には被写体の種類が識別できる場合やその逆の場合がある。そこで、解像度変換画像を用いることにより、この写り方の違いによる精度の低下を防止してブロック領域ＢＲの種類識別の精度を向上させることができる。

　なお、図１４において、ブロック領域ＢＲは、全体画像を機械的にメッシュ状に区切ることにより生成しているが、図１３に示すように半ブロック分ずらして生成するようにしてもよい。

　図１５は本発明のオブジェクト識別装置の第３の実施の形態を示すブロック図である。なお、図１５のオブジェクト識別装置３００において、図１のオブジェクト識別装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。図１５のオブジェクト識別装置３００が、図１のオブジェクト識別装置１と異なる点は、ブロック領域生成手段３１０におけるブロック領域ＢＲの生成方法である。

　具体的には、ブロック領域生成手段１０は、図１６に示すように、オブジェクト領域ＯＲ内に設定画素数からなる切取枠を走査させて、切取枠により囲まれた画像をブロック領域として生成するようになっている。図１７は図１５のブロック領域生成手段３１０の動作例を示すフローチャートであり、図１５から図１７を参照してブロック領域ＢＲの生成方法の一例について説明する。

　まず、オブジェクト領域生成手段２０により、全体画像から複数のオブジェクト領域ＯＲが生成される（ステップＳＴ１０）。その後、生成された各オブジェクト領域ＯＲに対して領域ＩＤが付与される（ステップＳＴ１１）。そして、生成された複数のオブジェクト領域ＯＲの中から、ブロック領域ＢＲを生成するオブジェクト領域ＯＲが決定され（ステップＳＴ１２）、ブロック領域ＢＲが生成されていく（ステップＳＴ１３）。このブロック領域生成工程（ステップＳＴ１３）が、全体画像に含まれるすべてのオブジェクト領域ＯＲについて行われる（ステップＳＴ１２〜ステップＳＴ１４）。その後、生成された複数のブロック領域ＢＲの種類がブロック領域識別手段３０により識別される。

　図１８はブロック領域生成工程（ステップＳＴ１３）の一例を示すフローチャートであり、図１８を参照してブロック領域ＢＲの生成工程について説明する。まず、オブジェクト領域ＯＲ内の始点に切取枠が設置される（ステップＳＴ１３−１）。具体的には、図１６に示すようにオブジェクト領域ＯＲの左上端に切取枠の左上角が位置するように切取枠が位置決めされる。そして、切取枠内のすべての領域ＩＤが一致するか否かが判断されて（ステップＳＴ１３−２）、切取枠内の領域ＩＤがすべて一致する場合には、切取枠に囲まれた領域がブロック領域ＢＲとして生成される（ステップＳＴ１３−３）。

　その後、切取枠が水平方向（右方向）に向かってたとえば８画素だけずらされる（ステップＳＴ１３−４）。ここで、切取枠がオブジェクト領域ＯＲの最右端まで走査したか否かが判断され（ステップＳＴ１３−５）、走査していない場合には続けてブロック領域の生成が行われる（ステップＳＴ１３−２〜ステップＳＴ１３−５）。一方、切取枠が、オブジェクト領域ＯＲの最右端まで走査した場合には、切取枠が垂直方向（下方向）にたとえば８画素だけずらされるとともに、水平方向にも移動してオブジェクト領域ＯＲの左端に位置決めされる（ステップＳＴ１３−６）。その後、水平方向に対してブロック領域ＢＲが生成されていく（ステップＳＴ１３−２〜ステップＳＴ１３−６）。そして、切取枠がオブジェクト領域ＯＲの最下端まで走査した場合には（ステップＳＴ１３−７）、１つのオブジェクト領域ＯＲについてブロック領域ＢＲの生成が完了する。

　このように、切取枠をオブジェクト領域ＯＲ内において走査させながらブロック領域ＢＲを生成することにより、オブジェクト領域ＯＲの種類を識別するためのブロック領域ＢＲの数を増やすことができるため、オブジェクト領域ＯＲの識別の精度を向上させることができる。

　なお、切取枠は水平方向および垂直方向に対して８画素ずらす場合について例示しているが、２画素や４画素といったの切取枠よりも小さい画素に設定されていればよい。さらに、領域ＩＤを変更することにより切取枠により切り取られるブロック領域ＢＲを決定するようにしているが、機械的に切取枠をたとえば２画素等の切取枠よりも小さい画素ピッチで、縦方向および横方向に走査するようにしてもよい。このとき、切取枠内に２つの領域ＩＤを含まれているブロック領域ＢＲについては、種類の識別を行わないようにしてもよい。

　図１９は本発明のオブジェクト識別装置における特徴量抽出手段の別の実施の形態を示すブロック図である。図１９の特徴量抽出手段１４０は、画像変換手段１４１、エッジ画像生成手段１４２、相関特徴量抽出手段１４３、エッジ特徴量抽出手段１４４、色特徴量抽出手段１４５等を有する。

　画像変換手段１４１は、ＲＧＢ表色系により表現されているブロック領域をＹＣＣ表色系に変換するものである。このとき、画像変換手段１４１は、画像を構成する複数のブロック領域ＢＲのうち、１つのオブジェクト領域ＯＲに含まれるブロック領域を識別するようになっている。これは、画像を構成する複数のブロック領域ＢＲのうち、オブジェクト領域ＯＲ間の境界にまたがるブロック領域ＢＲは、オブジェクト領域ＯＲの種類の判断には使用しないため、特徴量の抽出を行わないためである。

　エッジ画像生成手段１４２は、画像変換手段１４１により生成されたＹ成分を用いてエッジ画像を生成する機能を有する。ここで、エッジ画像生成手段１４２は、図２０（ａ）に示す縦エッジ検出用フィルターを用いて縦エッジ画像を生成するとともに、図２０（ｂ）に示す横エッジ検出用フィルターを用いて横エッジ画像を生成するようになっている。

　なお、エッジ画像生成手段１４２は、図２０に示すようなエッジ検出用フィルター（ｐｒｅｗｉｔｔフィルター）を用いているが、たとえば上下左右の画素には対角線上のものより大きな重みを与えたエッジ検出用フィルター（Ｓｏｂｅｌフィルター）を用いたエッジ検出方法やその他の公知のエッジ検出方法を用いることができる。

　図１９の相関特徴量抽出手段１４３は、ブロック領域ＢＲの各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出するものである。ここで、図２１は相関特徴量抽出手段１４３における相関特徴量の算出方法の一例を示すフローチャートを示しており、図２１を参照して相関特徴量の算出方法について説明する。

　なお、図２１において横方向に沿った変化に関する相関特徴量の抽出について説明するが、同様の手法により縦方向に沿った変化に対する相関特徴量も抽出される。また、以下に示すＦ_ｉ（ｘ）は、第ｉ行における第ｘ画素（ｉ＝０〜３１、ｘ＝０〜３１）の成分信号値を示し、Ｆ_ｊ（ｘ）は第ｊ行における第ｘ画素（ｉ＝０〜３１、ｘ＝０〜３１）の成分信号値を示すものとする。

　最初に、エッジ画像生成手段１４２において生成された縦エッジ画像を用いて、縦エッジ画像の各行に沿った成分信号値Ｆ_ｉ（ｘ）、Ｆ_ｊ（ｘ）の変化を規格化する（ステップＳＴ２１）。具体的には、成分信号値Ｆ_ｉ（ｘ）と平均値Ｆ_ｉとの差分を標準偏差δ_ｉで割り、規格化された成分信号値Ｆ_ｉ’（ｘ）が求められる。

　　　　　　　　　Ｆ_ｉ’（ｘ）＝（Ｆ_ｉ（ｘ）−Ｆ_ｉ）／δ_ｉ
　同様に、ｊ行の成分信号値Ｆ_ｊ（ｘ）と平均値Ｆ_ｊとの差分を標準偏差δ_ｉで割り、規格化された成分信号値Ｆ_ｉ’（ｘ）が求められる。

　　　　　　　　　Ｆ_ｊ’（ｘ）＝（Ｆ_ｊ（ｘ）−Ｆ_ｊ）／δ_ｊ
　このように、成分信号値を規格化して相関特徴量を求めるのは、各行間における変動幅や平均値の違いを排除して、変動パターン自体の相互相関性を示す相関特徴量を導出するためである。なお、Ｆ_ｉ（ｘ）、Ｆ_ｊ（ｘ）が一定値であり標準偏差が０の場合は、Ｆ_ｉ’（ｘ）＝０（一定）、Ｆ_ｊ’（ｘ）＝０（一定）とする。

　そして、異なる２行（第ｉ行と第ｊ行）の組合せについて、これら２行に関する規格化された成分信号値Ｆ_ｉ’（ｘ）およびＦ_ｊ’（ｘ）を用いて、相互相関関数

が導出される（ステップＳＴ２２）。この相互相関関数は、概念的に言えば、図２２（ａ）に示すように、２行の規格化された成分信号値Ｆ_ｉ’（ｘ）およびＦ_ｊ’（ｘ）をｄ画素分だけずらして掛け合わせ、その総和を取るものである。すると、図２２（ｂ）に示すような、ｄの関数としての相互相関関数Ｇ_ｉｊ（ｄ）が得られる。

　次に、算出した相互相関関数Ｇ_ｉｊ（ｄ）にｄ＝０〜３１に代入したときの相関値の中から最大相関値が算出される（ステップＳＴ２３）。

　この作業をすべての２行の組み合わせについて最大相関値が算出される（ステップＳＴ２１〜ステップＳＴ２４）。ここでは、３２画素×３２画素のブロック領域においては、０行〜３１行のすべての組み合わせの最大相関値が算出される。そして、算出されたすべての最大相関値の平均値および標準偏差が算出されて、この平均値および標準偏差が相関特徴量とされる（ステップＳＴ２５）。同様に、縦方向に沿った変化に関する最大相関値の平均値および標準偏差が相関特徴量として算出される（ステップＳＴ２１〜ステップＳＴ２５）。

　上述したように算出された相関特徴量は、オブジェクトを構成するブロック領域ＢＲに規則的なパターンがあるかどうかを示すものであり、最大相関値の平均値が大きく標準偏差の小さくなればなるほど、規則的なパターンが形成されていることを意味する。一般的に撮影された画像に含まれる自然物は規則的なパターン、連続的なパターン、周期的なパターンは少なく、ランダムなパターンにより構成されていることが多い。一方、ビルや石畳等の人工物は規則的なパターン等により構成されていることが多い。そこで、オブジェクトを構成するブロック領域ＢＲが規則的なパターンを構成しているか否かを示す相関特徴量を抽出することにより、ブロック領域ＢＲが人工的に作られた建造物等の画像の一部であるのか、自然物の画像の一部であるのかを判断することができる。

　なお、相関特徴量抽出手段１４３は、単に規格化された成分信号値Ｆ_ｉ’（ｘ）、Ｆ_ｊ’（ｘ）の積の総和の平均値および標準偏差を相関特徴量として抽出してもよいが、上述のように、相互相関関数の最大値の平均値および標準偏差を相関特徴量として用いれば、たとえば斜め方向に規則的な模様や波紋が撮影されたブロック領域ＢＲについても、そのパターンの規則性を示す適当な相関特徴量を導出できるようになり、ブロック領域の相関に関する特徴量を正確に表した相関特徴量の抽出を行うことができる。ここで、１画素ずつ画素ライン画素ラインをずらした場合（ｄ＝０，１，２，・・・３１）について言及しているが、２画素分ずらす等の複数画素ずらしながら最大相関値を算出するようにしてもよい。

　エッジ特徴量抽出手段１４４は、ブロック領域ＢＲのエッジ成分の特徴量を抽出するものである。具体的には、エッジ特徴量抽出手段１４４は、エッジ検出フィルター（図２０参照）を用いて生成された縦エッジ画像および横エッジ画像について、それぞれの成分信号値の平均値および標準偏差を算出し、４個のエッジ特徴量を出力するものである。

　このように、エッジ成分の特徴量としてエッジ成分の平均値を用いることにより、自然物の中でもエッジの少ない「空」と自然物の中でもエッジの多い「水」や「植物」とを分類することができる。また、エッジ特徴量としてブロック領域ＢＲの縦方向のエッジ成分と横方向のエッジ成分とを抽出することにより、たとえば「水」のように方向によってエッジ成分の特徴が異なるオブジェクトと、「植物」「花畑」等の縦方向および横方向において比較的均一なエッジを形成するオブジェクトとを分類することができる。

　色特徴量抽出手段１４５は、ブロック領域ＢＲの色特徴を示す色特徴量を抽出するものである。具体的には、色特徴量抽出手段１４５は、ＹＣＣ表色系で表されたブロック領域ＢＲを構成する３２×３２画素分の輝度成分（Ｙ成分）および２つの色差成分（Ｃｒ、Ｃｂ）の各成分信号値の平均値および標準偏差を算出し、１のブロック領域から６個の色特徴量を抽出するものである。

　なお、色特徴量抽出手段１４５は、ＲＧＢ表色系からＹＣＣ表色系に変換された後に色特徴量が抽出するようにしているが、たとえばＲＧＢ表色系のまま各成分（ＲＧＢ）について色特徴量を抽出するようにしてもよいし、画像変換手段１４１において、ＲＧＢ表色系のブロック領域ＢＲをＬａｂ表色系に変換して、Ｌａｂの各成分について色特徴量を抽出するようにしてもよい。また、色特徴量抽出手段１４５は、各成分信号値の平均値と標準偏差とを色特徴量として抽出しているが、たとえば最大値や最小値、分位点等その他の代表値を色特徴量として用いてもよい。

　そして、４つの相関特徴量と４つのエッジ特徴量と６つの色特徴量とからなる１４次元のブロック特徴量が写像手段５０に入力されて、種類出力手段６０により種類の識別が行われるようになる。このとき、写像手段５０における自己組織化マップＳＯＭの結合荷重ベクトルは、１４次元のベクトルから構成されるようになり、自己組織化マップＳＯＭは１４次元の特徴ベクトルを用いて学習された状態になっている。

　なお、各特徴量は変動幅を調整した上で適当な重み付けをして使用するようにしてもよい。さらに、図１９の特徴量抽出手段１４０が、上述した相関特徴量、エッジ特徴量、色特徴量の他に、図６における距離画像から抽出した特徴量や高周波成分の特徴量を算出する機能を有するものであってもよい。

　図２３は本発明のオブジェクト識別装置の第４の実施の形態を示すブロック図であり、図２３を参照してオブジェクト識別装置５００について説明する。なお、図２３のオブジェクト識別装置５００において、図１のオブジェクト識別装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。

　オブジェクト識別装置５００において、最初にオブジェクト領域生成手段２０がオブジェクト領域ＯＲを生成するようになっている。そして、特徴量抽出手段５４０が、生成されたオブジェクト領域ＯＲからオブジェクト特徴量を抽出するようになっている。その後、抽出したオブジェクト特徴量を用いて写像手段５０および種類出力手段６０により、オブジェクト領域ＯＲの種類が識別されるようになっている。

　さらに、この特徴量抽出手段５４０は、画像変換手段５１０により所定の画像変換処理が施された全体画像と生成されたオブジェクト領域ＯＲとを用いてオブジェクト特徴量を抽出するようになっている。具体的には、画像変換手段５１０は、ＲＧＢ表色系からなる全体画像をＹＣＣ表色系に変換し、ＹＣＣ表色系の各成分毎の３つの画像を生成する機能を有する。さらに、画像変換手段５１０は、Ｙ成分から生成した縦エッジ画像と横エッジ画像とを生成するようになっている。そして特徴量抽出手段４０は、ＹＣＣ各成分毎の３つの画像、縦エッジ画像、横エッジ画像の５つの画像からそれぞれオブジェクト特徴量を抽出するようになっている。

　ここで、特徴量抽出手段５４０は以下に示す手法によりオブジェクト特徴量を抽出するようになっている。すなわち、特徴量抽出手段５４０は、上述した各画像に対して領域分割結果を組み合わせることにより、各オブジェクト領域ＯＲ毎の画素値の分布（ヒストグラム）を生成する。そして、特徴量抽出手段５４０は、ヒストグラムから平均値および標準偏差を算出し、オブジェクト特徴量を生成するようになっている。なお、特徴量としてヒストグラムの代表点（たとえば最大値、最小値、中央値、分位点等）を用いてもよい。また、自己組織化マップＳＯＭの学習用サンプルは、ブロック領域ＢＲに上述した画像変換を施し、上述したヒストグラムから抽出した特徴量を用いて行われることになる。

　なお、上述した特徴量抽出手段５４０において、図６や図１９に示すような特徴量をオブジェクト領域ＯＲから抽出し、オブジェクト特徴量としてもよい。さらに、上述した画像変換手段５１０において、全体画像に多重解像度変換を施し解像度の異なる複数の解像度変換画像、全体画像をＲＧＢ表色系からＬａｂ表色系に変換した画像、モフォロジーフィルタ等を用いて特定形状の構造を抽出したフィルタリング画像等を生成するようにし、特徴量抽出手段５４０は、各画像から特徴量を抽出するようにしてもよい。

　これにより、オブジェクト領域ＯＲの領域形状が複雑な場合や小さい場合においてもオブジェクト領域ＯＲの種類を確実に識別することができるようになる。すなわち、全体画像をブロック領域ＢＲに分けたときには、オブジェクト領域ＯＲが複雑な場合にはオブジェクト領域ＯＲが複数のブロック領域ＢＲに分かれてしまい、オブジェクト領域ＯＲが小さい場合には種類識別に用いるブロック領域ＢＲの数が少なくなってしまう。

　これに対し、ブロック領域識別手段３０による識別結果をブロック領域ＢＲに含まれるすべての画素に割り当てるようにし、オブジェクト領域ＯＲを構成する画素に割り当てられた種類のうち、最も画素の多い種類をオブジェクト領域ＯＲの種類であると識別することも考えられる。しかし、オブジェクト領域ＯＲの境界を含むブロック領域ＢＲについても種類の識別を行う必要があり、その結果、種類の識別の精度が低下してしまうという問題がある。そこで、オブジェクト領域ＯＲ自体から特徴量を抽出して種類の識別を行うことにより、複雑な形状のオブジェクト領域ＯＲや形状の小さいオブジェクト領域ＯＲについても精度よく種類の識別を行うことができる。

　図２４は本発明のオブジェクト識別装置の第５の実施の形態を示すブロック図であり、図２４を参照してオブジェクト識別装置６００について説明する。なお、図２４のオブジェクト識別装置６００において図１のオブジェクト識別装置１および図２３のオブジェクト識別装置５００と同一の構成を有する部位には同一の符号を付してその説明を省略する。図２４のオブジェクト識別装置６００が、図２３のオブジェクト識別装置５００と異なる点は、オブジェクト領域ＯＲの外接矩形画像を規格化した規格化オブジェクト領域を生成する規格化手段６３０をさらに備えることである。したがって、オブジェクト特徴量を抽出する際のオブジェクト領域ＯＲの大きさは、いずれの画像のいずれのオブジェクト領域ＯＲであっても同一の大きさとなる。

　このように、オブジェクト領域ＯＲを規格化してからオブジェクト特徴量を抽出することにより、全体画像に含まれるオブジェクト領域の大きさに種類の識別精度が依存されることなく、正確な識別を行うことができる。つまり、全体画像に含まれるオブジェクトの大きさは、撮影時の状況により多種多様なものとなる。そこで、各オブジェクト領域ＯＲを規格化した後にオブジェクト特徴量を抽出し種類の識別を行うことにより、サイズの変動に対してロバスト性を持たせ、精度の高い種類の識別を行うことが可能となる。

　なお、図１のオブジェクト識別装置１と図２４のオブジェクト識別装置６００とを組み合わせて使用するようにしてもよい。すると、オブジェクトの一部が遮蔽物によって隠れている場合、オブジェクト領域ＯＲからは種類の識別精度が低くなってしまうが、ブロック領域ＢＲによる識別の集計を用いれば、オブジェクトの種類の識別精度が低下するのを防止することができる。

　なお、本発明の実施の形態は上記各実施の形態に限定されない。たとえば、図１〜図２２のオブジェクト識別装置１、３００については、ブロック領域ＢＲの種類を識別し、その識別結果を集計してオブジェクト領域ＯＲの種類を識別し、図２３および図２４のオブジェクト識別装置５００、６００については、オブジェクト領域ＯＲ自体から種類を識別するようにしているが、両者を組み合わせるようにしてもよい。すなわち、ブロック領域識別手段３０によるブロック領域ＢＲの種類の識別と、種類出力手段によるオブジェクト領域ＯＲ自体の種類の識別とを用いて、オブジェクト識別手段において最終的なオブジェクト領域ＯＲの種類を識別するようにしてもよい。

　また、図１のブロック領域識別手段３０は、種類として「空」や「海」等といった情報をオブジェクト識別手段７０に送るようにしているが、上述した種類ベクトル自体を種類としてオブジェクト識別手段７０に送るようにしてもよい。この場合、オブジェクト識別手段７０は、オブジェクト領域ＯＲに含まれる各ブロック領域ＢＲの種類ベクトルを単純加算することにより、種類ベクトルのうち最大のベクトル成分となっている種類をオブジェクト領域ＯＲの種類として識別するようにしてもよい。あるいは、最大のベクトル成分が最大しきい値よりも小さい等の場合、オブジェクト識別手段７０がオブジェクト領域ＯＲの種類を「不明」となるようにしてもよい。

　また、オブジェクト領域ＯＲの生成およびブロック領域ＢＲの生成は、送られる全体画像Ｐの有する解像度をそのまま使用している場合について例示しているが、オブジェクト領域生成手段２０およびブロック領域生成手段１０に入力する前に解像度を落としてから入力するようにしてもよい。解像度を落とすことにより、処理するデータ量を少なくすることができるため、処理速度の向上および処理の効率化を図ることができる。

　さらに、オブジェクト領域ＯＲを生成する際の解像度と、ブロック領域ＢＲを生成する際の解像度が同一である必要はない。たとえば、ブロック領域ＢＲが、オブジェクト領域ＯＲの画像よりも解像度を高くするようにしてもよい。これは、ブロック領域ＢＲは上述したようにそれぞれ種類を識別する必要があるが、オブジェクト領域ＯＲに分割する際には大雑把に類似した領域に分けることを目的とするため、比較的低解像度の画像を利用しても目的は達成することができるためである。

　また、図１において、ブロック領域生成手段１０により生成されたブロック領域ＢＲをそのままブロック領域識別手段３０に送るようにしているが、ブロック領域ＢＲ毎の判定結果に対してたとえばモフォロジー処理やＣｌｏｓｉｎｇ演算等の平滑化処理を行った後にブロック領域識別手段３０に送るようにしてもよい。これにより、ブロック領域ＢＲ内に含まれる孤立したノイズ的な要素が切り捨てられて、種類識別の精度の向上を図ることができる。

本発明のオブジェクト識別装置の第１の実施の形態を示すブロック図 本発明のオブジェクト識別装置において、画像に含まれるオブジェクト毎に種類が識別される様子を示す図 本発明のオブジェクト識別装置におけるオブジェクト領域生成手段の一例を示すブロック図 図２のオブジェクト領域生成手段により画像が領域分割される様子を示す図 図２のオブジェクト領域生成手段によりクラスタリング領域が統合されてオブジェクト領域が形成される様子を示す図 本発明のオブジェクト識別装置における特徴量抽出手段の一例を示すブロック図 本発明のオブジェクト識別装置における距離画像生成手段における距離画像の生成の様子を示すブロック図 本発明のオブジェクト識別装置における写像手段および種類出力手段の一例を示すブロック図 本発明のオブジェクト識別装置における種類頻度分布マップの一例を示すブロック図 本発明のオブジェクト識別方法の好ましい実施の形態を示すフローチャート 本発明のオブジェクト識別装置の第２の実施の形態を示すブロック図 本発明のオブジェクト識別装置における写像手段の別の一例を示すブロック図 図１のブロック領域生成手段の別の生成方法の一例を示す模式図 図１のブロック領域生成手段の別の生成方法の一例を示す模式図 本発明のオブジェクト識別装置の第３の実施の形態を示すブロック図 図１５のオブジェクト識別装置におけるブロック領域の生成方法の一例を示す模式図 図１５のオブジェクト識別装置におけるブロック領域の生成方法の一例を示すフローチャート 図１５のオブジェクト識別装置におけるブロック領域の生成方法の一例を示すフローチャート 本発明のオブジェクト識別装置における特徴量抽出手段の別の実施の形態を示すブロック図 図１９の画像生成手段において使用されるエッジフィルターの一例を示す図 図１９の相関特徴量抽出手段の動作例を示すフローチャート 図１９の相関特徴量抽出手段における相互相関関数の一例を示すグラフ図 本発明のオブジェクト識別装置の第４の実施の形態を示すブロック図 本発明のオブジェクト識別装置の第５の実施の形態を示すブロック図

符号の説明

１、３００、５００、６００　オブジェクト識別装置
１０　 ブロック領域生成手段
２０　 オブジェクト領域生成手段
３０　 ブロック領域識別手段
３０　 ブロック領域識別手段
３０　 種類識別手段
４０、１４０　特徴量抽出手段
４１　 変換手段
４２　 平均値算出手段
４３　 ウェーブレット変換手段
４４　 平均値算出手段
４５　 最大値算出手段
４６　 距離画像生成手段
４７　 ウェーブレット変換手段
４８　 平均値算出手段
４９　 最大値算出手段
５０　 写像手段
６０　 種類出力手段
７０　 オブジェクト識別手段
１００ 特徴量分類手段
１０１ 領域分割手段
１１０ 領域統合手段
１１１ データベース
１１２ 最小クラスタ領域抽出手段
１１３ 統合領域判断手段
１３０ ブロック領域生成手段
１４０ 特徴量抽出手段
１４１ 画像変換手段
１４２ エッジ画像生成手段
１４３ 相関特徴量抽出手段
１４４ エッジ特徴量抽出手段
１４５ 色特徴量抽出手段
１５０ 写像手段
２００ オブジェクト識別装置
２０１ ブロック領域生成手段
ＢＲ　 ブロック領域
ＢＲ１ 第１ブロック領域
ＢＲ２ 第２ブロック領域
ＫＤＭ 種類頻度分布マップ
ＫＩ　種類ベクトル
ＯＲ　 オブジェクト領域
Ｐ　　 画像
ＳＯＭ 自己組織化マップ（２次元空間）

Claims (19)

1. 画像に含まれるオブジェクトの種類を識別するオブジェクト識別方法において、
   　前記画像を前記オブジェクト毎に領域分割したオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割した複数のブロック領域とを生成し、
   　生成した複数の前記各ブロック領域毎にそれぞれ種類を識別し、
   　識別した前記ブロック領域の種類を前記各オブジェクト領域毎に集計し、
   　集計した結果を用いて前記オブジェクト領域の種類を識別する
   　を有することを特徴とするオブジェクト識別方法。
2. 画像に含まれるオブジェクトの種類を識別するオブジェクト識別装置において、
   　前記画像を前記オブジェクト毎に領域分割して複数のオブジェクト領域を生成するオブジェクト領域生成手段と、
   　前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割して複数のブロック領域を生成するブロック領域生成手段と、
   　該ブロック領域生成手段により生成された複数の前記ブロック領域毎にそれぞれ種類を識別するブロック領域識別手段と、
   　前記各ブロック領域毎に識別された前記ブロック領域の種類を前記オブジェクト領域毎に集計し、集計した結果を用いて前記オブジェクトの種類を識別するオブジェクト識別手段と
   　を有することを特徴とするオブジェクト識別装置。
3. 前記ブロック領域識別手段が、
   　前記ブロック領域から複数のブロック特徴量を抽出する特徴量抽出手段と、
   　該特徴量抽出手段により抽出された複数の前記ブロック特徴量を２次元空間上に写像する写像手段と、
   　前記２次元空間上の座標毎に種類を定義した種類頻度分布マップを有し、前記写像手段により写像された前記２次元空間上の座標が該種類頻度分布マップ上で示す種類を前記ブロック領域の種類として出力する種類出力手段と
   　を有することを特徴とする請求項２に記載のオブジェクト識別装置。
4. 前記２次元空間が、学習機能を有する複数のニューロンをマトリックス状に配置した自己組織化マップであることを特徴とする請求項３に記載のオブジェクト識別装置。
5. 前記特徴量抽出手段が、前記ブロック領域の色成分と明度成分と像的特徴成分を前記ブロック特徴量として抽出するものであることを特徴とする請求項３または請求項４に記載のオブジェクト識別装置。
6. 前記種類出力手段が、前記自己組織化マップの座標毎に前記種類の頻度値を前記種類の指標として定めた前記種類頻度分布マップを前記種類毎に有し、前記写像手段により検出された座標が前記各種類頻度分布マップ上で示す複数の頻度値をベクトル成分とした種類ベクトルを出力するものであることを特徴とする請求項３から請求項５のいずれか１項に記載のオブジェクト識別装置。
7. 前記種類出力手段が、前記種類ベクトルのベクトル成分のうち、最も大きい最大ベクトル成分となる種類を出力するものであることを特徴とする請求項６に記載のオブジェクト識別装置。
8. 前記種類出力手段が、前記最大ベクトル成分が所定の最大成分しきい値よりも小さいときには、前記ブロック領域の種類は不明である旨の出力を行うものであることを特徴とする請求項７に記載のオブジェクト識別装置。
9. 前記ブロック領域生成手段が、前記画像をメッシュ状に区切った複数の第１ブロック領域と、該複数の第１ブロック領域に対してメッシュ状に区切る位相をずらした第２ブロック領域とを生成する機能を有するものであることを特徴とする請求項２から請求項８のいずれか１項に記載のオブジェクト識別装置。
10. 前記ブロック領域生成手段が、前記オブジェクト領域内に前記設定画素数からなる切取枠を走査させて、前記切取枠により囲まれた画像から前記ブロック領域を生成する機能を有するものであることを特徴とする請求項２から請求項９のいずれか１項に記載のオブジェクト識別装置。
11. 前記ブロック領域生成手段が、前記画像から解像度の異なる複数の解像度変換画像を生成する機能を有し、生成した前記複数の解像度変換画像からそれぞれ前記ブロック領域を生成する機能を有するものであることを特徴とする請求項２から請求項１０のいずれか１項に記載のオブジェクト識別装置。
12. 前記特徴量抽出手段が、前記ブロック領域の各画素に割り当てられた成分信号値の１方向に沿った変化の規則性の程度を示す相関特徴量を抽出する相関特徴量抽出手段を含むものであることを特徴とする請求項３から請求項１１のいずれか１項に記載のオブジェクト識別装置。
13. 前記相関特徴量抽出手段が、前記ブロック領域の縦方向に沿った前記相関特徴量と、前記ブロック領域の横方向に沿った前記相関特徴量とを抽出するものであることを特徴とする請求項１２に記載のオブジェクト識別装置。
14. 前記相関特徴量抽出手段が、前記ブロック領域において同一方向に形成された２つの画素ラインを構成する複数の画素の成分信号値から、前記２つの画素ラインの相関関係を示す相関値を出力する所定の相互相関関数を有し、
    　前記２つの画素ラインのいずれか一方を１画素ずつ前記画素ラインの形成方向にずらしながら前記画素の成分信号値を前記相互相関関数に入力することにより複数の前記相関値を取得し、取得した前記複数の相関値から最も大きい最大相関値を算出するものであり、
    　前記ブロック領域の同一方向に形成された前記画素ラインのすべての組み合わせについて前記最大相関値を算出し、算出されたすべての前記最大相関値の平均値および標準偏差を相関特徴量として抽出するものであることを特徴とする請求項１２または請求項１３に記載のオブジェクト識別装置。
15. 前記特徴量抽出手段が、前記ブロック領域の縦方向および横方向のエッジ成分の特徴を示すエッジ特徴量を抽出するエッジ特徴量抽出手段を含むものであることを特徴とする請求項３から請求項１４のいずれか１項に記載のオブジェクト識別装置。
16. 前記特徴量抽出手段が、前記ブロック領域の色成分の特徴を示す色特徴量を抽出する色特徴量抽出手段を含むものであることを特徴とする請求項３から請求項１５のいずれか１項に記載のオブジェクト識別装置。
17. 画像に含まれるオブジェクトの種類を識別するオブジェクト識別装置において、
    　前記画像を前記オブジェクト毎に領域分割して複数のオブジェクト領域を生成するオブジェクト領域生成手段と、
    　該オブジェクト領域生成手段により生成された前記オブジェクト領域から複数のオブジェクト特徴量を抽出する特徴量抽出手段と、
    　該特徴量抽出手段により抽出された前記オブジェクト特徴量を用いて、前記オブジェクト領域の種類を識別するオブジェクト識別手段と
    　を有することを特徴とするオブジェクト識別装置。
18. 前記オブジェクト領域の外接矩形画像を規格化した規格化オブジェクト領域を生成する規格化手段をさらに備え、前記特徴量抽出手段が、前記規格化手段により生成された前記規格化オブジェクト領域から特徴量を抽出する機能を有するものであることを特徴とする請求項１７に記載のオブジェクト識別装置。
19. コンピュータに、
    　画像をオブジェクト毎に領域分割したオブジェクト領域と、前記画像を設定画素数からなる、前記オブジェクト領域より小さい多数の領域に分割した複数のブロック領域とを生成する手順と、
    　生成した複数の前記各ブロック領域毎にそれぞれ種類を識別する手順と、
    　識別した前記ブロック領域の種類を前記各オブジェクト領域毎に集計する手順と、
    　集計した結果を用いて前記オブジェクト領域の種類を識別する手順と
    　を実行させるためのオブジェクト識別プログラム。

Images