JP2010020417A - 目標物検出システム - Google Patents

Abstract

【課題】 金属材質の目標物を対象とする場合において、探索すべき対象を漏らさず、かつ探索の処理負荷を軽減するため、探索範囲を的確に絞り込むことが可能な目標物検出システムを提供する。
【解決手段】 探索対象画像中から目標物を探索するにあたり、事前に目標物が存在する可能性が高い部分のみを探索対象領域として設定する。その際、４×４の画素ブロックに適用するための画素評価算出式、画素判定基準値、画素評価算出式により算出される画素評価値と画素判定基準値の関係による設定条件を定めるが、画素判定基準値については、利用者による探索対象の指定に従い（ａ）、指定された箇所が探索対象として設定されるような値を設定する。さらに、利用者による探索非対象の指定に従い（ｂ）、指定された箇所が探索非対象として設定されるように既に算出された画素判定基準値を補正する。
【選択図】 図３

Description

本発明は、画像中から目的とするパターンを検出するための技術に関し、特にパンクロマチック衛星画像に対して好適なパターン検出技術に関する。

QuickBird（米国DigitalGlobe）、ALOS“だいち”（日本ＪＡＸＡ）、TERRA/ASTER（日本ERSDAC）など陸域観測・地球観測衛星は高度約450ｋｍ上空で地球を極軌道で周回しており、高分解能な光学センサや合成開口レーダ(SAR)を搭載し、地上を連続的にスキャニングし、定時的に地球局に画像データを伝送している。主として３種類の画像が活用され、光学センサのマルチスペクトラル・モード（カラー写真）は、可視光のＲＧＢバンドに近赤外を加えた４バンド構成で夜間も撮影でき、地上の資源探索や大規模災害などの状況を収集するのに有効である。ＳＡＲ画像は電波によるレーダ画像で、雲がかかっていても透過するため、天候が悪いときでも画像を収集でき、ドップラー効果を用いて航行中の船舶を計測することもできる（特許文献１参照）。中でも、光学センサのパンクロマチック・モード（モノクロ写真）は地上の乗用車を識別できる１ｍ弱(世界最高分解能QuickBird 0.6m)の分解能をもち、交通状況の監視などに有益である。交通状況の監視については、地上に設置された監視カメラやヘリコプター・航空機による航空写真の方が鮮明な画像が得られるが、広域を同時観測することが難しいのと、建築物などの陰に隠れた死角が必ず発生するという問題から、近年衛星画像が注目されている。

また、目標物を航空機と船舶に特化したテンプレートマッチングによる検出方法（特許文献２参照）、テンプレートをあらかじめ準備し、画像データの先頭画素から順次スキャンしながらテンプレートと同サイズの画素ブロックを抽出し、テンプレートと照合する手法（特許文献３参照）なども提案されている。
特許第３８６３０１４号 特許第３９７８９７９号 特開２００１−６７４７０号公報

しかしながら、上記特許文献２、特許文献３の手法では、衛星画像全体を探索するため、探索範囲が広く、処理負荷が高いという問題がある。通常、テンプレートマッチングを用いた探索処理自体には、相当な処理負荷がかかるため、できれば事前に探索範囲を絞りこんでおくことが望ましい。特に、自動車等の金属材質の目標物は、固有の特徴を有しているため、その特徴を用いて、探索する範囲を特定しておくことが望ましい。一方で、探索範囲を絞り過ぎ、本来探索すべき対象を漏らさないようにする必要もある。

そこで、本発明は、金属材質の目標物を対象とする場合において、探索すべき対象を漏らさず、かつ探索の処理負荷を軽減するため、探索範囲を的確に絞り込むことが可能な目標物検出システムを提供することを課題とする。

上記課題を解決するため、本発明第１の態様では、目標物を含むテンプレート画像を用いて、探索対象である探索対象画像から、目標物を検出するシステムであって、所定サイズの画素ブロックに対して、少なくとも２つ以上の画素群を定め、各々の画素群別に、あるいは異なる画素群間で所定の画素評価算出式、画素評価算出式により算出される画素評価値と画素判定基準値の関係による設定条件が画素評価ルールの一部として定義された状態において、目標物のサンプルが写っているサンプル画像で指定された位置に対応する前記所定サイズの画素ブロックを抽出し、当該画素ブロックに対して前記画素評価算出式を用いて画素評価値を算出し、当該画素評価値に所定の演算を施すことにより画素判定基準値を算出して画素評価ルールを完成させる画素判定基準値設定手段と、前記探索対象画像から、前記所定数の画素ブロックを順次抽出し、当該画素ブロックにおける画素を用いて前記画素評価算出式により画素評価値を算出し、当該画素評価値と前記画素判定基準値を比較し、比較結果が前記設定条件を満たすか否かに従って、前記抽出した画素ブロックにおける画素を、探索対象か探索非対象かのいずれかに設定する探索領域設定手段を有する目標物検出システムを提供する。

本発明第１の態様によれば、探索対象画像中の所定サイズの画素ブロックに対して、少なくとも２つ以上の画素群を定め、各々の画素群別に、あるいは異なる画素群間で所定の画素評価算出式および当該画素評価算出式に応じた画素判定基準値が定義された画素評価ルールを利用して、探索対象画像において、目標物の検出可能性の高い領域を探索対象領域として絞り込むようにする。この際、探索対象を的確に設定するために、目標物のサンプルを指定し、そのサンプルを探索対象として取り込むための画素判定基準値を設定するようにしたので、金属材質の目標物を対象とする場合における探索対象を絞り込む際に、的確な探索対象の絞込みが可能となる。また、探索対象画像の内容によっては、絞込み範囲が狭い範囲で特定でき、そのまま探索結果として用いることも可能となる。

また、本発明第２の態様では、本発明第１の態様において、前記設定された探索対象領域に対して、先頭画素位置から最終画素位置まで抽出位置を順次移動させながら、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、当該類似性評価値と前記設定された判定基準値と比較することにより類似性を判断する類似性判断手段と、前記類似性判断手段により類似性ありと判断された場合に、その際のテンプレート画像のＩＤ、前記探索対象画像上における画素ブロックの位置を特定する画素位置、前記テンプレート画像の回転角度を出力する探索結果出力手段をさらに有することを特徴とする。

本発明第２の態様によれば、金属材質の目標物を対象として探索対象領域を絞り込んだ後、探索対象領域から各テンプレート画像と同一サイズの画素ブロックを抽出し、テンプレート画像と画素ブロックの類似性を判断することにより目標物を検出するようにしたので、金属材質の目標物をより的確に検出することが可能となる。

また、本発明第３の態様では、本発明第１の態様における画素判定基準値設定手段が、さらに、前記サンプル画像上で、探索対象として含めないものとして指定された位置に対応する前記所定サイズの画素ブロックを抽出し、当該画素ブロックに対して前記画素評価算出式を用いて画素評価値を算出し、算出された画素評価値を利用して、前記探索対象として含めるものとして指定された位置に対応して算出された画素判定基準値を補正することを特徴とする。

本発明第３の態様によれば、探索対象領域を絞り込む際に用いる判定基準値の設定に際して、探索対象に含めない箇所として指定された位置に対応する画素ブロックに対して画素評価値を算出し、算出された画素評価値を利用して、探索対象として含めるものとして指定された位置に対応して算出された画素判定基準値を補正するようにしたので、シミュレーションを行いながら、より的確な探索対象領域を設定することが可能となる。

また、本発明第４の態様では、本発明第１から第３のいずれかの態様における画素判定基準値設定手段が用いる画素ブロックが、中央画素群と周辺画素群の２つの画素群に分けられ、前記画素評価算出式、画素判定基準値、設定条件は、中央画素群が周辺画素群より明るいタイプと、中央画素群が周辺画素群より暗いタイプの２種類に対応したものであることを特徴とする。

本発明第４の態様によれば、画素評価ルールが適用される画素ブロックが、中央画素群と周辺画素群の２つの画素群に分けられ、画素評価算出式、画素判定基準値、設定条件が、中央画素群が周辺画素群より明るいタイプと、中央画素群が周辺画素群より暗いタイプの２種類に対応したものとしたので、金属材質特有の中央と周辺の変化を的確にとらえ、より的確な探索対象領域を設定することが可能となる。

また、本発明第５の態様では、本発明第４の態様において、前記画素ブロックが、Ｍ×Ｍ画素の正方形状であって、前記探索領域設定手段は、前記画素群として、中央の（Ｍ−２）×（Ｍ−２）画素の中央画素群と残りの周辺画素の周辺画素群の２つを定め、中央画素群の最小値、最大値、平均値をＶ_imin、Ｖ_imax、Ｖ_iave、周辺画素群の最小値、最大値、平均値をＶ_omin、Ｖ_omax、Ｖ_oaveとしたときの、前記画素評価値Ｖ_iave、Ｖ_oave、Ｖ_imax−Ｖ_omin、Ｖ_omax−Ｖ_imin、Ｖ_iave−Ｖ_oaveを算出し、画素評価値Ｖ_iave、Ｖ_oaveについては、それぞれ２種の画素判定基準値、画素評価値Ｖ_imax−Ｖ_omin、Ｖ_omax−Ｖ_imin、Ｖ_iave−Ｖ_oaveについては、それぞれ１種の画素判定基準値が設定されていることを特徴とする。

本発明第５の態様によれば、中央画素を囲む１画素分を周辺画素群として定義し、各画素群の画素平均値、一方の画素群の最大値と他方の画素群の最小値の差を画素評価値とし、画素判定基準値と比較するようにしたので、金属材質特有の中央と周辺の変化を的確にとらえ、より的確な探索対象領域を設定することが可能となる。

また、本発明第６の態様では、本発明第１から第５のいずれかの態様において、前記探索領域設定手段は、前記探索対象画像から抽出した画素ブロック内の所定の一画素が探索対象である場合に、前記抽出した画素ブロック内の画素全てを探索対象として設定することを特徴とする。

本発明第６の態様によれば、探索領域設定手段は、探索対象画像から抽出した画素ブロック内の所定の一画素を探索対象として設定し、その後、画素ブロック内に全画素を探索対象として設定するようにしたので、探索対象領域と探索非対象領域の境界を滑らかにすることが可能となる。

また、本発明第７の態様では、本発明第１から第６のいずれかの態様において、前記類似性判断手段は、前記探索対象画像に対して、先頭画素位置から最終画素位置まで抽出位置を順次移動させながら、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像の角度を回転させず、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素とを所定の照合方法で照合して、角度に依存しない類似性評価値を算出し、当該類似性評価値と事前に設定された判定基準値と比較することにより類似性を判断する角度非依存類似性判断手段と、前記角度非依存類似性判断手段で類似性ありと判断された場合に、前記テンプレート画像を所定の角度で回転させながら、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素とを所定の照合方法で照合して類似性評価値を算出し、事前に設定された判定基準値と比較することにより類似性を判断する角度依存類似性判断手段を有することを特徴とする。

本発明第７の態様によれば、目標物を含むテンプレート画像を用いて、探索対象画像から目標物を検出するにあたり、前記テンプレート画像と同一サイズの画素ブロックを探索対象画像から抽出して、テンプレート画像と画素ブロックの角度に依存しない類似性を判断し、類似している場合にのみ、角度に依存する類似性を判断して、類似しているものの結果を出力するようにしたので、計算負荷が小さい角度非依存の類似性のみで類似していないと判断された場合には、計算負荷が大きい角度依存の類似性を判断する必要がなくなり、全体としても高速な処理を行うことが可能となる。

また、本発明第８の態様では、本発明第７の態様において、前記角度非依存類似性判断手段は、複数の類似性評価値を算出し、各類似性評価値と対応する判定基準値と比較することにより、各類似性評価値に対応した類似性を判断し、いずれか１つの類似性評価値で類似性がない場合には、類似性なしと判断するものであることを特徴とする。

本発明第８の態様によれば、角度非依存の類似性を判断する際に、複数の類似性評価値を算出し、いずれか１つの類似性評価値で類似性がない場合には、類似性なしと判断するようにしたので、より高速な処理を行うことが可能となる。

また、本発明第９の態様では、本発明第７または第８の態様において、前記角度依存類似性判断手段は、複数の類似性評価値を算出し、各類似性評価値と対応する判定基準値と比較することにより、各類似性評価値に対応した類似性を判断し、いずれか１つの類似性評価値で類似性がない場合には、類似性なしと判断するものであることを特徴とする。

本発明第９の態様によれば、角度依存の類似性を判断する際に、複数の類似性評価値を算出し、いずれか１つの類似性評価値で類似性がない場合には、類似性なしと判断するようにしたので、より高速な処理を行うことが可能となる。

本発明によれば、金属材質の目標物を対象とする場合における探索の処理負荷を軽減するため、事前に探索対象を絞り込む際に、的確な探索対象の絞込みが可能となる。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．システム構成）
まず、本発明に係る目標物検出システムの構成について説明する。図１は本発明に係る目標物検出システムの構成図である。図１において、１０は探索対象画像記憶部、２０はテンプレート準備部、３０はテンプレート記憶部、４０は目標物探索部、５０は探索結果記憶部、６０は探索領域設定部である。

探索対象画像記憶部１０は、探索対象となる画像である探索対象画像、および目標物のサンプルを記憶したサンプル画像を記憶したものである。探索対象画像上に探索対象とする目標物が多数存在していれば、その内の１つをサンプルとして用いることも可能である。この場合、探索対象画像はサンプル画像としての役割も果たすことになる。また、本実施形態では、人工衛星により撮影された画像である衛星画像を探索対象画像として記憶している。テンプレート準備部２０は、サンプル画像に対して対話的に設定を行い、テンプレート画像を準備するものであり、テンプレート作成手段２１、判定基準値設定手段２２、テンプレート更新手段２３を有している。テンプレート記憶部３０は、テンプレート準備部２０により準備されたテンプレート画像を記憶するものである。目標物探索部４０は、探索対象画像中の所定の領域とテンプレート画像を比較することにより、目標物を探索するものであり、角度非依存類似性判断手段４１、角度依存類似性判断手段４２、探索結果出力手段４３、検出目標物消去手段４４、第２のテンプレート更新手段４５を有している。探索結果記憶部５０は、目標物探索部４０により探索された結果を記憶するものである。探索領域設定部６０は、所定サイズの画素ブロックに適用する画素評価ルールを用いて、探索対象画像中において実際に探索を行う範囲である探索対象領域を設定するものであり、画素判定基準値設定手段６１、探索領域設定手段６２を有している。図１に示した目標物検出システムは、現実には汎用のコンピュータに専用のプログラムを組み込むことにより実現される。また、各記憶部は、コンピュータに内蔵または接続されたハードディスク等の記憶装置で実現される。

（２．探索対象領域の設定）
次に、図１に示した目標物検出システムの処理動作について説明する。目標物検出システムにおいては、探索領域設定手段６２が、探索対象画像記憶部１０から探索対象画像を読み込み、この探索対象画像上において、目標物が検出される可能性が高い領域を探索対象領域として設定する。本システムでは、後述するように、テンプレート画像上の画素ブロックと探索対象画像上の画素ブロックを比較することにより、目標物の検出を行うが、この比較処理にかかる演算負荷が高いため、全体としての処理効率を上げるためには、探索対象画像上において実際に探索を行う範囲をできるだけ小さくすることが望ましい。そこで、本システムでは、実際の探索処理に入る前に、目標物が検出される可能性が高い領域を探索対象領域として設定する処理を行う。

探索対象領域の設定は、探索対象画像上の各画素を、探索対象領域とするか、探索非対称領域とするかを決定することにより行うが、本発明では、所定サイズの画素ブロックに適用する画素評価ルールを用いる。画素ブロックの形状、サイズとしては、適宜定めることが可能であるが、Ｍ×Ｍ画素の正方形状が望ましい。図２（ａ）は、本実施形態における画素評価ルールが適用される画素ブロックを示す図である。図２（ａ）に示すように、本実施形態では、探索対象画像から４×４個（Ｍ＝４）の正方形状の画素ブロックを抽出し、抽出した画素ブロックに対して画素評価ルールを適用する。画素評価ルールは、抽出した画素ブロックのうち、中央２×２画素の画素値（Ｖ_i1〜Ｖ_i4）、周辺の１２画素の画素値（Ｖ_O1〜Ｖ_O12）を用いて評価し、探索対象とするか否かを定めるルールである。具体的には、まず、以下の〔数式１〕により、７つの画素評価値、具体的には、周辺最小値Ｖ_omin、周辺最大値Ｖ_omax、中央最小値Ｖ_imin、中央最大値Ｖ_imax、周辺平均値Ｖ_oave、中央平均値Ｖ_iave、周辺標準偏差Ｖ_dirを求める。

〔数式１〕
Ｖ_omin＝ＭＩＮ［Ｖ_ok］
Ｖ_omax＝ＭＡＸ［Ｖ_ok］
Ｖ_imin＝ＭＩＮ［Ｖ_ik］
Ｖ_imax＝ＭＡＸ［Ｖ_ik］
Ｖ_oave＝（Σ_k=1,12Ｖ_ok）／１２
Ｖ_iave＝（Σ_k=1,4Ｖ_ik）／４
Ｖ_dir＝｛Σ_k=1,12（Ｖ_oave−Ｖ_ok）²／１２｝^1/2

さらに、画素判定基準値である７つの閾値Ｓ_aoi、Ｓ_doi、Ｓ_imin、Ｓ_imax、Ｓ_omin、Ｓ_omax、Ｓ_dirを用いて、以下の〔数式２〕に従って判断を行う。

〔数式２〕
１）中央周辺の平均レベル差｜Ｖ_oave−Ｖ_iave｜＞Ｓ_aoi
２）中央周辺のコントラスト
Ｖ_omax−Ｖ_imin＞Ｖ_imax−Ｖ_ominの場合、Ｖ_omax−Ｖ_imin＞Ｓ_doi
Ｖ_omax−Ｖ_imin＜Ｖ_imax−Ｖ_ominの場合、Ｖ_imax−Ｖ_omin＞Ｓ_doi
３）周辺平均レベルＳ_omin＜Ｖ_oave＜Ｓ_omax
４）中央平均レベル
Ｖ_oave＞Ｖ_iaveの場合、Ｖ_iave＜Ｓ_imin
Ｖ_oave＜Ｖ_iaveの場合、Ｖ_iave＞Ｓ_imax
５）周辺標準偏差Ｖ_dir＞Ｓ_dir

上記〔数式２〕における５つの条件は、金属材質を撮影した場合の物体の特徴をとらえたものである。すなわち、金属材質を撮影した場合、１）中央と周辺の平均レベルの差が所定以上になり、２）周辺の最大値と中央の最小値の差、または中央の最大値と周辺の最小値の差が所定以上になり、３）周辺の平均レベルが所定の範囲に収まり、４）中央平均レベルについては、周辺平均レベルより小さい場合に所定値以下となり、周辺平均レベルより大きい場合に所定値以上となる。中央平均レベルについては、周辺平均レベルとの大小関係により、用いる閾値が異なる。５）周辺標準偏差は所定以上となる。金属材質の場合、これらの条件を全て満たすと考えられる。

上記７つの画素判定基準値には、具体的な目標物の内容に応じて適宜設定される。中央平均レベルの場合、周辺平均レベルとの大小関係により、用いる閾値が異なるため、実際には、同時に利用される閾値は６つとなる。上記〔数式１〕に示した数式、上記画素判定基準値、上記〔数式２〕に示した条件が画素評価ルールとなるが、本システムでは、画素判定基準値は最初は設定されていない。そのため、本システムでは、最初に７つの画素判定基準値Ｓ_aoi、Ｓ_doi、Ｓ_imin、Ｓ_imax、Ｓ_omin、Ｓ_omax、Ｓ_dirの設定を行うことになる。具体的には、目標物のサンプル画像を利用して、そのサンプルが目標物として検出されるような値を設定する。サンプル画像としては、目標物のサンプルだけを切り出したものを利用しても良いし、目標物が写っている探索対象画像を利用しても良い。本実施形態では、探索対象画像をサンプル画像として利用する場合を例にとって説明する。

まず、システムを起動させると、画素判定基準値設定手段６１は、サンプル画像としての探索対象画像を画面に表示させ、目標物のサンプルの指定を促す。図３（ａ）は、目標物が写っている探索対象画像の一例を示す図である。図３（ａ）の例では、中央暗部タイプと中央明部タイプが１つずつ写っている。金属材質の場合、中央と周辺の画素値が異なるところが特徴となっている。この場合において、中央が周辺より暗いものを中央暗部タイプと呼び、中央が周辺より明るいものを中央明部タイプと呼ぶことにする。例えば、黒い自動車は中央暗部タイプとなり、白い自動車は中央明部タイプとなる。

画面には、正方形状のカーソルが表示され、利用者がマウス等を用いて画面上を移動させることが可能となっている。画面上では、中央暗部タイプ、中央明部タイプそれぞれにカーソルが重ねられているが、実際には、カーソルは１つだけ表示される。カーソルのサイズは、画素評価ルールに対応したＭ×Ｍ画素分となっている。利用者がカーソルを中央暗部タイプまたは中央明部タイプに移動させ、確定指示を行うと、画素判定基準値設定手段６１は、確定した位置に対応するＭ×Ｍ画素の画素ブロックを抽出する。そして、抽出した画素ブロック中の画素に対して、以下の〔数式３〕に従った処理を実行して、画素判定基準値Ｓ_aoi、Ｓ_doi、Ｓ_imin、Ｓ_imax、Ｓ_omin、Ｓ_omax、Ｓ_dirを設定する。

〔数式３〕
Ｓ_aoi＝ＭＩＮ（｜Ｖ_oave−Ｖ_iave｜）・０．９
Ｖ_omax−Ｖ_imin＞Ｖ_imax−Ｖ_ominの場合、Ｓ₁＝ＭＩＮ（Ｖ_omax−Ｖ_imin）
Ｖ_omax−Ｖ_imin＜Ｖ_imax−Ｖ_ominの場合、Ｓ₂＝ＭＩＮ（Ｖ_imax−Ｖ_omin）
Ｓ_aoi＝ＭＩＮ（Ｓ₁、Ｓ₂）・０．９
Ｖ_oave＞Ｖ_iaveの場合、Ｓ_imin＝ＭＡＸ（Ｖ_iave）・１．１
Ｖ_oave＜Ｖ_iaveの場合、Ｓ_imax＝ＭＩＮ（Ｖ_iave）・０．９
Ｓ_omin＝ＭＩＮ（Ｖ_oave）・０．９
Ｓ_omax＝ＭＡＸ（Ｖ_oave）・１．１
Ｓ_dir＝ＭＩＮ（Ｖ_dir）・０．９

サンプル画像上においては、複数のサンプルを指定することが可能である。上記〔数式３〕においては、複数箇所選択された場合に、各画素ブロックで算出された値の最小値、最大値をそれぞれＭＩＮ、ＭＡＸとしている。したがって、１箇所しか指定されていない場合には、指定された画素ブロックの値だけが利用される。上記〔数式３〕に従って画素判定基準値を設定した場合、中央平均レベルＶ_oaveと周辺平均レベルＶ_iaveの大小関係により、Ｓ_imin、Ｓ_imaxは、どちらか一方しか設定されないため、同時に６つの画素判定基準値が設定されることになる。上記〔数式３〕では、いずれの画素判定基準値を算出する際においても、所定の演算を行った後、０．９または１．１を乗ずる演算を行っている。これは、指定されたサンプルと同様の目標物を漏れなく検出するため、抽出条件をやや緩めにするために行われるものである。したがって、乗じる係数を変化させることにより、抽出基準を厳しくしたり緩めたりすることが可能となる。この係数は、上記〔数式３〕に示すように、“０．９”、“１．１”とすることが望ましいが、状況に応じて変更することが可能である。

サンプル画像上においては、同時に複数のサンプルを指定することも可能である。同時に複数のサンプルが指定された場合には、指定されたサンプルと同様の目標物が全て検出されるようにするため、７つの画素判定基準値のそれぞれについて、一番緩やかな条件となるような値を設定する。

本システムでは、上記のようにして画素判定基準値を設定した場合に、探索対象領域が的確に設定されるかどうかをサンプル画像上でシミュレーションすることができる。具体的な処理としては、後述する探索領域設定手段６２による処理をサンプル画像に対して行い、探索対象領域と探索非対象領域を色分けして区分表示する。利用者は、これを見て画素判定基準値が正しく設定されたかどうかを確認することができる。例えば、サンプル画像上における目標物が探索対象領域に入っていない場合、利用者は、その目標物を新たに指定する。すると、画素判定基準値設定手段６１が、指定された箇所に対して、上記〔数式３〕に従った処理を実行して７つの画素判定基準値を求めた後、既に設定されている７つの画素判定基準値と比較して、基準が緩い方の画素判定基準値を正式な画素判定基準値として採用する。これにより、新たな画素判定基準値を用いることにより、既に指定されていた目標物に加え、新たに指定された目標物も探索対象に含めることが可能となる。

逆に、シミュレーションを行った結果、探索対象としたくない部分が探索対象領域として設定されてしまった場合、本システムでは、その部分を除外するように、画素判定基準値を補正することができる。具体的には、図３（ｂ）に示すように、目標物が全く存在しないような箇所が探索対象領域として設定されてしまっていることを発見した場合、利用者は、その部分を探索非対象とする箇所として設定する。図３（ａ）にも示したような中央暗部タイプ、中央明部タイプのように探索対象に含める部分と、探索非対象に含める部分の設定切り替えのためのユーザーインターフェースは、種々の形式のものを採用することができる。

利用者が、探索非対象とする箇所を指定すると、画素判定基準値設定手段６１は、指定された箇所から画素ブロックを抽出し、抽出した画素ブロックの画素に対して、以下の〔数式４〕に従った処理を実行し、既に設定されている７つの画素判定基準値との差分Ｄ_aoi、Ｄ_doi、Ｄ_imin、Ｄ_imax、Ｄ_omin、Ｄ_omax、Ｄ_dirを算出する。

〔数式４〕
Ｄ_aoi＝ＭＩＮ（｜Ｖ_oave−Ｖ_iave｜）−Ｓ_aoi
Ｖ_omax−Ｖ_imin＞Ｖ_imax−Ｖ_ominの場合、Ｄ₁＝ＭＡＸ（Ｖ_omax−Ｖ_imin）
Ｖ_omax−Ｖ_imin＜Ｖ_imax−Ｖ_ominの場合、Ｄ₂＝ＭＡＸ（Ｖ_imax−Ｖ_omin）
Ｄ_aoi＝ＭＩＮ（Ｄ₁、Ｄ₂）−Ｓ_aoi
Ｖ_oave＞Ｖ_iaveの場合、Ｄ_imin＝ＭＩＮ（Ｖ_iave）
Ｖ_oave＜Ｖ_iaveの場合、Ｄ_imax＝ＭＡＸ（Ｖ_iave）
Ｄ_omin＝ＭＩＮ（Ｖ_oave）−Ｓ_omin
Ｄ_omax＝Ｓ_omax−ＭＩＮ（Ｖ_oave）
Ｄ_dir＝ＭＡＸ（Ｖ_dir）−Ｓ_dir

サンプル画像上においては、複数の探索非対象箇所を指定することが可能である。上記〔数式４〕においては、複数箇所指定された場合に、各画素ブロックで算出された値の最小値、最大値をそれぞれＭＩＮ、ＭＡＸとしている。したがって、探索非対象箇所が１箇所しか指定されていない場合には、指定された画素ブロックの値だけが利用される。上記〔数式４〕に従って差分を算出した場合、中央平均レベルＶ_oaveと周辺平均レベルＶ_iaveの大小関係により、Ｄ_imin、Ｄ_imaxは、どちらか一方しか算出されないため、同時に６つの差分が算出されることになる。差分が算出されたら、画素判定基準値設定手段６１は、７つの差分の中で最小となるものを選択し、以下の〔数式５〕に従った処理を実行し、対応するものを画素判定基準値として設定する。

〔数式５〕
Ｄ_aoiが最小のとき、Ｓ_aoi´＝ＭＡＸ（｜Ｖ_oave−Ｖ_iave｜）・１．１
Ｄ_doiが最小のとき、Ｓ_doi´＝ＭＡＸ（Ｄ₁、Ｄ₂）・１．１
Ｄ_iminが最小のとき、Ｓ_imin´＝ＭＩＮ（Ｖ_iave）・０．９
Ｄ_imaxが最小のとき、Ｓ_imax´＝ＭＡＸ（Ｖ_iave）・１．１
Ｄ_ominが最小のとき、Ｓ_omin´＝ＭＡＸ（Ｖ_oave）・１．１
Ｄ_omaxが最小のとき、Ｓ_omax´＝ＭＩＮ（Ｖ_omax）・０．９
Ｄ_dirが最小のとき、Ｓ_dir´＝ＭＡＸ（Ｖ_dir）・１．１

上記〔数式５〕においては、探索非対象として指定された箇所全てにおける画素ブロックで算出された画素評価値等の最小値、最大値をそれぞれＭＩＮ、ＭＡＸとしている。以上の結果、画素判定基準値として、Ｓ_aoi、Ｓ_doi、Ｓ_imin、Ｓ_imax、Ｓ_omin、Ｓ_omax、Ｓ_dirのうち６つ（実際は５つ）と、Ｓ_aoi´、Ｓ_doi´、Ｓ_imin´、Ｓ_imax´、Ｓ_omin´、Ｓ_omax´、Ｓ_dir´のうち１つの計７つ（実際は６つ）が設定されることになる。

探索領域設定手段６２は、上記のような画素評価ルールが設定された状態で、探索領域の設定を行う。具体的には、探索対象画像の原点である（０，０）の画素を代表画素とする４×４の画素ブロックを抽出する。画素（０，０）が代表画素である場合、図２（ｂ）に示したような（０，０）〜（３，３）までの１６画素が抽出される。そして、探索領域設定手段６２は、図２（ａ）の画素配置に従って上記画素評価ルールを適用する。すなわち、画素（０，０）の画素値をＶ_O1、…画素（０，０）の画素値をＶ_O12、として１６画素全てを用いて、上記〔数式１〕に従った処理を実行し、上記〔数式２〕の条件を判定処理して、上記〔数式２〕の条件を全て満たす場合に、代表画素（０，０）を探索対象として設定する。上記〔数式２〕の条件を１つでも満たさなかった場合は、代表画素（０，０）を探索非対象として設定する。

画素（０，０）についての設定を終えたら、次に、探索領域設定手段６２は、図２（ｃ）に示すような画素（１，０）を代表画素とする４×４の画素ブロックに対して上記画素評価ルールを適用し、画素（１，０）を探索対象か探索非対象のいずれかに設定する。同様にして、探索領域設定手段６２は、探索対象画像の全ての画素について、探索対象か探索非対象のいずれかに設定する処理を行う。このような処理を行うと、最後の３列と３行に属する画素については、代表画素として処理が行われないが、画像全体から見るとほんの一部であり、また、探索領域設定処理は、後の探索処理の負荷を軽減するために行うものであるため、あまり問題にはならない。

探索領域として設定された画素には、それを示す情報が記録されることになる。探索対象画像の各画素が探索領域であるか否かの具体的な記録手法については、様々なものがあるが、本実施形態では、１画素の値を表現する８ビット中の１ビットを用いる。したがって、探索領域設定手段６２は、１画素２５６階調で表現された元の探索対象画像を読み込み、各画素の０〜２５５の値を０〜１２７の値に変換し、２〜８ビット目までに格納する。そして、探索領域設定手段６２は、１ビット目には、階調とは関係なく、探索対象領域であるか探索非対象領域であるかを示す値を設定する。したがって、本実施形態では、探索領域の設定と同時に、探索対象画像が２５６階調から１２８階調に変換されることになる。

探索対象画像上の全画素を代表画素として、探索対象か探索非対象かの設定が終わったら、次に、探索領域設定手段６２は、探索対象を画素ブロック単位で拡張する処理を行う。具体的には、探索対象とされた代表画素について、その代表画素に対応する画素ブロック内に含まれる４×４画素全てを探索対象に設定する。例えば、図４（ａ）に示すような、濃い網掛けが施された３つの画素が探索対象である場合、図４（ｂ）に示すような、薄い網掛けが施された画素が全て探索対象として設定される。

本実施形態では、画素ブロック内の画素値に基づいて上記〔数式２〕の条件を判断した結果、全てを満たした場合に、図４（ａ）に示したように、一旦代表画素のみを探索対象として設定する。そして、図４（ｂ）に示したように、代表画素が探索対象として設定された画素ブロック内の全画素を探索対象として拡大する。このように一旦代表画素だけを探索対象に設定することにより、探索対象領域と探索非対象領域の境界が滑らかになる。本発明では、代表画素を設けず、上記〔数式２〕の条件を全て満たした場合に、その画素ブロック内の全画素をまとめて探索対象とするような形態とすることも可能である。しかし、その場合は、探索対象領域と探索非対象領域の境界がギザギザになってしまう場合がある。

探索対象領域が設定されたら、探索領域設定部６０は、探索対象領域と探索非対象領域を色分け等により区分し、探索対象画像に重ねて画像表示装置に出力する。これにより、利用者は、探索対象画像における探索対象領域を一目で把握することが可能になる。このとき、探索対象画像の内容、目標物の特徴等によっては、絞込み範囲が狭い範囲で特定でき、そのまま探索結果として用いることも可能となる。したがって、ここまでの処理だけでも目標物検索システムとして利用することができる。

（３．テンプレート画像の準備）
次に、テンプレート画像の準備について説明する。まず、探索対象画像記憶部１０には、人工衛星により撮影された衛星画像が探索対象画像として記憶され、さらに上述のように、探索対象領域と探索非対象領域が設定される。本実施形態では、衛星画像として、Ａｄｏｂｅ社ＴＩＦＦ規格準拠のＧｅｏ−ＴＩＦＦ形式であり、画像データに地理情報（緯度経度情報など）が付加されたものを採用する。衛星画像には、輸送機関（航空機、船舶、自動車、電車など）、建築物、交通路（道路、線路など）などの目標物になり得るものが写っている。

この状態で、テンプレート準備部２０は探索対象画像記憶部１０に記憶された探索対象画像をソース画像の形式からワーク画像の形式に変換する。これは、探索の効率を上げるために行われるものである。具体的には、公知のヒストグラム平坦化技術を用いてワーク画像の形式に変換する。本実施形態では、ワーク画像をＲＸＹ形式（縦横の画素数と各画素のビット数という最小限のヘッダ情報と画素配列だけで構成されるＴＩＦＦ形式等に比べ極めてシンプルな画像ファイル形式で、ＲＡＷ形式とも呼ばれる）で作成する。テンプレート準備部２０は、この探索対象画像をサンプル画像として用いる。

続いて、テンプレート準備部２０は、ワーク画像形式に変換したサンプル画像としての探索対象画像を画面に表示し、テンプレート画像作成のための画像領域の指定を利用者に促す。これに対して、利用者は、画面に表示された探索対象画像において、多角形形状（本実施形態では４頂点で構成される自由な四角形形状）の画像領域の輪郭を指定する。これは、マウス操作により、四角形形状の４つの頂点を指定することにより行われる。例えば、自動車を目的物とする場合、利用者は、衛星画像に写っている自動車を見つけ、その自動車を含む有効画像領域を指定することになる。具体的にはテンプレート作成手段２１が、画面上に初期状態として正方形形状の四角形を表示し、利用者はいずれかの頂点を画面上で選択し、前記頂点を所望の位置までドラッギングさせることにより頂点を指示し、４つの頂点に対して順次同様な操作を行なう。

テンプレート作成手段２１が、画面上に発生させる四角形は二重の四角形であり、外側四角形を構成する各辺と内側四角形を構成する各辺の幅は所定の値に設定されている。したがって、利用者が、外側四角形か内側四角形のいずれかの頂点をドラッギングにより移動させると、テンプレート作成手段２１は、それに応じて他方の四角形の頂点も両四角形の各片の距離を保つように移動させる。指定が行われると、テンプレート作成手段２１は、図５（ａ）に示されるように、外側四角形の外側に外側四角形を３６０度回転させても、はみ出さないように外接する正方形形状（図５（ａ）の外側正方形形状）を同時に生成する。従って、初期状態では画面上に３重の正方形が表示されており、利用者が内側の２重正方形形状を所望の四角形に変形させると、それに連動して最外側正方形形状が正方形を維持しながら変化する。更に、利用者の負担を軽減するため、利用者が内側の四角形形状を変形させると、テンプレート作成手段２１は、それに連動して外側の四角形形状を、内側の四角形形状を所定の幅だけ外側にオフセットさせた形状に自動的に定義するようにしている。即ち、利用者は内側の四角形形状のみを主に定義すればよく、外側の四角形形状については自動設定される形状に対して補正を施す程度で良い。

利用者が、表示された探索対象画像内において、所定の四角形形状の指定を完了すると、テンプレート作成手段２１は、探索対象画像内から指定された四角形形状の外側に定義された正方形形状に基づいてトリミングする。さらに、テンプレート作成手段２１は、テンプレート画像内で利用者が指定した外側四角形形状の外側部分である外側マスク領域（マスク階調値０）と、外側四角形形状と内側四角形形状の間である内側マスク領域（マスク階調値１）および有効画像領域（マスク階調値２）にそれぞれマスク値を設定する。この際、内側マスク領域および有効画像領域の画素階調値に対しては、変更を行わず、外側マスク領域の画素階調値は一律０に変更する。この結果、正方形サイズのテンプレート画像が得られ、その内部は、有効画像領域、内側マスク領域、外側マスク領域で構成される。具体的には、図５（ｂ）に示されるように、有効画像領域にはマスク値“２”、内側マスク領域にはマスク値“１”、外側マスク領域にはマスク値“０”が設定される。また、有効画像領域および内側マスク領域には画素値“０”〜“１２７”が設定されるが、外側マスク領域には画素値は設定されない（全ての画素値が“０”にクリアされる）。有効画像領域および内側マスク領域の画素値が“０”〜“１２７”に設定されるのは、探索対象領域設定後の探索対象画像の階調に合わせたためである。

さらに、テンプレート準備部２０は、多角形形状およびその内部だけを所定の角度で回転させたパターンもテンプレート記憶部３０に登録する。本実施形態では、角度を４５度単位で回転させ、８つの異なる傾き角度に従ったテンプレート画像を作成する。角度が異なる８つのテンプレート画像を図６に示す。このとき、外側の正方形形状は利用者が指定した多角形を３６０度回転させても、はみ出さないように定義しているため、前記８種類の角度の多角形は同一サイズのテンプレート画像で表現することができる。本実施形態では、角度を異ならせたパターンは同一のテンプレート画像として同一のテンプレートＩＤで登録する。したがって、図６に示したテンプレート画像は、全て同一のテンプレートＩＤを持ち、各パターンは、その角度で特定する。本実施形態では、テンプレートＩＤを８個登録可能となっている。この場合、８個のテンプレート画像について、それぞれ８つの角度で登録されるので、全部で６４パターンが登録されることになる。

本実施形態では、テンプレート画像と探索対象画像とのマッチング処理を行う際、テンプレート画像の各角度パターンに依存しない処理と、各角度パターンに依存する処理を行う。このうち、各角度パターンに依存しない処理は、全角度パターンに共通の有効画像領域である共通有効画像領域に対して実行する。共通有効画像領域は、例えば、図７（ａ）に示すような角度パターンのテンプレート画像の場合、図７（ｂ）に示すような全ての角度パターンにおける内側四角形に囲まれた領域となる。すなわち、共通有効画像領域は、図７（ｃ）に示したような領域となる。実際には、テンプレート作成手段２１が各角度パターンにおける有効画像領域に属する画素（マスク値が“２”である画素）を認識し、全ての角度パターンで有効画像領域に属する画素にマスク値“３”を付与することにより、共通有効画像領域を設定する。

テンプレート画像が登録されたら、テンプレート準備部２０は、探索対象画像上の適合とすべき対象物を指定するように促す。利用者が、適合とすべき対象物を指定すると、指定された位置付近の画素値を利用して、判定基準値の算出およびテンプレート画像の更新を行う。この判定基準値の算出およびテンプレート画像の更新について図８のフローチャートを用いて説明する。

まず、利用者は、画面に表示された探索対象画像の内容を見て、探索対象に含めたいと考える対象物を見つけ、その対象物上の点を指定する（Ｓ１０１）。図９（ａ）は、対象物を指定する際の探索対象画像の様子を示す図である。探索対象画像中で、利用者が探索対象に含めたい対象物上の点を指定すると、図９（ａ）に示すように、テンプレート画像の正方形形状の外枠および二重の多角形形状が表示される。例えば、衛星画像の中から自動車を検出したい場合、衛星画像中の１つの自動車の上の点を指定する。

続いて、テンプレート準備部２０は、指定された位置を基点にしてテンプレート画像とのマッチング処理を行う（Ｓ１０２）。この処理を行う理由は、図９（ａ）のように、利用者が画面上で指定した点は視覚的な判断によるもので曖昧性に富むため、この点を基にそのまま判定基準値を算出すると、不適切な探索が行なわれる可能性が高いためである。そこで、本処理では利用者が指示した点を最適な位置に補正するものである。具体的には、図９（ｂ）に示すように、指定された探索対象画像上の基点（Ｘｃ、Ｙｃ）とテンプレート画像の中心位置を合わせ、そこからテンプレート画像をｘ方向，ｙ方向に１画素単位で、設定された範囲内において移動させながら、マッチング処理を行う。このマッチング処理の詳細については後述する。同一位置において、角度を変えた８通りのテンプレート画像に対してマッチング処理を行い、最も類似度の高い角度のテンプレート画像を選出するとともにその探索対象画像の画素位置を最適位置として特定する。

次に、判定基準値設定手段２２が、探索対象画像上の対象物が適合判定されるように判定基準値の設定を行う（Ｓ１０３）。判定基準値の設定が終わったら、テンプレート更新手段２３が、最適位置における探索対象画像の画素ブロックとテンプレート画像を合成し、その合成画像でテンプレート画像を更新する（Ｓ１０４）。

次に、上記Ｓ１０２におけるマッチング処理の詳細について、図１０のフローチャートを用いて説明する。図１０に示したＳ２０１〜Ｓ２０６の処理のうち、Ｓ２０１、Ｓ２０２はテンプレート画像内の多角形の角度に依存しない処理であり、Ｓ２０３〜Ｓ２０６はテンプレート画像内の多角形の角度に依存する処理である。角度に依存しないＳ２０１、Ｓ２０２の処理は、１つのテンプレート画像について１回だけ、共通有効画像領域に対して実行されるが、角度に依存するＳ２０３〜Ｓ２０６の処理は、各角度のパターンの有効画像領域に対して実行されるため、１つのテンプレート画像について８回実行されることになる。マッチング処理を行う際は、まず、類似性評価値となる各変数の初期化を行う。具体的には、角度に依存しない輝度ヒストグラム（階調ヒストグラム）の差分の最小値、角度に依存しない輝度分散（階調分散）の差分の最小値、角度に依存する輝度ヒストグラムの差分の最小値、角度に依存する輝度分散の差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の６つの変数（類似性評価値）を初期化する。本実施形態では、これら６つの変数は全て０〜１０００の値をとり、正規化相関係数については、初期値を最小値０とし、他の５つの変数については、初期値を最大値１０００とする。

各変数の初期化が終わったら、角度に依存しない輝度ヒストグラムの照合を行う（Ｓ２０１）。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y)（0〜127）、マスク値をMt(x,y) （0,1,2,3）、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy)(1〜127)とする。S×S 画素の範囲内で、Mt(x,y)＝３となる画素(x,y)において、V(x,y)/8の値に基づく探索対象画像の１６階調の輝度ヒストグラムH(v) (0≦v≦15)、およびVt(x,y)/8の値に基づくテンプレート画像の１６階調の輝度ヒストグラムHt(v) (0≦v≦15)を算出する。さらに、以下の〔数式６〕に従った処理を実行して輝度ヒストグラム差分、すなわち輝度ヒストグラム同士のユークリッド距離を算出する。

〔数式６〕
（輝度ヒストグラム差分）＝１０００・Σ _v=0,15｜H(v)−Ht(v)｜／ Σ _v=0,15（H(v)+Ht(v)）

続いて、輝度分散の照合を行う（Ｓ２０２）。具体的には、Ｓ２０１と同様、テンプレート画像のサイズをS×Sとし、S×S 画素の範囲内で、Mt(x,y)＝３となるＣ個の画素(x,y)を用いて、探索対象画像の平均階調値Vaとテンプレート画像の平均階調値Vatを以下の〔数式７〕に従った処理を実行して算出する。

〔数式７〕
Va＝ Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y) =3} V(x+Xc+dx,y+Yc+dy)／ Ｃ
Vat＝ Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y) =3} Vt(x,y)／ Ｃ
C= Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y) =3} １

そして、S×S 画素の範囲内で、Mt(x,y)＝３となる画素(x,y)を用いて、探索対象画像の輝度分散値Dとテンプレート画像の輝度分散値Dtを以下の〔数式８〕に従った処理を実行して算出する。

〔数式８〕
D＝ Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y) =3} ｜V(x+Xc+dx,y+Yc+dy) −Va｜／Ｃ
Dt＝ Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y) =3} ｜ Vt(x,y) −Vat｜／Ｃ

そして、S×S 画素の範囲内で、Mt(x,y)＝３となる画素(x,y)を用いて、周知の計算式である以下の〔数式９〕に従った処理を実行して輝度分散差分を算出する。

〔数式９〕
（輝度分散差分）＝１０００・｜D−Dt｜／（D＋Dt）

上述のようにＳ２０１、Ｓ２０２は、角度に依存しない処理である。したがって、各テンプレート画像について１回だけ行えばよい。共通有効画像領域に対するＳ２０１、Ｓ２０２の処理は、いずれの角度パターンの画素値を用いても良いが、本実施形態では、代表して０度のパターンの画素値を用いている。ここからのＳ２０３〜Ｓ２０６は、角度に依存する処理であるため、同一ＩＤをもつテンプレート画像についても、角度別に処理を行う。Ｓ２０３〜Ｓ２０６の処理において、各角度パターンのテンプレート画像上で処理対象となるのは、有効画像領域と内側マスク領域の画素である。

次に、角度に依存する輝度ヒストグラムの照合を行う（Ｓ２０３）。具体的には、S×S 画素の範囲内で、Mt(x,y) >0となる画素(x,y)において、V(x,y)/8の値に基づく探索対象画像の１６階調の輝度ヒストグラムH(v) (0≦v≦15)、およびVt(x,y)/8の値に基づくテンプレート画像の１６階調の輝度ヒストグラムHt(v) (0≦v≦15)を算出する。さらに、上記〔数式６〕に従った処理を実行して輝度ヒストグラム差分、すなわち輝度ヒストグラム同士のユークリッド距離を算出する。

次に、角度に依存する輝度分散の照合を行う（Ｓ２０４）。具体的には、S×S 画素の範囲内で、Mt(x,y) >0となるＣ個の画素(x,y)を用いて、探索対象画像の平均階調値Vaとテンプレート画像の平均階調値Vatを上記〔数式７〕に従った処理を実行して算出する。そして、S×S 画素の範囲内で、Mt(x,y) >0となる画素(x,y)を用いて、上記〔数式９〕に従った処理を実行して輝度分散差分を算出する。

次に、グレー階調画素差分の算出を行う（Ｓ２０５）。具体的には、上記と同様に、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y) （0〜127）、マスク値をMt(x,y)（0,1,2,3）、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy) (0〜127)とする。ここで、シャドウ側をハイライト側に上げ、中間調部をシャドウ側に落とすような以下の階調変換を施す。Vt(x,y)≧64のとき、Vt'(x,y)=Vt(x,y)-64、 Vt(x,y)<64のとき、Vt'(x,y)=63-Vt(x,y) 。V(x,y) ≧64のとき、V'(x,y)=V(x,y)-64、 V(x,y)<64のとき、V'(x,y)=63-V(x,y)。 さらに、S×S 画素の範囲内で、Mt(x,y) >0となるＣ個の画素(x,y)を用いて、以下の〔数式１０〕に従った処理を実行して探索対象画像とテンプレート画像の画素差分であるグレー階調画素差分を算出する。

〔数式１０〕
（グレー階調画素差分）＝ １０００・Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y)≠0} ｜V'(x+Xc+dx,y+Yc+dy)−Vt'(x,y)｜ ／ （ V'(x+Xc+dx,y+Yc+dy)＋Vt'(x,y) ）

次に、正規化相関係数の算出を行う（Ｓ２０６）。具体的には、上記と同様に、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y)（0〜127）、マスク値をMt(x,y)（0,1,2,3）、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy) (1〜127)とする。S×S画素の範囲内で、Mt(x,y) >0となるＣ個の画素(x,y)を用いて、探索対象画像の平均階調値Vaとテンプレート画像の平均階調値Vatを上記〔数式７〕（ただし、Mt(x,y) >0）に従った処理を実行して算出する。

そして、S×S 画素の範囲内で、Mt(x,y) >0となる画素(x,y)を用いて、周知の計算式である以下の〔数式１１〕に従った処理を実行して正規化相関係数を算出する。ただし、正規化相関係数が負値（負の相関）となる場合は０（相関無し）として扱う。

〔数式１１〕
（正規化相関係数）＝ １０００・Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y) ≠0} (V(x+Xc+dx,y+Yc+dy)−Va)・(Vt(x,y)−Vat) ／ [Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y) ≠0} (V(x+Xc+dx,y+Yc+dy)−Va)²・ Σ _y=0,S-1 Σ _{x=0,S-1 | Mt(x,y) ≠0} (Vt(x,y)−Vat)²]^1/2

続いて、各変数の更新を行う（Ｓ２０７）。具体的には、Ｓ２０１において算出した輝度ヒストグラム差分が、現在設定されている輝度ヒストグラム差分の最小値より小さく、かつＳ２０６において算出した正規化相関係数が現在設定されている正規化相関係数の最大値より大きい場合、角度に依存しない輝度ヒストグラムの差分の最小値、角度に依存しない輝度差分の最小値、角度に依存する輝度ヒストグラムの差分の最小値、角度に依存する輝度差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の６つの変数（類似性評価値）を今回算出した値に置き換える。そして、位置、テンプレートＩＤ、角度の値を、このときの位置、テンプレートＩＤ、角度の値で更新する。

各変数の更新が終わったら、１つのテンプレート画像について、全ての角度のパターンの処理が終わったかどうかを判断する（Ｓ２０８）。全ての角度のパターンについて処理が終わっていない場合は、Ｓ２０３に戻って、角度に依存する輝度ヒストグラムの差分、角度に依存する輝度差分、グレー階調画素差分、正規化相関係数の算出を行う。全ての角度のパターンについて処理が終わった場合は、Ｓ２０９に進む。したがって、本実施形態では、１つのテンプレート画像につき、８通りの角度について、Ｓ２０３〜Ｓ２０７の処理が繰り返される。

１つのテンプレート画像の全角度について処理が終わったら、全てのテンプレート画像について処理が終わったかどうかを判断する（Ｓ２０９）。全てのテンプレート画像について処理が終わっていない場合は、Ｓ２０１〜Ｓ２０８の処理を繰り返す。全てのテンプレート画像について処理が終わった場合は、Ｓ２１０に進む。したがって、本実施形態では、１つの画素位置につき、８個のテンプレート画像について、Ｓ２０１〜Ｓ２０８の処理が繰り返される。

全てのテンプレート画像について処理が終わったら、全ての画素位置について処理が終わったかどうかを判断する（Ｓ２１０）。全ての画素位置とは、指定された基点（Ｘｃ、Ｙｃ）からｘ軸、ｙ軸方向にそれぞれ所定画素の範囲に含まれる画素の位置を意味する。所定画素の範囲としては、テンプレート画像のｘ軸、ｙ軸方向のそれぞれ５％程度が設定されている。例えば、テンプレート画像が１００×１００画素である場合、５×５の計２５画素の位置について、図９に示した処理が繰り返される。全ての画素位置について処理が終わっていない場合は、Ｓ２０１〜Ｓ２０９の処理を繰り返す。全ての画素位置について処理が終わった場合は、各変数を出力して、マッチング処理を終了する。各変数は、各テンプレート画像単位で出力される。

次に、Ｓ１０３の判定基準値の設定の詳細について説明する。判定基準値は、判定基準値設定手段２２により、マッチング処理において出力された各変数に所定の値を乗じることにより設定される。本実施形態では、正規化相関係数については、出力された正規化相関係数の最大値に０．９を乗じた値を判定基準値とし、他の５つの変数については、出力された値に１．１を乗じた値を判定基準値としている。具体的には、以下の〔数式１２〕に従った処理を実行して算出する。

〔数式１２〕
（角度非依存の輝度ヒストグラム差分の判定基準値）＝（角度非依存の輝度ヒストグラム差分の最小値）×１．１
（角度非依存の輝度分散差分の判定基準値）＝（角度非依存の輝度分散差分の最小値）×１．１
（角度依存の輝度ヒストグラム差分の判定基準値）＝（角度依存の輝度ヒストグラム差分の最小値）×１．１
（角度依存の輝度分散差分の判定基準値）＝（角度依存の輝度分散差分の最小値）×１．１
（グレー階調画素差分の判定基準値）＝（グレー階調画素差分の最小値）×１．１
（正規化相関係数の判定基準値）＝（正規化相関係数の最大値）×０．９

続いて、Ｓ１０４のテンプレートの更新の詳細について説明する。Ｓ１０４では、テンプレート更新手段２３が、各テンプレート画像を更新する。具体的には、各テンプレート画像の最適位置における探索対象画像上の画素ブロックを用いて、各テンプレート画像の各角度の画像を更新する。まず、各テンプレート画像のうち、最適角度のものと探索対象画像上の画素ブロックの合成を行う。テンプレート画像において外側マスク領域は合成を行わないので、テンプレート画像中の内側マスク領域および有効画像領域内部についてのみ合成を行う。

合成の具体的な手法としては、内側マスク領域および有効画像領域内部の各画素単位で整数の擬似乱数を順次発生させ、所定の数が出たら、探索対象画像上の画素ブロックの対応する画素の値に置き換える。例えば、奇数が出たら、探索対象画像上の画素ブロックの対応する画素に置き換えるように設定しておけば、約半分の確率で内側マスク領域および有効画像領域内部の画素が探索対象画像の画素に置き換えられる。図１１は、探索対象画像とテンプレート画像の合成によりテンプレート画像を更新する例を示す図である。図１１の例では、説明の便宜のため、画像サイズを５×５画素に簡略化している。図１１（ｂ）はテンプレート画像であり、Ｔは外側多角形内部（有効画像領域および内側マスク領域）の画素を示し、空白は外側マスク領域の画素を示している。図１１（ａ）はテンプレート画像に対して最適位置と判断された探索対象画像上の画素ブロックであり、Ｗは探索対象画像上の画素を示している。この２つの画像に上述のような合成処理を施した結果、図１１（ｃ）に示すように、テンプレート画像の内側マスク領域および有効画像領域の画素Ｔのうち約半数が探索対象画像の画素Ｗに置き換えられた合成画像が得られる。この合成画像が、更新されたテンプレート画像として登録される。なお、乱数の発生方式は処理を行う度に異なる系列になるように、シーズを毎回変更する。

最適角度のパターンについて、更新処理が終わったら、他の角度のパターンについても更新を行う。他の角度のパターンについては、最適角度との角度の差を求め、その角度だけ探索対象画像上の画素ブロックを回転し、有効画像領域内部の各画素単位を回転した探索対象画像上の画素ブロックの対応する画素に置き換える。このようにして、全ての角度についてテンプレート画像が更新される。あらかじめ用意した全てのテンプレート画像に対して同様の処理を行うことにより、全てのテンプレート画像を更新する。図１２はテンプレート画像の更新の様子を示す図である。図１２に示すように、探索対象画像上における最適位置の画素ブロックを用いて、全ての角度の画像を更新する。

（４．探索処理）
以上のようにして、テンプレート画像の準備が完了したら、準備されたテンプレート画像を用いて、目標物探索部４０が目標物の探索を行う。この目標物の探索処理について図１３のフローチャートを用いて説明する。利用者が目標物探索処理を指示すると、目標物探索部４０の角度非依存類似性判断手段４１、角度依存類似性判断手段４２が連携して、順次マッチング処理を行う（Ｓ３０１）。具体的には、探索対象画像中の始点画素位置から順次パターンマッチング処理を実行し、類似判定する位置を見つける。

図１４は、順次マッチング処理の概略を示す図である。順次マッチング処理は、最初に、探索対象画像中の始点画素位置（０，０）を起点として（Ｓ−１，Ｓ−１）までのＳ×Ｓ個の正方形状の画素ブロックと、テンプレート画像との比較を行い、（１，０）を起点とする正方形領域、（２，０）を起点とする正方形領域…というように、Ｘ方向スキャン範囲に１画素づつ移動させて比較を行っていき、ｘ軸方向について終了したら、Ｙ方向スキャン範囲に１画素分移動し、（０，１）を起点とする正方形領域、（１，１）を起点とする正方形領域…というように順次探索対象画像全体についてテンプレート画像との比較を行っていく。

各画素位置におけるマッチング処理は、同一ＩＤのテンプレート画像の全８個の角度パターンのうちいずれか１つの角度パターンとのマッチングを行う角度非依存テンプレートマッチングと、同一ＩＤのテンプレート画像のうちの全８個の角度パターンとのマッチングを行う角度依存テンプレートマッチングとに分けて行われる。角度非依存テンプレートマッチングで不適合と判断された場合は、角度依存テンプレートマッチングを行うことなく、次の画素位置に移動する。

画素位置を特定した場合の順次マッチング処理の詳細を図１５のフローチャートに示す。まず、Ｓ１０２のマッチング処理と同様、類似性評価値となる各変数の初期化を行う。具体的には、角度に依存しない輝度ヒストグラムの差分の最小値、角度に依存しない輝度差分の最小値、角度に依存する輝度ヒストグラムの差分の最小値、角度に依存する輝度差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の６つの変数（類似性評価値）を初期化する。探索処理で用いる６つの類似性評価値も全て０〜１０００の値をとり、正規化相関係数については、初期値を最小値０とし、他の５つの変数については、初期値を最大値１０００とする。

類似性評価値の初期化が行われたら、まず、その画素位置における探索対象領域の確認を行う（Ｓ４００）。最初の画素位置は（０，０）であるので、ここから（Ｓ−１、Ｓ−１）の範囲におけるＳ×Ｓ個の各画素について、探索対象領域として設定されているかどうかを確認する。本実施形態では、各画素の１ビット目の値により探索領域を設定しているため、この値を確認することにより、探索領域であるか非探索領域であるかを判断する。（０，０）を起点とするＳ×Ｓ画素の過半数が探索非対象領域である場合には（１ビット目が０である画素の個数＞Ｓ×Ｓ／２）、次の画素位置（１，０）に移動し（不適合終了）、Ｓ４００の探索対象領域の確認を行う。このＳ４００における処理により、探索非対象領域に対しては、Ｓ４０１以降の処理を行わないことになり、全体としての探索処理の効率化が図られる。

Ｓ４００において、１画素でも探索対象領域として設定された画素が存在する場合は、輝度ヒストグラムの照合を行う（Ｓ４０１）。具体的には、上記Ｓ２０１と同様に、〔数式６〕に従った処理を実行して輝度ヒストグラム差分を算出する。そして、この輝度ヒストグラム差分と、Ｓ１０３で設定した判定基準値の比較を行い、判定基準値より大きい場合は、不適合となる。判定基準値と等しい場合は、どちらになるように設定しておいても良いが、本実施形態では、不適合と判断するよう設定している。これは、他の類似性評価値についても同様である。なお、不適合とは、類似性がないことを意味する。不適合となった場合は、現在利用しているテンプレート画像では適合しないと判断し、全てのテンプレート画像との処理を終えたかどうかを判断する（Ｓ４１１）。全てのテンプレート画像との処理が終了していない場合は、別のテンプレート画像に変更して（Ｓ４１２）、Ｓ４００に戻る。

Ｓ４０１において、輝度ヒストグラム差分が判定基準値より小さい場合は、輝度分散の照合を行う（Ｓ４０２）。具体的には、上記Ｓ２０２と同様に、〔数式９〕に従った処理を実行して輝度分散差分を算出する。そして、この輝度分散差分と、Ｓ１０３で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、Ｓ４０１で不適合となった場合と同様である。Ｓ４０１、Ｓ４０２の処理は、上記Ｓ２０１、Ｓ２０２の処理と同様、共通有効画像領域に対して行われる。Ｓ４０１、Ｓ４０２の処理は、角度に依存しない処理であるため、それぞれテンプレート画像と照合して１回でも不適合であれば、別のテンプレート画像との処理に移行することになる。

Ｓ４０２において、輝度分散差分が判定基準値より小さい場合は、角度に依存する輝度ヒストグラムの照合を行う（Ｓ４０３）。具体的には、上記Ｓ４０１と同様に、〔数式６〕に従った処理を実行して輝度ヒストグラム差分を算出する。ただし、Ｓ４０１、Ｓ４０２の処理とは異なり、同一のテンプレート画像について全ての角度に対して処理を行う。角度に依存する輝度ヒストグラムは、最小のものに更新され、そのときの角度が記録される。そして、全ての角度に対して輝度ヒストグラム差分の算出が終わったら（Ｓ４０４）、最小となった輝度ヒストグラム差分と、Ｓ１０３で設定した判定基準値の比較を行い、輝度ヒストグラム差分が判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、Ｓ４０１で不適合となった場合と同様である。

角度に依存する輝度ヒストグラムで適合となった場合は、角度に依存する輝度分散の照合を行う（Ｓ４０５）。具体的には、上記Ｓ４０２と同様に、〔数式９〕に従った処理を実行して輝度分散差分を算出する。ただし、Ｓ４０１、Ｓ４０２の処理とは異なり、同一のテンプレート画像について全ての角度に対して処理を行う。角度に依存する輝度分散差分は、最小のものに更新され、そのときの角度が記録される。そして、全ての角度に対して輝度分散差分の算出が終わったら（Ｓ４０６）、最小となった輝度分散差分と、Ｓ１０３で設定した判定基準値の比較を行い、輝度分散差分が判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、Ｓ４０１で不適合となった場合と同様である。

角度に依存する輝度ヒストグラムで適合となった場合は、グレー階調画素差分の算出を行う（Ｓ４０７）。具体的には、上記Ｓ２０５と同様に、〔数式１０〕に従った処理を実行してグレー階調画素差分を算出する。グレー階調画素差分の算出処理においても、同一のテンプレート画像について全ての角度に対して処理を行う。グレー階調画素差分は、最小のものに更新され、そのときの角度が記録される。そして、全ての角度に対してグレー階調画素差分の算出が終わったら（Ｓ４０８）、最小となったグレー階調画素差分と、Ｓ１０３で設定した判定基準値の比較を行い、グレー階調画素差分が判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、Ｓ４０１で不適合となった場合と同様である。

グレー階調画素差分で適合となった場合は、正規化相関係数の算出を行う（Ｓ４０９）。具体的には、上記Ｓ２０６と同様に、〔数式７〕〔数式１１〕に従った処理を実行して正規化相関係数を算出する。正規化相関係数の算出処理においても、同一のテンプレート画像について全ての角度に対して処理を行う。正規化相関係数は、最大のものに更新され、そのときの角度が記録される。そして、全ての角度に対して正規化相関係数の算出が終わったら（Ｓ４１０）、最大となった正規化相関係数と、Ｓ１０３で設定した判定基準値の比較を行い、正規化相関係数が判定基準値より大きい場合は適合となり、正規化相関係数が判定基準値以下の場合は不適合となる。

全テンプレート画像について処理が終わったら（Ｓ４１１）、全項目すなわち６つの類似性評価値全てが適合であるテンプレートがあるかどうかを判断する（Ｓ４１３）。全項目が適合であるテンプレートがある場合は、グレー階調画素差分が最小の場合と、正規化相関係数が最大の場合のテンプレートＩＤと、その角度が一致するかどうかを判断する（Ｓ４１４）。すなわち、Ｓ４０７およびＳ４０８におけるグレー階調画素差分の算出処理において最小値を与えるテンプレートおよび角度と、Ｓ４０９およびＳ４１０における正規化相関係数の算出処理において最大値を与えるテンプレートおよび角度とが各々一致し、前記一致するテンプレートがＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０５、Ｓ４０７およびＳ４０９において全て適合すると判断された場合は、適合終了となり、各変数、すなわちテンプレートＩＤ、画素位置（Ｘｃ、Ｙｃ）、角度、６つの類似性評価値を出力する。いずれかにおいて、不適合となる場合は、不適合終了となり、次の画素位置に対して、順次マッチング処理を行う。

図１５に示した順次マッチング処理においては、探索領域設定手段６２により、Ｓ４００の探索対象領域の確認、角度非依存類似性判断手段４１により、Ｓ４０１の角度に依存しない輝度ヒストグラムの照合、Ｓ４０２の角度に依存しない輝度分散の照合、角度依存類似性判断手段４２により、Ｓ４０３の角度に依存する輝度ヒストグラムの照合、Ｓ４０５の角度に依存する輝度分散の照合、Ｓ４０７のグレー階調画素差分の算出、Ｓ４０９の正規化相関係数の算出の計７つの適合性判定処理が行われるが、これらの適合性判定処理は、処理負荷が小さいものから順に行われるように設定されている。すなわち、本実施形態では、Ｓ４００の探索対象領域の確認が最も処理負荷が小さく、続いて角度に依存しない輝度ヒストグラムの照合が処理負荷が２番目に小さく、正規化相関係数の算出が最も処理負荷が大きい。これは、１つの処理で不適合と判定された場合に、全体として非類似と判断するという条件とすると、処理負荷が小さいものから先に行った方が効率が良いからである。特に、Ｓ４００の探索対象領域の確認はテンプレートと照合を行う必要がなく、順次マッチング処理の対象となる領域内で探索領域設定手段６２により設定された画素をカウントするだけでよいため、これ以降の順次マッチング処理のいずれよりも処理負荷が小さくなり、探索領域設定手段６２により設定される画素の割合は一般に１０％以下であるため、９０％強の領域においてこれ以降の順次マッチング処理を実行せずに不適合と判断できる。続いて順次マッチング処理の中で、角度に依存する輝度ヒストグラムの照合、角度に依存する輝度分散の照合、グレー階調画素差分の算出、正規化相関係数の算出については、各角度について実行するため、１つの角度についてのみ実行する角度に依存しない輝度ヒストグラムの照合、角度に依存しない輝度分散の照合に比べて処理負荷は格段に大きくなる。また、角度に依存する処理の中でも、輝度ヒストグラム、輝度分散のように画像全体で１つの値を算出し、照合する処理は、グレー階調画素差分、正規化相関係数のように、画素単位で照合する処理に比べて処理負荷が小さいため、先に行うようにし、全体としての処理負荷を軽減している。

Ｓ３０１の順次マッチング処理が適合終了となったら、次に、目標物探索部４０は、局所マッチング処理を行う（Ｓ３０２）。Ｓ３０１の順次マッチング処理は、探索対象画像全体における目標物の大まかな位置を探索するのに対し、Ｓ３０２の局所マッチング処理は、目標物の詳細な位置を探索する。具体的には、順次マッチング処理で最適と判断された位置（Ｘｃ、Ｙｃ）を起点に、画素スキャン進行方向（右方向、下方向）に所定の微小幅（ΔＸ、ΔＹ）だけ動かしながらテンプレートマッチングを実行し、６つの類似性評価値を最小値、最大値に更新し、そのときのテンプレートＩＤ、画素位置（Ｘｍ、Ｙｍ）、角度Ａｍを出力する。マッチング処理の詳細は、図１５に示した順次マッチング処理とは異なり図８のＳ１０２のマッチング処理、具体的には図１０に示される処理と同じである。順次マッチング処理はある位置（Ｘｃ，Ｙｃ）で適合するか否かだけを判定すれば良かったが、局所マッチング処理は適合判定される微小範囲内で、更に最良の条件で適合する位置を探索する必要があるためである。

局所マッチング処理が終了したら、目標物探索部４０の探索結果出力手段４３が、探索結果の出力を行う（Ｓ３０３）。具体的には、テンプレートＩＤ、位置（Ｘｍ、Ｙｍ）、角度Ａｍ、および６つの類似性評価値をリスト出力する。

続いて、検出目標物消去手段４４が、検出領域の消去を行う（Ｓ３０４）。具体的には、探索対象画像において、最適位置におけるテンプレート画像の図５で示した有効画像領域内部（内側多角形内部）に相当する部分を消去する。すなわち、有効画像領域内部に位置する探索対象画像上の画素の値を全て０（探索対象を示す１ビット目は変更せず、２〜８ビット目のビット値を全て０）にセットする。図１６は、探索対象画像上における探索の結果の最適位置と、消去された領域を示す図である。探索の結果、探索対象画像上の目標物に対して、図１６（ａ）に示すような位置がテンプレート画像の内側多角形と外側多角形の最適位置となった場合、図１６（ｂ）に示すように、探索対象画像上における有効画像領域（内側多角形内部）に相当する部分が消去される。図１６（ｂ）においては、外側多角形を点線で示しているが、仮に外側多角形の内部、すなわち有効画像領域内部に加えて内側マスク領域を消去すると、隣接する目標物の一部を消去してしまうことになり、隣接する目標物の検出が困難となる。このように、テンプレート画像の内側多角形内部に対応する領域を消去した場合でも、本探索処理終了後に探索位置を探索対象画像上でグラフィカルに表示する要求に応えるため、目標物探索部４０は、消去前のオリジナルの探索対象画像をバックアップ保存する。

Ｓ３０１〜Ｓ３０４の処理は、探索対象領域上の全画素に対して行われる。その際、Ｓ３０４において、有効画像領域の内部に対応する領域が消去されるため、その付近の画素に対して順次マッチング処理を行っても類似判定されることはなく、１つの目標物を重複して見つけてしまうことを防ぐことができる。一方、角度依存テンプレートマッチングで利用される内側マスク領域に対応する探索対象画像上の領域は消去されないため、隣接する目標物を消去するのを防ぐことができる。

Ｓ３０３において出力された結果は、上述のように、探索結果出力手段４３により探索結果として出力される。具体的には、検出された目的物の位置・方角をリスト出力する。この場合、位置については、画素位置を衛星画像が保有する緯度経度の情報に変換して出力する。また、探索画像上に検出した目的物の位置をグラフィカルに示すことも可能である。この場合、探索された箇所が全て消去されているため、バックアップ保存されたオリジナルの探索対象画像を再ロードする必要がある。その上に、指定の位置に内側多角形形状の輪郭線を指定の角度で回転させてオーバーレイ表示させ、検出された目的物の位置・方角を明示するようにする。Ｓ３０４の検出領域消去処理を行っても、重複する結果が存在する場合には、人手により１つを残して他は削除するような操作が行なわれる。

探索結果出力手段４３は、リスト出力以外の形態で探索結果を出力することも可能である。本実施形態では、リスト出力を行うとともに、目標物の検出位置に対応した内側四角形形状を画像上に配置する出力も行う。図１７は、探索結果出力手段４３が出力した探索済み画面の一例を示す図である。長方形状の多数の枠は、テンプレート画像の内側四角形形状に対応し、目標物が検出された箇所を示すものである。また、濃い網掛けは、探索対象領域を示しており、その他は、探索非対象領域を示している。図１７から明らかなように、長方形状の枠は、探索対象領域にだけ存在している。これは、探索非対象領域においては、探索を行わないためである。なお、実際には、探索結果出力手段４３は、カラー出力を行うため、探索対象領域を赤で出力し、長方形の枠を緑で出力する処理を行う。

上記実施形態では、探索時には、テンプレート画像については、その内容が更新されることなく利用される場合について説明したが、探索時においても、探索準備段階と同様、テンプレート画像の更新を行うようにしても良い。この場合、Ｓ３０２の局所マッチング処理の後、第２のテンプレート更新手段４５が、Ｓ１０４と同様の処理を実行する。具体的には、Ｓ３０２で決定された画素位置（Ｘｍ、Ｙｍ）の画素ブロックを用いて、Ｓ３０２で決定されたテンプレートＩＤで特定されるテンプレート画像の各角度の画像を更新する。ここでも、Ｓ１０４と同様、まず、各テンプレート画像のうち、Ｓ３０２で決定された最適角度のものと探索対象画像上の画素ブロックの合成を行う。テンプレート画像においてマスク領域は合成を行わないので、テンプレート画像中の有効画像領域と内側マスク領域についてのみ合成を行う。

合成の具体的な手法としては、図１１を用いて説明したように、Ｓ１０４と同様、外側多角形形状内部の各画素単位で整数の擬似乱数を順次発生させ、所定の数が出たら、探索対象画像上の画素ブロックの対応する画素の値に置き換える。最適角度のパターンについて更新処理が終わったら、第２のテンプレート更新手段４５が、他の角度のパターンについても更新を行うのもＳ１０４と同様である。なお、本実施形態では、第２のテンプレート更新手段４５は、目標物探索部４０の一部として機能するが、その具体的な機能は、テンプレート準備部２０内のテンプレート更新手段２３と同一であり、実際にはソフトウェアモジュールとして提供される。そのため、角度非依存類似性判断手段４１、角度依存類似性判断手段４２による処理の後、目標物探索部４０からの指示により、テンプレート更新手段２３がテンプレート画像の更新処理を実行するようにしても良い。この場合は、テンプレート更新手段２３が第２のテンプレート更新手段として機能することになる。

本発明に係る目標物検出システムの構成図である。 画素評価ルールが適用される画素ブロックおよび探索対象画像から抽出された画素ブロックを示す図である。 目標物が写っている探索対象画像の一例を示す図である。 探索対象の画素を拡張する処理を示す図である。 テンプレート画像領域と二重多角形形状の関係を示す図である。 ８つの角度パターンを有するテンプレート画像を示す図である。 テンプレート画像、各角度の有効画像領域、共通有効画像領域の関係を示す図である。 判定基準値の算出およびテンプレート画像の更新の処理概要を示すフローチャートである。 探索対象（サンプル）画像上における処理の様子を示す図である。 マッチング処理の詳細を示すフローチャートである。 探索対象（サンプル）画像とテンプレート画像の合成によりテンプレート画像を更新する例を示す図である。 テンプレート画像の更新の様子を示す図である。 探索処理の概要を示すフローチャートである。 順次マッチング処理の概略を示す図である。 順次マッチング処理の詳細を示すフローチャートである。 探索対象画像上における探索の結果の最適位置と、消去された領域を示す図である。 探索結果出力手段４３が出力した探索済み画面の一例を示す図である。

符号の説明

１０・・・探索対象画像記憶部
２０・・・テンプレート準備部
２１・・・テンプレート作成手段
２２・・・判定基準値設定手段
２３・・・テンプレート更新手段
３０・・・テンプレート記憶部
４０・・・目標物探索部
４１・・・角度非依存類似性判断手段
４２・・・角度依存類似性判断手段
４３・・・探索結果出力手段
４４・・・検出目標物消去手段
４５・・・第２のテンプレート更新手段
５０・・・探索結果記憶部
６０・・・探索領域設定部
６１・・・画素判定基準値設定手段
６２・・・探索領域設定手段

Claims (17)

1. 目標物を含むテンプレート画像を用いて、探索対象である探索対象画像から、目標物を検出するシステムであって、
   所定サイズの画素ブロックに対して、少なくとも２つ以上の画素群を定め、各々の画素群別に、あるいは異なる画素群間で所定の画素評価算出式、画素評価算出式により算出される画素評価値と画素判定基準値の関係による設定条件が画素評価ルールの一部として定義された状態において、目標物のサンプルが写っているサンプル画像上で、探索対象として含めるものとして指定された位置に対応する前記所定サイズの画素ブロックを抽出し、当該画素ブロックに対して前記画素評価算出式を用いて画素評価値を算出し、当該画素評価値に所定の演算を施すことにより画素判定基準値を算出して画素評価ルールを設定する画素判定基準値設定手段と、
   前記探索対象画像から、前記所定数の画素ブロックを順次抽出し、当該画素ブロックにおける画素を用いて前記画素評価算出式により画素評価値を算出し、当該画素評価値と前記画素判定基準値を比較し、比較結果が前記設定条件を満たすか否かに従って、前記抽出した画素ブロックにおける画素を、探索対象か探索非対象かのいずれかに設定する探索領域設定手段と、
   を有することを特徴とする目標物検出システム。
2. 請求項１において、
   前記設定された探索対象領域に対して、先頭画素位置から最終画素位置まで抽出位置を順次移動させながら、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、当該類似性評価値と前記設定された判定基準値と比較することにより類似性を判断する類似性判断手段と、
   前記類似性判断手段により類似性ありと判断された場合に、その際のテンプレート画像のＩＤ、前記探索対象画像上における画素ブロックの位置を特定する画素位置、前記テンプレート画像の回転角度を出力する探索結果出力手段と、
   をさらに有することを特徴とする目標物検出システム。
3. 請求項１または請求項２において、
   前記画素判定基準値設定手段は、さらに、前記サンプル画像上で、探索対象として含めないものとして指定された位置に対応する前記所定サイズの画素ブロックを抽出し、当該画素ブロックに対して前記画素評価算出式を用いて画素評価値を算出し、算出された画素評価値を利用して、前記探索対象として含めるものとして指定された位置に対応して算出された画素判定基準値を補正することを特徴とする目標物検出システム。
4. 請求項１から請求項３のいずれかにおいて、
   前記画素判定基準値設定手段が用いる画素ブロックは、中央画素群と周辺画素群の２つの画素群に分けられ、前記画素評価算出式、画素判定基準値、設定条件は、中央画素群が周辺画素群より明るいタイプと、中央画素群が周辺画素群より暗いタイプの２種類に対応したものであることを特徴とする目標物検出システム。
5. 請求項４において、
   前記画素ブロックは、Ｍ×Ｍ画素の正方形状であって、前記探索領域設定手段は、前記画素群として、中央の（Ｍ−２）×（Ｍ−２）画素の中央画素群と残りの周辺画素の周辺画素群の２つを定め、中央画素群の最小値、最大値、平均値をＶ_imin、Ｖ_imax、Ｖ_iave、周辺画素群の最小値、最大値、平均値をＶ_omin、Ｖ_omax、Ｖ_oaveとしたときの、前記画素評価値Ｖ_iave、Ｖ_oave、Ｖ_imax−Ｖ_omin、Ｖ_omax−Ｖ_imin、Ｖ_iave−Ｖ_oaveを算出し、画素評価値Ｖ_iave、Ｖ_oaveについては、それぞれ２種の画素判定基準値、画素評価値Ｖ_imax−Ｖ_omin、Ｖ_omax−Ｖ_imin、Ｖ_iave−Ｖ_oaveについては、それぞれ１種の画素判定基準値が設定されていることを特徴とする目標物検出システム。
6. 請求項１から請求項５のいずれかにおいて、
   前記探索領域設定手段は、前記探索対象画像から抽出した画素ブロック内の所定の一画素が探索対象である場合に、前記抽出した画素ブロック内の画素全てを探索対象として設定することを特徴とする目標物検出システム。
7. 請求項１から請求項６のいずれかにおいて、
   前記類似性判断手段は、
   前記探索対象画像に対して、先頭画素位置から最終画素位置まで抽出位置を順次移動させながら、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像の角度を回転させず、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素とを所定の照合方法で照合して、角度に依存しない類似性評価値を算出し、当該類似性評価値と事前に設定された判定基準値と比較することにより類似性を判断する角度非依存類似性判断手段と、
   前記角度非依存類似性判断手段で類似性ありと判断された場合に、前記テンプレート画像を所定の角度で回転させながら、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素とを所定の照合方法で照合して類似性評価値を算出し、事前に設定された判定基準値と比較することにより類似性を判断する角度依存類似性判断手段と、
   を有することを特徴とする目標物検出システム。
8. 請求項７において、
   前記角度非依存類似性判断手段は、複数の類似性評価値を算出し、各類似性評価値と対応する判定基準値と比較することにより、各類似性評価値に対応した類似性を判断し、いずれか１つの類似性評価値で類似性がない場合には、類似性なしと判断するものであることを特徴とする目標物検出システム。
9. 請求項７または請求項８において、
   前記角度依存類似性判断手段は、複数の類似性評価値を算出し、各類似性評価値と対応する判定基準値と比較することにより、各類似性評価値に対応した類似性を判断し、いずれか１つの類似性評価値で類似性がない場合には、類似性なしと判断するものであることを特徴とする目標物検出システム。
10. 請求項７から請求項９のいずれかにおいて、
    前記角度非依存類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の各々に対する輝度ヒストグラムを算出し、双方の輝度ヒストグラム同士のユークリッド距離を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
11. 請求項７から請求項１０のいずれかにおいて、
    前記角度非依存類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の各々に対する輝度分散を算出し、双方の輝度分散同士の差を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
12. 請求項７から請求項１１のいずれかにおいて、
    前記角度依存類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の各々に対する輝度ヒストグラムを算出し、双方の輝度ヒストグラム同士のユークリッド距離を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
13. 請求項７から請求項１２のいずれかにおいて、
    前記角度依存類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の各々に対する輝度分散を算出し、双方の輝度分散同士の差を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
14. 請求項７から請求項１３のいずれかにおいて、
    前記角度依存類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素のグレー階調値の差分値を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
15. 請求項７から請求項１４のいずれかにおいて、
    前記角度依存類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の階調値に基づく正規化相関係数を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
16. 請求項１から請求項１５のいずれかにおいて、
    前記探索結果出力手段は、前記探索対象画像上に、前記探索対象領域と前記探索非対象領域を区別して表示するとともに、前記類似性判断手段により検出された目標物について、前記テンプレート画像の回転角度に対応したテンプレート画像の内側に定義されている多角形形状を、前記探索対象画像上に重ねて出力することを特徴とする目標物検出システム。
17. コンピュータを、請求項１から請求項１６のいずれかに記載の目標物検出システムとして機能させるためのプログラム。