JP2008140360A - 画像照合装置 - Google Patents

Abstract

【課題】伝送するデータ量の軽減かつ演算負荷の抑制が可能な画像照合装置を提供する。
【解決手段】第１画像情報と比較対象となる第２画像情報とを入力する画像入力部２と、第１画像情報と第２画像情報のピクセルレベルの位置ずれ量をハードウェア処理により算出する第１照合部３と、第１画像情報と第２画像情報のサブピクセルレベルの位置ずれ量をソフトウェア処理により算出する第２照合部４と、ピクセルレベルの位置ずれ量とサブピクセルレベルの位置ずれ量に基づいて第１画像情報と第２画像情報の照合を行なう動作処理部５と、を備えている。
【選択図】図１

Description

本発明は、画像照合装置に係り、特に、画像情報に基づいて照合を行なう画像照合装置に関する。

従来、画像情報に基づいて照合を行なう方法として、種々のパターン照合手法が知られている。例えば、第１画像と、比較対象となる第２画像とにフーリエ変換を施し両者の相関をとって照合する手法が提案されている（例えば、特許文献１参照）。特許文献１に記載の手法においては、第１画像と第２画像とが位相限定相関法（フーリエ変換→合成→位相限定→逆フーリエ変換→相関値の算出）によって照合処理され、得られた相関値に基づいて第１画像と第２画像が一致しているか否かを判断するようになっている。

また、画像間に、平行移動量、回転角度、拡大／縮小の差異がある場合であっても、２つの画像の照合を行なうことが可能な手法も提案されている（例えば、特許文献２参照）。特許文献２に記載の手法においては、第１画像と第２画像にフーリエ変換および対数―極座標変換を行い、フーリエ変換及び対数―極座標変換の結果に基づいて取得した第１画像の補正情報に基づいて第１画像を補正処理し、補正処理された第１画像と第２画像とを相関値に基づいて照合処理するようになっている。
特開２０００−２２１１３９号公報 特開２００４−２４０９３１号公報

しかしながら、従来の手法における位相限定相関処理は、ＣＰＵ（Central ProcessingUnit）等を用いたハードウェア処理であり、演算の負荷が大きくなってしまうという問題があった。また、フーリエ変換を行なうＦＦＴ（Fast Fourier Transform：高速フーリエ変換）演算部をＣＰＵとは別途に設け、ＣＰＵにおける演算の負荷を軽くする手法も考えられるが、画像情報をＦＦＴ演算部とＣＰＵの間で伝送する際のデータ量は膨大でありバス帯域の負荷が大きくなってしまうという問題があった。さらに、照合処理を行なうＰＣ等をＦＦＴ演算部に接続することも考えられるが、ＦＦＴ演算部とＰＣとの間のインターフェースで伝送されるデータ量が膨大であるため、通信速度の制約を受けるとともにＰＣの負荷も大きくなってしまうという問題もあった。

本発明はこのような点に鑑みてなされたものであり、伝送するデータ量を軽減させ、かつ演算の際の負荷も抑制することが可能な画像照合装置の提供を目的とするものである。

前記課題を解決するために、請求項１に記載の発明は、画像照合装置において、
第１画像情報と比較対象となる第２画像情報とを入力する画像入力部と、
前記第１画像情報と前記第２画像情報のピクセルレベルの位置ずれ量をハードウェア処理により算出する第１照合部と、
前記第１画像情報と前記第２画像情報のサブピクセルレベルの位置ずれ量をソフトウェア処理により算出する第２照合部と、
前記ピクセルレベルの位置ずれ量と前記サブピクセルレベルの位置ずれ量に基づいて、前記第１画像情報と前記第２画像情報の照合を行なう動作処理部と、
を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像照合装置において、
前記第１照合部は、フィルタを用いてハードウェア処理を施すことを特徴とする。

請求項３に記載の発明は、請求項１又は請求項２に記載の画像照合装置において、
前記第２照合部は、非線形演算を行なうソフトウェア処理を施すことを特徴とする。

請求項４に記載の発明は、画像照合装置において、
画像を取得する画像入力手段を有し、第１画像情報と比較対象となる第２画像情報とを取得して出力する画像入力部と、
前記画像入力部から出力された前記第１画像情報と前記第２画像情報とのピクセルレベルの照合結果をハードウェア処理により算出し、サブピクセルレベルの照合結果を算出するために必要なデータを出力する第１照合部と、
前記第１照合部から出力されたデータに基づいて、前記第１画像情報と前記第２画像情報とのサブピクセルレベルの照合結果をソフトウェア処理により算出し出力する第２照合部と、
前記第２照合部から出力されたサブピクセルレベルの照合結果に基づいて、前記第１画像情報と前記第２画像情報との画像全体としての照合結果を算出し出力する動作処理部と、
を備えていることを特徴とする。

請求項５に記載の発明は、請求項４に記載の画像照合装置において、
前記第１照合部から出力されるデータは、ヘッダ情報と、照合を行った全画素分の画素毎の照合に関する情報と、を含んで構成されており、
前記画素毎の照合に関する情報は、照合対象となる画素の座標値に相当する情報及び当該照合対象となる画素を中心としたＭ画素×Ｎ画素の対象領域におけるピクセルレベルの照合結果についての情報との組合せで構成されていることを特徴とする。

請求項６に記載の発明は、請求項５に記載の画像照合装置において、
前記ヘッダ情報は、前記データの単位ごとの開始位置を示す開始フラグ情報と、前記Ｍ画素×Ｎ画素の対象領域の大きさを定義する情報と、画像中の照合対象となる総画素数の情報と、第２照合部における照合結果の算出に必要な情報とを含んでいることを特徴とする。

請求項７に記載の発明は、請求項６に記載の画像照合装置において、
前記第２照合部における照合結果の算出に必要な情報は、非線形演算に用いられるスペクトル重み付け情報であることを特徴とする。

請求項１に記載の発明によれば、第１照合部がハードウェア処理を施してから第２照合部がソフトウェア処理を施すので、画像照合より後段の処理部へのデータ伝送量を最小限に抑えることができ、位置ずれ量を全てソフトウェア処理で算出するよりも負荷を軽減させることが可能である。したがって、処理内容に適合した処理手段を用いて、高速かつ低コストの画像照合装置を提供することが可能である。

請求項２に記載の発明によれば、第１照合部において、画像情報のようなストリームデータに対してデジタルフィルタ等を用いたフィルタ計算を行なうので、パイプラインアルゴリズムを適用し、処理速度をさらに向上させることが可能である。

請求項３に記載の発明によれば、第２照合部において、ソフトウェア処理により非線形演算を行なってサブピクセルレベルの位置ずれ量を算出するので、高精度な位置ずれ量を算出することが可能であるとともに、演算の際に複雑な条件分岐処理を施すことも可能である。したがって、所望の条件で位置ずれ量を算出することが可能であり、ユーザ等の要求に柔軟に対応することが可能である。

請求項４に記載の発明によれば、第１照合部６においてピクセルレベルの照合結果をハードウェア処理により算出してから、この算出結果（第１照合部６から出力されたデータ）に基づいて、第２照合部７においてサブピクセルレベルの照合結果をソフトウェア処理により算出するので、画像照合より後段の動作処理部５へのデータ伝送量を最小限に抑えることができ、位置ずれ量を全てＣＰＵ等においてソフトウェア処理で算出するよりも負荷を軽減させることが可能である。したがって、処理内容に適合した処理手段を用いて、高速かつ低コストの画像照合を行なうことが可能である。

請求項５に記載の発明によれば、第１照合部から出力されるデータには、ヘッダ情報と、照合対象となる画素の座標値に相当する情報及び当該照合対象となる画素を中心としたＭ画素×Ｎ画素の対象領域におけるピクセルレベルの照合結果についての照合を行った全画素分の情報と、が含まれているので、第１照合部によるピクセルレベルの照合結果が第２照合部に出力された際に、第２照合部において正しくデータが認識され、円滑なデータ処理が可能となる。

請求項６に記載の発明によれば、第１照合部から出力されるデータのヘッダ情報には、前記データの単位ごとの開始位置を示す開始フラグ情報と、前記Ｍ画素×Ｎ画素の対象領域の大きさを定義する情報と、画像中の照合対象となる総画素数の情報と、第２照合部における照合結果の算出に必要な情報とが含まれているので、第１照合部によるピクセルレベルの照合結果が第２照合部に出力された際に、第２照合部において正しくデータが認識され、円滑なデータ処理が可能となる。

請求項７に記載の発明によれば、第１照合部から出力されるデータのヘッダ情報には、第２照合部における照合結果の算出に必要な情報として、非線形演算に用いられるスペクトル重み付け情報が含まれているので、信頼性の低い高周波成分を除去して、より精密な照合を行うことが可能となる。

［第１の実施形態］
以下に、本発明に係る画像照合装置の第１の実施形態について、図面を参照して説明する。ただし、発明の範囲を図示例に限定するものではない。

本実施形態に係る画像照合装置１は、２つの画像を照合して位置ずれ量を算出し、算出した位置ずれ量に基づいて３次元化等の動作処理を行なうものである。また、図１に示すように、画像照合装置１は、基準となる登録画像と照合画像とを入力されてピクセルレベルでの位置ずれ量をハードウェア処理で算出し、サブピクセルレベルでの位置ずれ量をソフトウェア処理で算出して負荷をかけずに登録画像と照合画像とのずれ量を算出するものである。

画像照合装置１には、例えば、図２に示すように、画像入力部２、ハードウェア処理を行なう第１照合部３、ソフトウェア処理を行なう第２照合部４および動作処理部５が備えられている。

画像入力部２は少なくとも１つの撮像手段（画像入力手段）から構成されるものであり、撮像された画像情報としての画像データを第１照合部３に入力するものである。入力する画像情報は、基準となる登録画像に基づく登録画像データと、比較対象となる画像（以下、「照合画像」とする）に基づく照合画像データである。入力される画像データに特に制限はなく、２つ以上の撮像手段を備えて各撮像手段により同一対象物を撮影して得られた画像から抽出した２つの領域の画像データでもよく、１つの撮像手段により同一対象物を異なるタイミングで撮像された画像の画像データでもよい。ここで、２つ以上の撮像手段を用いて撮影した画像を照合する場合、撮像手段の光軸は互いに平行であることが好ましい。また、メモリ等の記憶手段を複数備え、照合する画像データを記憶させておくこととしてもよい。なお、用いる画像データは歪みを補正されているものが好ましい。

第１照合部３は、登録画像データと照合画像データを用いて位相限定相関処理を施すものである。図３に示すように、第１照合部３は、解像度判定部３１、解像度変換部３２、領域抽出部３３，３４、探索処理部３５を備えており、登録画像データの解像度を一定に保ちつつ照合画像データの解像度を変化させてピクセルレベルでの位置ずれ量を検出するようになっている。第１照合部３としては、画像情報のようなストリームデータに対してデジタルフィルタ等を用いたフィルタ計算を行なうものであり、登録画像データに対する処理と照合画像に対する処理とを並列して行なうことができるパイプラインアルゴリズムを適用可能なものである。

解像度判定部３１は、画像入力部２から登録画像データが入力され、その解像度を判定するようになっている。解像度判定部３１には、領域抽出部３３が接続されている。

領域抽出部３３は、解像度判定部３１から入力された登録画像データから対象領域を抽出して探索処理部３５に出力するものである。抽出する対象領域に特に制限は無く、登録画像データの全領域をそのまま抽出することとしても良く、中心から所定範囲の領域を抽出することとしても良い。

解像度変換部３２は、画像入力部２から入力された照合画像データの解像度を変換するものである。解像度変換部３２は、照合画像データの解像度を低い解像度から順次変化させるようになっている。ここで、第１照合部３による探索処理は、照合画像データの解像度が登録画像データの解像度と一致するまで繰り返し行なわれるようになっている。本実施形態においては、例えば、登録画像データの解像度は１２８０画素×９６０画素であり、照合画像データの解像度はその１／３２の４０画素×３０画素を最も低い解像度として探索処理を開始するようになっている。解像度変換部３２は、探索処理が終わる度に照合画像データの解像度を縦横２倍ずつの値に変換し、領域抽出部３４に出力するようになっている。

領域抽出部３４は、解像度変換部３２から入力された照合画像データから対象領域を抽出して探索処理部３５に出力するものである。領域抽出部３４は、二回目以降の探索処理の際にはその直前の探索処理で得られた位置ずれ量だけ中心位置からずれた位置（ｘ０，ｙ０）の周辺の領域を抽出するようになっている。本実施形態においては、（ｘ０，ｙ０）を中心として５画素×５画素分の領域を抽出するようになっている。

探索処理部３５は、登録画像データと照合画像データのそれぞれから抽出された領域について位置ずれ量を探索するものである。本実施形態における探索処理部３５は、位相限定相関処理を行なう専用のハードウェアで構成されている。専用のハードウェアとしては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等が適用可能である。

探索処理部３５には、図４に示すように、窓関数部３５１，３５２、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）部３５３，３５４、位相抽出部３５６ａ，３５６ｂ、合成部３５５、ＩＦＦＴ（Inverse Fast Fourier Transform：逆高速フーリエ変換）部３５７、相関値演算部３５８および判定部３５９が備えられている。

窓関数部３５１，３５２は、領域抽出部３３，３４からの入力信号に窓関数をかけるものである。窓関数の種類に特に制限はなく適宜変更可能である。ここで、登録画像データに基づく信号に対して窓関数をかけたものをｆ１、照合画像データに基づく信号に対して窓関数をかけたものをｆ２とする。窓関数部３５１，３５２は、窓関数をかけた信号ｆ１、ｆ２をそれぞれＦＦＴ部３５３，３５４に出力するようになっている。

ＦＦＴ部３５３，３５４は、信号ｆ１、ｆ２に対してフーリエ変換処理を施して合成部３５５に出力するものである。詳しくは、ＦＦＴ部３５３は、信号ｆ１に対して２次元離散的フーリエ変換を施し、登録画像に基づくフーリエ画像データＦ１を得る。また、ＦＦＴ部３５４は、信号ｆ２に対しても２次元離散的フーリエ変換を施して照合画像に基づくフーリエ画像データＦ２を得るようになっている。なお、フーリエ変換処理に特に制限は無く、２次元離散的フーリエ変換については、「コンピュータ画像処理入門、日本工業技術センター編、総研出版（株）発行、Ｐ４４〜４５」を参照した。

位相抽出部３５６ａ，３５６ｂは、ＦＦＴ部３５３，３５４から出力された信号に対して振幅成分を除去して位相情報を抽出するものである。つまり、位相抽出部３５６ａ，３５６ｂは、フーリエ変換された信号Ｆ１、Ｆ２に対して位相限定処理を行ない、フーリエ画像データＦ３，Ｆ４を得るものである。位相情報抽出部３５６ａ，３５６ｂは、得られたフーリエ画像データＦ３，Ｆ４を合成部３５５に出力する。本実施形態においては、振幅を１として位相のみを抽出することとしたが、ｌｏｇ処理や√処理等によって振幅成分を除去することとしても良い。

合成部３５５は、フーリエ変換された信号Ｆ１、Ｆ２から位相情報のみを抽出して得られたフーリエ画像データＦ３，Ｆ４を合成し、合成フーリエ画像データＦ５（ｕ，ｖ）＝Ｆ３^＊（ｕ，ｖ）・Ｆ４（ｕ，ｖ）を得るものである。なお、式中「＊」は複素共役を表し、（ｕ，ｖ）はフーリエ空間の座標を示す。合成部３５５は、得られた合成フーリエ画像データＦ５をＩＦＦＴ部３５７に出力するようになっている。

ＩＦＦＴ部３５７は、合成部３５５で得られた合成フーリエ画像データＦ５に対して逆フーリエ変換を施し合成逆フーリエ画像データｆ５を得るものである。ＩＦＦＴ部３５７は、合成逆フーリエ画像データｆ５を相関値演算部３５８に出力するようになっている。

相関値演算部３５８は、合成逆フーリエ画像データｆ５より、ｍａｘ_ｘ，ｙｆ５（ｕ，ｖ）として相関値を算出するものである。ここで、ｍａｘ_ｘ，ｙは、全てのｘ，ｙに対する最大値、つまり、相関値はｆ５（ｘ，ｙ）の最大値である。相関値演算部３５８は、得られた相関値を判定部３５９に出力するようになっている。

判定部３５９は、相関値がピクセルレベルの位置ずれ量か否かを判定するようになっている。詳しくは、判定部３５９は、相関値が０の場合には登録画像と照合画像が一致しており位置ずれ量はゼロと算出するようになっている。また、判定部３５９は、相関値が０以外の値をとる場合には、その相関強度画像のピークの現れる位置を２つの画像の位置ずれ量とするようになっている。判定部３５９は、位置ずれ量を算出すると、照合画像データと登録画像データの解像度が一致するか否かを判断し、照合画像データの解像度のほうが低い場合、算出した位置ずれ量を領域抽出部３４に出力するようになっている。また、判定部３５９は、照合画像データと登録画像データの解像度が一致する場合、それ以前の探索処理で算出した位置ずれ量全てを加算した値を第１照合部３で得られたピクセルレベルの位置ずれ量として第２照合部４に出力するようになっている。

第２照合部４は、図５に示すように、第１照合部３からのピクセルレベルの位置ずれ量と相関強度画像データに基づいてサブピクセルレベルの位置ずれ量を検出するものである。第２照合部４には、窓関数部４１と非線形フィッティング部４２が備えられており、非線形フィッティング部４２で検出される位置ずれ量が閾値以下となるまで位置ずれ量を検出するものである。

窓関数部４１は、相関強度画像データに対して窓関数をかけるものである。窓関数の種類に特に制限はないが、本実施形態においてはHanning窓を適用するものとする。窓関数部４１は、相関強度画像データの中心位置を非線形フィッティング部４２で検出された位置ずれ量に基づいて定めるようになっている。

非線形フィッティング部４２は、窓関数をかけた相関強度画像データに対してLevenberg-Merquardt法によりサブピクセルレベルの位置ずれ量を近似計算するものである。詳しくは、非線形フィッティング部４２は５画素×５画素分の相関強度画像データ（図６参照）にピークモデル（図７参照）をあてはめ、非線形演算としての非線形最小二乗法により位置ずれ量を求めるようになっている。非線形演算としての制限はなく、複雑な条件分岐処理を施すもの等に適宜変更可能である。また、非線形フィッティング部４２は、検出した位置ずれ量が所定の閾値以下か否かを判断し、閾値より大きい場合は窓関数部４１に検出結果を出力するようになっている。また、非線形フィッティング部４２は、検出した位置ずれ量が所定の閾値以下の場合、それ以前の検出結果全てを加算した値をサブピクセルレベルの位置ずれ量として動作処理部５に出力するようになっている。ここで、所定の閾値とはユーザが任意に設定できる値であり、精密な照合を要求するほど閾値は小さくなる。

動作処理部５は、登録画像と照合画像ずれ量の検出結果に基づいて３次元化された画像データを生成する。ここで、本実施形態においては、第１照合部３で算出されたピクセルレベルの位置ずれ量と第２照合部４で算出されたサブピクセルレベルの位置ずれ量とを加算した値が、登録画像と照合画像との位置ずれ量となる。動作処理部５の施す処理に特に制限はなく、両画像の位置合わせや検査対象物の欠陥検出を行なう処理を施すこととしても良い。

次に、図８を参照して本実施形態の作用について説明する。
まず、画像入力部２は解像度判定部３１に登録画像データを、解像度変換部３２に照合画像の画像データを入力する（ステップＳ１）。すると、第１照合部３は入力された登録画像データおよび照合画像データについて位相限定相関処理を施す。位相限定相関処理は、以下の手順で行なわれる。

まず、解像度判定部３１は登録画像データの解像度を判定する（ステップＳ２）。続いて、領域抽出部３３は、登録画像データから中心画素を原点とする座標系で５画素×５画素の領域を抽出する（ステップＳ３）。また、解像度変換部３２は照合画像データの解像度を少なくとも登録画像より低解像度に変換する（ステップＳ４）。この際、照合画像データの解像度に特に制限は無く、本実施形態においては縦横２倍の解像度となるように変換するが、登録画像と照合画像とのずれ量が大きいほど解像度の変換率を小さくするのが好ましい。続いて、領域抽出部３４は、照合画像データから中心画素を原点とする座標系で５画素×５画素の領域を抽出する（ステップＳ５）。

その後、探索処理部３５は抽出されたそれぞれ領域の画像データに対して位相限定相関処理を行なう。位相限定相関処理においては、まず、窓関数部３５１，３５２が画像データに基づく信号に対して窓関数をかけ、ＦＦＴ部３５３，３５４が中心画素以外の２４（５×５−１）画素について１画素ずつ３２×３２のブロックサイズでフーリエ変換処理を行なう（図９、図１０参照）。つまり、窓関数部３５１，３５２が信号ｆ１，ｆ２を作成し（ステップＳ６）、ＦＦＴ部３５３，３５４がｆ１をＦ１に、ｆ２をＦ２に変換する（ステップＳ７）。

その後、位相情報抽出部８３ａ，８３ｂは、フーリエ変換された画像情報Ｆ１，Ｆ２に基づき、その振幅成分を除去してＦ１から位相情報Ｆ３を、Ｆ２から位相情報Ｆ４をそれぞれ抽出する（ステップＳ８）。さらに、合成部３５５が位相情報のみのＦ３とＦ４を合成して合成信号Ｆ５とする（ステップＳ９）。そして、ＩＦＦＴ部３５７は、合成部３５５から出力された合成信号Ｆ５に対して、逆フーリエ変換処理を施しｆ５に変換する（ステップＳ１０）。その後、相関値演算部３５８は、ｆ５に基づいて相関値ｍａｘ_ｘ，ｙｆ５（ｕ，ｖ）を算出し（ステップＳ１１）、判定部３５９に出力する。

判定部３５９は、照合画像データの解像度と登録画像データの解像度を比較し、解像度が一致する又は登録画像データの解像度のほうが低い場合（ステップＳ１２；Ｙｅｓ）は、それ以前の探索処理で算出された相関値を加算した分をピクセルレベルの位置ずれ量として算出する（ステップＳ１３）。一方、登録画像データの解像度のほうが高い場合（ステップＳ１２；Ｎｏ）、相関値を領域抽出部３４および解像度変換部３２に出力する。その後、領域抽出部３４は相関値に相当する分だけ中心位置をずらし（ステップＳ１４）、解像度変換部３２は照合画像データの解像度を変換して再度探索処理を実行する。このような処理が、照合画像の解像度が登録画像の解像度と少なくとも同等になるまで行なわれる。判定部３５９はピクセルレベルの位置ずれ量を算出すると、算出結果を第２照合部４に出力する。

第２照合部４では、サブピクセルレベルの位置ずれ量を検出するようになっている。詳しくは、まず、窓関数部４１が第１照合部３から出力された相関強度画像データにHanning窓をかける。その後、非線形フィッティング部４２は、窓関数部４１からの信号に対してピークモデルをあてはめ、Levenberg-Merquardt法によりずれ量を近似計算する。非線形フィッティング部４２は、近似計算の結果が所定の閾値以下か否かを判断し、閾値より大きい場合は窓関数部４１に検出結果を出力する。また、非線形フィッティング部４２は、検出結果が所定の閾値以下の場合、それ以前の検出結果を全て加算してピクセルレベルの位置ずれ量として動作処理部５に出力する。続いて、動作処理部５は、ピクセルレベルの位置ずれ量とサブピクセルレベルの位置ずれ量に基づいて３次元化された画像データを生成する。

以上より、本実施形態の画像照合装置１によれば、第１照合部３がハードウェア処理を施してから第２照合部４がソフトウェア処理を施すので、画像照合より後段の動作処理部５へのデータ伝送量を最小限に抑えることができ、位置ずれ量を全てＣＰＵ等でソフトウェア処理で算出するよりも負荷を軽減させることが可能である。したがって、処理内容に適合した処理手段を用いて、高速かつ低コストな画像照合を行なうことが可能である。

また、第１照合部３において、画像情報のようなストリームデータに対してデジタルフィルタ等を用いたフィルタ計算を行なうので、パイプラインアルゴリズムを適用し、処理速度をさらに向上させることが可能である。

さらに、第２照合部４において、ソフトウェア処理により非線形演算を行なってサブピクセルレベルの位置ずれ量を算出するので、高精度な位置ずれ量を算出することが可能であるとともに、演算の際に複雑な条件分岐処理を施すことも可能である。したがって、所望の条件で位置ずれ量を算出することが可能であり、ユーザ等の要求に柔軟に対応することが可能である。

なお、本実施形態においては、登録画像データの解像度を一定（最大解像度）に保ちつつ照合画像データの解像度を変化させてピクセルレベルでの位置ずれ量を検出するように構成したが、位置ずれ量を検出する際に照合するデータの態様はここに例示したものに限定されない。例えば、領域抽出部３３において、解像度判定部３１からの情報に基づいて登録画像データの間引き処理を行い、登録画像データの見かけ上の解像度を照合画像データの解像度と一致させた上で、探索処理部３５における登録画像データと照合画像データの位置ずれ量を探索するように構成してもよい。

また、本実施形態においては、領域抽出部３４は、二回目以降の探索処理の際の探索処理部３５における探索の対象となる対象領域として、その直前の探索処理で得られた位置ずれ量だけ中心位置からずれた位置（ｘ０，ｙ０）の周辺の領域として５画素×５画素分の領域を抽出する場合を例としたが、領域抽出部３４が抽出する領域はここに例示した範囲に限定されない。
領域抽出部３４が抽出する領域としては、直前の探索処理で得られた位置ずれ量だけ中心位置からずれた位置（ｘ０，ｙ０）の周辺の領域として、８×８、１６×１６、３２×３２等、一辺が２のべき乗のサイズであることが好ましいが、特に限定されない。

その他、本発明が上記実施形態に限らず適宜変更可能であるのは勿論である。

［第２の実施形態］
次に、図１１から図１８を参照しつつ、本発明の第２の実施形態について説明する。なお、第２の実施形態は、第１照合部及び第２照合部の構成が第１の実施形態と異なるものであるため、以下においては、特に第１の実施形態と異なる点について説明する。

図１１は、本実施形態における第１照合部の要部構成を示すブロック図である。本実施形態において、画像照合装置は、第１の実施形態と同様、画像を取得する画像入力手段を有する画像入力部２、第１照合部６、第２照合部７、動作処理部５（図１７参照）を備えて構成されている。このうち、画像入力部２及び動作処理部５の構成は第１の実施形態と同様であるので、その説明を省略する。

第１照合部６は、登録画像データと照合画像データとを用いてＰＯＣ（Phase-Only Correlation；位相限定相関）演算処理を施すものである。
図１１に示すように、第１照合部６は、解像度変換部６１，６２、領域抽出部６３，６４、探索処理部６５を備えており、登録画像データの解像度及び照合画像データの解像度を順次変化させながら照合し、ピクセルレベルでの位置ずれ量を検出するようになっている。第１照合部６は、この検出結果（照合結果）に基づいて、第２照合部７によるサブピクセルレベルの照合結果を算出するために必要なデータを生成し、第２照合部７に出力するようになっている。
なお、第１照合部６は、画像情報のようなストリームデータに対してデジタルフィルタ等を用いたフィルタ計算を行なうものであり、登録画像データに対する処理と照合画像に対する処理とを並列して行なうことができるパイプラインアルゴリズムを適用可能なものである。

解像度変換部６１は、画像入力部２から入力された登録画像データの解像度を変換するものであり、解像度変換部６２は、画像入力部２から入力された照合画像データの解像度を変換するものである。解像度変換部６１，６２は、登録画像データ及び照合画像データの解像度を低い解像度から最高解像度（もとの画像と同じ解像度）まで順次変化させるようになっている。

ここで、第１照合部６による照合処理（探索処理）は、登録画像データ及び照合画像データの解像度が低解像度のものから最高解像度（もとの画像と同じ解像度）のものまで、複数回繰り返し行なわれるようになっており、解像度変換部６１，６２は、照合処理（探索処理）を行う際に登録画像データの解像度と照合画像データの解像度とが同じになるように両画像データの解像度を変化させる。
例えば、もとの画像の解像度が１２８０画素×９６０画素であり、第１照合部６による照合処理を行う最も低い解像度（最低解像度）が、その１／３２である４０画素×３０画素である場合には、解像度変換部６１，６２は、まず、登録画像データ及び照合画像データの解像度を４０画素×３０画素に変換する。そして、登録画像データ及び照合画像データの解像度が４０画素×３０画素のものから照合処理を開始して、順次両画像データの解像度を上げていき、もとの画像の解像度と同じ１２８０画素×９６０画素となるまで照合処理を繰り返す。

なお、照合処理を開始する最低解像度をどの程度にするか及び最低解像度からもとの画像の解像度に至るまで何回の照合処理を行うかは特に限定されないが、本実施形態においては、もとの画像の解像度が１２８０画素×９６０画素である場合に、照合処理を開始する最低解像度を４０画素×３０画素とし、解像度変換部６１，６２は、照合処理が終わる度に登録画像データ及び照合画像データの解像度を縦横２倍ずつの値に変換して、領域抽出部６３，６４に出力する場合を例として説明する。

領域抽出部６３，６４は、登録画像データ及び照合画像データの中から探索処理部６５におけるＦＦＴ処理（後述）等の照合処理を行う対象となる領域（対象領域）を切り出すものである。
領域抽出部６３は、解像度変換部６１から入力された登録画像データから対象領域（照合処理を行う対象となる領域）を抽出して探索処理部６５に出力するようになっており、領域抽出部６４は、解像度変換部６２から入力された照合画像データから対象領域を抽出して探索処理部６５に出力するようになっている。

このうち、照合画像データから対象領域を抽出する領域抽出部６４には、探索処理部６５における照合処理が終わるごとに、後述する座標変換部６５７（図１２参照）から当該照合処理によって得られた相関値（位置ずれ量）に基づいて算出された候補座標の座標値が出力されるようになっている。領域抽出部６４は、二回目以降の照合処理の際にはその直前の照合処理で得られた相関値（位置ずれ量）に基づいて算出された候補座標の座標値を次の照合処理（直前の照合処理よりも一段階解像度の高い画像データに対する照合処理）を行う際の候補座標（照合対象となる画素）の座標値とし、この候補座標を中心とするＭ画素×Ｎ画素の周辺領域を抽出して、次の照合処理を行う対象領域として設定するようになっている。
また、領域抽出部６３は、探索処理部６５における照合処理が終わるごとに、解像度変換部６１によって一段階高い解像度に変換された登録画像データの中から、直前の照合処理の対象となった座標に相当する座標値を検出して、これを候補座標（照合対象となる画素）の座標値とし、この候補座標を中心とするＭ画素×Ｎ画素の周辺領域を抽出して、次の照合処理において照合画像を照合させる対象領域として設定する。

領域抽出部６３，６４が抽出する領域（対象領域）は、それぞれ候補座標を中心として、その周辺の８画素×８画素、１６画素×１６画素、３２画素×３２画素等、一辺が２のべき乗のサイズの領域であることが好ましいが、特に限定されない。
本実施形態では、領域抽出部６３，６４は、候補座標（照合対象となる画素）の座標値を中心として一辺が３２画素×３２画素のサイズの周辺領域を抽出し、対象領域として設定するようになっている。

探索処理部６５は、登録画像データと照合画像データのそれぞれから抽出された領域（対象領域）について位置ずれ量を照合（探索）するものである。本実施形態における探索処理部６５は、位相限定相関演算処理（ＰＯＣ演算処理）を行なう専用のハードウェアで構成されている。専用のハードウェアとしては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等が適用可能である。

探索処理部６５には、図１２に示すように、窓関数部６５１ａ，６５１ｂ、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）部６５２ａ，６５２ｂ、位相抽出部６５３ａ，６５３ｂ、合成部６５４、ＩＦＦＴ（Inverse Fast Fourier Transform：逆高速フーリエ変換）部６５５、相関値演算部６５６、座標変換部６５７及び領域抽出部６５８が備えられている。

窓関数部６５１ａ，６５１ｂは、領域抽出部６３，６４からの入力信号に窓関数をかけるものである。窓関数の種類は特に限定されず適宜変更可能である。ここで、登録画像データに基づく信号に対して窓関数をかけたものをｆ１、照合画像データに基づく信号に対して窓関数をかけたものをｆ２とする。窓関数部６５１ａ，６５１ｂは、窓関数をかけた信号ｆ１、ｆ２をそれぞれＦＦＴ部６５２ａ，６５２ｂに出力するようになっている。

ＦＦＴ部６５２ａ，６５２ｂは、信号ｆ１、ｆ２に対してフーリエ変換処理（ＦＦＴ処理）を施して合成部６５４に出力するものである。詳しくは、ＦＦＴ部６５２ａは、信号ｆ１に対して２次元離散的フーリエ変換を施し、登録画像データに基づくフーリエ画像データＦ１を得る。また、ＦＦＴ部６５２ｂは、信号ｆ２に対しても２次元離散的フーリエ変換を施して照合画像データに基づくフーリエ画像データＦ２を得るようになっている。

位相抽出部６５３ａ，６５３ｂは、ＦＦＴ部６５２ａ，６５２ｂから出力された信号に対して振幅成分を除去して位相情報を抽出するものである。つまり、位相抽出部６５３ａ，６５３ｂは、フーリエ変換された信号Ｆ１、Ｆ２に対して位相限定処理を行ない、フーリエ画像データＦ３，Ｆ４を得るものである。位相情報抽出部６５３ａ，６５３ｂは、得られたフーリエ画像データＦ３，Ｆ４を合成部６５４に出力する。振幅成分を除去する手法が特に限定されない点等は第１の実施形態と同様である。

合成部６５４は、フーリエ変換された信号Ｆ１、Ｆ２から位相情報のみを抽出して得られたフーリエ画像データＦ３，Ｆ４を合成し、合成フーリエ画像データＦ５（ｕ，ｖ）＝Ｆ３^＊（ｕ，ｖ）・Ｆ４（ｕ，ｖ）を得るものである。なお、式中「＊」は複素共役を表し、（ｕ，ｖ）はフーリエ空間の座標を示す。合成部６５４は、得られた合成フーリエ画像データＦ５をＩＦＦＴ部６５５に出力するようになっている。

ＩＦＦＴ部６５５は、合成部６５４で得られた合成フーリエ画像データＦ５に対して逆フーリエ変換を施し合成逆フーリエ画像データｆ５を得るものである。ＩＦＦＴ部６５５は、合成逆フーリエ画像データｆ５を相関値演算部６５６に出力するようになっている。
また、ＩＦＦＴ部６５５は、最高解像度（もとの画像と同じ解像度）の画像データまで照合処理が終わったときには、この最高解像度における照合処理によって得られた合成逆フーリエ画像データｆ５を領域抽出部６５８に出力する。

相関値演算部６５６は、合成逆フーリエ画像データｆ５より、ｍａｘ_ｘ，ｙｆ５（ｕ，ｖ）として相関値を算出するものである。ここで、ｍａｘ_ｘ，ｙは、全てのｘ，ｙに対する最大値、つまり、相関値（位置ずれ量）はｆ５（ｘ，ｙ）の最大値である。

ここで、登録画像と照合画像との位置ずれ量について図１３及び図１４を参照しつつ説明する。
図１３（ａ）は、登録画像とこれに対応する照合画像とを照合した結果を示しており、図１３（ｂ）は、図１３（ａ）の図中、点線で囲んだ範囲を画素レベルに拡大した図である。例えば、図１３（ａ）及び図１３（ｂ）に示す例では、照合画像の方が登録画像に対して図１３（ａ）及び図１３（ｂ）における左方向にその位置がずれている。なお、図１３では、登録画像の候補座標の座標値（bx,by）を中心とする５画素×５画素の範囲及び照合画像の候補座標の座標値（rx,ry）を中心とする５画素×５画素の範囲について示しているが、ピクセルレベルの照合処理を行う候補座標を得る場合には、３２画素×３２画素の範囲で相関値が算出される。
図１４は、図１３に示す場合について、（bx,by）と（rx−2,ry−2）との相関から（bx,by）と（rx＋2,ry＋2）との相関までを順次ＰＯＣ演算処理により求めた照合結果の例を３次元的に示した相関強度画像データの例である。登録画像と照合画像とがピクセルレベルで完全に一致している場合（相関値が０の場合）には、図１４（ｂ）に示すように、照合結果は一点のみにピークが現れるデルタ関数となるが、登録画像と照合画像とが一致していない場合（相関値が０以外の値をとる場合）には、図１４（ａ）に示すように複数のピークが現れる照合結果となる。

相関値演算部６５６は、相関値が０の場合には登録画像と照合画像が一致しており位置ずれ量はゼロと算出する。また、相関値演算部６５６は、相関値が０以外の値をとる場合には、相関強度画像の複数のピークのうちの最大のピークが現れる位置（図１４（ａ）参照）を２つの画像の位置ずれ量とするようになっている。

相関値演算部６５６は、相関値（位置ずれ量）を算出すると、座標変換部６５７に出力するようになっている。

座標変換部６５７は、相関値演算部６５６から出力された相関値（位置ずれ量）に基づいて、ピクセルレベルにおける次の照合処理（直前の照合処理よりも一段階解像度の高い画像データに対する照合処理）を行う際の候補座標を算出するものである。座標変換部６５７は、相関値演算部６５６から出力された相関値（位置ずれ量）の分だけ中心位置からずれた位置（ｘ０，ｙ０）を候補座標とするようになっている。座標変換部６５７は、候補座標を算出すると、この候補座標の座標値を領域抽出部６４に出力するようになっている。

領域抽出部６４では、前述のように、座標変換部６５７から出力された候補座標の座標値に基づいて、当該候補座標を中心とする所定の領域（本実施形態では３２画素×３２画素の領域）を次の照合処理を行う対象領域として抽出、設定するようになっている。

領域抽出部６５８は、第２照合部７におけるサブピクセルレベルの位置ずれ量を検出する際の対象となる対象領域を抽出して、第２照合部７にデータを出力するものである。
具体的には、領域抽出部６５８は、第１照合部６における最高解像度の画像（もとの画像と同じ解像度の画像）について行った照合処理の結果（ピクセルレベルでの最終的な位置ずれ量）に基づいて、第２照合部７におけるサブピクセルレベルの位置ずれ量を検出する際の照合対象となる画素（候補座標）の座標値を算出し、この候補座標を中心とする５画素×５画素の領域を第２照合部７における照合処理の対象領域として抽出、設定する。

第１照合部６の領域抽出部６５８から第２照合部７に出力されるデータは、図１５に示すように、ヘッダ情報と、照合を行った全画素分の画素毎の照合に関する情報と、を含んで構成されている。このうち、画素毎の照合に関する情報は、照合対象となる画素（候補座標）の座標値に相当する情報と、当該照合対象となる画素（候補座標）を中心としたＭ画素×Ｎ画素の対象領域におけるピクセルレベルの照合結果についての情報との組合せで構成されている。なお、照合対象となる画素（候補座標）の座標値に相当する情報は、座標値そのものでもよいし、座標値を特定できるような情報でもよい。
照合対象となる画素（候補座標）の座標値に相当する情報及びＭ画素×Ｎ画素の対象領域におけるピクセルレベルの照合結果は、照合が行われた画素毎に一つの組合せとなっており、領域抽出部６５８から出力されるデータには、当該情報の組合せが、１組目からＰ組目まで、照合処理を行った全画素分（Ｐ組分）含まれている。なお、画像の全画素について照合処理を行った場合には、Ｐは画像を構成する全画素数と一致する。

また、このデータのヘッダ情報は、図１６に示すように、データの単位ごとの開始位置を示す開始フラグ情報と、Ｍ画素×Ｎ画素の対象領域の大きさを定義する情報と、画像中の照合対象となる総画素数Ｐの情報と、第２照合部７における照合結果の算出に必要な情報とを含んでいる。
本実施形態においては、Ｍ画素×Ｎ画素の対象領域の大きさを定義する情報として、対象領域が３２画素×３２画素の領域である旨が記憶されている。また、画像中の照合対象となる総画素数Ｐの情報としては、例えば画像中の全画素を照合対象とする場合であれば、当該画像の全画素数が総画素数Ｐとして記憶される。
また、ここでいう第２照合部７における照合結果の算出に必要な情報とは、例えば非線形フィッティング（非線形演算）に必要なスペクトル重み付け情報、各種ＩＤ、照合処理に用いられる関数そのものに関するデータ等、照合結果の算出に関わる各種のオプション情報である。

第２照合部７は、図１７に示すように、第１照合部６の領域抽出部６５８から出力されたデータに基づいてサブピクセルレベルの位置ずれ量を検出するものであり、窓関数部７１と非線形フィッティング部７２が備えられている。第２照合部７は、領域抽出部６５８においてピクセルレベルにおける最終的な位置ずれ量から算出された候補座標の座標値に基づいて抽出、設定された５画素×５画素の対象領域（ＰＯＣ演算結果）について、非線形フィッティング部７２で検出される移動量δ（位置ずれ量）が閾値以下となるまで位置ずれ量を検出する。

窓関数部７１は、領域抽出部６５８からピクセルレベルでの最終的な照合結果（ＰＯＣ演算結果）として出力された５画素×５画素の対象領域のデータに対して窓関数をかけるものである。窓関数の種類に特に制限はないが、本実施形態においてはHanning窓を適用するものとする。窓関数部７１には、後述する非線形フィッティング部７２の非線形演算部７２１で検出された移動量δ（位置ずれ量）が出力されるようになっており、窓関数部７１は、照合処理毎に、この移動量δ（位置ずれ量）を踏まえて対象領域のデータに対して窓関数をかけるようになっている。

非線形フィッティング部７２は、非線形演算部７２１と、移動量閾値判定部７２２と、を備えている。
非線形演算部７２１は、窓関数部７１によって窓関数をかけられた対象領域のデータ（ＰＯＣ演算結果）に対してLevenberg-Merquardt法によりサブピクセルレベルの位置ずれ量を近似計算するものである。
具体的には、非線形演算部７２１は、５画素×５画素の対象領域の実データに相関ピークモデル（第１の実施形態における図７参照）をあてはめる（フィッティングする）。そして、非線形演算としての非線形最小二乗法により、対象領域の実データのピークと相関ピークモデルとの位置ずれ量（移動量δ）を求めるようになっている。
なお、対象領域の実データに相関ピークモデルをあてはめて位置ずれ量（移動量δ）を求める非線形演算としての手法には特に制限はなく、複雑な条件分岐処理を施すもの等に適宜変更可能である。

移動量閾値判定部７２２は、非線形演算部７２１により検出された位置ずれ量（移動量δ）が所定の閾値以下か否かを判断し、位置ずれ量（移動量δ）が閾値より小さい場合には、最終的な位置ずれ量をサブピクセルレベルの位置ずれ量として動作処理部５に出力するようになっている。他方、位置ずれ量（移動量δ）が閾値より大きい場合には、再度非線形演算部７２１による対象領域の実データのピークと相関ピークモデルとのフィッティング及び位置ずれ量（移動量δ）の算出が行われる。このように、位置ずれ量（移動量δ）が閾値以下になるまで非線形演算部７２１による非線形演算処理が繰り返されるようになっている。
なお、所定の閾値はユーザが任意に設定できる値であり、精密な照合を要求するほど閾値は小さくなる。

なお、その他の構成は、第１の実施形態で示したものと同様であるので、同一箇所には同一の符号を付して、その説明を省略する。

次に、図１８を参照しつつ、本実施形態の作用について説明する。
まず、画像入力部２から第１照合部６に登録画像データ及び照合画像データが入力されると（ステップＳ２１）、第１照合部６は入力された登録画像データ及び照合画像データについて位相限定相関演算処理を施す。位相限定相関演算処理は、以下の手順で行なわれる。

まず、解像度変換部６１，６２において登録画像及び照合画像の解像度が、照合処理を行う最小解像度（例えば、もとの画像の解像度が１２８０画素×９６０画素である場合に、４０画素×３０画素の解像度）に変換される（ステップＳ２２）。その後、領域抽出部６３，６４により登録画像データ及び照合画像データから３２画素×３２画素の領域が抽出され（ステップＳ２３）、照合処理を行う対象領域として設定される。

そして、この３２画素×３２画素の対象領域について探索処理部６５によるピクセルレベルでの照合処理(位相限定相関演算処理：ＰＯＣ演算処理)が行われる。位相限定相関演算処理においては、まず、窓関数部６５１ａ，６５１ｂが画像データに基づく信号に対して窓関数をかけ（ステップＳ２４）、ＦＦＴ部６５２ａ，６５２ｂが３２画素×３２画素の対象領域について１画素ずつフーリエ変換処理を行なう（ステップＳ２５）。つまり、窓関数部６５１ａ，６５１ｂが信号ｆ１，ｆ２を作成し、ＦＦＴ部６５２ａ，６５２ｂがｆ１をＦ１に、ｆ２をＦ２に変換する。

その後、位相情報抽出部６５３ａ，６５３ｂは、フーリエ変換された画像情報Ｆ１，Ｆ２に基づき、その振幅成分を除去してＦ１から位相情報Ｆ３を、Ｆ２から位相情報Ｆ４をそれぞれ抽出する（ステップＳ２６）。さらに、合成部６５４が位相情報のみのＦ３とＦ４を合成して合成信号Ｆ５とする（ステップＳ２７）。そして、ＩＦＦＴ部６５５は、合成部６５４から出力された合成信号Ｆ５に対して、逆フーリエ変換処理を施しｆ５に変換する（ステップＳ２８）。その後、探索処理部６５において、当該照合処理を行った画像データの解像度が最高解像度（もとの画像と同じ解像度）か否かが判断され（ステップＳ２９）、当該照合処理を行った画像データの解像度が最高解像度（もとの画像と同じ解像度）でない場合（ステップＳ２９；ＮＯ）には、逆フーリエ変換処理を施されたｆ５が相関値演算部６５６に出力され、相関値演算部６５６は、ｆ５に基づいて相関値ｍａｘ_ｘ，ｙｆ５（ｕ，ｖ）を算出する（ステップＳ３０）。相関値演算部６５６は算出結果を座標変換部６５７に出力し、座標変換部６５７は相関値演算部６５６により出力された算出結果に基づいて、次の照合処理における照合対象となる画素（候補座標）の座標値を算出し（ステップＳ３１）、領域抽出部６４に出力する。

登録画像データ及び照合画像データの解像度が最高解像度に至るまでは、ステップＳ２２に戻り、解像度変換部６１，６２は照合処理が終わるごとに登録画像データ及び照合画像データの解像度を縦横２倍ずつの値に変換して（ステップＳ２２）、領域抽出部６３，６４に出力する。領域抽出部６４は、１段階解像度の上がった照合画像データについて、座標変換部６５７から出力された候補座標の座標値に基づいて、当該候補座標を中心とする３２画素×３２画素の領域を抽出し（ステップＳ２３）、次の照合処理における対象領域として設定する。そして、領域抽出部６３は、照合画像データと同じ解像度の登録画像データについて、照合画像を照合させる対象領域を抽出、設定する。

登録画像データ及び照合画像データについてそれぞれ対象領域が設定されると、再度探索処理部６５による照合処理（ＰＯＣ演算処理）が行われる（ステップＳ２４〜ステップＳ２８）。このようにして、画像データの解像度が最高解像度（もとの画像と同じ解像度）になるまで照合処理（ＰＯＣ演算処理）が繰り返される。

照合処理（ＰＯＣ演算処理）を行った画像データの解像度が最高解像度（もとの画像と同じ解像度）と一致すると（ステップＳ２９；ＹＥＳ）、逆フーリエ変換処理を施されたｆ５がピクセルレベルにおける相関値（位置ずれ量）として領域抽出部６５８に出力され、領域抽出部６５８は、ＰＯＣ演算結果である相関値（位置ずれ量）に基づいて５画素×５画素の領域を抽出し（ステップＳ３２）、第２照合部７による照合処理を行う対象領域として設定する。

第２照合部７では、サブピクセルレベルの位置ずれ量を検出するようになっている。詳しくは、まず、窓関数部７１が第１照合部６から出力されたＰＯＣ演算結果である５画素×５画素の対象領域の画像データに窓関数（Hanning窓）をかける（ステップＳ３３）。その後、非線形フィッティング部７２の非線形演算部７２１は、窓関数部７１からの信号（５画素×５画素の対象領域の実データ）に対して相関ピークモデルをあてはめ、Levenberg-Merquardt法によりずれ量を近似計算する（非線形演算 ステップＳ３４）。すなわち、非線形演算部７２１は、非線形最小二乗法により対象領域の実データのピークと相関ピークモデルとの位置ずれ量（移動量δ）を求める。

さらに、移動量閾値判定部７２２は、非線形演算部７２１による近似計算（非線形演算）の結果が所定の閾値以下か否かを判断し（ステップＳ３５）、演算結果が所定の閾値以下となるまで、サブピクセルレベルの位置ずれ量の検出を繰り返させるようになっている。
すなわち、演算結果が閾値より大きい場合（ステップＳ３５；ＮＯ）には、非線形フィッティング部７２から窓関数部７１に位置ずれ量（移動量δ）が出力される（ステップＳ３６）。そして、ステップＳ３３に戻り、窓関数部７１は当該照合処理によって算出された位置ずれ量（移動量δ）を踏まえて５画素×５画素の対象領域の画像データに窓関数をかけ、再度非線形演算部７２１による演算処理が繰り返される。

演算結果が所定の閾値以下の場合（ステップＳ３５；ＹＥＳ）には、最終的な位置ずれ量（移動量δ）がサブピクセルレベルの位置ずれ量として第２照合部７の非線形フィッティング部７２から動作処理部５に出力される（ステップＳ３７）。続いて、動作処理部５は、第２照合部７から出力された照合結果に基づいて３次元化された画像データを生成する（ステップＳ３８）。

以上より、本実施形態の画像照合装置１によれば、第１照合部６においてピクセルレベルの照合結果をハードウェア処理により算出してから、この算出結果（第１照合部６から出力されたデータ）に基づいて、第２照合部７においてサブピクセルレベルの照合結果をソフトウェア処理により算出するので、画像照合より後段の動作処理部５へのデータ伝送量を最小限に抑えることができ、位置ずれ量を全てＣＰＵ等においてソフトウェア処理で算出するよりも負荷を軽減させることが可能である。したがって、処理内容に適合した処理手段を用いて、高速かつ低コストの画像照合を行なうことが可能である。

また、第１照合部６において、画像情報のようなストリームデータに対してデジタルフィルタ等を用いたフィルタ計算を行なうので、パイプラインアルゴリズムを適用し、処理速度をさらに向上させることが可能である。

さらに、第２照合部７において、ソフトウェア処理により非線形演算を行なってサブピクセルレベルの位置ずれ量を算出するので、高精度な位置ずれ量を算出することが可能であるとともに、演算の際に複雑な条件分岐処理を施すことも可能である。したがって、所望の条件で位置ずれ量を算出することが可能であり、ユーザ等の要求に柔軟に対応することが可能である。

また、第１照合部６から出力されるデータには、ヘッダ情報と、照合対象となる画素の座標値に相当する情報及び当該照合対象となる画素を中心としたＭ画素×Ｎ画素の対象領域におけるピクセルレベルの照合結果情報についての照合を行った全画素分の情報と、が含まれているので、第１照合部６によるピクセルレベルの照合結果が第２照合部７に出力された際に、第２照合部７において正しくデータが認識され、円滑なデータ処理が可能となる。

第１照合部６から出力されるデータのヘッダ情報には、データの単位ごとの開始位置を示す開始フラグ情報と、Ｍ画素×Ｎ画素の対象領域の大きさを定義する情報と、画像中の照合対象となる総画素数の情報と、第２照合部における照合結果の算出に必要な情報とが含まれているので、第１照合部６によるピクセルレベルの照合結果が第２照合部７に出力された際に、第２照合部７において正しくデータが認識され、円滑なデータ処理が可能となる。

なお、本発明が上記実施の形態に限らず適宜変更可能であるのは第１の実施形態と同様である。

［第３の実施形態］
次に、図１９から図２１を参照しつつ、本発明の第３の実施形態について説明する。なお、第３の実施形態は、第１照合部及び第２照合部の構成が第１の実施形態及び第２の実施形態と異なるものであるため、以下においては、特に第１の実施形態及び第２の実施形態と異なる点について説明する。

図１１は、本実施形態における第１照合部の要部構成を示すブロック図である。本実施形態において、画像照合装置は、第１の実施形態及び第２の実施形態と同様、画像を取得する画像入力手段を有する画像入力部２、第１照合部８、第２照合部９、動作処理部５（図２１参照）を備えて構成されている。このうち、画像入力部２及び動作処理部５の構成は第１の実施形態及び第２の実施形態と同様であるので、その説明を省略する。

第１照合部６は、解像度変換部８１，８２、領域抽出部８３，８４、探索処理部８５、を備えている。このうち、解像度変換部８１，８２及び領域抽出部８３，８４は、第２の実施形態と同様のものであるので、その説明を省略する。

探索処理部８５は、図２０に示すように、窓関数部８５１ａ，８５１ｂ、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）部８５２ａ，８５２ｂ、位相抽出部８５３ａ，８５３ｂ、合成部８５４、スペクトル重み付け部８５５、ＩＦＦＴ（Inverse Fast Fourier Transform：逆高速フーリエ変換）部８５６、相関値演算部８５７、座標変換部８５８及び領域抽出部８５９が備えられている。
本実施形態における探索処理部８５は、スペクトル重み付け部８５５が設けられている以外は第２の実施形態と同様である。

スペクトル重み付け部８５５は、合成部８５４によって合成された合成フーリエ画像データＦ５に対して低周波領域を強調するスペクトル重み付け関数を適用することによって、信頼性の低い高周波領域の成分を除去するものである。このように高周波領域の成分を除去することにより、照合処理の信頼性を高め、画像照合の高精度化を図ることができる。スペクトル重み付け関数としては、例えば、低域通過型のスペクトル重み付け関数等が適用可能であるが、これに限定されない。なお、高周波領域の成分を除去して画像照合の高精度化を図る手法としては、本実施形態のようにスペクトル重み付け関数を適用するスペクトル重み付け部８５５を設ける構成の他に、例えば、帯域制限ＰＯＣ（Band-Limited POC: ＢＬＰＯＣ）関数を利用するものでもよく、この場合には、ＢＬＰＯＣ関数を適用する機能部を設けるようにする。

スペクトル重み付け部８５５は、スペクトル重み付け情報を第２照合部９に出力するようになっている。また、スペクトル重み付け部８５５は、スペクトル重み付け処理を行った合成フーリエ画像データＦ５をＩＦＦＴ部８５６に出力する。このスペクトル重み付け処理後の合成フーリエ画像データＦ５のヘッダ情報には、データのオプション情報として、スペクトル重み付け情報が付帯される。スペクトル重み付け情報は、第２照合部９における非線形演算等の照合結果の算出に必要な情報である。なお、ヘッダ情報に含まれるデータのオプション情報は、スペクトル重み付け情報に限定されず、例えば第２の実施形態で例示した各種ＩＤや照合処理に用いられる関数そのものに関するデータ等が含まれていてもよい。

なお、第１照合部８から第２照合部９に出力されるデータの構成は、第２の実施形態で示したもの（図１５及び図１６参照）と同様であるので、その説明を省略する。

第２照合部９は、第２の実施形態と同様、窓関数部９１と、非線形演算部９２１及び移動量閾値判定部９２２を備える非線形フィッティング部９２と、を備えている。
本実施形態において、窓関数部９１には、スペクトル重み付け部８５５によるスペクトル重み付け情報が出力されるようになっている。窓関数部９１は、このスペクトル重み付け情報を踏まえて第１照合部８から出力されたＰＯＣ演算結果である５画素×５画素の対象領域の画像データに窓関数（Hanning窓）をかけるようになっている。

なお、その他の構成は、第２の実施形態において示したものと同様であるので、その説明を省略する。

次に、本実施形態の作用について説明する。
まず、画像入力部２から第１照合部８に登録画像データ及び照合画像データが入力されると、第１照合部８は入力された登録画像データ及び照合画像データについて位相限定相関演算処理を施す。位相限定相関演算処理において、登録画像データ及び照合画像データの解像度を変更し対象領域を抽出する手法、及び、探索処理部８５において画像データをフーリエ変換した上でその位相情報を合成する手法は、第２の実施形態で述べたものと同じであるため、その説明を省略する。

本実施形態では、合成部８５４から出力された合成信号Ｆ５に対してスペクトル重み付け部８５５によるスペクトル重み付け処理が施され、スペクトル重み付け部８５５は、スペクトル重み付け情報が画像データのヘッダ情報に含まれた状態でこの合成信号Ｆ５をＩＦＦＴ部８５６に出力する。そして、ＩＦＦＴ部８５６は、スペクトル重み付け部８５５から出力された合成信号Ｆ５に対して、逆フーリエ変換処理を施しｆ５に変換する。その後、探索処理部８５において、当該照合処理を行った画像データの解像度が最高解像度（もとの画像と同じ解像度）か否かが判断され、当該照合処理を行った画像データの解像度が最高解像度（もとの画像と同じ解像度）でない場合には、逆フーリエ変換処理を施されたｆ５が相関値演算部８５７に出力され、相関値演算部８５７は、ｆ５に基づいて相関値ｍａｘ_ｘ，ｙｆ５（ｕ，ｖ）を算出する。相関値演算部８５７は算出結果を座標変換部８５８に出力し、座標変換部８５８は相関値演算部８５７により出力された算出結果に基づいて、次の照合処理における照合対象となる画素（候補座標）の座標値を算出し、領域抽出部８４に出力する。

登録画像データ及び照合画像データの解像度が最高解像度に至るまでは、解像度変換部８１，８２は照合処理が終わるごとに登録画像データ及び照合画像データの解像度を縦横２倍ずつの値に変換して、領域抽出部８３，８４に出力する。領域抽出部８４は、１段階解像度の上がった照合画像データについて、座標変換部８５８から出力された候補座標の座標値に基づいて、当該候補座標を中心とする３２画素×３２画素の領域を抽出し、次の照合処理における対象領域として設定する。そして、領域抽出部８３は、照合画像データと同じ解像度の登録画像データについて、対応する対象領域を抽出、設定する。

登録画像データ及び照合画像データについてそれぞれ対象領域が設定されると、再度探索処理部８５による照合処理（ＰＯＣ演算処理）が行われる。このようにして、画像データの解像度が最高解像度（もとの画像と同じ解像度）になるまで照合処理（ＰＯＣ演算処理）が繰り返される。

照合処理（ＰＯＣ演算処理）を行った画像データの解像度が最高解像度（もとの画像と同じ解像度）と一致すると、逆フーリエ変換処理を施されたｆ５がピクセルレベルにおける相関値（位置ずれ量）として領域抽出部８５９に出力され、領域抽出部８５９は、ＰＯＣ演算結果である相関値（位置ずれ量）に基づいて５画素×５画素の領域を抽出し、第２照合部９による照合処理を行う対象領域として設定する。

第２照合部９では、サブピクセルレベルの位置ずれ量を検出するようになっている。詳しくは、まず、窓関数部９１が第１照合部８から出力されたＰＯＣ演算結果である５画素×５画素の対象領域の画像データにスペクトル重み付け情報を踏まえた上で窓関数（Hanning窓）をかける。その後、非線形フィッティング部９２の非線形演算部９２１は、窓関数部９１からの信号（５画素×５画素の対象領域の実データ）に対して相関ピークモデルをあてはめ、Levenberg-Merquardt法によりずれ量を近似計算する（非線形演算）。すなわち、非線形演算部９２１は、非線形最小二乗法により対象領域の実データのピークと相関ピークモデルとの位置ずれ量（移動量δ）を求める。

さらに、移動量閾値判定部９２２は、非線形演算部９２１による近似計算（非線形演算）の結果が所定の閾値以下か否かを判断し、演算結果が所定の閾値以下となるまで、サブピクセルレベルの位置ずれ量の検出（演算）を繰り返させるようになっている。
すなわち、演算結果が閾値より大きい場合には、非線形フィッティング部９２から窓関数部９１に位置ずれ量（移動量δ）が出力される。そして、窓関数部９１は当該照合処理によって算出された位置ずれ量（移動量δ）を踏まえて５画素×５画素の対象領域の画像データに窓関数をかけ、再度非線形演算部９２１による演算処理が繰り返される。

演算結果が所定の閾値以下の場合には、最終的な位置ずれ量（移動量δ）がサブピクセルレベルの位置ずれ量として第２照合部９の非線形フィッティング部９２から動作処理部５に出力される。続いて、動作処理部５は、第２照合部９から出力された照合結果に基づいて３次元化された画像データを生成する。

以上のように、本実施形態によれば、第１照合部８から出力されるデータのヘッダ情報には、第２照合部９における照合結果の算出に必要な情報として、非線形演算処理に用いられるスペクトル重み付け情報が含まれているので、信頼性の低い高周波成分を除去して、より精密な照合を行うことが可能となる。

なお、本発明が上記実施の形態に限らず適宜変更可能であるのは第１の実施形態及び第２の実施形態と同様である。

第１の実施形態に係る画像照合処理を示す概念図である。 第１の実施形態に係る画像照合装置の構成を示すブロック図である。 図２に示す第１照合部の構成を示すブロック図である。 図３に示す探索処理部の構成を示すブロック図である。 図２に示す第２照合部の構成を示すブロック図である。 相関強度画像データの一例を示す図である。 ピークモデルの一例を示す図である。 第１の実施形態における第１照合部によるピクセルレベルの位置ずれ量の求め方を示すフローチャートである。 ＦＦＴ部によるフーリエ変換の一例を示す図である。 ＦＦＴ部によるフーリエ変換の一例を示す図である。 第２の実施形態に係る画像照合装置の第１照合部の構成を示すブロック図である。 図１１に示す探索処理部の構成を示すブロック図である。 図１３（ａ）は、登録画像と照合画像との位置ずれの例を示す図であり、図１３（ｂ）は、図１３（ａ）に示す位置ずれを画素レベルに拡大した説明図である。 図１４（ａ）は、相関値が０以外の値をとる場合の相関強度画像データの一例を示す図であり、図１４（ｂ）は、相関値が０である場合の相関強度画像データの一例を示す図である。 第１照合部から第２照合部に出力されるデータの構成例を示す図である。 図１５に示すヘッダ情報の構成例を示す図である。 図１１に示す第２照合部の構成を示すブロック図である。 第２の実施形態における第１照合部によるピクセルレベルの位置ずれ量の求め方を示すフローチャートである。 第３の実施形態に係る画像照合装置の第１照合部の構成を示すブロック図である。 図１９に示す探索処理部の構成を示すブロック図である。 図２０に示す第２照合部の構成を示すブロック図である。

符号の説明

１ 画像照合装置
２ 画像入力部
３ 第１照合部
４ 第２照合部
５ 動作処理部
６ 第１照合部
７ 第２照合部
８ 第１照合部
９ 第２照合部
３１ 解像度判定部
３２ 解像度変換部
３３，３４ 領域抽出部
３５ 探索処理部
３５１，３５２ 窓関数部
３５５ 合成部
３５６ 位相抽出部
３５７ ＩＦＦＴ部
３５８ 相関値演算部
３５９ 判定部
４１ 窓関数部
４２ 非線形フィッティング部
６５ 探索処理部
７１ 窓関数部
７２ 非線形フィッティング部
７２１ 非線形演算部
７２２ 移動量閾値判定部
８５ 探索処理部
８５５ スペクトル重み付け部
９１ 窓関数部
９２ 非線形フィッティング部
９２１ 非線形演算部
９２２ 移動量閾値判定部

Claims (7)

1. 第１画像情報と比較対象となる第２画像情報とを入力する画像入力部と、
   前記第１画像情報と前記第２画像情報のピクセルレベルの位置ずれ量をハードウェア処理により算出する第１照合部と、
   前記第１画像情報と前記第２画像情報のサブピクセルレベルの位置ずれ量をソフトウェア処理により算出する第２照合部と、
   前記ピクセルレベルの位置ずれ量と前記サブピクセルレベルの位置ずれ量に基づいて、前記第１画像情報と前記第２画像情報の照合を行なう動作処理部と、
   を備えることを特徴とする画像照合装置。
2. 前記第１照合部は、フィルタを用いてハードウェア処理を施すことを特徴とする請求項１に記載の画像照合装置。
3. 前記第２照合部は、非線形演算を行なうソフトウェア処理を施すことを特徴とする請求項１又は請求項２に記載の画像照合装置。
4. 画像を取得する画像入力手段を有し、第１画像情報と比較対象となる第２画像情報とを取得して出力する画像入力部と、
   前記画像入力部から出力された前記第１画像情報と前記第２画像情報とのピクセルレベルの照合結果をハードウェア処理により算出し、サブピクセルレベルの照合結果を算出するために必要なデータを出力する第１照合部と、
   前記第１照合部から出力されたデータに基づいて、前記第１画像情報と前記第２画像情報とのサブピクセルレベルの照合結果をソフトウェア処理により算出し出力する第２照合部と、
   前記第２照合部から出力されたサブピクセルレベルの照合結果に基づいて、前記第１画像情報と前記第２画像情報との画像全体としての照合結果を算出し出力する動作処理部と、
   を備えていることを特徴とする画像照合装置。
5. 前記第１照合部から出力されるデータは、ヘッダ情報と、照合を行った全画素分の画素毎の照合に関する情報と、を含んで構成されており、
   前記画素毎の照合に関する情報は、照合対象となる画素の座標値に相当する情報及び当該照合対象となる画素を中心としたＭ画素×Ｎ画素の対象領域におけるピクセルレベルの照合結果についての情報との組合せで構成されていることを特徴とする請求項４に記載の画像照合装置。
6. 前記ヘッダ情報は、前記データの単位ごとの開始位置を示す開始フラグ情報と、前記Ｍ画素×Ｎ画素の対象領域の大きさを定義する情報と、画像中の照合対象となる総画素数の情報と、第２照合部における照合結果の算出に必要な情報とを含んでいることを特徴とする請求項５に記載の画像照合装置。
7. 前記第２照合部における照合結果の算出に必要な情報は、非線形演算に用いられるスペクトル重み付け情報であることを特徴とする請求項６に記載の画像照合装置。

Images