JP2006163739A - 最大相関位置検出装置、最大相関位置検出方法、および最大相関位置検出処理プログラム - Google Patents

Abstract

【課題】画像の照合に際し、画像に定義した領域と相関関係が最大となる他の画像上の最大相関領域を検出するための演算処理に際し、処理負荷の大きい平方根演算や分数演算を含む浮動小数点演算を行うことなく、より高速かつ正確に最大相関領域を判断検出する。
【解決手段】画像上に定義した局所領域Ｘに対して他の画像上に設定する第１局所領域Ｙ１との相関係数と第２局所領域Ｙ２との相関係数について、各領域Ｙ１，Ｙ２との相関係数Ｃの２乗（Ｃ²）を計算するための演算式によって平方根演算や分数演算を含まない第１演算パーツ［σ′_xy ²］と第２演算パーツ［σ′_yy］を整数演算器で計算すると共に、各領域それぞれの演算パーツの大小あるいは演算パーツ間の乗算計算結果の大小を比較することで、領域Ｘに対する領域Ｙ１との相関と領域Ｙ２との相関との大小を判断し、大きいと判断された領域Ｙの演算パーツ計算結果を記憶して順次次の領域Ｙiの演算パーツ計算結果との大小比較判断を繰り返し、最大相関領域Ｙを検出する。
【選択図】 図４

Description

本発明は、画像の認識に際して、画像に定義した領域と相関関係が最大となる他の画像上の最大相関領域を検出するための最大相関位置検出装置、最大相関位置検出方法、および最大相関位置検出処理プログラムに関する。

近年、例えば重要施設への入退室管理システムや各種情報機器へのアクセス許可システムにおいて、指紋画像、虹彩画像、顔画像など、生体画像を基にして本人認証を行うシステムが広く導入されるようになっている。

本人認証システムにおいて、例えば指紋画像照合装置の場合には、まず、イメージセンサなどにより読み取られた正規人物の特定の指（例えば人差し指）の指紋画像を登録画像として予め記憶しておく。そして、本人認証に際して同様に読み取られた対象人物の特定の指の指紋画像を照合画像として、前記予め記憶された登録画像との照合類似度を算出することで、登録画像と照合画像との同一性を判定し（パターンマッチング手法）、登録者本人か否かの認証を行っている。

例えば、指紋画像を光学式のイメージセンサ等により読み取ってパターンマッチング手法により画像照合し、本人認証するようにした指紋照合装置が考えられている（例えば、特許文献１参照。）。

このようなパターンマッチング手法を用いた照合装置では、登録画像上で定義した複数の局所領域のそれぞれに対して、照合画像上にて前記各局所領域の画像と最大の相関係数が得られる複数の最大相関領域を求め、登録画像側での各局所領域の相対位置関係と照合画像側での各最大相関領域の相対位置関係との差から類似度を算出しその同一性を判定するものである。

そして、前記登録画像上の局所領域に対する照合画像上での相関係数の算出は、当該照合画像上において前記局所領域と同サイズの領域を対象にｘｙ方向に１画素ずつ走査されて繰り返し行われ、その中で最も相関係数値の高い領域が最大相関領域とされる。

ここで、一方の画像内の局所領域Ｘと他方の画像内の局所領域Ｙとの相関係数Ｃは、次の（式１）〜（式６）に示すように演算処理される。

ここで、ｘｉ、ｙｉは各画素の画素値、Ｍは局所領域の総画素数である。また、σ_xyはＸとＹの共分散、σ_xxはＸの分散（Ｘの標準偏差の２乗）、σ_yyはＹの分散（Ｙの標準偏差の２乗）と呼ばれる。
特開２０００−１９４８６２号公報

例えば前記従来の指紋照合装置において、一方の画像と他方の画像との各局所領域間での相関係数Ｃの演算処理では、前記（式１）〜（式６）に従って平方根演算、分数演算が存在し、また、浮動小数演算を行うため、それだけでも負荷が大きく処理に時間が掛かり、丸めによる誤差も発生する。しかも相関係数Ｃの最大値を検索する処理はこのような重い演算処理を他方の画像上にて１画素ずつ走査し、局所領域との間で繰り返し行う必要があり、処理能力の高いＣＰＵや長いbit長の多数のメモリ空間を要するので、高速かつ正確に最大相関領域を取得して画像の照合判定を行う妨げとなっている。

本発明は、このような課題に鑑みなされたもので、相関係数の演算処理に際して、処理負荷の大きい平方根演算や分数演算を含む浮動小数点演算を行うことなく、より高速かつ正確に最大相関領域を取得することが可能になる最大相関位置検出装置、最大相関位置検出方法、および最大相関位置検出処理プログラムを提供することを目的とする。

本発明の請求項１に記載の最大相関位置検出装置は、対比される画像に定義される領域Ｘと相関関係が最大となる他の画像上の領域Ｙの位置を検出する最大相関位置検出装置であって、
他の画像上に領域Ｘと同形の第１の領域Ｙ１と第２の領域Ｙ２を配置する領域配置手段と、前記領域Ｘと第１の領域Ｙ１との間、前記領域Ｘと第２の領域Ｙ２との間のそれぞれの相関係数Ｃの２乗を計算するための演算式におけるσｘｙ（ＸとＹの共分散）の２乗に相当する第１の演算パーツとσｙｙ（Ｙの分散）に相当する第２の演算パーツを計算する演算パーツ計算手段と、この演算パーツ計算手段により計算された各演算パーツの大小を比較することで、前記領域Ｘと第１の領域Ｙ１との相関と前記領域Ｘと第２の領域Ｙ２との相関との大小を判断する相関比較判断手段と、この相関比較判断手段により相関が大きいと判断された第１の領域または第２の領域に関する各演算パーツの計算結果を記憶すると共に、相関が小さいと判断された第２の領域または第１の領域を他の画像の別の位置、またはさらに別の画像上に移動配置して当該移動配置後の領域に関する前記各演算パーツを前記演算パーツ計算手段によって計算させ、前記記憶された領域に関する各演算パーツの計算結果との大小比較判断を前記相関比較判断手段によって繰り返させる繰り返し制御手段とを備え、最大相関位置を検出するようにしたことを特徴とする。

本発明の請求項１に記載の最大相関位置検出装置によれば、対比される領域Ｘと第１の領域Ｙ１との相関係数と第２の領域Ｙ２との相関係数について、各領域Ｙ１，Ｙ２との相関係数Ｃの２乗（Ｃ²）を計算するための演算式によって平方根演算および分数演算を含まないよう変換した第１の演算パーツ［σ′_xy ²］（ＸとＹの共分散の２乗にＭの４乗をかけたもの）と第２の演算パーツ［σ′_yy］（Ｙの分散にＭの２乗をかけたもの）を計算すると共に、当該各領域それぞれの演算パーツの大小あるいは演算パーツ間の乗算計算結果の大小を比較することで、前記領域Ｘに対する領域Ｙ１との相関と領域Ｙ２との相関との大小を判断し、大きいと判断された領域Ｙの演算パーツ計算結果を記憶保持して順次次の領域Ｙｉの演算パーツ計算結果との大小比較判断を繰り返すことで、最大相関領域Ｙの位置（後述の例では最終的にＹ１として保存）を検出するようにしたので、相関係数の演算処理に際して、処理負荷の大きい平方根演算や分数演算を含む浮動小数点演算を行うことなく、より高速かつ正確に最大相関領域を取得することが可能になる。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の実施形態に係る最大相関位置検出装置を搭載した画像照合装置の電子回路の構成を示すブロック図である。

この画像照合装置は、制御部（ＣＰＵ）１１、プログラムメモリ１２、ワークメモリ１３、登録画像メモリ１３Ａ、照合画像メモリ１３Ｂ、イメージ読み取り装置１４、表示部１５、入力部１６、記憶媒体読み取り部１８、伝送制御部１９、整数演算器１１１、相関比較用メモリ１１２より構成され、バス１７を介して相互に接続されている。

制御部（ＣＰＵ）１１は、入力部１６からの入力信号に応じて、プログラムメモリ１２に予め記憶されている制御プログラム、あるいはフロッピディスクＦＤなどの外部記憶媒体１８ａからフロッピディスクドライブＦＤＤなどの記憶媒体読み取り部１８を介してプログラムメモリ１２に読み込まれた画像照合処理プログラム、あるいは外部のコンピュータ端末（プログラムサーバ２１）の記憶装置２２から通信ネットワーク２０を経由し伝送制御部１９を介してプログラムメモリ１２に読み込まれた画像照合処理プログラムを起動させ、回路各部の動作を制御する。

プログラムメモリ１２は、半導体メモリのＲＯＭやハードディスク装置ＨＤＤ、あるいは半導体メモリのＲＡＭ等で構成し、本照合装置の電源投入直後に制御部（ＣＰＵ）１１により読み出される前述の制御プログラムを予め格納しておく、あるいはフロッピディスクＦＤなどの外部記憶媒体１８ａからフロッピディスクドライブＦＤＤなどの記憶媒体読み取り部１８を介して、あるいは外部のコンピュータ端末（プログラムサーバ２１）の記憶装置２２から通信ネットワーク２０を経由し伝送制御部１９を介して、前述の画像照合処理プログラムが読み込まれる。登録画像メモリ１３Ａ、照合画像メモリ１３Ｂは半導体メモリのＲＡＭ等で構成し、イメージ読み取り装置１４により読み取られた登録画像Ａ、照合画像Ｂを格納する。（使用形態に応じて、登録画像メモリ１３Ａは半導体メモリのＲＯＭ等で構成してもよい。）
ワークメモリ１３は、前述の制御プログラムを実行する際に制御部（ＣＰＵ）１１が使用する作業用メモリである。

相関比較用メモリ１１２は、登録画像Ａと照合画像Ｂとの照合処理に伴い整数演算器１１１を用いて行う各画像間での相関係数の演算処理に際して、対比される登録画像と相関係数演算対象とした照合画像における第１の局所領域との相関係数と第２の局所領域との相関係数との何れが大きいかを比較するためのメモリであり、大小比較すべき相関係数のパーツの値を記憶したり、これらを加算，乗算したりするためのそれぞれが例えば３２bitsのメモリ空間Ｍ１〜Ｍ１１、および大小比較結果のフラグを記憶する最下位大小フラグメモリＦJ、比較演算中のキャリーフラグを記憶するキャリーフラグメモリＦCを有する。

なお、整数演算器１１１における一般的な加算器１１ａおよび乗算器１１ｂの演算レジスタのビット長は３２bits程度である。

イメージ読み取り装置１４は、登録画像Ａやこれに応じた照合画像Ｂを取得するための装置であり、例えば、イメージスキャナ装置やＣＣＤ（電荷結合素子）などのイメージセンサである。

表示部１５は、登録画像Ａと照合画像Ｂとの照合の判定結果を表示する、例えばＣＲＴや液晶などといったディスプレイ装置である。

入力部１６は、本照合装置の使用者が画像の取得指示や照合処理の開始を制御部（ＣＰＵ）１１に指示するための、例えばキーボード装置などの入力装置である。

図２は、前記画像照合装置における登録画像ＧＡの局所領域Ｘに対する照合画像ＧＢの第１局所領域Ｙ１と第２局所領域Ｙ２との領域設定状態を示す図である。

この画像照合装置では、登録画像ＧＡの所定の位置に設定した局所領域Ｘに対して照合画像ＧＢ上でｘｙ方向に１画素ずつ走査される各局所領域Ｙ１，Ｙ２，…それぞれとの相関係数を演算し、そのうちの最大相関係数が得られる領域（最大相関領域）を検出する。

そして、この照合画像ＧＢ上での最大相関領域の検出処理を、登録画像ＧＡに設定した複数の局所領域Ｘa，Ｘb，…，ＸNについて行い、当該登録画像ＧＡ上での複数の局所領域Ｘa，Ｘb，…，ＸN間の相対位置関係とこれに応じて検出された照合画像ＧＢ上での複数の最大相関領域Ｙa，Ｙb，…，ＹN間の相対位置関係との差分により両画像間の類似度を算出し、この類似度に閾値を設定して照合一致または照合不一致の判定を行う。

なお、前記一方の画像上での複数の局所領域Ｘa，Ｘb，…，ＸNそれぞれの相対位置関係と他方の画像上での各最大相関領域Ｙa，Ｙb，…，ＹNそれぞれの相対位置関係とに基づいた一方の画像と他方の画像との類似度の算出手法については、例えば同一出願人により出願され出願公開済みの画像照合装置に記載された手法を用いる（特許文献１参照。）。

ここで、前記登録画像ＧＡと照合画像ＧＢ間での相関係数の演算手法およびその最大相関領域の検出判定手法について説明する。

一方の画像１内の局所領域Ｘと他方の画像２内の局所領域Ｙとの相関係数Ｃの演算式は、前記（式１）〜（式６）で示した通りであるが、検出すべきは画像２における第１局所領域Ｙ１との相関係数と第２局所領域Ｙ２との相関係数との大小比較であるため、まず処理負荷の重い平方根演算を解消するために、前記（式１）で示した相関係数の演算式の両辺を２乗し、次の（式７）で示すように変換する。

ここで、σ_xx、σ_yy、σ_xyについて、それぞれ前記（式２）〜（式６）に従い次の（式８）〜（式１０）で示すように展開する。

そして、前記（式７）に従った２乗後の相関係数Ｃ²における分子／分母の各パーツσ_xy ²、σ_xx、σ_yyについて、そのそれぞれに含まれる［Ｍ］に関する分数演算を解消するためにそれぞれ［Ｍ⁴］、［Ｍ²］、［Ｍ²］を乗算し、次の（式１１）で示すように変換する。

ここで、一方の画像１内の局所領域Ｘと他方の画像２内の局所領域Ｙ１との相関係数Ｃ²の変換式（式１１）おける分子／分母の各パーツを、σ′_xy1 ²、σ′_xx、σ′_y1y1とし、また、同画像１内の局所領域Ｘと他方の画像２内の局所領域Ｙ２との相関係数Ｃ²の変換式（式１１）おける分子／分母の各パーツを、σ′_xy2 ²、σ′_xx、σ′_y2y2とする。

この際、第１の局所領域Ｙ１との相関係数Ｃ²の各パーツと第２の局所領域Ｙ２との相関係数Ｃ²の各パーツとの間には、σ′_xxが共通に含まれ、これは各局所領域Ｙ１との相関係数と，Ｙ２との相関係数間での大小の比較結果には無関係なパーツであるため計算の必要はない。

従って、第１の局所領域Ｙ１との相関係数Ｃ_y1 ²の演算式と第２の局所領域Ｙ２との相関係数Ｃ_y2 ²の演算式とは、次の（式１２）で示すように簡略化して大小比較比較を行える。

なお、前記各演算パーツであるσ′_xy ²はＸとＹの共分散の２乗にＭの４乗をかけたもの、σ′_xxはＸの分散にＭの２乗をかけたもの、σ′_yyはＹの分散にＭの２乗をかけたものに対応する。

ここまでの変形で、第１の局所領域Ｙ１との分子、分母の各パーツσ′_xy1 ²、σ′_y1y1と第２の局所領域Ｙ２との分子、分母の各パーツσ′_xy2 ²、σ′_y2y2は何れにも平方根演算や分数演算が現れず、整数演算器１１１のみによって演算処理することができる。

さらに、第１の局所領域Ｙ１に関する分子／分母と第２の局所領域Ｙ２に関する分子／分母という分数の形での比較を行うのではなく、分子と分母の各パーツ間の比較判断あるいは、各パーツ間の乗算後の比較判断によって、何れの局所領域の相関係数Ｃが大きいかを判断可能とする方法を考える。

すなわち、第１比較処理として、第１の局所領域Ｙ１の分母パーツσ′_y1y1が第２の局所領域Ｙ２の分母パーツσ′_y2y2と比較して等しいか小さく、且つ第１の局所領域Ｙ１の分子パーツσ′_xy1 ²が第２の局所領域Ｙ２の分子パーツσ′_xy2 ²と比較して大きい場合には、第１の局所領域Ｙ１との相関が大きいと判定できる。

同様に、第１の局所領域Ｙ１の分母パーツσ′_y1y1が第２の局所領域Ｙ２の分母パーツσ′_y2y2と比較して小さく、且つ第１の局所領域Ｙ１の分子パーツσ′_xy1 ²が第２の局所領域Ｙ２の分子パーツσ′_xy2 ²と比較して等しいか大きい場合には、第１の局所領域Ｙ１との相関が大きいと判定できる。

逆に、第２の局所領域Ｙ２の分母パーツσ′_y2y2が第１の局所領域Ｙ１の分母パーツσ′_y1y1と比較して等しいか小さく、且つ第２の局所領域Ｙ２の分子パーツσ′_xy2 ²が第１の局所領域Ｙ１の分子パーツσ′_xy1 ²と比較して小さい場合には、第２の局所領域Ｙ２との相関が大きいと判定できる。

同様に、第２の局所領域Ｙ２の分母パーツσ′_y2y2が第１の局所領域Ｙ１の分母パーツσ′_y1y1と比較して小さく、且つ第２の局所領域Ｙ２の分子パーツσ′_xy2 ²が第１の局所領域Ｙ１の分子パーツσ′_xy1 ²と比較して大きいか等しい場合には、第２の局所領域Ｙ２との相関が大きいと判定できる。

そして、この第１比較処理で判定できないときには第２比較処理として、第１の局所領域Ｙ１の分子パーツと第２の局所領域Ｙ２の分母パーツとの乗算結果（σ′_xy1 ²＊σ′_y2y2）に対して、第２の局所領域Ｙ２の分子パーツと第１の局所領域Ｙ１の分母パーツとの乗算結果（σ′_xy2 ²＊σ′_y1y1）を比較することで、後者の方が大きい場合には第２の局所領域Ｙ２との相関が大きいと判定でき、その逆の場合には第１の局所領域Ｙ１との相関が大きいと判定できる。

次に、前記構成の画像照合装置における最大相関位置検出動作について説明する。

図３は、前記画像照合装置における最大相関位置検出処理を示すフローチャートである。

図４は、前記画像照合装置の最大相関位置検出処理に伴う相関の比較処理を示すフローチャートである。

図５は、前記画像照合装置の相関の比較処理に伴う第２比較処理での詳細な演算過程を示すフローチャートである。

図６は、前記画像照合装置の相関の比較処理に伴う相関比較用メモリ１１２での演算動作を示す図である。

まず、図２（Ａ）で示したように、登録画像メモリ１３Ａに記憶された登録画像ＧＡの所定の位置に対して基準局所領域Ｘを定義する（ステップＳ１）。

また、図２（Ｂ）で示したように、照合画像メモリ１３Ｂに記憶された照合画像ＧＢの全画素中の始点画素に合わせて前記基準局所領域Ｘと同サイズの第１の局所領域Ｙ１を設定する（ステップＳ２）と共に、ｘ方向に１画素分走査した位置に第２の局所領域Ｙ２を設定する（ステップＳ３）。

すると、図４における相関の比較処理が起動され、前記登録画像ＧＡ上での基準局所領域Ｘに対する照合画像ＧＢ上での第１の局所領域Ｙ１との相関係数と第２の局所領域Ｙ２との相関係数とが演算算出されると共に、その何れの相関が大きいかが判断される（ステップＳＡ）。

ここで、各局所領域Ｘ，Ｙ１，Ｙ２の画像サイズを例えば１２＊１４画素とすると、その総画像数Ｍは１６８となる。また、１画素を８ビット（２５６）階調とする。

相関の比較処理が起動されると、前記（式１２）で示した第１の局所領域Ｙ１の分子／分母の各パーツσ′_xy1 ²、σ′_y1y1と、第２の局所領域Ｙ２の分子／分母の各パーツσ′_xy2 ²、σ′_y2y2とが、それぞれ平方根演算や分数演算を無くした前記（式１１）に従い、整数演算器１１１の加算器１１ａおよび乗算器１１ｂにより演算算出され、図６（Ｂ）に示すように、第１の局所領域Ｙ１の分子パーツσ′_xy1 ²は相関比較用メモリ１１２の各３２bitsメモリ空間Ｍ１，Ｍ２に、分母パーツσ′_y1y1はＭ３に格納され、図６（Ｃ）に示すように、第２の局所領域Ｙ２の分子パーツσ′_xy2 ²は同相関比較用メモリ１１２の各３２bitsメモリ空間Ｍ４，Ｍ５に、分母パーツσ′_y2y2はＭ６に格納される（ステップＡ１，Ａ２）。

すると、前記メモリ空間［Ｍ３：Ｍ６］によって第１の局所領域Ｙ１の分母パーツσ′_y1y1が第２の局所領域Ｙ２の分母パーツσ′_y2y2と比較して等しいか小さく（ステップＡ３）且つ前記メモリ空間［Ｍ１，Ｍ２：Ｍ４，Ｍ５］によって第１の局所領域Ｙ１の分子パーツσ′_xy1 ²が第２の局所領域Ｙ２の分子パーツσ′_xy2 ²と比較して大きいか（ステップＡ４）、または第１の局所領域Ｙ１の分母パーツσ′_y1y1が第２の局所領域Ｙ２の分母パーツσ′_y2y2と比較して小さく（ステップＡ５）且つ第１の局所領域Ｙ１の分子パーツσ′_xy1 ²が第２の局所領域Ｙ２の分子パーツσ′_xy2 ²と比較して等しいか大きいか（ステップＡ６）が整数演算器１１１の比較器１１ｃによって判断され、この各条件に当て嵌まる場合には第１の局所領域Ｙ１との相関が大きいとして判断される（ステップＡ７）。

逆に、前記メモリ空間［Ｍ３：Ｍ６］によって第２の局所領域Ｙ２の分母パーツσ′_y2y2が第１の局所領域Ｙ１の分母パーツσ′_y1y1と比較して等しいか小さく（ステップＡ８）且つ前記メモリ空間［Ｍ１，Ｍ２：Ｍ４，Ｍ５］によって第２の局所領域Ｙ２の分子パーツσ′_xy2 ²が第１の局所領域Ｙ１の分子パーツσ′_xy1 ²と比較して大きいか（ステップＡ９）、または第２の局所領域Ｙ２の分母パーツσ′_y2y2が第１の局所領域Ｙ１の分母パーツσ′_y1y1と比較して小さく（ステップＡ１０）且つ第２の局所領域Ｙ２の分子パーツσ′_xy2 ²が第１の局所領域Ｙ１の分子パーツσ′_xy1 ²と比較して等しいか大きいか（ステップＡ１１）が整数演算器１１１の比較器１１ｃによって判断され、この各条件に当て嵌まる場合には第２の局所領域Ｙ２との相関が大きいとして判断される（ステップＡ１２）。

こうした相関の比較処理における第１比較処理（ステップＡ３〜Ａ１２）において、第１の局所領域Ｙ１との相関または第２の局所領域Ｙ２との相関の何れが大きいかが判定されなかった場合には、当該相関の比較処理における第２比較処理（ステップＡ１３〜Ａ１５）に移行され、整数演算器１１１において、第１の局所領域Ｙ１の分子パーツと第２の局所領域Ｙ２の分母パーツとの乗算結果（σ′_xy1 ²＊σ′_y2y2）に対して、第２の局所領域Ｙ２の分子パーツと第１の局所領域Ｙ１の分母パーツとの乗算結果（σ′_xy2 ²＊σ′_y1y1）が比較され、第１の局所領域Ｙ１との相関が大きいか、または第２の局所領域Ｙ２との相関が大きいかが判定される。

この第２比較処理について、図５で示す第２比較処理での詳細な演算過程および図６で示す相関比較用メモリ１１２での演算動作を参照してさらに詳細に説明する。

なお、この第２比較処理も、整数演算器１１１の加算器１１ａ、乗算器１１ｂ、比較器１１ｃ、および相関比較用メモリ１１２を使用して実行される。

まず、図６（Ｅ）に示すように、メモリ空間［Ｍ１，Ｍ２］に格納された第１の局所領域Ｙ１の分子パーツ（σ′_xy1 ²）とメモリ空間［Ｍ６］に格納された第２の局所領域Ｙ２の分母パーツ（σ′_y2y2）との乗算にあたり、下位桁での乗算［Ｍ２＊Ｍ６］が行われ、その乗算結果（σ′_xy1 ²［下位］＊σ′_y2y2）が［Ｍ７，Ｍ８］に格納される（ステップＡ１３０）。

また、図６（Ｆ）に示すように、メモリ空間［Ｍ４，Ｍ５］に格納された第２の局所領域Ｙ２の分子パーツ（σ′_xy2 ²）とメモリ空間［Ｍ３］に格納された第１の局所領域Ｙ１の分母パーツ（σ′_y1y1）との乗算にあたり、下位桁での乗算［Ｍ５＊Ｍ３］が行われ、その乗算結果（σ′_xy2 ²［下位］＊σ′_y1y1）が［Ｍ９，Ｍ１０］に格納される（ステップＡ１３１）。

すると、前記乗算結果の下位桁側である［Ｍ８］と［Ｍ１０］とが比較され、その大小を示すフラグが図６（Ｇ）で示す最下位大小フラグメモリＦJに記憶される（ステップＡ１３２）。

続いて、前記下位桁での乗算処理と同様に、上位桁での乗算処理［Ｍ１＊Ｍ６］が行われ、その乗算結果（σ′_xy1 ²［上位］＊σ′_y2y2）が［Ｍ８，Ｍ１０］に格納される（ステップＡ１３３）。

そして、［Ｍ７＋Ｍ１０］の加算結果が［Ｍ７］に上書き格納されると共に、キャリーが生じた場合にはキャリーフラグメモリＦCに記憶され（ステップＡ１３４）、さらに、［Ｍ８＋キャリー（ＦC）］が行われ、［Ｍ８］に上書き格納される（ステップＡ１３５）。

この時点で、第１の局所領域Ｙ１の分子パーツと第２の局所領域Ｙ２の分母パーツとの乗算結果（σ′_xy1 ²＊σ′_y2y2）の上位桁側が［Ｍ８，Ｍ７］に得られた状態となる。

一方、前記メモリ空間［Ｍ４，Ｍ５］に格納された第２の局所領域Ｙ２の分子パーツ（σ′_xy2 ²）とメモリ空間［Ｍ３］に格納された第１の局所領域Ｙ１の分母パーツ（σ′_y1y1）との乗算についても、前記下位桁での乗算処理（ステップＡ１３１）と同様に、上位桁での乗算処理［Ｍ４＊Ｍ３］が行われ、その乗算結果（σ′_xy2 ²［上位］＊σ′_y1y1）が［Ｍ１０，Ｍ１１］に格納される（ステップＡ１３６）。

そして、［Ｍ９＋Ｍ１１］の加算結果が［Ｍ９］に上書き格納されると共に、キャリーが生じた場合にはキャリーフラグメモリＦCに記憶され（ステップＡ１３７）、さらに、［Ｍ１０＋キャリー（ＦC）］が行われ、［Ｍ１０］に上書き格納される（ステップＡ１３８）。（なお、上記キャリーフラグメモリＦCに関する演算は整数演算器１１１内のレジスタで処理されてもよい。）
この時点で、第２の局所領域Ｙ２の分子パーツと第１の局所領域Ｙ１の分母パーツとの乗算結果（σ′_xy2 ²＊σ′_y1y1）の上位桁側が［Ｍ１０，Ｍ９］に得られた状態となる。

そして、それぞれの乗算結果である［Ｍ８，Ｍ７］と［Ｍ１０，Ｍ９］とが、その上位側から３２bitsずつ比較処理される（ステップＡ１３９）。

すなわち、第１の局所領域Ｙ１の分子パーツと第２の局所領域Ｙ２の分母パーツとの乗算結果である（σ′_xy1 ²＊σ′_y2y2）の上位側［Ｍ８］と、第２の局所領域Ｙ２の分子パーツと第１の局所領域Ｙ１の分母パーツとの乗算結果である（σ′_xy2 ²＊σ′_y1y1）の上位側［Ｍ１０］とが比較されてその大小が判断され、同じである場合には同下位側の［Ｍ７］と［Ｍ９］が比較されてその大小が判断され、さらに同じである場合には前記ステップＡ１３２において判断記憶された最下位大小フラグメモリＦJの値に応じてその大小が判断される。

そして、第１の局所領域Ｙ１側との相関が大きいと判断された場合には、当該第１の局所領域Ｙ１の分子／分母の各パーツσ′_xy1 ²、σ′_y1y1の演算値が格納されているメモリ空間［Ｍ１］［Ｍ２］［Ｍ３］の内容が記憶保持され、逆に、第２の局所領域Ｙ２側との相関が大きいと判断された場合には、当該第２の局所領域Ｙ２の分子／分母の各パーツσ′_xy2 ²、σ′_y2y2の演算値が格納されているメモリ空間［Ｍ４］［Ｍ５］［Ｍ６］の内容が記憶保持される。そして、この時点での前記基準局所領域Ｘに対する最大相関領域Ｙとして相関が大きいと判断された側の領域位置も記憶される。

これにより、処理負荷の大きい平方根演算や分数演算を行う必要なく、照合画像ＧＢ上での各局所領域Ｙ１，Ｙ２との相関係数の大小を容易に演算比較して高速かつ正確に判定できるようになる。

こうして、第１の局所領域Ｙ１との相関と第２の局所領域Ｙ２との相関との大小が判定されると、相関が大きいと判断された方の局所領域がＹ１として扱われ（ステップＳ４〜Ｓ５）、照合画像ＧＢを終点位置まで検索したかを判断し（ステップＳ６）、終点位置でない場合は、当該現時点での最大相関領域である局所領域Ｙ１と比較すべく新たな局所領域Ｙ２が１画素分走査した位置に設定される（ステップＳ７）。

そして再び、前記図４における相関の比較処理が起動され、前記新たな局所領域Ｙ２との相関演算式Ｃ_y2 ²における分子／分母の各パーツσ′_xy2 ²／σ′_y2y2の演算処理、および前回の同比較処理において記憶保持された現時点での最大相関領域である局所領域Ｙ１との相関演算式Ｃ_y1 ²における分子／分母の各パーツσ′_xy1 ²／σ′_y1y1との相関比較処理が繰り返される（ステップＳＡ）。

この後、前記同様に照合画像ＧＢ上の全領域について１画素ずつｘｙ方向に走査された新たな局所領域Ｙ２との相関の比較処理が繰り返されることで、最終的にＹ１として扱われた局所領域が最大相関領域（位置）として判定される（ステップＳ４→Ｓ８）。

そしてさらに、前記照合画像ＧＢ上での最大相関領域Ｙ１の検出処理が、登録画像ＧＡに設定した複数の局所領域Ｘa，Ｘb，…，ＸNについて繰り返し実行され、当該登録画像ＧＡ上での複数の局所領域Ｘa，Ｘb，…，ＸN間の相対位置関係とこれに応じて検出された照合画像ＧＢ上でのそれぞれの最大相関領域Ｙa，Ｙb，…，ＹN間の相対位置関係との差分により各画像同士の類似度が算出され、この類似度に設定された閾値に従って照合一致または照合不一致の判定が行われる。

したがって、前記構成の画像照合装置における最大相関位置検出機能によれば、登録画像ＧＡ上に定義した基準の局所領域Ｘに対して相関関係が最大になる照合画像ＧＢ上での同領域サイズの局所領域Ｙの位置を検出するために、照合画像ＧＢ上で１画素ずつ走査して設定する第１の局所領域Ｙ１との相関係数と第２の局所領域Ｙ２との相関係数について、各領域Ｙ１，Ｙ２との相関係数Ｃの２乗（Ｃ²）を計算するための演算式によって平方根演算および分数演算を含まないよう変換した第１の演算パーツ［σ′_xy ²］（ＸとＹの共分散の２乗にＭの４乗をかけたもの）と第２の演算パーツ［σ′_yy］（Ｙの分散にＭの２乗をかけたもの）を整数演算器１１１にて計算すると共に、当該各領域それぞれの演算パーツの大小あるいは演算パーツ間の乗算計算結果の大小を比較することで、前記領域Ｘに対する領域Ｙ１との相関と領域Ｙ２との相関との大小を判断し、大きいと判断された領域Ｙの演算パーツ計算結果を記憶保持して順次次の領域Ｙiの演算パーツ計算結果との大小比較判断を繰り返すことで、最大相関領域Ｙの位置を最終的にＹ１として検出するようにしたので、負荷の重い平方根演算および分数演算処理を行う必要なく、高速かつ正確に最大相関領域を取得して画像の照合判定を行うことができる。

つまり、前記構成の画像照合装置における最大相関位置検出機能によれば、相関係数Ｃの大小を比較判断するための第１の演算パーツ［σ′_xy ²］（ＸとＹの共分散の２乗にＭの４乗をかけたもの）および第２の演算パーツ［σ′_yy］（Ｙの分散にＭの２乗をかけたもの）は、何れも対象領域の総画素数Ｍを適宜掛けて分数演算を含まないよう変換した演算式によって計算するので、平方根演算だけでなく分数演算をも含まずに、かつ、分数の形での比較を行わないので、より高速かつ正確に最大相関領域を取得して画像の照合判定を行うことができる。

また、前記構成の画像照合装置における最大相関位置検出機能によれば、領域Ｙ１との相関係数とＹ２との相関係数の各演算に関するそれぞれの第１の演算パーツ［σ′_xy ²］（ＸとＹの共分散の２乗にＭの４乗をかけたもの）および第２の演算パーツ［σ′_yy］（Ｙの分散にＭの２乗をかけたもの）同士の比較処理により大小の判断ができない場合にのみ、領域Ｙ１に関する第２の演算パーツ［σ′_y1y1］と領域Ｙ２に関する第１の演算パーツ［σ′_xy2 ²］との乗算結果と、領域Ｙ２に関する第２の演算パーツ［σ′_y2y2］と領域Ｙ１に関する第１の演算パーツ［σ′_xy1 ²］との乗算結果とを比較することで、各領域Ｙ１，Ｙ２それぞれとの相関の大小を判断するので、多ビット間の乗算回数を減らすことができ、高速且つ確実に最大相関領域を取得して画像の照合判定を行うことができる。

さらに、前記領域Ｙ１に関する第２の演算パーツ［σ′_y1y1］と領域Ｙ２に関する第１の演算パーツ［σ′_xy2 ²］との乗算処理、領域Ｙ２に関する第２の演算パーツ［σ′_y2y2］と領域Ｙ１に関する第１の演算パーツ［σ′_xy1 ²］との乗算処理、およびその比較処理を行う場合は、整数演算器１１１における乗算器１１ａおよび加算器１１ｂのレジスタビット長に対応した３２bits長単位のメモリ空間Ｍｉで演算処理すると共に、最下位のビットブロックの乗算結果の大小比較結果のみを最下位大小フラグメモリＦJに記憶した後に、当該最下位のビットブロックを上位側のビットブロックの演算結果メモリとして上書きして再利用するので、メモリ領域を効率的に使用して高速且つ確実な最大相関領域の取得処理を行うことができる。

また、平方根演算も用いないので、平方根演算用のデータテーブル領域を持つ必要がなく有利である。

なお、上記実施形態では、領域Ｙ１、Ｙ２は同じ画像上にある場合の最大相関位置検出機能の例として説明したが、領域Ｙ１と領域Ｙ２、・・・が別の画像上にあり、対比される画像Ｘ上の領域とどの領域の相関が最も大きい領域かを検出する機能としても同様に使える。（位置として、同一画像上に限らず、他画像上の位置であってもかまわない。）さらに、上記実施形態を複数の画像間に適用して、求まった最大相関領域間のうち、さらに最大の相関係数値を与える領域を検出する機能としても同様に利用することが可能である。

また、照合装置としてだけでなく、広く認識装置として、領域Ｘの画像内の対象物体がどの位置に存在するかを検出する対象物体の位置検出装置、運動物体の追跡装置等に利用することも可能である。

また、もし、最大相関係数値そのものの値が必要であれば、最大相関位置が求まった時点で、必要な［σ′xx²］を一回のみ計算して、最大相関係数値Ｃの２乗に相当する分数を一回だけ求めることにより対応すればよく効率的である。

なお、前記実施形態において記載した画像照合装置による各処理の手法、すなわち、図３のフローチャートに示す最大相関位置検出処理、図４のフローチャートに示す前記最大相関位置検出処理での相関の比較処理、図５のフローチャートに示す前記相関の比較処理での第２比較処理、そしてこの最大相関位置の検出に基づいた画像照合判定処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１８ａに格納して配布することができる。そして、画像記憶機能を備えた種々のコンピュータ端末は、この外部記録媒体１８ａに記憶されたプログラムを記憶媒体読取部１８によってプログラムメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した各画像間での最大相関位置検出／照合判定機能を実現し、前述した手法による同様の処理を実行することができる。

そして、上記プログラムは浮動小数点演算機能を持たないデバイス（ＤＳＰ、マイコン等）にも実装できるという利点がある。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）２０上を伝送させることができ、この通信ネットワーク（インターネット）２０に接続されたコンピュータ端末（プログラムサーバ２１）の記憶装置２２から前記のプログラムデータを取り込み、前述した各画像間での最大相関位置検出／照合判定機能を実現することもできる。

なお、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み替えられても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み替えられた構成が発明として抽出され得るものである。

本発明の実施形態に係る最大相関位置検出装置を搭載した画像照合装置の電子回路の構成を示すブロック図。 前記画像照合装置における登録画像ＧＡの局所領域Ｘに対する照合画像ＧＢの第１局所領域Ｙ１と第２局所領域Ｙ２との領域設定状態を示す図。 前記画像照合装置における最大相関位置検出処理を示すフローチャートである。 前記画像照合装置の最大相関位置検出処理に伴う相関の比較処理を示すフローチャート。 前記画像照合装置の相関の比較処理に伴う第２比較処理での詳細な演算過程を示すフローチャート。 前記画像照合装置の相関の比較処理に伴う相関比較用メモリ１１２での演算動作を示す図。

符号の説明

１１ …制御部（ＣＰＵ）
１１１…整数演算器
１１ａ…加算器
１１ｂ…乗算器
１１ｃ…比較器
１１２…相関比較用メモリ
１２ …プログラムメモリ
１３ …ワークメモリ
１３Ａ…登録画像メモリ
１３Ｂ…照合画像メモリ
１４ …イメージ読み取り装置
１５ …表示部
１６ …入力部
Ｍｉ …３２bitsメモリ空間
ＦJ …最下位大小フラグメモリ
ＦC …キャリーフラグメモリ
ＧＡ …登録画像
ＧＢ …照合画像
Ｘ …基準局所領域
Ｙｉ …相関演算対象領域

Claims (7)

1. 対比される画像に定義される領域Ｘと相関関係が最大となる他の画像上の領域Ｙの位置を検出する最大相関位置検出装置であって、
   他の画像上に領域Ｘと同形の第１の領域Ｙ１と第２の領域Ｙ２を配置する領域配置手段と、
   前記領域Ｘと第１の領域Ｙ１との間、前記領域Ｘと第２の領域Ｙ２との間のそれぞれの相関係数Ｃの２乗を計算するための演算式におけるσｘｙ（ＸとＹの共分散）の２乗に相当する第１の演算パーツとσｙｙ（Ｙの分散）に相当する第２の演算パーツを計算する演算パーツ計算手段と、
   この演算パーツ計算手段により計算された各演算パーツの大小を比較することで、前記領域Ｘと第１の領域Ｙ１との相関と前記領域Ｘと第２の領域Ｙ２との相関との大小を判断する相関比較判断手段と、
   この相関比較判断手段により相関が大きいと判断された第１の領域または第２の領域に関する各演算パーツの計算結果を記憶すると共に、相関が小さいと判断された第２の領域または第１の領域を他の画像の別の位置、またはさらに別の画像上に移動配置して当該移動配置後の領域に関する前記各演算パーツを前記演算パーツ計算手段によって計算させ、前記記憶された領域に関する各演算パーツの計算結果との大小比較判断を前記相関比較判断手段によって繰り返させる繰り返し制御手段とを備え、
   最大相関位置を検出するようにしたことを特徴とする最大相関位置検出装置。
2. 前記第１の演算パーツは、ＸとＹの共分散σｘｙの値の２乗に演算対象領域の画素数Ｍの４乗を掛けた式に相当し、
   前記第２の演算パーツは、Ｙの分散σｙｙの値に演算対象領域の画素数Ｍの２乗を掛けた式に相当する、
   ことを特徴とする請求項１に記載の最大相関位置検出装置。
3. 前記相関比較判断手段は、前記第１の領域Ｙ１に関する前記第１の演算パーツと前記第２の領域Ｙ２に関する前記第１の演算パーツとの大小の比較結果、および前記第１の領域Ｙ１に関する前記第２の演算パーツと前記第２の領域Ｙ２に関する前記第２の演算パーツとの大小の比較結果の両者を用いて前記領域Ｘと第１の領域Ｙ１との相関と前記領域Ｘと第２の領域Ｙ２との相関との大小を判断する、
   ことを特徴とする請求項１または請求項２に記載の最大相関位置検出装置。
4. 前記相関比較判断手段による第１の領域に関する各演算パーツと第２の領域に関する各演算パーツとの比較により相関の大小が判断できない場合には、前記第１の領域Ｙ１に関する前記第２の演算パーツに前記第２の領域Ｙ２に関する前記第１の演算パーツを掛けた積と、前記第２の領域Ｙ２に関する前記第２の演算パーツに前記第１の領域Ｙ１に関する前記第１の演算パーツを掛けた積とを比較することで、前記第１の領域Ｙ１との相関と前記第２の領域Ｙ２との相関との大小を判断する第２比較判断手段をさらに備えたことを特徴とする請求項１乃至請求項３の何れか１項に記載の最大相関位置検出装置。
5. 前記第２比較判断手段は、乗算器および加算器のレジスタのビット長に対応した長さ単位（ビットブロック）毎に演算を行い、
   最下位のビットブロックの積の結果に対して両者の大小比較を行う最下位ブロック比較手段と、
   この最下位ブロック比較手段による大小比較結果を記憶する最下位ブロック大小記憶手段と、
   上位側のビットブロックの加算、乗算演算結果を前記最下位のビットブロックの積が格納されていたメモリ領域を利用して上書きで格納する演算上書き手段と、
   この演算上書き手段により上書きされた上位側のビットブロックの積の結果に対して両者の大小比較を行う上位側ブロック比較手段と、
   を有することを特徴とする請求項４に記載の最大相関位置検出装置。
6. 対比される画像に定義される領域Ｘと相関関係が最大となる他の画像上の領域Ｙの位置を検出する最大相関位置検出方法であって、
   他の画像上に領域Ｘと同形の第１の領域Ｙ１と第２の領域Ｙ２を配置し、
   前記領域Ｘと第１の領域Ｙ１との間、前記領域Ｘと第２の領域Ｙ２との間のそれぞれの相関係数Ｃの２乗を計算するための演算式におけるσｘｙ（ＸとＹの共分散）の２乗に相当する第１の演算パーツとσｙｙ（Ｙの分散）に相当する第２の演算パーツを計算し、
   この計算された各演算パーツの大小を比較することで、前記領域Ｘと第１の領域Ｙ１との相関と前記領域Ｘと第２の領域Ｙ２との相関との大小を判断し、
   この比較判断により相関が大きいと判断された第１の領域または第２の領域に関する各演算パーツの計算結果を記憶すると共に、相関が小さいと判断された第２の領域または第１の領域を他の画像の別の位置、またはさらに別の画像上に移動配置して当該移動配置後の領域に関する前記各演算パーツを計算し、前記記憶された領域に関する各演算パーツの計算結果との大小比較判断を繰り返すことで最大相関位置を検出するようにしたことを特徴とする最大相関位置検出方法。
7. 対比される画像に定義される領域Ｘと相関関係が最大となる他の画像上の領域Ｙの位置を検出する画像処理装置のコンピュータを制御するための最大相関位置検出処理プログラムであって、
   前記コンピュータを、
   画像メモリに記憶された他の画像上に領域Ｘと同形の第１の領域Ｙ１と第２の領域Ｙ２を配置する領域配置手段、
   前記領域Ｘと第１の領域Ｙ１との間、前記領域Ｘと第２の領域Ｙ２との間のそれぞれの相関係数Ｃの２乗を計算するための演算式におけるσｘｙ（ＸとＹの共分散）の２乗に相当する第１の演算パーツとσｙｙ（Ｙの分散）に相当する第２の演算パーツを計算する演算パーツ計算手段、
   この演算パーツ計算手段により計算された各演算パーツの大小を比較することで、前記領域Ｘと第１の領域Ｙ１との相関と前記領域Ｘと第２の領域Ｙ２との相関との大小を判断する相関比較判断手段、
   この相関比較判断手段により相関が大きいと判断された第１の領域または第２の領域に関する各演算パーツの計算結果を記憶すると共に、相関が小さいと判断された第２の領域または第１の領域を前記画像メモリに記憶された他の画像の別の位置、またはさらに別の画像上に移動配置して当該移動配置後の領域に関する前記各演算パーツを前記演算パーツ計算手段によって計算させ、前記記憶された領域に関する各演算パーツの計算結果との大小比較判断を前記相関比較判断手段によって繰り返させる繰り返し制御手段、
   として機能させ最大相関位置を検出するようにした最大相関位置検出処理プログラム。

Images