JP2000030062A - 画像照合方法、装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】参照画像と、該参照画像に対応する画像を回転
及び又は拡大縮小した画像をその一部に含む入力画像と
を照合する場合に、参照画像に対応する部分の拡大率、
回転角及び平行移動量を、メモリ容量を低減しつつ、迅
速かつ精度良く求めることができる画像照合方法、装置
及び記録媒体を提供すること。 【解決手段】一般化ハフ変換処理部１４がテンプレート
画像から作成したエッジ画像の各エッジ点から所定の基
準点へのベクトルを求めてＲテーブルを作成してＲテー
ブル記憶部１５に格納し、入力画像から検出したエッジ
画像の各エッジ点とＲテーブルを対応させて低分解能化
したパラメータ空間Ｐ上に順次投票し、投票値が大きく
なるパラメータ空間上の位置を検出する。その後、候補
領域算定部１２が入力画像上から参照画像に対応する複
数の候補領域を検出する。そして、画像照合部１６がハ
フ−フーリエ変換方式を用いて各候補領域とテンプレー
ト画像とを順次照合し、移動量特定部１７が照合度の最
も大きな候補領域の拡大率、回転角及び平行移動量を出
力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、参照画像と、該参
照画像に対応する画像を回転及び又は拡大縮小した画像
をその一部に含む入力画像とを照合して、入力画像の参
照画像に対応する部分の拡大率、回転角及び平行移動量
を出力する画像照合方法、装置及び記録媒体に関し、特
に、参照画像に対応する部分の拡大率、回転角及び平行
移動量を、メモリ容量を低減しつつ、迅速かつ精度良く
求めることができる画像照合装置、方法及び記録媒体に
関する。

【０００２】

【従来の技術】予め登録された参照画像と、イメージス
キャナ等から入力された入力画像を照合するためには、
画像相互間での相対的な回転角、平行移動量および拡大
・縮小率を算出する必要がある。

【０００３】これらを算出するために、一般化ハフ（Ho
ugh）変換という手法が広く用いられているが、この一
般化ハフ変換には、膨大な処理時間を要するという問題
があるため、例えば特開昭６２−７７６８９号公報で
は、一般化ハフ変換回路をハードウエアで実現すること
により、ハフ変換処理の高速化を図っている。

【０００４】しかしながら、かかる一般化ハフ変換で
は、入力画像と参照画像の各エッジ点間の全ての組合せ
から回転量、平行移動量、拡大縮小率を求めるため、た
とえこの従来技術を用いて一般化ハフ変換をハードウエ
ア化したとしても、エッジ数が多い複雑な図形等を照合
する場合には、エッジ点間の組合せが増大し、その処理
に膨大な時間がかかる。

【０００５】また、この一般化ハフ変換を行うために
は、回転、平行移動、拡大縮小率からなる４次元のパラ
メータ空間のためのメモリが必要となるため、メモリ容
量上の問題もある。例えば、平行移動を１画素、回転角
を１度、拡大率を0.5から2.0まで0.1の分解能で求める
ためには、画像サイズを２５６画素×２５６画素とした
とき、パラメータ空間用に約３００メガバイト（256x25
6x360x15）のメモリ容量が要求される。

【０００６】このように、一般化ハフ変換を用いて画像
の照合を行う場合には、メモリ容量の増大及び処理遅延
という問題が生ずるため、このメモリ容量及び処理遅延
に係わる問題を低減する従来技術が提案されている。

【０００７】例えば、特開平９−２４５１６７号公報に
は、参照画像及び入力画像に対してエッジ方向検出、ハ
フ変換及びフーリエ変換を順次行い、フーリエ平面レベ
ルでの位置ずらし量に基づいて回転角を算出するととも
に、この回転角により補正したハフ平面レベルで平行移
動量を算出するよう構成した画像照合方法及び装置が開
示されている。

【０００８】

【発明が解決しようとする課題】しかしながら、この従
来技術は、入力画像が、参照画像を平行移動、回転及び
又は拡大縮小したものである場合には適用できるが、入
力画像自体が、参照画像と異なる画像である場合には精
度が低下する。

【０００９】例えば、参照画像が一万円札のすかし部分
であり、入力画像が一万円札全体である場合には、入力
画像と参照画像とが大きく異なる画像であるために単純
に従来技術を適用できない。かかる場合には、すかし部
分以外の画情報がすべてノイズ成分となり、これによる
Ｓ／Ｎ比の劣化に伴って、拡大率、回転角及び平行移動
量の検出精度が低下するためである。

【００１０】また、画像からの画素の間引き又は画像圧
縮を行って画像を低分解能にし、この低分解能の画像か
ら概略の拡大率、回転角及び平行移動量を検出すること
によって処理の高速化を図る技術もあるが、かかる画素
の間引き等を行うと、例えば一画素の連結で形成される
線分等の画情報を消失するため、入力画像のうちの参照
画像に対応する部分を精度良く検出できなくなる。

【００１１】このように、参照画像と、該参照画像に対
応する画像を回転及び又は拡大縮小した画像をその一部
に含む入力画像とを照合する場合に、参照画像に対応す
る部分の拡大率、回転角及び平行移動量を、メモリ容量
を低減しつつ、いかに迅速かつ精度良く求めるかが、極
めて重要な課題となっている。

【００１２】そこで、本発明では、上記課題を解決し、
参照画像と、該参照画像に対応する画像を回転及び又は
拡大縮小した画像をその一部に含む入力画像とを照合す
る場合に、参照画像に対応する部分の拡大率、回転角及
び平行移動量を、メモリ容量を低減しつつ、迅速かつ精
度良く求めることができる画像照合方法、装置及び記録
媒体を提供することを目的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載された発明は、参照画像と、該参照
画像に対応する画像を回転及び又は拡大縮小した画像を
その一部に含む入力画像とを照合して、前記入力画像の
参照画像に対応する部分の拡大率、回転角及び平行移動
量を出力する画像照合方法において、前記参照画像の各
エッジ点から所定の基準点へのベクトルをエッジ方向ご
とに収納したＲテーブルを作成し、前記入力画像のエッ
ジ点を前記参照画像のエッジ点とした場合の基準点の位
置を前記Ｒテーブルに基づいて低分解能化したパラメー
タ空間上に投票して一又は複数の候補領域を求め、求め
た候補領域が複数存在する場合には、各候補領域と前記
参照画像とをそれぞれ照合して、照合度の最も大きな候
補領域の拡大率、回転角及び平行移動量を出力すること
を特徴とする。

【００１４】また、請求項２に記載された発明は、参照
画像と、該参照画像に対応する画像を回転及び又は拡大
縮小した画像をその一部に含む入力画像とを照合して、
前記入力画像の参照画像に対応する部分の拡大率、回転
角及び平行移動量を出力する画像照合装置において、前
記参照画像の各エッジ点から所定の基準点へのベクトル
を記憶するＲテーブル記憶手段と、前記入力画像のエッ
ジ点を前記参照画像のエッジ点とした場合の基準点の位
置を前記Ｒテーブル記憶手段の記憶内容に基づいて低分
解能化したパラメータ空間上に投票する一般化ハフ変換
手段と、この低分解能化したパラメータ空間上に投票さ
れた投票値が所定レベル以上の候補領域を算定する算定
手段と、前記算定手段が算定した候補領域と前記参照画
像とを照合して、候補領域が複数存在する場合には、照
合度の最も大きな候補領域の拡大率、回転角及び平行移
動量を出力する照合手段とを具備したことを特徴とす
る。

【００１５】また、請求項３に記載された発明は、前記
照合手段が、前記候補領域及び参照画像をハフ変換して
θ−ρ平面を生成するθ−ρ平面生成手段と、前記θ−
ρ平面生成手段が生成したθ−ρ平面をフーリエ変換し
てθ−ｑ平面を生成するθ−ｑ平面生成手段と、前記θ
−ｑ平面生成手段が生成したθ−ｑ平面レベルで回転角
及び拡大率を算出し、算出した回転角及び拡大率で補正
したθ−ρ平面レベルで平行移動量を算出する算出手段
とを具備したことを特徴とする。

【００１６】また、請求項４に記載された発明は、参照
画像と、該参照画像に対応する画像を回転及び又は拡大
縮小した画像をその一部に含む入力画像とを照合して、
前記入力画像の参照画像に対応する部分の拡大率、回転
角及び平行移動量を出力する画像照合装置で用いる記録
媒体であって、前記参照画像の各エッジ点から所定の基
準点へのベクトルをエッジ方向ごとに収納したＲテーブ
ルを作成し、前記入力画像のエッジ点を前記参照画像の
エッジ点とした場合の基準点の位置を前記Ｒテーブルに
基づいて低分解能化したパラメータ空間上に投票して一
又は複数の候補領域を求め、求めた候補領域が複数ある
場合には、各候補領域と前記参照画像とをそれぞれ照合
して、照合度の最も大きな候補領域の拡大率、回転角及
び平行移動量を出力するプログラムを記録することを特
徴とする。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。

【００１８】図１は、本実施の形態で用いる画像照合装
置１０の構成を示す図である。

【００１９】図１に示すように、この画像照合装置１０
は、例えば図６（ｂ）に示すような参照濃度画像（以下
「テンプレート画像」と言う。）Ｒ（ｘ，ｙ）と、該テ
ンプレート画像に対応する画像を回転及び又は拡大縮小
した画像をその一部に有する図６（ａ）に示すような入
力濃度画像（以下「入力画像」と言う。）Ｉ（ｘ，ｙ）
とを照合し、回転角、平行移動量及び拡大縮小率を出力
する。

【００２０】具体的には、この画像照合装置が行う処理
は、入力画像Ｉ（ｘ，ｙ）の中からテンプレート画像Ｒ
（ｘ，ｙ）に対応する複数の候補領域Ｆ（ｘ，ｙ）を抽
出する前処理と、この前処理により取得した各候補領域
Ｆ（ｘ，ｙ）とテンプレート画像Ｒ（ｘ，ｙ）とを照合
して回転角、平行移動量及び拡大縮小率を取得する照合
処理とに区分される。

【００２１】この前処理では、テンプレート画像Ｒ
（ｘ，ｙ）からエッジ検出したエッジ画像ｒ（ｘ，ｙ）
の各エッジ点から所定の基準点へのベクトルを求めてＲ
テーブルを作成する。

【００２２】その後、入力画像Ｉ（ｘ，ｙ）からエッジ
点を求め、求めたエッジ点と同じエッジ方向を持つＲテ
ーブル内のエッジ点の基準点の位置をパラメータ空間Ｐ
上に順次投票し、投票値が所定のレベル以上になる複数
の候補領域を検出する。なお、図６（ｃ）は、（ｘ、
ｙ）の分解能が0.25倍のパラメータ空間Ｐへの投票結果
の一例を示している。

【００２３】ただし、パラメータ空間Ｐを形成する拡大
率、回転角及び平行移動量の分解能を大きくすると、そ
の精度は上がるものの、パラメータ空間Ｐに要するメモ
リ容量が大きくなり、かつ、膨大な計算時間を要するた
め、この画像照合装置１０では、パラメータ空間を低分
解能にして複数の候補領域を抽出するにとどめることと
している。なお、本実施の形態では、あくまでもパラメ
ータ空間を低分解能としているのであり、入力画像自体
を低分解能にしているわけではないので、画像の細部の
情報を欠落した状態で照合しているわけではない。

【００２４】これに対して、上記照合処理では、前処理
によって抽出した各候補領域Ｆ（ｘ，ｙ）とテンプレー
ト画像Ｒ（ｘ，ｙ）とをそれぞれθ−ρハフ変換及びフ
ーリエ変換し、両画像の照合度をそれぞれ求めて、その
うち最も照合度が大きい場合の拡大率、回転角及び平行
移動量を求める。

【００２５】次に、この画像照合装置１０の具体的な構
成について説明する。

【００２６】図１に示すように、この画像照合装置１０
は、画像入力部１１と、候補領域算定部１２と、エッジ
検出部１３と、一般化ハフ変換処理部１４と、Ｒテーブ
ル記憶部１５と、画像照合部１６と、移動量特定部１７
とからなる。

【００２７】なお、この一般化ハフ変換処理部１４が本
発明に係わる一般化ハフ変換手段に対応し、Ｒテーブル
記憶部１５が本発明に係わるＲテーブル記憶手段に対応
し、候補領域算定部１２が本発明に係わる算定手段に対
応し、画像照合部１６及び移動量特定部１７が本発明に
係わる照合手段に対応する。

【００２８】画像入力部１１は、あらかじめ準備したテ
ンプレート画像Ｒ（ｘ，ｙ）と入力画像Ｉ（ｘ，ｙ）を
光学的に読み取るイメージスキャナ等の入力デバイスで
あり、入力された各画像を候補領域算定部１２に出力す
る。

【００２９】候補領域算定部１２は、エッジ検出部１３
及び一般化ハフ変換処理部１４を用いて入力画像Ｉ
（ｘ，ｙ）の中からテンプレート画像Ｒ（ｘ，ｙ）に対
応する複数の候補領域Ｆ（ｘ，ｙ）を算定する処理部で
ある。

【００３０】具体的には、この候補領域算定部１２で
は、画像入力部１１からテンプレート画像Ｒ（ｘ，ｙ）
を受け取ったならば、後述するエッジ検出部１３を用い
てテンプレート画像Ｒ（ｘ，ｙ）からエッジ画像Ｒｅ
（ｘ，ｙ）を作成する。そして、このエッジ画像Ｒｅ
（ｘ，ｙ）の各エッジ点から所定の基準点（例えば重
心）へのベクトルを求めてＲテーブルを作成し、Ｒテー
ブル記憶部１５に格納する。

【００３１】次に、画像入力部１１から入力画像を受け
取ったならば、テンプレート画像の場合と同様に、この
入力画像Ｉ（ｘ，ｙ）からエッジ画像Ｉｅ（ｘ，ｙ）を
作成する。

【００３２】そして、このエッジ画像の各エッジ点にお
いて、Ｒテーブル内でそのエッジ点と同じ方向のベクト
ルをパラメータ空間上に順次投票し、投票値が所定レベ
ル以上となる複数の候補領域を検出する。

【００３３】なお、この候補領域算定部１２が、パラメ
ータ空間Ｐ上での投票値の最大位置から拡大率、回転角
及び平行移動量を直接求めるのではなく、複数の候補領
域Ｆ（ｘ，ｙ）の抽出にその処理を止めた理由は、メモ
リ容量の低減及び処理の高速化を考慮してパラメータ空
間Ｐを低分解能にしたためである。

【００３４】すなわち、パラメータ空間Ｐを高分解能を
すると、投票値が最大となる位置（ｕ，ｖ，ｓ，θ）を
求めることができる反面、パラメータ空間Ｐ用の膨大な
メモリと膨大な計算時間を要するため、ここではパラメ
ータ空間Ｐ上での処理を簡素化し、後述する画像照合部
１６が行うハフ−フーリエ処理を通じて、拡大率ｓ、回
転角θ、平行移動量（ｕ，ｖ）を特定することとした。

【００３５】エッジ検出部１３は、濃度画像に対してガ
ウスラプラシアンフィルターを適用して、ガウスラプラ
シアンフィルターの正負の符号がｘ軸方向又はｙ軸方向
に変化する点（以下「ゼロクロス点」と言う。）を求め
てエッジ点を検出するとともに、かかるゼロクロス点の
位置に対してソーベルオペレータを適用することにより
ノイズの除去を図りつつエッジ強度Ｅｍ及びエッジ方向
Ｅθを算定し、該エッジ強度Ｅｍが所定のしきい値以上
であることを条件としてそのエッジ方向Ｅθをエッジ方
向画像に格納する処理部である。

【００３６】具体的には、本発明では、特開平５−１５
１３５２号公報に開示されるゼロクロス点に基づくエッ
ジ検出方法を用いて、Ｒ（ｘ，ｙ）に対応するＲｅ
（ｘ，ｙ）Ｉ（ｘ，ｙ）に対応するＩｅ（ｘ，ｙ）及び
Ｆ（ｘ，ｙ）に対応するＦｅ（ｘ，ｙ）を作成する。た
だし、Ｆｅ（ｘ，ｙ）はＩｅ（ｘ，ｙ）からセグメント
することも可能である。

【００３７】一般化ハフ変換処理部１４は、エッジ検出
部１３が作成したエッジ画像Ｒｅ（ｘ，ｙ）の各エッジ
点から所定の基準点へのベクトルを求めてＲテーブルを
作成することと入力画像から作成したエッジ画像Ｉｅ
（ｘ，ｙ）の各エッジ点において、そのエッジ方向と同
じエッジ方向のＲテーブル内のベクトルをパラメータ空
間Ｐ上に順次投票する処理部である。なお、作成された
Ｒテーブルは、Ｒテーブル記憶部１５に格納される。

【００３８】具体的には、図２（ａ）に示すように、エ
ッジ画像Ｒｅ（ｘ，ｙ）の各エッジ点（ｘ，ｙ）から基
準点（ｘｃ，ｙｃ）へのベクトルｒ＝（ｒ，α）をそれ
ぞれ求め、求めたベクトルｒをエッジ方向Φごとにまと
めて図２（ｂ）に示すようなＲテーブルを作成する。

【００３９】画像照合部１６は、候補領域算定部１２が
算定した入力画像Ｉ（ｘ，ｙ）上の各候補領域Ｆ（ｘ，
ｙ）とテンプレート画像Ｒ（ｘ，ｙ）とをハフ−フーリ
エ変換方式で照合して、候補領域ごとの拡大率、回転
角、平行移動量及び照合度を出力する処理部であり、θ
−ｑ平面作成部１６ａ、ハフ変換処理部１６ｂ、フーリ
エ変換処理部１６ｃ、対数座標変換処理部１６ｄ、移動
量算出部１６ｅ、参照データ記憶部１６ｆ及び逆ハフ変
換処理部１６ｇを有する。

【００４０】θ−ｑ平面作成部１６ａは、エッジ検出部
１３、ハフ変換処理部１６ｂ、フーリエ変換処理部１６
ｃおよび対数座標変換処理部１６ｄを用いて、入力され
た画像からエッジ方向画像、θ−ρ平面データ、θ−ｐ
平面データおよびθ−ｑ平面データを順次作成し、θ−
ρ平面データ及びθ−ｑ平面データを移動量算出部１６
ｅに出力する。

【００４１】具体的には、エッジ検出部１３がエッジを
抽出したエッジ方向画像をハフ変換処理部１６ｂを用い
てハフ変換し、このハフ変換により得られるθ−ρ平面
データをフーリエ変換処理部１６ｃを用いてフーリエ変
換し、θ−ｐ平面データを作成し、さらに対数座標変換
処理部１６ｄを用いてｐ軸をｑ軸に対数座標変換して、
θ−ｑ平面データを作成する。

【００４２】すなわち、このθ−ｑ平面作成部１６ａで
は、入力された画像がテンプレート画像Ｒ（ｘ，ｙ）で
ある場合には、該Ｒ（ｘ，ｙ）に対応する参照θ−ｑ平
面データを作成し、また入力された画像が候補領域Ｆ
（ｘ，ｙ）である場合には、該Ｆ（ｘ，ｙ）に対応する
入力θ−ｑ平面データを作成する。

【００４３】例えば、入力された画像がＲ（ｘ，ｙ）で
ある場合には、まず最初にエッジ検出部１３を用いて参
照エッジ方向画像Ｒｅ（ｘ，ｙ）を作成し、次に、この
Ｒｅ（ｘ，ｙ）をハフ変換処理部１６ｂによりハフ変換
し、参照θ−ρ平面データｈ0（θ，ρ）を作成する。
さらに、このｈ0（θ，ρ）をフーリエ変換処理部１６
ｃを用いてフーリエ変換し、参照θ−ｐ平面データＨ0
（θ，ｐ）を作成し、さらに、このＨ0（θ，ｐ）を対
数座標変換処理部１６ｄにより対数座標変換して、参照
θ−ｑ平面データＨ0（θ，ｑ）を作成する。

【００４４】ｈ0（θ，ρ）及びＨ0（θ，ｑ）を受け取
った移動量算出部１６ｅは、このｈ0（θ，ρ）及びＨ0
（θ，ｑ）を参照データとして、参照データ記憶部１６
ｆに格納する。

【００４５】ハフ変換処理部１６ｂは、エッジ検出部１
３が作成したエッジ方向画像をハフ変換してθ−ρ平面
データを作成する処理部であり、具体的には、Ｒｅ
（ｘ，ｙ）に対応するｈ0（θ，ρ）およびＩｅ（ｘ，
ｙ）に対応するｈ1（θ，ρ）を作成する。すなわち、
このハフ変換処理部１６ｂは、一般化ハフ変換処理部１
４と同様にハフ変換を行うこととなるが、そのハフ変換
の内容自体については一般化ハフ変換とは異なる。

【００４６】フーリエ変換処理部１６ｃは、ハフ変換処
理部１６ｂが作成したθ−ρ平面データをフーリエ変換
してθ−ｐ平面データを作成する処理部であり、具体的
には、ｈ0（θ，ρ）に対応するＨ0（θ，ｐ）およびｈ
1（θ，ρ）に対応するＨ1（θ，ｐ）を作成する。

【００４７】対数座標変換処理部１６ｄは、フーリエ変
換処理部１６ｃが作成したθ−ｐ平面のｐ軸を、対数座
標軸ｑ軸に対数座標変換処理する処理部であり、具体的
には、Ｈ0（θ，ｐ）に対応するＨ0（θ，ｑ）およびＨ
1（θ，ｐ）に対応するＨ1（θ，ｑ）を作成する。

【００４８】移動量算出部１６ｅは、θ−ｑ平面作成部
１６ａから入力される入力データｈ1（θ，ρ）及びＨ1
（θ，ｑ）と参照データ記憶部１６ｆに格納された参照
データｈ0（θ，ρ）及びＨ0（θ，ｑ）を用いて、候補
領域Ｆ（ｘ，ｙ）に含まれる図形（検査対象物）の、テ
ンプレート画像Ｒ（ｘ，ｙ）に含まれる図形（基準とな
る形状パターン）に対する回転角、平行移動量および拡
大・縮小率を算出しこれを出力する処理部である。

【００４９】具体的には、この移動量算出部１６ｅは、
ハフ変換を行ったθ−ρ平面をさらにフーリエ変換した
θ−ｑ平面レベルで回転角および拡大・縮小率を算出す
るとともに、これら回転角および拡大・縮小率により補
正されたθ−ρ平面レベルで平行移動量を算出する。

【００５０】このようにθ−ρ平面をさらにフーリエ変
換し、補正したθ−ρ平面で平行移動量を算出した理由
は、まず、平行移動の影響を除去した上で回転角および
拡大・縮小率を迅速に求め、その後これら回転角、拡大
・縮小率の影響を除去した上で平行移動量を迅速に求め
るためである。

【００５１】また、この移動量算出部１６ｅが、参照デ
ータすなわちｈ0（θ，ρ）及びＨ0（θ，ｑ）をθ−ｑ
平面作成部１６ａから受け取った場合には、かかる参照
データを参照データ記憶部１６ｆに記憶する処理を行
う。このため、その細部の説明は省略するが、θ−ｑ平
面作成部１６ａが移動量算出部１６ｅに対して参照デー
タを出力する際には、出力するデータが参照データであ
ることを示す識別フラグ等を当該参照データに付与する
ようにしている。

【００５２】参照データ記憶部１６ｆは、テンプレート
画像Ｒ（ｘ，ｙ）に対応するθ−ρ平面データｈ0
（θ，ρ）及びθ−ｑ平面データＨ0（θ，ｑ）を参照
データとして記憶する記憶部であり、かかる参照データ
は移動量算出部１６ｅによりアクセスされる。

【００５３】逆ハフ変換処理部１６ｇは、移動量算出部
１６ｅが平行移動量を算出する際に使用する処理部であ
り、具体的には、この移動量算出部１６ｅが参照θ−ρ
平面と入力θ−ρ平面との間で算出した相関係数を記憶
したρ相互相関画像Ｃρ（θ，ρ）について逆ハフ変換
を実行する。

【００５４】移動量特定部１７は、画像照合部１６から
受け取った照合結果に基づいて、複数の候補領域のうち
テンプレート画像と最も照合度の高い候補領域を特定
し、該特定した候補領域についての回転角、平行移動量
及び拡大縮小率を出力する処理部である。

【００５５】このように、この画像照合装置１０では、
候補領域算定部１２がエッジ検出部１３及び一般化ハフ
変換処理部１４を用いてテンプレート画像Ｒ（ｘ，ｙ）
からＲテーブルを作成し、その後入力画像Ｉ（ｘ，ｙ）
及びＲテーブルに基づくパラメータ空間Ｐ上への投票を
行い投票値が所定レベル以上の位置を求めることによっ
て、入力画像上でのテンプレート画像のサイズと拡大率
を考慮した複数の候補領域を求め、求めた複数の候補領
域についてハフ−フーリエ方式による画像照合を行うこ
ととしている。

【００５６】以上、図１に示す画像照合装置１０の構成
について説明した。

【００５７】次に、図１に示す画像照合装置１０の処理
手順について説明する。

【００５８】図３は、図１に示す画像照合装置１０の処
理手順を示すフローチャートである。

【００５９】同図に示すように、この画像照合装置１０
は、入力画像及びテンプレート画像からそれぞれエッジ
を検出してエッジ画像を作成した後に（ステップ３０
１）、テンプレート画像のエッジ画像からＲテーブルを
作成し、このＲテーブルと入力画像のエッジ画像からパ
ラメータ空間Ｐ上に投票を行って複数（Ｎ個）の候補領
域を検出する（ステップ３０２）。

【００６０】その後、候補領域の変数ｉを０に初期化し
（ステップ３０３）、第ｉ番目の候補領域のセグメント
を取得し（ステップ３０４）、この候補領域についての
ハフ−フーリエ方式を用いた拡大率・回転角・平行移動
量及び照合度を計算する（ステップ３０５）。

【００６１】そして、この計算が終了したならば、変数
ｉをインクリメントして該変数ｉをＮと比較し（ステッ
プ３０６〜３０７）、変数ｉがＮよりも小さい場合すな
わち他の候補領域が存在する場合には、ステップ３０４
に移行して同様の処理を行う。

【００６２】これに対して、変数ｉがＮ以上となった場
合すなわち全ての候補領域についての照合処理を終了し
たならば、Ｎ個の候補領域の中で最大の照合度を持つ候
補領域の拡大率、回転角及び平行移動量を出力する（ス
テップ３０８）。

【００６３】上記一連の処理を行うことにより、テンプ
レート画像をその一部に含む入力画像とテンプレート画
像とを照合する場合に、パラメータ空間のメモリ容量を
低減しつつ、迅速かつ効率的に拡大率、回転角及び平行
移動量を算出することができる。

【００６４】次に、図３のステップ３０２に示す候補領
域の算定処理についてさらに具体的に説明する。

【００６５】図４は、図３に示す候補領域の算定処理手
順を示すフローチャートである。

【００６６】同図に示すように、この候補領域算定部１
２は、一般化ハフ変換処理部１４がエッジ画像Ｒｅ
（ｘ，ｙ）からＲテーブルを作成したならば、入力画像
のエッジ画像Ｉｅ（ｘ，ｙ）上のエッジ点を順次取得し
（ステップ４０１）、このエッジ点がＲテーブル内の点
（ｒ，α）と対応すると仮定した場合に、可能性のある
拡大率ｓ、回転角θ及び平行移動量（ｕ，ｖ）の全ての
組合せを求め、求めた組合せをパラメータ空間Ｐ（ｕ，
ｖ，ｓ，θ）上に順次投票する。

【００６７】具体的には、まず拡大率ｓをｓmin とし
（ステップ４０２）、回転角θをФｎ−θｅとし（ステ
ップ４０３）、エッジ方向ΦをФn-1 とし（ステップ４
０４）、エッジ方向の変数ｍを’０’とする（ステップ
４０５）。

【００６８】そして、この場合の平行移動量（ｕ，ｖ）
を、 ｕ＝Ｘ＋ｒ×ｓ×ｃｏｓ（α＋θ） ｖ＝Ｙ＋ｒ×ｓ×ｓｉｎ（α＋θ） の算定式から求め、求めたパラメータ空間Ｐ上の位置Ｐ
（ｓ，θ，ｕ，ｖ）の投票値をインクリメントする（ス
テップ４０６）。

【００６９】そして、変数ｍが定数Ｍ未満である間は、
該変数ｍをインクリメントしてステップ４０６に移行
し、パラメータ空間Ｐ上の投票を繰り返し（ステップ４
０７）、変数ｍが定数Ｍ以上になると、エッジ方向Фが
Фn+1以上となるまでエッジ方向Фを順次インクリメン
トしてステップ４０５に移行する（ステップ４０８）。

【００７０】そして、エッジ方向ФがФn+1以上になる
と、回転角θがФｎ＋θｅ以上となるまで順次回転角θ
をΔθだけインクリメントしてステップ４０４に移行し
（ステップ４０９）、回転角θがФｎ＋θｅ以上になる
と、拡大率ｓがｓmax 以上となるまで順次拡大率ｓをΔ
ｓだけインクリメントしてステップ４０３に移行する
（ステップ４１０）。

【００７１】そして、拡大率ｓがｓmax 以上になると、
エッジ点の変数ｎが定数Ｎ以上であるか否かを調べ、該
変数ｎが定数Ｎ以上でなければステップ４０２に移行す
る（ステップ４１１）。

【００７２】かかる処理を行うことにより、パラメータ
空間Ｐ上の各位置の投票値の集計結果が得られるため、
このパラメータ空間Ｐ上の投票結果に基づいて複数の候
補領域を抽出する（ステップ４１２）。

【００７３】このように、この候補領域算定部１２で
は、拡大率ｓをｓminからｓmaxまでΔｓ刻みで変位させ
るとともに、回転角θをФｎ−θｅからФｎ＋θｅまで
Δθ刻みで変位させ、この場合の各平行移動量（ｕ，
ｖ）を算出してパラメータ空間Ｐ上に投票する処理を繰
り返すことにより、複数の候補領域を求めている。な
お、θｅは実験から求めたエッジ方向の検出誤差であ
る。

【００７４】ところで、このΔｓ及びΔθの分解能が高
ければ、パラメータ空間Ｐ内の最大値の位置の検出によ
って直接拡大率、回転角及び平行移動量が求まるわけで
あるが、高分解能にするためには膨大なメモリ容量と計
算時間が必要となる。

【００７５】例えば、入力画像のサイズを５１２×５１
２画素とし、ｓの分解能を０．５から２．０まで０．１
刻み、θの分解能を１度、（ｕ，ｖ）の分解能を（２，
２）画素とすると、パラメータ空間Ｐに必要なメモリ容
量は、約３００メガバイト（２５６×２５６×３６０×
１５）以上となる。

【００７６】このため、本実施の形態では、ｓの分解能
を０．５から２．０まで０．１刻み、θの分解能を４
度、（ｕ，ｖ）の分解能を（４，４）画素とすることに
より、パラメータ空間Ｐに必要なメモリ容量を数十メガ
バイトに抑制するとともに、パラメータ空間Ｐ上への投
票に要する時間を短縮している。

【００７７】また、かかるパラメータ空間Ｐの低分解能
化を行うと、パラメータ空間Ｐ上での回転角θから見た
投票結果に良好な結果をもたらすことになる。

【００７８】例えば、図５（ａ）に示す画像をテンプレ
ートとして一般化ハフ変換する場合には、例えば図中に
示すエッジ点Ｐ及びＱから基準点へのベクトルを求めて
Ｒテーブルを作成するため、当然ながらエッジ点Ｐ及び
Ｑから張るベクトルの終点はともに基準点となる。

【００７９】これに対して、このテンプレート画像を１
０度回転した図５（ｂ）に示す入力画像を用いてパラメ
ータ空間Ｐ上に投票を行う場合に、たとえ入力画像のエ
ッジ点Ｐ’及びＱ’がテンプレート画像のエッジ点Ｐ及
びＱにそれぞれ対応し、各エッジ方向が同じ場合であっ
ても、パラメータ空間Ｐが高分解能（分解能１）であれ
ば、エッジ点Ｐ’からのベクトルの終点とエッジ点Ｑ’
からのベクトルの終点が一点に集約しない。エッジ検出
部１３が検出するエッジ方向は、３×３画素の微分オペ
レータで処理したものであり、誤差を含むからである。

【００８０】このため、パラメータ空間Ｐ上の投票位置
を正確に求めるためには、例えばエッジ点Ｐ’及びＱ’
からのエッジ方向の誤差を考慮した複数のベクトルを考
え、両エッジ点からのベクトルが一致する一致点を求め
ざるを得ないが、かかる一致点をその都度求めていたの
では、膨大な処理時間を要する。

【００８１】ところが、図５（ｃ）に示すように、パラ
メータ空間Ｐを低分解能（分解能２）にすると、エッジ
点Ｐ’からのベクトルの終点とエッジ点Ｑ’からのベク
トルの終点が一点に集約する。

【００８２】このように、パラメータ空間Ｐ上を低分解
能にすると、Δθを大きくすることができるので、パラ
メータ空間を小さくし、かつ、処理速度を高速化できる
のである。

【００８３】以上、図１に示す画像照合装置１０の全体
処理及び候補領域を算定するまでの処理について説明し
た。

【００８４】次に、図１に示す画像照合部１６の処理手
順について説明する。ただし、ここでは、参照データは
既に参照データ記憶部１６ｆに設定済みであるものとす
る。

【００８５】図７は、図１に示す画像照合部１６の処理
手順を示すフローチャートである。

【００８６】同図に示すように、この画像照合部１６
は、候補領域Ｆ（ｘ，ｙ）が入力されると、θ−ｑ平面
作成部１６ａがエッジ検出部１３を用いてＦ（ｘ，ｙ）
からエッジ方向画像Ｆｅ（ｘ，ｙ）を作成する（ステッ
プ７０１）。

【００８７】そして、θ−ｑ平面作成部１６ａは、ハフ
変換処理部１６ｂを用いてＦｅ（ｘ，ｙ）をハフ変換し
てθ−ρ平面データｈ1（θ，ρ）を作成した後（ステ
ップ７０２）、フーリエ変換部１６ｃを用いてｈ1
（θ，ρ）をさらにフーリエ変換しθ−ｐ平面データＨ
1（θ，ｐ）を作成する（ステップ７０３）。

【００８８】さらに、θ−ｑ平面作成部１６ａは、対数
座標変換処理部１６ｄを用いてθ−ｐ平面（θ，ｐ）の
ｐ軸を、ｑ軸という対数座標軸に対数座標変換して、θ
−ｑ平面データＨ1（θ，ｑ）を作成する（ステップ７
０４）。

【００８９】そして、移動量算出部１６ｅは、予め作成
し参照データ記憶部１６ｆに予め記憶しておいた同様な
対数座標変換後の参照データＨ0（θ，ｑ）を当該参照
データ記憶部１６ｆから読み出す（ステップ７０５）。

【００９０】ついで、ステップ７０４で作成されたフー
リエ対数座標変換画像Ｈ1（θ，ｑ）と、ステップ７０
５で参照データ記憶部１６ｆから読み出されたフーリエ
対数座標変換画像Ｈ0（θ，ｑ）とを用いて、これらの
２次元相関係数Ｃr（θ，ｑ）を計算する（ステップ７
０６）。

【００９１】そして、この２次元相関係数Ｃr（θ，
ｑ）が最大となるθ、ｑの位置より回転角ψ、拡大・縮
小率ｓを求める（ステップ７０７）。

【００９２】次に、この移動量算出部１６ｅは、これら
回転角ψおよび拡大・縮小率ｓに基づいて参照θ−ρ平
面に対する入力θ−ρ平面のθ軸方向のシフト量および
ρ軸方向の拡大・縮小率を補正し、この補正した参照θ
−ρ平面データｈ0（θ，ρ）と入力θ−ρ平面データ
ｈ1（θ，ρ）の各θについてρ軸方向にシフトしなが
ら正規化相関係数を計算し、その相関係数の最大値の位
置を検出して、相関係数を記憶したρ相互相関画像Ｃρ
（θ，ρ）を作成する（ステップ７０８）。

【００９３】そして、移動量算出部１６ｅは、逆ハフ変
換処理部１６ｇを用いてρ相互相関画像Ｃρ（θ，ρ）
を逆ハフ変換して逆ハフ変換画像Ｉｎｖ（ｘ，ｙ）を作
成し、その最大値の位置を求めて平行移動量（ｘΔ,ｙ
Δ）を算出する（ステップ７０９）。Ｉｎｖ（ｘ，ｙ）
の最大値を、この候補領域の照合度とする。

【００９４】上記一連の処理を行うことにより、θ−ｑ
平面レベルで回転角ψおよび拡大・縮小率ｓを求めると
ともに、該回転角ψおよび拡大・縮小率ｓに基づいてθ
−ρ平面レベルで平行移動量（ｘΔ,ｙΔ）を求めるこ
とが可能となる。なお、上記処理手順においては、Ｒｅ
（ｘ，ｙ）、ｈ0（θ，ρ）、Ｈ0（θ，ｐ）、Ｈ0
（θ，ｑ）の作成手順についての説明を省略したが、こ
れらについても、Ｆ（ｘ，ｙ）の場合と同様にステップ
７０１〜７０４を実行することにより作成することがで
きる。

【００９５】次に、図７のステップ７０１に示すエッジ
方向画像の作成手順について具体的に説明する。

【００９６】図８は、図２のステップ７０１のエッジ方
向画像の作成手順を示すフローチャートである。

【００９７】図８に示すように、エッジ検出部１３で
は、まず最初にゼロクロス点を求めるために、候補領域
Ｆ（ｘ，ｙ）に対して次式に示すガウスラプラシアンフ
ィルターを適用し、ラプラシアン画像Ｆｇ（ｘ，ｙ）を
作成する（ステップ８０１）。

【００９８】 そして、Ｆｇ（ｘ，ｙ）の注目画素が負で、かつ、その
４近傍の画素のうち少なくとも１つの画素の画素値が正
であるか否かを確認し（ステップ８０２）、かかる条件
が成立する場合には、Ｆ（ｘ，ｙ）に対してソーベル
（Sobel ）の微分オペレータを適用してエッジ強度Ｅｍ
を算出する（ステップ８０３）。

【００９９】そして、このエッジ強度Ｅｍが所定のしき
い値以上であれば、エッジ方向Ｅθを計算してエッジ方
向画像Ｆｅ（ｘ，ｙ）に格納し、しきい値未満の場合に
は、次画素の処理に移行する（ステップ３０５）。

【０１００】このように、上記ゼロクロス点は、σの値
を小さくして画像の詳細なエッジを検出しようとすると
ノイズのエッジ点に対応するものが多くなるという性質
を有するため、かかるノイズのゼロクロス点の位置に対
してソーベルオペレータを適用することにより、ノイズ
のゼロクロス点の除去を図っている。

【０１０１】そして、注目画素を移行させながらかかる
ステップ８０２〜８０５の処理を繰り返し（ステップ８
０６）、全ての画素に対する処理を終了したならば、こ
のエッジ方向画像処理を終了する。

【０１０２】このように、このエッジ検出部１３は、特
開平５−１５１３５２号公報に開示されたエッジ検出方
法と同様の手法を用いてエッジ方向画像Ｆｅ（ｘ，ｙ）
を作成している。

【０１０３】なお、上記ソーベルの微分オペレータは、
図９に示すように、ｘ方向のマスクオペレータ９０とｙ
方向のマスクオペレータ９１から構成され、ｘ方向のマ
スクオペレータ９０からの出力をＭｘ、ｙ方向のマスク
オペレータ９１からの出力をＭｙとすると、エッジ強度
Ｅｍ及びエッジ方向Ｅθは次式により算出される。

【０１０４】 また、ここでは、ソーベルの微分オペレータを用いた場
合について説明したが、ロバーツ（Robert）やロビンソ
ン（Robinson）等の各種微分オペレータを適用すること
も可能である。

【０１０５】次に、図７のステップ７０２に示すθ−ρ
平面データの作成手順について具体的に説明する。

【０１０６】図１０は、図７のステップ７０２のθ−ρ
平面データの作成手順を示すフローチャートである。

【０１０７】図１０に示すように、ハフ変換処理部１６
ｂは、エッジ方向画像Ｆｅ（ｘ，ｙ）が入力されると
（ステップ１００１）、このＦｅ（ｘ，ｙ）がエッジ点
であるか否かを確認し（ステップ１００２）、エッジ点
である場合には、角度変数θを θ＝Ｅθ−Δθ に設定する（ステップ１００３）。なお、このΔθは、
実験を踏まえて妥当な値が設定される。

【０１０８】次に、 を算出するとともに、その算出値に対応するｈ1（θ，
ρ）に＋１加算（投票）する（ステップ１００４）。

【０１０９】そして、角度変数θをインクリメントし
（ステップ１００５）、該角度変数θがＥθ−Δθから
Ｅθ＋Δθの範囲内である限り、上記ステップ１００４
及び１００５の処理を繰り返す（ステップ１００６）。

【０１１０】そして、かかる処理をエッジ方向画像Ｆｅ
（ｘ，ｙ）の全画素について繰り返し（ステップ１００
７）、全画素の処理を終えた時点で、このθ−ρハフ変
換処理を終了する。

【０１１１】すなわち、Ｆｅ（ｘ，ｙ）がエッジ点であ
る場合には、角度変数θをＥθ−ΔθからＥθ＋Δθま
で変位させつつρを算出し、そのθ及びρの組み合わせ
に対応するｈ1（θ，ρ）に＋１加算していくことによ
り、ｈ1（θ，ρ）を作成している。

【０１１２】なお、ここでは候補領域Ｆ（ｘ，ｙ）に対
応するｈ1（θ，ρ）を作成する場合について説明した
が、テンプレート画像Ｒ（ｘ，ｙ）に対応するｈ0
（θ，ρ）についても同様に作成することができる。

【０１１３】次に、図７のステップ７０３に示すフーリ
エ変換処理、つまりθ−ｐ平面データの作成手順につい
て具体的に説明する。

【０１１４】ここで、候補領域Ｆ（ｘ，ｙ）は、テンプ
レート画像Ｒ（ｘ，ｙ）に対して、拡大・縮小率ｓで拡
大、縮小され、さらに回転角ψをもって回転され、さら
に平行移動量（ｘΔ,ｙΔ）だけ平行移動されている。

【０１１５】こうした（ｘ,ｙ）空間上での拡大・縮
小、回転、平行移動は、（θ,ρ）空間上では下式に示
される変換で表される。

【０１１６】 ただし、 である。

【０１１７】そこで、（θ,ρ）空間から、こうした平
行移動の影響を除去するために、候補領域Ｆ（ｘ，ｙ）
に対応するｈ1（θ，ρ）およびテンプレート画像Ｒ
（ｘ，ｙ）に対応するｈ0（θ，ρ）それぞれについ
て、ρ軸方向の１次元のフーリエ変換を行い、その後周
波数ｐがｐ≧０の領域のパワースペクトル密度を計算し
てフーリエ変換画像Ｈ1（θ,ｐ）、Ｈ0（θ，ｐ）を求
めるようにしている。

【０１１８】すなわち、図１１は、かかるθ−ｐ平面デ
ータの作成手順を示すフローチャートであり、同図に示
すように、フーリエ変換処理部１６ｃは、まず、ハフ変
換処理部１６ｂが作成した入力θ−ρ平面データｈ1
（θ，ρ）を入力する（ステップ１１０１）。ついで、
角度変数θをゼロに初期設定した後（ステップ１１０
２）、ＦＦＴすなわち高速フーリエ変換によりｈ1
（θ，ρ）においてρ軸方向の１次元フーリエ変換を行
い、そのパワーをＨ1（θ，ｐ）に格納する。つまり周
波数ｐがｐ≧０の領域のパワースペクトル密度を計算し
てフーリエ変換画像Ｈ1（θ,ｐ）を下記（８）式のごと
く求める。

【０１１９】 （ステップ１１０３）。

【０１２０】そして、角度変数θをインクリメントした
後に（ステップ１１０４）、該θがθmax未満であるか
否かを確認し（ステップ１１０５）、θmax未満である
場合にはステップ１１０３及び１１０４の処理を繰り返
し、やがてθmax 以上となった時点で処理を終了する。

【０１２１】なお、ここでは候補領域Ｆ（ｘ，ｙ）に対
応するＨ1（θ，ｐ）を作成する場合について説明した
が、テンプレート画像Ｒ（ｘ，ｙ）に対応するＨ0
（θ，ｐ）についても上記（７）式のごとく同様に作成
することができる。

【０１２２】上記（４）、（７）、（８）式よりＨ0
（θ，ｐ）とＨ1（θ，ｐ）との関係は下記（９）式の
ように表され、（４）式との比較から平行移動の影響が
除去されているのがわかる。

【０１２３】 次に、図７のステップ７０４に示す対数座標変換処理の
手順について具体的に説明する。

【０１２４】ここで、対数座標変換処理をする理由は、
以下のとおりである。

【０１２５】すなわち、拡大・縮小率ｓをもって候補領
域Ｆ（ｘ，ｙ）がテンプレート画像Ｒ（ｘ，ｙ）に対し
て拡大、縮小している場合には、入力フーリエ変換画像
Ｈ1（θ，ｐ）は参照フーリエ変換画像Ｈ0（θ，ｐ）に
対してｐ軸方向に縮小、拡大したものになっている（例
えば、候補領域Ｆ（ｘ，ｙ）がテンプレート画像Ｒ
（ｘ，ｙ）に対して拡大しているときは、ｐ軸方向に縮
む関係となる）。

【０１２６】このまま、拡大・縮小率ｓを求めたので
は、演算処理が煩雑なものとなり、処理に時間を要する
こととなる。

【０１２７】そこで、周波数ｐ軸を、周波数の対数座標
軸ｑ軸に対数座標変換することにより、ｐ軸方向に画像
が伸縮している関係を、ｑ軸方向に画像が平行移動して
いる関係に変換する。つまり、参照θ−ｑ平面に対して
入力θ−ｑ平面を、ｑ軸方向に拡大・縮小率ｓに応じた
量だけシフト（平行移動）させるようにする。

【０１２８】このようにｑ軸方向に平行移動している関
係にすることによって拡大・縮小率ｓを求める演算処理
が簡易なものとなり、処理時間が短縮されることとな
る。

【０１２９】図１２は、こうした対数座標変換処理の手
順を示すフローチャートであり、同図に示すように、対
数座標変換処理部１６ｄは、まずθをゼロに初期設定す
るとともに（ステップ１２０１）、ｑをゼロに初期設定
する（ステップ１２０２）。

【０１３０】ついで、ｑに対応するｐを下記（２５）
式、 ｐ＝ｃ・exp（ｑ） （２５） （ただし、ｃは定数）から求める。つまり、対数座標軸
ｑ上の座標位置に対応するｐ軸上の座標位置を求める
（ステップ１２０３）。

【０１３１】こうしてｐとｑの対応関係が判明したなら
ば、下記（２６）式に示すように、フーリエ変換画像Ｈ
1（θ，ｐ）を、対応するフーリエ対数座標変換画像Ｈ1
（θ，ｑ）に変換する（ステップ１２０４）。

【０１３２】Ｈ1（θ,ｑ）＝Ｈ1（θ,ｐ） （２６） つぎに、対数座標変換のサンプリング誤差の影響を軽減
するために、ｑ軸方向にハニング窓を掛ける処理を行
う。

【０１３３】つまり、下記（２７）式に示すように、ス
テップ１２０４で取得されたＨ1（θ,ｑ）にハニング窓
関数Ｗ（ｑ）を乗算したものを、新たなＨ1（θ,ｑ）と
する。

【０１３４】 Ｗ（ｑ）＝０．５（１＋cos（πｑ/ｑmax）） Ｈ1（θ,ｑ）＝Ｗ（ｑ）・Ｈ1（θ,ｑ） （２７） ただし、ｑmaxはｑの最大値である（ステップ１２０
５）。

【０１３５】ついで、ｑをインクリメントし（ステップ
１２０６）、ｑが最大値ｑmax未満であれば（ステップ
１２０７の判断ＹＥＳ）、更新したｑに対して同様な処
理（ステップ１２０３〜ステップ１２０６）を繰り返す
が、やがてｑが最大値ｑmaxに達すると（ステップ１２
０７の判断ＮＯ）、つぎのステップ１２０８に移行され
る。

【０１３６】今度は、θがインクリメントされ、θが最
大値θmax未満であれば（ステップ１２０８の判断ＹＥ
Ｓ）、更新したθに対してｑを再度ゼロにした上で同様
な処理（ステップ１２０２〜ステップ１２０７）を繰り
返すが、やがてθが最大値θmaxに達すると（ステップ
１２０８の判断ＮＯ）、この対数座標変換処理を終了さ
せる。

【０１３７】なお、ここでは候補領域Ｆ（ｘ，ｙ）に対
応するＨ1（θ，ｑ）を作成する場合について説明した
が、テンプレート画像Ｒ（ｘ，ｙ）に対応するＨ0
（θ，ｑ）についても同様に作成することができる。

【０１３８】こうした取得されたＨ1（θ，ｑ）とＨ0
（θ，ｑ）の関係は、下記（１０）式のように表され
る。

【０１３９】 ただし、 である。

【０１４０】このように候補領域Ｆ（ｘ，ｙ）に対応す
るＨ1（θ，ｑ）は、テンプレート画像Ｒ（ｘ，ｙ）に
対応するＨ0（θ，ｑ）を、ｑ軸方向に−λ、θ軸方向
にψだけシフトしたものとして表すことができる。

【０１４１】よって、このｑ軸方向のシフト量−λを算
出することができれば、拡大・縮小率ｓを上記（１２）
式の関係より求めることができ、θ軸方向のシフト量ψ
を算出することができれば、回転角ψを求めることがで
きる。

【０１４２】そこで、こうしたｑ軸方向のシフト量−
λ、θ軸方向のシフト量ψを求めるべく、移動量算出部
１６ｅは、まず、参照データ記憶部１６ｆに予め記憶し
ておいた対数座標変換後の参照データＨ0（θ，ｑ）を
当該参照データ記憶部１６ｆから読み出し（ステップ７
０５）、この読み出されたフーリエ対数座標変換画像Ｈ
0（θ，ｑ）とステップ７０４で作成されたフーリエ対
数座標変換画像Ｈ1（θ，ｑ）とを用いて、これらの２
次元相関係数Ｃr（θ，ｑ）を計算する（ステップ７０
６）。その後、この２次元相関係数Ｃr（θ，ｑ）が最
大となるθ、ｑの位置より回転角ψ、拡大・縮小率ｓを
求める（ステップ７０７）。

【０１４３】図１３は、こうした２次元相関係数Ｃr
（θ，ｑ）の演算処理および回転角ψ、拡大・縮小率ｓ
の算出処理の手順を示すフローチャートであり、同図に
示すように、まずＨ1（θ，ｑ）を２次元フーリエ変換
してＦ1（ｕ,ｖ）を求める（ステップ１３０１）。つい
で、このＦ1（ｕ,ｖ）の各成分のパワーを１．０に正規
化してＦ1φ（ｕ,ｖ）を求める（ステップ１３０２）。
テンプレート画像Ｒ（ｘ，ｙ）に対応するＨ0（θ，
ｑ）についても同様の処理が実行され、この結果作成さ
れたＦ0φ（ｕ,ｖ）が記憶部に予め記憶されている。そ
こで、このＦ0φ（ｕ,ｖ）が読み出される（ステップ１
３０３）。

【０１４４】かかる一連の処理について更に詳しく説明
すると、まず、Ｈ0（θ，ｑ）、Ｈ1（θ，ｑ）それぞれ
が２次元フーリエ変換されて下記（１３）、（１４）式
に示すようにＦ0（ｕ,ｖ）、Ｆ1（ｕ,ｖ）が求められ
る。

【０１４５】 ここで、上記（１０）式とこれら（１３）、（１４）式
とを用いて、Ｆ0（ｕ,ｖ）とＦ1（ｕ,ｖ）との関係式
（１５）を得る。

【０１４６】 そこで、Ｆ0（ｕ,ｖ）をパワーと位相に分けると、下記
（１６）式のように表され、Ｆ1（ｕ,ｖ）については上
記（１５）式より下記（１７）式のように表される。

【０１４７】 この結果、Ｆ0（ｕ,ｖ）、Ｆ1（ｕ,ｖ）の位相成分はそ
れぞれ下記（１８）、（１９）式のように表される。

【０１４８】 そこで、こうした取得されたＦ0φ（ｕ,ｖ）、Ｆ1φ
（ｕ,ｖ）を用いてＦ1φ（ｕ,ｖ）と、Ｆ0φ（ｕ,ｖ）
＊の積を下記（２０）、（２１）、（２２）式に示すよ
うに逆フーリエ変換してＨ0（θ，ｑ）とＨ1（θ，ｑ）
の相関値（２次元相関係数）Ｃr（θ，ｑ）を求める。

【０１４９】 ただし、Ｆ0φ（ｕ,ｖ）＊は、Ｆ0φ（ｕ,ｖ）の複素共
役である（ステップ８０４）。

【０１５０】このようにして求められた相関値Ｃr
（θ，ｑ）はデルタ関数になっているのがわかる（上記
（２２）式参照）。そして、このデルタ関数Ｃr（θ，
ｑ）は、θ＝ψ、ｑ＝−λの座標位置で最大値をとる。
そこで、Ｃr（θ，ｑ）平面から最大値をとる座標位置
θ＝ψ、ｑ＝−λを検出し（ステップ１３０５）、この
検出位置（ψ、−λ）に基づき、回転角ψを求めるとと
もに、拡大・縮小率ｓを、上記（１２）式に基づく変換
式、 ｓ＝ｋ・exp（−λ） （２８） （ｋは定数）により求めるようにする（ステップ１３０
６）。

【０１５１】以上、この図１３では、Ｈ0（θ,ｑ）に対
するＨ1（θ,ｑ）の、θ軸方向のシフト量、ｑ軸方向の
シフト量を求めるために、２次元フーリエ変換の位相を
利用したフーリエ位相変換法を用いるようにしたが、通
常のマッチトフィルタや２次元相関によって求める実施
も可能である。

【０１５２】次に、図７のステップ７０８に示すρ相互
相関画像Ｃρ（θ，ρ）の作成手順について具体的に説
明する。

【０１５３】図１４は、図７のステップ７０８のρ相互
相関画像Ｃρ（θ，ρ）の作成手順を示すフローチャー
トである。

【０１５４】同図に示すように、移動量算出部１６ｅ
は、図１３に示す処理により回転角ψ、拡大・縮小率ｓ
を求めたならば、入力θ−ρ平面データｈ1（θ，ρ）
及び参照θ−ρ平面データｈ0（θ，ρ）を入力して、
求めた回転角ψおよび拡大・縮小率ｓを用いて参照θ−
ρ平面に対する入力θ−ρ平面のθ軸方向のシフト量お
よびρ軸方向の拡大・縮小率を補正する（ステップ１４
０１）。

【０１５５】ついで、角度変数θをゼロに初期設定し
（ステップ１４０２）、ずらし量Δρに−ρmax ×２を
代入する（ステップ１４０３）。

【０１５６】そして、回転角ψ、拡大・縮小率ｓによっ
て補正したｈ0（θ，ρ）とｈ1（θ，ρ）の正規化相互
相関係数を計算してρ相互相関画像Ｃ（θ，Δρ）に記
憶し（ステップ１４０４）、Δρをインクリメントする
（ステップ１４０５）。

【０１５７】その後、このΔρがρmax ×２未満である
か否かを確認し（ステップ１４０６）、ρmax ×２未満
である場合には、ステップ１４０４に移行して上記ステ
ップ１４０４及び１４０５の処理を繰り返す。

【０１５８】これに対して、Δρがρmax ×２以上とな
った場合には、角度変数θをインクリメントした後に
（ステップ１４０７）、該角度変数θがθmax 未満であ
る場合にはステップ１４０３に移行する（ステップ１４
０８）。

【０１５９】すなわち、この移動量算出部１６ｅでは、
ｈ0（θ，ρ）とｈ1（θ，ρ）の各θについて、ρ軸方
向にずらしながら１次元の正規化相互相関係数を計算
し、ρ相互相関画像Ｃρ（θ，ρ）を作成している。

【０１６０】ずらし量がΔρである場合の１次元の正規
化相互相関係数は、次式により算出される。

【０１６１】 次に、図７のステップ７０９に示す逆ハフ変換画像Ｉｎ
ｖ（ｘ，ｙ）の作成手順について説明する。

【０１６２】図１５は、図７のステップ７０９の逆ハフ
変換画像Ｉｎｖ（ｘ，ｙ）の作成手順を示すフローチャ
ートである。

【０１６３】同図に示すように、移動量算出部１６ｅ
は、ρ相互相関画像Ｃρ（θ，ρ）を作成したならば
（ステップ１５０１）、角度変数θをゼロに初期設定し
た後に（ステップ１５０２）、ρに−ρmax を設定する
（ステップ１５０３）。

【０１６４】そして、このＣρ（θ，ρ）が該Ｃρ
（θ，ρ）の最大値であるＣmax よりも大きいか否かを
判断し（ステップ１５０４）、Ｃmax よりも大きな場合
には、このＣρ（θ，ρ）をＣmax に代入してＣmax を
更新するとともに、この時のρをρｋに代入する（ステ
ップ１５０５）。したがって、このρｋには、Ｃmax が
最大である場合におけるρの値が格納される。

【０１６５】次に、このρをインクリメントし（ステッ
プ１５０６）、ρがρmax 未満であるか否かを確認し
（ステップ１５０７）、ρmax 未満である場合には、ス
テップ１５０４〜１５０６の処理を繰り返す。

【０１６６】これに対して、ρがρmax 以上となった場
合には、Ｃρ（θ，ρk）を逆ハフ変換する。つまり、
逆ハフ変換処理部１６ｇでは、Ｃρ（θ，ρ）上の点
（θ，ρｋ）を、 の式で示す直線に変換する処理が実行される。

【０１６７】そして、この逆ハフ変換後のＩｎｖ（ｘ，
ｙ）平面上の直線 ｙ＝−（１／ｔａｎθ）ｘ＋ρｋ／ｓｉｎθ 上にＣρ（θ，ρｋ）の値を加算する（ステップ１５０
８）。

【０１６８】そして、角度変数θをインクリメントした
後に（ステップ１５０９）、該θがθmax 未満であるか
否かを確認し（ステップ１５１０）、θmax 未満である
場合にはステップ１５０３に移行する。

【０１６９】すなわち、この移動量算出部１６ｅでは、
Ｃρ（θ，ρ）から各θで最大値をとる位置（θ，ρ
ｋ）を検出し、その位置で逆ハフ変換を行って逆ハフ変
換画像Ｉｎｖ（ｘ，ｙ）を作成している。

【０１７０】そして、この逆ハフ変換画像Ｉｎｖ（ｘ，
ｙ）の最大値の位置（Ｘmax ，Ｙmax ）が平行移動量
（ｘΔ,ｙΔ）となる。また、Ｉｎｖ（ｘ，ｙ）の最大
値をこの候補領域の照合度とする。

【０１７１】次に、図１に示す画像照合部１６を適用し
た場合の処理結果について説明する。

【０１７２】図１６は、図１に示す画像照合部１６を文
字の照合に適用した場合にディスプレイ上に表示される
中間調画像を示す写真である。

【０１７３】ここで、図１６（ａ）は、文字（「万」）
のテンプレート画像Ｒ（ｘ，ｙ）であり、このテンプレ
ート画像Ｒ（ｘ，ｙ）からエッジ方向を抽出した参照エ
ッジ方向画像Ｒｅ（ｘ，ｙ）は、図１６（ｂ）に示すよ
うになる。

【０１７４】そして、このＲｅ（ｘ，ｙ）に対してハフ
変換を施すと、図１６（ｅ）に示すような帯状の模様を
持つ参照θ−ρ平面データｈ0（θ，ρ）となり、さら
にこのｈ0（θ，ρ）をフーリエ変換すると、図１６
（ｇ）に示すような参照θ−ｐ平面データＨ0（θ，
ｐ）が得られる。さらにこのＨ0（θ，ｐ）のｐ軸をｑ
軸に対数座標変換すると、図１６（ｉ）に示すような参
照θ−ｑ平面データＨ0（θ，ｑ）が得られる。

【０１７５】一方、図１６（ｃ）は、文字（「万」）の
候補領域Ｆ（ｘ，ｙ）である。

【０１７６】この候補領域Ｆ（ｘ，ｙ）からエッジ方向
を抽出した入力エッジ方向画像Ｆｅ（ｘ，ｙ）は、図１
６（ｄ）に示すようになる。

【０１７７】そして、このＦｅ（ｘ，ｙ）に対してハフ
変換を施すと、図１６（ｆ）に示すような入力θ−ρ平
面データｈ1（θ，ρ）となり、さらにこのｈ1（θ，
ρ）をフーリエ変換すると、図１６（ｈ）に示すような
入力θ−ｐ平面データＨ1（θ，ｐ）が得られる。さら
にこのＨ1（θ，ｐ）のｐ軸をｑ軸に対数座標変換する
と、図１６（ｊ）に示すような入力θ−ｑ平面データＨ
1（θ，ｑ）が得られる。

【０１７８】ここで、このｈ1（θ，ρ）がｈ0（θ，
ρ）に比して帯のうねりが見られる理由は、文字の姿勢
角と位置が異なるためである。

【０１７９】また、候補領域Ｆ（ｘ，ｙ）がテンプレー
ト画像Ｒ（ｘ，ｙ）に対して拡大しているために、入力
フーリエ変換画像Ｈ1（θ，ｐ）は参照フーリエ変換画
像Ｈ0（θ，ｐ）に対してｐ軸方向に縮んでいるのがわ
かる。

【０１８０】また、こうしたｐ軸方向に画像が縮んでい
る関係は、対数座標変換されたＨ1（θ，ｑ）、Ｈ0
（θ，ｑ）をみると、ｑ軸方向に画像が平行移動してい
る関係に変換されているのがわかる。つまり、画像Ｈ0
（θ，ｑ）を下方にシフトさせたものが画像Ｈ1（θ，
ｑ）であることがわかる。

【０１８１】さて、図１６（ｋ）は、相関値Ｃr（θ，
ｑ）平面であり、この相関値Ｃr（θ，ｑ）平面は、他
の点とは明らかに区別できる最大輝度の座標位置を有し
ていることがわかる（最大輝度をとる座標位置が、θ＝
ψ、ｑ＝−λである）。

【０１８２】また、図１６（ｌ）は、ｈ1（θ，ρ）と
ｈ0（θ，ρ）の各θについて、ρ軸方向にずらしなが
ら計算したρ相互相関画像Ｃρ（θ，ρ）を示す図であ
り、図１６（ｍ）は、Ｃρ（θ，ρ）から各θで最大値
を持つ位置（θ，ρｋ）を検出し、その位置で逆ハフ変
換を行った逆ハフ変換画像Ｉｎｖ（ｘ，ｙ）である。ま
た、、Ｉｎｖ（ｘ，ｙ）の最大値を照合度とする。

【０１８３】以上、図１に示す画像照合部１６が行う処
理について説明した。これらの処理を複数の候補領域に
ついて行ない、その中で最も高い照合度をもつ時の拡大
率、回転角、平行移動量を求める。もし、候補領域が１
つしか得られなかった場合には１回の処理で拡大率、回
転角、平行移動量が求まる。

【０１８４】上述してきたように、本実施の形態では、
テンプレート画像から求めたエッジ画像の各エッジ点か
ら所定の基準点へのベクトルを求めてＲテーブルを作成
し、その後入力画像のエッジ画像のエッジ点において、
そのエッジ点を同じエッジ方向を持つＲテーブル内のベ
クトルをパラメータ空間Ｐ上に順次投票し、投票値が所
定のレベル以上の位置で、テンプレートのサイズと拡大
率とを考慮して候補領域を検出する。

【０１８５】ここで、本実施の形態では、パラメータ空
間を低分解能にして複数の候補領域を抽出するにとど
め、その後に行うハフ−フーリエ変換によって最も照合
度の大きな候補領域の拡大率、回転角及び平行移動量を
求めるよう構成したので、参照画像と、該参照画像に対
応する候補領域その一部に含む入力画像とを照合する場
合に、候補領域の拡大率、回転角及び平行移動量を、メ
モリ容量を低減しつつ、迅速かつ精度良く求めることが
できるなお、本実施の形態では、図５に示すような一万
円札の一部の文字を照合する場合だけでなく、図１７
（ａ）に示す約束手形全体を入力画像とし、図１７
（ｂ）に示す捺印画像をテンプレート画像とする場合に
も適用することができる。なお、かかる場合には、図１
７（ｃ）に示すようなパラメータ空間上での投票が行わ
れる。この時の（ｘ、ｙ）のパラメータ空間の分解能は
0.25である。

【０１８６】

【発明の効果】以上詳細に説明したように、請求項１、
２及び４に係わる発明は、参照画像のエッジ点から所定
の基準点へのベクトルをエッジ方向ごとに収納したＲテ
ーブルを作成し、入力画像のエッジ点を参照画像のエッ
ジ点とした場合の基準点の位置をＲテーブルに基づいて
低分解能化したパラメータ空間上に投票して一又は複数
の候補領域を求め、求めた候補領域が複数存在する場合
には、各候補領域と参照画像とをそれぞれ高精度に照合
して、照合度の最も大きな候補領域の拡大率、回転角及
び平行移動量を出力するよう構成したので、下記に示す
効果が得られる。

【０１８７】１）参照画像に対応する部分の拡大率、回
転角及び平行移動量を、メモリ容量を低減しつつ、迅速
に求めることができる。

【０１８８】２）入力画像を参照画像と事前に対応させ
る必要がなくなるので、照合効率を高めることができ
る。

【０１８９】３）パラメータ空間を低分解能化するもの
の、画情報自体の欠落を招くわけではないので、拡大
率、回転角及び平行移動量を精度良く求めることができ
る。

【０１９０】また、請求項３に係わる発明は、候補領域
を求めた後に、候補領域及び参照画像をハフ変換してθ
−ρ平面を生成した後、さらにこのθ−ρ平面をフーリ
エ変換してθ−ｑ平面を生成し、生成したθ−ｑ平面レ
ベルで回転角及び拡大率を算出するとともに、算出した
回転角及び拡大率で補正したθ−ρ平面レベルで平行移
動量を算出するよう構成したので、拡大率、回転角及び
平行移動量をさらに迅速に求めることができる。

【図面の簡単な説明】

【図１】本実施の形態で用いる画像照合装置の構成を示
す図である。

【図２】図１に示す一般化ハフ変換処理部が行う一般化
ハフ変換の概念及びＲテーブルの一例を示す図である。

【図３】図１に示す画像照合装置の処理手順を示すフロ
ーチャートである。

【図４】図３に示す候補領域の算定処理手順を示すフロ
ーチャートである。

【図５】パラメータ空間の低分解能化の概念を示す図で
ある。

【図６】入力画像、テンプレート画像及びパラメータ空
間への投票結果の一例を示すディスプレイ上に表示され
る中間調画像を示す写真である。

【図７】図１に示す画像照合部で行われる処理手順を示
すフローチャートである。

【図８】図１に示すエッジ検出部が行うエッジ方向画像
の作成手順を示すフローチャートである。

【図９】ソーベルの微分オペレータを示す図である。

【図１０】図１に示すハフ変換処理部が行うθ−ρ平面
データの作成手順を示すフローチャートである。

【図１１】図１に示すフーリエ変換処理部が行うθ−ｐ
平面データの作成手順を示すフローチャートである。

【図１２】図１に示す対数座標変換処理部が行う対数座
標変換処理の手順を示すフローチャートである。

【図１３】図１に示す移動量算出部が行う回転角および
拡大・縮小率の算出手順を示すフローチャートである。

【図１４】図１に示す移動量算出部が行うρ相互相関画
像Ｃρ（θ，ρ）の作成手順を示すフローチャートであ
る。

【図１５】図１に示す逆ハフ変換処理部が行う逆ハフ変
換画像Ｉｎｖ（ｘ，ｙ）の作成手順を示すフローチャー
トである。

【図１６】図１に示す画像照合部を文字の照合に適用し
た場合にディスプレイ上に表示される中間調画像を示す
各写真である。

【図１７】入力画像、テンプレート画像及びパラメータ
空間への投票結果の別の例を示すディスプレイ上に表示
される中間調画像を示す写真である。

【符号の説明】

１０…画像照合装置、 １１…画像入力部、 １２…候
補領域算定部、１３…エッジ検出部、 １４…一般化ハ
フ変換処理部、１５…Ｒテーブル記憶部、 １６…画像
照合部、１６ａ…θ−ｆ平面作成部、 １６ｂ…ハフ変
換処理部、１６ｃ…フーリエ変換処理部、 １６ｄ…対
数座標変換処理部、１６ｅ…移動量算出部、 １６ｆ…
参照データ記憶部、１６ｇ…逆ハフ変換処理部、 １７
…移動量特定部、９０，９１…ソーベルオペレータ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 参照画像と、該参照画像に対応する画像
   を回転及び又は拡大縮小した画像をその一部に含む入力
   画像とを照合して、前記入力画像の参照画像に対応する
   部分の拡大率、回転角及び平行移動量を出力する画像照
   合方法において、 前記参照画像の各エッジ点から所定の基準点へのベクト
   ルをエッジ方向ごとに収納したＲテーブルを作成し、 前記入力画像のエッジ点を前記参照画像のエッジ点とし
   た場合の基準点の位置を前記Ｒテーブルに基づいて低分
   解能化したパラメータ空間上に投票して一又は複数の候
   補領域を求め、 求めた候補領域が複数存在する場合には、各候補領域と
   前記参照画像とをそれぞれ照合して、照合度の最も大き
   な候補領域の拡大率、回転角及び平行移動量を出力する
   ことを特徴とする画像照合方法。
2. 【請求項２】 参照画像と、該参照画像に対応する画像
   を回転及び又は拡大縮小した画像をその一部に含む入力
   画像とを照合して、前記入力画像の参照画像に対応する
   部分の拡大率、回転角及び平行移動量を出力する画像照
   合装置において、 前記参照画像の各エッジ点から所定の基準点へのベクト
   ルを記憶するＲテーブル記憶手段と、 前記入力画像のエッジ点を前記参照画像のエッジ点とし
   た場合の基準点の位置を前記Ｒテーブル記憶手段の記憶
   内容に基づいて低分解能化したパラメータ空間上に投票
   する一般化ハフ変換手段と、 この低分解能化したパラメータ空間上に投票された投票
   値が所定レベル以上の候補領域を算定する算定手段と、 前記算定手段が算定した候補領域と前記参照画像とを照
   合して、候補領域が複数存在する場合には、照合度の最
   も大きな候補領域の拡大率、回転角及び平行移動量を出
   力する照合手段とを具備したことを特徴とする画像照合
   装置。
3. 【請求項３】 前記照合手段は、 前記候補領域及び参照画像をハフ変換してθ−ρ平面を
   生成するθ−ρ平面生成手段と、 前記θ−ρ平面生成手段が生成したθ−ρ平面をフーリ
   エ変換してθ−ｑ平面を生成するθ−ｑ平面生成手段
   と、 前記θ−ｑ平面生成手段が生成したθ−ｑ平面レベルで
   回転角及び拡大率を算出し、算出した回転角及び拡大率
   で補正したθ−ρ平面レベルで平行移動量を算出する算
   出手段とを具備したことを特徴とする請求項２記載の画
   像照合装置。
4. 【請求項４】 参照画像と、該参照画像に対応する画像
   を回転及び又は拡大縮小した画像をその一部に含む入力
   画像とを照合して、前記入力画像の参照画像に対応する
   部分の拡大率、回転角及び平行移動量を出力する画像照
   合装置で用いる記録媒体であって、 前記参照画像の各エッジ点から所定の基準点へのベクト
   ルをエッジ方向ごとに収納したＲテーブルを作成し、前
   記入力画像のエッジ点を前記参照画像のエッジ点とした
   場合の基準点の位置を前記Ｒテーブルに基づいて低分解
   能化したパラメータ空間上に投票して一又は複数の候補
   領域を求め、求めた候補領域が複数ある場合には、各候
   補領域と前記参照画像とをそれぞれ照合して、照合度の
   最も大きな候補領域の拡大率、回転角及び平行移動量を
   出力するプログラムを記録することを特徴とする画像照
   合装置で用いる記録媒体。