JP2008293073A - 画像のマッチング処理方法 - Google Patents

画像のマッチング処理方法 Download PDF

Info

Publication number
JP2008293073A
JP2008293073A JP2007135184A JP2007135184A JP2008293073A JP 2008293073 A JP2008293073 A JP 2008293073A JP 2007135184 A JP2007135184 A JP 2007135184A JP 2007135184 A JP2007135184 A JP 2007135184A JP 2008293073 A JP2008293073 A JP 2008293073A
Authority
JP
Japan
Prior art keywords
vector
matching
template
mask pattern
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007135184A
Other languages
English (en)
Other versions
JP4943228B2 (ja
Inventor
Kazunori Yamada
山田  和範
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP2007135184A priority Critical patent/JP4943228B2/ja
Publication of JP2008293073A publication Critical patent/JP2008293073A/ja
Application granted granted Critical
Publication of JP4943228B2 publication Critical patent/JP4943228B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】照合ベクトル数の削減、照合処理の簡略化による高速化、無駄なテンプレート変動の削除による照合回数の削減の3つを総合的に制御することによって、形状ベースの回転・スケール変動に対応するマッチング処理における高速化を図る。
【解決手段】モデル領域におけるエッジ点のx、y位置と、勾配方向θとで濃度勾配ベクトルを表わし、複数の濃度勾配ベクトルからなるテンプレートデータを用いる形状マッチング処理において、予め、サーチ画像の回転・スケール等の変動範囲に合わせて、テンプレートを構成するベクトルを変動させ、ベクトルが存在し得る位置を網羅し、その位置における重み情報を持ったマスクパターンを作成し、サーチ画像上の任意の位置で変動照合が必要かどうかを、このマスクパターンを用いて計算した一致度で判定し、一致度が低い場合、無駄な回転・スケール等の変動による照合処理を削減して、高速化を図る。
【選択図】図13

Description

本発明は、電子部品の位置決めや方向判別等のためにベクトル相関マッチングを行なう際に、高速に位置合わせするための画像のマッチング処理方法に関する。
従来、電子部品搭載装置では、吸着ノズルで吸着された電子部品の吸着姿勢を認識するのに、CCDカメラにより撮像された電子部品の画像と、予め作成された電子部品のテンプレートによるテンプレートマッチンクが用いられている。
このテンプレートマッチングにおいて、画像の全ての画素のデータについてマッチング演算を行なうと、演算量が膨大になるので、従来から、対象となる画素を何らかの条件で絞り込み、演算の高速化を図る手法が採られている。例えば、エッジ強度が強いものを選択する方法があり、ソーベル等のエッジ検出フィルタをかけて、エッジ強さを求め、ある閾値を設けて、対象となる画素を絞り込んでいた。又、エッジ点列の曲率の大きい部分は密に、曲率の小さな部分は粗にするという方法(特許文献1)や、テンプレート画像上での空間分布やエッジの方向性が、ある程度一様になるように間引く(特許文献2)等の方法がある。
特許第2989688号公報 特許第2681382号公報
しかしながら、エッジ強さ等を用いて照合ベクトル数を削減する方法だけでは、回転変動や倍率(スケール)変動等、更に変動範囲を拡大した場合の演算量の増加に対して、無駄なテンプレート変動を削減することができず、十分な高速化を行なうことはできない。
形状ベースマッチングでは対象が輪郭線だけであり、相関値は濃度情報を全部用いた正規化相関法に比べて、変動に対して急峻な特性を持つ。そのため、正規化相関法のように近傍のマッチング結果で変動範囲を間引くと、漏れが発生する可能性がある。しかし、変動範囲を間引かずに全て演算すると、膨大な演算量となってしまう。又、形状ベースのマッチングにおいては、実画像のコントラストの変動に合わせて、コントラストが変化してもサーチできるように、コントラストのロバスト性を考慮しなければならない。従って、サーチ画像について、コントラストによって変化するエッジ強さで照合ベクトルを絞り込むことはできない。
その他の高速化手法として、SSDA(Siquential Similarity Detection Algorithm)法(残差逐次検査法)等、照合処理を途中で打ち切り、高速化を図る方式もあるが、ベクトル数の削減と同様、無駄なテンプレート変動を削除する方法ではないので、やはり、変動範囲を拡大した場合の演算量の増加に対して効果は小さい。又、打ち切りのための閾値の設定をどのように制御すればいいのかという問題や、打ち切りのタイミングをより早めるための照合演算の順序をどのように制御すればいいのかという問題もある。従来は、コントラスト情報を用いて制御する方法が一般的であるが、コントラストのロバスト性を考慮する場合、別の判定基準が必要である。
本発明は、前記従来の問題点を解消するべくなされたもので、照合ベクトル数の削減、照合処理の簡略化による高速化、無駄なテンプレート変動の削除による照合回数の削減の3つを総合的に制御することによって、形状ベースの回転・スケール変動に対応するマッチング処理における高速化を図ることを課題とする。
本発明は、モデル領域におけるエッジ点のx、y位置と、勾配方向θとで濃度勾配ベクトルを表わし、複数の濃度勾配ベクトルからなるテンプレートデータを用いる形状マッチング処理において、予め、サーチ画像の回転・スケール等の変動範囲に合わせて、テンプレートを構成するベクトルを変動させ、ベクトルが存在し得る位置を網羅し、その位置における重み情報を持ったマスクパターンを作成し、サーチ画像上の任意の位置で変動照合が必要かどうかを、このマスクパターンを用いて計算した一致度で判定し、一致度が低い場合、無駄な回転・スケール等の変動による照合処理を削減して、高速化を図ることにより、前記課題を解決したものである。
又、前記サーチ画像の回転・スケール等の変動範囲に合わせて、テンプレートを構成するベクトルを変動させ、マスクパターンを作成する際に、ベクトル軌跡の重複点において重複数をカウントし、ベクトルが存在する頻度や共通形状を示す重み情報として付加し、一致度の重み付け、照合演算の順序制御に用い、より早期に照合演算を打ち切ることができる。
又、前記テンプレートとの相関値を計算する過程で、未計算部分の結果が最大値であると見做し、その時点での最高点を予測し、現在の最高点を上回ることができないと判断した場合に照合演算を打ち切ることができる。
又、前記モデル領域をいくつかのブロックに分け、それぞれに属する濃度勾配ベクトル方向データの分散を求め、分散値が低いブロック、即ち方向変化が少ない部分のベクトルを抽出し、ベクトル自身の重み情報を設定し、ベクトル自身の重み情報をそのベクトルが関与するマスクパターンの重み情報に加味し、マスクパターンの重み情報をフィードバックし、ベクトル自身の重み情報を再調整して、相関値の演算結果をより安定させ、マッチング結果の繰り返し精度を向上させることができる。
本発明によれば、重み情報付きマスクパターンを用いて、サーチ画像上の任意の位置で変動照合が必要かどうか判定でき、無駄なテンプレート変動による照合処理を削減でき、高速化が図れる。
又、マスクパターンの重み情報の順に照合演算を行なうことで、早期に照合演算を打ち切ることができ、高速化が図れる。マスクパターンの重み情報は、テンプレートを変動させた場合に取得できる重複カウントを元に設定する(変動テンプレートの共通部分の重みが高くなる)。
更に、類似度を計算する過程で、未計算部分の結果が最大値であるとみなし、その時点での最高点を予測し、現在の最高点を上回ることができないと判断した場合に照合演算を打ち切ることで、高速化が図れる。
又、濃度勾配ベクトルの方向変化が少なく、分散値が小さい直線状の部分について、この重みを更に上げることで、安定した一致度を得ることができ、位置決め結果の繰り返し精度が向上する。
又、階層マッチングの上位層において、この重み情報を用いて照合ベクトル数の削減をすることで、高速化が図れる。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
図1は、本発明を実施するのに用いられるシステムの構成図である。
このシステムは、電子部品2を吸着し、撮像位置へセットするための吸着ノズル1と、該吸着ノズル1や照明装置3等の動作を制御するマシン制御装置13と、電子部品2を撮像するための標準カメラ4及び高解像度カメラ5と、撮像された画像を処理して画像内のある位置に存在する対象物の位置検出や形状を判別する画像処理装置12とによって構成される。
前記マシン制御装置13は、通常、電子部品の電極サイズによって、撮像するカメラ4又は5を選択し、電子部品2を吸着ノズル1で吸着し、選択したカメラの撮像位置にセットする。更に、照明装置3を選択したカメラで撮像できるよう移動、点灯させ、画像処理装置12にインタフェース11を介して、選択したカメラチャネル情報と共に処理実行を指示する。
前記画像処理装置12は、指定されたカメラ4又は5を制御し、電子部品の画像を撮像し、A/Dコンバータ6でデジタル化し、画像メモリ7に多値画像データとして記憶させる。この画像処理装置12は、画像メモリ7のデータに対して、各種処理を行ない、電子部品2の位置決め、形状判別のためのテンプレートデータを作成する。途中、生成させる処理データは、作業用メモリ8に記憶される。
以下、図2を参照して、テンプレート作成の手順を詳細に説明する。
まず、電子部品の画像を撮像し、A/Dコンバータ6でデジタル化し、画像メモリ7に多値画像データとして記憶させる(S1)。
次いで、エッジ抽出処理を行ない、抽出データを作業用メモリ8に格納する(S2)。
次に、抽出したエッジ点についてラベリング処理を行ない、連結し、輪郭線として分類したデータ管理を行なえるようにする(S3)。
輪郭線で表される形状のサイズが小さいと細かな形状の判別ができないので、エッジエンベロプ検査を行ない、一定サイズ以下の場合は必要な形状サイズが得られるように、画像メモリ7のデータに対して拡大処理を行ない、再度、エッジ抽出処理を行なう(S7)。
更に、ノイズ成分の除去(S4)を行ない、高速化のために有効なエッジのみに絞り込み(S5)、最後に、テンプレートデータとして、テンプレートデータ格納メモリ10に格納する(S6)。
図3にテンプレートデータの構成を示す。データは、テンプレート自体の属性を示すデータと、濃度勾配ベクトルデータの2つに分類できる。テンプレート属性データには、テンプレートサイズ、中心オフセット、ピクセルレート、類似度の閾値、拡大倍率等がある。濃度勾配ベクトルは、座標、方向で表現できる。これに重みを加えたものを基本データ構造とする。更に、検出状況の解析のために検出に用いたフィルタサイズ、検出したベクトル強さ等のデータを追加しておいてもよい。
本発明は、このように作成したテンプレートデータを用いて、回転・スケール変動のある対象物を含む任意の入力画像から高速に対象物の位置検出をするためのマッチング処理方法に関するものである。
本発明では、予め、サーチ画像内での対象物の回転・スケール等の変動範囲に合わせて、テンプレートを構成するベクトルを変動させ、ベクトルが存在し得る位置を網羅したマスクパターンを作成する。
図4にマスクパターン概念を示す。例えば、テンプレート画像として、塗りつぶされた四角形の対象物(図4(A))を登録する。このとき、得られるテンプレートデータのイメージは、図4(B)のようになる。四角形のエッジ部分が抽出され、輪郭線上のベクトルデータがテンプレートデータとして構成される。
マスクパターンとは、サーチ画像の任意の点において、サーチ画像内での対象物の変動範囲を考慮して、これらテンプレートを構成するベクトルが存在し得る位置を示したデータである。即ち、図4(B)を最大範囲で変動させたときの軌跡のOR画像となる。
このとき、ベクトル軌跡の各位置において重複数をカウントし、ベクトルが存在する頻度や共通部分を示す情報(以下、重み情報と記載)として記録しておく。サーチ画像上の任意の位置で、このマスクパターンとの一致度を計算し、照合処理が必要かどうかを判定し、無駄な回転・スケール等の変動による照合処理を削減して、高速化を図ることができる。
マスクパターンのデータ構造を図5に示す。マスクパターンは、ビットマップデータとして表現する(図5(A))。該当位置にベクトルが存在し得ない場合には0、ベクトルが存在し得る場合は、軌跡の重なり度と、そのベクトル自体の重み情報から、その位置の重み情報を計算し、設定する。マスクパターンフィッティング判定を高速化するためには、より重みの高い点から演算してやればよい。
重み情報の大きい、即ち影響力の大きなベクトルから演算するようにすれば、より早期に打ち切り判定ができ、高速化を図ることができる。そのために、各点のフィッティング順序を記述したインデックス配列を用意しておく(図5(B))。例えば、重みの高い順に、もし同一であるならラスタスキャンの順に並べていけばよい。
このような考え方は、照合演算の順序制御に用いることもできる。この場合は、ベクトル自体の重み情報を利用してやればよい。
ベクトルの重み付けは、例えば図6(A)に示す如く、モデル領域をいくつかのブロックに分け、それぞれに属する濃度勾配ベクトル方向データの分散を求め、この値を元に設定することができる。分散値は、ベクトルが同じ方向に揃っていれば小さく、ばらばらであれば大きくなる。図6(B)は、分散値を用いて、ブロック毎に10段階で重み付けした例であり、ベクトルが同じ方向に揃っている程、重みは大きくなる。
分散値が低いブロック、即ち方向変化が少ない部分のベクトル群は、直線形状を示し安定しているので、これらのベクトルに重み付けすることで、相関値の演算結果をより安定させ、マッチング結果の繰り返し精度を向上させることができる。
又、分散値が高いブロック、即ち方向変化が激しい部分のベクトル群は、複雑な形状を示す部分であり、形状が不一致の場合、相関値は著しく低下する性質を持つので、先に演算して、計算を早く打ち切れるようにした方がよい。このような情報、更にこれらのベクトル群が関与するマスクパターンの重み情報を調整し、重みの大きい順に、図7に示すベクトルインデックスを用いて、データ本体でなくインデックスについて順序制御することで、先に記載した高速化の効果を増幅させることができる。
又、階層マッチングの上位層データ作成において、この情報を用いて、照合ベクトルの選定を行ない、ベクトル数を削減し、高速化を図ることもできる。
図8に階層データの構造を示す。階層データは、ある局所領域の中で重み付け情報を参照し、最低値以上で、且つ最大のものを選ぶようにして作成する。例えば、1層は近隣の2×2の4画素を、2層は4×4の16画素を、3層は8×8の64画素を局所領域として処理する。一つ下の層のデータを用いて、常に4画素を局所領域として処理すれば高速化が図れる。このとき、階層インデックスは早期打ち切りのための演算順序を考慮した並べ替えを同時に行なっておく。
このように本発明のマッチング処理では、照合ベクトル数の削減、照合処理の高速化、無駄なテンプレート変動の削除の3つの要素をマスクパターンを通して相互に組み合わせ、高速化を実現している。
次に、フローチャートに沿って、図1の画像処理装置12での個々の処理について詳細に説明する。
図9はテンプレート前処理の手順を示す。画像処理装置12は、テンプレートデータ格納メモリ10より、該当するテンプレートデータを探し出し、作業用メモリ8に展開し、処理を行なう。これらの処理はマッチング処理の前に行なっておく。
まず、テンプレートを構成するベクトル毎の重みを計算する(S11)。重みの計算はいろいろな手段が考えられるが、より精度を安定させるために、影響度を大きくすべきベクトルに重み付けを行なうという考え方で手段を実装しなければならない。図10に、その一例を示す。
図10に示したベクトルの重み計算の具体的な手順は、次のとおりである。
(1)テンプレート領域ブロック分割(S21)
分割数はいくつでも構わない。処理時間や対象物の形状を考慮して決めればよい。例えば、図6のようにテンプレート領域を9の領域に分割する。
(2)各部ブロック内ベクトル勾配方向分散計算(S22)
各ブロック内のベクトルに対して、勾配方向の分散を計算する。
(3)処理ブロック更新(S23)
処理ブロックを更新し、全てのブロックに対して(S22)の処理を繰り返す。
(4)分散値の正規化と調整(S24)
分散値の最小値、最大値を求め、10段階に正規化、その他の重み付け要素(重複数カウント値)と調整する。例えば、重複数カウント値との荷重平均をとる。
(5)ベクトルデータに重みとして展開(S25)
S23で決まった重みをブロック内の各ベクトルに展開する。
(6)インデックスに演算情報として展開(S26)
重み情報を用いて、ベクトルの演算順序を決め、図7に示したベクトルインデックスに展開する。
次に図9に戻り、テンプレートを構成するベクトル座標点を変動させた軌跡を重ね合わせ、マスクパターンを作成する(S12)。マスクパターンの各点の重み情報は、ベクトル自体の重みと、その重なり度で計算する。マスクパターンの各点の重み情報は、マスクパターン完成後にベクトル毎の重みにフィードバックし、ベクトル自身の重みも変動時の重なり度を加味したものとする。
図9のステップS12のマスクパターン作成は、図11に示す手順に従って行なう。
(1)テンプレート変動領域サイズ計算(S31)
テンプレートを変動範囲の最大に拡大し、45°回転させたときのエンベロプ(対角長さ)がマスクパターンのサイズとなる。マスクパターンは作業用メモリ8に確保される。マスクパターンは、マスクパターン中心とテンプレート中心を一致させてテンプレートを配置し、テンプレートの左上を原点とする座標系で管理する。
(2)ビットマップデータクリア(S32)
S31で確保したマスクパターンを全て0でクリアする。
(3)回転変動(S33)
対象物の回転変動範囲の最小値を初期値として設定、最大値まで更新を繰り返す。
(4)スケール変動(S34)
対象物のスケール変動範囲の最小値を初期値として設定、最大値まで更新を繰り返す。
(5)軌跡(重複カウント)セット(S35)
S33、S34で設定された変動量でテンプレートデータをアフィン変換し、ビットマップデータ上の座標を計算、軌跡座標のデータをカウントアップしていく。このとき、各ベクトルに設定された重み情報をカウント値として足し込んでいく。
(6)膨張処理(S36)
対象物の形状ずれを考慮して、S35までの処理で得られたパターンに対して膨張処理を行なう。膨張レベルは、対象物の形状の誤差を考慮して設定すればよい。
(7)重み情報正規化(S37)
重み情報を0〜10の範囲で正規化する。
(8)フィッティング順序インデックス作成(S38)
マスクパターンを重み情報の上位から順にラスタスキャンし、設定する。インデックスはマスクパターンの全ての点を網羅する必要はない。そこにパターンがないと判断できる数まで作成すればよい。
(9)重み情報をベクトルデータにフィードバックする(S39)
具体的な計算方法は、いろいろ考えられるが、例えば、各ベクトルの変動軌跡上の重みの平均値を求め、更に元の重み情報と平均する。
S39終了後、図9に戻り、最後に、階層テンプレートを作成する(S13)。
図12にマッチング処理全体フローを示す。
まず、サーチ画像よりベクトルを抽出する(S41)。基本的に、図2に示すテンプレート画像に対する処理と同じ処理となる。但し、サーチ画像の場合、エッジ選択処理(図2のS5)は行なわない。サーチ画像には、テンプレートとして登録された以外の形状も含まれることがあり、テンプレート画像と同じ基準で絞り込みを行なうことはできない。ノイズ成分を取り除いた全てのベクトルを残す。抽出されたベクトルは、方向と強さ、それぞれ独立したビットマップ形式のデータとして作業用メモリ8に出力される。
次に、サーチ領域の絞り込みを行なう(S42)。サーチ画像内のベクトルが存在する矩形領域をマッチング領域とすることで、無駄な照合を省き、高速化を図ることができる。
次に、絞り込んだサーチ領域について、階層データを作成する(S43)。サーチ画像の階層データは、ベクトルの強さで照合ベクトルを選択する。局所領域の最大強さのベクトルを照合ベクトルとして選択する。入力画像と同様に、抽出されたベクトルは、方向と強さ、それぞれ独立したビットマップ形式のデータとして作業用メモリ8に出力される。
そして、階層サーチ(S44)を行ない、変動範囲に絞り込んだ後、最終層のサーチ(S45)を行ない、位置検出が完了する。
本発明の演算処理の打ち切りは、S44の階層サーチに適用される。最終層サーチは、ほぼそこに対象物があることが前提であり、より高精度の位置検出を行なう処理であるので、本発明の手法は適用しない。演算の打ち切り判定処理を省く方が高速になる。
図12のS44の階層サーチとは、図13に詳細に示す如く、より粗い解像度の上位の層から順にサーチを繰り返し、下位の層のサーチ領域の絞り込みを行ない、高速化を図る手法である。最終層−1でのサーチが終了したら(S51)終了となる。
階層サーチでは、まずサーチ階層の変動テンプレートの作成を行なう(S52)。基準姿勢のテンプレートをアフィン変換して、回転・スケール変動範囲に合わせて複数枚のテンプレートを作成する。メモリ容量があれば、テンプレート前処理の階層テンプレート作成の中に含め、予め作成しておくことでより高速化が図れる。
照合処理は、テンプレートの平行移動を基準に行なう(S53、S57)。
まず、サーチ画像上で(x,y)を設定し、その位置に対して、マスクパターンフィッティング(S54)を行なう。
図14にマスクパターンフィッティングの具体的な手順を示す。このマスクパターンフィッティングの手順は、次のとおりである。
(1)フィッティングインデックスカウンタ初期化(S61)
カウンタを0に初期化する。
(2)入力画像位置計算(S62)
カウンタが示すインデックス番号を取得、参照するマスクパターン位置情報を取り出し、入力画像の参照位置を計算する。
(3)ベクトル強さ参照(S63)
S62の位置のベクトル強さを参照し、その位置にベクトルが存在するか判定する。
(4)一致度更新(S64)
ベクトルが存在するならば、一致度をカウントアップしていく。
(5)一致度判定(S65)
テンプレートのベクトル数に対して設定された最低値に対して比較を行なう。
(6)照合処理必要(S67)
S65の結果、最低値以上の一致度が確認できたならば、照合処理が必要と判定し、即座にフィッティング処理を打ち切り、照合処理へ移る。
(7)フィッティングインデックスカウンタ更新(S66)
そうでない場合は、カウンタを更新し、次のベクトルについての処理に移る。
(8)照合処理不要(S68)
全てのベクトルについて行なっても、一致度が上がらなかった場合は、照合処理不要と判定する。
図14終了後、図13に戻り、マスクパターンフィッティングの戻り値により、照合処理の有無を判定する(S55)。マスクパターンとの一致度が低い場合、その位置での照合処理は省くことができ、高速化が図れる。
照合処理が必要と判断したならば、回転・スケール変動照合処理(S56)を行なう。
これらの処理をサーチ領域内で繰り返し行ない(S57)、最大値の座標点を検出し、その周辺を下位の層のサーチ領域として(S58)、同様の処理を繰り返す。
図15に、図13のS56の回転・スケール変動照合処理の具体的な手順を示す。
回転・スケール変動は、テンプレート中心を基準として行なう。変動範囲の最小値を初期値とし、最大値になるまで、回転・スケールについてそれぞれ繰り返し処理を行なう。まず、回転速度、スケールを設定し、照合演算(S73)を行ない、類似度を算出する。
図16に、図15のS63の照合演算処理の具体的な手順を示す。この照合演算処理の手順は、次のとおりである。
(1)ベクトルインデックスカウンタ初期化(S81)
カウンタを0に初期化する。
(2)入力画像位置計算(S82)
カウンタが示すインデックス番号を取得、テンプレート・ベクトルの位置情報を取り出し、入力画像の参照位置を計算する。
(3)ベクトル強さ参照(S83)
S82の位置のベクトル強さを参照し、その位置にベクトルが存在するか判定する。
(4)相関演算(S84)
ベクトルが存在するならば、相関値を演算する。相関演算は2つのベクトルの類似度を示す値で、0〜1の値として表現する。一般的にはベクトルの内積を用いて計算される。
本実施形態では、2つのベクトルの勾配方向θの差分の余弦(cos)を取り、重み付けしている。
(5)相関値予測値変更(S85)
未計算部分のベクトルの相関値が全て1であったとした場合の平均相関値を予測値とする。
(6)相関値予測値判定(S86)
現在の最高点を上回ることができるかできないかを判定する。
(7)打ち切り終了(S87)
現在の最高点を上回ることができないことが確定した場合、演算は打ち切り、終了となる。
(8)ベクトルインデックスカウンタ更新(S88)
確定しない場合は、カウンタをインクリメントし、次のベクトルに対して、S82〜S86の処理を繰り返す。
相関値が低い箇所での照合演算は途中で打ち切り、最後まで計算されない。又、演算が打ち切られた場合は、最終的な相関値は求まらない。
図16終了後、図15に戻り、算出した相関値が現在の最大値を超えるか判定し(S64)、最大値を超えるならば、最大値を更新する(S65)。
これらの処理をスケールを変動させ、繰り返し行なう(S62〜S66)。
更に、回転角度を変動させ、繰り返し行なう(S61〜S67)。
本実施形態においては、階層サーチデータ上位層の作成において、重み情報を用いて照合ベクトル数を削減し、更にインデックス配列を用いて、元ベクトルのデータを指し示すようにしたので、演算順序を制御し、高速化を図りつつ、且つ階層サーチデータをコンパクトにすることができる。
本発明に用いられる画像処理装置の構成を示したブロック図 本発明の実施形態におけるテンプレート作成の手順を示す流れ図 同じくテンプレートデータの例を示す図 同じくマスクパターンの概念を示す図 同じくマスクパターンのデータ構造の例を示す図 同じくベクトルの重み計算方法を説明する図 同じくベクトルインデックス(演算順序)の例を示す図 同じく階層データの例を示す図 同じくテンプレート前処理の手順を示す流れ図 同じくベクトルの重み計算の手順を示す流れ図 同じくマスクパターンの作成手順を示す流れ図 同じくマッチング処理全体の処理手順を示す流れ図 同じく階層サーチの処理手順を示す流れ図 マスクパターンのフィッティング手順を示す流れ図 同じく回転・スケール変動照合処理の手順を示す流れ図 同じく照合演算処理の手順を示す流れ図
符号の説明
2…電子部品
7…画像メモリ
9…演算部
10…テンプレートデータ格納メモリ
12…画像処理装置
13…マシン制御装置

Claims (4)

  1. モデル領域におけるエッジ点のx、y位置と、勾配方向θとで濃度勾配ベクトルを表わし、複数の濃度勾配ベクトルからなるテンプレートデータを用いる形状マッチング処理において、
    予め、サーチ画像の回転・スケール等の変動範囲に合わせて、テンプレートを構成するベクトルを変動させ、ベクトルが存在し得る位置を網羅し、その位置における重み情報を持ったマスクパターンを作成し、
    サーチ画像上の任意の位置で変動照合が必要かどうかを、このマスクパターンを用いて計算した一致度で判定し、
    一致度が低い場合、無駄な回転・スケール等の変動による照合処理を削減して、高速化を図ることを特徴とする画像のマッチング処理方法。
  2. 前記サーチ画像の回転・スケール等の変動範囲に合わせて、テンプレートを構成するベクトルを変動させ、マスクパターンを作成する際に、ベクトル軌跡の重複点において重複数をカウントし、ベクトルが存在する頻度や共通形状を示す重み情報として付加し、一致度の重み付け、照合演算の順序制御に用い、より早期に照合演算を打ち切ることを特徴とする請求項1に記載の画像のマッチング処理方法。
  3. 前記テンプレートとの相関値を計算する過程で、未計算部分の結果が最大値であると見做し、その時点での最高点を予測し、現在の最高点を上回ることができないと判断した場合に照合演算を打ち切ることを特徴とする請求項1又は2に記載の画像のマッチング処理方法。
  4. 前記モデル領域をいくつかのブロックに分け、それぞれに属する濃度勾配ベクトル方向データの分散を求め、分散値が低いブロック、即ち方向変化が少ない部分のベクトルを抽出し、ベクトル自身の重み情報を設定し、ベクトル自身の重み情報をそのベクトルが関与するマスクパターンの重み情報に加味し、マスクパターンの重み情報をフィードバックし、ベクトル自身の重み情報を再調整して、相関値の演算結果をより安定させ、マッチング結果の繰り返し精度を向上させることを特徴とする請求項1に記載の画像のマッチング処理方法。
JP2007135184A 2007-05-22 2007-05-22 画像のマッチング処理方法 Active JP4943228B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007135184A JP4943228B2 (ja) 2007-05-22 2007-05-22 画像のマッチング処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007135184A JP4943228B2 (ja) 2007-05-22 2007-05-22 画像のマッチング処理方法

Publications (2)

Publication Number Publication Date
JP2008293073A true JP2008293073A (ja) 2008-12-04
JP4943228B2 JP4943228B2 (ja) 2012-05-30

Family

ID=40167761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007135184A Active JP4943228B2 (ja) 2007-05-22 2007-05-22 画像のマッチング処理方法

Country Status (1)

Country Link
JP (1) JP4943228B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010147137A1 (ja) * 2009-06-16 2010-12-23 キヤノン株式会社 パターン処理装置及びその方法、プログラム
CN102184411A (zh) * 2011-05-09 2011-09-14 中国电子科技集团公司第二十八研究所 基于彩色信息的尺度不变特征点描述和匹配方法
JP2015007972A (ja) * 2013-05-31 2015-01-15 オムロン株式会社 画像照合方法、画像照合装置、モデルテンプレート生成方法、モデルテンプレート生成装置、およびプログラム
JP2018036528A (ja) * 2016-08-31 2018-03-08 キヤノン株式会社 位置検出方法、位置検出装置、リソグラフィ装置および物品製造方法
CN113538384A (zh) * 2021-07-19 2021-10-22 凌云光技术股份有限公司 一种特征的定位方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04180183A (ja) * 1990-11-15 1992-06-26 Mitsubishi Electric Corp 画像処理方式
JPH10318732A (ja) * 1997-05-22 1998-12-04 Topcon Corp 形状測定装置及び形状測定用画像形成装置
JP2001251097A (ja) * 2000-03-07 2001-09-14 Juki Corp 部品の位置決め方法および装置
JP2001291105A (ja) * 2000-04-04 2001-10-19 Kawasaki Heavy Ind Ltd パターン認識方法および装置
JP2004219284A (ja) * 2003-01-16 2004-08-05 Juki Corp 部品の位置決め方法および装置
JP2004302581A (ja) * 2003-03-28 2004-10-28 Matsushita Electric Works Ltd 画像処理方法並びに画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04180183A (ja) * 1990-11-15 1992-06-26 Mitsubishi Electric Corp 画像処理方式
JPH10318732A (ja) * 1997-05-22 1998-12-04 Topcon Corp 形状測定装置及び形状測定用画像形成装置
JP2001251097A (ja) * 2000-03-07 2001-09-14 Juki Corp 部品の位置決め方法および装置
JP2001291105A (ja) * 2000-04-04 2001-10-19 Kawasaki Heavy Ind Ltd パターン認識方法および装置
JP2004219284A (ja) * 2003-01-16 2004-08-05 Juki Corp 部品の位置決め方法および装置
JP2004302581A (ja) * 2003-03-28 2004-10-28 Matsushita Electric Works Ltd 画像処理方法並びに画像処理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010147137A1 (ja) * 2009-06-16 2010-12-23 キヤノン株式会社 パターン処理装置及びその方法、プログラム
JP2011022994A (ja) * 2009-06-16 2011-02-03 Canon Inc パターン処理装置及びその方法、プログラム
US9117111B2 (en) 2009-06-16 2015-08-25 Canon Kabushiki Kaisha Pattern processing apparatus and method, and program
CN102184411A (zh) * 2011-05-09 2011-09-14 中国电子科技集团公司第二十八研究所 基于彩色信息的尺度不变特征点描述和匹配方法
JP2015007972A (ja) * 2013-05-31 2015-01-15 オムロン株式会社 画像照合方法、画像照合装置、モデルテンプレート生成方法、モデルテンプレート生成装置、およびプログラム
JP2018036528A (ja) * 2016-08-31 2018-03-08 キヤノン株式会社 位置検出方法、位置検出装置、リソグラフィ装置および物品製造方法
CN113538384A (zh) * 2021-07-19 2021-10-22 凌云光技术股份有限公司 一种特征的定位方法及装置
CN113538384B (zh) * 2021-07-19 2024-03-26 凌云光技术股份有限公司 一种特征的定位方法及装置

Also Published As

Publication number Publication date
JP4943228B2 (ja) 2012-05-30

Similar Documents

Publication Publication Date Title
JP4047352B2 (ja) 画像歪み補正プログラム,画像歪み補正装置並びに画像歪み補正方法
EP0866424B1 (en) Image matching system
CN101894375B (zh) 人物跟踪方法和人物跟踪装置
JP5468824B2 (ja) 3次元における形状の一致を判定する方法および装置
JP6432162B2 (ja) 画像照合方法、画像照合装置、モデルテンプレート生成方法、モデルテンプレート生成装置、およびプログラム
JP4943228B2 (ja) 画像のマッチング処理方法
JP2007299364A (ja) パターン認識装置,パターン認識方法及びその方法を実現したプログラムを格納した記録媒体
KR20010080219A (ko) 화상 처리 장치 및 화상 처리 방법 및, 기록 매체
US11244194B2 (en) System and method for object recognition using local binarization
US9317904B2 (en) Image processing system and image processing method
CN111524086B (zh) 运动物体检测装置、运动物体检测方法、存储介质
JP4339221B2 (ja) 画像構成方法、指紋画像構成装置およびプログラム
JP3361946B2 (ja) ソリッドモデル自動生成装置およびその方法
CN107423738A (zh) 一种基于模板匹配的试卷题目定位方法及装置
CN111149101A (zh) 一种目标图案查找方法及计算机可读存储介质
JPH07103734A (ja) ステレオ対応探索装置
JP5310402B2 (ja) 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム
CN109815975A (zh) 一种基于机器人的目标分类方法及相关装置
JP4387889B2 (ja) テンプレート照合装置および方法
JP5347798B2 (ja) 物体検出装置、物体検出方法及び物体検出プログラム
CN115205113A (zh) 一种图像拼接方法、装置、设备及存储介质
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
JP3066137B2 (ja) パターンマッチング方法
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP4394926B2 (ja) 画像処理方法及びその装置、プログラム並びにこの記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120229

R150 Certificate of patent or registration of utility model

Ref document number: 4943228

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3