JP2010282536A - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP2010282536A JP2010282536A JP2009136988A JP2009136988A JP2010282536A JP 2010282536 A JP2010282536 A JP 2010282536A JP 2009136988 A JP2009136988 A JP 2009136988A JP 2009136988 A JP2009136988 A JP 2009136988A JP 2010282536 A JP2010282536 A JP 2010282536A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correlation
- correlation distribution
- distribution
- searched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】テンプレートマッチングの位置検出精度向上
【解決手段】テンプレート画像データと被探索画像データとにより相関分布を求め、当該相関分布の特性から被探索パターンの位置検索を行う画像処理方法において、テンプレート画像に対して基準画像を所定の移動距離単位で相対的に直進移動させて理想的な標準相関分布を求め、被探索画像の相関分布と標準相関分布の各々について尖度を求め、標準相関分布の尖度と被探索画像の相関分布の尖度とを比較すると共に、当該各尖度の比較結果に応じて、被探索画像の最大相関値となる最大相関位置を前記画像移動方向における画像一致位置とするか、相関分布の頂上部の加重平均位置を画像一致位置とするかを判定する。
【選択図】図13
【解決手段】テンプレート画像データと被探索画像データとにより相関分布を求め、当該相関分布の特性から被探索パターンの位置検索を行う画像処理方法において、テンプレート画像に対して基準画像を所定の移動距離単位で相対的に直進移動させて理想的な標準相関分布を求め、被探索画像の相関分布と標準相関分布の各々について尖度を求め、標準相関分布の尖度と被探索画像の相関分布の尖度とを比較すると共に、当該各尖度の比較結果に応じて、被探索画像の最大相関値となる最大相関位置を前記画像移動方向における画像一致位置とするか、相関分布の頂上部の加重平均位置を画像一致位置とするかを判定する。
【選択図】図13
Description
本発明は、テンプレートマッチングを用いて位置検出を行う画像処理方法及び画像処理装置に関する。
テンプレートマッチングの技術は、例えば、撮像によって得られた被探索画像内のターゲットとなる対象図形を検出するために対象図形のテンプレート画像を逐次移動させて各位置でのマッチングを行い、最大相関値が得られるテンプレート画像の位置から被探索画像内の対象図形の位置を特定することに用いられ、求められた対象図形の位置に基づいて当該対象図形が付された物体の位置決め制御や対象図形が付された物体に対する位置決め制御に利用される。
しかしながら、被探索画像を撮像により取得する場合に、撮像される物体に付された対象図形が物体ごとにバラツキを生じていたり、撮像手段の部品精度や組み精度により機械的な誤差を生じたり、撮像時の周囲環境や動作条件等の差異を生じたりして、被探索画像上の対象図形とテンプレート画像上の対象図形とが、互いにサイズや形状が十分に一致しない場合がある(図14参照)。そのような不一致が生じると、図15に示すように、相互の一致度を示す相関分布のピークが尖鋭とならず、本来検出すべき位置の周辺がなだらかな形状となり、ピーク周辺のなだらかな領域内での最大相関位置がマッチングの中心位置とはならない場合があった。この問題点に対応するため、最大相関位置を検出位置とするのではなく最大相関位置周辺の加重平均位置を検出位置とするパターンマッチング技術が案出されている(例えば、特許文献1)。
しかしながら、特許文献1の手法は、対象図形のサイズや形状のズレの影響に対してはより正確にマッチングの中心位置を求めることが可能であるが、撮像された対象図形にノイズや濃度ムラが生じた場合には狂いを生じやすいという問題があった。
例えば、図16のように濃度ムラのある対象図形に対してテンプレートマッチングを行った場合の中心付近の水平線分Lの範囲でテンプレート画像を逐次移動させた場合の相関分布を図17に示す。
かかる相関分布は、対象図形の左上に存在する濃度ムラの影響を受け、最大相関位置から左側は右側に比べて傾きが急で左右対称形状にもかかわらず相関分布が左右非対称となってしまう。このような偏った相関分布に対して特許文献1の特徴である加重平均を用いて中心位置を求めると、本来の中心位置(検出すべき位置:図17の位置P)よりも少し右側にズレた位置(図17のPf)を検出してしまう。また、対象画像にノイズが入っている場合にも同様のズレが発生してしまう。
つまり、濃度ムラやノイズにより相関分布に偏りが発生する場合は、加重平均の手法を用いるよりは、単純に最大相関位置をマッチングの中心位置と判断する方が検出位置精度が高くなることが分かる。
このように、テンプレートマッチングにおいては、最大相関位置をマッチングの中心位置とする基本的な手法と、相関分布のピーク周辺の加重平均からマッチングの中心位置を求める特許文献1の手法とは、それぞれに有利な場合と不利な場合とがあり、いずれの場合にも、常に安定した位置検出精度を維持することはできないという問題があった。
例えば、図16のように濃度ムラのある対象図形に対してテンプレートマッチングを行った場合の中心付近の水平線分Lの範囲でテンプレート画像を逐次移動させた場合の相関分布を図17に示す。
かかる相関分布は、対象図形の左上に存在する濃度ムラの影響を受け、最大相関位置から左側は右側に比べて傾きが急で左右対称形状にもかかわらず相関分布が左右非対称となってしまう。このような偏った相関分布に対して特許文献1の特徴である加重平均を用いて中心位置を求めると、本来の中心位置(検出すべき位置:図17の位置P)よりも少し右側にズレた位置(図17のPf)を検出してしまう。また、対象画像にノイズが入っている場合にも同様のズレが発生してしまう。
つまり、濃度ムラやノイズにより相関分布に偏りが発生する場合は、加重平均の手法を用いるよりは、単純に最大相関位置をマッチングの中心位置と判断する方が検出位置精度が高くなることが分かる。
このように、テンプレートマッチングにおいては、最大相関位置をマッチングの中心位置とする基本的な手法と、相関分布のピーク周辺の加重平均からマッチングの中心位置を求める特許文献1の手法とは、それぞれに有利な場合と不利な場合とがあり、いずれの場合にも、常に安定した位置検出精度を維持することはできないという問題があった。
本発明は、安定して位置検出の精度を高く維持することをその目的とする。
請求項1記載の発明は、基準の対象図形を含んだテンプレート画像のテンプレート画像データを探索対象となる対象図形を含んだ被探索画像の被探索画像データに対して所定の移動距離単位で相対的に直進移動させて当該移動方向に沿った各位置における互いの一致度を示す相関値からなる相関分布を求め、当該相関分布の特性から被探索パターンの位置検索を行うテンプレートマッチングを用いた画像処理方法において、前記テンプレート画像に対して基準画像を前記所定の移動距離単位で相対的に直進移動させて理想的な標準相関分布を求め、前記被探索画像の相関分布と前記標準相関分布の各々について尖度を求め、前記標準相関分布の尖度と前記被探索画像の相関分布の尖度とを比較すると共に、当該各尖度の比較結果に応じて、前記被探索画像の最大相関値となる最大相関位置を前記画像移動方向における画像一致位置とするか、前記相関分布の頂上部の加重平均位置を画像一致位置とするかを判定することを特徴とする。
請求項2記載の発明は、請求項1記載の発明と同様の構成を備えると共に、前記標準相関分布と前記被探索画像の相関分布の各々について、最大相関位置を境界とする前側の区間と後側の区間とで直線近似を行うと共に当該前後の区間の傾き又は前後の区間における近似直線の水平成分長を求め、前記標準相関分布と前記被探索画像の相関分布の前記各区間ごとに、前記傾き又は水平成分長の比較を行った結果、予め定めた閾値以上の差がある区間について前記テンプレート画像にマッチングを行わない領域を設定して前記被探索画像の相関分布を再度形成することを特徴とする。
請求項3記載の発明は、請求項1又は2記載の発明と同様の構成を備えると共に、前記標準相関分布における最大相関値と前記被探索画像の相関分布における最大相関値とを比較し、前記比較を行った結果、予め定めた閾値以上の差がある場合に、画像一致位置を求めずにパターン検索を終了することを特徴とする。
請求項4記載の発明は、基準の対象図形を含んだテンプレート画像のテンプレート画像データを探索対象となる対象図形を含んだ被探索画像の被探索画像データに対して所定の移動距離単位で相対的に直進移動させて当該移動方向に沿った各位置における互いの一致度を示す相関値からなる相関分布を求め、当該相関分布の特性から被探索パターンの位置検索を行うテンプレートマッチングを用いた画像処理装置において、前記テンプレート画像に対して基準画像を前記所定の移動距離単位で相対的に直進移動させて理想的な標準相関分布を求める相関分布算出部と、前記被探索画像の相関分布と前記標準相関分布の各々について尖度を求める尖度算出部と、前記標準相関分布の尖度と前記被探索画像の相関分布の尖度とを比較すると共に、当該各尖度の比較結果に応じて、前記被探索画像の最大相関値となる最大相関位置を前記画像移動方向における画像一致位置とするか、前記相関分布の頂上部の加重平均位置を画像一致位置とするかを判定するマッチング位置判定部とを備えることを特徴とする。
請求項5記載の発明は、請求項4記載の発明と同様の構成を備えると共に、前記標準相関分布と前記被探索画像の相関分布の各々について、最大相関位置を境界とする前後の区間で直線近似を行うと共に当該前後の区間の傾き又は前後の区間における近似直線の水平成分長を求める前後区間直線近似部と、前記標準相関分布と前記被探索画像の相関分布の前記各区間ごとに、前記傾き又は水平成分長の比較を行った結果、予め定めた閾値以上の差がある区間について前記テンプレート画像にマッチングを行わない領域を設定して前記被探索画像の相関分布を再度形成するリトライ部とを備えることを特徴とする。
請求項6記載の発明は、請求項4又は5記載の発明と同様の構成を備えると共に、前記標準相関分布における最大相関値と前記被探索画像の相関分布における最大相関値とを比較する最大相関値比較部を備え、前記比較を行った結果、予め定めた閾値以上の差がある場合に、画像一致位置を求めずにパターン検索を終了することを特徴とする。
請求項1及び4記載の発明は、被探索画像の相関分布と標準相関分布の各々について尖度を求め、これらを比較するので、被探索画像の対象図形にサイズ変動が生じているか否かをその尖度から判断することができる。その結果、サイズ変動が生じていることが尖度から判断される場合には、相関分布の頂上部の加重平均位置を画像一致位置とする画像一致位置の特定方法を選択することができ、サイズ変動が生じていないことが判断される場合には、最大相関位置を画像一致位置とする特定方法を選択することができる。従って、サイズ変動の発生の有無にかかわらず適切な画像一致位置を求めることができ、被探索画像の位置を安定して精度良く検出することが可能となる。
請求項2及び5記載の発明は、標準相関分布と被探索画像の相関分布の各々について、最大相関位置の前後の区間の近似直線の傾き又はその水平成分長を求め、その違いが予め定めた範囲以上である場合に、その区間についてテンプレート画像にマッチングを行わない領域を設定して被探索画像の相関分布を再度形成する。ここで、傾きに大きな違いを生じさせる原因としては、被探索画像に欠けを生じていたり、ノイズが生じていたりする場合である。従って、各区間の傾きや水平成分長に差異を生じている区間についてテンプレート画像にマッチングを行わない領域を設け、再度相関分布を求めることで、被探索画像に欠けがノイズが存在しても対比が行われないので、画像の欠けやノイズの影響をなくした相関分布を得ることができ、被探索画像の位置をより安定して精度良く検出することが可能となる。
請求項3及び6記載の発明は、標準相関分布と被探索画像の相関分布のそれぞれの最大相関値を比較し、その差が大きい場合には画像一致位置を求めずにパターン検索を終了するので、種々の要因により画像一致位置を検出することができないほどテンプレート画像と被探索画像とが異なる場合に、不正確な被探索画像の位置検出を回避することが可能となる。
(実施形態の全体構成)
本発明の実施形態について、図1乃至図13に基づいて説明する。図1は、本実施形態たる電子部品搭載装置100の斜視図である。
電子部品搭載装置100は、基板に各種の電子部品の搭載を行うものであって、電子部品の搭載手段として、図1に示すように、搭載される電子部品を供給する複数の電子部品フィーダー101と、電子部品フィーダー101を複数並べて保持するフィーダーバンク102と、一定方向に基板を搬送する基板搬送手段103と、当該基板搬送手段103による基板搬送経路の途中に設けられた基板に対する電子部品搭載作業を行うための搭載作業部104と、着脱自在の吸着ノズル105を保持して電子部品Tの保持を行う部品保持手段としてのヘッド106と、ヘッド106を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのX−Yガントリ107と、ヘッド106に搭載され、基板の撮像を行うと共に対象図形としての位置決めマークMの検出を行う撮像手段としてのCCDカメラ108と、当該CCDカメラ108に併設された撮像範囲を照射する照明手段としての照明ランプ113と、上記搭載手段の動作制御を行う動作制御手段10とを備えている。
かかる電子部品搭載装置100の動作制御手段10は、搭載作業部104に供給された基板の正確な位置及び向きを認識するために、CCDカメラ108により位置決めマークMの撮像を行い、撮像範囲内のいずれに位置決めマークMが位置するかを探索する画像処理方法を実行する画像処理装置として機能するようになっている。
なお、以下の説明において、水平面に沿って互いに直交する一の方向をX軸方向とし、他の方向をY軸方向とし、垂直上下方向をZ軸方向と称することとする。
本発明の実施形態について、図1乃至図13に基づいて説明する。図1は、本実施形態たる電子部品搭載装置100の斜視図である。
電子部品搭載装置100は、基板に各種の電子部品の搭載を行うものであって、電子部品の搭載手段として、図1に示すように、搭載される電子部品を供給する複数の電子部品フィーダー101と、電子部品フィーダー101を複数並べて保持するフィーダーバンク102と、一定方向に基板を搬送する基板搬送手段103と、当該基板搬送手段103による基板搬送経路の途中に設けられた基板に対する電子部品搭載作業を行うための搭載作業部104と、着脱自在の吸着ノズル105を保持して電子部品Tの保持を行う部品保持手段としてのヘッド106と、ヘッド106を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのX−Yガントリ107と、ヘッド106に搭載され、基板の撮像を行うと共に対象図形としての位置決めマークMの検出を行う撮像手段としてのCCDカメラ108と、当該CCDカメラ108に併設された撮像範囲を照射する照明手段としての照明ランプ113と、上記搭載手段の動作制御を行う動作制御手段10とを備えている。
かかる電子部品搭載装置100の動作制御手段10は、搭載作業部104に供給された基板の正確な位置及び向きを認識するために、CCDカメラ108により位置決めマークMの撮像を行い、撮像範囲内のいずれに位置決めマークMが位置するかを探索する画像処理方法を実行する画像処理装置として機能するようになっている。
なお、以下の説明において、水平面に沿って互いに直交する一の方向をX軸方向とし、他の方向をY軸方向とし、垂直上下方向をZ軸方向と称することとする。
基板搬送手段103は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をX軸方向に沿って搬送する。
また、前述したように、基板搬送手段103による基板搬送経路の途中には、電子部品を基板へ搭載する搭載作業部104が設けられている。基板搬送手段103は、搭載作業部104まで基板を搬送すると共に停止して、図示しない保持機構により基板の保持を行う。つまり、基板は保持機構により保持された状態で安定した電子部品の搭載作業が行われる。
また、前述したように、基板搬送手段103による基板搬送経路の途中には、電子部品を基板へ搭載する搭載作業部104が設けられている。基板搬送手段103は、搭載作業部104まで基板を搬送すると共に停止して、図示しない保持機構により基板の保持を行う。つまり、基板は保持機構により保持された状態で安定した電子部品の搭載作業が行われる。
ヘッド106は、その先端部で空気吸引により電子部品Tを保持する吸着ノズル105と、この吸着ノズル105をZ軸方向に駆動する駆動源であるZ軸モータ111(図2参照)と、吸着ノズル105を介して保持された電子部品をZ軸方向を中心として回転駆動させる回転駆動源である回転モータ112(図2参照)とが設けられている。
また、各吸着ノズル105は負圧発生源に接続され、当該吸着ノズル105の先端部において吸気吸引を行うことにより電子部品Tの吸着及び保持が行われる。
つまりこれらの構造により、搭載作業時には、吸着ノズル105の先端部で所定の電子部品フィーダー101から電子部品を吸着し、所定位置で基板に向かって吸着ノズル105を下降させると共に吸着ノズル105を回転させて電子部品の向きの調整を行いつつ搭載作業が行われる。
また、前述したCCDカメラ108は、ヘッド106に搭載されており、X−Yガントリ107によりヘッド106が駆動されることで、位置決めマークMの撮像を行うための所定の撮像位置にCCDカメラ108を位置決めすることも可能にしている。
また、各吸着ノズル105は負圧発生源に接続され、当該吸着ノズル105の先端部において吸気吸引を行うことにより電子部品Tの吸着及び保持が行われる。
つまりこれらの構造により、搭載作業時には、吸着ノズル105の先端部で所定の電子部品フィーダー101から電子部品を吸着し、所定位置で基板に向かって吸着ノズル105を下降させると共に吸着ノズル105を回転させて電子部品の向きの調整を行いつつ搭載作業が行われる。
また、前述したCCDカメラ108は、ヘッド106に搭載されており、X−Yガントリ107によりヘッド106が駆動されることで、位置決めマークMの撮像を行うための所定の撮像位置にCCDカメラ108を位置決めすることも可能にしている。
X−Yガントリ107は、X軸方向にヘッド106の移動を案内するX軸ガイドレール107aと、このX軸ガイドレール107aと共にヘッド106をY軸方向に案内する二本のY軸ガイドレール107bと、X軸方向に沿ってヘッド106を移動させる駆動源であるX軸モータ109と、X軸ガイドレール107aを介してヘッド106をY軸方向に移動させる駆動源であるY軸モータ110とを備えている。そして、各モータ109、110の駆動により、ヘッド106を二本のY軸ガイドレール107bの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータ109、110は、ぞれぞれの回転量が動作制御手段120に認識され、所望の回転量となるように制御されることにより、ヘッド106を介して吸着ノズル105やCCDカメラ108の位置決めを行っている。
また、電子部品の必要上、前記したフィーダーバンク102,搭載作業部104とはいずれもX−Yガントリ107によるヘッド106の搬送可能領域内に配置されている。
なお、各モータ109、110は、ぞれぞれの回転量が動作制御手段120に認識され、所望の回転量となるように制御されることにより、ヘッド106を介して吸着ノズル105やCCDカメラ108の位置決めを行っている。
また、電子部品の必要上、前記したフィーダーバンク102,搭載作業部104とはいずれもX−Yガントリ107によるヘッド106の搬送可能領域内に配置されている。
フィーダーバンク102は、複数のX−Y平面に沿った平坦部を備え、当該平坦部に複数の電子部品フィーダー101がX軸方向に沿って羅列して載置装備される。
また、フィーダーバンク102は、各電子部品フィーダー101の先端部を当接させるX−Z平面に沿った当接部を備え、当該当接部には、電子部品フィーダー101の先端部に設けられた係合突起が挿入される位置決め穴が電子部品フィーダー101の羅列方向に沿って複数設けられている(図示略)。
さらに、各電子部品フィーダー101には弾性力で挟持を行うラッチ機構を備えており、フィーダーバンク102の平坦部における外側端部をラッチ機構に噛ませることで、前述した係合突起が位置決め穴に挿入された状態が維持されて、当該電子部品フィーダー101をフィーダーバンク102に対して所望の姿勢で固定することを可能としている。
また、フィーダーバンク102は、各電子部品フィーダー101の先端部を当接させるX−Z平面に沿った当接部を備え、当該当接部には、電子部品フィーダー101の先端部に設けられた係合突起が挿入される位置決め穴が電子部品フィーダー101の羅列方向に沿って複数設けられている(図示略)。
さらに、各電子部品フィーダー101には弾性力で挟持を行うラッチ機構を備えており、フィーダーバンク102の平坦部における外側端部をラッチ機構に噛ませることで、前述した係合突起が位置決め穴に挿入された状態が維持されて、当該電子部品フィーダー101をフィーダーバンク102に対して所望の姿勢で固定することを可能としている。
電子部品フィーダー101は、後端部側に電子部品が均一間隔で無数に封入されたテープを巻回したテープリールを保持すると共に、先端部近傍にはヘッド106への電子部品の受け渡し部が形成されている。そして、フィーダーバンク102に取り付けられた状態では、電子部品の受け渡し部までテープの搬送が行われて、当該受け渡し部に位置決めされたヘッド106に対して電子部品の供給が行われるようになっている。
CCDカメラ108は、ヘッド106により下方に向けられた状態で保持されており、基板上の搭載された電子部品を上方から撮像することで搭載不良の検査を行ったり、位置決めマークMの有無を検出する。かかるCCDカメラ108の撮像動作は動作制御手段10の制御下にあり、撮像による画像データは、動作制御手段10に出力されるようになっている。
照明ランプ113は、CCDカメラ108の撮像領域を照明可能とする方向に向けた状態でヘッド106に保持されている。かかる照明ランプ113は、撮像時の明るさを確保するためのもので、その照明強度は動作制御手段10により調整可能となっている。
照明ランプ113は、CCDカメラ108の撮像領域を照明可能とする方向に向けた状態でヘッド106に保持されている。かかる照明ランプ113は、撮像時の明るさを確保するためのもので、その照明強度は動作制御手段10により調整可能となっている。
(動作制御手段)
図2は電子部品搭載装置100の制御系を示すブロック図である。図2に示すように、動作制御手段10は、主に、X−Yガントリ107のX軸モータ109、Y軸モータ110、ヘッド106において吸着ノズル105の昇降を行うZ軸モータ111、吸着ノズル105の回転を行う回転モータ112、CCDカメラ108、照明ランプ113の動作制御を行い、所定の制御プログラムに従って各種の処理及び制御を実行するCPU20と、各種の処理及び制御を実行するためのプログラムが格納されたシステムROM50と、各種のデータを格納することで各種の処理の作業領域となるRAM40と、CPU20と各種の機器との接続を図るI/F(インターフェース)14と、各種の設定や操作に要するデータの入力を行うための操作パネル15と、各種の処理及び制御を実行するためのデータが格納された例えばEEPROM等からなる不揮発性の記憶装置60と、各種設定の内容や後述する検査の結果等を表示する表示モニタ18とを有している。また、前述した各モータ109〜112は、図示しないモータドライバを介してI/F14と接続されている。
図2は電子部品搭載装置100の制御系を示すブロック図である。図2に示すように、動作制御手段10は、主に、X−Yガントリ107のX軸モータ109、Y軸モータ110、ヘッド106において吸着ノズル105の昇降を行うZ軸モータ111、吸着ノズル105の回転を行う回転モータ112、CCDカメラ108、照明ランプ113の動作制御を行い、所定の制御プログラムに従って各種の処理及び制御を実行するCPU20と、各種の処理及び制御を実行するためのプログラムが格納されたシステムROM50と、各種のデータを格納することで各種の処理の作業領域となるRAM40と、CPU20と各種の機器との接続を図るI/F(インターフェース)14と、各種の設定や操作に要するデータの入力を行うための操作パネル15と、各種の処理及び制御を実行するためのデータが格納された例えばEEPROM等からなる不揮発性の記憶装置60と、各種設定の内容や後述する検査の結果等を表示する表示モニタ18とを有している。また、前述した各モータ109〜112は、図示しないモータドライバを介してI/F14と接続されている。
上記RAM40は、相関値分布を得るためにテンプレート画像データと比較を行う画像データを記憶する画像メモリ41と、相関値分布を得るために基準となるテンプレート画像データを記憶するテンプレート画像メモリ42と、後述する被探索画像の相関分布と基準画像の相関分布のそれぞれのデータを記憶する相関値バッファ43としてデータの記憶を行う。
記憶装置60は、図3に示すように、各種の基板に対応するために複数種類の形状の位置決めマークMのテンプレート画像データを記憶している。かかるテンプレート画像データは、複数の形状IDと各IDごとのテンプレート画像の形状を示す画像データとから構成されている。
また、記憶部60は、図4に示すように、テンプレート画像管理データを記憶している。このテンプレート画像管理データは、後述する標準相関分布における相関分布特徴(最大相関値、尖度、最大相関位置の前後の区間の近似直線の傾きSa,Sb及び前後の区間の水平方向成分長さ)と、テンプレート画像の位置決めマークMの形状種別及びサイズとが登録IDと関連付けて記録するものである。
また、記憶部60は、図4に示すように、テンプレート画像管理データを記憶している。このテンプレート画像管理データは、後述する標準相関分布における相関分布特徴(最大相関値、尖度、最大相関位置の前後の区間の近似直線の傾きSa,Sb及び前後の区間の水平方向成分長さ)と、テンプレート画像の位置決めマークMの形状種別及びサイズとが登録IDと関連付けて記録するものである。
CPU20は、ROM50に格納された各種のプログラムをCPU20が実行することにより、テンプレート画像設定部21と、相関分布算出部22と、最大相関値比較部23と、尖度算出部24と、マッチング位置判定部25と、前後区間直線近似部26と、リトライ部27として機能するものである。
以下、上記各処理部21〜27について説明する。
以下、上記各処理部21〜27について説明する。
(テンプレート画像設定部)
テンプレート画像設定部21は、ユーザーから操作パネル15により基準対象図形としての位置決めマークMの形状種別とサイズの入力が行われると、指定された形状の位置決めマークMの形状データを記憶装置60から読み込んで指定サイズに変換することにより形成されるテンプレート画像データを画像メモリ41とテンプレート画像メモリ42とに展開する。
また、テンプレート画像設定部21は、上述したように形状とサイズの指定を受けてテンプレート画像データを生成する場合の他に、撮像した位置決めマークMの画像データ(基準画像の画像データ)からテンプレート画像データを生成する処理も実行可能である。即ち、認識対象図形として位置決めマークMを撮像してその撮像画像データを画像メモリ41に格納し、当該撮像画像データから位置決めマークMのサイズを計測し、予め記憶装置60に記憶されている数種類の形状データ(図3参照)と照合して一致する形状データを特定する。そして、形状データを計測したサイズに変換し、テンプレート画像データを生成して、当該テンプレート画像データをテンプレート画像メモリ42に展開する。
テンプレート画像設定部21は、ユーザーから操作パネル15により基準対象図形としての位置決めマークMの形状種別とサイズの入力が行われると、指定された形状の位置決めマークMの形状データを記憶装置60から読み込んで指定サイズに変換することにより形成されるテンプレート画像データを画像メモリ41とテンプレート画像メモリ42とに展開する。
また、テンプレート画像設定部21は、上述したように形状とサイズの指定を受けてテンプレート画像データを生成する場合の他に、撮像した位置決めマークMの画像データ(基準画像の画像データ)からテンプレート画像データを生成する処理も実行可能である。即ち、認識対象図形として位置決めマークMを撮像してその撮像画像データを画像メモリ41に格納し、当該撮像画像データから位置決めマークMのサイズを計測し、予め記憶装置60に記憶されている数種類の形状データ(図3参照)と照合して一致する形状データを特定する。そして、形状データを計測したサイズに変換し、テンプレート画像データを生成して、当該テンプレート画像データをテンプレート画像メモリ42に展開する。
(相関分布算出部)
相関分布算出部22は、前述したテンプレート画像データ同士又は基準画像データとテンプレート画像データとの相関分布(X軸方向又はY軸方向における画素列の検出輝度の一致度の分布)と、被探索画像データ(位置決めマークMの探索時における基板の撮像画像データ)とテンプレート画像データとの相関分布のそれぞれについて形成を行う。
以下の説明では、テンプレート画像データ同士又はテンプレート画像と基準画像データとに基づいて得られた相関分布を「標準相関分布」、テンプレート画像データと被探索画像データとに基づいて得られた相関分布を「検出相関分布」というものとする。
相関分布算出部22は、前述したテンプレート画像データ同士又は基準画像データとテンプレート画像データとの相関分布(X軸方向又はY軸方向における画素列の検出輝度の一致度の分布)と、被探索画像データ(位置決めマークMの探索時における基板の撮像画像データ)とテンプレート画像データとの相関分布のそれぞれについて形成を行う。
以下の説明では、テンプレート画像データ同士又はテンプレート画像と基準画像データとに基づいて得られた相関分布を「標準相関分布」、テンプレート画像データと被探索画像データとに基づいて得られた相関分布を「検出相関分布」というものとする。
以下の説明においては、画像データの画像平面をX−Y座標で示すことを前提とする。
相関分布は、X軸方向を主走査方向、Y軸方向を副走査方向として、画像メモリ41内の画像データの全ての画素位置について、当該画像データとテンプレート画像データとのマッチングを行い、X軸方向についてのマッチング率変化の分布を示したものである。マッチングの手法としては、例えは正規化相関法が用いられる。
なお、相関分布は、X軸方向の全て画素列について得ることができるが、X軸方向における一つの相関分布に一本化される。例えば、最大相関値が最も高い画素列の相関分布を採用して一本化したり、或いは、全画素列或いは最大相関値が所定の閾値以上となる複数の画素列についてX座標が等しい相関値を合計或いは平均化したりして一本化を図っている。
そして、上記相関分布算出部22によって得られた基準画像と被探索画像のそれぞれの相関分布は相関値バッファ43に展開される。
相関分布は、X軸方向を主走査方向、Y軸方向を副走査方向として、画像メモリ41内の画像データの全ての画素位置について、当該画像データとテンプレート画像データとのマッチングを行い、X軸方向についてのマッチング率変化の分布を示したものである。マッチングの手法としては、例えは正規化相関法が用いられる。
なお、相関分布は、X軸方向の全て画素列について得ることができるが、X軸方向における一つの相関分布に一本化される。例えば、最大相関値が最も高い画素列の相関分布を採用して一本化したり、或いは、全画素列或いは最大相関値が所定の閾値以上となる複数の画素列についてX座標が等しい相関値を合計或いは平均化したりして一本化を図っている。
そして、上記相関分布算出部22によって得られた基準画像と被探索画像のそれぞれの相関分布は相関値バッファ43に展開される。
なお、被探索画像データとテンプレート画像データとのマッチングはX軸方向だけでなく、Y軸方向についても行う必要があるため、実際には、相関分布は、Y軸方向を主走査方向、X軸方向を副走査方向として、被探索画像データの全ての画素位置について、被探索画像データとテンプレート画像データとのマッチングを行い、Y軸方向についてのマッチング率変化の分布を一本化したものも求められ、後述する各種の処理に用いられるが、その処理内容は同一のため、本実施形態では、X軸方向の相関分布における処理ついてのみ説明することする。
また、被探索画像の全画素についてマッチングを行うと処理量が増大化するので、例えば、被探索画像データ及びテンプレート画像データの解像度を低くしてマッチングを行い、所定の閾値以上の相関値が得られるエリアの絞り込みを行い、徐々に解像度に高めて最終的に正規の解像度における相関分布を取得しても良い。
また、被探索画像の全画素についてマッチングを行うと処理量が増大化するので、例えば、被探索画像データ及びテンプレート画像データの解像度を低くしてマッチングを行い、所定の閾値以上の相関値が得られるエリアの絞り込みを行い、徐々に解像度に高めて最終的に正規の解像度における相関分布を取得しても良い。
(最大相関値比較部)
図5(A)は被探索画像の対象図形が理想的な状態、図5(B)は対象図形が10%小さい場合、図5(C)は対象図形が10%大きい場合、図5(D)対象図形に濃度ムラが生じている場合、図5(E)は対象図形にノイズが入った場合を示し、図6のT1〜T5の線図はそれぞれ図5(A)〜図5(E)における検出相関分布を示している。また、図7は相関分布の一例に対する各種のパラメータを図示した説明図である。
最大相関値比較部23は、相関値バッファ43に格納された各相関分布のデータから、標準相関分布と検出相関分布のそれぞれにおける最大相関値Cmを算出し、互いに比較を行う。そして、比較した結果、検出相関分布の最大相関値Cmが標準相関分布の最大相関値Cmに対して所定の比率以下となる場合には、例えば、テンプレート画像の選択に誤りがある、或いは位置決めマークが撮像されていない等、位置検出が不可能であるものとして、パターンマッチングの処理をそれ以上継続せずに終了させる処理を行う。
検出相関分布のそれぞれにおける最大相関値Cmのみで上記判定を行うと、標準相関分布の最大相関値Cmによっては、その信頼度が異なるため、標準相関分布と検出相関分布のそれぞれにの最大相関値Cmを比較することでその信頼度を高めている。
なお、上記処理を終了させる比率の閾値は、操作パネル15から設定可能となっている。
図5(A)は被探索画像の対象図形が理想的な状態、図5(B)は対象図形が10%小さい場合、図5(C)は対象図形が10%大きい場合、図5(D)対象図形に濃度ムラが生じている場合、図5(E)は対象図形にノイズが入った場合を示し、図6のT1〜T5の線図はそれぞれ図5(A)〜図5(E)における検出相関分布を示している。また、図7は相関分布の一例に対する各種のパラメータを図示した説明図である。
最大相関値比較部23は、相関値バッファ43に格納された各相関分布のデータから、標準相関分布と検出相関分布のそれぞれにおける最大相関値Cmを算出し、互いに比較を行う。そして、比較した結果、検出相関分布の最大相関値Cmが標準相関分布の最大相関値Cmに対して所定の比率以下となる場合には、例えば、テンプレート画像の選択に誤りがある、或いは位置決めマークが撮像されていない等、位置検出が不可能であるものとして、パターンマッチングの処理をそれ以上継続せずに終了させる処理を行う。
検出相関分布のそれぞれにおける最大相関値Cmのみで上記判定を行うと、標準相関分布の最大相関値Cmによっては、その信頼度が異なるため、標準相関分布と検出相関分布のそれぞれにの最大相関値Cmを比較することでその信頼度を高めている。
なお、上記処理を終了させる比率の閾値は、操作パネル15から設定可能となっている。
(尖度算出部)
尖度算出部24では、標準相関分布と検出相関分布のそれぞれにおける尖度Kwを算出し、互いに比較を行う。
相関分布は、最大相関値を示す位置(X座標位置、最大相関位置とする)において、図7に示すように、上方に凸となる山なりの形状となり、尖度は、最大相関位置の突出形状の度合いを示している。即ち、尖度が大きくなるとピークが鋭くなり、尖度が小さくなるとピークが平坦となる(図6の区間A参照)。
尖度Kwは、nをX軸方向の画素数とし、図7に示すように、x1からxnの区間においてxiの相関値をfiとした場合、次式(1)により算出される。
但し、Fは相関総和(式(2)参照)、μは分布平均(式(3)参照)、σは標準偏差を示す(式(4)参照)。
尖度算出部24では、標準相関分布と検出相関分布のそれぞれにおける尖度Kwを算出し、互いに比較を行う。
相関分布は、最大相関値を示す位置(X座標位置、最大相関位置とする)において、図7に示すように、上方に凸となる山なりの形状となり、尖度は、最大相関位置の突出形状の度合いを示している。即ち、尖度が大きくなるとピークが鋭くなり、尖度が小さくなるとピークが平坦となる(図6の区間A参照)。
尖度Kwは、nをX軸方向の画素数とし、図7に示すように、x1からxnの区間においてxiの相関値をfiとした場合、次式(1)により算出される。
被探索画像データ中の位置決めマークMにサイズ変動(テンプレート画像の位置決めマークMとのサイズの不一致)が生じている場合、検出相関分布の尖度は小さくなり、サイズ変動が正負いずれの場合でもその変動率が大きくなるほど検出相関分布の尖度は小さくなる傾向にある。
例えば、標準相関分布の尖度を1.0として、例えば、図5(A)のように理想形状における検出相関分布の尖度は1.0となるが、サイズ変動が-10%(図5(B))又は+10%(図5(C))の場合の尖度は共に0.89となり、サイズの誤差(10%)と同程度に尖度の値が小さくなる。一方、濃度ムラ(図5(D))を生じている検出相関分布の尖度は0.99、ノイズ(図5(E))を生じている検出相関分布の尖度は1.01となり、尖度への影響は大きくない。つまり、検出相関分布の尖度の比率の低下を監視することで、被探索画像データ中の位置決めマークMのサイズ変動の発生を判断することができる。
例えば、標準相関分布の尖度を1.0として、例えば、図5(A)のように理想形状における検出相関分布の尖度は1.0となるが、サイズ変動が-10%(図5(B))又は+10%(図5(C))の場合の尖度は共に0.89となり、サイズの誤差(10%)と同程度に尖度の値が小さくなる。一方、濃度ムラ(図5(D))を生じている検出相関分布の尖度は0.99、ノイズ(図5(E))を生じている検出相関分布の尖度は1.01となり、尖度への影響は大きくない。つまり、検出相関分布の尖度の比率の低下を監視することで、被探索画像データ中の位置決めマークMのサイズ変動の発生を判断することができる。
(マッチング位置判定部)
マッチング位置判定部25は、尖度算出部24で算出された標準相関分布の尖度に対する検出相関分布の尖度の尖度比率に応じて、検出相関分布の最大相関位置をX軸方向における画像マッチング位置とする第一の判定方法と、検出相関分布の頂上部(凸となる相関分布の上部であって、最大相関位置を含み、その相関値が所定値以上の変動を生じない平坦な領域)の加重平均位置を画像マッチング位置とする第二の判定方法のいずれを採用するかを決定する処理を行う。
即ち、マッチング位置判定部25は、予め設定された尖度比率を閾値として、閾値を上回る場合には第一の判定方法を選択し、閾値以下の場合には第二の判定方法を選択する。
そして、選択された判定方法に基づいてX座標及びY座標のマッチング位置を求め、基板上の位置決めマークMの位置座標を算出する。さらに、基板に複数の位置決めマークMが存在する場合には、全ての位置決めマークMの位置座標を求め、これらにより基板Bの正確な位置及び向きを算出し、電子部品搭載時のヘッド106の位置決め制御における位置補正値のテーブルを作成し、記憶装置60に登録する。
マッチング位置判定部25は、尖度算出部24で算出された標準相関分布の尖度に対する検出相関分布の尖度の尖度比率に応じて、検出相関分布の最大相関位置をX軸方向における画像マッチング位置とする第一の判定方法と、検出相関分布の頂上部(凸となる相関分布の上部であって、最大相関位置を含み、その相関値が所定値以上の変動を生じない平坦な領域)の加重平均位置を画像マッチング位置とする第二の判定方法のいずれを採用するかを決定する処理を行う。
即ち、マッチング位置判定部25は、予め設定された尖度比率を閾値として、閾値を上回る場合には第一の判定方法を選択し、閾値以下の場合には第二の判定方法を選択する。
そして、選択された判定方法に基づいてX座標及びY座標のマッチング位置を求め、基板上の位置決めマークMの位置座標を算出する。さらに、基板に複数の位置決めマークMが存在する場合には、全ての位置決めマークMの位置座標を求め、これらにより基板Bの正確な位置及び向きを算出し、電子部品搭載時のヘッド106の位置決め制御における位置補正値のテーブルを作成し、記憶装置60に登録する。
上記尖度比率の閾値は、操作パネル15から数値(%)の入力により設定されるようになっている。また、尖度比率は、検出相関分布の平坦となる区間Aの幅と対応関係があるので、相関分布算出部22による標準相関分布の算出の際に、画像メモリに格納されるテンプレート画像データ又は基準画像データのサイズを微小単位で変動させることでサイズ変動による標準相関分布の区間Aの幅を画素単位で計測すると共に各サイズでの尖度を求め、平坦区間Aの幅(画素数)と尖度比率との対応関係を示すテーブルを作成し、記憶装置60に登録しても良い。平坦区間Aの幅は、位置決めマークMの位置決めにおける誤差の大きさに直接関係するため、尖度比率の閾値として、許容される平坦区間Aの幅を入力することにより、上記テーブルを参照して適切な閾値読み出して設定するようにしても良い。
(前後区間直線近似部)
前後区間直線近似部26は、標準相関分布と検出相関分布の各々について、最大相関位置を境界とする前後の区間で直線近似を行い、前後それぞれの近似直線の傾きSa,Sb(いずれも絶対値)及び前後区間の近似直線の水平成分長(分布方向成分の長さ)を算出する。
例えば、図6の相関分布T1〜T3のように、理想形状或いはサイズ変動のみが生じている場合には相関分布は最大相関位置の左右の区間で傾きが対称となり、左右の区間の水平成分長も等しくなるが、相関分布T4,T5のように、X軸方向の片側に画像の濃度ムラやノイズが存在する場合には、左右の区間で傾きが非対称となり、左右の区間の水平成分長も等しくならない。
従って、標準相関分布の左右の区間の傾きの絶対値と検出相関分布の左右の傾きの絶対値とを左右の区間ごとに比較したり、標準相関分布の左右の区間の近似直線の水平成分長と検出相関分布の左右の区間の水平成分長とを左右の区間ごとに比較したりすることで、被探索画像データ中の濃度ムラやノイズの存在を推定することができる。
前後区間直線近似部26は、標準相関分布と検出相関分布の各々について、最大相関位置を境界とする前後の区間で直線近似を行い、前後それぞれの近似直線の傾きSa,Sb(いずれも絶対値)及び前後区間の近似直線の水平成分長(分布方向成分の長さ)を算出する。
例えば、図6の相関分布T1〜T3のように、理想形状或いはサイズ変動のみが生じている場合には相関分布は最大相関位置の左右の区間で傾きが対称となり、左右の区間の水平成分長も等しくなるが、相関分布T4,T5のように、X軸方向の片側に画像の濃度ムラやノイズが存在する場合には、左右の区間で傾きが非対称となり、左右の区間の水平成分長も等しくならない。
従って、標準相関分布の左右の区間の傾きの絶対値と検出相関分布の左右の傾きの絶対値とを左右の区間ごとに比較したり、標準相関分布の左右の区間の近似直線の水平成分長と検出相関分布の左右の区間の水平成分長とを左右の区間ごとに比較したりすることで、被探索画像データ中の濃度ムラやノイズの存在を推定することができる。
(リトライ部)
リトライ部27では、前後区間直線近似部26により求められた、標準相関分布の傾きSa,Sb及び水平成分長と検出相関分布の傾きSa,Sb及び水平成分長とを比較し、その比較結果に応じて、テンプレート画像データメモリ42内のテンプレート画像データに補正を加えて検出相関分布の形成の再度実行する。
図8(A)〜(E)は、標準相関分布の前後区間の近似直線に対して検出相関分布の前後区間の近似直線が採り得る各種のパターンを示す説明図である。
このリトライ部27では、前後区間直線近似部26により求められた標準相関分布の近似直線Thを基準に所定の許容範囲H(着色領域)を予め設定し、前後それぞれの区間について検出相関分布の近似直線Tkの前後区間の傾きSa,Sbや水平成分長が許容範囲に収まるか否かによりリトライの実行の有無を決定する。
リトライ部27では、前後区間直線近似部26により求められた、標準相関分布の傾きSa,Sb及び水平成分長と検出相関分布の傾きSa,Sb及び水平成分長とを比較し、その比較結果に応じて、テンプレート画像データメモリ42内のテンプレート画像データに補正を加えて検出相関分布の形成の再度実行する。
図8(A)〜(E)は、標準相関分布の前後区間の近似直線に対して検出相関分布の前後区間の近似直線が採り得る各種のパターンを示す説明図である。
このリトライ部27では、前後区間直線近似部26により求められた標準相関分布の近似直線Thを基準に所定の許容範囲H(着色領域)を予め設定し、前後それぞれの区間について検出相関分布の近似直線Tkの前後区間の傾きSa,Sbや水平成分長が許容範囲に収まるか否かによりリトライの実行の有無を決定する。
リトライ部27によるリトライの実行の判定は、マッチング位置判定部25により最大相関位置を画像マッチング位置とする第一の判定方法が選択された後に実行される。即ち、リトライ部27では、標準相関分布を基準とした許容範囲内に検出相関分布の前後区間の傾きSa,Sb及び水平成分長が収まる場合には、マッチング位置判定部25の選択に従って検出相関分布の最大相関位置を画像マッチング位置と決定する。
一方、図8(A)のように検出相関分布の前後の区間の両方の近似直線Tkについて許容範囲Hの内側に逸脱する場合や図8(B)のようにいずれも外側に逸脱する場合の発生頻度は小さいので、これらの発生は想定しない。
また、図8(C)のように、前後の一方の区間の近似直線Tkが内側に逸脱し、他方の区間の近似直線Tkが外側に逸脱する場合には、相関値の分布方向について一様に濃度ムラを生じている状態を示す。この場合、リトライで対処できないので、かかる状態の発生も想定しない。
さらに、図8(D)のように、前後の一方の区間の近似直線Tkが許容範囲H内となり、他方の区間の近似直線Tkが許容範囲Hの内側に逸脱する場合には、図形における当該逸脱を生じた区間側がノイズにより欠けていると考えられる。また、図8(E)のように、前後の一方の区間の近似直線Tkが許容範囲H内となり、他方の区間の近似直線Tkが許容範囲Hの外側に逸脱する場合には、図形における当該逸脱を生じた区間側がノイズにより膨張していると考えられる。
これらの場合のように、ノイズの影響を生じている区間が前後いずれか判明する場合には、ノイズの影響を生じている区間についてテンプレート画像に無効領域Nを設定し(図9)、再度相関分布算出を行えば、ノイズの影響を受けない検出相関分布の形成が可能となる。なお、この無効領域Nはハッチングで図示しているが、実際には何もない状態(例えば、輝度が0)となっている。無効領域Nは、位置決めマークMの半分に満たない範囲でX軸方向一端部寄りの部分を占めるように設定される。
一方、図8(A)のように検出相関分布の前後の区間の両方の近似直線Tkについて許容範囲Hの内側に逸脱する場合や図8(B)のようにいずれも外側に逸脱する場合の発生頻度は小さいので、これらの発生は想定しない。
また、図8(C)のように、前後の一方の区間の近似直線Tkが内側に逸脱し、他方の区間の近似直線Tkが外側に逸脱する場合には、相関値の分布方向について一様に濃度ムラを生じている状態を示す。この場合、リトライで対処できないので、かかる状態の発生も想定しない。
さらに、図8(D)のように、前後の一方の区間の近似直線Tkが許容範囲H内となり、他方の区間の近似直線Tkが許容範囲Hの内側に逸脱する場合には、図形における当該逸脱を生じた区間側がノイズにより欠けていると考えられる。また、図8(E)のように、前後の一方の区間の近似直線Tkが許容範囲H内となり、他方の区間の近似直線Tkが許容範囲Hの外側に逸脱する場合には、図形における当該逸脱を生じた区間側がノイズにより膨張していると考えられる。
これらの場合のように、ノイズの影響を生じている区間が前後いずれか判明する場合には、ノイズの影響を生じている区間についてテンプレート画像に無効領域Nを設定し(図9)、再度相関分布算出を行えば、ノイズの影響を受けない検出相関分布の形成が可能となる。なお、この無効領域Nはハッチングで図示しているが、実際には何もない状態(例えば、輝度が0)となっている。無効領域Nは、位置決めマークMの半分に満たない範囲でX軸方向一端部寄りの部分を占めるように設定される。
ここで、許容範囲Hの設定方法であるが、許容範囲の幅B(図8(A)参照)が位置検出精度の誤差に直接関係する大きさであるので、例えば、許容誤差を画素数2n個分の幅以内とする場合には、標準相関分布の前後の区間の近似直線Thに対し図示の位置で±nずつオフセットした上限直線と下限直線を求めればよい。このnの大きさによって許容範囲を画素数で設定することができる。
(相関分布特徴登録部)
相関分布特徴登録部28は、標準相関分布における相関分布特徴(最大相関値、尖度、最大相関位置の前後の区間の近似直線の傾きSa,Sb及び前後の区間の水平方向成分長さ)が求まると、登録IDと共にテンプレート画像管理データとして記憶装置60に記憶する処理を行う。
相関分布特徴登録部28は、標準相関分布における相関分布特徴(最大相関値、尖度、最大相関位置の前後の区間の近似直線の傾きSa,Sb及び前後の区間の水平方向成分長さ)が求まると、登録IDと共にテンプレート画像管理データとして記憶装置60に記憶する処理を行う。
(実装動作制御部)
実装動作制御部29は、予め記憶装置60に用意された基板の電子部品実装位置を示した実装データを読み込んで、X軸モータ109及びY軸モータ110を制御して、予定された基板の各実装位置に順番にヘッド106の吸着ノズル105を位置決めして、電子部品の搭載動作制御を実行する。かかるヘッド106の位置決めの際には、基板の位置決めマークMの位置検出に基づく補正テーブルを参照し、基板の位置及び向きの応じた位置補正を行いつつ実装動作制御を実行する。
実装動作制御部29は、予め記憶装置60に用意された基板の電子部品実装位置を示した実装データを読み込んで、X軸モータ109及びY軸モータ110を制御して、予定された基板の各実装位置に順番にヘッド106の吸着ノズル105を位置決めして、電子部品の搭載動作制御を実行する。かかるヘッド106の位置決めの際には、基板の位置決めマークMの位置検出に基づく補正テーブルを参照し、基板の位置及び向きの応じた位置補正を行いつつ実装動作制御を実行する。
(動作制御手段による位置決め条件設定工程の処理)
かかる位置決め条件設定工程は、標準相関分布及び相関分布特徴を得るための設定処理であり、電子部品の搭載作業の実行前に行われる。位置決め条件設定工程は、既存の位置決めマークMの形状データを選択してテンプレート画像データを取得する場合(第一の位置決め条件設定工程とする)と実際に位置決めマークMを撮像して既存の位置決めマークMの形状データを特定してテンプレート画像データを取得する場合(第二の位置決め条件設定工程とする)とがあり、まず、第一の位置決め条件設定工程から説明する。
かかる位置決め条件設定工程は、標準相関分布及び相関分布特徴を得るための設定処理であり、電子部品の搭載作業の実行前に行われる。位置決め条件設定工程は、既存の位置決めマークMの形状データを選択してテンプレート画像データを取得する場合(第一の位置決め条件設定工程とする)と実際に位置決めマークMを撮像して既存の位置決めマークMの形状データを特定してテンプレート画像データを取得する場合(第二の位置決め条件設定工程とする)とがあり、まず、第一の位置決め条件設定工程から説明する。
図10に示すように、第一の位置決め条件設定工程では、操作パネル15を用いてユーザーから位置決めマークMの形状種別とサイズの入力が行われると、テンプレート画像設定部21は、記憶装置60から指定形状の形状データを読み込んで指定サイズに変換してテンプレート画像データを生成し、画像メモリ41及びテンプレート画像メモリ42に記憶する(ステップS11)。
次いで、相関分布算出部22により、テンプレート画像データ同士によるテンプレートマッチング処理が行われ、標準相関分布が生成されて相関値バッファ43に格納される(ステップS12)。
次に、最大相関値比較部23により標準相関分布の最大相関値が求められ、尖度算出部24により標準相関分布の尖度が求められ、前後区間直線近似部26により標準相関分布の最大相関位置の前後区間の近似直線の傾きSa,Sb及び前後区間の近似直線の水平成分長が求められる(ステップS13)。
そして、相関分布特徴登録部28により、求められた標準相関分布の最大相関値、尖度、傾きSa,Sb及び水平成分長からなる相関分布特徴は、テンプレート画像の位置決めマークMの形状種別及びサイズと共に登録IDが付されて記憶部60にテンプレート画像管理データとして登録される(ステップS14)。
次いで、相関分布算出部22により、テンプレート画像データ同士によるテンプレートマッチング処理が行われ、標準相関分布が生成されて相関値バッファ43に格納される(ステップS12)。
次に、最大相関値比較部23により標準相関分布の最大相関値が求められ、尖度算出部24により標準相関分布の尖度が求められ、前後区間直線近似部26により標準相関分布の最大相関位置の前後区間の近似直線の傾きSa,Sb及び前後区間の近似直線の水平成分長が求められる(ステップS13)。
そして、相関分布特徴登録部28により、求められた標準相関分布の最大相関値、尖度、傾きSa,Sb及び水平成分長からなる相関分布特徴は、テンプレート画像の位置決めマークMの形状種別及びサイズと共に登録IDが付されて記憶部60にテンプレート画像管理データとして登録される(ステップS14)。
第二の位置決め条件設定工程では、図11に示すように、テンプレート画像設定部21により、基準の対象画像として位置決めマークMの撮像が行われ(ステップS21)、その撮像画像データを画像メモリ41に格納すると共に位置決めマークMのサイズを計測し(ステップS22)、既存の形状データの中から形状が一致するものを特定し(ステップS23)、計測したサイズに変換する。これにより求められたテンプレート画像データをテンプレート画像メモリ42に記録する(ステップS24)。
次いで、相関分布算出部22により、基準画像データとテンプレート画像データとによるテンプレートマッチング処理が行われて標準相関分布が生成される(ステップS25)。さらに、標準相関分布の最大相関値と尖度と前後区間の近似直線の傾きSa,Sb及び前後区間の近似直線の水平成分長が求められる(ステップS26)。
そして、これらの相関分布特徴は、位置決めマークMの形状種別及びサイズと共に登録IDが付されて記憶部60に登録される(ステップS27)。
次いで、相関分布算出部22により、基準画像データとテンプレート画像データとによるテンプレートマッチング処理が行われて標準相関分布が生成される(ステップS25)。さらに、標準相関分布の最大相関値と尖度と前後区間の近似直線の傾きSa,Sb及び前後区間の近似直線の水平成分長が求められる(ステップS26)。
そして、これらの相関分布特徴は、位置決めマークMの形状種別及びサイズと共に登録IDが付されて記憶部60に登録される(ステップS27)。
(動作制御手段による形状位置決め工程の処理)
かかる形状位置決め工程は、電子部品の実装作業において、基板の正確な位置及び向きを取得するために、搭載作業部104に供給された基板の位置決めマークの位置検出を行うための処理である。
形状位置決め工程は、図12に示すように、テンプレート画像設定部21により、被探索画像として基板上の位置決めマークMの撮像が行われ、その撮像画像データを画像メモリ41に格納する(ステップS31)。
次いで、操作パネル15からテンプレート画像データの登録IDが指定され、該当するテンプレート画像管理データが読み出される(ステップS32)。そして、テンプレート画像データがテンプレート画像データメモリ42に記録される(ステップS33)。
次いで、相関分布算出部22により、撮像画像データとテンプレート画像データとによるテンプレートマッチング処理が行われ、検出相関分布が生成されて相関値バッファ43に格納される(ステップS34)。
次に、最大相関値比較部23により検出相関分布の最大相関値が求められ、尖度算出部24により検出相関分布の尖度が求められ、前後区間直線近似部26により検出相関分布の最大相関位置の前後区間の近似直線の傾きSa,Sb及び前後区間の近似直線の水平成分長が求められる(ステップS35)。
次いで、標準相関分布と検出相関分布のそれぞれの相関分布特徴の比較が行われ(ステップS36)、マッチング位置判定部25により、最大相関位置を画像マッチング位置とする第一の判定方法と、検出相関分布の頂上部の加重平均位置を画像マッチング位置とする第二の判定方法のいずれを採用するかが決定される(ステップS37)。これにより、基板の位置決めマークの中心位置が正確に求められる(ステップS38)。
かかる形状位置決め工程は、電子部品の実装作業において、基板の正確な位置及び向きを取得するために、搭載作業部104に供給された基板の位置決めマークの位置検出を行うための処理である。
形状位置決め工程は、図12に示すように、テンプレート画像設定部21により、被探索画像として基板上の位置決めマークMの撮像が行われ、その撮像画像データを画像メモリ41に格納する(ステップS31)。
次いで、操作パネル15からテンプレート画像データの登録IDが指定され、該当するテンプレート画像管理データが読み出される(ステップS32)。そして、テンプレート画像データがテンプレート画像データメモリ42に記録される(ステップS33)。
次いで、相関分布算出部22により、撮像画像データとテンプレート画像データとによるテンプレートマッチング処理が行われ、検出相関分布が生成されて相関値バッファ43に格納される(ステップS34)。
次に、最大相関値比較部23により検出相関分布の最大相関値が求められ、尖度算出部24により検出相関分布の尖度が求められ、前後区間直線近似部26により検出相関分布の最大相関位置の前後区間の近似直線の傾きSa,Sb及び前後区間の近似直線の水平成分長が求められる(ステップS35)。
次いで、標準相関分布と検出相関分布のそれぞれの相関分布特徴の比較が行われ(ステップS36)、マッチング位置判定部25により、最大相関位置を画像マッチング位置とする第一の判定方法と、検出相関分布の頂上部の加重平均位置を画像マッチング位置とする第二の判定方法のいずれを採用するかが決定される(ステップS37)。これにより、基板の位置決めマークの中心位置が正確に求められる(ステップS38)。
図13は形状位置決め工程におけるステップS36〜S38までの処理をより詳細に示したものである。これにより形状位置決め工程の処理をさらに説明する。
相関分布特徴の比較では、まず、最大相関値比較部23により、標準相関分布と検出相関分布の最大相関値の比較が行われる(ステップS51)。つまり、標準相関分布の最大相関値に対する検出相関分布の最大相関値の比率が所定の閾値より大きいか判定が行われ、これに満たない場合には、位置決めマークの形状選択そのものに誤りがある、或いは位置決めマークが撮像されていない等、位置検出の継続ができないほどの問題が生じているものとして、形状位置決め処理を終了する。このとき、報知手段を設けてエラーの報知などを行っても良い。
相関分布特徴の比較では、まず、最大相関値比較部23により、標準相関分布と検出相関分布の最大相関値の比較が行われる(ステップS51)。つまり、標準相関分布の最大相関値に対する検出相関分布の最大相関値の比率が所定の閾値より大きいか判定が行われ、これに満たない場合には、位置決めマークの形状選択そのものに誤りがある、或いは位置決めマークが撮像されていない等、位置検出の継続ができないほどの問題が生じているものとして、形状位置決め処理を終了する。このとき、報知手段を設けてエラーの報知などを行っても良い。
また、最大相関値の比率が所定の閾値より大きいと判定された場合には、マッチング位置判定部25により、標準相関分布の尖度に対する検出相関分布の尖度の尖度比率が求められ(ステップS52)、閾値以下の場合には被探索画像データの位置決めマークにサイズ変動が生じているものとして加重平均位置をマッチングの中心位置とする第二の判定方法が選択される(ステップS53)。これにより、位置決めマークの中心位置が求められ、処理を終了する。
また、尖度比率が閾値を上回る場合には、リトライ部27により、それぞれの相関分布の前後区間の傾きSa,Sb及び水平成分長を比較してノイズ等の発生の判定が行われる(ステップS54)。その結果、ノイズ等が無しと判定されれば、マッチング位置判定部25による判定に従って最大相関位置をマッチング位置の中心とする第一の判定方法が選択され(ステップS55)、位置決めマークの中心位置が求められ、処理を終了する。
また、ノイズ等の発生ありと判定された場合には、そのノイズパターンがリトライ可能なものか(例えば図8(D)又は(E)のパターン)さらに判定を行い(ステップS56)、リトライ可能なパターンではない場合(例えば図8(A)〜(C)のパターン)には、ステップS55に処理を進め、リトライ可能であれば、リトライ部27はノイズ発生位置に無効領域Nが設定されたテンプレート画像データを用意し(ステップS57)、再度、検出相関分布の形成を行う(ステップS58)。そして、新たな検出相関分布によりステップS52から処理を再開する。
(発明の実施の形態の効果)
電子部品搭載装置100は、その動作制御手段10の尖度算出部24及びマッチング位置判定部25により、被探索画像の相関分布と標準相関分布の各々について尖度を求め、これらを比較するので、被探索画像である位置決めマークMに撮像によるサイズ変動が生じているか否かをその尖度から判断することができる。このため、サイズ変動ありと判断される場合には、当該サイズ変動に適した相関分布の加重平均位置を画像一致位置とする第二の判定方法を選択することができ、サイズ変動が生じていない場合には、最大相関位置を画像一致位置とする特定方法を選択することができる。従って、サイズ変動の発生の有無にかかわらず適切な画像一致位置を求めることができ、被探索画像の位置を安定して精度良く検出することが可能となる。
電子部品搭載装置100は、その動作制御手段10の尖度算出部24及びマッチング位置判定部25により、被探索画像の相関分布と標準相関分布の各々について尖度を求め、これらを比較するので、被探索画像である位置決めマークMに撮像によるサイズ変動が生じているか否かをその尖度から判断することができる。このため、サイズ変動ありと判断される場合には、当該サイズ変動に適した相関分布の加重平均位置を画像一致位置とする第二の判定方法を選択することができ、サイズ変動が生じていない場合には、最大相関位置を画像一致位置とする特定方法を選択することができる。従って、サイズ変動の発生の有無にかかわらず適切な画像一致位置を求めることができ、被探索画像の位置を安定して精度良く検出することが可能となる。
また、動作制御手段10は、前後区間直線近似部26及びリトライ部27により、標準相関分布と検出相関分布の各々について、最大相関位置の前後の区間の近似直線の傾き又はその水平成分長を求め、それらを標準相関分布と検出相関分布とで比較するので、撮像画像にノイズや画像の欠けが発生している場合にこれを推定することが可能となる。
さらに、ノイズ等が発生している場合には、その区間についてテンプレート画像にマッチングを行わない領域を設定して被探索画像の相関分布を再度形成するので画像の欠けやノイズの影響をなくした相関分布を得ることができ、被探索画像の位置をより安定して精度良く検出することが可能となる。
さらに、ノイズ等が発生している場合には、その区間についてテンプレート画像にマッチングを行わない領域を設定して被探索画像の相関分布を再度形成するので画像の欠けやノイズの影響をなくした相関分布を得ることができ、被探索画像の位置をより安定して精度良く検出することが可能となる。
また、動作制御手段10は、最大相関値比較部23により、標準相関分布と被探索画像の相関分布のそれぞれの最大相関値を比較し、その差が大きい場合には画像一致位置を求めずにパターン検索を終了するので、種々の要因により画像一致位置を検出することができないほどテンプレート画像と被探索画像とが異なる場合に、不正確な被探索画像の位置検出を回避することが可能となる。
10 動作制御手段(画像処理装置)
22 相関分布算出部
23 最大相関値比較部
24 尖度算出部
25 マッチング位置判定部
26 前後区間直線近似部
27 リトライ部
100 電子部品搭載装置
22 相関分布算出部
23 最大相関値比較部
24 尖度算出部
25 マッチング位置判定部
26 前後区間直線近似部
27 リトライ部
100 電子部品搭載装置
Claims (6)
- 基準の対象図形を含んだテンプレート画像のテンプレート画像データを探索対象となる対象図形を含んだ被探索画像の被探索画像データに対して所定の移動距離単位で相対的に直進移動させて当該移動方向に沿った各位置における互いの一致度を示す相関値からなる相関分布を求め、当該相関分布の特性から被探索パターンの位置検索を行うテンプレートマッチングを用いた画像処理方法において、
前記テンプレート画像に対して基準画像を前記所定の移動距離単位で相対的に直進移動させて理想的な標準相関分布を求め、
前記被探索画像の相関分布と前記標準相関分布の各々について尖度を求め、
前記標準相関分布の尖度と前記被探索画像の相関分布の尖度とを比較すると共に、当該各尖度の比較結果に応じて、前記被探索画像の最大相関値となる最大相関位置を前記画像移動方向における画像一致位置とするか、前記相関分布の頂上部の加重平均位置を画像一致位置とするかを判定することを特徴とする画像処理方法。 - 前記標準相関分布と前記被探索画像の相関分布の各々について、最大相関位置を境界とする前側の区間と後側の区間とで直線近似を行うと共に当該前後の区間の傾き又は前後の区間における近似直線の水平成分長を求め、
前記標準相関分布と前記被探索画像の相関分布の前記各区間ごとに、前記傾き又は水平成分長の比較を行った結果、予め定めた閾値以上の差がある区間について前記テンプレート画像にマッチングを行わない領域を設定して前記被探索画像の相関分布を再度形成することを特徴とする請求項1記載の画像処理方法。 - 前記標準相関分布における最大相関値と前記被探索画像の相関分布における最大相関値とを比較し、
前記比較を行った結果、予め定めた閾値以上の差がある場合に、画像一致位置を求めずにパターン検索を終了することを特徴とする請求項1又は2記載の画像処理方法。 - 基準の対象図形を含んだテンプレート画像のテンプレート画像データを探索対象となる対象図形を含んだ被探索画像の被探索画像データに対して所定の移動距離単位で相対的に直進移動させて当該移動方向に沿った各位置における互いの一致度を示す相関値からなる相関分布を求め、当該相関分布の特性から被探索パターンの位置検索を行うテンプレートマッチングを用いた画像処理装置において、
前記テンプレート画像に対して基準画像を前記所定の移動距離単位で相対的に直進移動させて理想的な標準相関分布を求める相関分布算出部と、
前記被探索画像の相関分布と前記標準相関分布の各々について尖度を求める尖度算出部と、
前記標準相関分布の尖度と前記被探索画像の相関分布の尖度とを比較すると共に、当該各尖度の比較結果に応じて、前記被探索画像の最大相関値となる最大相関位置を前記画像移動方向における画像一致位置とするか、前記相関分布の頂上部の加重平均位置を画像一致位置とするかを判定するマッチング位置判定部とを備えることを特徴とする画像処理装置。 - 前記標準相関分布と前記被探索画像の相関分布の各々について、最大相関位置を境界とする前後の区間で直線近似を行うと共に当該前後の区間の傾き又は前後の区間における近似直線の水平成分長を求める前後区間直線近似部と、
前記標準相関分布と前記被探索画像の相関分布の前記各区間ごとに、前記傾き又は水平成分長の比較を行った結果、予め定めた閾値以上の差がある区間について前記テンプレート画像にマッチングを行わない領域を設定して前記被探索画像の相関分布を再度形成するリトライ部とを備えることを特徴とする請求項4記載の画像処理装置。 - 前記標準相関分布における最大相関値と前記被探索画像の相関分布における最大相関値とを比較する最大相関値比較部を備え、
前記比較を行った結果、予め定めた閾値以上の差がある場合に、画像一致位置を求めずにパターン検索を終了することを特徴とする請求項4又は5記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009136988A JP2010282536A (ja) | 2009-06-08 | 2009-06-08 | 画像処理方法及び画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009136988A JP2010282536A (ja) | 2009-06-08 | 2009-06-08 | 画像処理方法及び画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010282536A true JP2010282536A (ja) | 2010-12-16 |
Family
ID=43539187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009136988A Pending JP2010282536A (ja) | 2009-06-08 | 2009-06-08 | 画像処理方法及び画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010282536A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234488A (ja) * | 2011-05-09 | 2012-11-29 | Fuji Mach Mfg Co Ltd | 基準マークモデルテンプレート作成方法 |
US8890966B2 (en) | 2007-11-06 | 2014-11-18 | Sony Corporation | Automatic image-capturing apparatus, automatic image-capturing control method, image display system, image display method, display control apparatus, and display control method |
JP2017111011A (ja) * | 2015-12-16 | 2017-06-22 | キヤノン株式会社 | 位置検出方法、プログラム、位置検出装置、リソグラフィ装置、および物品の製造方法 |
-
2009
- 2009-06-08 JP JP2009136988A patent/JP2010282536A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8890966B2 (en) | 2007-11-06 | 2014-11-18 | Sony Corporation | Automatic image-capturing apparatus, automatic image-capturing control method, image display system, image display method, display control apparatus, and display control method |
JP2012234488A (ja) * | 2011-05-09 | 2012-11-29 | Fuji Mach Mfg Co Ltd | 基準マークモデルテンプレート作成方法 |
JP2017111011A (ja) * | 2015-12-16 | 2017-06-22 | キヤノン株式会社 | 位置検出方法、プログラム、位置検出装置、リソグラフィ装置、および物品の製造方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105472960B (zh) | 电子部件安装装置 | |
US20180070487A1 (en) | Component mounting device and component mounting method | |
JP6571163B2 (ja) | 認識装置 | |
JP6487327B2 (ja) | 実装検査装置 | |
CN107926154B (zh) | 元件安装装置 | |
JP2011211088A (ja) | 画像処理用部品データ作成方法及び画像処理用部品データ作成装置 | |
JP2010062204A (ja) | 電子部品実装装置の自動焦点調整方法 | |
JP5759271B2 (ja) | 電子部品実装装置 | |
JP6472873B2 (ja) | 部品検査機及び部品装着機 | |
JP2010282536A (ja) | 画像処理方法及び画像処理装置 | |
JP6648252B2 (ja) | 画像処理システム及び画像処理方法 | |
JP4324442B2 (ja) | 部品データ生成装置及び電子部品実装装置 | |
JP4701037B2 (ja) | 電子部品の画像取得方法及び装置 | |
WO2017126025A1 (ja) | 実装装置および撮像処理方法 | |
JP2017139388A (ja) | 実装装置 | |
JPWO2017081773A1 (ja) | 基板用の画像処理装置および画像処理方法 | |
JP4707607B2 (ja) | 部品認識データ作成用画像取得方法及び部品実装機 | |
JP6706695B2 (ja) | 座標データ生成装置及び座標データ生成方法 | |
JP2005353750A (ja) | 電子部品搭載装置の保守管理装置 | |
CN105592684B (zh) | 电子部件安装装置 | |
US7792655B2 (en) | System and method for scanning and obtaining points of an object | |
JP6517048B2 (ja) | 部品実装機 | |
JP5740082B2 (ja) | 複数の表面実装装置からなる基板生産ライン | |
JP4757701B2 (ja) | 電子部品の吸着位置補正方法及び装置 | |
JP5339884B2 (ja) | 撮像装置の焦点調整方法および焦点調整装置 |