JP2006113931A - 高精度マーク位置・姿勢検出装置 - Google Patents

Abstract

【課題】低解像度カメラによる画像に対しても少ない画像計測処理量により高精度のマーク姿勢、マーク位置を求める装置を提供すること。
【解決手段】上記課題を達成するため、本発明では、２組以上の方向の異なる平行な辺を有し、画面上での形状が既知であるマークについて、テレビカメラで撮影したマークの画像を画像処理して得られるマーク上の全平行辺上の計測点と全平行辺の既知の位置関係との誤差の２乗和が最小となるマークの姿勢を画素分解能以下の精度で求め、次にマークの位置を画素分解能以下の精度で求める。
【選択図】なし。

Description

本発明は、例えばプリント基板上に半導体の如き電子部品をロボットにより正確に載置したり、一つのＩＣパッケージに複数のＩＣチップをロボットで載置する場合の如く、部品の組み立て精度を向上するために部品にあらかじめ記入されたマークの位置・ 姿勢を正確に検出する高精度マーク位置・ 姿勢検出装置に関する。

従来、プリント基板上に電子部品を正確に載置するための位置合わせつまり部品アライメントのためにカメラを使用してマークを撮影しその画像を解析する画像計測を行っている。この画像計測では、部品の位置・ 姿勢の計測精度の向上のために、１５０万画素程度の高解像度カメラを用いるため、画像計測装置のコストが増大していた。

画像計測装置のコストを低減するためには、３１万画素程度の低解像度のカメラの画像に対して、画素分解能以下（サブピクセル）の精度での画像処理技術が不可欠である。

入力画像中から特定のマーク（パターン）を検出する方式としては、画像相関によるテンプレートマッチングが一般的である。これは、例えばＩＣ部品を載置されるプリント基板つまりワーク側に設けられたマークの画像をあらかじめテンプレートとして保持しておき、カメラで撮影した画像を走査して抽出したマーク部分とを比較するものである。この場合テンプレートとしてマークを例えば一度毎に回転させたもの、また大きさも例えば１％毎に変えたもの等を用意する。そしてマークより抽出したマーク画像と比較する。

このときマーク画像とテンプレートの各マークを比較して、一画素ずつ動かし差の最小のものを検索してワークの位置・ 姿勢を求める。

このため正確に位置・ 姿勢を求めるため、テンプレートマッチングでは長時間を必要とするため、近年では、ハードウェアによる高速処理も実現されている（例えば特許文献１参照）。

またテンプレートマッチングで得られる類似度分布より推定する手法がある（例えば特許文献２参照）。
特開平８−１４７４７７号公報 特開平７−１２０９４０号公報 このような手法でマークの概略位置を特定した後に、サブピクセル精度でのマーク位置計測を行う。

サブピクセル処理技術としては、従来では、テンプレートマッチングで得られる類似度つまり画像相関値の分布に対して曲面をあてはめ、ピーク位置をサブピクセルで推定する手法、ワークやマークの直線部分のエッジ上の点を、輝度変化の関数近似によりサブピクセルで計測し、それらの計測点に対して直線を当てはめることで推定するという方法が用いられている。

しかし画像相関値の分布のピーク位置を推定する方法では、画像のノイズの影響で、画像相関値の分布のピーク位置とマーク位置との間にずれが発生しやすいという問題点があり、十分な計測精度が得られないという課題がある。

またエッジ位置の計測・ 直線あてはめを行う方法でも、ワークやマークの既知形状を拘束条件として利用しない場合には、十分な計測精度が得られない点、ワークやマークの既知形状を拘束条件として利用する場合には、繰り返し計算等が必要となるために膨大な処理時間を要する点に課題があった。

精度のよい直線当てはめのためには、エッジ上の計測点を多く取ることが不可欠であるため、画像計測の処理量が多い点にも課題があった。

ワークの位置を決めるために必要な値は、パターンの２次元座標Ｘ−Ｙにおける中心の座標位置Ｘｍ、Ｙｍとそのパターンの傾き、つまり姿勢を示す回転角θである。

本発明では、例えば矩形の如き、４角形などの２組以上の方向の異なる平行な辺を有し、画面上での形状が既知であるマークをワークに設けこれについてカメラで撮影した画像を画像処理して得られるマーク上の全平行辺上の計測点と全平行辺の既知の位置関係との誤差の２乗和が最小となるようなマークの姿勢、つまり回転角θを求める。

次に、前記マークの各平行辺の組において、カメラで撮影マークの画像を画像処理して得られるマーク上の全平行辺上の計測点と平行辺の幅方向の位置誤差の２乗和が最小となるような平行辺の位置Ｘｍ、Ｙｍを、前記回転角θを使用して求める。

本発明によれば下記の如き効果が得られる。

（１）測定すべき辺の上の計測点の数は何点でもよく、測定し易い。またその順序とか間隔にはこだわらない。解析的にとけるので計算はかんたんに解ける。各辺の計測点の組み合わせの数だけサンプルがあるので、計測点の数が少なくとも最適解を求めることができ、精度が上がる。また回転角θが求められると、テンプレートをそれだけ回転することによりテンプレートマッチングが簡単にでき、画像処理上処理が容易になる。

（２）回転角θが求められていると、平行であること、幅の値がいくらという条件をあてはめ、幅を含めて拘束条件を使用できるので、計測精度を向上することができる。

本発明では、マークの形成されたワークをテレビカメラで撮影した画像を入力し、あらかじめ用意された、マークを複数の角度で回転及び拡大・縮小したテンプレートと、テンプレートマッチングにより、マークの概略位置を検出する。

これによりマークの略中心位置を検出して、所定の角度でマークのエッジ点を検出する。そして極座標変換によりエッジ点を計測する。

このようにして矩形の如き、４角形などの２組以上の異なる平行の辺をもつマークに対してマーク上の全平行辺上の計測点と全平行辺の既知の位置関係との誤差の２乗和が最小となるようなマークの姿勢θを画素分解能以下の精度で求める。

次に、前記２組以上の方向の異なる平行な辺をもつマークに対して、各平行辺の組において、平行辺上の計測点と平行辺の幅方向の位置誤差の２乗和が最小となる平行辺の位置を求めることで、マークの位置を画素分解能以下の精度で求めることができる。

本発明の実施例を説明する前にマークの傾きと、マークの位置を求める手法について説明する。

図７に示す如く、ｘ軸とθの傾きを有する直線Ｌ₀ の原点からの垂線の長さをＤとすると、直線Ｌ₀ 上の各点は直線の方程式を示す下記の数１により得られる。

本発明では、例えば矩形、平行四辺形の如き４角形、十字形等の２組以上の方向の異なる平行な辺をもつマークに対して、マーク上の全平行辺上の既知の位置関係との誤差の２乗和が最小となるマークの姿勢、つまり回転角θを画素分解能以下の精度で求める。

図１に示す如く、マークＭの各辺をＬ₁ ，Ｌ₂ ，Ｌ₃ ，Ｌ₄ とし、Ｌ₁ とＬ₃ が平行であり、これと異なる方向にＬ₂ とＬ₄ が平行である。いまこれらの辺上の点の計測点をそれぞれＰ₁₁〜Ｐ_1i，Ｐ₂₁〜Ｐ_2j，Ｐ₃₁〜Ｐ_3k，Ｐ₄₁〜Ｐ_4lとする。なお各計測点Ｐ₁₁〜Ｐ_1i，Ｐ₂₁〜Ｐ_2j，Ｐ₃₁〜Ｐ_3k，Ｐ₄₁〜Ｐ_4lの座標をＰ₁₁（Ｘ₁₁、Ｙ₁₁）〜Ｐ_1i（Ｘ_{1 i} ，Ｙ_1i），Ｐ₂₁（Ｘ₂₁，Ｙ₂₁）〜Ｐ_2j（Ｘ_1j，Ｙ_2j），Ｐ₃₁（Ｘ₃₁，Ｙ₃₁）〜Ｐ_3k（Ｘ_{3 K} ，Ｙ_3k），Ｐ₄₁（Ｘ₄₁，Ｙ₄₁）〜Ｐ_4l（Ｘ_4l，Ｙ_4l）で示す。

また各辺Ｌ₁ ，Ｌ₂ ，Ｌ₃ ，Ｌ₄ と原点０との距離をそれぞれＤ₁ ，Ｄ₂ ，Ｄ₃ ，Ｄ₄ とする。そして平行辺の組のなす角をφ、マークＭの傾きをθとすると、各辺の計測点に対して以下の数２〜数５で示す拘束条件式が得られる。

マークＭの辺Ｌ₁ について

マークＭの辺Ｌ₂ については、Ｌ₁ をφだけ傾けたものであるから、

マークＭの辺Ｌ₃ については、Ｌ₁ を１８０度回転したものであるから、

マークＭの辺Ｌ₄ については、Ｌ₃ とφだけ傾けたものであるから、

以上の関係式と、マークＭの幅つまり平行線Ｌ₂ とＬ₄ の幅Ｗと、マークＭの高さつまり平行線Ｌ₁ とＬ₃ の幅Ｈが既知であり、下記の数６に示す関係から、

以下の条件式が得られる。

マークＭの幅Ｗについて、数７に示す如き条件式が得られる。

マークＭの高さＨについて

以上の条件式から、以下の数９が得られる。

従ってマークＭの姿勢θの最適推定値は、数１０で示す、以下の評価関数Ｊを最小にするθとして得られる。

このＪを最小にするθ^* については解析解が存在し、以下の数１１のように容易に解を得ることができる。

ただしＡ，Ｂは数１２に示す通りである。

次に、前記の如く、例えば矩形、平行四辺形の如き４角形、十字形などの２組以上の方向の異なる平行な辺をもつマークに対して、マークの姿勢つまり回転角θが得られた場合に、各平行辺の組において、平行辺上の計測点と平行辺の幅方向の位置誤差の２乗和が最小となる平行辺の位置を求めることで、マークの位置を画素分解能以下の精度で求める。

図２に示す如く、マークＭの各辺をＬ₁ ，Ｌ₂ ，Ｌ₃ ，Ｌ₄ とし、Ｌ₁ とＬ₃ が平行であり、これと異なる方向にＬ₂ とＬ₄ が平行である。いまこれらの辺上の点の計測点をそれぞれＰ₁₁〜Ｐ_1i，Ｐ₂₁〜Ｐ_2j，Ｐ₃₁〜Ｐ_3k，Ｐ₄₁〜Ｐ_4lとする。なお各計測点Ｐ₁₁〜Ｐ_1i，Ｐ₂₁〜Ｐ_2j，Ｐ₃₁〜Ｐ_3k，Ｐ₄₁〜Ｐ_4lの座標をＰ₁₁（Ｘ₁₁，Ｙ₁₁）〜Ｐ_1i（Ｘ_{1 i} ，Ｙ_1i），Ｐ₂₁（Ｘ₂₁，Ｙ₂₁）〜Ｐ_2j（Ｘ_1j，Ｙ_2j），Ｐ₃₁（Ｘ₃₁，Ｙ₃₁）〜Ｐ_3k（Ｘ_{3 K} ，Ｙ_3k），Ｐ₄₁（Ｘ₄₁，Ｙ₄₁）〜Ｐ_4l（Ｘ_4l，Ｙ_4l）で示す。

また各辺Ｌ₁ ，Ｌ₂ ，Ｌ₃ ，Ｌ₄ と原点０との距離をそれぞれＤ₁ ，Ｄ₂ ，Ｄ₃ ，Ｄ₄ とする。そして平行辺の組のなす角をφ、マークＭの傾きをθとすると、各辺の計測点に対して、前記数２〜数５で示す拘束条件式が得られる。

ここでマークＭの中心位置を（Ｘｍ、Ｙｍ）とすると、下記の数１３が得られる。

ここで、前記Ｕ，ＶはマークＭの中心位置の各平行辺の組の幅方向のずれ量であり、それぞれ下記の数１４で示される。

各平行辺の組において、平行辺上の計測点と平行辺の幅方向の位置誤差の２乗和が最小となる平行辺の位置を数１５により求める。

Ｕ，Ｖの最適推定値は以下の数１６、数１７に示すように得られる。

これにより、マークＭの中心位置の最適推定値（Ｘｍ^* ，Ｙｍ^* ）は以下の数１８により得られる。

これにより明らかなように、本発明においてマークの姿勢θを算出するには、前記数１１、数１２より明らかなように既知の値である平行辺の組の間の角度φと計測点の値だけで得られ、Ｄ₁ 〜Ｄ₄ を必要としない。

またマークの中心位置の最適推定値も、前記数１１、数１２によりθが得られると、これまたφと計測点の値だけで得ることができ、Ｄ₁ 〜Ｄ₄ を必要としない。

本発明の実施例を図３〜図６に基づき、他図を参照して説明する。

図３は本発明の一実施例構成図、図４は本発明の動作説明図、図５はテンプレートマッチングによるマーク概略位置探索説明図、図６はマーク画像の極座標展開によるエッジ位置計測説明図である。

図において、１はテレビカメラ、２は画像入力装置、３は画像処理計算機である。

テレビカメラ１は、プリント基板の如き部品が載置される部品載置体に形成されたマークを撮影して、この撮影した画像を画像入力装置２に送出するものである。

画像入力装置２は、このテレビカメラ１から入力されたマーク画像をデジタル化して、これを画像処理計算機３に送出するものである。

画像処理計算機３は、画像入力装置２より入力された画像信号に対し、エッジ検出、マーク検出、マーク姿勢の演算、マーク位置の演算等の画像処理を行うものであって、液晶の如き表示部３−１、演算部、記憶部、キーボードの如き入力部等を有する本体部３- ２を具備する。

本発明の動作を図４に示す動作状態説明フローチャートに基づき説明する。

Ｓ１．テレビカメラにてワークを撮影して得られたマーク画像を含むワーク画像を画像入力装置２に送出して、これをデジタル画像にＡ／Ｄ変換する。このＡ／Ｄ変換した画像処理計算機３の本体部３−２に送出する。

Ｓ２．画像処理計算機３の本体部３−２では、従来技術と同様にテンプレートマッチングによりマークＭの概略位置を検出するため、この画像を、図５に示す如く、横方向に探索する。このようにして画面内を探索して、予め記録しておいた複数の姿勢のマークＭのテンプレート画像ＴＰ₁ ，ＴＰ₂ ，ＴＰ₃ ・・・と、入力されたマークＭの画像との画像相関値、つまり類似度を計算し、もっとも相関値の高い位置のものを求めることで行う。この場合、テンプレート画像としてはあらかじめ記録していた複数の姿勢のもの、マークＭを例えば１度とか２度とか規定された角度回転した画像、１％とか、２％拡大縮小した画像を使用することができる。これによりマークＭの概略位置を検出し、次のエッジ点の計測を正確に行うことができる。

Ｓ３．次に、図６に示す如く、マークＭの概略位置を中心とする周辺のマークＭのエッジ部分の画像の極座標変換を行う。このためマークＭの概略画像の中心点０より、マークＭの各辺Ｌ₁ ，Ｌ₂ ，Ｌ₃ ，Ｌ₄ を検出するため、一定の角度θ毎にエッジ方向に探索を行い、その濃淡の変化よりエッジの計測を行う。マークＭの中心点０の概略位置がわかっており、マークＭの形状も既知のため、中心点０よりエッジ探索を行うとき、θの大きさにより検出される辺がＬ₁ 〜Ｌ₄ のうちいずれであるか判別できる。このようにして、図６に示す如く、エッジ計測が行われたとき、マークＭのエッジの位置と中心点０からの距離と角度θで極座標変換により表示することができる。そして本体部３−２では、更にこの極座標表示したものをＸ−Ｙ座標表示に変換する。このようにして、下記のエッジ位置が得られる。

Ｓ４．次に、前記辺Ｌ₁ 〜Ｌ₄ について得られた前記各計測点のデータにもとづき、本体部３−２は先ず前記数１２を演算してＡ，Ｂを得る。このとき、マークＭの幅Ｗ、高さＨ、平行辺の組の間の角度φは既知であるので、これらＡ，Ｂを演算することができる。それから本体部３−２は、これらＡ，Ｂを用いて、前記数１１を演算してマークＭの姿勢θの最適推定値を得ることができる。

Ｓ５．本体部３−２は、このようにマークＭの姿勢θを演算した後に、前記数１６、数１７、数１８によりマークＭの中心位置の最適推定値を演算することができる。

Ｓ６．それからこれらマークＭの姿勢θとマークＭの中心値（Ｘｍ，Ｙｍ）を出力する。

このように、本発明によれば、マークＭの姿勢を画像分解能以下の精度で求め、得られた姿勢情報をもとに、マークＭの位置を画像分解能以下の精度で求める。

本発明によれば、従来の輝度変化の関数近似を利用したサブピクセル計測よりも、マーク位置の計測精度が向上する。また収束計算などを用いないため、計算量が少なく、高速処理が可能である。特に従来の方式では直線当てはめを行うためにエッジ上の計測点を多く取ることが不可欠であり、画像計測の処理量が多い点にも課題があったが、本発明の場合には、各辺の計測点の組み合わせにより推定計算を行うために従来手法よりも少ない計測点でもよい推定値を得ることができる利点がある。

マークの傾き説明図である。 マークの位置説明図である。 本発明の一実施例構成図である。 本発明の動作説明図である。 テンプレートマッチングによるマーク概略位置探索説明図である。 マーク画像の極座標展開によるエッジ位置計測説明図である。 直線方程式の説明図である。

符号の説明

１ テレビカメラ
２ 画像入力装置
３ 画像処理計算機
３−１ 表示部
３−２ 本体部

Claims (2)

1. 部品が載置される部品載置体に形成された、２組以上の方向の異なる平行な辺を有し、画面上での形状が既知であるマークを撮影するカメラと、
   このカメラで撮影された画像が入力され、この入力データをアナログ・ ディジタル変換する画像入力手段と、
   この画像入力手段から出力された画像データを処理する画像処理計算機を備えたマーク位置・姿勢検出装置において、
   前記画像処理計算機には、
   画像データを保持する記憶手段と、この記憶手段の保持する画像データに対してマークの概略位置を検出する検出手段と、マークのエッジを検出するエッジ計測手段と、下記のマーク姿勢θを演算する第１演算手段を具備したことを特徴とするマーク位置・ 姿勢検出装置。
   

   

   Ｙ_1gはマークの第１辺上のＹ座標値、Ｙ_2eはマークの第２辺上のＹ座標値、
   Ｙ_3hはマークの第３辺上のＹ座標値、Ｙ_4fはマークの第４辺上のＹ座標値を示し、
   Ｘ_1gは前記Ｙ_1gのＸ座標値、Ｘ_2eは前記Ｙ_2eのＸ座標値、
   Ｘ_3hは前記Ｘ_3hのＸ座標値、Ｘ_4fは前記Ｙ_4fのＸ座標値を示し、
   φはマークにおける平行辺の組の間の角度を示し、
   Ｗはマークの幅、Ｈはマークの高さを示す。
2. 請求項１におけるマーク位置・ 姿勢検出装置において、下記のマーク中心位置Ｘｍ、Ｙｍを演算する第２演算手段を具備したことを特徴とするマーク位置・ 姿勢検出装置。
   

   

Images