JP2008294065A - 電子部品の実装方法及び装置 - Google Patents

Abstract

【課題】ノズルに保持された電子部品のアオリ角度を、生産中でも高精度に算出できるようにする。
【解決手段】搭載ヘッドに装着されているノズルに保持された電子部品を、ノズルに対向する位置に配置されている撮像手段により撮像し、撮像された画像に基づいて該部品の位置を補正して所定位置の基板上に搭載する電子部品の実装方法において、前記撮像手段により所定の２次元配置で電極端子が配設されている電子部品を撮像し（Ｓ１）、撮像された画像中の電極端子の配置位置に基づいて撮像素子面に対するアオリ角度を算出する（Ｓ２〜４）。
【選択図】図６

Description

本発明は、電子部品の実装方法、特にノズルに吸着保持した電子部品を画像認識して基板上に正確に搭載することができる電子部品の実装方法及び装置に関する。

電子部品実装装置において、搭載ヘッドに装着されている吸着ノズルに電子部品を吸着した後、所定位置の基板上に搭載する際、目標位置に正確に位置決めするために、ノズル先端に吸着保持された電子部品をカメラで撮像し、画像認識により該部品の位置ずれを補正することが行なわれている。

その際に補正する電子部品の位置ずれの一つにアオリ角度がある。電子部品についてアオリ角度とは、撮像カメラの素子面に垂直な軸（光学系の光軸）をＺ軸とし、該素子面と平行な平面状で互いにＺ軸と直角に交わる軸をＸＹ軸とする一般的な直交座標系を使用する場合を考えると、図１にイメージを示すように、該部品の平面とＸＹ平面とのなす角度のことであり、Ｘ軸、Ｙ軸それぞれに対する角度で表わすことができる。

電子部品実装装置では、撮像カメラの装置本体に対する組付け角度の精度、吸着ノズル先端の摩耗、電子部品の吸着ずれ等により、カメラの撮像素子面と電子部品の認識面（部品の裏面や端子面に相当する）が、図２に示すようにアオリ角度が生じて平行でない場合がある。

この状態のまま電子部品を撮像すると、該部品本来の正規の形状ではなく、例えば正方形（物体）を撮像しても台形になる等、斜影歪みのある画像となってしまうため、そのまま画像認識を行なうと画像上では電子部品の正確な中心や傾きが得られないことになる。そこで、アオリ角度を検出し、吸着されている電子部品の位置補正を行なうことが重要となる。

従来のアオリの検査技術としては、例えば特許文献１に検査対象の撮像素子の出力に基づいて、撮像素子の特性を検査する検査装置が開示されている。この検査装置は、撮像素子に光を照射する照明部と、光の照明光軸に対する撮像素子のアオリを判定した結果に応じて、撮像素子の姿勢制御を行なう撮像素子姿勢制御部を備えている。ここでは、撮像面に長方形投影パターンを照射した際の撮像素子による撮像パターンを取得し、撮像パターンと投影パターンとの差異からアオリを判定して、撮像パターンが投影パターンと相似形になるように撮像素子の姿勢制御を行なっている。その他のアオリの判定としても、形状情報を検出するセンサを用いたものや、撮像素子の出力信号の大きさや輝度分布の偏りに基づいて判定する方法が記載されている。

又、電子部品に関しては、部品の端を吸着したために部品姿勢が斜めになってしまう斜め吸着を検出する技術が特許文献２に開示されている。ここでは、電子部品を位置認識用カメラで撮像し、撮像された外形サイズで正常吸着か斜め吸着かを判定している。具体的には、生産動作前にシークラインを設定し、理想エッジ位置を予め記憶しておくと共に、生産動作中に電子部品を撮像した時にもシークラインと外形線の交点を測定エッジ位置として認識し、両者のエッジ位置のずれ量から正常吸着か斜め吸着かを判定している。又、シークライン上の画素濃度変化が急峻か緩慢であるかを見て、正常吸着か斜め吸着かを判定することも行なっている。

特開２００６−３４３１４３号公報 特開２００６−１１４８２１号公報

しかしながら、前記特許文献１に開示されている技術では、治具を使用してカメラの姿勢を把握していることから、そのためには生産を途中で止めて治具を用意しなくてはならず、従って生産中に容易にカメラ姿勢を把握することができないという問題があった。

又、特許文献２に開示されている技術では、電子部品の外形を利用して大雑把にアオリを検出しているが、電子部品の外径を利用しようとすると該部品には厚みがあるためアオリがあると部品の横部分が写り込み、エッジ部分がコントラスト良く撮像されない、又、エッジ部自体がなだらかなものも多いために、エッジ位置の検出精度が悪く、結果的に精度良くアオリ角度を求めることができないという問題がある。

本発明は、前記従来の問題点を解決するべくなされたもので、ノズルに保持された電子部品について、生産中でも高精度にアオリ角度を求め、該部品を補正して基板上に正確に搭載することができる電子部品の実装方法及び装置を提供することを課題とする。

本発明は、搭載ヘッドに装着されているノズルに保持された電子部品を、ノズルに対向する位置に配置されている撮像手段により撮像し、撮像された画像に基づいて該部品の位置を補正して所定位置の基板上に搭載する電子部品の実装方法において、前記撮像手段により所定の配置で電極端子が配設されている電子部品を撮像し、撮像された画像中の電極端子の配置位置に基づいて、撮像素子面に対する該電子部品のアオリ角度を算出することにより、前記課題を解決したものである。

本発明は、又、搭載ヘッドに装着されているノズルに保持された電子部品を、ノズルに対向する位置に配置されている撮像手段により撮像し、撮像された画像に基づいて該部品の位置を補正して所定位置の基板上に搭載する電子部品の実装装置において、前記撮像手段により所定の配置で電極端子が配設されている電子部品を撮像し、撮像された画像中の電極端子の配置位置に基づいて、撮像素子面に対する該電子部品のアオリ角度を算出する演算手段を備えたことにより、同様に前記課題を解決したものである。

本発明においては、前記電極端子が２次元配置されている場合、前記アオリ角度を、前記画像中の電極端子の配置位置を基準パターンとするＴsai手法により算出するようにしてもよい。又、前記電極端子が１次元配置されている場合、前記アオリ角度を、前記画像中の電極端子の両端ピッチの比率に基づいて算出するようにしてもよい。

本発明によれば、所定の配置で電極端子が配設されている電子部品を撮像手段で撮像し、撮像された画像中の電極端子の配置位置に基づいて撮像素子面に対するアオリ角度を算出するようにしたので、特別な治具を用意することなく、生産動作中でもリアルタイムに該部品のアオリ角度を算出することが可能となり、該アオリ角度に基づいて部品の姿勢を補正することにより、基板上に正確に搭載することが可能となる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

図３には、本発明に係る第１実施形態の電子部品実装装置の要部を模式的に示す。

本実施形態の電子部品実装装置において、ＸＹ方向に移動可能な部品搭載ヘッド１０は、吸着ノズル１２により所定の部品供給位置（図示せず）で電子部品を吸着し、その部品を部品認識用ユニット１４上に移動させて撮像し、撮像された画像に基づいてその部品の位置認識を行なう。

その後、搭載ヘッド１０を、搬送ガイド１６で搬送されて位置決めされている基板Ｓ上に移動させ、ヘッド上の基板マーク認識ユニット１８でマーク位置を確認し、該マーク位置から特定される基板Ｓ上の目標位置に電子部品Ｐを搭載することができるようなっている。

図４に、本実施形態の部品実装装置が備えている、前記部品認識用ユニット１４を含む位置検出装置の概要を示す。

この図において、符号２０は、前記部品認識用ユニット１４に含まれる、非テレセントリックレンズが内蔵されたカメラからなる撮像装置である。この撮像装置２０で撮像された画像は画像処理装置（演算手段）２２に入力され、Ａ／Ｄコンバータ２４を介して書換可能なメモリ２６の画像記憶部２６Ａに保存されると共に、ＣＰＵ２８により取り込まれ、後述するＴsai手法等を含む画像認識プログラム３０により各種画像処理が行なわれる。

又、画像処理装置２２は、メイン制御装置３２と通信可能になっており、メイン制御ＣＰＵ３４により装置全体の制御が行なわれると共に、照明コントローラ３６により、部品認識用ユニット１４を構成する照明装置３８をコントロールし、吸着ノズル１２の下端に保持された電子部品Ｐを照明するようになっている。

ここでは、画像処理装置２２が実装装置のメイン制御装置３２からユーザが作成した電子部品形状データ（以下、部品データともいう）の情報を予め受け取り、前記メモリ２６の電子部品形状データ記憶部２６Ｂに記憶する。

次いで、メイン制御装置３２により電子部品の位置認識開始指令を受けて撮像装置２０で電子部品Ｐの画像を入力し、Ａ／Ｄコンバータ２４を経て画像記憶部２６Ａに入力画像が記憶される。

その後、この画像を使用して画像認識プログラム３０が電子部品の中心位置及び傾きを求め、メイン制御装置３２に認識結果を送出する。なお、前記マーク認識用ユニット（カメラ）１８によっても撮像画像が入力され、入力画像から基板マークの中心・傾きを求め、メイン制御装置３２に基板Ｓの認識結果を送るようになっている。

以上の構成からなる検出装置により、リード電極部品やボール電極部品の位置認識を行なう際、前述した如く撮像素子に対して電子部品にアオリがあると、画像上に斜影歪みが現われ、中心・傾き算出に影響を与えることになる。

これを解決する方法としては、例えばカメラキャリブレーション用に一般的に用いられるＴsaiの手法があり、これを利用してアオリ角度を算出（検出）することができる。このアオリ角度を用いて画像補正あるいは座標補正を行なうことにより、撮像した対象物の斜影歪みを補正した状態で中心・傾きを求めることが可能となる。

ここで、Ｔsai手法について簡単に説明する。この方法では、まず観察空間を規定する世界座標系における３次元位置が既知である特徴点を描画した、例えば図５にイメージを示すような規則的配列からなる基準パターンが形成された治具を用意する。ここで、世界座標系は、画像座標系に対する概念であり、ここでは一般的なＸＹＺの直交座標系であるとする。

このような治具を、基準パターンが撮像装置（カメラ）２０の撮像素子に対して所定の位置関係になるように配置し、次いでそのパターンを撮像することにより、取得された画像中における、例えば丸の中心（重心）等の各特徴点の画像座標系の座標値と、既知である３次元空間でのＸＹＺ座標値との組合せをいくつか作成して予め用意しておく。

この画像と３次元空間の間で対応する座標値の組合せを用いて、各カメラパラメータを推定する。このカメラパラメータには、内部カメラパラメータと外部カメラパラメータが存在する。

内部カメラパラメータは、レンズとカメラに関する情報であり、レンズ焦点距離、レンズ放射状歪み係数、ＸＹ方向の各画素サイズ、ＸＹ方向の各画像中心がある。外部カメラパラメータは、カメラ姿勢を意味するものであり、世界座標系に対する相対的なカメラ位置（ＸＹＺ座標）と世界座標系のＸＹＺ軸に対するカメラの回転角度がある。

本実施形態では、主として後者の外部カメラパラメータの回転角度を算出してアオリ角度を検出し、この角度を元に画像の斜影歪みを補正し、端子座標の補正、中心位置の補正を行なうことになる。

通常のＴsai手法では、主点を世界座標系に設定して、これに対する相対的なカメラの姿勢を把握して画像のアオリ補正を行なう説明になっているが、本実施形態においては、主点をカメラに設定して、カメラの撮像素子面に対する相対的な電子部品の姿勢を把握するように書き換えて画像のアオリ補正の説明を行なう。

又、Ｔsai手法では、内部カメラパラメータを算出するために、画像座標値と３次元座標値の組合せをいくつか作成するが、これは電子部品を認識する前に実装装置に組み付ける時や電源投入時等に、既知のパターン治具あるいは電子部品を使用して算出し、予め前記データ記憶部２６Ｂに記憶しておく。外部パラメータ算出時は、１つの組合せで良い。

なお、上記Ｔsai手法に関しては、例えば、Roger Y. Tsai著“An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision（３Ｄ画像装置のための効率的で精度の高いカメラキャリブレーション技術）”に説明されている。

以上の画像処理の原理を前提に、本発明に係る一実施形態の電子部品の実装方法について以下に詳述する。

本実施形態においては、前記撮像装置（カメラ）２０により所定の２次元配置で電極端子が配設されている電子部品Ｐを撮像し、前記画像処理装置２２により撮像された画像中の電極端子の配置位置に基づいて、該撮像装置２０の撮像素子面に対するアオリ角度を算出すると共に、算出されたアオリ角度を元に、該電子部品Ｐを斜影補正し、その後基板上に搭載する。

具体的には、３次元位置が既知である特徴点を描画した基準パターンを電子部品で代用し、該基準パターンの座標を電子部品の端子座標に置き換えて、プログラムで実現されているＴsai手法を適用することにより、該電子部品のアオリ角度を算出する。

図６には、この算出処理のフローチャートを示す。アオリ角度の算出は、前記図４等に示したように、ノズル１２の下端に吸着保持された電子部品Ｐの撮像を行ない（ステップ１）、従来の位置認識プログラムを動作させて端子座標を算出する（ステップ２）。次いで、その画像上の端子座標をＴsai手法に適用する既知パターンの特徴点画像の座標値の代わりに与えると共に、電子部品の設計上の座標値を３次元空間上の実座標値の代わりに与え（ステップ３）、Ｔsai手法のプログラムを実行することによりアオリ角度を求める（ステップ４）。

以上のように電子部品に所定の２次元配置で配設されている電極端子を既知パターンの代用とすることにより、元々電子部品は精度良く製造されているため、正確にアオリ角度を算出することができる。

ところが、時にはリード曲りやボール潰れ等があって、端子座標が既知のパターンとしての位置にならない場合がある。この異常な端子座標をＴsai手法に設定すると、誤ったアオリ角度が算出されることになる。

そこで、例えば図７のようにリード部品ならば、１列のリードグループについて、算出リード先端座標（例えば、エッジ中心座標）から各リード間の平均ピッチを算出して、端子毎に両隣とのピッチが、平均ピッチ±許容％以内という条件をクリアした端子座標のみを抽出してアオリ計算に使用するようにする。但し、両端リードは、片側のピッチだけ検査することになる。ボール部品についても、潰れボールがある場合には、それを排除して同様に検査を行なう。

リード部品では、並び方向だけでなく先端方向のずれも考えられるが、このときは、図８のようにリード先端座標から最小二乗直線を算出して、この直線と端子座標の距離がある閾値以内の端子座標のみを抽出する処理を行なう。

ボール部品についても、リード部品同様に最小二乗直線からの距離が、ある閾値内の端子座標のみを抽出する処理を行なう。

以上の処理によりアオリ角度が算出されると、画像の斜影歪みを直す補正処理を行なうが、この補正もＴsai手法を用いて行なうことができる。

必要なパラメータは、画像、事前に取得して記憶してある内部カメラパラメータ、前述した外部カメラパラメータである。これらのパラメータをＴsai手法のプログラムに適用して処理を実行させることにより、図９にイメージを示すように左側の画像の斜影歪みが補正された右側（矢印方向）の画像が得られる。

このように画像を斜影歪みの無い状態にして再度電子部品の位置認識を行なうことにより、歪みがある画像で位置認識するときよりも正確な結果を算出することが可能となる。

以上詳述した本実施形態によれば、撮像素子に対する電子部品Ｐのアオリ角度を、該電子部品が有する電極端子の座標から算出することにより、精度良くアオリ角度を求めることができ、その結果に基づいて画像の斜影補正を行なうことにより、補正前よりも精度の高い位置認識の結果を得ることが可能となる。

又、カメラ姿勢の把握に電子部品Ｐを使用することにより、前記図５に示したようなガラス治具等の基準パターンを予め用意する必要が無くなり、治具製作のコストが減ると共に、出荷先でのカメラ姿勢の把握が容易に可能となる。

更に、ノズル１２に吸着した電子部品Ｐを、基板に搭載する際の通常の部品認識時に撮像することにより、部品毎に発生しているアオリ角度を、リアルタイムで補正することが可能となる。従って、大型部品を搭載する場合には、部品毎にアオリ角度が異なることが多いと考えられるため、特に有効である。

次に、本発明に係る第２実施形態について説明する。

本実施形態では、図１０に示すように、一方向リードや１列ボールのように、電極端子が一次元配列された電子部品を対象とする。

この図に示されるように、一方向リードや１列ボール等では、端子並び方向のアオリ角度の影響は大きいが、並び方向に直交する方向（図中、長手方向）への影響は少ない。

そこで、本実施形態では、この特徴を利用して、並び方向のみのアオリ角度を検出し、補正を行なう。この方法は、以下に説明するように前述した第１実施形態に適用した３次元座標変換を行なうＴsai手法より計算量が少ないため、高速化を図ることができる。

一般に、アオリ角度を、ある端子間の距離を計算し、それを真値と比較することにより求めることができる。しかしながら、この方法では図１１（Ａ）のように正規の位置に対して対象物が移動してカメラから部品（対象物）Ｐまでの、図中ＷＤずれで示す部品高さが変化することによっても、画像上の端子間距離が変化する。そのため、アオリが発生して、当然端子間距離が変化しているのか、部品が平行移動しただけなのかという両者の違いは、画像上では分からないことも起こる。従って、端子間距離を単に基準値と比較する方法は、部品高さＷＤが一定であるという前提でしか使えないことになる。

そこで、本実施形態では、アオリ角度を、両端ピッチの比率を利用して算出する。この方法では、図１１（Ｂ）に撮像装置２０による撮像画像のイメージを示すように、端子並び方向にアオリが無ければ比率は１：１であり、アオリがあると両端で比率が変化することになるので、この比率でアオリ角度を算出することができる。両端ピッチの比率であるため、部品高さＷＤが変化しても比率は変化しない。

その方法の概要を説明すると、予め入力されている位置認識する部品の部品データから端子間ピッチと端子数を取得すると共に、あるアオリ角度における両端の端子座標と、各両端の１つ内側の端子座標とから計算される、図中Ａ、Ｂで示す各両端ピッチからその両端ピッチ比率を算出する。更に、違うアオリ角度での両端ピッチ比率を算出し、この２つの比率から角度と比率の近似式を算出しておく。そして、実際に撮像した電子部品について両端ピッチ比率を算出して上記近次式からアオリ角度を求め、該部品に対する補正処理を行なう。以下、これを詳細に説明する。

ある角度における両端ピッチを算出するために、同角度における端子座標の算出方法を説明する。例えば、図１２にイメージを示すように電子部品Ｐが縦方向の矢印を中心に回転したとすると、この場合の端子座標の算出方法は、電子部品Ｐを矢印の上方から見た図１３、図１４に示すように、カメラに近付く方と離れていく方とで違ってくる。

図１３、１４に示した数値は、電子部品が１°のアオリを持ち、レンズ中心位置から電子部品までの距離が３００ｍｍで、部品中心から５ｍｍ離れた端子がどの座標になるかの数値である。その計算式は三角関数を使用して、離れていく端子については、図１３の角度αを算出するために線分ＢＣ、ＣＤを求め、線分ＣＥ、ＢＣから算出する。αが求まったならば、線分ＤＥとの関係で線分ＤＦの長さＬが求まり、これが画像上でのｍｍ単位に変換した座標値となる。近付く方の端子座標も、図１４のように同様に求められる。

このように端子座標を算出したら、両端ピッチＡ、Ｂを算出してその比率（Ｂ／Ａ）を計算しておく。

次に近似式の算出を行なう。例えば、前記計算によりアオリ角度０．１°と１°のときの両端ピッチの比率を求めて、図１５のグラフのように近似式を求める。

次いで、実際に撮像画像から両端ピッチの比率を算出して、前記近似式に比率を当て嵌めてアオリ角度を算出する。アオリ角度が算出できたならば、Ｔsai手法の角度パラメータにアオリ角度を設定（端子並び方向が、Ｘ軸に平行ならばＸ軸回転角度は０°に設定し、Ｙ軸回転角度にアオリ角度を設定する。Ｙ軸に平行ならば、Ｘ軸回転角度にアオリ角度を設定し、Ｙ軸回転角度は０°に設定する）して、画像補正を行ない、その画像を使用して従来通りの位置認識を行ない、電子部品の中心・傾きを算出する。

両端ピッチの算出では、解像度が粗い場合やリード周り、ボール潰れがあることも考慮する必要がある。解像度が粗い場合は、端子座標がバラツキ易いので、例えば各端ピッチとその隣りと更に隣りの３つのピッチの平均にしても良い。このときは前述した近似式が両端ピッチではなく、端から１つ内側のピッチ同士の比率で近似式を算出しておくことが好ましい。又、ピッチの平均は４つ以上でも構わない。更に、リード曲り、ボール潰れがある場合もあるので、前述した検査を行なって異常であったピッチ部分は使用しないで近似式を算出し、ピッチの比率を求めてアオリ角度を算出するようにしてもよい。

以上の説明では、一方向リード、１列ボール部品と限定したが、リードグループが対向する２方向リード部品でも長手方向の間隔が狭いものや、複数列ボール部品でも列間隔の狭いものであれば、並び方向に対して直角方向のアオリ影響は小さいので、この方法を適用することも可能である。

なお、電子部品実装装置により電子部品の搭載を実行しながら、アオリ角度の平均値を、例えば２４時間単位で記憶しておき、その値が順次大きくなるようならば、カメラや、ノズルの吸着部又は電子部品の搭載面の異常であると判断し、ユーザに警告を出すようにしてもよい。又、ある一定値以上のアオリ角度が発生した場合に警告を出すようにしても良い。

アオリ角度を説明するための線図 吸着した電子部品とカメラの撮像素子面に対するアオリ角度の関係を示す説明図 本発明に係る第１実施形態の電子部品実装装置の概要を示す斜視図 本実施形態の部品実装装置が備えている電子部品の位置検出装置の要部構成を示すブロック図 Ｔsai手法に適用される特徴点を描画した基準パターンのイメージを示す説明図 本実施形態の作用を示すフローチャート 電子部品に発生している不良端子のイメージを示す説明図 リードの先端方向のずれを補正する方法のイメージを示す説明図 本実施形態の作用・効果をイメージで示す説明図 本発明に係る第２実施形態に適用される１次元配列の電極端子を有する電子部品のイメージを示す説明図 一方向リード部品とカメラの関係を示す説明図 一方向電子部品のアオリ角度とカメラの関係を示す説明図 アオリが発生した一方向電子部品の端子座標の算出方法を示す線図 アオリが発生した一方向電子部品の端子座標の算出方法を示す他の線図 一方向リード部品のアオリ角度算出に用いる近似式のイメージを示す線図

符号の説明

１０…搭載ヘッド
１２…吸着ノズル
１４…部品認識用ユニット（カメラ）
２０…撮像装置
２２…画像処理装置
３２…メイン制御装置
Ｓ…基板
Ｐ…部品

Claims (6)

1. 搭載ヘッドに装着されているノズルに保持された電子部品を、ノズルに対向する位置に配置されている撮像手段により撮像し、撮像された画像に基づいて該部品の位置を補正して所定位置の基板上に搭載する電子部品の実装方法において、
   前記撮像手段により所定の配置で電極端子が配設されている電子部品を撮像し、撮像された画像中の電極端子の配置位置に基づいて、撮像素子面に対する該電子部品のアオリ角度を算出することを特徴とする電子部品の実装方法。
2. 前記電極端子が２次元配置されている場合、前記アオリ角度を、前記画像中の電極端子の配置位置を基準パターンとするＴsai手法により算出することを特徴とする請求項１に記載の電子部品の実装方法。
3. 前記電極端子が１次元配置されている場合、前記アオリ角度を、前記画像中の電極端子の両端ピッチの比率に基づいて算出することを特徴とする請求項１に記載の電子部品の実装方法。
4. 搭載ヘッドに装着されているノズルに保持された電子部品を、ノズルに対向する位置に配置されている撮像手段により撮像し、撮像された画像に基づいて該部品の位置を補正して所定位置の基板上に搭載する電子部品の実装装置において、
   前記撮像手段により所定の配置で電極端子が配設されている電子部品を撮像し、撮像された画像中の電極端子の配置位置に基づいて、撮像素子面に対する該電子部品のアオリ角度を算出する演算手段を備えたことを特徴とする電子部品の実装装置。
5. 前記電極端子が２次元配置されている場合、前記アオリ角度を、前記画像中の電極端子の配置位置を基準パターンとするＴsai手法により算出することを特徴とする請求項４に記載の電子部品の実装装置。
6. 前記電極端子が１次元配置されている場合、前記アオリ角度を、前記画像中の電極端子の両端ピッチの比率に基づいて算出することを特徴とする請求項４に記載の電子部品の実装装置。