JP2009128345A - 物体認識方法およびこの方法を用いた基板外観検査装置 - Google Patents

物体認識方法およびこの方法を用いた基板外観検査装置 Download PDF

Info

Publication number
JP2009128345A
JP2009128345A JP2007307346A JP2007307346A JP2009128345A JP 2009128345 A JP2009128345 A JP 2009128345A JP 2007307346 A JP2007307346 A JP 2007307346A JP 2007307346 A JP2007307346 A JP 2007307346A JP 2009128345 A JP2009128345 A JP 2009128345A
Authority
JP
Japan
Prior art keywords
imaging
color
region
color difference
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007307346A
Other languages
English (en)
Other versions
JP5239314B2 (ja
Inventor
Hirotaka Wada
洋貴 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2007307346A priority Critical patent/JP5239314B2/ja
Publication of JP2009128345A publication Critical patent/JP2009128345A/ja
Application granted granted Critical
Publication of JP5239314B2 publication Critical patent/JP5239314B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

【課題】鏡面反射性の高い物体を、簡単かつ正確に認識できるようにする。
【解決手段】基板Sに対してそれぞれ仰角が異なる方向に配置された3個の照明部A,B,Cに互いに異なる色彩光を点灯させて、カメラ1により基板Sを撮像する処理を、撮像対象領域を変更せずに2回実行する。このとき2回目の撮像では、照明部Aおよび照明部Cに点灯させる色彩光が1回目の撮像と反対になるように制御する。2回の撮像が終了すると、生成された2枚のカラー画像を用いて、これらの画像間で色差が所定のしきい値を超える画素を白画素とする2値の色差画像を生成する。さらに、はんだ付け部位を表すモデルデータ(テンプレート)を用いてこの色差画像に対するテンプレートマッチングを実行し、テンプレートに対する一致度が最も高い場所をはんだ付け部位として特定する。
【選択図】図3

Description

この発明は、一部または全体の鏡面反射性が周囲より高い物体を認識対象として、画像処理により認識対象物の有無、位置、大きさなどを認識する技術分野に属する。特にこの発明は、「カラーハイライト方式」と呼ばれる光学系により生成されたカラー画像を用いて上記の認識を行う方法、およびその方法が適用された基板外観検査装置に関する。
従来の「カラーハイライト方式」の基板外観検査装置(以下、単に「検査装置」という場合もある。)は、赤、緑、青の各色彩光をそれぞれ基板に対する仰角が異なる方向から照射する照明装置と2次元のカラーカメラとを具備するものである。基板には、仰角が最も大きい方向から赤色光が、仰角が最も小さい方向から青色光が、これらの中間にあたる方向から緑色光が、それぞれ照射される。カメラ1は、光軸を鉛直方向に向けて配置され、その光軸を取り囲む全方位から上記3種類の色彩光が照射される。このような照明下での撮像により、はんだフィレットのような鏡面反射性の高い物体について、平坦に近い面が赤色となり、傾斜が急な面が青色となり、これらの面の中間の傾斜状態の面が緑色となるようなカラー画像が生成される。よって、画像中のはんだ付け部位の色彩パターンを観測することによって、はんだの表面の傾斜の状態を認識することが可能になる。
また、この検査装置には、あらかじめ、自動検査を行うための検査基準データとして、検査領域の設定データ(領域の位置および大きさを示す。)、はんだの表面状態の判別に必要な色領域(主に青色が優勢な領域)を抽出するための2値化しきい値、色領域に対する計測値により得た特徴量の適否を判断するための判定基準値などが、部品毎に登録される。検査の際には、検査対象の基板を上記の照明装置やカメラを用いて撮像した後に、上記の検査基準データに基づき、生成されたカラー画像中のはんだ付け部位に検査領域を設定し、色領域の抽出および計測を実行する。そして、得られた計測値を判定基準値と比較することによって、各被検査部位の良否を判別する。
ただし、基板上のはんだ付け部位の位置は一定ではなく、ばらつきがあることが知られている。このばらつきは、マウンタにより部品が実装される際の部品のずれや、はんだ付け工程での熱による基板の収縮などによって生じる。このようなばらつきに対応するために、従来の検査装置では、部品毎に、その部品を包含するのに十分な大きさの検索用ウィンドウを設定し、このウィンドウ内で輝度の高い領域をはんだに付け部位として検出し、その検出結果に基づき、はんだ検査用の検査領域の設定位置を調整するようにしている(特許文献1 段落0006〜0009、0076参照。)
特許第3599023号公報
特許文献1に開示されているように、検査領域の設定前にはんだ付け部位を検出する処理では、R,G,B毎に設定された2値化しきい値を用いて、赤、緑、青のいずれかの色彩が強く、かつ輝度の高い画素を抽出する。しかし、画像中の各はんだ付け部位に現れる色合いや輝度には、それぞれの部位の傾斜状態や位置によってばらつきがあるため、これらのばらつきを考慮して、どの場所のはんだ付け部位も抽出できるようなしきい値を設定する必要がある。また、検査のための2値化しきい値が、良好な形状のはんだを検出することを目的とするのに対し、検査領域の設定前に使用されるしきい値は、良/不良を問わず、種々の形状のはんだを検出できるようにする必要があるので、検査で検出される範囲より広い範囲を検出対象とする必要がある。
これらの点を考慮して2値化しきい値を設定するには、経験が必要であるため、熟練した作業者でなければ作業を行うことはできない。しかし、熟練者にとっても、非常に困難な作業であり、多大な労力がかかる。
つぎに、部品実装基板には、「チップ飛び」と呼ばれる不良(部品実装時やはんだ付け時に、何らかの原因によって、チップ部品が実装されるべきでない場所に落ちてしまう不良)や、電極間のブリッジ不良(電極の間に付着したはんだが溶融し、電極間が短絡状態になる不良)などが生じることがある。これらの不良については、偶発的に生じる場合も多いため、発生する部位を予測するのが難しく、精度の良い検査を行うための設定が非常に困難である。
この発明は、上記の問題点に鑑み、鏡面反射性の高い物体を、カラーハイライト方式の光学系の特性を利用して、簡単かつ正確に認識できるようにすることを、課題とする。さらに、この課題の解決により、はんだ付け部位や基板にあるべきでない異物を簡単に検出できるようにすることによって、これらの検出のために複雑な設定を行う必要をなくすことを、第2の課題とする。
この発明による方法は、互いに異なる色彩光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、撮像対象領域に位置合わせされたカラー画像用の撮像装置とを用いて撮像対象領域を撮像し、生成されたカラー画像を処理することによって、撮像対象領域に含まれる鏡面反射性の高い物体を認識するものである。
上記した構成の照明装置による照明下で撮像を行うと、撮像対象領域内の鏡面反射性の高い物体の表面について、その表面で正反射して撮像装置に入射した光の色彩が現れた画像を得ることができる。ここで、この画像に現れた色彩に対応する光を照射した照明部の発光色を切り替えて、再度撮像を行うと、この画像中の物体の色彩も、切り替え後の照明の色彩に対応するものに変化すると考えられる。
この発明による方法では、上記の現象に着目し、照明装置の複数の照明部のうちの少なくとも1つを、発光色の切り替えが可能に構成し、この照明装置による照明下での撮像を撮像対象領域を変更せずに2回実行するとともに、発光色の切り替えが可能な所定数の照明部が2回目の撮像時に1回目の撮像時とは異なる色彩で発光するように、2回の撮像における照明装置の動作を制御する。さらに、2回の撮像により生成された2枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成し、この色差画像に現れた領域をあらかじめ登録されたモデルデータと照合し、その照合結果に基づき撮像対象領域内の物体を認識する。
なお、発光色の切り替えを行う照明部は、「モデルデータに適合する物体」の検出に適した照明部または全ての照明部とするのが望ましい。
上記の方法によれば、所定の照明部の発光色が撮像毎に異なるものになるように制御して、同じ撮像対象領域を2回撮像すると、鏡面反射性が高く、発光色が切り替えられた照明部からの光に対応する色彩が現れる箇所について、各撮像により生成された画像間の色彩に大きな差を生じさせることができる。さらに、この色彩に大きな差が生じた領域を色差画像に基づき特定した後に、モデルデータに適合する領域を検出するから、モデルデータに適合するか否かによって、認識対象の物体を容易に判別することが可能になる。
なお、「認識対象の物体」は、「モデルデータに適合する物体」に限らず、「モデルデータに適合しない物体」になる場合もある。
上記方法の一態様では、はんだ付け後の部品実装基板を対象に2回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像を、はんだ付け部位を表すモデルデータと照合することにより、しきい値を超える色差が生じた領域の中からモデルデータに適合する領域を検出し、検出された領域をはんだ付け部位に対応するものとして認識する。
この方法によれば、2回の撮像、色差画像の生成、およびモデルデータによる照合処理によって、はんだ付け部位に対応する領域を、容易にかつ正確に認識することが可能になる。
上記の態様で用いられるモデルデータは、実物の基板または基板に関する情報を用いて作成することができる。たとえば、モデルの基板について、本処理と同様の方法による2回の撮像および色差画像の生成処理を行って、しきい値を超える色差が生じた領域を抽出し、この領域の分布パターンをモデルデータとすることができる。または、はんだ付け部位の検査のために設定される検査領域(ランドウィンドウ)のパターンを、モデルデータとしてもよい。あるいは、CADデータなどの設計データから読み出したランドの情報を用いて、モデルデータを作成してもよい。
さらに好ましい態様では、色差画像中で色差が前記しきい値を超えた領域の中に、はんだ付け部位に対応する領域として特定された以外の領域が存在するとき、その領域を異物に対応するものとして認識する。
上記の態様によれば、正しく実装されたものではない部品やブリッジなどの異物を、容易に検出することが可能になる。
他の好ましい態様では、はんだ付け後の部品実装基板を対象に前記2回の撮像を実行し、各画像により得たカラー画像から生成した色差画像のうち複数の部品電極を含む範囲を、これらの電極の配置パターンを表すモデルデータと照合することにより、照合範囲内でしきい値を超える色差が生じた領域の中からモデルデータに適合しない領域を検出する。そして、当該領域が検出されたとき、その領域を異物に対応するものとして認識する。
上記の態様によれば、大きな色差が生じた領域の中から、部品電極の配置パターンに対応する領域以外の領域を特定することによって、電極間に生じたブリッジ等の微小な異物でも、容易に検出することが可能になる。
さらに、上記の物体認識方法は、互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、カラー画像用の撮像装置とが、部品実装基板の上方に照明部からの照明光に対する基板からの正反射光を撮像装置に入射させることが可能な関係をもって配備され、撮像装置および照明装置により生成された基板の画像を処理することによって、部品の実装状態の適否を判別する基板外観検査装置に適用することができる。この検査装置は、照明装置の複数の照明部のうちの少なくとも1つが、発光色を切り替えることが可能に構成され、以下の登録手段、制御手段、色差画像生成手段、領域検出手段、はんだ検査手段を具備することを特徴とする。
登録手段は、検査対象の基板に実装される部品のはんだ付け部位の検査に用いられる検査基準データを登録するためのものである。制御手段は、照明装置による照明下で撮像対象領域を変更せずに撮像装置に2回の撮像を行わせるとともに、発光色の切り替えが可能な所定数の照明部が、2回目の撮像時に1回目の撮像時とは異なる色彩で発光するように、2回の撮像における照明装置の動作を制御する。
色差画像生成手段は、2回の撮像により生成された2枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成する。領域検出手段は、上記の色差画像が生成される範囲に含まれるはんだ付け部位を表すモデルデータを用いて色差画像を照合することにより、色差が前記しきい値を超えた領域の中からモデルデータに適合する形状の領域をはんだ付け部位として検出する。
はんだ検査手段は、検出されたはんだ付け部位について、2枚のカラー画像のいずれか一方の当該はんだ付け部位の画像を処理対象として、登録手段に登録された検査基準データを用いて処理対象の画像を処理することによって、はんだ付け部位におけるはんだの表面状態を判別する。
上記構成の検査装置によれば、はんだ検査の対象となるはんだ付け部位を検出する処理に先の物体認識方法を適用するので、各はんだ付け部位を簡単かつ正確に検出することができる。また、はんだ付け部位を検出した後は、2回の撮像により得た2枚のカラー画像のいずれか一方を用いて検査に関する処理を進めるので、精度の高い自動検査を実行することができる。
好ましい実施態様の検査装置には、色差画像において、はんだ付け部位として検出された領域以外にしきい値を上回る色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段が、さらに設けられる。この構成によって、正しく実装されたものではない部品やブリッジなど、生じる場所や色彩を予測することが困難な不良を、容易に検出することができる。
さらに好ましい実施態様の検査装置には、基板上の複数の電極について、各電極の配置パターンを表すモデルデータを用いて、色差画像中の各電極が含まれる範囲をモデルデータと照合することによって、しきい値を超える色差が生じた領域の中から各電極に対応する領域を検出し、検出された領域以外にしきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する。
上記の構成によれば、電極間のブリッジなどの小さな異物についても、容易に検出することが可能になる。
上記の物体認識方法によれば、一部または全ての照明部の発光色を撮像毎に切り替えて、2回の撮像を実行し、生成された2枚のカラー画像間の色差を対象にした処理を行うことによって、鏡面反射性の高い物体を、簡単かつ正確に認識することが可能となる。
さらに、この方法を基板検査に適用することによって、画像中のはんだ付け部位や異物を、容易かつ精度良く検出することが可能になる。また、検査の前に、これらを検出するために複雑なパラメータを設定する必要がなくなるから、設定処理に要する労力を大幅に軽減することができる。
図1は、この発明が適用された基板外観検査装置の電気的構成を示す。
この基板外観検査装置(以下、単に「検査装置」という。)は、はんだ付け後のプリント基板を対象に、各部品の接続状態の適否を検査するためのもので、カメラ1、照明装置2、Xステージ部3、Yステージ部4、およびコンピュータによる制御部50を含む制御処理装置5などにより構成される。このほか、図1には示していないが、この検査装置には、検査対象の基板を支持するための基板支持テーブルや、基板の搬出入機構などが設けられる。
カメラ1は、検査対象の基板のカラー静止画像を生成する。照明装置2は、複数のLEDを発光源とするものである。
Xステージ部3は、カメラ1および照明装置2を基板支持テーブルの上方で支持し、Yステージ部4は基板支持テーブルを支持する。いずれのステージ部3,4とも、その支持対象を、一軸に沿って移動させることが可能である。また一方のステージ部による移動の方向は、他方のステージ部による移動の方向に直交する関係にある。
制御処理装置5は、各ステージ部3,4やカメラ1および照明装置2の動作を制御して検査のためのカラー画像を生成し、各種検査を実行するもので、制御部50のほか、画像入力部51、撮像制御部52、照明制御部53、Xステージ駆動部54,Yステージ駆動部55、入力部56、表示部57、通信用インターフェース58などが含まれる。
画像入力部51には、カメラ1から出力されたR,G,Bの各画像信号を受け付けるインターフェース回路や、これらの画像信号をディジタル変換するA/D変換回路などが含まれる。撮像制御部52は、カメラ1の撮像タイミングを制御し、照明制御部53は、照明装置2の各LEDの光量、発光色、点灯タイミングなどを制御する。
入力部56は、ティーチングの際の設定操作などを行うためのもので、専用の操作ボタン、またはマウスやキーボードにより構成される。表示部57は、検査用の画像や検査結果などを表示するためのもので、液晶パネルなどにより構成される。通信用インターフェース58は、検査結果を外部の装置に送信する目的に使用される。
制御部50内の図示しないメモリには、制御および検査に関するプログラムのほか、検査に用いられる各種設定データを登録した検査データファイルが格納される。この検査データファイルには、基板に割り付けられた撮像対象領域にカメラ1の視野を合わせるのに必要なX、Yステージ部3,4の移動量、後記する検索用ウィンドウやランドウィンドウ等の検査領域の設定データ(各種領域の位置や大きさを示すデータ)、被検査部位の色彩を検出するための2値化しきい値、被検査部位を計測して得た特徴量の適否を判定するための判定基準値などが含まれる。
制御部50は、これらのプログラムや設定データを用いて、カメラ1と基板との位置関係を定めてカメラ1に撮像を行わせ、生成されたカラー画像を画像入力部51を介して取り込む。ここで入力される画像データは、R,G,Bの各色彩の階調データ(たとえば8ビット構成であれば0〜255の数値範囲をとる。)の組み合わせにより色彩を表現するものである。制御部50は、入力した画像を用いて、後記する各種の検査を実行し、最終的に、各検査結果をまとめて、基板が良品基板であるか不良基板であるかを判定する。各検査の結果は基板毎にまとめられて表示部57に表示されるほか、通信用インターフェース58を介して図示しない外部機器に出力される。
図2は、上記の検査装置で用いられる光学系の構成を示す。図中のSは、検査対象の基板であり、15は、基板S上に実装されたチップ部品である。なお、基板Sに実装されるのはチップ部品15に限らず、後記するICをはじめとする種々の部品が実装される。
この実施例のカメラ1および照明装置2は、いわゆる「カラーハイライト方式」の光学系を構成する。
照明装置2は、外形が円筒状または多角形状のケース体20を本体部とする。ケース体20の中心部にはカメラの覗き穴22が形成され、内部には、所定の高さ位置に、複数のLED21が配線された基板23が、面を水平にした状態で配備される。カメラ1は、その受光面を真下に向け、かつ光軸Lを覗き穴22の中心に合わせた状態にして配備される。カメラ1と照明装置2との位置関係は常にこの状態に維持される。
照明装置2内の各LED21は、覗き穴22を取り囲むように、複数列にわたって同心円状に配列される。なお、ここには図示していないが、基板23は複数枚あり、各基板23を覗き穴22の周辺に沿わせて配列することにより、LED21の同心円状の配列パターンが完成する。
LED21には、赤色光を発するもの(LED21R)、緑色光を発するもの(LED21G)、青色光を発するもの(LED21B)の3種類がある。この図では、各LED21R,21G,21Bの照明色を、それぞれ網点、横線、斜線の各パターンで示している(図3の模式図でも同様である。)。
LED21の同心円の径方向では、3種類のLED21R,21G,21Bが、この順序で繰り返し配列される。さらに、ここには図示していないが、1つ1つの円の円周上でも、同様に、各LED21R,21G,21Bが順番に配列されている。
ケース体20内の基板23より下方の空間は、覗き穴22からの距離に応じて、3つの領域A,B,Cに分割される。また各領域A,B,C間の境界には、それぞれケース体20の外周と同様の形状を具備する壁部25,26が設けられる。
さらにケース体20の下端の開口部には、光拡散部材24が設けられている。この光拡散部材24は、各領域A,B,Cに応じた大きさの3つの傾斜面24A,24B,24Cを連続させた構成のもので、各傾斜面24A,24B,24Cは、覗き穴22から遠ざかるほど下方に変位し、また傾きが急峻になる。
さらに、この実施例では、各領域A,B,Cとも、3種類のLED21R,21G,21Bのうちの一種類が点灯し、また領域間で発光色が重ならないように、各LED21の点灯・消灯を制御する。
このように、領域A,B,C毎に異なる種類のLEDを点灯させる制御と、壁部25,26および光拡散部材24の存在によって、各領域A,B,Cは、「互いに異なる色彩光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部」として機能するようになる。よって、以下の説明では、各領域A,B,Cを「照明部A,B,C」と言い換えることにする。
この実施例の検査装置では、上記の照明装置2の機能を利用して、撮像対象領域毎に、態様の異なる2とおりの照明を実行して照明毎に撮像を行い、生成された2枚のカラー画像を用いて、鏡面反射性の高い部位(はんだや電極)を検出するようにしている。
図3は、上記の撮像処理の具体例と、撮像により生成される各種画像を模式的に示す。
先にも述べたように、この実施例では、1つの撮像対象領域を2回撮像するようにしている。以下、1回目の撮像を「第1撮像」といい、2回目の撮像を「第2撮像」という。
第1撮像は、照明部Aに赤色光を、照明部Bに緑色光を、照明部Cに青色光を、それぞれ点灯した状態で実行される。この照明状態は、先の特許文献1をはじめとする従来のカラーハイライト方式の照明と同様の態様のものである。
これに対し、第2撮像では、照明部Aにおける発光色と照明部Cにおける発光色とを、第1撮像とは反対になるようにする。すなわち、照明部Aに青色光を点灯させ、照明部Cに赤色光を点灯させる。
以下、第1撮像で生成されるカラー画像を「R−TOP画像」と呼び、第2撮像で生成されるカラー画像を「B−TOP画像」という。
図3では、上段に、基板S上のチップ部品15を対象に、第1撮像および第2撮像を行う例を示すとともに、中段に、これらの撮像により生成されるR−TOP画像およびB−TOP画像を示している。ここでは、チップ部品15のフィレットに符号10を、部品電極に符号11を、それぞれ付すとともに、対比の便宜のために、各カラー画像中のチップ部品、フィレット、および部品電極を、同様の符号15,10,11で示す。また、これらのカラー画像では、背景部分(基板の地の色が現れている部分)を白として、フィレット10および電極11に現れる色彩を、赤、緑、青のうちの一番優勢になる色彩に対応するパターンにより示す。
この実施例の照明装置2の構成によれば、基板Sに対し仰角が最も大きい方向から照射される照明部Aからの光は、平坦に近い面で正反射したときにカメラ1に入射する。よって、フィレット10の下端部や電極11などの平坦に近い面は、照明部Aの発光色に近い色彩で表される。
これに対し、基板Sに対し仰角が最も小さい方向から照射される照明部Cからの光は、急峻な面で正反射したときにカメラ1に入射する。よって、フィレット10中の急峻な面は、照明部Cの発光色に近い色彩で表される。
この実施例の場合、平坦な面の色彩を決める照明部Aと急峻な面の色彩を決める照明部Cとの発光色が、第1撮像と第2撮像とで反対になるので、各カラー画像中のこれらの面と色彩との関係も逆になる。すなわち、平坦に近い面は、第1撮像では赤が優勢な領域(以下、「赤色領域」という。)となるが、第2撮像では青が優勢になる領域(以下、「青色領域」という。。)となる。一方、急峻な面は、第1撮像では青色領域となるが、第2撮像では赤色領域となる。なお、照明色が緑色に固定される照明部Bからの光に対応する領域(緑色が優勢になるので、以下、「緑色領域」という。)は、いずれの画像でも、赤領域と青領域との間に同様の状態で現れる。
R−TOP画像とB−TOP画像との色彩の違いを具体的に見分けるために、この実施例では、R−TOP画像とB−TOP画像との間で対応関係にある画素(座標が実質同一になる画素)の組毎に、色差を算出する。具体的には、カラー画像を構成するR,G,Bの各階調データ毎に画像間の階調差を求め、各差の自乗の総和を算出して色差とする。さらに、この色差が所定のしきい値を上回る画素を白画素とし、色差がしきい値以下の画素を黒画素とする2値画像(以下、これを「色差画像」という。)を生成する。
図3の例によれば、R−TOP画像とB−TOP画像とでは、緑色領域を除くフィレット10の大半の部分および部品電極11の色彩が大きく変化する。一方、部品Cの本体や基板Sの表面では拡散反射が優勢になるため、照明部A,Cの照明色が逆転しても、色彩の大きな変化は生じない。よって、赤色と青色との間に生じる色差を抽出するのに適したしきい値を設定して2値化を行うことにより、図3の下段に示すように、赤色領域と青色領域とが入れ替わった箇所の画素が白画素となり、その他の画素が黒画素となる色差画像を生成することができる。
上記の色差画像によれば、はんだや電極などの鏡面反射性が高い部位を容易に特定することが可能になる。そこで、この実施例の検査装置では、基板S上の各部品のはんだ付け部位を対象にした検査(以下、「はんだ検査」という。)において、検査領域(ランドウィンドウ)の設定位置を決定する際に、図3に示した方法を適用するようにしている。さらに、チップ飛び不良を起こしたチップ部品やブリッジなどの異物を検出する検査(以下、「異物検査」という。)を行う場合にも、この方法を用いて異物を検出するようにしている。
図4は、はんだ検査で実行される処理の具体例を示す。なお、この例でも、チップ部品15を処理対象とする。
この処理では、先の図3に示した方法で第1撮像および第2撮像を行うことによってR−TOP画像およびB−TOP画像を生成し(図4の(1)(2))、これらの画像間の色差画像を生成し(図4の(3))、この色差画像からはんだ付け部位に対応する領域(以下、「はんだ領域」という。)を特定する。なお、チップ部品15のはんだ領域には、フィレット10のほか、部品電極11が含まれるものとする。
先に説明した方法によれば、この実施例の色差画像では、はんだ領域の大半が白画素領域として表される。そこでこの実施例では、ランドウィンドウの設定データに基づくテンプレートによる照合処理(以下、「テンプレートマッチング」という。)を行うことによって、はんだ領域に相当する白画素領域を特定するようにしている(図4の(4))。
上記のテンプレートは、画像中の部品に対するランドウィンドウの大きさや配置の関係を示すものである。たとえばチップ部品15では、左右の各はんだ付け部位に設定される一対のランドウィンドウを模した矩形枠(図中、点線で示す。)が、設定データに示されるのと同様の位置関係をもって配置される。なお、このテンプレートの元になるランドウィンドウの設定データは、検査対象の画像に対するランドウィンドウの設定位置やウィンドウの大きさを表すもので、制御部50のメモリ内の検査データファイルから読み出される。
テンプレートマッチングでは、テンプレート内の各矩形枠の位置関係を維持したまま、テンプレート全体を色差画像に対して1画素ずつ走査し、走査毎に、テンプレートの一致度を算出する。一致度は、各矩形枠内の白画素数により表される。具体的には、矩形枠毎にその枠内の白画素数を計数し、それぞれの計数値を加算した値を、一致度とする。
この実施例では、上記のテンプレートマッチングにおいて一致度が最大になったときに各矩形枠が合わせられた領域を、それぞれはんだ領域として特定する(図4の(5))。そして、このときの各矩形枠と同様の状態でランドウィンドウを設定する旨を決定する(以下、この処理を「ランドウィンドウの設定位置を決定する処理」という。)。
上記のような処理により、実装時の部品の位置ずれやはんだ付けの際の熱による基板の収縮等によって、各基板におけるはんだ付け部位の位置にばらつきが生じても、問題なく、正しい位置にランドウィンドウを設定することができる。
この実施例のはんだ検査では、上記のようにしてランドウィンドウの設定位置を決定した後に、第1撮像により生成されたR−TOP画像を対象に、決定した位置にランドウィンドウを設定する。そして、設定されたランドウィンドウから青色領域を検出し、その面積を所定の判定基準値と比較することにより、フィレットの適否を判定する。
フィレットの検査に青色領域の面積を使用するのは、急峻な傾斜面が十分な大きさで形成されているかどうかによってフィレットの形状の良否が決まるからである。図4に示した処理によれば、フィレット10に対応する範囲がすべて含まれるようにランドウィンドウを設定することができるので、フィレットの急峻な傾斜面の面積を正確に求めて、確度の高い判定を行うことができる。なお、フィレット検査以外の検査(たとえばぬれ不良の検出)を行う場合には、青色領域以外の色領域も検出する必要がある。
上記の図4では、図示の都合上、1つのチップ部品15を対象に処理を行う例を示したが、実際の撮像対象領域には複数の部品の画像が含まれているから、色差画像についても撮像対象領域全体を対象にした画像(複数の部品のはんだ領域を含む画像)を作成することができる。ただし、テンプレートマッチングについては、はんだ付け部位のずれ量が部品によって異なる可能性があるので、後記する図7に示すように、部品毎に個別に検索範囲を定めて、照合処理を行うのが望ましい。
また、上記の処理に代えて、R−TOP画像やB−TOP画像から、それぞれの部品の検索範囲毎に画像を切り出して部品単位の色差画像を生成し、それぞれの色差画像をテンプレートマッチングの対象としてもよい。
さらに、上記の例では、テンプレートの元になる情報としてランドウィンドウの設定データを用いたが、これに代えて、CADデータ中のランドに関する情報を用いてテンプレートを設定してもよい。または、良品の基板を用いて第1撮像および第2撮像、ならびに色差画像の作成処理を行い、得られた各白画素領域をテンプレートとして登録してもよい。または、良品の基板のカラー画像上で作業員に各はんだ付け部位を含むような領域を指定させ、この指定された領域をテンプレートとして登録してもよい。
つぎに、異物検査の方法について説明する。なお、この実施例では、正規の実装部品以外の部品およびブリッジを異物とするが、その他に鏡面反射性が高く、基板に存在すべきでない物体があれば、同様の方法で検出することができる。
図5は、トランジスタの実装領域に飛んだチップ部品を異物として検出する処理を示す。この例でも、図3に示した方法による第1撮像および第2撮像を行って、R−TOP画像およびB−TOP画像を生成した後に、両者間の色差画像を作成する(図5の(1)(2)(3))。各カラー画像では、トランジスタを16とし、そのフィレットを12とする。また図4と同様に、チップ部品を15とし、その電極を11とする(この例のチップ部品15は、はんだ付けされたものではないので、フィレット10は存在しない。)。
この例では、正規の部品(検査データ中に登録されている部品。この例ではトランジスタ16である。)のランドウィンドウの設定データに基づきテンプレートを作成し、このテンプレートを用いたテンプレートマッチングにより、正規の部品16のはんだ領域(この場合はフィレット12のみが含まれる。)を特定する(図5の(4)(5))。
図5の(1)〜(5)の各処理は、処理対象の部品は異なるが、実質的には、図4の(1)〜(5)に示したのと同内容のものである。
さらに、この実施例では、特定されたはんだ領域内の各白画素を黒画素に変更することにより、はんだ領域を認識対象から除外する(図5の(6)(7))。そして、この処理後も色差画像に残っている白画素領域を、異物として検出する。
トランジスタ16のフィレット12でも、チップ部品15のフィレット10と同様の反射が生じるから、R−TOP画像とB−TOP画像とでは、青色領域と赤色領域との関係が反対になる。また、チップ部品15の電極11も鏡面反射性が高いので、同様に色彩の逆転現象が生じる。このため、この例の色差画像では、トランジスタ16の各フィレット12とチップ部品15の電極11とが、白画素領域として現れる。
上記の白画素領域のうちトランジスタ16のフィレット12に対応するものは、上記の(4)(5)の処理によって検出され、(6)の処理によって認識対象から除外される。よって、(6)の処理後も残る白画素領域は、チップ部品の電極11に相当する部分となる。
このように、図5の方法では、R−TOP画像とB−TOP画像との色差画像を作成し、その色差画像により現れた白画素領域のうち、存在を肯定できる領域(正規の部品のはんだ領域)を消去することによって、イレギュラーに現れている白画素領域を異物として検出する。このような方法によれば、異物がどこに付着するかを予測するのが困難な場合でも、異物を容易に検出することが可能になる。
つぎに、図6は、ICを対象に、電極間のブリッジ62を異物として検出する方法を示す。なお、この図では、便宜上、ICの一部を含む範囲を撮像したものとして、各画像を示す。カラー画像中の60はICの部品本体であり、61は電極である。
図6の例の各カラー画像中の電極61には、部品本体60に近い付け根の部分と先端部分に、照明部Aに対応する色彩(R−TOP画像では赤、B−TOP画像では青)が現れ、これらの間に、照明部Cに対応する色彩(R−TOP画像では青、B−TOP画像では赤)が現れている。また、この図では明記していないが、各電極61の先端部には、はんだ付け部位も含まれる(細かい色彩の分布は省略する。)。また照明部Cに対応する色彩により表される急峻な部分に、ブリッジ62が生じており、このブリッジ62も、照明部Cに対応する色彩で表されている。
この例でも、先の2例と同様に、R−TOP画像とB−TOP画像とを生成し(図6の(1)(2))、これらの画像間の色差画像を求める(図6の(3))。さらにこの実施例では、処理対象のICの部品情報(基板のCADデータから導き出されたもので、各電極の幅、長さ、ピッチなどを示す情報が含まれる。)に基づき、各電極61の配置パターンを表すテンプレート(図6(4)(5)に示すように、各電極61に対応する大きさの矩形枠(先端のはんだ付け部位も含まれる。)の集合として構成される。)を作成し、テンプレートマッチングを実行する。テンプレートマッチングの方法は、図4,5のランドウィンドウに基づくテンプレートによるものと同様である。
さらにこの実施例では、上記のテンプレートにより最大の一致度が得られたときに各矩形に対応づけられた領域を、電極に対応する領域(以下、「電極領域」という。)として特定する(図6の(5))。そして、各電極領域を、図5の例のはんだ領域と同様に、認識対象から除外し(図6の(6))、残された白画素領域を異物として検出する(図6の(7))。
ICの電極は金属であるため、鏡面反射性が高く、その傾斜角度によって所定の照明部に対応する色彩が強調されて出現する。またブリッジは、はんだの溶融により生じるので、同様に、その傾斜状態を反映した色彩が優勢に現れる。
図6の例によれば、電極61およびブリッジ62では、R−TOP画像とB−TOP画像とで色領域の逆転現象が生じているため、色差画像でも、電極61およびブリッジ62の双方が白画素領域として現れる。しかし、電極61に対応する白画素領域は、テンプレートマッチングにより電極領域として特定され、認識対象から除外されるので、最後に残るのは、ブリッジ62に相当するイレギュラーな白画素領域となる。
図5,6に示した方法によれば、正規に実装されたものではないチップ部品15やブリッジ62のように、発生する場所や画像に現れる色彩を特定しにくい不良を、容易に検出することが可能になる。
ただし、正規の部位に対応する白画素領域でも、テンプレートとの不整合によって若干の白画素が残る可能性があるので、後記するように、残された白画素領域のうち、面積が所定のしきい値を上回るものを異物と認定するのが望ましい。
また、この種の異物検査を基板S全体に対して実行する場合には、検査対象の基板Sをいくつかの撮像対象領域に分割し、これらの領域毎に第1撮像および第2撮像を実行し、さらに色差画像を生成する。そして、撮像対象領域に含まれる正規の部品につき、その部品種に応じて図5または図6の方法を実行することによって、正規の部品のはんだ領域や電極領域を特定し、特定された領域以外の白画素領域があるか否かによって、異物の有無を判別することができる。また異物が存在すると判別した場合には、対応する白画素領域の面積や位置を計測することによって、その異物の大きさや位置を判別することも可能である。
このように、基板全体を対象にした異物検出を行えば、鏡面反射性の高い部位を含む異物を、その場所や形状を問わずに検出することが可能になる。
なお、上記の各実施例では、照明装置2の照明部Aと照明部Cとの照明色を逆転させることによって、第1撮像と第2撮像との照明の態様を異なるものにしたが、照明部Bも含めたすべての照明部の色彩を入れ替えるようにしてもよい。このような照明によれば、ブリッジなど、傾斜角度の予測が困難な異物に対する検出の精度を向上することができる。
図7は、図5に示した方法を適用したはんだ検査のフローチャートである。
なお、この図7および以下の図8,9のフローチャートは、いずれも1枚の基板に対する処理の手順を示すもので、基板Sが搬入される毎に、同じ手順が繰り返し実行される。また、各図とも、流れが複雑になるのを防止するために、基板Sに設定される撮像対象領域を1つに限定しているが、複数の撮像対象領域が割り付けられる場合には、これらの領域毎に、図示された手順を実行する必要がある。
図7のはんだ検査では、最初のステップであるST101(STは「ステップ」の略である。以下も同じ。)で、第1撮像を実行することによってR−TOP画像を生成する。また、つぎのST102で、第2撮像を実行することによってB−TOP画像を生成する。さらに、ST103では、これら2枚のカラー画像を用いて、撮像対象領域全体を対象にした色差画像を生成する。
この後は、撮像対象領域に含まれる検査対象の部品(ランドウィンドウが設定されているもの)に対し、それぞれメモリに登録された検査データを用いて、ST104〜110のループを順に実行する。このループ内の実質的な処理について説明すると、まず、処理対象部品に検索用ウィンドウを設定する(ST105)。なお、この検索用ウィンドウは、処理対象部品の実装範囲を包含し、部品が多少位置ずれしても、検索用ウィンドウから逸脱することがない大きさに設定される。
つぎに、処理対象部品のランドウィンドウの設定データに基づいて、図4の(4)に示したようなテンプレートを設定し、テンプレートマッチングを実行する(ST106,107)。
テンプレートマッチングでは、上記のテンプレートにより検索用ウィンドウ内を走査して、このウィンドウ内でテンプレートに対する一致度が最も高くなる場所を特定し、その特定された場所に設定された各矩形枠に基づき、ランドウィンドウの設定位置を決定する。
この後は、第1撮像で生成されたR−TOP画像を対象に、上記の決定に基づいてランドウィンドウを設定する(ST108)。そして、ランドウィンドウ毎に、そのウィンドウに対応する検査用データを用いて、ウィンドウ内の青色領域を抽出する処理、抽出した青色領域の面積を計測する処理、面積の計測値を判定基準値と比較する処理等を実行し、はんだの表面状態の適否を判別する(ST109)。なお、フィレットの状態を判別する検査以外の検査(たとえば、ぬれ不良の検出)には、青色領域以外の色領域も検出する。
このようにして、すべての部品に対する検査が終了すると、各部品に対する判定結果をまとめて、外部機器などに出力し(ST111)、検査を終了する。
つぎに、図8は、基板Sに対し、図5の方法による異物検査(以下、「異物検査(1)」という。)を行う場合の手順を示す。
この処理でも、第1撮像および第2撮像を実行した後に、これらの撮像により生成されたR−TOP画像とB−TOP画像との色差画像を生成する(ST201〜203)。
この後は、撮像対象領域内に含まれる部品のうち、チップ部品15やトランジスタ16のように、はんだ付け部位毎にランドウィンドウが設定されるものを対象に、ST204〜214のループを実行する。
このループ中の実質的な処理のうち、ST205,206,207では、それぞれ図7のST105,106,107と同様の処理を実行して、処理対象部品のはんだ領域を特定する。ST208では、特定されたはんだ領域内の画素を黒画素に変更する。この処理により、図5の(6)(7)に示したように、正規の部品に対応するはんだ領域が認識対象から除外される。
ST209では、残された白画素領域を対象にしたラベリングを実行する。具体的には、白画素の連結関係をたどることにより、連続する白画素群毎に切り分け、これらの画素群にそれぞれ個別のラベルを設定する。さらに、ST210では、ラベルが設定された領域毎に面積(領域の構成画素数)を計数し、面積が所定のしきい値T以上になる領域を抽出する。
上記ST210の処理により、面積がしきい値T以上になる領域が見つかった場合(ST211が「YES」)には、「異物あり」と判定する(ST212)。これに対し、上記の条件を満たす領域が見つからなかった場合(ST211が「NO」)には、「異物なし」と判定する(ST213)。
上記ST204〜214のループによれば、各部品の検索用ウィンドウ内に異物があるか否かを判別することができる。なお、ここで検出される異物の多くは、図5に示したチップ飛びによるものであるが、これに限らず、隣接する部品との間に生じたブリッジなどを検出することもできる。
すべての部品に対する処理が終了すると、上記の判定結果を出力し(ST215)、検査を終了する。
図9は、基板Sに対し、図6の方法を用いた異物検査(以下、「異物検査(2)」という。)を行う場合のフローチャートである。
この処理でも、第1撮像および第2撮像を行った後に、色差画像を生成する(ST301〜303)。さらに、撮像対象領域内の部品のうち、多数の電極を具備する部品(IC,LSIなど)を処理対象として、処理対象部品毎にST304〜314のループを実行する。
このループでも、まず処理対象部品を包含する範囲に検索用ウィンドウを設定する(ST305)。つぎに、処理対象部品の部品情報中の各電極の情報に基づいて、図6の(4)に示したようなテンプレートを作成し(ST306)、このテンプレートを用いて、検索対象ウィンドウに対するテンプレートマッチングを実行する(ST307)。この処理により、各電極に対応する電極領域が特定される。
ST308では、検索用ウィンドウ内の白画素領域のうち、ST307で特定された各電極領域内の画素を黒画素に変更することにより、これらの電極領域を認識対象から除外する。ST309では、残された白画素領域を対象に、図8のST209と同様のラベリング処理を実行する。ST310では、ラベルが設定された領域の中から面積がしきい値U以上になるものを抽出する。
ここで、面積がしきい値U以上になる領域があれば(ST311が「YES」)、「異物あり」と判定し(ST312)、上記の条件を満たす領域が抽出されなかった場合には(ST311が「NO」)、「異物なし」と判定する。ここで検出される異物の多くは、図6に示したような電極間のブリッジであるが、これに限らず、チップ飛びによる異物が検出される場合もある。
撮像対象領域に含まれる全ての処理対象部品について、ST304〜314のループが終了すると、これらの部品における検査の結果を出力し(ST315)、検査を終了する。
なお、図7〜9では、はんだ検査および2とおりの異物検査について、それぞれ個別のフローチャートを示したが、このように個別に検査を実行するのではなく、各検査を連続して実行してもよい。この場合には、1つの撮像対象領域に対し、第1撮像、第2撮像、および色差画像の生成処理を1回ずつ実行し、生成された色差画像を用いて3種類の検査を順に実行することができる。また、はんだ検査を実行した後に、この検査で特定されたはんだ領域に基づいて異物検査(1)を行うようにすれば、図8に示した各ステップのうちのST207までの処理を省略することができる。
さらに、各部品に対する検査用ウィンドウによって基板Sの全面がカバーされるように、各検査用ウィンドウの設定データを定め、これらのウィンドウにつき、部品の種類に応じて異物検査(1)または(2)を実行すれば、基板Sのどの場所に異物があっても、漏れなく検出することが可能になる。
上記のように、この実施例では、1つの撮像対象領域に対し、各照明部A,Cの照明色をそれぞれ異なるものにして2回の撮像を行い、これらの撮像により得たカラー画像間の色差を求めることにより、鏡面反射が優勢な部位を精度良く検出することができる。よって、この方法をランドウィンドウの設定位置を決定する処理に用いることにより、2値化処理によってはんだ領域を特定する必要がなくなり、この2値化のためのしきい値を設定する必要もなくなるから、ティーチング時の作業員の負担が大幅に軽減される。
さらに、上記の方法を異物の検出に用いることにより、鏡面反射性の高い部位を含む異物であれば、その場所や形状に関わらず、精度良く検出することが可能になる。よって、異物の検出の対象とする領域の選定や、検出に用いるパラメータの設定のために労力をかける必要もなくなり、この点においても、ティーチングにかかる作業員の負担が大幅に軽減される。
基板外観検査装置の構成を示すブロック図である。 光学系の構成を示す説明図である。 撮像方法および生成される画像の具体例を示す説明図である。 ランドウィンドウの設定位置を決定する処理の具体例を示す説明図である。 チップ飛び不良に係る部品を検出する処理の具体例を示す説明図である。 ブリッジ不良を検出する処理の具体例を示す説明図である。 はんだ検査の手順を示すフローチャートである。 異物検査の手順を示すフローチャートである。 異物検査の手順を示すフローチャートである。
符号の説明
1 カメラ
2 照明装置
5 制御処理装置
50 制御部
10,12 フィレット
11,61 部品電極
62 ブリッジ
A,B,C 照明部
S 基板

Claims (7)

  1. 互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、前記撮像対象領域に位置合わせされたカラー画像用の撮像装置とを用いて前記撮像対象領域を撮像し、生成されたカラー画像を処理することによって、前記撮像対象領域に含まれる鏡面反射性の高い物体を認識する方法であって、
    前記照明装置の複数の照明部のうちの少なくとも1つを、発光色の切り替えが可能に構成し、
    前記照明装置による照明下での撮像を撮像対象領域を変更せずに2回実行するとともに、前記発光色の切り替えが可能な所定数の照明部が2回目の撮像時に1回目の撮像時と異なる色彩で発光するように、前記2回の撮像における照明装置の動作を制御し、
    前記2回の撮像により生成された2枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成し、この色差画像に現れた領域をあらかじめ登録されたモデルデータと照合し、その照合結果に基づき前記撮像対象領域内の物体を認識する、
    ことを特徴とする物体認識方法。
  2. 請求項1に記載された方法において、
    はんだ付け後の部品実装基板を対象に前記2回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像を、はんだ付け部位を表すモデルデータと照合することにより、前記しきい値を超える色差が生じた領域の中から前記モデルデータに適合する領域を検出し、検出された領域をはんだ付け部位に対応するものとして認識する、物体認識方法。
  3. 請求項2に記載された方法において、
    前記色差画像中で前記しきい値を超える色差が生じた領域の中に、はんだ付け部位に対応する領域として特定された以外の領域が存在するとき、その領域を異物に対応するものとして認識する、物体認識方法。
  4. 請求項1に記載された方法において、
    はんだ付け後の部品実装基板を対象に前記2回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像のうち複数の部品電極を含む範囲を、これらの電極の配置パターンを表すモデルデータと照合することにより、照合範囲内で前記しきい値を超える色差が生じた領域の中から前記モデルデータに適合しない領域を検出し、当該領域が検出されたとき、その領域を異物に対応するものとして認識する、物体認識方法。
  5. 互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、カラー画像用の撮像装置とが、部品実装基板の上方に前記照明部からの照明光に対する基板からの正反射光を撮像装置に入射させることが可能な関係をもって配備され、前記撮像装置および照明装置により生成された基板の画像を処理することによって、部品の実装状態の適否を判別する装置であって、
    前記照明装置の複数の照明部のうちの少なくとも1つは、発光色を切り替えることが可能に構成されており、
    検査対象の基板に実装される部品のはんだ付け部位の検査に用いられる検査基準データを登録するための登録手段、
    前記照明装置による照明下で撮像対象領域を変更せずに前記撮像装置に2回の撮像を行わせるとともに、前記発光色の切り替えが可能な所定数の照明部が、2回目の撮像時に1回目の撮像時とは異なる色彩で発光するように、前記2回の撮像における照明装置の動作を制御する制御手段、
    前記2回の撮像により生成された2枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成する色差画像生成手段、
    前記色差画像が生成される範囲に含まれるはんだ付け部位を表すモデルデータを用いて前記色差画像を照合することにより、色差が前記しきい値を超えた領域の中から前記モデルデータに適合する領域をはんだ付け部位として検出する領域検出手段、
    検出されたはんだ付け部位について、前記2枚のカラー画像のいずれか一方の当該はんだ付け部位の画像を処理対象として、前記登録手段に登録された検査基準データを用いて前記処理対象の画像を処理することによって、前記はんだ付け部位におけるはんだの表面状態を判別するはんだ検査手段、の各手段を具備する、
    基板外観検査装置。
  6. 前記色差画像において、前記はんだ付け部位として検出された領域以外に前記しきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する、請求項5に記載された基板外観検査装置。
  7. 前記基板上の複数の電極について、各電極の配置パターンを表すモデルデータを用いて、色差画像中の各電極が含まれる範囲を前記モデルデータと照合することによって、前記しきい値を超える色差が生じた領域の中から各電極に対応する領域を検出し、検出された領域以外に前記しきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する、請求項5または6に記載された基板外観検査装置。
JP2007307346A 2007-11-28 2007-11-28 物体認識方法およびこの方法を用いた基板外観検査装置 Active JP5239314B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007307346A JP5239314B2 (ja) 2007-11-28 2007-11-28 物体認識方法およびこの方法を用いた基板外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007307346A JP5239314B2 (ja) 2007-11-28 2007-11-28 物体認識方法およびこの方法を用いた基板外観検査装置

Publications (2)

Publication Number Publication Date
JP2009128345A true JP2009128345A (ja) 2009-06-11
JP5239314B2 JP5239314B2 (ja) 2013-07-17

Family

ID=40819399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007307346A Active JP5239314B2 (ja) 2007-11-28 2007-11-28 物体認識方法およびこの方法を用いた基板外観検査装置

Country Status (1)

Country Link
JP (1) JP5239314B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026072A1 (ja) * 2010-08-26 2012-03-01 パナソニック株式会社 部品実装用装置および撮像用の照明装置ならびに照明方法
WO2012026073A1 (ja) * 2010-08-26 2012-03-01 パナソニック株式会社 部品実装用装置および撮像用の照明装置ならびに照明方法
JP2012063245A (ja) * 2010-09-16 2012-03-29 Nitto Denko Corp 検査装置、および、配線回路基板の製造方法
WO2013132913A1 (ja) * 2012-03-08 2013-09-12 オムロン株式会社 画像処理装置、その制御方法、プログラム、および検査システム
JP2014048276A (ja) * 2012-09-04 2014-03-17 Toshiba Corp 領域特定装置、方法、及びプログラム
JP2015106603A (ja) * 2013-11-29 2015-06-08 スタンレー電気株式会社 部品装着用光照射撮像装置
JP2016519768A (ja) * 2013-04-02 2016-07-07 コー・ヤング・テクノロジー・インコーポレーテッド 基板の異物質検査方法
JP2016178159A (ja) * 2015-03-19 2016-10-06 日本電気株式会社 識別装置、識別方法およびトレーサビリティシステム
US9640142B2 (en) 2013-12-19 2017-05-02 Samsung Electronics Co., Ltd. Apparatus for detecting region of interest and method thereof
US9734433B1 (en) * 2015-03-25 2017-08-15 Amazon Technologies, Inc. Estimating photometric properties using a camera and a display screen
DE102018102926A1 (de) 2017-08-10 2019-02-14 Omron Corporation Bildverarbeitungssystem, Einstellungsunterstützungsvorrichtung und Einstellungsunterstützungsprogramm
CN110118787A (zh) * 2018-02-07 2019-08-13 欧姆龙株式会社 图像检查装置以及照明装置
EP3531344A1 (en) 2018-02-26 2019-08-28 OMRON Corporation Image processing system and setting method
US10412810B2 (en) 2017-08-10 2019-09-10 Omron Corporation Setting support apparatus, image processing system, and non-transitory computer-readable recording medium
CN111643054A (zh) * 2014-02-27 2020-09-11 直观外科手术操作公司 用于镜面反射检测和减少的系统和方法
CN112385328A (zh) * 2018-07-12 2021-02-19 株式会社富士 模板生成装置及元件安装机
CN112867906A (zh) * 2018-10-23 2021-05-28 株式会社富士 元件数据、元件数据生成方法以及元件安装机
WO2022176686A1 (ja) * 2021-02-22 2022-08-25 パナソニックIpマネジメント株式会社 異物を検出する方法および装置
WO2022180663A1 (ja) * 2021-02-24 2022-09-01 株式会社Fuji 異物検出装置および異物検出方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62194444A (ja) * 1986-02-17 1987-08-26 Omron Tateisi Electronics Co 部品実装基板検査装置
JP2002296016A (ja) * 2001-03-29 2002-10-09 Sumitomo Bakelite Co Ltd プリント回路板の保護層形状認識方法及び検査方法
JP2006047290A (ja) * 2004-06-30 2006-02-16 Omron Corp 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62194444A (ja) * 1986-02-17 1987-08-26 Omron Tateisi Electronics Co 部品実装基板検査装置
JP2002296016A (ja) * 2001-03-29 2002-10-09 Sumitomo Bakelite Co Ltd プリント回路板の保護層形状認識方法及び検査方法
JP2006047290A (ja) * 2004-06-30 2006-02-16 Omron Corp 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026073A1 (ja) * 2010-08-26 2012-03-01 パナソニック株式会社 部品実装用装置および撮像用の照明装置ならびに照明方法
CN102714933A (zh) * 2010-08-26 2012-10-03 松下电器产业株式会社 部件安装装置、成像用的照明装置和照明方法
US9036022B2 (en) 2010-08-26 2015-05-19 Panasonic Intellectual Property Management Co., Ltd. Component mounting apparatus, illuminating apparatus used in imaging and illuminating method
WO2012026072A1 (ja) * 2010-08-26 2012-03-01 パナソニック株式会社 部品実装用装置および撮像用の照明装置ならびに照明方法
JP2012063245A (ja) * 2010-09-16 2012-03-29 Nitto Denko Corp 検査装置、および、配線回路基板の製造方法
DE112013002321B4 (de) * 2012-03-08 2017-04-13 Omron Corp. Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben, Programm und Prüfsystem
WO2013132913A1 (ja) * 2012-03-08 2013-09-12 オムロン株式会社 画像処理装置、その制御方法、プログラム、および検査システム
JP2013185994A (ja) * 2012-03-08 2013-09-19 Omron Corp 画像処理装置およびその制御方法
CN104160242A (zh) * 2012-03-08 2014-11-19 欧姆龙株式会社 图像处理装置、其控制方法、程序以及检查系统
US9752994B2 (en) 2012-03-08 2017-09-05 Omron Corporation Image processing device, method for controlling same, program, and inspection system
JP2014048276A (ja) * 2012-09-04 2014-03-17 Toshiba Corp 領域特定装置、方法、及びプログラム
US10060859B2 (en) 2013-04-02 2018-08-28 Koh Young Technology Inc. Method of inspecting foreign substance on substrate
JP2016519768A (ja) * 2013-04-02 2016-07-07 コー・ヤング・テクノロジー・インコーポレーテッド 基板の異物質検査方法
JP2015106603A (ja) * 2013-11-29 2015-06-08 スタンレー電気株式会社 部品装着用光照射撮像装置
US9640142B2 (en) 2013-12-19 2017-05-02 Samsung Electronics Co., Ltd. Apparatus for detecting region of interest and method thereof
CN111643054A (zh) * 2014-02-27 2020-09-11 直观外科手术操作公司 用于镜面反射检测和减少的系统和方法
JP2016178159A (ja) * 2015-03-19 2016-10-06 日本電気株式会社 識別装置、識別方法およびトレーサビリティシステム
US9734433B1 (en) * 2015-03-25 2017-08-15 Amazon Technologies, Inc. Estimating photometric properties using a camera and a display screen
US10412810B2 (en) 2017-08-10 2019-09-10 Omron Corporation Setting support apparatus, image processing system, and non-transitory computer-readable recording medium
DE102018102926A1 (de) 2017-08-10 2019-02-14 Omron Corporation Bildverarbeitungssystem, Einstellungsunterstützungsvorrichtung und Einstellungsunterstützungsprogramm
CN109387510B (zh) * 2017-08-10 2021-07-09 欧姆龙株式会社 图像处理系统、设定辅助装置及计算机可读记录介质
US10412310B2 (en) 2017-08-10 2019-09-10 Omron Corporation Image processing system, setting assistance device, and non-transitory computer-readable media
CN109387510A (zh) * 2017-08-10 2019-02-26 欧姆龙株式会社 图像处理系统、设定辅助装置及计算机可读记录介质
US10761405B2 (en) 2018-02-07 2020-09-01 Omron Corporation Image inspection device and illumination device
CN110118787A (zh) * 2018-02-07 2019-08-13 欧姆龙株式会社 图像检查装置以及照明装置
EP3524966A1 (en) * 2018-02-07 2019-08-14 Omron Corporation Image inspection device and illumination device
CN110118787B (zh) * 2018-02-07 2022-01-18 欧姆龙株式会社 图像检查装置
EP3531344A1 (en) 2018-02-26 2019-08-28 OMRON Corporation Image processing system and setting method
US10863069B2 (en) 2018-02-26 2020-12-08 Omron Corporation Image processing system and setting method
CN112385328A (zh) * 2018-07-12 2021-02-19 株式会社富士 模板生成装置及元件安装机
CN112867906A (zh) * 2018-10-23 2021-05-28 株式会社富士 元件数据、元件数据生成方法以及元件安装机
WO2022176686A1 (ja) * 2021-02-22 2022-08-25 パナソニックIpマネジメント株式会社 異物を検出する方法および装置
WO2022180663A1 (ja) * 2021-02-24 2022-09-01 株式会社Fuji 異物検出装置および異物検出方法
JP7473735B2 (ja) 2021-02-24 2024-04-23 株式会社Fuji 異物検出装置および異物検出方法

Also Published As

Publication number Publication date
JP5239314B2 (ja) 2013-07-17

Similar Documents

Publication Publication Date Title
JP5239314B2 (ja) 物体認識方法およびこの方法を用いた基板外観検査装置
JP6945245B2 (ja) 外観検査装置
US7505149B2 (en) Apparatus for surface inspection and method and apparatus for inspecting substrate
KR100777547B1 (ko) 결함 검사 방법 및 그 방법을 이용한 결함 검사 장치
TW583389B (en) A surface conduction examination method and a substrate examination device
JP4389982B2 (ja) 基板外観検査装置
US9075026B2 (en) Defect inspection device and defect inspection method
KR950000331B1 (ko) 물체의 표면형상패턴 검사방법 및 장치
US7355692B2 (en) System and method for inspecting electrical circuits utilizing reflective and fluorescent imagery
JPH06323824A (ja) バンプ外観検査方法およびバンプ外観検査装置
JP5399205B2 (ja) 被検査体の検査装置、及び電子基板の位置補正装置
JPH0797022B2 (ja) 形状測定装置、形状測定方法、および形状測定装置の校正方法
JP3197443B2 (ja) 半田付け検査方法と穴空き並びにリード抜け検査方法
JP2000009655A (ja) 外観検査装置
JP2009008502A (ja) 表面状態検査のための情報登録方法および表面状態検査装置
JP2008216180A (ja) 表面状態検査方法および表面状態検査装置
JP2006251561A (ja) 欠陥画素リペア方法
JP3599023B2 (ja) はんだ検査方法およびこの方法を用いた基板検査装置
JP2002250700A (ja) パターン検査方法およびその装置
JP2008292398A (ja) 部品電極の浮き不良の検査方法および基板検査装置
JP4967132B2 (ja) 対象物表面の欠陥検査方法
JP2016157720A (ja) ボンディングワイヤの検出方法及びボンディングワイヤの検出装置
JP4315899B2 (ja) 表面検査方法及び表面検査装置
JP3249216B2 (ja) 照明装置の照度確認方法
WO2018146887A1 (ja) 外観検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5239314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250