JP2008227301A - 電子回路部品装着検査方法および装置 - Google Patents

Abstract

【課題】回路基板の電子回路部品の装着箇所を装着前と装着後とに撮像し、装着前画像と装着後画像との比較により装着の良否を判定する装置を改善する。
【解決手段】部品装着前の装着箇所を照明条件を複数種類に変えて撮像し、装着前の画像データを画像処理装置に取り込む（Ｓ１〜Ｓ３）。部品装着後に、入射角０の落射照明での装着後データを取り込み（Ｓ４）、Ｓ１での装着前データとの差分の絶対値｜Δ１｜を、各画素について取得する（Ｓ５）。同様にして、比較的小さい入射角の照明（小入射角照明）での差分の絶対値｜Δ２｜と、大入射角照明での差分の絶対値｜Δ３｜とを取得し、それら差分の絶対値の積算値が基準値Ｒより大きい画素を、電子回路部品の一部に対応する画素であるとして、変化有りデータを作成する（Ｓ１２，Ｓ１１）。変化有りデータの集合に基づいて、予定通りの電子回路部品が予定の位置に正確に装着されたか否かの判定を行う。
【選択図】図３

Description

本発明は、電子回路部品を回路基板に装着して電子回路板を組み立てる際における装着の良否を検査する方法および装置に関するものである。

電子回路板の組立てに際して、電子回路部品が回路基板に装着されたか否か、予定通りの電子回路部品が装着されたか否か、予定通りの位置に正確に装着されたか否か等の検査に撮像装置を用いることが行われている。電子回路板の電子回路部品が装着されるべき箇所である装着箇所を、電子回路部品の装着前と装着後とにおいて撮像し、それによって取得された２つの画像を比較することにより、上記検査の少なくとも１つを行うのである。上記２つの画像を比較するための画像処理を比較画像処理と称することとするが、この処理によれば、一般に、装着の良否を高い信頼性を以て行うことができる。なお、以下において、特に必要がない限り、電子回路部品の装着前を部品装着前、電子回路部品の装着後を部品装着後と略称する。

しかしながら、回路基板と電子回路基板との組合わせによっては、上記比較画像処理が困難である場合がある。例えば、緑色の回路基板の表面に形成された黄色の導電パターンの上に、電子回路部品の橙色のリードを載せた状態で、電子回路部品の本体を接着剤により回路基板に仮止めする際に、電子回路部品が装着箇所に正確に装着されたか否かを検査するために、導電パターンに対するリードの相対位置を取得することが行われるのであるが、導電パターンとリードとが共に金属から成り、色が似ているために、導電パターンとリードとを識別すること、例えば、導電パターン上にあるリードの輪郭線を取得することが困難な場合があるのである。また、回路基板の導電パターンに灰色のクリーム状はんだが印刷されており、その上に装着される電子回路部品の電極も灰色で、明るさも似ている場合があり、この場合にもはんだと電極とを識別することが困難である。

この問題の解決策の一つが下記特許文献１に記載されている。部品装着前と部品装着後とにおける装着箇所の画像を取得するためのカメラを、Ｒ（レッド），Ｇ（グリーン）およびＢ（ブルー）の三原色の成分に分解して出力可能なものとし、その分解された三原色の各々に対応する画像の各画素について、部品装着前と部品装着後とにおける受光量を表す階調の差分の論理和を取るのである。例えば、前述のように、導電パターンとリードとの色が似ている場合でも、それらの三原色成分の画像を取れば、それら画像のどれかについては階調の差がある程度大きくなることが多い。また、各画素の階調の差の論理和を取れば、三原色成分の画像のいずれに関して部品装着前と部品装着後とにおける差分が設定値を超えれば、その画素に対応する位置では部品装着前と部品装着後とで受光量が変化した、すなわちその画素に対応する点には電子回路部品の一部が存在する状態となったと見ることができ、導電パターン上にあるリードの輪郭線を確実に取得することが可能になるのである。
特開２０００−３４９４９９

しかし、この電子回路部品装着検査方法にはまだ改良の余地がある。上記特許文献１に記載の方法では、回路基板上における電子回路部品の輪郭線を取得することが難しい場合でも、取得を可能にする方法があるのである。本発明は、この発見に基づいて、電子回路部品装着検査方法および装置の実用性をさらに高めることを課題として為されたものである。

上記課題は、電子回路部品装着検査方法を、(a)回路基板の電子回路部品が装着されるべき箇所を、電子回路部品の装着前と装着後とにおいて、それぞれ複数種類に異なる条件で撮像する撮像工程と、(b)その撮像工程において取得した複数の画像の互いに対応する多数の点の各々に関して、各種類の撮像条件における装着前と装着後との画像データの差分の符号を揃えた上で、それら符号を揃えたものの積算値を取得し、それら積算値に対応する画像に基づいて装着作業の良否を判定する判定工程を含むものとすることにより解決される。

また、上記課題は、電子回路部品装着検査装置を、(a)回路基板の電子回路部品が装着されるべき箇所である装着箇所を照明する照明装置と、(b)前記装着箇所を撮像する撮像装置と、(c)それら照明装置と撮像装置とを制御する撮像制御装置と、(d)その撮像制御装置の制御により前記撮像装置により撮像された前記装着箇所の画像のデータを処理する画像処理部と、(e)その画像処理部の処理結果に基づいて前記電子回路部品の前記回路基板に対する装着の良否を判定する判定部とを含み、前記撮像制御装置が、(i)前記電子回路部品の装着前に前記装着箇所を複数種類に異なる条件で撮像させる装着前撮像制御部と、(ii)前記電子回路部品の装着後に前記装着箇所を前記複数種類に異なる条件で撮像させる装着後撮像制御部とを含むものとするとともに、前記画像処理部を、前記装着前撮像制御部の制御により取得された複数の画像の多数の点の各々の画像データと、前記装着後撮像制御部の制御により取得された複数の画像の前記多数の点の各々に対応する点の画像データとの差分の符号を揃えた上で、それら符号を揃えたものの積算値を前記多数の点の各々について取得し、それら積算値に対応する画像データである積算画像データを取得する積算画像データ取得部を含むものとし、前記判定部を、その積算画像データ取得部により取得された積算画像データに基づいて前記装着作業の良否を判定する積算画像データ依拠判定部を含むものとすることにより解決される。

上記方法発明によれば、従来検査が困難であった回路基板と電子回路部品との組合わせについても、装着の良否を検査することが可能になり、上記装置発明によれば、方法発明の実施に好適な装置が得られる。
本発明に従って、複数種類の撮像条件の各々について、部品装着前と部品装着後とにおける装着箇所の画像データの差分の符号を揃えた上で、それら符号を揃えたものの積算値を取得すれば、前記従来技術におけるように論理和を取得する場合に比較して、部品装着前と部品装着後との画像データの違いが強調されるからである。
前記従来技術におけるように、差分の論理和を取得する際には、例えば、画像内の注目点（１つの画素でも、複数の画素の集合でも、１つの画素より小さい間隔で仮想される離散点でもよい）の画像データの差分の絶対値を設定値と比較し、前者が後者より大きい場合に１、小さい場合に０とし、いずれかの撮像条件について１であれば、論理和が１とされる。差分の絶対値が取られるのは、部品装着前と部品装着後との画像データのいずれが大きくても問題ではなく、両者の画像データにある程度以上の違いがあれば、部品装着前と部品装着後との間に明らかな変化があったと言い得るからである。差分が正の設定値より大きいか、あるいは負の設定値より小さいかのいずれかの条件が満たされるか否かが判定されるようにすることも可能であるが、差分の絶対値が正の設定値より大きいか否かが判定されるようにする方が、簡単な処理で同じ結果が得られるのである。
しかし、差分の論理和に基づいて判定を行うということは、前述のように、複数の撮像条件のいずれかについて、画像内の注目点の、複数の撮像条件の各々についての部品装着前と部品装着後との画像データに明らかに変化があったと言い得るか否かを見るということであり、差分の絶対値が設定値を超えるか否かを見ることになる。したがって、例えば、複数の撮像条件のうちの２つについて差分の絶対値が設定値に近い大きさになっても、いずれかが設定値を超えない限り、明らかに変化があったとはされない。

それに対し、差分の符号を揃えたものの積算値を取れば、例えば、差分の絶対値の積算値あるいは差分の２乗の積算値を取れば、たとえ差分の各々については設定値を超えない場合でも、積算値は設定値を超える場合が多い。例えば、２つの撮像条件について差分の絶対値が設定値の１／２より大きければ、それらの積算値は設定値を超えるのであり、実際上も、複数の撮像条件について、各々の差分の絶対値は設定値よりは小さいが、それぞれの撮像条件についてある程度の差分が生じれば、部品装着前と部品装着後とにおいて着目点の状況が変わったと見てよいことが多いのである。

なお、上記積算値を取る際に差分の絶対値を取る理由は、前記論理和を取る際に差分の絶対値を取る理由とは異なる。すなわち、単純に複数の差分の積算値を取ると、例えば、一つの撮像条件についての差分が正の値であり、別の撮像条件についての差分が負の値であった場合に、それぞれの撮像条件おける画像データには相当の違いがあるにもかかわらず、正と負との差分が打ち消し合ってしまい、部品装着前と部品装着後とで明らかな変化があったとは言えないことになってしまうのを避けるためなのである。
さらに付言すれば、論理和を取る際に画像データと比較すべき設定値である第１設定値と、差分の符号を揃えたものの積算値と比較すべき設定値である第２設定値とは同じとしてもよいが、異ならせることも可能であり、むしろ第２設定値を第１設定値よりある程度大きくすることが妥当である。ただし、第２設定値を、積算値が取られる差分の個数と第１設定値との積まで大きくする必要はなく、その積より小さい値に設定すればよい。したがって、概して、上記積と第２設定値との差に相当する分だけ、本発明による方が、前記従来技術による場合に比較して、部品装着前と部品装着後との間に明らかに変化があったと見ることができる機会が増えることとなる。

発明の態様

以下に、本願において特許請求が可能と認識されている発明（以下、「請求可能発明」という場合がある。請求可能発明は、少なくとも、請求の範囲に記載された発明である「本発明」ないし「本願発明」を含むが、本願発明の下位概念発明や、本願発明の上位概念あるいは別概念の発明を含むこともある。）の態様をいくつか例示し、それらについて説明する。各態様は請求項と同様に、項に区分し、各項に番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、あくまでも請求可能発明の理解を容易にするためであり、請求可能発明を構成する構成要素の組み合わせを、以下の各項に記載されたものに限定する趣旨ではない。つまり、請求可能発明は、各項に付随する記載，実施例の記載，従来技術等を参酌して解釈されるべきであり、その解釈に従う限りにおいて、各項の態様にさらに他の構成要素を付加した態様も、また、各項の態様から構成要素を削除した態様も、請求可能発明の一態様となり得るのである。

なお、以下の各項において、（１）項が請求項１に相当し、（２）項が請求項２に、（３）項が請求項３に、（６）項が請求項４に、（９）項が請求項５に、（１０）項が請求項６に、（１２）項が請求項７に、（１３）項が請求項８にそれぞれ相当する。

（１）回路基板の電子回路部品が装着されるべき箇所を、電子回路部品の装着前と装着後とにおいて、それぞれ複数種類に異なる条件で撮像する撮像工程と、
その撮像工程において取得した複数の画像の互いに対応する多数の点の各々に関して、各種類の撮像条件における装着前と装着後との画像データの差分の符号を揃えた上で、それら符号を揃えたものの積算値を取得し、それら積算値に対応する画像に基づいて装着作業の良否を判定する判定工程と
を含む電子回路部品装着検査方法。
（２）部品装着前と部品装着後との画像データの差分の絶対値を取得することによりそれら差分の符号を揃える(1)項に記載の電子回路部品装着検査方法。
（３）部品装着前と部品装着後との画像データの差分を２乗することによりそれら差分の符号を揃える(1)項に記載の電子回路部品装着検査方法。
部品装着前と部品装着後との画像データの差分の符号が揃えられるとともに、差分の値が大きくされ、回路基板の像（例えば導電パターンの像）と電子回路部品の像との差を一層明確に認識可能となる。
上記「絶対値の取得」および「２乗」は符号を揃える手段の代表的なものであるが、これら以外の数学的手段を採用することも可能である。
（４）前記撮像工程における前記複数種類に異なる撮像条件が、前記電子回路部品が装着されるべき箇所を照明する照明光の方向が複数種類に異なることと、前記照明光の波長成分が複数種類に異なることとの少なくとも一方を含む(1)項ないし(3)項のいずれかに記載の電子回路部品装着検査方法。
装着箇所を照明する照明光の方向を変えれば、装着箇所から撮像装置の撮像面の各点への反射光の強さが変化する。入射方向を異にする照明光の反射光の強さが、装着箇所内の各点における反射面の向きや、光沢の有無によって変化するのである。したがって、回路基板と電子回路部品との表面の違いにより、複数の方向から照射される照明光の各々に対応して取得される画像データに違いが生じ、部品装着前と部品装着後とで注目点の状況が明らかに変わったとし得る可能性が高くなる。
また、照明光の波長成分を複数種類に変えれば、回路基板と電子回路部品との各々の部分からの反射光の波長成分の割合が変わる。したがって、波長成分が異なる照明光によって撮像された複数の画像データに基づけば、部品装着前と部品装着後とで注目点の状況が明らかに変わったとし得る可能性が高くなる。
（５）前記撮像工程における前記複数種類に異なる撮像条件が、前記撮像を行う撮像装置を複数の波長成分に対する感度が互いに異なる状態とすることを含む(1)項ないし(4)項のいずれかに記載の電子回路部品装着検査方法。
撮像装置の複数の波長成分に対する感度を異ならせるためには、例えば、(a)撮像装置を、共通のカメラとそのカメラに向かって通過させる光の波長成分を変える１つ以上のフィルタとを含むものとしたり、(b)撮像装置を、互いに異なる波長の光に対して特に高い感度を有する受光素子とそれら受光素子からの信号を個別に出力する出力回路とを備えたカメラを含むものとしたり、(c)複数の波長成分に対する感度を互いに異にする複数の撮像装置を使用したりすることができる。
（６）回路基板の電子回路部品が装着されるべき箇所である装着箇所を照明する照明装置と、
前記装着箇所を撮像する撮像装置と、
それら照明装置と撮像装置とを制御する撮像制御装置と、
その撮像制御装置の制御により前記撮像装置により撮像された前記装着箇所の画像のデータを処理する画像処理部と、
その画像処理部の処理結果に基づいて前記電子回路部品の前記回路基板に対する装着の良否を判定する判定部と
を含み、前記撮像制御装置が、
前記電子回路部品の装着前に前記装着箇所を複数種類に異なる条件で撮像させる装着前撮像制御部と、
前記電子回路部品の装着後に前記装着箇所を前記複数種類に異なる条件で撮像させる装着後撮像制御部と
を含み、
前記画像処理部が、前記装着前撮像制御部の制御により取得された複数の画像の多数の点の各々の画像データと、前記装着後撮像制御部の制御により取得された複数の画像の前記多数の点の各々に対応する点の画像データとの差分の符号を揃えた上で、それら符号を揃えたものの積算値を前記多数の点の各々について取得し、それら積算値に対応する画像データである積算画像データを取得する積算画像データ取得部を含み、
前記判定部が、その積算画像データ取得部により取得された積算画像データに基づいて前記装着作業の良否を判定する積算画像データ依拠判定部を含む電子回路部品装着検査装置。
（７）前記画像処理部が、前記多数の点の各々に対応する画像データの差分の絶対値を取得することによりそれら差分の符号を揃える(6)項に記載の電子回路部品装着検査装置。
（８）前記画像処理部が、前記多数の点の各々に対応する画像データの差分を２乗することによりそれら差分の符号を揃える(6)項に記載の電子回路部品装着検査装置。
（９）前記照明装置が、前記電子回路部品が装着されるべき箇所を照明する照明光の方向を複数種類に異ならせることと、前記照明光の波長成分を複数種類に異ならせることとの少なくとも一方が可能なものであり、そのことによって、前記撮像工程における前記複数種類に異なる撮像条件が実現される(6)項ないし(8)項のいずれかに記載の電子回路部品装着検査装置。
（１０）前記照明装置が、前記装着箇所に対する入射角を互いに異にする照明光をそれぞれ放射する複数の照明器を含み、前記装着前撮像制御部および前記装着後撮像制御部が、前記複数の照明器を順次作動させ、その作動毎に前記撮像装置に電子回路部品の装着前の前記装着箇所および装着後の前記撮像箇所を撮像させる(6)項ないし(9)項のいずれかに記載の電子回路部品装着検査装置。
（１１）前記複数の照明器が、前記回路基板と前記装着箇所において直交する直線に沿って照明光を放射する落射照明器を含む(10)項に記載の電子回路部品装着検査装置。
（１２）前記複数の照明器が、前記回路基板と前記装着箇所において直交する直線を中心とする１つ以上の円周上から前記装着箇所に照明光を放射する１つ以上の傾斜照明器をを含む(10)項または(11)項に記載の電子回路部品装着検査装置。
（１３）前記傾斜照明器が、前記円周に沿って配設された円環状の環状光源を含む(12)項に記載の電子回路部品装着検査装置。
（１４）前記傾斜照明器が、前記円周を複数に等分する複数の等分点からそれぞれ照明光を放射する複数の方位光源を含む(12)項または(13)項に記載の電子回路部品装着検査装置。
本項が(13)項に従属する場合には、環状光源と方位光源とが共に設けられることとなる。その場合、環状光源と方位光源とは、同じ撮像箇所に対して共に使用されるようにしてもよく、撮像対象（回路基板や電子回路部品の種類）等に合わせて選択的に使用されるようにしてもよい。

以下、請求可能発明の実施例を図を参照しつつ説明する。なお、請求可能発明は、下記実施例の他、上記〔発明の態様〕の項に記載された態様を始めとして、当業者の知識に基づいて種々の変更を施した態様で実施することができる。

図２に、請求可能発明の一実施例としての電子回路部品装着検査装置１を概念的に示す。
この電子回路部品装着検査装置１は、図１に示す電子回路部品装着機（以下、装着機と略称する）の一部として構成されている。装着機は、それぞれ複数種類の電子回路部品を供給するトレイ型部品供給装置２，フィーダ型部品供給装置３と、回路基板１８を保持する基板保持装置４と、部品供給装置２，３から電子回路部品を受け取って、基板保持装置４に保持された回路基板１８装着する装着装置５とを含んでいる。装着装置５は、可動部材６とそれをＸ−Ｙ平面上の任意の位置へ移動させる移動装置７と、可動部材６に保持された装着ヘッド８とを備えている。装着機は、コンピュータを主体として構成された制御装置９により制御される。

上記可動部材６には図２に示す撮像装置１０が保持されている。撮像装置１０はカメラ１２，光学系１４および照明装置１６を含んでいる。カメラ１２は二次元ＣＣＤカメラであり、照明装置１６により照明される回路基板１８の装着箇所を撮像する。図２においては装着箇所に装着された電子回路部品のリード２０と回路基板１８の導電パターン２２とが代表的に、誇張して図示されており、以下、これらリード２０と導電パターン２２との撮像について説明する。カメラ１２は画像処理装置２４に接続されており、その画像処理装置２４には判定装置２６が接続されている。

照明装置１６は、落射照明器３２，小入射角照明器３４および大入射角照明器３６を含んでいる。落射照明器３２は、点光源４２と、図示を省略する光学系と、ハーフミラー４４とを備えており、点光源４２から放射された光が光学系により平行光に変換され、ハーフミラー４４で９０度方向を変えられて、装着箇所を真上から照明する。すなわち、装着箇所の中心において回路基板１８の表面と直交する直線である撮像中心線４６に沿って、その撮像中心線４６に平行な照明光を下向きに放射するのである。
小入射角照明器３４および大入射角照明器３６は、それぞれ円環状の環状光源５０，５２を備えている。環状光源５０，５２は、前記撮像中心線４６を中心とし、互いに直径を異にする２つの円周上に配置されており、小入射角照明器３４は入射角の小さい照明光を撮像箇所に向かって放射し、大入射角照明器３６は入射角の大きい照明光を撮像箇所に向かって放射する。点光源４２，環状光源５０，５２はいずれも白色光源である。

カメラ１２は、多数の受光素子が二次元面上に配列形成された撮像面を有する二次元ＣＣＤカメラであり、各受光素子の出力信号を画像処理装置２４に供給する。画像処理装置２４は多数の受光素子からの出力信号に基づいて、各受光素子の受光量に対応する階調値（撮像対象点の明るさを表す）の集合である仮想的な二次元画像を形成する。本実施例においてはこの二次元画像を表す階調値が画像データなのであるが、この画像データが判定装置２６に送られ、判定装置２６はその画像データに基づいて、電子回路部品の装着の良否を判定する。画像処理装置２４および判定装置２６はそれぞれコンピュータを主体として構成されており、それらコンピュータにはそれぞれ図３および図４のフローチャートで表される画像処理ルーチンおよび判定ルーチンが記憶されていて、それらの実行により上記画像処理および判定が行われるのである。なお、画像処理装置２４および判定装置２６は共通のコンピュータにより一体的に構成することも可能である。

まず、電子回路部品装着検査のための撮像について説明する。前述のように、トレイ型あるいはフィーダ型の部品供給装置２，３から供給される複数の電子回路部品は、装着装置５により回路基板１８の予め定められた複数の装着箇所に予め定められた順次で装着されるが、それらの装着箇所が装着の前と後とに撮像装置１０により撮像される。部品装着前と部品装着後とのそれぞれにおいて、制御装置９の制御により撮像装置１０が装着箇所の真上に位置させられ、落射照明器３２，小入射角照明器３４および大入射角照明器３６が順次作動させられて各照明が行われ、それら照明の実行毎に撮像装置１０による撮像が行われるのである。この撮像のためのプログラムは、部品装着プログラムの一部として作成され、制御装置９のＲＡＭに格納されており、この撮像制御プログラムの制御装置９における実行に伴って、画像処理装置２４において図３の画像処理ルーチンが実行される。

ステップ１（Ｓ１で表す。他のステップについても同様。）において、落射照明器３２の照明により撮像された部品装着前の装着箇所の、１つの画像（装着前画像と称する）の画像データの集合である装着前データが、撮像装置１０から画像処理装置２４に取り込まれて記憶される。この装着前データは、撮像装置２０の多数の受光素子の各々の受光量が２５６階調で表された階調値である画像データの集合である。続いて、Ｓ２，Ｓ３が同様に実行され、それぞれ照明条件を互いに異にする１つずつの装着前画像の画像データである装着前データが取り込まれ、記憶される。
その後、装着機においては電子回路部品の装着および部品装着後の装着箇所の撮像が行われるが、その撮像の結果得られる３つの装着後画像の画像データの集合である装着後データの各々がＳ４，Ｓ６およびＳ８において画像処理装置２４に取り込まれ、Ｓ５，Ｓ７およびＳ９において、各画像内の多数の点の各々について画像データとしての階調値の差分の絶対値｜Δ１｜，｜Δ２｜および｜Δ３｜が演算され、各点に対応付けて記憶される。

なお、上記多数の点は、受光素子の配列ピッチに対応する画素ピッチより小さい間隔で想定される多数の点とすることも可能である。例えば、特開平１１−２１１４２０号公報に記載されているように、多数の受光素子の各々に対応する多数の画素により規定される物理画面に対して、画素の配列ピッチより小さいピッチで配列される多数の点の集合で規定される仮想画面が想定され、仮想画面上における各点の階調値が、それら各点の近傍における複数の画素の階調値に基づく線形補間演算により取得されるようにすることが可能なのである。
しかし、ここでは単純化のために、多数の画素の各中心点が上記多数の点とされているものとする。したがって、上記差分の絶対値｜Δ１｜，｜Δ２｜および｜Δ３｜は画素毎に取得されることとなる。

以上のようにして、差分の絶対値｜Δ１｜，｜Δ２｜および｜Δ３｜が取得された後、Ｓ１０において、画素の１つについて差分の絶対値の積算値｜Δ１｜＋｜Δ２｜＋｜Δ３｜が演算され、その積算値が予め定められた基準値Ｒ以上であるか否かが判定される。そして、積算値が基準値Ｒ以上で、判定結果がＹＥＳであればＳ１１において、装着の前後の階調値に明らかな違いがあることを示す「変化有りデータ」が作成され、基準値Ｒより小さければ、装着の前後の階調値に明らかな違いはないことを示す「変化なしデータ」が作成される。ここでは、変化有りデータが１、変化なしデータが０であるとする。その後、Ｓ１３において、すべての画素についてのＳ１０〜１２の処理が済んだか否かが判定され、済んでいなければ、対象画素を変えてＳ１０以降が実行され、済んでいれば１回の画像処理ルーチンの実行が終了させられる。

上記基準値Ｒは以下のことを考慮して設定される。
各画素における差分の絶対値｜Δ１｜は、落射照明による装着前画像の画像データ、すなわち回路基板１８の装着箇所の電子回路部品が装着される前の状態の画像の一画素における階調値と、同じ落射照明による装着後画像の画像データ、すなわち同じ装着箇所の電子回路部品の装着動作が行われた後における同じ画素の階調値との差の絶対値である。したがって、ある画素の差分の絶対値｜Δ１｜がある程度の大きさを有する場合には、その画素に対応する点において、部品装着前と部品装着後とで階調値にある程度の違いが生じた、すなわちその画素に対応する点に電子回路部品の一部が存在する状態に変わったとしてよいことになる。

しかし、前記従来技術におけるように、１つの照明条件で階調値に明らかに違いが生じたとする場合には、差分の絶対値｜Δ１｜と比較すべき第１設定値はかなり大きな値に設定しないと、実際には電子回路部品の装着によって、その画素に対応する点に電子回路部品の一部が存在する状態に変わったわけではないのに、変わったとの誤った判断が為されてしまう恐れがある。かと言って、第１設定値を大きく設定し過ぎると、実際にはその画素に対応する点に電子回路部品の一部が存在する状態に変わったにもかかわらず、変わっていないと判断されてしまう危険が生じる。これら両方の誤った判断を良好に回避し得る第１設定値を決定することは、かなり難しいのである。
それに対し、本実施例においては、差分の絶対値の積算値｜Δ１｜＋｜Δ２｜＋｜Δ３｜は比較的容易に上記第１設定値を超える。例えば、差分の絶対値｜Δ１｜，｜Δ２｜，｜Δ３｜の各々は第１設定値以下であっても、｜Δ１｜，｜Δ２｜，｜Δ３｜のうちの２つの値が第１設定値の１／２より大きい場合、あるいは３つの値が第１設定値の１／３より大きい場合には、積算値｜Δ１｜＋｜Δ２｜＋｜Δ３｜は第１設定値を超えるのである。また、｜Δ１｜，｜Δ２｜，｜Δ３｜のうちの２つのいずれか一方が第１設定値の１／２より小さくても、他方が第１設定値に近い大きさであれば両者の和（積算値）はやはり第１設定値を超える。
本発明の効果が特に大きいのは、｜Δ１｜，｜Δ２｜，｜Δ３｜のうちの２つの値が第１設定値の１／２よりやや大きい場合や、３つの値が第１設定値の１／３よりやや大きい場合であり、このような場合に、前記従来技術において、ある画素の状況が電子回路部品の装着によって変わったと判断されるようにするためには、第１設定値を１／２あるいは１／３にせざるを得ず、変わっていないのに変わったと誤った判断が為される危険が大きくなってしまうのに対し、本実施例においては第２設定値を第１設定値と同じ大きさに設定しても、ある画素の状況が変わったと判断され、しかも、状況が変わっていないのに変わったと判断されてしまう危険は殆ど大きくならないのである。

これは１つの情報によってある現象が生じたと判断することは危険な場合でも、同様な情報が複数ある場合には、ある現象が生じたと判断しても危険はないことが多いのと似ている。
したがって、差分の絶対値の積算値｜Δ１｜＋｜Δ２｜＋｜Δ３｜と比較すべき第２設定値を第１設定値と同じ大きさに設定した場合でも、実際にある画素に対応する点に電子回路部品の一部が存在する状態に変わった場合には、状況が変わったと判断される可能性が高くなり、しかも、その判断が誤ったものである危険性は低い。また、第２設定値を第１設定値よりある程度大きく設定しても、なお、実際には状況が変わったにもかかわらず、変わっていないと判断されてしまう危険はそれほど高くならない。しかも、実際には状況が変わっていないにもかかわらず、変わったと判断されてしまう危険が低くなる。
つまり、前記両方の誤った判断を回避し得る第２設定値の決定は、第１設定値の決定に比較して容易なのであり、その分、ある画素に対応する点に電子回路部品の一部が存在する状態に変わったか、変わらないかの判断の信頼性が向上する。

図３の画像処理ルーチンの実行により取得された処理後データが判定装置２６に供給され、判定装置２６において、図４の判定ルーチンの実行により部品装着の良否が判定される。この判定は、上記画像処理ルーチンの実行により作成された処理後データ、すなわち多数の画素についての変化有りデータと変化なしデータとの集合に基づいて行われる。
まず、Ｓ２１において、電子回路部品が装着箇所に装着されたか否かが判定される。この判定は、例えば、変化有りデータの和が有無判定しきい値より大きいか否かにより行われる。有無判定しきい値は、１枚の回路基板に装着される電子回路部品のうちの複数ずつあるいは全部に共通の値とすることも可能であるが、本実施例においては、各電子回路部品毎に個別の値が予め設定されており、それらの値が使用される。変化有りデータの和が有無判定しきい値より小さく、Ｓ２１の判定結果がＮＯであれば、Ｓ２２において電子回路部品が装着されなかったことを示す「部品なし」の表示が判定装置２６のディスプレイに行われるとともに、ブザーあるいは警告灯の作動により作業者に報知され、かつ、装着機が停止させられる。なお、装着機は停止させられず、自動で装着のやり直しが行われるようにすることも可能である。

Ｓ２１の判定結果がＹＥＳの場合には電子回路部品が装着されたとして、Ｓ２３において、その電子回路部品が予定のものであるか否かの判定が行われる。変化有りデータに対応する画素の集合に対応する領域の形状が、その装着箇所に装着されるべき電子回路部品の形状として予め記憶させられている形状と比較され、装着された電子回路部品であるか否かが判定されるのである。判定結果がＮＯであれば、Ｓ２４において、装着された電子回路部品が予定されたものではないことを表す「部品違い」の表示が判定装置２６のディスプレイに行われるとともに、ブザーあるいは警告灯による作業者への報知、および装着機の停止が行われる。

Ｓ２３の判定結果がＹＥＳであれば、Ｓ２５において、電子回路部品の装着位置誤差が取得され、位置誤差が公差以上であればＳ２６において、その旨を表す「位置ずれ大」の表示、ブザーあるいは警告灯による作業者への報知、ならびに装着機の停止が行われる。Ｓ２５の判定結果がＹＥＳであれば、予定の電子回路部品が予定の装着箇所に正確に装着されたとして、判定ルーチンの１回の実行が終了させられる。

本実施例においては、前述のように、落射照明，小入射角照明および大入射角照明と、互いに条件を異にする３種類の照明により撮像された装着前画像と装着後画像との階調値の差分Δ１，Δ２およびΔ３の絶対値の積算値｜Δ１｜＋｜Δ２｜＋｜Δ３｜に基づく比較画像処理により、電子回路部品が装着されたか否か、装着された電子回路部品が予定通りのものであるか否か、および装着位置誤差が公差範囲内か否かという「電子回路部品の装着の良否」判定が行われる。そのため、例えば、図５に示すように、回路基板１８の導電パターンと電子回路部品の一種であるＩＣチップのリードとが非常に近い明るさ（階調値）を有する場合でも、リードの形状を明瞭に検出することができ、装着の良否を高い信頼性を以て判定することができる。

図５は、導電パターンが光を乱反射させる散乱性の表面を有し、リードが殆どの光を正反射させる光沢性の表面を有し、共に似た明るさを有するものである場合の例を示している。
いま、
Ａ１：落射照明による装着前画像の階調値
Ｂ１：小入射角照明による装着前画像の階調値
Ｃ１：大入射角照明による装着前画像の階調値
Ａ２：落射照明による装着後画像の階調値
Ｂ２：小入射角照明による装着後画像の階調値
Ｃ２：大入射角照明による装着後画像の階調値
とすれば、導電パターン２２については、装着前画像と装着後画像とで変化がないため、Δ１＝Ａ２−Ａ１＝１２０−１２０，Δ２＝Ｂ２−Ｂ１＝１００−１００，Δ３＝Ｃ２−Ｃ１＝８０−８０となり、差分の絶対値の積算値｜Δ１｜＋｜Δ２｜＋｜Δ３｜が０となる。
それに対し、リード２０の上面については、Δ１＝Ａ２−Ａ１＝１８０−１２０＝６０，Δ２＝Ｂ２−Ｂ１＝８０−１００＝−２０，Δ３＝Ｃ２−Ｃ１＝４０−８０＝−４０となり、絶対値の積算値が１２０となる。同様に、リード２０の斜面についてはΔ１＝Ａ２−Ａ１＝８０−１２０＝−４０，Δ２＝Ｂ２−Ｂ１＝１８０−１００＝８０，Δ３＝Ｃ２−Ｃ１＝８０−８０＝０となり、絶対値の積算値が１２０となる。すなわち、リード２０については上面および斜面のいずれにおいても差分の絶対値の積算値が１２０となり、例えば、基準値Ｒを６０に設定しておけば、階調値のばらつきを考慮しても、差分の絶対値の積算値が０である導電パターン２２と明瞭に識別できる。
参考のために、単純に差分の積算値を取った場合を、図５の一番右の欄に示すが、導電パターン２２，リード２０の上面およびリード２０の斜面のそれぞれにおける差分の積算値は０，０，−４０となり、リード２０の上面については導電パターン２２と十分な違いがないため識別は不可能であり、リード２０の斜面についても、基準値を６０および−６０としたのでは、導電パターン２２と識別ができない。これは、単純に差分の積算値を取ると、落射照明，小入射角照明および大入射角正面の各々における装着前画像と装着後画像との差分のうち、符号が逆であるものが打ち消し合うため、積算値の絶対値が小さくなってしまうからである。

また、前記特許文献１に記載の発明におけるように、落射照明，小入射角照明および大入射角正面の各々における装着前画像と装着後画像との差分の論理和を取って、導電パターン２２上にリードが載置されたことを検出するためには、リード２０の上面について、前記差分Δ１＝Ａ２−Ａ１＝＝６０，Δ２＝Ｂ２−Ｂ１＝＝−２０，Δ３＝Ｃ２−Ｃ１＝−４０の絶対値の少なくとも１つが設定値Ｒより大きくなることが必要であり、また、リード２０の斜面について、Δ１＝Ａ２−Ａ１＝−４０，Δ２＝Ｂ２−Ｂ１＝８０，Δ３＝Ｃ２−Ｃ１＝０の絶対値の少なくとも１つが設定値Ｒより大きくなることが必要であって、階調値にばらつきがあることを考慮すると、リード２０の斜面については何とか識別できるという程度であり、リード２０の上面については識別できるとは言い難い。
差分の積算値を取る場合と、差分の論理和を取る場合とのいずれと比較しても、本実施例のように差分の絶対値の積算値を取る方が、リード２０と導電パターン２２との識別が容易なのである。

以上の説明から明らかなように、本実施例においては、制御装置９の照明装置１６とカメラ１２とを制御する部分が撮像制御装置を構成している。また、画像処理装置２４により、撮像された装着箇所の画像のデータを処理する画像処理部が構成され、判定装置２６により、装着の良否を判定する判定部が構成されている。上記制御装置９の一部により構成されている撮像制御装置のうち、電子回路部品の装着前に装着箇所を複数種類に異なる条件で撮像させる部分が装着前撮像制御部を構成し、電子回路部品の装着後に装着箇所を複数種類に異なる条件で撮像させる部分が、装着後撮像制御部を構成している。さらに、画像処理装置２４の図３に示す画像処理ルーチンを実行する部分が積算画像データ取得部を構成し、判定装置２６の図４に示す判定ルーチンを実行する部分が積算画像データ依拠判定部を構成している。

上記実施例においては、３種類の照明条件における装着前画像と装着後画像との階調値の差分の符号を揃えるために、各差分の絶対値が取られたのであるが、各差分の２乗が取られるようにしてもよい。前記図５の例において、絶対値を取る代わりに２乗を取った場合を図６に示すが、リード２０の上面については、差分の２乗の積算値が５６００となり、リード２０の斜面については、差分の２乗の積算値が８０００となって、差分の２乗の積算値が０となる導電パターンとの違いが著しく大きくなり、リード２０と導電パターン２２と識別が容易なのである。実際には、階調値にばらつきがあり、そのばらつきに起因する差分のばらつきが生じるため、導電パターン２２についても差分の２乗の積算値のばらつきが相当大きくなるが、それを考慮しても、リード２０と導電パターン２２との識別が上記実施例より容易となる。

以上の説明においては、リード２０と導電パターン２２とは、表面の散乱性および明るさに違いがあるものとしたが、本請求可能発明に従えば、両者の散乱性および明るさが全く同じである場合にも、両者を識別できる。その一例を、図７に示す。比較のために示す、単純に差分の積算値を取る場合には、導電パターン２２の値が０、リード２０の上面の値が０、リードの斜面の値が２０となって、導電パターン２２とリード２０との値が近くなり、識別が困難である。
それに対し、差分の絶対値の積算値を取る場合には、導電パターン２２の値が０、リード２０の上面の値が０、リードの斜面の値が６０となって、導電パターン２２とリード２０の斜面との値の違いが大きくなり、識別が容易となる。また、差分の２乗の積算値を取る場合には、導電パターン２２の値が０、リード２０の上面の値が０、リードの斜面の値が１２００となって、識別が一層容易となる。これは、撮像箇所への入射角を互いに異にする複数種類の照明器を使用することに特有の効果である。

図８および図９に別の実施例を示す。この実施例の電子回路部品装着検査装置７０は、前記実施例において照明装置を変更したものである。
本実施例の照明装置６０は、落射照明器３２と、傾斜照明器の一種である４つの方位照明器６２，６４，６６，６８とを備えている。落射照明器３２は前記実施例のそれと同じものである。方位照明器６２，６４，６６，６８は、撮像中心線４６を中心とする一円周に沿って配設された４つの円弧状照明器であり、それぞれ上記円周を４等分する４つの方位の各々から装着箇所へ、斜めに照明光を照射する。

この電子回路部品装着検査装置７０においては、電子回路部品の装着前と装着後とに、撮像装置１０が装着箇所の真上に位置決めされた状態で、落射照明器３２と、方位照明器６２，６４，６６，６８の各々とが順次作動させられ、それらの作動毎に撮像装置１０による撮像が行われる。複数の照明器が順次作動させられれば、装着箇所、例えば、導電パターン２２やリード２０が順次異なる方向から照明されるため、それらの各部の明るさが種々に変化する。したがって、複数の照明器の作動毎に取得される５つずつの装着前画像と装着後画像とは、それぞれ各部の画像データ（例えば階調値）が互いに異なり、画素毎の装着前画像データと装着後画像データとの差分が種々に変化する。そのため、それら差分の絶対値の積算値を各画素に対して取得すれば、電子回路部品に対応する領域においては差分の絶対値の積算値が大きな値となり、例えば、導電パターン２２とリード２０との識別が容易となる。

照明条件を異ならせる場合、上記のように照明光の照射方向を異ならせる代わりに、照明光の種類を変えることも可能である。例えば、偏向光源と通常光源、紫外光源と可視光源、あるいは互いに色を異にする可視光源というように、光源種を異ならせれば、撮像対象物と光源種との組合わせによって反射の度合いが異なるため、色や反射率が似た撮像対象物でも識別が容易になる。異なる光源種の照明により得られた装着前画像と装着後画像との画像データの偏差の符号を揃えた上で積算値を取得すれば、装着の良否の判定の信頼性を向上させることができるのである。

以上、照明条件を複数に異ならせて比較画像処理を行う実施例を説明したが、前記特許文献１に記載されている電子回路部品装着検査装置と同様に、部品装着前と部品装着後とにおける装着箇所の画像を取得するためのカメラを、Ｒ（レッド），Ｇ（グリーン）およびＢ（ブルー）の三原色の成分に分解して出力可能なものとし、その分解された三原色の各々に対応する画像の各画素について、部品装着前と部品装着後とにおける受光量を表す階調値の差分の絶対値の積算値を取ることによっても、請求可能発明の効果を得ることができ、この態様も実施例の一つである。

さらに、装着前画像と装着後画像とを取得するカメラが同じであることは不可欠ではない。例えば、回路基板組立ラインの上流側機械のカメラで装着前画像が取得され、下流側機械のカメラで装着後画像が取得されるようにすることも可能なのである。

また、装着の良否判定は、すべての電子回路部品について行われるようにすることも可能であるが、不可欠ではなく、例えば、予め定められた種類の電子回路部品についてのみ、あるいは特に指令された場合にのみ行われるようにしてもよい。また、装着の良否判定が行われる場合には常に本請求可能発明が適用されるようにすることも不可欠ではなく、回路基板と電子回路部品との識別が困難な場合にのみ適用されるようにしてもよい。少なくとも１つの電子回路部品について、本請求可能発明を適用した装着良否判定が行われるようにすればよいのである。

請求可能発明の一実施例である電子回路部品装着検査装置を備えた電子回路部品装着機の平面図である。 上記電子回路部品装着検査装置を概念的に示す図である。 図２に記載の画像処理装置の作動を制御するプログラムを表すフローチャートである。 図２に記載の判定装置の作動を制御するプログラムを表すフローチャートである。 図２の電子回路部品装着検査装置の利点を説明するための図表である。 別の実施例である電子回路部品装着検査装置の利点を説明するための図表である。 さらに別の実施例である電子回路部品装着検査装置の利点を説明するための図表である。 さらに別の実施例である電子回路部品装着検査装置を概念的に示す図である。 図８の電子回路部品装着検査装置における照明装置の底面図である。

符号の説明

１：電子回路部品装着検査装置 ２：トレイ型部品供給装置 ３：フィーダ型部品供給装置 ４：基板保持装置 ５：装着装置 ６：可動部材 ７：移動装置 ８：装着ヘッド ９：制御装置 １０：撮像装置 １２：カメラ １４：光学系 １６：照明装置 １８：回路基板 ２０：リード ２２：導電パターン ２４：画像処理装置 ２６：判定装置 ３２：落射照明器 ３４：小入射角照明器 ３６：大入射角照明器 ４２：点光源 ４４：ハーフミラー ４６：撮像中心線 ５０，５２：環状光源 ６０：照明装置 ６２，６４，６６，６８：方位照明器 ７０：電子回路部品装着検査装置

Claims (8)

1. 回路基板の電子回路部品が装着されるべき箇所を、電子回路部品の装着前と装着後とにおいて、それぞれ複数種類に異なる条件で撮像する撮像工程と、
   その撮像工程において取得した複数の画像の互いに対応する多数の点の各々に関して、各種類の撮像条件における装着前と装着後との画像データの差分の符号を揃えた上で、それら符号を揃えたものの積算値を取得し、それら積算値に対応する画像に基づいて装着作業の良否を判定する判定工程と
   を含む電子回路部品装着検査方法。
2. 部品装着前と部品装着後との画像データの差分の絶対値を取得することによりそれら差分の符号を揃える請求項１に記載の電子回路部品装着検査方法。
3. 部品装着前と部品装着後との画像データの差分を２乗することによりそれら差分の符号を揃える請求項１に記載の電子回路部品装着検査方法。
4. 回路基板の電子回路部品が装着されるべき箇所である装着箇所を照明する照明装置と、
   前記装着箇所を撮像する撮像装置と、
   それら照明装置と撮像装置とを制御する撮像制御装置と、
   その撮像制御装置の制御により前記撮像装置により撮像された前記装着箇所の画像のデータを処理する画像処理部と、
   その画像処理部の処理結果に基づいて前記電子回路部品の前記回路基板に対する装着の良否を判定する判定部と
   を含み、前記撮像制御装置が、
   前記電子回路部品の装着前に前記装着箇所を複数種類に異なる条件で撮像させる装着前撮像制御部と、
   前記電子回路部品の装着後に前記装着箇所を前記複数種類に異なる条件で撮像させる装着後撮像制御部と
   を含み、
   前記画像処理部が、前記装着前撮像制御部の制御により取得された複数の画像の多数の点の各々の画像データと、前記装着後撮像制御部の制御により取得された複数の画像の前記多数の点の各々に対応する点の画像データとの差分の符号を揃えた上で、それら符号を揃えたものの積算値を取得することにより、それら積算値に対応する画像データである積算画像データを取得する積算画像データ取得部を含み、
   前記判定部が、その積算画像データ取得部により取得された積算画像データに基づいて前記装着作業の良否を判定する積算画像データ依拠判定部を含む電子回路部品装着検査装置。
5. 前記照明装置が、前記電子回路部品が装着されるべき箇所を照明する照明光の方向を複数種類に異ならせることと、前記照明光の波長成分を複数種類に異ならせることとの少なくとも一方が可能なものであり、そのことによって、前記撮像工程における前記複数種類に異なる撮像条件が実現される請求項４に記載の電子回路部品装着検査装置。
6. 前記照明装置が、前記装着箇所に対する入射角を互いに異にする照明光をそれぞれ放射する複数の照明器を含み、前記装着前撮像制御部および前記装着後撮像制御部が、前記複数の照明器を順次作動させ、その作動毎に前記撮像装置に電子回路部品の装着前の前記装着箇所および装着後の前記撮像箇所を撮像させる請求項４または５に記載の電子回路部品装着検査装置。
7. 前記複数の照明器が、前記回路基板と前記装着箇所において直交する直線に沿って照明光を放射する落射照明器と、前記直線を中心とする１つ以上の円周に沿って配設された１つ以上の円環状の環状光源とを含む請求項６に記載の電子回路部品装着検査装置。
8. 前記複数の照明器が、前記回路基板と前記装着箇所において直交する直線を中心とする円周を複数に等分する複数の等分点からそれぞれ照明光を放射する複数の方位光源を含む請求項６または７に記載の電子回路部品装着検査装置。

Images