JP2013205202A - 半田ツノ外観検査装置 - Google Patents

Abstract

【課題】どの方向にできたツノであっても発見することができる、半田ツノ外観検査装置を提供する。
【解決手段】半田付け部位を照明する照明装置２と、照明装置２により照明された半田付け部位を撮影する撮影装置１と、撮影装置１による撮影画像に基づいて検査対象物における半田フィレットの三次元形状を取得する画像処理装置３とを備え、画像処理装置３が、撮影装置１から得られた平面画像から半田付け部位を半田領域として切り出すとともに、切り出した半田領域を１ピクセル幅ごとに分割し、当該分割した領域における半田フィレットの形状を撮影装置１により撮影された輝度情報から求め、半田フィレットに半田ツノが形成されているか否かを判定するツノ識別手段３１を有するようにしたので、どの方向にできた半田ツノであっても発見することができる。
【選択図】図１

Description

この発明は、撮像画像を用いた画像処理により、半田付け部位の半田ツノの有無を検出する半田ツノ外観検査装置に関するものである。

一般的に、半田付けを行う際に、半田ゴテのコテ先に半田が引っ張られ、突起形状が半田フィレットに形成されることがある。この突起は、一般的に「ツノ」と呼ばれ、製品品質に悪影響を及ぼす。そのため、検査によりツノを発見することができる技術が必要とされている。

このようなものとして、例えば特許文献１には、半田ゴテのコテ先を横方向に引っ張りながら半田付けを行う「引き半田」に対象を絞った半田ツノ外観検査装置が開示されている。ツノは、半田ゴテのコテ先の移動方向に形成されるため、コテ先を横方向に引っ張る引き半田においては、ツノは必ずフィレットの横に飛び出る形となる。そこで、特許文献１では、それを上から撮影し、横に飛び出た特徴を見つけることにより、ツノを発見していた。

特開２０１１−１５３８９３号公報

しかしながら、例えば特許文献１のような引き半田に対象を絞った半田ツノ外観検査装置では、ポイント半田付けなど、半田ゴテのコテ先を上方向もしくは斜め上方向に引っ張った場合に発生したツノについては、見つけることができないという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、どの方向にできたツノであっても発見することができる、半田ツノ外観検査装置を提供することを目的とする。

上記目的を達成するため、この発明は、検査対象物における半田付け部位の外観検査を行う半田ツノ外観検査装置において、前記半田付け部位を照明する照明装置と、前記照明装置により照明された半田付け部位を撮影する撮影装置と、前記撮影装置による撮影画像に基づいて前記検査対象物における半田フィレットの三次元形状を取得する画像処理装置とを備え、前記画像処理装置は、前記撮影装置から得られた平面画像から前記半田付け部位を半田領域として切り出すとともに、前記切り出した半田領域を１ピクセル幅ごとに分割し、当該分割した領域における前記半田フィレットの形状を前記撮影装置により撮影された輝度情報から求め、前記半田フィレットに半田ツノが形成されているか否かを判定するツノ識別手段を有することを特徴とする。

この発明によれば、半田フィレットの三次元形状を取得して、その形状を評価することによりツノを発見するようにしたので、どの方向にできた半田ツノであっても発見することができる。

この発明の実施の形態１に係る半田ツノ外観検査装置の構成を示す概略図である。 フォトメトリックステレオ法の原理を説明するための模式図である。 半田フィレットが形成された範囲を検査領域として切り出すイメージを示した説明図である。 図３における検査領域を１ピクセル幅の分割した分割ラインにおける半田フィレットの形状イメージを示す図である。 基準のフィレット形状にツノができている状態の半田フィレットの形状イメージを示す図である。 ツノの特徴を抽出する説明図である。 基準のフィレット形状と検査対象のフィレット形状それぞれの三次元形状情報を示すグラフである。 図７に示すそれぞれの半田フィレットの形状情報の表面角度とその差分を示すグラフである。 検査範囲について説明する模式図である。 検査範囲内で求めた表面角度の差分の最大値と最小値を示す図である。 ツノと思しき突起の鋭さ判定１の説明図である。 ツノではないと思われる突起の鋭さ判定１の説明図である。 ツノと思しき突起の鋭さ判定２の説明図である。 ツノではないと思われる突起の鋭さ判定２の説明図である。 突起の大きさによるツノと非ツノの境界を示す説明図である。 突起の大きさ判定の説明図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る半田ツノ外観検査装置の構成を示す概略図であり、図１（ａ）は横から見た側面図、図１（ｂ）は上から見た平面図である。この半田ツノ外観検査装置は、カメラ（撮影装置）１、照明装置２、画像処理装置３を備え、プリント基板４上のランドに部品の端子を半田付けした際の半田フィレットに形成されたツノを検出するものである。

この実施の形態１では、半田ツノを検出するために、半田フィレットの三次元形状を計測するものとする。
図２は、フォトメトリックステレオ法の原理を説明するための模式図である。フォトメトリックステレオ法は、光源が平行光源であり、対象となる物体の表面が均等拡散面である場合に有効な三次元形状計測の手法である。物体に照明をあて、カメラにより撮影された画像から物体の形状を求める際には、カメラで観測される強度は視線方向（カメラの方向）には依存せず、照明方向と表面の法線方向のみに依存する。したがって、照明方向とカメラで得られる画像の輝度情報から、表面の法線方向の情報が得られる。しかし、一方向からの照明では、一方向のみの情報しか得られないが、フォトメトリックステレオ法では、照明装置２として少なくとも３つの固定スポット照明器を検査対象物のまわりに配置し、各照明器ごとに照明させて画像を撮影し、その照明器ごとの照明による画像すべてを用いることにより、半田の三次元形状情報を取得することができる。

例えば、図２に示す光源２−１から均等拡散面である検査対象物を照明した場合、検査対象物の表面の法線ベクトルをＮ１（単位ベクトル）、光源の方向をＳ１（単位ベクトル）とし、これらの２つの単位ベクトルによる角度をαとする。ここで、光源２−１の放射強度をＩｅ（λ）とし、検査対象物の表面の反射率（０〜１の値）をＫｄ（λ）とすると、このとき観測される画素から得られる輝度Ｌｑ（λ）は、（１）式により与えられる。

Ｌｑ（λ）＝Ｉｅ（λ）×Ｋｄ（λ）×ｃｏｓα （１）

この式を変形すると、（２）式のようになる。

Ｌｑ＝Ｉｅ×Ｋｄ×Ｓ１×Ｎ１ （２）

法線ベクトルＮの長さを１として規格化し、自由度を２とすると、表面反射率の自由度１を加えて、３つの未知変数をもつ方程式となる。したがって、３つ以上の光源（２−１，２−２，２−３）から得られる各画素での３つ以上の画素値を用いて、各点の法線ベクトル、反射率を計算することができ、得られた各点の法線ベクトルを空間方向に積分することにより、形状を復元することができる。なお、物体の表面が均等拡散面でない場合にも、非線形最適化法により法線ベクトルを求めることができる。

そして、この実施の形態１では、図１（ｂ）に示すように、照明装置２として６つの固定スポット照明器を用い、撮影対象物である半田フィレットに対してそれら６つの照明器から順次照射し、それぞれの画像の輝度情報から半田フィレットの表面形状を復元する。
なお、照明装置２としては、この実施の形態１にように検査対象物のまわりに複数台の固定スポット照明器を配置する以外に、１台のスポット照明装置を検査対象物を中心に回転させ、または、１台のスポット照明装置を中心に検査対象物を回転させ、所定の角度ごとにカメラ１により検査対象物における半田付け部位を撮影するようにしてもよい。

画像処理装置３は、カメラ１により得られた平面画像から、検査対象物における半田付け部位を半田領域（半田の検査領域）として切り出すとともに、半田フィレットの形状をカメラ１により撮影された輝度情報から求め、半田フィレットに半田ツノが形成されているか否かをツノ識別手段３１により判定する。なお、図１（ａ）に示すように、画像処理装置３はその内部にツノ識別手段３１を有するものである。

図３は、プリント基板４上の部品５に設けられた端子６を、ランド（図示せず）に半田付けした際に半田フィレット７が形成された範囲を、検査領域として切り出すイメージを示した説明図である。図３（ｂ）は、図３（ａ）の破線で囲まれた半田領域１０のみを切り出したものであり、図３（ｃ）は、図３（ｂ）の検査領域をピクセル単位で１ラインごとに分割した分割ライン１１のイメージを説明する図である。図３（ｃ）の矢印Ａは、１ピクセル幅の枠である分割ライン１１を、切り出した半田領域１０の端から端まで（図の一番下の分割ライン１１から図の一番上の分割ライン１１まで）順に移動させていくことを示している。

ここで、まず初めに、明らかに良品であると判断できる半田フィレット７の形状計測を行う。この場合、図３（ｃ）に示すように分割した１ライン（分割ライン１１）における半田フィレット７の形状を計測すると、図４のようになる。この図４は、図３（ｃ）における破線で示した分割ライン１１における半田フィレット７の形状イメージを示しており、図４に示すような基準のフィレット形状が取得できる。なお、図４における各ドット（Ｐ１，Ｐ２，Ｐ３，・・・）は、ピクセル単位の情報であるため飛び飛びになっているが、以降の説明および図においては、簡略化のため線で表現することとする。

次に、半田フィレットにツノができている場合の原理について説明する。図５は、図４に示すフィレット形状と同様の基準のフィレット形状２０に、ツノ２１ができている状態の半田フィレットの形状イメージを示す図である。図６は、ツノ２１の特徴を抽出する説明図であり、図６（ａ）は、図５のツノ２１部分（図中、破線の丸で囲んだＢの部分）を簡易化のために一部回転させて拡大した図である。この図６（ａ）は、基準のフィレット形状２０に対するツノ２１の形状を示しており、この図６（ａ）に示すように、ツノ２１は、基準のフィレット形状２０の表面に対して急激に角度θで盛り上がり、その後また盛り下がる形状であると推測できる。

また、図６（ｂ）は、図６（ａ）に示すツノ２１の基準のフィレット形状２０に対する表面角度分布を示す図である。実際には、基準のフィレット形状２０に対するツノ２１の角度θは、図６（ｂ）に示すほど直線的に減少するとは限らないが、ほぼ同様に、徐々に減少していくものである。
これにより、実際に半田ツノ外観検査を行う場合には、画像処理装置３は、検査対象となる半田フィレットの形状を計測した後に、表面角度を探索し、図６（ｂ）に示すような分布が得られた場合には、ツノと思しき箇所である「突起」として抽出する。その後、画像処理装置に備えられたツノ識別手段（図示せず）が、抽出した「突起」を評価して、この突起がツノ（半田ツノ）であるのか否かを判断するが、その判定方法については後述する。

そして、図４に示すような良品の半田フィレット７から取得した基準のフィレット形状の情報と、実際の検査対象のフィレット形状の情報との差分を求める。図７は、基準のフィレット形状と検査対象のフィレット形状それぞれの三次元形状情報を示すグラフであり、図中の○印は基準のフィレット形状の情報を示しており、×印は検査対象のフィレット形状の情報を示している。この図７によると、検査対象のフィレット形状には、突起が存在している形状となっているように見受けられる。

また、図８は、図７に示すそれぞれの半田フィレットの形状情報の表面角度とその差分を示すグラフである。この図においても、○印は基準のフィレット形状の情報（表面角度）を示しており、×印は検査対象のフィレット形状の情報（表面角度）を示している。また、△印はその差分情報（基準のフィレット形状に対する検査対象のフィレット形状の表面角度θ）を示している。このように差分を取得することにより、基準情報と比較した場合の検査情報の形状異常を把握することができる。
そして、この図８により、検査対象のフィレット形状は基準のフィレット形状からの表面角度に対して顕著な差があることがわかり、突起が形成されていると判定できる。

次に、この突起がツノであるのか否かの判定を行うために、検査範囲として、表面角度の差分値が正となった点から、差分値が一度負の値になりその後再び正に変化する点まで、すなわち、図８の中の範囲Ｃを検出する。
図９は、検査範囲について説明する模式図である。実際の検査対象において、半田フィレットにツノができている場合には、図７および図９（ａ）に示すように、ツノができた分だけ、ツノにより半田が引っ張られて凹み部分２２が形成される。このことを考慮して、ツノの開始点としては盛り上がりの開始した地点、ツノの終了点としてはその盛り上がりが終わり次の盛り上がりの開始する地点を設定し、その開始点から終了点までを検査範囲とする。

そして、このようにして求めた検査範囲内で、表面角度の差分の最大値と最小値を記録する。図１０（ａ）は、図８と同じグラフにおいて、表面角度の差分の最大値Ｄ、最小値Ｅを丸で囲んだものである。そして、この位置に対応する検査対象のフィレット形状は、図１０（ｂ）の丸ＦおよびＧである。これは、図６（ａ）に示したツノの形状と同様であり、また、この時の基準のフィレット形状に対する表面角度（表面角度の差分）を示した図１０（ａ）の最大値Ｄから最小値Ｅまでの分布は、図６（ｂ）に示した分布と同様であるから、ツノの特徴を表していると判断され、ツノと思しき箇所である「突起」として抽出される。

しかしながら、基準のフィレット形状に対して「突起」、すなわち、盛り上がりと盛り下がりができ、その基準のフィレット形状に対する表面角度が徐々に下がっていくような特徴を備えていたとしても、その盛り上がりが極端に緩やかな場合、緩やかに大きく広がっている場合、また、極端に小さな場合など、この突起が必ずしもツノではない場合もあり得る。
そこで、前述のようにして抽出された突起の特徴について、ツノであるのか否かの判定を行う必要がある。以下、画像処理装置３のツノ識別手段３１が、抽出された突起がツノであるか否かを判定する手法について説明する。

［１］突起の鋭さ判定１
図１０（ａ）のように記録された表面角度の差分の最大値と最小値（Ｄ点とＥ点の差）を利用し、突起の鋭さを判断する。ここでは、図１１（ａ）に示すようなツノと思しき突起２１と、図１２（ａ）に示すような盛り上がりが小さくツノではないと思われる突起２１’を例に説明する。まず、表面角度の差分の最大値θｍａｘと最小値θｍｉｎの幅を求める。この際、θｍａｘ＞０、θｍｉｎ＜０であるため、最大最小角度幅「θｍａｘ−θｍｉｎ」は、θｍａｘより大きな正の値である。

そして、図１１（ｂ）に示すように、ツノと思しき突起２１の場合には、最大最小角度幅「θｍａｘ−θｍｉｎ」が閾値（第１の所定の値）Ｐ（実験では、Ｐ＝２５度とした）以上であるのに対し、盛り上がりが小さくツノではないと思われる突起２１’の場合には、図１２（ｂ）に示すように、最大最小角度幅「θｍａｘ−θｍｉｎ」が閾値Ｐより小さくなる。
そこで、（３）式を満たす場合には、ツノの可能性があると判断する。

θｍａｘ−θｍｉｎ ≧ Ｐ （３）

［２］突起の鋭さ判定２
同じく、図１０（ａ）のように記録された表面角度の差分の最大値と最小値（Ｄ点とＥ点の差）を利用し、突起の鋭さを判断するが、上記［１］の判定により最大最小角度幅「θｍａｘ−θｍｉｎ」が閾値Ｐ以上であったとしても、それが広範囲に渡ってなだらかに大きく形成された場合には、ツノではない可能性が高い。ここでは、図１３（ａ）に示すようなツノと思しき突起と、図１４（ａ）に示すような広範囲に渡ってなだらかに大きく形成されたツノではないと思われる突起を例に説明する。

まず、上記［１］と同様に、最大最小角度幅「θｍａｘ−θｍｉｎ」を計測すると同時に、表面角度の差分の最大値θｍａｘの平面上の地点ＭａｘＰｏｓと最小値θｍｉｎの平面上の地点ＭｉｎＰｏｓの差（図８で説明した検査範囲Ｃの長さ）、すなわち、表面角度の差分の最大値θｍａｘの地点と最小値θｍｉｎの地点の平面上の距離「ＭｉｎＰｏｓ−ＭａｘＰｏｓ」を計測し、その関係性を求める。
図１３（ｂ），図１４（ｂ）はそれぞれ、図１３（ａ），図１４（ａ）に示す突起２１，２１’の基準のフィレット形状２０に対する表面角度分布を示す図であり、図１３（ｃ），図１４（ｃ）は、最大最小角度幅「θｍａｘ−θｍｉｎ」と最大値θｍａｘの地点と最小値θｍｉｎの地点の平面上の距離「ＭｉｎＰｏｓ−ＭａｘＰｏｓ」との関係を示す図である。

この際、図１３（ａ）に示すようにツノと思しき突起２１の場合には、図１３（ｃ）に示す角度βが閾値Ｑ（実験では、Ｑ＝３５度とした）より大きいのに対し、図１４（ａ）に示すようにツノではないと思われる突起２１’の場合には、図１４（ｃ）に示す角度βが閾値Ｔより小さくなる。
そこで、（４）式を満たす場合には、ツノの可能性があると判断する。

なお、ＭｉｎＰｏｓ＞ＭａｘＰｏｓであるものとする。

ここで、（４）式により角度βを求めて閾値Ｑと比較するよりも、ｔａｎβ＝（θｍａｘ−θｍｉｎ）／（ＭｉｎＰｏｓ−ＭａｘＰｏｓ）を求める方が簡単であるので、（４）式の代わりに（５）式を満たす場合に、ツノの可能性があると判断する。

なお、実験では、ｔａｎＱ＝ｔａｎ３５度≒０．７により、閾値（第２の所定の値）Ｒ＝０．７とした。

［３］突起の大きさ判定
上記［１］，［２］に示した判定方法では、角度情報が基本となっているために、ツノではないと思われる極めて小さな突起であってもツノであると認識してしまう可能性がある。そこで、図１５に示すように、突起の大きさによって非ツノかツノかを判定する境界を設定する。

この識別に用いる値は、図１６に示すように、底辺を１ピクセルの距離ｘ（ｍｍ）、角度を表面角度の差分θとした三角形の高さｈ（ｍｍ）を累積したもの、すなわち、１ピクセルごとの表面角度の差分θを最大値θｍａｘから最小値θｍｉｎまで累積した値とし、その値が閾値（第３の所定の値）Ｓ（実験では、Ｓ＝５とした）より大きい場合、すなわち（６）式を満たす場合に、ツノの可能性があると判断する。

なお、（６）式で求めた値（閾値Ｓと比較する値）は、図６の斜線部分の面積に相当するものである。

そして、上記［１］〜［３］のすべての判定方法により、ツノの可能性があると判断された場合、すなわち（３）式、（５）式、（６）式のすべてを満たす場合に、ツノであると判定するようにすることにより、ツノではない突起までツノであると判定してしまう不具合を減らすことができる。
なお、ここでは上記［１］〜［３］のすべての判定方法を用いることとしたが、いずれか１つのみ、または２つの組合せに基づいて判定するようにしてもよい。

実験では、良品であるフィレット形状６０個と、ツノがあるフィレット形状６０個の、合計１２０個の検査対象について、この発明の実施の形態１の手法で、すなわち、フォトメトリックステレオ法による三次元形状計測を行い、上記［１］〜［３］のすべての判定方法によりツノがあるか否かを判定したところ、ツノ検出率は１００％（ツノがあるフィレット形状６０個すべてを「ツノ」があると判定）、過剰検出率は３．３％（良品６０個中２個を「ツノ」があると誤判定）という結果であった。

なお、この実施の形態１では、三次元形状を画像処理により計測する手法として、フォトメトリックステレオ法を用いるものとして説明したが、三次元形状を取得する手法としては様々なものが知られており、他の公知の手法を用いるものであっても構わない。

以上のように、この発明の実施の形態１によれば、検査対象物における半田フィレットの三次元形状を取得して、その形状を評価することによりツノを発見するようにしたので、どの方向にできた半田ツノであっても発見することができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ カメラ（撮影装置）
２ 照明装置
３ 画像処理装置
４ プリント基板
５ 部品
６ 端子
７ 半田フィレット
１０ 切り出した半田領域
１１ 分割ライン
２０ 基準のフィレット形状
２１ ツノ（ツノと思しき突起）
２１’ 非ツノ（ツノではないと思われる突起）
２２ 凹み
３１ ツノ識別手段

Claims (6)

1. 検査対象物における半田付け部位の外観検査を行う半田ツノ外観検査装置において、
   前記半田付け部位を照明する照明装置と、前記照明装置により照明された半田付け部位を撮影する撮影装置と、前記撮影装置による撮影画像に基づいて前記検査対象物における半田フィレットの三次元形状を取得する画像処理装置とを備え、
   前記画像処理装置は、
   前記撮影装置から得られた平面画像から前記半田付け部位を半田領域として切り出すとともに、
   前記切り出した半田領域を１ピクセル幅ごとに分割し、当該分割した領域における前記半田フィレットの形状を前記撮影装置により撮影された輝度情報から求め、前記半田フィレットに半田ツノが形成されているか否かを判定するツノ識別手段を有する
   ことを特徴とする半田ツノ外観検査装置。
2. 前記ツノ識別手段は、前記輝度情報から求めた半田フィレットの形状から突起を検出した場合に、前記半田ツノが形成されていない基準の半田フィレット形状に対する前記突起を含んだ半田フィレット形状の表面角度を求め、当該表面角度の最大値と最小値との差が第１の所定の値以上である場合に、半田ツノが形成されていると判定する
   ことを特徴とする請求項１記載の半田ツノ外観検査装置。
3. 前記ツノ識別手段は、さらに、前記表面角度の最大値と最小値との差を前記最大値の地点と最小値の地点の平面上の距離で割った値が第２の所定の値より大きい場合に、半田ツノが形成されていると判定する
   ことを特徴とする請求項１または請求項２記載の半田ツノ外観検査装置。
4. 前記ツノ識別手段は、さらに、１ピクセルごとの前記表面角度を最大値から最小値の地点まで累積した値が第３の所定の値より大きい場合に、半田ツノが形成されていると判定する
   ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の半田ツノ外観検査装置。
5. 前記照明装置は、前記検査対象物のまわりに複数台の固定スポット照明器を配置したもの、または、１台のスポット照明装置のいずれかであり、
   前記１台のスポット照明装置である場合には、当該スポット照明装置または前記検査対象物のいずれか一方を中心にしてもう一方を回転させ、所定の角度ごとに前記撮影装置により前記検査対象物における半田付け部位を撮影する
   ことを特徴とする請求項１から請求項４のうちのいずれか１項記載の半田ツノ外観検査装置。
6. 前記三次元形状を取得する手法は、フォトメトリックステレオ法である
   ことを特徴とする請求項１から請求項５のうちのいずれか１項記載の半田ツノ外観検査装置。

Images