JP2004239810A

JP2004239810A - Shape inspection method and shape inspection device

Info

Publication number: JP2004239810A
Application number: JP2003030664A
Authority: JP
Inventors: Masahiko Uno; 真彦宇野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-02-07
Filing date: 2003-02-07
Publication date: 2004-08-26

Abstract

<P>PROBLEM TO BE SOLVED: To provide a shape inspection method for performing shape inspection of a target object at high speed with high precision by simple structure with a small number of illuminations as well, without relying on the surface reflection property of the object using the whole reflected light effectively, and to provide a shape inspection device using the method. <P>SOLUTION: In the shape inspection method, the target object is illuminated from two or more directions by the use of illuminating means, and images of the target object illuminated from the different directions are photographed, and from the directions of illumination and each luminance of pixels of the same coordinates in the obtained images the surface gradient of the target object is measured. In the method, surface reflection parameters of the target object are estimated, using the images and a non-defective article shape model. The surface gradient of the target object is estimated by using the images and the estimated values of the surface reflection parameters, and the estimated value of the surface gradient and the surface gradient of the non-defective article shape model are compared, to inspect whether or not the shape of the target object is good. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、対象物体の形状検査方法および形状検査装置に関し、特に基板に実装された電子部品のモールド部分およびはんだ付け部分等の形状検査方法および形状検査装置に関する。
【０００２】
【従来の技術】
従来の形状検査方法は、検査対象物体であるはんだフィレットに対する照明角度が異なる複数の照明手段を逐次点灯させて、各照明手段の点灯毎に撮像手段ではんだフィレットを撮像し、上記撮像手段にて各照明手段の点灯毎に撮像された各画像における同じアドレスの画素の輝度を基に、そのアドレスでのはんだフィレットの傾きを求め、その傾きとはんだフィレットの形状を数学的関数に近似してはんだフィレットの形状を計測することを行っている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２０００−３０４５２０号公報
【０００４】
【発明が解決しようとする課題】
しかし上述の形状検査方法では、基本的に物体の反射光の輝度のピークすなわち鏡面反射光を利用して計測しているので、鏡面反射光をうまく推定するためには照射角度の異なる照明の数を多数用意して、ガウス関数当てはめに用いるデータを増やさなければならなかった。また照明の数を増やすと検査時間の増大を招いてしまうという問題点があった。
【０００５】
さらに、物体の反射光には鏡面反射成分だけではなく拡散反射成分も存在するし、はんだなどの場合では比較的鏡面反射成分が大きいので、上述の形状検査方法の適用が可能であるが、拡散反射成分が大きい物体に関してはガウス関数を当てはめることが適切でないといった問題点があった。
【０００６】
この発明の目的は、反射光の全部を有効に使って対象物体の表面反射特性に依存せずに、照明の数も少ない簡易な構成で高速、高精度に物体の形状検査を行う形状検査方法および形状検査装置を提供することである。
【０００７】
【課題を解決するための手段】
この発明に係わる形状検査方法は、照明手段を用いて、対象物体に対して複数の異なる方向から照明し、撮像手段を用いて、異なる方向から照明された対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明方向とから、対象物体の表面勾配を計測する形状検査方法において、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定し、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定し、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査する。
【０００８】
また、この発明に係わる形状検査装置は、対象物体に対して複数の異なる方向から照明する照明手段と、異なる方向から照明された対象物体の画像を複数撮像する撮像手段と、得られた画像における同一座標の画素の輝度と照明方向とから対象物体の表面勾配を計測する画像処理手段とを備えた形状検査装置において、画像処理手段は、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定する表面反射パラメータ推定手段と、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定する表面勾配推定手段と、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査する検査手段とを備えている。
【０００９】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１の形状検査方法のフローチャートである。図２はこの形状検査方法を適用する検査装置の構成図である。図３は図２の検査装置の座標系および記号を説明するための概略図である。
【００１０】
この形状検査方法を適用する検査装置は、図２に示すように、検査対象物体１０１を見下ろす形でＣＣＤカメラからなる撮像手段１０２と、検査対象物体１０１を異なった角度で照明する３台の照明手段１０３ａ、１０３ｂ、１０３ｃと、照明手段１０３を点灯制御し、制御情報を出力する制御手段１０４と、撮像手段１０２で撮像された検査対象物体１０１の撮像データを入手し、制御手段１０４からの制御情報とを用いて検査対象物体１０１の良否を判断する画像処理手段１０５と、画像処理手段１０５の判断結果を出力する結果出力手段１０６とを備えている。
さらに、画像処理手段１０５は、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定する表面反射パラメータ推定手段１０７と、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定する表面勾配推定手段１０８と、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査する検査手段１０９とを備えている。画像処理手段１０５には後述するように良品形状モデルのデータが記憶されている。制御手段１０４、画像処理手段１０５および結果出力手段１０６は計算機で構成されている。ここでは照明手段１０３の数を３つにし、それぞれの高さが同じである様に記述したが、配置する照明手段の数は３つ以上であってもかまわないし、配置する高さが異なってもかまわない。
【００１１】
後述の形状検査方法の説明で用いる座標系および記号を、図３を参照して説明する。検査対象物体１０１をｘ−ｙ−ｚ座標系の原点に設定し、撮像手段１０２であるＣＣＤカメラの撮像面がｚ軸に垂直になる様に設定する。なお、図３ではＣＣＤカメラの撮像面のみ図示し、ＣＣＤカメラは省略してある。次に、検査対象物体１０１の表面勾配を、検査対象物体の表面の単位法線ベクトルｎで表現することとし、
ｎ＝（ｐ，ｑ，ｒ）
とする。単位法線ベクトルｎは単位ベクトルなので、ｐ^２＋ｑ^２＋ｒ^２＝１となる。
【００１２】
次に、照明に関するベクトルと行列に関して説明する。照明手段１０３を構成する照明１０３ａ、照明１０３ｂ、照明１０３ｃについて、それぞれの照射方向の単位ベクトルをｍ１、ｍ２、ｍ３とする。ベクトルで表現する際は、ベクトルの方向を、光が照射される向きと逆方向にとり、原点から照明１０３ａ、照明１０３ｂ、照明１０３ｃに向かう方向にとることにする。ここで、
ｍ_１＝（Ｍ_１１，Ｍ_１２，Ｍ_１３）
ｍ_２＝（Ｍ_２１，Ｍ_２２，Ｍ_２３）
ｍ_３＝（Ｍ_３１，Ｍ_３２，Ｍ_３３）
とする。
【００１３】
次に、図１を参照して、形状検査方法を説明する。なお、形状モデルとは、形状測定の対象物体の形状を示すモデルである。例えば、後述するはんだボールを例に取って説明すると、はんだボールの形状モデルは球である。良品形状モデルは形状モデルのうち、所望の形状であり、はんだボールの場合は真球である。形状モデルが数学的に表すことができる場合は、数式を用いて表すことができる。一方、数学的に表すことのできない形状の場合は、実際の物体を製作して用意してもよい。
【００１４】
良品形状モデルの表面勾配は、形状が予め分かっているので、形状（高さ）を微分することで求め、計算機の記憶部に良品形状モデル、および良品形状モデルの表面勾配のデータを記憶しておく。
【００１５】
表面反射モデルとは、対象物体に対して照明を当て、その対象物体の表面で反射する様子を表すモデルを意味する。ここでは表面反射モデルとして、拡散反射と鏡面反射とを同時に考慮できるＰｈｏｎｇモデルを採用する。Ｐｈｏｎｇモデルでは、物体の反射光（画像輝度）Ｉは、拡散反射成分と鏡面反射成分の和として数１で表現される。
【００１６】
【数１】

【００１７】
この数１が、検査対象物体の表面の各点で成立するとする。
ここで、
ｖ：カメラ方向ベクトル（３次元単位ベクトル）
図３の座標系で、ｖ＝（０，０，１）
Ｉ：検査対象物体の反射光量（画像の輝度）
ｎ：検査対象物体の表面の法線ベクトル（３次元単位ベクトル）
ｍ：照明の方向ベクトル（３次元単位ベクトル）
ｍ’ ：照明光の正反射方向のベクトル（３次元単位ベクトル）
ｍ’＝２（ｎ、ｍ）ｎ−ｍ
Ｃ：Ｐｈｏｎｇモデルにおける反射パラメータ１
ｋ：Ｐｈｏｎｇモデルにおける反射パラメータ２（０≦ｋ≦１）
ｔ：Ｐｈｏｎｇモデルにおける反射パラメータ３（０≦ｌ）
（ａ、ｂ）：ベクトルａとベクトルｂの内積
である。
【００１８】
この式の示すところは、Ｐｈｏｎｇモデルでは、拡散反射成分は、物体の法線方向と照明方向の内積で与えられ、鏡面反射成分は、物体の法線方向と照明の正反射方向の内積のｔ乗で与えられるということである。ｔは鏡面反射成分のピーク幅（鋭さ）を表し、値が大きければ、輝度の変化が大きくなる。また物体の、拡散反射成分と鏡面反射成分の含有比は、（１−ｋ）：ｋであり、Ｃはそのゲインを示す。このＣ、ｋ、ｔの３つのスカラー量がＰｈｏｎｇモデルの表面反射パラメータである。
【００１９】
また、表面反射モデルとして、Ｐｈｏｎｇモデルの代わりに形の良く似たＢｌｉｎｎモデルもある。Ｂｌｉｎｎモデルは数２で表現される。
【００２０】
【数２】

【００２１】
ここで、
ｈ：ハーフベクトル（３次元単位ベクトル）
ｈ＝（ｍ＋ｖ）／‖ｍ＋ｖ‖
‖ａ‖：ベクトルａの大きさ（ノルム）
である。Ｐｈｏｎｇモデルと記号が同じものは同じ意味である。
【００２２】
次に、形状検査方法のフローをさらに詳細に説明する。ステップ１では、制御手段１０４により、照明１０３ａ、１０３ｂ、１０３ｃのうちの１つの照明を選択して照明する。次に、画像処理手段１０５で制御される撮像手段１０２が、照明された対象物体１０１の画像を撮像する。ステップ３では、必要な数の画像を撮像したかどうか判断し、まだ完了していないときはステップ１へ戻って異なる照明手段１０３を選択し、撮像を繰り返す。この場合は３個の照明手段１０３で照明して撮像ができたときはステップ４へ進む。ステップ４では、３枚の異なる方向の画像が撮像できたので、画像処理手段１０５に記憶されている対象物体の良品形状モデルを読込んで、撮像手段１０２から送られてきた３枚の画像のデータを良品形状モデルに合わせて、対象物体１０１の表面反射パラメータを求める。
【００２３】
ステップ４についてより詳細に説明すると、異なる方向の照明から得られた３枚の画像と、対象物体の良品形状モデルを用いて、次の様にして対象物体の表面反射パラメータを求める。以下では、Ｐｈｏｎｇモデルを仮定し、対象物体の表面は均一であり、対象物体の表面の各点において、同一の表面反射パラメータになっていると仮定する。また、ここでは、撮像した対象物体が、良品形状モデルに近いと仮定する。撮像した対象物体が良品形状モデルと同一とすると、数１におけるｎは既知となる。また、画像から得られる輝度Ｉは既知であり、照明方向ベクトルｍ_１、ｍ_２、ｍ_３も既知であるので、数１の３つの式を連立できれば、最小２乗誤差解としてＣ、ｋ、ｔを解くことができる。ここで数１は、対象物体の表面の各点で成立するので、３枚の画像の対象物体を構成する画素数の数だけ連立させることができ、対象物体の表面全体を考慮した平均的な解として、Ｃ、ｋ、ｔを解くことができる。具体的には、上記の連立方程式を非線形最小２乗法の数値計算法の１つであるＬｅｖｅｎｂｅｒｇーＭａｒｑｕａｒｄｔ法を用いれば、高速に解くことができる。以上の様にして、ステップ４において、表面反射パラメータであるＣ、ｋ、ｔを推定することができる。
【００２４】
次に、ステップ５では、画像処理手段１０５によって、計算した表面反射パラメータと３枚の画像を用いて、対象物体の各点（画像の各座標点）において、対象物体の表面勾配である単位法線ベクトルｎ_ｏｂｊを計算する。数１は物体の各点において成立するので、今度は、Ｉ、ｍ、Ｃ、ｋ、ｔが既知であり、求めたいものはｎとなる。異なる方向の照明による画像が３枚あるので、物体の各点において、数１を３つ連立させることができるため、法線ベクトルｎ_ｏｂｊを解くことができる。高速に計算するためには、非線形数値計算法の１つであるＧａｕｓｓの反復法（Ｇａｕｓｓ−Ｎｅｗｔｏｎ法）を用いれば良い。以上の様にして、ステップ５において、対象物体の各点において、法線ベクトルｎ_ｏｂｊを求める。
【００２５】
最後に、ステップ６で、良品形状モデルから得られる法線ベクトルｎ_ｇｏｏｄと対象物体の法線ベクトルｎ_ｏｂｊとを比較する。それぞれの法線ベクトルは、物体の各点で得られているため、比較の方法は、例えば、各点での法線の向きの違いを、
１−（２つのベクトルの内積）
で定義する。この時、上記の値は、方向が一致すればゼロ。直交していたら１となる。この法線の向きの違いの最大値と、あらかじめ設定しておいたしきい値を比較しても良いし、対象物体全域での平均的な法線の向きの違いと、あらかじめ設定しておいたしきい値を比較しても良い。向きの違いが少なければ検査良品となり、違いが大きければ検査不良品となる。
【００２６】
このような形状検査方法を半導体のパッケージの１種であるＣＳＰ（ＣｈｉｐＳｃａｌｅＰａｃｋａｇｅ）のはんだボール（半球状のボールはんだが４００個程度がパッケージに実装されている。）の形状検査に適用したところ、約１．５秒で全数の検査が完了した。
【００２７】
このように形状検査方法では、良品形状モデルの表面反射パラメータと計測データとの対比を行うことにより、照明角度の異なった少ない照明で形状検査を行うことができる。
【００２８】
また、良品形状モデルをＰｈｏｎｇおよびＢｌｉｎｎなど拡散反射を考慮できる表面反射モデルを採用しているので、鏡面状物体だけでなく、様々な表面反射特性を有する物体も検査が可能である。
【００２９】
また、このような形状検査装置では、簡易な構成、方法で高速、高精度に物体の形状検査を行うことができる。
【００３０】
なお、実施の形態１をＣＳＰ用のはんだボールの形状検査に適用して効果を確認しているが、さらにプラスチックなど拡散反射成分と鏡面反射成分を同程度に含むもの、または石膏など拡散反射成分が支配的な材質からできている対象物体の形状も同様に検査できる。
【００３１】
実施の形態２．
図４はこの発明の実施の形態２の形状検査方法のフローチャートである。図４のステップ１１乃至１４は図１のステップ１乃至４と同じであるので説明を省略する。
【００３２】
ステップ１５では、ステップ１４で得られた表面反射パラメータの推定値に関して正当性の検査を行う。例えば、上限値や下限値を用いて、得られた表面反射パラメータが指定範囲内にあるかどうかを調べる。鏡面に近い対象物体を検査している場合、ステップ１４で得られた反射パラメータｋの値があまりに小さい値（例えば０．１）であれば、得られた表面反射パラメータｋの正当性は疑わしいものとなる。なぜなら、前述した様にＰｈｏｎｇモデルでは、物体の拡散反射成分と鏡面反射成分の割合が（１−ｋ）：ｋになるため、ｋ＝０．１であることは、物体の鏡面反射成分が非常に少ないことを意味し、これは鏡面に近い物体を検査しているという事実に反するためである。
【００３３】
このような事態は、表面反射パラメータを推定する際に、良品形状モデルの法線ベクトルｎを仮定しているために生じるものであり、対象物体が良品形状モデルとかけ離れた形状を有している場合に生じる。よって、この場合は、直ちに検査不良品と判定する。
【００３４】
また、ステップ１４では、実施の形態１で説明したように非線形最小２乗法を行なうが、この中で反復計算が収束しない場合がある。このような場合は有限回の反復でステップ１４を強制終了させるが、この強制終了の状態を、ステップ１５で検出し、反復計算が収束していない場合も、得られた表面反射パラメータの正当性が低いとして、直ちに検査不良品と判定するように構成してもよい。
【００３５】
このステップ１５において、得られた表面反射パラメータの正当性があると判断された場合は、ステップ１６に処理が続く。ステップ１６からステップ１７は、図１のステップ５からステップ６と同様である。
【００３６】
このように形状検査方法では、一部の対象物体に関して検査ステップを省略することができ、検査が高速化できるという効果がある。
また物体の表面反射パラメータの正当性を検査することで、より正確な物体の検査を行うことができる。
【００３７】
【発明の効果】
この発明の形状検査方法による効果は、照明手段を用いて、対象物体に対して複数の異なる方向から照明し、撮像手段を用いて、異なる方向から照明された対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明方向とから、対象物体の表面勾配を計測する形状検査方式において、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定し、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定し、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査するので、鏡面状の表面を有する対象物体だけでなく、様々な表面反射特性を有する対象物体の形状検査が可能であり、照明角度の異なる照明の数を多数用意することもなく、簡易な構成、方法で高速、高精度に物体の形状検査を行うことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１の形状検査方法のフローチャートである。
【図２】図１の形状検査方法を適用する検査装置の構成図である。
【図３】図２の検査装置の座標系と記号の説明図である。
【図４】この発明の実施の形態２の形状検査方法のフローチャートである。
【符号の説明】
１０１検査対象物体、１０２撮像手段、１０３ａ、１０３ｂ、１０３ｃ照明手段、１０４制御手段、１０５画像処理手段、１０６結果出力手段、１０７表面反射パラメータ推定手段、１０８表面勾配推定手段、１０９検査手段。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a shape inspection method and a shape inspection device for a target object, and more particularly to a shape inspection method and a shape inspection device for a molded portion and a soldered portion of an electronic component mounted on a substrate.
[0002]
[Prior art]
In the conventional shape inspection method, a plurality of illumination units having different illumination angles with respect to a solder fillet as an inspection object are sequentially turned on, and each time each illumination unit is turned on, an image of the solder fillet is captured by an imaging unit. Based on the brightness of the pixel at the same address in each image captured each time each lighting unit is turned on, the slope of the solder fillet at that address is determined, and the slope and the shape of the solder fillet are approximated by a mathematical function to determine the solder fillet. The shape of the fillet is measured (for example, see Patent Document 1).
[0003]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 2000-304520
[Problems to be solved by the invention]
However, in the above-described shape inspection method, since the measurement is basically made using the peak of the luminance of the reflected light of the object, that is, the specular reflected light, in order to estimate the specular reflected light well, the number of illuminations having different irradiation angles is required. Had to be prepared and the data used for Gaussian function fitting had to be increased. In addition, there is a problem that an increase in the number of illuminations leads to an increase in inspection time.
[0005]
Furthermore, not only the specular reflection component but also the diffuse reflection component exists in the reflected light of the object. In the case of solder or the like, the specular reflection component is relatively large, so the above-described shape inspection method can be applied. There is a problem that it is not appropriate to apply a Gaussian function to an object having a large reflection component.
[0006]
SUMMARY OF THE INVENTION An object of the present invention is to provide a shape inspection method for performing a shape inspection of an object at high speed and with high accuracy with a simple configuration having a small number of illuminations without using the surface reflection characteristics of the target object by effectively using all of the reflected light. And a shape inspection device.
[0007]
[Means for Solving the Problems]
The shape inspection method according to the present invention illuminates a target object from a plurality of different directions using an illuminating unit, and captures a plurality of images of the target object illuminated from different directions using an imaging unit. In the shape inspection method for measuring the surface gradient of the target object from the luminance and the illumination direction of the pixel at the same coordinates in the obtained image, the surface reflection parameter of the target object is estimated using the image and the good shape model of the target object Then, the surface gradient of the target object is estimated using the image and the estimated value of the surface reflection parameter, and the quality of the target object is inspected by comparing the estimated value of the surface gradient with the surface gradient of the conforming shape model. I do.
[0008]
In addition, the shape inspection apparatus according to the present invention includes an illumination unit that illuminates the target object from a plurality of different directions, an imaging unit that captures a plurality of images of the target object illuminated from the different directions, In a shape inspection apparatus including image processing means for measuring the surface gradient of a target object from the luminance of the pixel at the same coordinate and the illumination direction, the image processing means uses the image and a good-quality shape model of the target object, Surface reflection parameter estimating means for estimating the surface reflection parameter of the object; surface gradient estimating means for estimating the surface gradient of the target object using the image and the estimated value of the surface reflection parameter; Inspection means for comparing the surface gradient of the model with the shape of the target object to check whether the shape of the target object is good or not.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a flowchart of the shape inspection method according to the first embodiment of the present invention. FIG. 2 is a configuration diagram of an inspection apparatus to which the shape inspection method is applied. FIG. 3 is a schematic diagram for explaining a coordinate system and symbols of the inspection device of FIG.
[0010]
As shown in FIG. 2, an inspection apparatus to which the shape inspection method is applied includes an imaging unit 102 composed of a CCD camera in a form looking down on the inspection object 101 and three illuminations for illuminating the inspection object 101 at different angles.

Means

103a, 103b, 103c, control means 104 for controlling lighting of the illuminating means 103 and outputting control information, and obtaining image data of the inspection object 101 imaged by the imaging means 102, and controlling the control means 104 An image processing unit 105 that determines the quality of the inspection target object 101 using information and a result output unit 106 that outputs a determination result of the image processing unit 105.
Further, the image processing unit 105 uses a surface reflection parameter estimation unit 107 that estimates a surface reflection parameter of the target object using the image and the non-defective shape model of the target object, and uses the image and the estimated value of the surface reflection parameter. A surface gradient estimating unit 108 for estimating the surface gradient of the target object, and an inspecting unit 109 for comparing the estimated value of the surface gradient with the surface gradient of the conforming shape model to inspect the quality of the target object. I have. The non-defective model data is stored in the image processing unit 105 as described later. The control means 104, the image processing means 105 and the result output means 106 are constituted by a computer. Here, the number of the illuminating units 103 is set to three, and the heights of the illuminating units 103 are described as being the same. However, the number of illuminating units to be arranged may be three or more. It doesn't matter.
[0011]
The coordinate system and symbols used in the description of the shape inspection method described later will be described with reference to FIG. The inspection object 101 is set at the origin of the xyz coordinate system, and the imaging surface of the CCD camera as the imaging means 102 is set to be perpendicular to the z-axis. In FIG. 3, only the imaging surface of the CCD camera is shown, and the CCD camera is omitted. Next, the surface gradient of the inspection object 101 is represented by a unit normal vector n of the surface of the inspection object,
n = (p, q, r)
And Since the unit normal vector n is a unit vector, p ² + q ² + r ² = 1.
[0012]
Next, vectors and matrices related to illumination will be described. Regarding the illumination 103a, the illumination 103b, and the illumination 103c included in the illumination unit 103, unit vectors in the respective illumination directions are m1, m2, and m3. When expressing by a vector, the direction of the vector is set to the direction opposite to the direction in which light is irradiated, and to the direction from the origin to the

lights

103a, 103b, and 103c. here,
m ₁ = (M ₁₁ , M ₁₂ , M ₁₃ )
m ₂ = (M ₂₁ , M ₂₂ , M ₂₃ )
m ₃ = (M ₃₁ , M ₃₂ , M ₃₃ )
And
[0013]
Next, a shape inspection method will be described with reference to FIG. Note that the shape model is a model indicating the shape of the target object for shape measurement. For example, taking a solder ball described later as an example, the shape model of the solder ball is a sphere. The conforming shape model has a desired shape among the shape models, and is a true sphere in the case of a solder ball. If the shape model can be represented mathematically, it can be represented using mathematical formulas. On the other hand, in the case of a shape that cannot be expressed mathematically, an actual object may be manufactured and prepared.
[0014]
The surface gradient of the good shape model is obtained by differentiating the shape (height) because the shape is known in advance, and the good shape model and the surface gradient data of the good shape model are stored in the storage unit of the computer. deep.
[0015]
The surface reflection model refers to a model that illuminates the target object and reflects the light on the surface of the target object. Here, a Phong model that can simultaneously consider diffuse reflection and specular reflection is adopted as the surface reflection model. In the Phong model, the reflected light (image luminance) I of the object is expressed by Expression 1 as the sum of the diffuse reflection component and the specular reflection component.
[0016]
(Equation 1)

[0017]
It is assumed that Equation 1 holds for each point on the surface of the inspection target object.
here,
v: camera direction vector (3D unit vector)
In the coordinate system of FIG. 3, v = (0, 0, 1)
I: amount of reflected light (luminance of image) of inspection object
n: normal vector of the surface of the inspection object (3D unit vector)
m: Lighting direction vector (3D unit vector)
m ': Vector in the regular reflection direction of illumination light (3D unit vector)
m ′ = 2 (n, m) nm
C: reflection parameter 1 in the Phong model
k: reflection parameter 2 in the Phong model (0 ≦ k ≦ 1)
t: Reflection parameter 3 in the Phong model (0 ≦ l)
(A, b): An inner product of the vector a and the vector b.
[0018]
This equation indicates that, in the Phong model, the diffuse reflection component is given by the inner product of the normal direction of the object and the illumination direction, and the specular reflection component is t = the inner product of the normal direction of the object and the specular reflection direction of the illumination. It is given by the power. t represents the peak width (sharpness) of the specular reflection component, and the larger the value, the greater the change in luminance. The content ratio between the diffuse reflection component and the specular reflection component of the object is (1-k): k, and C indicates the gain. The three scalar quantities C, k, and t are the surface reflection parameters of the Phong model.
[0019]
As a surface reflection model, there is also a Blinn model having a similar shape instead of the Phong model. The Blinn model is expressed by Equation 2.
[0020]
(Equation 2)

[0021]
here,
h: Half vector (3D unit vector)
h = (m + v) / {m + v}
{A}: magnitude of vector a (norm)
It is. Those having the same symbol as the Phong model have the same meaning.
[0022]
Next, the flow of the shape inspection method will be described in more detail. In step 1, one of the

illuminations

103a, 103b, and 103c is selected and illuminated by the control unit 104. Next, the imaging unit 102 controlled by the image processing unit 105 captures an image of the illuminated target object 101. In step 3, it is determined whether or not a required number of images have been captured, and if not completed, the process returns to step 1 to select a different illuminating unit 103 and repeat the imaging. In this case, if the image can be captured by illuminating the three illuminating units 103, the process proceeds to step 4. In step 4, since three images in different directions have been captured, the non-defective shape model of the target object stored in the image processing unit 105 is read, and the data of the three images transmitted from the imaging unit 102 is read. In accordance with the non-defective shape model, a surface reflection parameter of the target object 101 is obtained.
[0023]
The step 4 will be described in more detail. The surface reflection parameter of the target object is obtained as follows using three images obtained from illuminations in different directions and a non-defective shape model of the target object. In the following, it is assumed that the Phong model is used, that the surface of the target object is uniform, and that each surface point of the target object has the same surface reflection parameter. Here, it is assumed that the captured target object is close to a non-defective shape model. Assuming that the imaged target object is the same as the non-defective shape model, n in Equation 1 becomes known. In addition, since the luminance I obtained from the image is known and the illumination direction vectors m ₁ , m ₂ , and m ₃ are also known, if the three equations of Equation 1 can be simultaneously established, C, k, t can be solved. Here, Equation 1 is satisfied at each point on the surface of the target object, so that the number of pixels constituting the target object in the three images can be simultaneously set, and the average of the three images is taken into consideration. As a solution, C, k, and t can be solved. Specifically, the above simultaneous equations can be solved at high speed by using the Levenberg-Marquardt method, which is one of the numerical calculation methods of the nonlinear least squares method. As described above, in step 4, the surface reflection parameters C, k, and t can be estimated.
[0024]
Next, in step 5, using the surface reflection parameters calculated by the image processing means 105 and the three images, a unit method that is the surface gradient of the target object at each point (each coordinate point of the image) of the target object. Compute the line vector n _obj . Since Equation 1 is established at each point of the object, I, m, C, k, and t are known, and the desired one is n. Since there are three images obtained by illumination in different directions, at each point of the object, three equations (1) can be set simultaneously, so that the normal vector n _obj can be solved. In order to perform the calculation at high speed, a Gaussian iteration method (Gauss-Newton method), which is one of the nonlinear numerical calculation methods, may be used. As described above, in Step 5, the normal vector n _obj is obtained at each point of the target object.
[0025]
Finally, in step 6, the normal vector _ngood obtained from the good shape model is compared with the normal vector _{nobj of the} target object. Since each normal vector is obtained at each point of the object, the method of comparison is, for example, the difference in the direction of the normal at each point,
1- (dot product of two vectors)
Defined by At this time, the above value is zero if the directions match. If they are orthogonal, it becomes 1. The maximum value of the difference in the direction of the normal may be compared with a preset threshold, or the difference in the direction of the average normal over the entire target object may be set in advance. The thresholds may be compared. If the difference in orientation is small, the inspection is good, and if the difference is large, it is defective.
[0026]
When such a shape inspection method is applied to a shape inspection of a solder ball of CSP (ChipScale Package), which is a kind of semiconductor package (about 400 hemispherical ball solders are mounted on the package), All inspections were completed in about 1.5 seconds.
[0027]
As described above, in the shape inspection method, by comparing the surface reflection parameter of the non-defective shape model with the measurement data, the shape inspection can be performed with a small number of illuminations having different illumination angles.
[0028]
In addition, since a non-defective shape model such as Phong and Blinn, which employs a surface reflection model that can take into account diffuse reflection, is employed, not only specular objects but also objects having various surface reflection characteristics can be inspected.
[0029]
Further, with such a shape inspection apparatus, it is possible to inspect the shape of an object with high speed and high accuracy by using a simple configuration and method.
[0030]
Although the first embodiment is applied to the inspection of the shape of a solder ball for a CSP, the effect is confirmed. However, a diffuse reflection component such as plastic or the like and a specular reflection component at the same level, or a diffuse reflection component such as gypsum is used. The shape of a target object made of a material whose is dominant can be similarly inspected.
[0031]
Embodiment 2 FIG.
FIG. 4 is a flowchart of a shape inspection method according to Embodiment 2 of the present invention. Steps 11 to 14 in FIG. 4 are the same as steps 1 to 4 in FIG.
[0032]
In step 15, the validity of the estimated value of the surface reflection parameter obtained in step 14 is checked. For example, using the upper limit value and the lower limit value, it is checked whether or not the obtained surface reflection parameter is within a specified range. When inspecting a target object close to a mirror surface, if the value of the reflection parameter k obtained in step 14 is too small (for example, 0.1), the validity of the obtained surface reflection parameter k is doubtful. It becomes. Because, as described above, in the Phong model, the ratio between the diffuse reflection component and the specular reflection component of the object is (1−k): k, so that k = 0.1 means that the specular reflection component of the object is very low. Which is contrary to the fact that we are inspecting objects close to mirror surfaces.
[0033]
Such a situation occurs because the normal vector n of the non-defective model is assumed when estimating the surface reflection parameter, and the target object has a shape far from the non-defective model. Occurs in the case. Therefore, in this case, it is immediately determined that the inspection is defective.
[0034]
In step 14, the nonlinear least squares method is performed as described in the first embodiment. In this case, the iterative calculation may not converge. In such a case, the step 14 is forcibly terminated by a finite number of iterations. This forced termination state is detected in the step 15, and even when the iterative calculation does not converge, the validity of the obtained surface reflection parameter is also confirmed. May be configured to be immediately determined to be defective.
[0035]
If it is determined in step 15 that the obtained surface reflection parameter is valid, the process continues to step 16. Steps 16 to 17 are the same as steps 5 to 6 in FIG.
[0036]
As described above, the shape inspection method has an effect that the inspection step can be omitted for some target objects, and the inspection can be speeded up.
Further, by inspecting the validity of the surface reflection parameter of the object, it is possible to inspect the object more accurately.
[0037]
【The invention's effect】
Advantageous effects of the shape inspection method of the present invention are as follows. In the shape inspection method of measuring the surface gradient of the target object from the brightness and the illumination direction of the pixel at the same coordinates in the obtained image, the surface reflection parameter of the target object is calculated using the image and the non-defective shape model of the target object. Estimating the surface gradient of the target object using the image and the estimated value of the surface reflection parameter, comparing the estimated value of the surface gradient with the surface gradient of the non-defective shape model, and determining whether the shape of the target object is good or bad. Inspection makes it possible to inspect not only target objects having a mirror-like surface but also target objects having various surface reflection characteristics without preparing a large number of illuminations with different illumination angles. Simple structure, the method at high speed, it is possible to perform the shape inspection of the object with high accuracy.
[Brief description of the drawings]
FIG. 1 is a flowchart of a shape inspection method according to Embodiment 1 of the present invention.
FIG. 2 is a configuration diagram of an inspection apparatus to which the shape inspection method of FIG. 1 is applied.
FIG. 3 is an explanatory diagram of a coordinate system and symbols of the inspection device of FIG. 2;
FIG. 4 is a flowchart of a shape inspection method according to a second embodiment of the present invention.
[Explanation of symbols]
101 inspection object, 102 imaging means, 103a, 103b, 103c lighting means, 104 control means, 105 image processing means, 106 result output means, 107 surface reflection parameter estimation means, 108 surface gradient estimation means, 109 inspection means.

Claims

Using the illuminating means, the target object is illuminated from a plurality of different directions, and using the imaging means, a plurality of images of the target object illuminated from the different directions are taken, and the same coordinates in the obtained image are obtained. In the shape inspection method for measuring the surface gradient of the target object from the luminance and the illumination direction of the pixel,
Using the image and the good shape model of the target object, the surface reflection parameter of the target object is estimated,
Using the image and the estimated value of the surface reflection parameter, the surface gradient of the target object is estimated,
A shape inspection method, comprising: comparing the estimated value of the surface gradient with the surface gradient of the conforming shape model to inspect whether the shape of the target object is good or not.

The shape inspection method according to claim 1, wherein the validity of the obtained estimated value of the surface reflection parameter is determined.

The shape inspection method according to claim 1, wherein the surface reflection parameter of the target object is obtained by using a surface reflection model.

The shape inspection method according to claim 3, wherein the surface reflection model is one of a Phong model and a Blinn model.

Illuminating means for illuminating the target object from a plurality of different directions; imaging means for imaging a plurality of images of the target object illuminated from the different directions; and luminance and illumination directions of pixels at the same coordinates in the obtained image And an image processing means for measuring the surface gradient of the target object from
Image processing means, using the image and the non-defective shape model of the target object, a surface reflection parameter estimation means for estimating a surface reflection parameter of the target object,
Using the image and the estimated value of the surface reflection parameter, surface gradient estimating means for estimating the surface gradient of the target object,
A shape inspection apparatus comprising: an inspection unit configured to inspect the quality of the target object by comparing the estimated value of the surface gradient with the surface gradient of the non-defective shape model.