本発明の一実施形態について図1〜図40に基づいて説明すれば、次の通りである。以下の特定の項目で説明する構成以外の構成については、必要に応じて説明を省略する場合があるが、他の項目で説明されている場合は、その構成と同じである。また、説明の便宜上、各項目に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。
〔1.表面検査装置1〕
本発明の一実施形態である表面検査装置1について図1から図17に基づいて説明すると以下の通りである。
なお、以下の実施形態では、表面検査装置1が、金メッキされた物体の表面に生じる表面性状の検査を例に説明を行うが、これに限るものではない。例えば、表面検査装置1は、銅メッキされた物体の表面に生じる表面性状の検査を行うことも可能である。
同様に、物質表面における凹凸の二乗平均粗さrmsが物体表面に照射される光の波長より小さく、凹凸の曲率半径が物体表面に照射される光の波長に比較し十分に長い他の金属メッキの表面や、紙やプラスチックなどの他の材質で覆われた平面の表面に生じる表面性状の検査に用いてもよい。ただし、本実施形態のような金メッキに対して適用する場合には、携帯電話機を始めとする様々な電子機器のプリント基板に対する表面検査装置として利用することができるため、特に効果が大きい。
まず、図1を参照して本実施形態で用いる表面検査装置1の要部構成について説明する。図1の(a)は表面検査装置1の全体構造の概要を示す側面図であり、図1の(b)は表面検査装置1の散乱光検出部の原理を示す部分拡大図である。
なお、以下の説明では、表面検査装置1の構成のうち、光源20、コリメータレンズ22、およびポラライザ24から構成される、光を計測対象の物体56に照射する部材を光照射部と呼ぶ。また、ピンホール30、対物レンズ12、アイリス14、ウォラストンプリズム10、アイリス調整部36、ウォラストンプリズム位置調整部38、CCDカメラ40、および画像解析部50から構成される、物体56表面に照射された光の散乱光を取得するための部材を散乱光検出部と呼ぶものとする。
なお、本実施形態では、偏光成分分離手段としてウォラストンプリズム10を用いる場合を例に説明するが、これに限るものではない。ウォラストンプリズム10の代わりに、ビームディスプレーサを用いてもよい。
ウォラストンプリズムでは、P偏光成分光およびS偏光成分光が光軸を中心に対象な方向に進行するため、P偏光およびS偏光画像の間隔を調整できる。これに対して、ビームディスプレーサでは、P偏光成分光およびS偏光成分光が一定距離を隔てて、平行に進行するため、像間の距離を変更できない。
よって、検査対象物の大きさが変化する場合や倍率が変化する場合には、ビームディスプレーサは、その仕様に合わせて結晶を製作する必要がある。これに対して、ウォラストンプリズムでは、その位置によって調整が可能なため、ウォラストンプリズムを使うことが好ましい。
図1に示した表面検査装置1では、光源20から照射された光が、コリメータレンズ22によって検査する対象となる物体56の表面に施された金メッキ部の広さに併せて広げられ、ポラライザ24によって偏光方向が決定されて、物体56の表面に照射されている。
ここで、光源20は、検査対象となる物体56に対して垂直に配置されたCCDカメラ40に対して角度θ(°)の角度を付けて配置されている。以下では、光源20から照射される光の入射角度θを45°として説明するが、これに限るものではない。詳細は後述するが、金メッキの表面を検査する場合には、60°〜65°、好ましくは、62.5°の角度で照射することが望ましい。なお、照射角度の設定について、詳細は後述する。
照射された光は金メッキ部で散乱するが、表面の凹凸によってその散乱光が図1の(a)の上方向にも散乱される。CCDカメラ40および画像解析部(表面性状判断手段)50を含む散乱光検出部(図1の(b)参照)には、ピンホール30によって観察視野が制限された散乱光が、結像用の対物レンズ12、NA(Numerical aperture;開口数)を小さくして焦点深度を深くするアイリス14を通過する。さらに、光をP偏光成分ならびにS偏光成分に分離するウォラストンプリズム(偏光成分分離手段)10を通過し、対物レンズ12によってCCDカメラ40上に結像され、画像解析部50に入力される。
ウォラストンプリズム10は、照射した光がプリズム内を通過した後、散乱面に平行な振動成分であるP偏光成分16と、散乱面に垂直な振動成分であるS偏光成分18とに分離され、ある角度(±α°)方向にそれぞれ屈折するようになっている(偏光成分分離ステップ)。よって、ウォラストンプリズム10の位置を調整することによってP偏光成分16とS偏光成分18との画像間距離を調整することができる。
また、これにより、検査対象の物体56表面の性状を精度よく検出できる。これは、物質の表面(例えば、金属メッキされた物体56表面など)に照射された光の散乱光は、物体56表面における凹凸の分布の状態によって散乱角度および各偏光成分の割合が変化するためである。また、金属の場合であれば、吸収係数が高いために反射率は高い値を示すが、物体表面における凹凸の分布の状態によって各偏光成分の散乱強度が高くなったり低くなったりするので、一定の偏光方向の光を入射させた場合、物体表面における凹凸の分布に応じて各偏光成分の強度が異なるためである。
次に、アイリス14は、NAを小さくし、焦点深度を深める機能を持っている。また、NAを小さくし、F-numberを10程度まで大きくすることは、照射および観察方向の角度広がりを小さくすることになり、測定精度を高くする役目も担っている。
なお、アイリス14は、アイリス調整部36によって絞りが調整され、ウォラストンプリズム10は、ウォラストンプリズム位置調整部38によって位置が調整される。CCDカメラ40は、S偏光成分18およびP偏光成分16の異なる偏光成分に分離された散乱光によって結ばれた像を撮影し、画像解析部50は、CCDカメラ40に入力された像に基づいて物体56の表面に形成された金メッキにおける表面上の凹凸の分布状態(表面性状)を判断する。
なお、CCDカメラ40に入力される散乱光の像は、同じ2次元検出装置の検出面上で結像されるため、像が重なる場合がある。これを避けるために、対物レンズ12の前にピンホールを配置して、観察視野を制限している。
図2は、ピンホールの配置によって、検出する対象であるP偏光成分およびS偏光成分に基づく画像を分離できることを示す模式図である。図2の(a)はピンホールの大きさが適切な場合を、図2の(b)はピンホールの大きさが大きすぎる場合の例を示している。
図2の(a)では、ピンホールの大きさが適切なため、P偏光成分およびS偏光成分に基づく画像が重なることなく、2つの画像として別個に検出することができる。
これに対して、図2の(b)では、ピンホールの大きさが大きすぎるため、P偏光成分およびS偏光成分に基づく画像が重なり合ってしまい(クロストークしてしまい)、画像パターンが重なり合った部分がノイズとなってしまい、正確に画像を検出することができていない。このような不具合を起こさないために、画像を取得する位置や距離に応じてピンホールの大きさを設定する必要がある。
以上のように、本発明では、図1の(a)に示すように、光源20から照射された光の幅を検査する金メッキ部の広さに合わせて広げるコリメータレンズ22、光の偏光方向を決めるポラライザ24、結像用の対物レンズ12、散乱された散乱光のP偏光成分16およびS偏光成分18を1つのCCDカメラ40で同時に捉えるためのウォラストンプリズム10(偏光成分分離手段)、および、P偏光成分16およびS偏光成分18に基づく画像を分離するためのピンホール30を主構成要素としている。
次に、検査対象となる物体56上に設けられた金メッキの特性について、図3から図5を参照して説明する。図3は、表面検査装置1で検査する金メッキの表面の原子間力顕微鏡(以下、AFM:Atomic Force Microscopeという)による像(以下、AFM像という)を示す拡大図である。図3は、金メッキ表面の凹凸が適切な光沢を得る正常光沢部および異常な光沢を示す異常光沢部のAFM像を示す図である。図4は、AFM像の平均高さからの各点の変位の度数分布を示すグラフである。図5は、エリプソメトリーによる金メッキ表面の偏光解析結果を示すグラフである。
図3に示すように、金メッキの表面をAFMで観察すると小さい凹凸の像が得られる。このような表面に光を照射すると乱反射が生じ、光沢の発生が抑制される。この凹凸の表面状態が変化することによって光沢の状態に変化が生じる。このような光沢の状態変化が部分的に生じた場合に、表面性状における凹凸の分布が異常と判断される。一般に表面に凹凸などの乱れがある場合、P偏光成分およびS偏光成分の反射率は、完全に平坦な金メッキの表面における、それぞれの反射率とは異なることが光学の基礎原理より示されている(非特許文献1参照)。
物質表面における凹凸の分布が異常である異常光沢部および正常光沢部におけるAFMによる表面高さの二乗平均粗さrms(root mean square)を比較すると、正常光沢部では二乗平均粗さrmsが高く、異常光沢部では二乗平均粗さrmsが低くなっている。これは、異常光沢部が正常光沢部に比べ平坦であり、理想平面の金メッキに近いことを示している。よって、エリプソメトリーで偏光解析を行うと、得られるパラメータΨ’=tan−1(P偏光成分の強度/S偏光成分の強度)は、異常部におけるパラメータΨ’の値が、平坦な金メッキの表面の測定結果に近い値を示す。
図3では、物質表面における凹凸の分布が異常である異常光沢部(#1〜#3)および正常光沢部(#4)のAFM像が示されている。上段は1辺が30μm、下段は1辺が90μmとなっている。図3のAFM像からは、異常光沢部および正常光沢部における画像の顕著な違いは見られないが、RMS値(二乗平均粗さrms)には明瞭な差が見られる。
図4は、AFM像の平均高さからの各点の変位の度数分布を示すグラフである。グラフ全体512×512の点から構成されており、図4の(a)は異常光沢部(#1〜#3)の変位分布を示し、図4の(b)は正常光沢部(#4)の変位分布を示している。図4の例では、正常光沢部も異常光沢部もほぼガウス分布となっているが、正常光沢部の標準偏差は異常光沢部より大きい(広がりが大きい)ことが分かる。
図5に、正常光沢部および異常光沢部におけるエリプソメトリーの偏光解析結果を示す。図5を参照すると、正常光沢部および異常光沢部でパラメータΨ’の値が異なることが分かる。これは、物質表面における凹凸が反射光の偏光方向、すなわち、S偏光成分およびP偏光成分のそれぞれの反射率に影響することを示している。なお、完全に平坦な金メッキの表面におけるパラメータΨ’は42.2度である。
得られるパラメータΨ’=tan−1(P偏光成分の強度/S偏光成分の強度)は、異常部におけるパラメータΨ’の値が平坦な金メッキの表面の測定結果(ここでは、42.2度)に近い値を示す。この結果は正反射におけるパラメータΨ’の値であるが、本実施形態ではパラメータΨ=tan−1(S偏光成分の強度/P偏光成分の強度)を用いているため、表面の粗さとパラメータΨの関係は正反射の場合と逆になる。
このように、各偏光成分の強度の比と物質表面における凹凸との間に相関があるので、偏光成分強度の比から物質表面における表面性状を求めることができる。これを用いて、正常光沢部および異常光沢部の光沢の状態と、パラメータΨの値とを予め計測し、金メッキ上の各点のパラメータΨをCCDカメラなどの2次元検出器で測定すれば、異常光沢の存在を2次元的に検出することができる。具体的には、所定の閾値(例えば、25以下)の場合に、異常光沢と判断して計測することができる。
次に、本実施形態で検査する対象となる金メッキの表面状態について、図6から図8を参照して説明する。図6は、プリント基板上に施された金メッキの一例を示す図である。図7は、図6の一つのパッドのP偏光成分(右)およびS偏光成分(左)の像の一例を示している。図8は、図7から計算されたパラメータΨの値を2次元情報として取得した例を示す図である。
図6に示すように、プリント基板上には、金属の接点が設けられている。金メッキ90〜99は、プリント基板上に設けられたメッキの一例である。なお、図8の金メッキ91〜94は、図6の同じ番号の金メッキとそれぞれ対応する。金メッキ90〜99は、プリント基板上の接点を覆う状態でメッキ処理されており、接点の腐食に対する耐性を高め、電気伝導率を上げる機能を果たしている。
図8のメッキ91は均一な濃淡であり、正常光沢メッキであるが、メッキ92〜94は濃淡が変化しており、プリント基板上に施された金メッキには凹凸の分布の偏りが存在する。黒い部分は凹凸が小さく、二乗平均粗さrmsが低い平坦な状態を示しており、白い部分は凹凸が激しく、二乗平均粗さrmsが高い状態を示している。
図8では、図6および図7で示した金メッキの表面の状態を、2次元情報としてカメラで撮影し画像データとして取り込み、各画素のパラメータΨの値を計算し2次元画像として示している。図8の左端の金メッキ91はほぼ均質な状態となっているが、金メッキ92〜99には表面状態にばらつきが生じ、光沢の異常が存在する状態になっている。
図9は、照明の入射角度を変えながら金メッキ部を観察した例である。入射角度によって、光沢の異常の見え方が異なることが分かる。しかし、入射角が70度程度以上になると、図17の(a)に示す金の反射率曲線からわかるように、P偏光成分は最小値をとり、その後、増加する。よって、図17の(b)に示すように、パラメータΨの値に対して計算される表面凹凸の度合い(二乗平均粗さrms)は、2つの値が対応するため算出のために使用できない。
図16は、入射角度を変えた時に、本方法による正常光沢の金メッキおよび表面凹凸に分布の偏りがある異常光沢の金メッキにおける偏光方向のピーク位置(角度°)をグラフにしたものである。入射角度を大きくすると、正常光沢および異常光沢のメッキ部における角度の差が大きくなり、正常光沢品および異常光沢品の分離精度が向上する。
しかしながら、上述のように、入射角度が70度以上になると表面凹凸の度合いとパラメータΨの値は2価関数となるため本方法は使用できない。よって、本方法を用いる場合、60度〜65度の入射角が好ましい。
次に、図10および図11を参照して、金メッキの表面からの散乱光のP偏光成分16およびS偏光成分18によって結ばれた像と、表面性状の検出結果について一例を示す。図10および図11は、光の照射角θ=45°の配置で得られた、金メッキ表面の光沢異常の検出結果を示している。
なお、図10は均一照明の下で行われた検出結果を、図11は不均一な照明の下で行われた検出結果を示し、それぞれ、「Sample1」〜「Sample3」は光沢異常の存在する例を、「Sample4」は光沢が正常な例を示している。また、「Sample4」の画像の左下部分に欠けが見られるが、これはチェック用のマーカーをマジックで書き込んだもので光沢異常ではない。
図10および図11において、サンプルごとに3つの金メッキ表面の状態を示しているが、中央および右側の画像は、それぞれP偏光成分およびS偏光成分画像である。左側の金メッキは、中央および右側の各偏光成分の像に基づいてパラメータΨ=tan−1(S偏光成分の強度/P偏光成分の強度)の数式を用いてパラメータΨの値を計算し、光沢異常部=閾値(ここでは、入射角が45°において40以上)の部分を黒く表示した図である。
図10は、ほぼ均一な光を照射したときの検出結果を示している。図11は、図10と同じサンプルについて、光源20による、目視ではっきりとした照射に偏りが確認できる照射斑を故意に加え、かつ、照射強度を高めた光源を用いた場合の結果を示している。この場合でも、図10とほぼ同じ光沢異常検出結果が得られており、表面検査装置1の安定性を示している。
以上のように、本実施形態の表面性状の検査方法を用いることによって、検査対象に照射する光の光源の照射に偏りが存在する場合であっても影響をほとんど受けることなく、光沢異常の検出が可能になっていることが分かる。
図12は、図3に示したAFM像の各点における曲率半径を示すグラフである。図12の(a)は、図3における光沢異常部(#1〜#3)の分布を示し、図12の(b)は、図3における正常光沢部の分布を示している。図12の(a)および(b)に示すグラフでは、曲率半径は数十mmまでほぼ均等に広がっており、99.5%が100μm以上になっている。これは、入射波長の数百nmと比較して十分に大きい。
図13は、図3に示したAFM像の各粒子における最近接粒子間距離の度数分布を示すグラフである。図13の(a)は、図3における光沢異常部(#1〜#3)の分布を示し、図13の(b)は、図3における正常光沢部の分布を示している。図13の(a)および図13の(b)を比較すると、度数がピークの状態(図13の(a)では1100nm前後、図13の(b)では14000nm前後)における間隔が光沢異常部(#1〜#3)では小さく、密度も高くなっており、光沢異常部が光沢正常部に比較し、平坦に近いことがわかる。
次に、図14および図15を参照して、検査対象となる金メッキ表面の表面性状の検査結果を、検査対象となる物体の良否の判断に用いる場合について説明する。図14および図15は、検査対象の物体の正常品、異常品、および正常品の限界となる物体におけるパラメータΨの度数を示すグラフである。
図14は、横軸にパラメータΨ(単位:°)、縦軸を度数として、それぞれ、正常品と判断される金メッキ、および、異常品と判断される金メッキに対するΨの計測結果を示したものである。
図14では、3つのグループのグラフが示されている。グラフの左側にピークが存在するグループの3本のグラフは、計測対象の金メッキが「異常光沢品」と判断されるものを示している。グラフの右側にピークが存在するグループの2本のグラフは、計測対象の金メッキが「正常光沢品」と判断されるものを示している。左側のグループおよび右側のグループの間に位置し、中央にピークが存在するグループは、異常光沢品および正常光沢品の境界にあたる「正常光沢限界品」のグラフを示している。
図15では、「正常光沢限界品」の基準グラフと、物体表面における凹凸の分布に偏りを含む「異常光沢品」のグラフから異常度合いを計算する方法を示している。「正常光沢限界品」のグラフよりも上側で、かつ、「異常光沢品」のグループのグラフよりも下側に含まれる領域(図15の斜線部)の異常光沢品グラフ全体の面積に対する割合を異常度合い(%)として定義する。このようにして異常光沢のメッキを分類することや、閾値を設けて、不良の検出を行うことができる。
図16では、入射角度θおよびピーク偏光角度の関係を示している。ここでは、ピーク偏光角度を10倍にしてグラフに示している。ここでは、入射角度θが「62.5°」から「47.5°」に減少するに従って、ピーク偏光角度の差が減少しており、入射角度は62.5°の場合、その差が最も大きく、正常光沢品・異常光沢品を区別するのに最も適していることが分かる。しかし、入射角が70度程度以上になると、図17の(a)の金の反射率曲線からわかるように、P偏光成分は最小値をとり、その後、増加する。よって、図17の(b)にように、計算されるパラメータΨの値に対して表面凹凸の度合い(二乗平均粗さrms)は、2つの値が対応するため使用できない。
以上のように、図1に示す表面検査装置1(または表面検査方法)では、ウォラストンプリズム10が、検査対象の物体56表面に照射された光の散乱光を散乱面に平行な振動成分であるP偏光成分16と、散乱面に垂直な振動成分であるS偏光成分18とに分離する(偏光成分分離ステップ)。
これにより、検査対象の物体56表面の性状を精度よく検出できる。これは、物質の表面(例えば、金属メッキされた物体56表面など)に照射された光の散乱光は、物体56表面における凹凸の分布の状態によって散乱角度および各偏光成分の割合が変化するためである。また、金属の場合であれば、吸収係数が高いために反射率は高い値を示すが、物体56表面における凹凸の分布の状態によって各偏光成分の散乱強度が高くなったり低くなったりするので、一定の偏光方向の光を入射させた場合、物体56表面における凹凸の分布に応じて各偏光成分の強度が異なるためである。
また、画像解析部50は、ウォラストンプリズム10によって分離された、P偏光成分16およびS偏光成分18のそれぞれの検出画像から算出される強度比相関パラメータの値に基づいて、物体56の表面の性状を判断する(表面性状判断ステップ)。
ここに、「強度比相関パラメータ」とは、P偏光成分16の強度に対するS偏光成分18の強度の比(以下、単に「偏光強度比」という)と相関をもつパラメータであるP偏光成分16の強度に対するS偏光成分18の強度の比そのものを含め、当該偏光強度比と相関をもつパラメータのことである。例えば、上述したパラメータΨを例示することができる。
この強度比相関パラメータの値は、従来の技術では検出が困難であった物体56表面の比較的小さな変化の群ととらえられる欠陥である、凹凸の分布の偏りやムラの状態を判断(検出)する指標となり得る。
また、散乱強度比と相関をもつ強度比相関パラメータを用いているため、検査対象に照射する光の強度分布に偏りが存在する場合であっても、影響をほとんど受けることなく物体56表面の性状を精度良く判断することができる。
よって、強度比相関パラメータの値を利用することにより、物体56表面における凹凸の分布の偏りやムラの状態を精度良く検出することが可能となる。
なお、強度比相関パラメータは、従来技術の検査対象である、物体56表面の比較的大きな変化の群ととらえられる欠陥である、物体56表面の異物や疵の状態を判断する指標としても好適である。
ところで、上記の特許文献1に記載されている技術では、カメラを使用して物体表面の性状の異常(光沢ムラ)を検出しており、液晶を駆動する電気回路や同期して画像を取得する制御部が必要で装置が大掛かりとなるという問題を生じる。さらに、時間分割でS偏光、P偏光を取得するために、画像取得に1画面の2倍の時間が必要となるため、スループットを高くできないという副次的な課題が生じる。
しかしながら、上述のように、表面検査装置1(または表面検査方法)では、ウォラストンプリズム10により、同一の光に由来する散乱光が、散乱面に平行な振動成分であるP偏光成分16と、散乱面に垂直な振動成分であるS偏光成分18とに分離される。
また、対物レンズ12、アイリス14、ピンホール30により、P偏光成分16およびS偏光成分18を同一の検出画面上で結像させて得られた2つの検出画像を取得することが可能となっている。よって、例えば、物体56表面に光を照射するための光学系や、散乱光を受光するための光学系などの構成を簡素化できる。また、P偏光成分16の検出画像と、S偏光成分18の検出画像とのクロストークを抑制しつつ、これらの検出画像の検出精度を高めることができる。よって、上記の副次的な課題を解決することができる。
なお、特許文献2および3に記載されている技術では、対象とする試料の1点のみの光沢を計測しているだけであり、検査対象面の全体の計測に用いることは難しい。また、1点のみの検査を試料に沿って繰り返し行うことで、広い範囲に対して適用する方法も考えられるが、スループットが極端に低くなるという副次的な問題点を生じる。しかしながら、表面検査装置1(または表面検査方法)では、CCDカメラ40を用いているので、このような副次的な問題点も生じない。
また、特許文献2、4および5に記載されている技術では、偏光方向の異なる偏光成分のそれぞれを異なる受光器で検出しているため、光学系の構成が大掛かりとなるという副次的な問題点を生じる。しかしながら、表面検査装置1(または表面検査方法)では、単一のCCDカメラ40にて偏光方向の異なる偏光成分のそれぞれを検出しているため、このような副次的な問題点も生じない。
さらに、特許文献3および6に記載されている技術は、取得したP偏光成分とS偏光成分とにクロストークが生じる可能性が高い構成であるという副次的な問題点がある。しかしながら、表面検査装置1(または表面検査方法)では、ウォラストンプリズム10、対物レンズ12、アイリス14、およびピンホール30の位置関係等を調整することにより、P偏光成分16の検出画像と、S偏光成分18の検出画像とのクロストークを抑制しつつ検出できるので、このような副次的な問題点も生じない。
以上より、物体56表面の表面性状を簡素な構成で精度よく検出することができる。
また、本実施形態の表面検査装置1では、画像解析部50は、パラメータΨ=tan−1(S偏光成分の強度/P偏光成分の強度)の数式で求めたパラメータΨの値が所定の値よりも大きいか否か基づいて表面性状の良否を判断している(表面性状判断ステップ)。
ここで、パラメータΨの値は、凹凸の分布の偏りやムラの状態を判断するための指標として特に優れたパラメータであることを本願発明者は新たに見出した。すなわち、このパラメータΨを利用することにより、従来技術では困難であった、凹凸の分布の偏りやムラの状態をより精度良く判断することが可能となる。
また、本実施形態の画像解析部50は、パラメータΨの値が所定の値(閾値)よりも大きいか否か基づいて物体56表面における凹凸の分布の偏りを判断している。これによって、検査対象に照射する光の光源に照射に偏りが存在する場合であっても、影響をほとんど受けることなく物体56表面における凹凸の分布の偏りを検出することができる。
しかしながら、凹凸の分布の偏りの判断は、このような単にパラメータΨの値と閾値とを比較して判断する方法に限られない。すなわち、後述する表面検査装置1aように、パラメータΨを用いて所定の写像を構成することにより、値域パラメータ(判断パラメータ)を求める方法を採用しても良い。このようにして求めた判断パラメータの値に基づいて、物体56表面の性状を定量的な手法で判断することが可能となる。
本実施形態の表面検査装置1では、散乱光の入射視野角を調整するピンホール30をさらに備えている。
上記の構成によれば、ピンホール30が散乱光の入射視野角を調整する役割を果たすので、そのままでは偏光成分に分離された画像が重なるような場合でも、偏光成分に基づく画像を分離して取得することができる。
なお、本実施形態の表面検査装置1では、ウォラストンプリズム10の代わりにビームディスプレーサを用いてもよい。ウォラストンプリズムでは、P偏光成分光とS偏光成分光が光軸を中心に対象な方向に進行するため、P偏光・S偏光画像の間隔を調整できる。
しかしながら、ビームディスプレーサでは、P偏光成分光とS偏光成分光が一定距離を隔てて、平行に進行するため、像間の距離を変更できない。よって、検査対象物の大きさが変化する場合や倍率が変化する場合、ビームディスプレーサは、その仕様に合わせて結晶を製作する必要がある。これに対して、ウォラストンプリズムでは、その位置によって調整が可能なため、ウォラストンプリズムを使うことが好ましい。
上述のように、偏光成分を分離する手段としてウォラストンプリズム10やビームディスプレーサを任意に用いることによって、簡素な構成でP偏光成分16およびS偏光成分18を同時に得ることができるので、表面検査装置1を小型化することができる。
本実施形態の表面検査装置1では、光が照射される物体56表面は、Auでメッキされたメッキ平面であり、光の物体56表面に対する入射角度が60度から65度である。
上記の構成によれば、Auでメッキされたメッキ平面に対して精度のよい物体表面における凹凸の分布の偏りの検出ができるので、検査対象として需要の高い、携帯電話機を始めとする様々な電子機器のプリント基板に対する表面検査装置1として利用することができる。
〔2.表面検査装置1a〕
本発明の一実施形態について図18から図26に基づいて説明すると以下の通りである。
なお、以下の実施形態では、表面状態特定装置(表面性状判断手段)60が、同心円状に金メッキされた物体の表面に生じる光沢ムラを検査し、分類する場合を例に説明を行うが、これに限るものではない。同様に、物体56表面における凹凸の二乗平均粗さrmsが照射光の波長より小さく、凹凸の曲率半径が照射光の波長に比較し十分に長い他の金属メッキの表面や、金属メッキに限定されない金属製品または非金属製品(樹脂製品、セラミックス製品)などの他の材質で覆われた平面の表面に生じるムラの検査に用いてもよい。
ただし、本実施形態のような金メッキに対して適用する場合には、携帯電話機を始めとする様々な電子機器のプリント基板に対する表面検査装置として利用することができるため、特に効果が大きい。
まず、図18を参照して本実施形態で用いる表面状態特定装置60の要部構成について説明する。
本実施形態の表面状態特定装置60は、偏光成分算出部(偏光成分算出手段)62、検索座標算出部(座標算出手段)70、特徴量抽出部(初期特徴抽出手段)70aおよびデータ解析部(領域判定手段)80を備えており、外部の画像入力部100から入力された画像データに対して判定を行う。検索座標算出部70は、Px算出部72、Py算出部74、およびPz算出部76を備えている。データ解析部(領域判定手段)80は、良品・不良品判定部(良品・不良品判定手段)82、三日月状斑判定部(三日月状斑判定手段)84、斑点状斑判定部(斑点状斑判定手段)86、境界型斑判定部(境界型斑判定手段)88、および平均値算出部(平均値算出手段)89を備えている。なお、画像入力部100として、CCDカメラ40が直接表面状態特定装置60に接続されていても良い。また、上述した表面検査装置1の画像解析部50は、以下で説明する表面状態特定装置60と同一の機能を有していても良い。
以下、表面状態特定装置60の各部の機能について説明する。
画像入力部100は、表面状態特定装置60の外部にある画像入力デバイスで、カメラなどで撮影された画像データを表面状態特定装置60の偏光成分算出部62に入力する。
偏光成分算出部62は、画像入力部100から入力されたデータを、P偏光成分およびS偏光成分に分離して、各偏光成分の比を算出する。ここで、P偏光成分とは、物体表面に照射された光の散乱面に平行な振動成分であり、S偏光成分とは、散乱面に垂直な振動成分である。
散乱光を異なる2つの偏光成分に分離して判断することによって、検査対象の物体56表面の表面性状を精度よく検出できる。これは、物質の平面、具体例をあげれば、金属メッキされた物体の表面などに照射された光の散乱光は、物体56表面における凹凸の分布の状態によって角度および偏光成分の比が変化するためである。
金属の場合であれば、吸収係数が高いために反射率は高い値を示すが、物体56表面における凹凸の分布の状態によって各偏光成分の散乱強度が高くなったり低くなったりするので、一定の偏光方向の光を入射した場合、物体56表面における凹凸の分布に応じて各偏光成分強度が異なる。
偏光成分の比の算出方法について、詳細は後述するが、偏光成分算出部62は、パラメータΨ=tan−1(S偏光成分の強度/P偏光成分の強度)の式を適用することでパラメータΨの値を算出し、検索座標算出部70に入力する。
検索座標算出部70は、偏光成分算出部62が算出したパラメータΨの値の分布を用いて、物体表面の凹凸の状態を示すための直交または極座標空間(原点は、同心円状の金メッキパッドの中心、x−y平面またはr−θ平面は、物体表面の凹凸の基準面)におけるパラメータPx、PyおよびPzの値のそれぞれを算出する。
具体的には、Px算出部72は、
(1)パラメータΨ=R(r,θ)の動径方向の重み付け平均の角度微分の標準偏差であるパラメータPx、
(2)パラメータΨ=R(x、y)の重心座標のノルム(直交または極座標空間の原点からパラメータΨの重心までの距離)であるパラメータPy、
(3)パラメータΨ=R(r,θ)の動径方向の重み付け平均であるパラメータPzのそれぞれを、所定の写像を具現化する検索空間内の座標として算出する。
これは、パラメータPy(重心)が、三日月型斑を判別するための指標として好適なパラメータであり、パラメータPz(動径方向の重み付け平均)が、斑点状斑を判別するための指標として好適なパラメータであり、パラメータPx(Pzの角度微分の標準偏差)が、境界型斑を判別するための指標として好適なパラメータだからである。
なお、本実施形態では、検索空間の座標として、パラメータPx、Py、Pzの3つを用いて3次元の検索空間を構成しているが、検索空間の次元数はこれに限定されない。
例えば、パラメータPx、Py、Pzのうち少なくとも1つ以上のパラメータで検索空間を構成しても良い。すなわち、検索空間の次元は、設定したパラメータの数(1つから3つまで)に応じて、1次元から3次元までのいずれの次元であっても良い。
また、これらの検索座標算出部70の各部で行う計算については、詳細は後述するものとする(図20参照)。
データ解析部80は、検索座標算出部70の各部が算出した座標(Px,Py,Pz)が、検索空間内に設定された複数の領域のどの領域に属するかを判定する。
具体的には、良品・不良品判定部82は、検索座標算出部70の各部が算出した座標(Px,Py,Pz)により示される座標が、良品に応じて設定された領域に属する場合、当該物体表面は光沢斑がほぼ均一な、良品であると判断する。なお、良品領域の範囲として、詳細は後述するが、各軸の原点付近を中心とする楕円体の領域内が該当する(図26参照)。
同様に、三日月状斑判定部84、斑点状斑判定部86、および境界型斑判定部88は、検索座標算出部70の各部が算出した座標(Px,Py,Pz)が、それぞれの種類の光沢ムラに対応する範囲として設定された領域に含まれるか否かを確認し、当該物体表面に各種類の光沢ムラが存在すると判断する。なお、詳細は後述するが、本実施形態では、上記算出した座標(Px,Py,Pz)が良品領域にも、斑点状斑領域にも、境界型斑領域にも属さない場合、三日月状斑領域に分類されるとする(図26参照)。なお、各光沢ムラの種類について、詳細は後述する。
平均値算出部89は、複数の物体表面、例えば、1枚のプリント基板上に配置された複数の金メッキに対して、検索座標算出部70の各部が算出した座標の平均を算出することによって、シート全体の光沢ムラを総合的に分類する。複数の物体表面を対象とした光沢ムラの分類についての詳細は後述する。
次に、図1の(b)、図18および図19を参照して、表面状態特定装置60を含む表面検査装置1aの構成について説明する。
図19は表面状態特定装置60の全体構造の概要を示す側面図であり、図1の(b)は表面検査装置1aの散乱光検出部の原理を示す拡大図である。
なお、表面検査装置1aは、表面状態特定装置60以外の構成は、図1に示す表面検査装置1と同じである。そこで、ここでは、表面状態特定装置60以外の構成については、説明を省略する。
また、以下では、表面検査装置1aの構成のうち、光源20、コリメータレンズ22、およびポラライザ24から構成される、光を計測対象の物体56表面に照射する部材を光照射部と呼ぶ。また、ピンホール30、対物レンズ12、アイリス調整部36、ウォラストンプリズム位置調整部38、対物レンズ12、CCDカメラ40、アイリス14、ウォラストンプリズム10、および表面状態特定装置60から構成される、物体56表面に照射された光の散乱光を取得するための部材を散乱光検出部と呼ぶものとする。
次に、図20〜図24を参照してパラメータΨの値の分布に基づく検索空間内の座標(Px,Py,Pz)の算出方法について説明する。図20の(a)〜図20の(c)は、検索空間のx軸、y軸、z軸方向に設定した領域分類に用いる各パラメータを説明する図である。図21の(a)は、ムラのない良品の金メッキを、図21の(b)は、三日月状斑に分類される金メッキを、図21の(c)は、境界型斑に分類される金メッキを、図21の(d)は、斑点状斑に分類される金メッキを示す上面図である。図22は、CCDカメラ40(検出画面)上に結像された金メッキのP偏光成分(右)およびS偏光成分(左)の画像例を示す図である。
なお、本実施形態では、物体表面にあたる金メッキに入射角62.5度、中心波長650nmのLED光をP偏光およびS偏光で入射した場合の例に基づいて説明を行うが、これに限るものではない。
まず、前述のように、偏光成分算出部62が、パラメータΨ=tan−1(S偏光成分の強度/P偏光成分の強度)の式を適用することでパラメータΨの値を算出し、このパラメータΨの値の分布を用いて検索座標算出部70の各部が検索空間内の座標(Px,Py,Pz)を算出する(座標算出ステップ)。パラメータΨの値の算出方法について、以下に説明する。
一般に、金メッキの表面をAFMで観察すると小さい凹凸の像が得られる。このような表面に光を照射すると乱反射が生じ、光沢の発生が抑制される。この凹凸の表面状態が変化することによって光沢の状態に変化が生じる。このような光沢の状態変化が部分的に生じた場合に、表面性状における凹凸の分布が異常と判断される。一般に表面に凹凸などの乱れがある場合、P偏光成分16およびS偏光成分18の反射率は、完全に平坦な金メッキの表面におけるそれぞれの反射率とは異なることが光学の基礎原理より示されている。
なお、物体表面の凹凸に起因するプリント基板上の金メッキの光沢ムラは、経験的に3種類に分類されている(図21参照)。図21の(a)は、ムラのない良品の金メッキを、図21の(b)は、三日月状斑に分類される金メッキを、図21の(c)は、境界型斑に分類される金メッキを、図21の(d)は、斑点状斑に分類される金メッキを示す上面図である。
ここで、各光沢ムラの種類について説明する。三日月状斑は、同心円状の金メッキの外周に沿って三日月状にムラが存在する状態、斑点状斑は、微小な光沢ムラが散在する状態、境界型斑は正常光沢部と光沢ムラ部の境界が鮮明な状態である。実際は、それらが複合された光沢ムラも存在するため、目視では明確な分類が難しいものもある。また、基板内では同種の光沢ムラが発生する場合が多い。
図22は、金メッキに入射角62.5度、中心波長650nmのLED光をP偏光およびS偏光で入射した場合の、拡散光のS偏光成分の画像(検出画像)およびP偏光成分の画像(検出画像)である。ここでは、メッキの一部が、光沢ムラによってコントラストの変化を生じている。図22の左の画像および右の画像における各点の強度より、パラメータΨ=tan−1(S偏光成分の強度/P偏光成分の強度)の値を計算し、パラメータΨの分布図を得る(図23参照)。このとき、パラメータΨは、表面ラフネス(二乗平均粗さrms)と図24に示すような関係があり、パラメータΨの値は表面ラフネスと1対1の対応関係がある。
一般的に、光沢ムラは物体表面の凹凸分布が異なることから生ずる。ここで、均一な光沢の金メッキでは、パラメータΨの値の重心がメッキ中央近傍に位置することが容易に分かる。逆に、その重心の位置によって光沢ムラの存在を検出することができる。例えば、三日月状の光沢ムラは、上述の重心が外周方向に偏る。
また、境界型の光沢ムラは、パラメータΨの値が急激に変化することから、パラメータΨの微分によって検出することが可能である。このように、それぞれの光沢ムラの分布状態を反映した次の3つのパラメータを定義する。
本実施形態では、図21の(a)〜図21の(c)に示した3種類のムラと、ムラのない良品とを分類するために、図20の(a)に示す検索空間を用い、物体表面の凹凸の状態を示すための直交座標空間または極座標空間におけるパラメータΨの値をR(x,y)、R(r,θ)およびF(θ,φ)とし、検索空間におけるx軸、y軸およびz軸にそれぞれのムラの特徴を抽出できる数式に当てはめてパラメータを算出している。
R(x,y)とは、同心円状の金メッキの中心を原点とし、物体表面の凹凸の基準面をx−y平面としたときのx−y平面におけるパラメータΨの値を示すものである。また、R(r,θ)とは、同心円状の金メッキの中心を原点とする極座標(r,θ)におけるパラメータΨの値を示すものである(図20の(a)参照)。
図20の(a)に示すように、動径方向の重み付け平均(=Pz)の角度微分の標準偏差を求め、検索空間のx軸への射影であるパラメータPxを、以下の数式1を当てはめて算出している。
なお、同様 図20の(b)は、同心円状の金メッキの中心を原点として、放射状に200分割した様子を示している。この際、200分割した各扇形内における極座標のθおよび表面ラフネスを示したものが、図20の(c)である。
以下の数式2を用い、原点からR(x,y)の重心までの距離(ノルム)を算出し、検索空間のy軸への射影であるパラメータPyを算出している。
同様に、以下の数式3を用い、R(r,θ)の動径方向の重み付け平均を算出し、検索空間のy軸への射影であるパラメータPzとしている。
次に、図25は、多数のサンプルについて、上記各数式を用いて算出したパラメータPx,Py,Pzのそれぞれを、楕円体の領域内外による分類における一つの指標と捉え、検索空間におけるx軸、y軸およびz軸のそれぞれに射影してプロットした結果が図25である。
図25では、検索空間内において、各座標が含まれる領域がどのムラに分類されるかを示している。なお、図26において、検索空間内において、各ムラの種類の応じて設定された複数の領域の範囲を数式で示している。
図25に示すように、上記数式を用いて算出した結果、ムラの種類によって検索空間内の異なる位置に集中する分布が得られる。図25は、約500個の金メッキに対する算出結果の分布を示すものである。なお、図25における分類は、目視による結果に基づいて分類を行っている。
図25および図26に示すように、三日月型斑、斑点状斑、および境界型斑が、正常光沢品を中心として取り囲むように分布している。ここで、正常品および各ムラに分類される検索空間内の各領域について、図26を参照して説明する。
図26は、検索空間内において、良品(正常光沢品)、斑点状斑、および、境界型斑に分類される金メッキが属する領域のそれぞれの境界が楕円体で表されるものと仮定して楕円体の領域内外による分類を行った結果を示す。
図26に示すように、良品(正常光沢品)を示す領域は、数式4に示す楕円体内の領域として定義される。
同様に、斑点状斑を示す領域は、数式5に示す楕円体内の領域として定義される。
同様に、境界型斑を示す領域は、数式6に示す楕円体内の領域として定義される。
なお、三日月状斑に分類される領域は、上記数式4〜数式6で示す領域外の全ての領域とする。
このように、算出した座標(Px,Py,Pz)が、検索空間内で定義された各領域に属するか否かを判断することで、物体56表面がいずれの種類の光沢ムラ(または、正常光沢状態)であるかを分類している。
上述の実施形態では、プリント基板状の各金メッキについて光沢ムラを判断する場合を例に説明したが、これに限るものではない。複数の金メッキについて同様のパラメータを算出し、その平均値を用いることで、プリント基板のシート全体の良否を判定することもできる。
具体的には、目視検査では、まず、良品パッドと不良品パッドを個々に判断するのではなく全体の傾向を見て、プリント基板のシート毎の判断を行うという柔軟な判別が含まれている。本手法でも、パッド毎のムラ分類を行うとともにシート毎の判断法を取り入れて、良否を判別する方法を用いることもできる。以下に手順を示す。
(1)複数の金メッキ部分が施されたFPCシート内の金メッキパッドにおいて、上述の数式1〜数式3を用いて、座標(Px、Py、Pz)を算出する。
(2)算出した座標(Px、Py、Pz)を検索空間上にプロットする。本実施形態では、33箇所の金メッキ部分について、それぞれの座標(Px、Py、Pz)を算出し、33個の点をプロットする。
(3)33個の各点について、座標(Px、Py、Pz)の平均値を計算し、新たな座標(Cx、Cy、Cz)とする。
(4)(Cx、Cy、Cz)が良品領域にあれば、そのシート全体を良品と判断する。
(5)(Cx、Cy、Cz)が良品領域以外の領域に位置すれば、各パッドについて三日月状斑、斑点状斑、境界型斑のどの領域に入るか判断し、パッド毎にムラの種類を分類する。
このように、複数の金メッキ部分を備えたプリント基板に対しても、平均値を用いて検索空間のどの領域に位置するかを判断することで、複雑な計算を行うことなく、容易に高速にプリント基板全体のムラを分類することができる。
以上のように、表面状態特定装置60(または上記の画像解析部50)は、強度比相関パラメータ(またはパラメータΨ)の値の分布を反映した画像データから抽出される画像特徴量(例えば、強度比相関パラメータ、パラメータΨそのもの、パラメータPx、Py、Pz、パラメータCx、Cy、Cz、または、後述する初期特徴パラメータ、形状特徴量のうちの少なくとも1つ以上)を定義域のパラメータとし、物体56表面の性状を判断するために予め定めた判断パラメータを値域のパラメータとして構成した所定の写像を用いて、強度比相関パラメータの値から求めた判断パラメータの値に基づいて、物体56表面の性状を判断しても良い(表面性状判断ステップ)。
画像特徴量を定義域のパラメータとし、判断パラメータを値域のパラメータとして所定の写像を予め構成しておくことにより、この写像を用いて2つの検出画像から抽出した強度比相関パラメータの値の分布が反映された画像データから抽出される画像特徴量の値から、対応する判断パラメータの値を求めることができる。
また、画像特徴量を用いて写像を構成することにより、例えば、信頼性(精度)の高い、良否を判定するために有意な差がある判断パラメータを求めることができる。このようにして求めた判断パラメータの値に基づいて、物体56表面の性状を定量的な手法で判断することが可能となる。
ここで、判断パラメータとしては、検出対象同士の類似度を示すパラメータや、検出対象を複数のグループに分類したときに、どのグループに分類されるかを示すパラメータなどを例示することができる。
なお、上記のように画像特徴量を上記の画像データから直接抽出しても良いが、画像データから画素毎の勾配を求め、画素毎の勾配から画像特徴量を抽出しても良い。
例えば、各画素の画素位置x(i,j)における局所的な縦方向勾配Syおよび横方向勾配Sxは、次式のように求められる。
Sx=xi+1,j−1−xi―1,j−1+2xi+1,j−2xi―1,j+xi+1,j+1−xi―1,j+1
Sy=xi−1,j+1−xi−1,j−1+2xi,j+1−2xi,j−1+xi+1,j+1−xi+1,j−1
ここで、xi,jは画素位置x(i,j)における画素値を表し、iは水平方向に沿った画素の位置を、jは垂直方向に沿った画素の位置をそれぞれ表す。ここに、iおよびjは正の整数である。
また、勾配の大きさは、ABS(S)=(Sx2+Sy2)1/2で与えられ、勾配の方向は、ANG(S)=tan-1(Sy/Sx)で与えられる。
なお、写像を構成する方法としては、例えば、
(1)画像特徴量〔または、強度比相関パラメータ(例えば、パラメータΨ)そのもの〕の値の分布から、統計的特徴を抽出して写像(例えば、ヒストグラムなど)を構成する方法、
(2)画像特徴量を説明変数とし、判断パラメータを目的変数として多変量解析を行って所定の写像(例えば、検索空間など)を構成する方法などを挙示できる。
また、多変量解析とは、互いに関係のある多変量(他種類の特性値)のデータが持つ特徴を要約し、かつ、目的に応じて総合するための手法のことである。
また、多変量解析には、
(1)予測式(関係式)の発見や量の推定などに用いる重回帰分析や正準相関分析、
(2)標本の分類や質の推定などに用いるクラスター分析や判別分析、
(3)多変量の統合整理(減らす)、変量の分類、および代表変量の発見などに用いる主成分分析や因子分析などが含まれる。なお、これらの方法のいずれを採用するかは、目的に応じて選択すれば良い。
また、上記のように写像を構成する手法のその他の例としては、例えば、複数種類の所定の画像特徴量(定義域のパラメータ)を変数として重み付けを行った線形結合式に対して、多数のサンプルから抽出した対応する画像特徴量の値を代入したときに、「1(良品)」および「0(不良品)」の値(判断パラメータ)のいずれかを取るように、各重み付け係数を決定し、決定した線形結合式(写像)を用いて良品・不良品の判別を行っても良い。すなわち、判別対象から抽出した特徴量を線形結合式に代入し、その結果が、「1」に近ければ、良品、「0」に近ければ不良品と判断する。
また、本実施形態の表面状態特定装置60は、物体56表面に照射された光の散乱光を、散乱面に平行な振動成分であるP偏光成分16と、散乱面に垂直な成分であるS偏光成分18とに分離し、そのP偏光成分の強度に対するS偏光成分強度の比と相関を持つパラメータΨを算出する偏光成分算出部62と、物体56表面において分布するパラメータΨの値の分布から、検索空間内の座標(Px、Py、Pz)を算出する検索座標算出部70と、座標(Px、Py、Pz)が、物体56表面の光沢ムラの種類に応じて検索空間内に複数設定された領域のいずれに属するかを判定するデータ解析部80とを備えている(領域判定ステップ)。
上記の構成によれば、物体56表面に照射された光の散乱光をP偏光成分16およびS偏光成分18に分離し、P偏光成分16に対するS偏光成分18の比と相関を持つパラメータΨの値の分布から算出される座標の検索空間内における位置で分類しているので、複数の原因に基づくムラの種類を容易に分類できる。これによって、物体56表面に生じた光沢ムラの種類を容易に判定し、分類することができる。
また、検索座標算出部70の各部が、各光沢ムラの性質に対応した座標(Px、Py、Pz)を算出することで、各光沢ムラの種類を検索空間内の座標として分類することができる。これによって、物体56表面の光沢ムラの種類を所定の写像を具現化する検索空間内の座標として各光沢ムラの傾向を特定できるので、光沢ムラをその特徴に沿って正確に分類することができる。
上記の表面状態特定装置60では、複数の物体表面のそれぞれについて上記検索座標算出部70が算出した座標(Px、Py、Pz)のそれぞれについて、平均値Cx、平均値Cy、および平均値Czを算出する平均値算出部89を備え、データ解析部80は、平均値Cx、平均値Cy、および平均値Czによって示される座標が、検索空間内に複数設定された領域のいずれに属するかを判定している(領域判定ステップ)。
これにより、検索座標算出部70が算出した座標(Px、Py、Pz)の平均値を求め、その平均値からなる座標が、検索空間内のいずれの領域に属するかを判断するので、対象となる1箇所の物体56表面だけでなく、複数の物体56表面を総合的に分析できる。これによって、複数の物体56表面を含む検査対象の物体全体の光沢ムラを分類することができる。
これは、光沢ムラの種類によって、検索空間内における座標の位置が異なるからである。このため、検索空間内における座標の位置を特定できれば、物体56表面に存在する光沢ムラの種類を判別することができる。
ところで、上記特許文献1〜3に記載の技術従来では、対象となる物体56表面が一様であるか、あるいは、光沢ムラが存在するかのいずれであるかを判断することはできるものの、どのような原因で光沢ムラが発生したのか、また、どのように対処すれば光沢ムラの発生を防げるかを判断することができないという副次的な課題がある。
一般に、プリント基板の表面に形成されるメッキは、その工程の異常によって、色ムラを生ずることがある。例えば、色ムラの原因が、有機物や無機物の付着に起因するものは洗浄により除去できる。これに対して、メッキ条件の変動による表面凹凸の変化はメッキ後の工程では修復できず、製品不良の原因となる。
このようなメッキ表面の凹凸の分布状態によって、正反射と拡散反射の広がり具合が異なるため、見る方向によって凹凸の程度を反映して輝度のコントラストが変化する。さらに、波長によって反射率が異なるため、微妙な色相の変化は生じているが、その効果は非常に小さく、色相の変化は殆どない。なお、一般に、前述のコントラストの違いも色ムラと呼ばれている。
特に、フレキシブルプリント基板(FPC)上に形成される金メッキ部の光沢ムラを分類することは、製造工程の状態の把握に役立ち、そのフィードバックによって不良の原因を早期に解明できる点で、製造ラインの評価の役割を担う重要な項目であると言える。
そのため、光沢ムラの発生する傾向を分析し、どのような状態の際にどの種類の光沢ムラが発生するのかを特定することができれば、光沢ムラの発生を抑えることや、光沢ムラが発生する際にメッキ装置などを調整するために利用することもできる。
よって、示す表面検査装置1,1a(または表面検査方法)によれば、以上のような副次的な課題を解決することもできる。
(表面状態特定装置60の別の動作)
次に、図6、図18、図19および図22に基づき、上記の表面状態特定装置60の別の動作について説明する。
<HLACの技術原理>
画像計測の多くの問題としては、CCDカメラ40(検出画面上)の画像枠内に捕えられた一つの対象の面積や周囲長を計ったり、穴の数を数えたり、あるいは画面上の多数の同一対象の個数を計数する問題などが考えられる。また、計測によって対象が何であるかを判定する認識の問題も、ここでは広い意味での計測(形状計測)の問題と考える。
このような多様な画像計測の問題に対する計測結果は一般に計測値(数値)で与えられ、従って画像計測とは画像からの特徴抽出の問題と考えることができる。
その基本的な条件としては、次の3条件が重要である。
条件1)平行移動に関する不変性、
条件2)検出画面に関する加法性、および、
条件3)適応的な学習可能性の3条件である。
条件1)は、対象が画像枠内のどこにあっても計測値(例えば面積)は同じ値で変わらないことを意味している。また、条件2)は、例えば、画面上の粒子の計数の場合を考えてみても明らかなように、全画面を複数部分に分割したとき、全画面上の計測値は分割画面上の計測値の和となること意味している。さらに、条件3)は、汎用性のための条件として重要である。
上記基本的な条件1)〜3)を満たすために、次のF1およびF2の2段階からなる特徴抽出を考える。
F1:全検出画面に対して、条件1)および2)を満たす一般的で基本的な特徴を初期特徴として複数抽出する(幾何学的特徴抽出)。
F2:上記初期特徴を線形結合することによって、様々な用途に対して最適な特徴を学習によって適応的に抽出する(学習的特徴抽出)。
例えば、F1の幾何学的特徴抽出としては、N次自己相関の考えに基づく(高次)局所自己相関マスクによる特徴抽出を利用することができる。また、F2の学習的特徴抽出は、例えば、多変量解析の手法を用いて実現することができる。
多変量解析とは、互いに関係のある多変量(他種類の特性値)のデータが持つ特徴を要約し、かつ、目的に応じて総合するための手法のことである。
また、多変量解析には、
(1)予測式(関係式)の発見や量の推定などに用いる重回帰分析や正準相関分析、
(2)標本の分類や質の推定などに用いるクラスター分析や判別分析、
(3)多変量の統合整理(減らす)、変量の分類、および代表変量の発見などに用いる主成分分析や因子分析などが含まれる。なお、これらの方法のいずれを採用するかは、目的に応じて選択すれば良い。
学習的特徴抽出F2における線形結合は、上記条件2)を保持するために必要である。
上記F1およびF2の2段階の特徴抽出に基づく画像計測方法は、画像計測の上記基本的な条件1)〜3)を満たし、構造が簡単で装置化の容易な並列的・適応的な計測方法となり、種々の用途に対して高速な学習によって適応的に画像計測が可能となる。
<実施例>
上記原理に基づく計測方法について、以下、詳細に説明する。
図6に示す計測対象(FPCサンプル)は、図19に示すCCDカメラ40(検出画面)を通して画像枠内の濃淡(多値)画像として捕えられる。
ここで、得られる濃淡画像には、図22に示すような、S偏光成分の画像とP偏光成分の画像の2種類の検出画像が含まれている。
次に、CCDカメラ40で検出された検出画像は、図18に示す画像入力部100を介して、表面状態特定装置60の偏光成分算出部62に入力される。
偏光成分算出部62は、画像入力部100から入力されたデータを、P偏光成分およびS偏光成分に分離して、各偏光成分の強度の比(偏光強度比)を算出する。
次に、偏光成分算出部62は、パラメータΨの値を算出し、検出画面を構成する各画素に対応する画像Ψ(r)(r=(i,j)は検出画面上の各画素の位置を表わす2次元ベクトル)として、特徴量抽出部70aに入力する。
なお、上記計測方法は画像Ψ(r)に対してもそのまま適用可能であるが、実際の画像計測では主に計測対象の形に関して2値画像を取り扱うことが多いことを考慮して、ここでは2値化された2値画像で考える。この場合、画像Ψ(r)は所定の閾値を境に対象領域(値1:黒地)と背景領域(値0:白地)に2値化され、画像メモリ(M×M画素)に入力される。
画像枠内(画像メモリ上、以下簡単に検出画面上ともいう)に捕えられた画像Ψ(r)に対して、初期特徴の抽出を特徴量抽出部70aで行う(初期特徴抽出ステップ)。抽出される特徴は具体的には次に示すN次自己相関関数である。
初期特徴の抽出は上記(1)式の考えに基づくものであり、位置不変、つまり対象の画像枠内の任意の平行移動Ψ(r)→Ψ(r+b)に関して不変な特徴を示している。ただし、変位方向(a1,…aN)の取り方は無数に考えられる。しかしながら、本実施形態では、例えばNを1次までに、また、上記条件2)を満たすために変位方向に参照点r周りの局所3×3方向に限定する。
この場合、(1)式のN次自己相関関数は、全画面を3×3の局所枠(中心r)で一度走査することによって計算される。2値画像の場合、これは明らかにΨ(r)Ψ(r+a1)…Ψ(r+aN)=1となる回数、つまり3×3の局所枠上の(N+1)画素における関数Ψ(r+ai)の値が全て「1」となる局所パターンが全画面に幾つ存在するかを計数していることになる。そのような(N+1)画素点の局所パターンは、単純に考えると3×3=9通りから(N+1)点を選ぶ組み合せの数(1次までの場合、N=0,1)だけ存在するが、走査を考えると局所枠内で互いに平行移動で移り合うパターンは同値であり、結局1次までの独立なパターンは5通りとなる(図27の(c))。
図27の(c)のパターンにおいて、小さい四角は調べるとき画素を、黒丸は無視する画素を表わしており、これらのパターンを局所自己相関マスクとよぶ。これらのマスクMj(j=1〜5)を用いて全画面を一度走査し、それぞれの積和を求めることにより、Mjに対応する5通りの局所自己相関係数xjが初期特徴として得られる。
なお、本実施形態では、局所自己相関マスクとして、3×3(変位幅=3)のものを使用しているものとして説明するが、変位幅は、3以上の奇数であれば良く、例えば、変位幅5や、変位幅11のマスクを使用しても良い。また、本実施形態では、マスクの1画素のサイズは、25μmとしているが、マスクの1画素のサイズは、これに限定されない。
特徴量抽出部70aから出力される初期特徴xjはデータ解析部80に入力されるが、次に、ここでの適応的特徴抽出としての学習的特徴抽出(F2)について説明する。
上記のようにして得られた初期特徴xjは、計測課題に依存しない一般的で基本的な特徴となっている。しかし、計測課題に必要な対象画像の情報(特徴または指標など)は画像全体として抽出される必要がある。
従って、これらの線形結合は、i=1〜M(Mは自然数)として、
によって、計測課題に有効な新しい特徴(指標値そのものあるいは予測近似値)としてのyiを求める。
ここで、Mは同時に計測する指標値の個数を表わしている。初期特徴xjおよび指標値yiをそれぞれ縦ベクトルx=(x1,…xM)Tおよびy=(y1,…yN)Tにまとめて、係数行列A=[aij]Tを用いると、上記(2)式は、
と簡単に表わされる(ここに、「T」は転置を表わしている)。
ここに、係数Aは問題によっては自明に求められることがある。例えば、2値画像で捕えられた計測対象の面積は0次の自己相関係数(マスクNo.1)が「1」の画素数を計数していることから、明らかにy1=x1で求める。さらに、論理的な考察によってその他の指標値も線形結合で表わされることがある。しかしながら、このような人為的方法は大変であり一般的ではない。そこで、汎用的な方法として学習によって自動的に最適な係数Aを求めるために、多変量解析の手法を用いる。
例えば、多変量解析手法の1つである重回帰分析は、計測課題に有効で直接的な手法である。いま、学習に用いる計測対象の画像の集合をG={Ψi(r):ただし、i=1〜L;Lは自然数}として、画像Ψiに対する正しい指標値をziとすると共に、初期特徴ベクトルをxi(従って、出力はyi=ATxi)とする。このとき、重回帰分析により最適な係数Aは次の平均2乗誤差によって、
を最小にするようにして求められ、最適解は次式(5)で陽に与えられる。
ここに、
は、それぞれ初期特徴xiの自己相関行列、入力データxiとziの相互相関行列である。また、−1乗は逆行列を表わしている。
このように学習によって得られた係数Aを用いて、以後(3)式により、入力画像Ψ(r)に対して指標値の良い推定を行うことができる。もし、正しい指標値ziが上記(2)式の形で書ける場合には、学習によって正しい係数Aが自動的に求まることになる。
計測対象の認識も同様に可能である。重回帰分析の場合には、指標値(ziおよびy)を認識対象のクラスを区別するコードと考えて、同様な学習を行えばよい。例えば、正常光沢品と異常光沢品の2クラスからなる対象の認識の場合、学習モードでは正常光沢品に属する画像Ψi(r)に対して、指標値z=(1,0)T、異常光沢品に属する画像Ψi(r)に対して指標値z=(0,1)Tとして係数Aを学習する。
そして、認識モードでは、入力対象画像に対して得られたy=(y1,y2)Tについて特徴y1とy2の値を比較し、特徴y1>y2が大きいならば正常光沢品、逆ならば異常光沢品と識別することによって認識を行う。多(K)クラスの場合も同様である。このように、認識の場合には特徴yiの最大値検出などの識別処理が必要になる。
また、認識のための係数Aの学習として、判別分析を用いることもできる。この場合には、ベクトルyが空間としてKクラスを最適に分離するように、係数Aは次の固有値問題の解(固有ベクトル)として求まる。
XBA=XWAΛ(ATXWA=I)……(7)
ここに、Λは固有値対角行列、Iは単位行列である。また、XW、XBはそれぞれ初期特徴ベクトルxのクラス内、クラス間共分散行列であり、次式で定義される。
ここに、ωj、<xj>,Xjはそれぞれクラスjの生起確率、クラスjの平均ベクトル、クラスjの共分散行列、また、<xj>allは、全クラスの全平均ベクトルである。この判別分析の場合の識別方法としては、例えば、入力(y)から各クラスの平均ベクトル<yj>=AT<xi>への距離を計算して、最小距離を与えるクラスに入力を識別する方法が考えられる。
本実施形態のデータ解析部80は、以上のように、初期特徴x1〜x5を強度比相関パラメータとして、上述した多変量解析(例えば、重回帰分析)を行って構成した所定の写像を用いて、初期特徴x1〜x5の値から求めた判断パラメータZ(ベクトルの場合は、Zi)の値に基づいて、物体56表面の性状を判断する。
初期特徴x1〜x5の値は、凹凸の分布の偏りやムラの状態を判断するための指標として特に優れたパラメータであることを本願発明者は新たに見出した。よって、この初期特徴x1〜x5を利用することにより、従来技術では困難であった、凹凸の分布の偏りやムラの状態をより精度良く判断することが可能となる。
また、検出画像から対象を切出し逐次に特定の画像処理や特徴抽出を適用していた従来の手法に比べ、対象の切出しを意識することなく一度検出画面を走査して得られる共通の初期特徴x1〜x5の値から、極めて高速に物体56表面の性状を判断(物体56表面の良否の判定や光沢ムラの種類の判別など)することが可能になる。また、一度検出画面を走査するだけで初期特徴x1〜x5の値が得られ、初期特徴x1〜x5の値を得るために特別な演算等は不要なので、検出画像が複雑か否かに関わらず、全体の処理時間を常に一定にすることができる。
また、表面状態特定装置60は、物体56表面の良否を判定するための良否判定パラメータZを判断パラメータとして、多変量解析を行って構成した写像を所定の写像として用いて、初期特徴x1〜x5の値から求めた良否判定パラメータZの値に基づいて、物体56表面の良否を判定しても良い。
このように、初期特徴x1〜x5を用いて写像を構成することにより、例えば、信頼性(精度)の高い、良否を判定するために有意な差がある良否判定パラメータZを求めることができる。このようにして求めた良否判定パラメータZの値に基づいて、物体56表面の性状を定量的な手法で判断することが可能となる。
すなわち、上記構成のように、良否判定パラメータZを利用することにより、従来技術では困難であった、信頼性(精度)の高い、物体表面の良否判定を行うことができる。
また、表面状態特定装置60は、物体56表面の光沢ムラの種類を判別するためのムラ種類判別パラメータZを判断パラメータとして、多変量解析を行って構成した写像を上記所定の写像として用いて、初期特徴x1〜x5の値から求めたムラ種類判別パラメータZの値に基づいて、物体56表面における光沢ムラの種類を判別しても良い。
このように、初期特徴x1〜x5を用いて写像を構成することにより、例えば、ムラ種類の判別を行うための指標として好適なムラ種類判別パラメータを求めることも可能である。このようにして求めたムラ種類判別パラメータの値に基づいて、物体56表面の光沢ムラの種類を判別することが可能となる。
<局所自己相関マスクについて>
図28は、図27に示す5種類の局所自己相関マスクを用いて、実際に金メッキパッドの検出画像をこれらのマスクでスキャンした結果を示す。ここで、「1」は、良品のサンプル、「2」〜「4」は不良品のサンプルにおけるスキャン結果を示し、各不良品の内訳は、「2」が境界型斑、「3」が三日月型斑、「4」が斑点状斑のサンプルにおけるスキャン結果を示す。
直径5mmの金メッキパッドの検出画像の40点について、1画素のサイズの1辺が25μmの局所自己相関マスクでスキャンした結果、図28が得られた。なお、上記検出画像の40点のサンプルは、限度見本として、目視による判定結果が存在するサンプルである。
上記のように、局所自己相関マスクの1画素のサイズの1辺を25μmとしている理由の1つは、パラメータΨを検出するにあたって凹凸の分布より生じる反射の差を適度に平均化しながら検出するためである。また、局所自己相関マスクの1辺を25μmとしている理由のもう1つは、HLACやヒストグラム等を分析するためにある程度データ点数が多い方が良いからである。
<良否判定の手法>
(ヒストグラム)
図29の(a)は、金メッキパッドの検出画像から抽出される特徴量1の頻度とムラ種類との関係を示す。横軸は、1:良品、2:境界型斑、3:三日月型斑、4:斑点状斑を示す。図29の(a)に示すように、良品<境界型斑<三日月型斑<斑点状斑の順で、特徴量1(閾値外の面積の総和に対応)が増えていくことがわかる。しかしながら、それぞれに重複する値を有するサンプルがあり、良否、および各分類の精度は低い。
次に、分離精度を高めて、その精度を数値化するために、分離度合を計算した。
ここで、分離度合=|良品群の平均値−不良品群の平均値|/(良品群の標準偏差+不良品群の標準偏差)である。
一般に、分離度合が、離れているほど、高精度に分離できる管理指標であると言える。目的とする分離精度に応じた分離度合を得ることができる管理指標を設定すればよい。なお、特徴量1のみでは、分離度合として求めると0.848σである。
(良否判定のための重回帰分析)
例えば、検索空間として一次元座標Zを用い、回帰式として、
Z=a1x1+a2x2+a3x3+a4x4+a5x5+a0・・・(9)を用い、良品は、Z=+1、不良品は、Z=−1の位置に配置されるものとして重回帰分析を行うと、係数ai(i=0〜5)が求まる。
サンプルの金メッキパッドの検出画像から上述した5種類の局所自己相関マスクを用いて、初期特徴x1〜x5を抽出し、上記(9)式に代入して、Z>0ならば、良品、Z<0ならば、不良品と判定すれば良い。
次に、良否判定を精度よく行うために、良品を「1」、不良品のすべてを「−1」として、特徴量1〜5についての重回帰分析を行った結果を図29の(b)に示す。
同図に示すように、良品は、正の値(主として0.2〜0.5に分布)、不良品は負の値(0に近いものから−2程度まで分布)に分類されている。これにより、特徴量1の頻度のみで比較したときに、良品と境界型斑とを明確に分離できなかったサンプルも判別できることが分かる。
なお、以上の例において、回帰式Z=a1x1+a2x2+a3x3+a4x4+a5x5+a0の各係数は、
a1=−0.0094、a2=+0.007165、a3=−0.00607、
a4=+0.017678、a5=−0.00908、a0=+0.5443である。
本分析方法では、0を境として、良・不良を分けることができる。ここでは、分離度合は1.78σであり、より高精度な分離を行うためにはさらなる指標を設けることが好ましい。
次に、図29の(c)では、5種類の局所自己相関マスクを用いて、初期特徴パラメータ(特徴量)を取得し、特徴量1の数値で、まず分類する。ここでは、1000を超えるものは著しく不良として、さらなる分析は行わないものとして除外した。
次に、特徴量1が1000以下のものについて、良・不良の判別を行うための写像を求める。図29の(c)は、良品を「+1」、不良品を「−1」として、特徴量1〜5について重回帰分析をおこなった結果を示す。
以上の例において、回帰式Z=a1x1+a2x2+a3x3+a4x4+a5x5+a0の各係数は、
a1=−0.00771、a2=−0.00529、a3=0.010404、
a4=+0.004202、a5=−0.00134、a0=+1.447321である。
本分析方法においても、0を境として、良・不良を分けることができる。
ここでは、分離度合は3.73σと、非常に高精度な分離を行うことができる。また、不良品の中でもその程度についてクラス分けをしていく指標として有用である。
<ムラ種類分類の手法>
次に、不良品をさらに細かく分類するには、例えば、良品:Z=+1、境界型斑:Z=0.25、三日月型斑:Z=−0.25、斑点状斑:Z=−1として、重回帰分析を行えば良い。これにより、各サンプルを好適に分離できるため、各クラスを判別するための閾値を適宜設定することにより、光沢ムラの種類を分類することができる。
上記の実施例1および2のように、良品と不良品とを分類するために構成した写像では、不良品に分類されたものが、いずれのムラ種類に分類されるものか判別できない。
しかしながら、ムラ種類の分類を目的とした写像を構成すると、不良品がいずれのムラ種類に分類されるかが判別でき、その判別結果をフィードバックしてムラの原因究明に利用できる。
ムラ種類の分類のために、良品>境界型斑>三日月型斑>斑点状斑の順に重回帰分析を行うための指標値を設定したのは、特徴量1や、特徴量1〜5の和といった、単純なヒストグラムの比較に近い並べ方をしたときに、この順に並ぶためである。
しかしながら、抽出した各特徴量1〜5の値の比較のみで、多変量解析(例えば、重回帰分析)を行わない場合、各分類が重複する値を有する範囲が広く、未知のサンプルを評価したとき分類できない可能性がある。これが、単に各特徴量1〜5の値を比較するだけでなく、多変量解析を用いる理由である。
上述したように、良品<境界型斑<三日月型斑<斑点状斑の順で、特徴量1(単純に異常部の総和)が増えていく傾向があるとき、良品の群<境界型斑の群<三日月型斑の群<斑点状斑の群<境界型斑の群となるような指標値Zの値を定めることができる場合がある。
(ムラ種類の分類も目的とした重回帰分析)
図29の(d)は、このような推測のもと、良品:1000、境界型斑:250、三日月型斑:−250、斑点状斑:−1000として、重回帰分析をおこなった結果を示す。
同図に示すように、−1000≦Z<−300:斑点状斑、約−300≦Z<200:三日月状斑、200≦Z<500:境界型斑、500≦Z≦1000:良品、の4クラスに分類できた。
なお、以上の例において、判別式Z=a1x1+a2x2+a3x3+a4x4+a5x5+a0の各係数は、
a1=−3.35444、a2=+4.201381、a3=+1.912725、
a4=−1.72123、a5=−0.86715、a0=+931.1364である。
上記のHLACを用いた方法によれば、ムラの良否について、頻度による比較と比べ、より分離精度の高い指標を設けることができ、さらに、検出画像から対象を切出し逐次に特定の画像処理や特徴抽出を適用していた従来の手法に比べ、対象の切出しを意識することなく一度検出画面を走査して得られる共通の初期特徴から、多変量解析によって極めて高速に金属メッキの良否判定および光沢ムラの種類の判別が可能になる。また、検出画像が複雑か否かに関わらず、全体の処理時間を常に一定にすることができる。
(表面状態特定装置60のさらに別の動作)
次に、図30〜図39に基づき、上記の表面状態特定装置60のさらに別の動作について説明する。図30は、図18に示す表面状態特定装置60の要部である特徴量抽出部70aの構成の一例を示すブロック図である。
<特徴量抽出部70a>
図30に示すように、特徴量抽出部70aは、白画素特定部(白画素特定手段)701a、図形特定部(図形特定手段、形状特徴量抽出手段)702a、および、形状特徴量抽出部(形状特徴量抽出手段)703aを少なくとも含む。なお、図形特定部702aおよび形状特徴量抽出部703aを纏めて1ブロックの形状特徴量抽出部として構成しても良い。
(白画素特定部701a)
白画素特定部701aは、上記の強度比相関パラメータの値の分布を反映した画像データにおける複数の画素(または絵素)のうち、上記強度比相関パラメータの値が所定の閾値以上または以下である白画素を特定する。但し、本実施形態では、強度比相関パラメータの値の分布を反映した画像データの2値化を行うものとする(以下、2値化後の画像データを単に「画像データ」という)。なお、白画素特定部701aは、その他、画像データに対してエッジ抽出フィルタ(例えば、SobelオペレータやPrewittオペレータなど)を作用させてエッジ画素(以下、エッジ画素を含めて単に「白画素」という)を抽出する構成としても良い。
(図形特定部702a)
図形特定部702aは、白画素特定部701aが特定した複数の白画素の中から、互いに隣接する複数の白画素からなるグループ(以下、単に「白画素グループ」という)を特定し、特定した白画素グループに含まれる複数の白画素に外接する閉図形を特定する(または白画素グループの輪郭を特定する)。閉図形は、閉じた多角形であっても良いし、閉曲線であっても良い。図31に、画像データ(2値化後)から外接四角形を特定したときの一例を示す。図31の(a)は、サンプルの画像データを示し、図31の(b)は、該サンプルの画像データにおいて外接四角形が特定されている様子を示す。
なお、白画素グループを特定するには、2値化後の画像データを用いるケースであれば、例えば、以下の処理を行えば良い。
(1)画像データの各画素を走査し、最初に見つけた未選択の白画素を注目画素として選択する。
(2)上記注目画素に隣接する8方向の各画素(以下、単に「隣接画素」という)を時計まわり(または反時計まわり)に走査し、白画素か否かを判別する。
(3)このようにして、上記注目画素に隣接する8方向の各画素のうち、走査中に最初に見つかった未選択の白画素を次の注目画素として選択する。
(4)上記の(1)〜(3)の処理を、上記(1)の最初に見つけた白画素に戻るまで繰り返す(追跡による輪郭抽出)。
このような処理を繰り返し行うことにより、強度比相関パラメータの値の分布を反映した画像データから、複数の白画素グループが特定される。但し、以上で説明した処理は、白画素グループを特定する手法の一例であり、このような手法に限定されない。
次に、各白画素グループに含まれる複数の白画素に外接する閉図形(ここでは、外接四角形とする)を特定するには、例えば、走査線に平行な軸をもつ外接四角形であれば、次のように処理すれば良い。
(1)特定の白画素グループに含まれる複数の白画素のそれぞれの座標(x,y)から、xの最大値(max<x>)および最小値(min<x>)を求め、直線x=max<x>および直線x=min<x>(平行線A;走査線に垂直な方向に対して互いに平行な2直線)を引く。
(2)特定の白画素グループに含まれる複数の白画素のそれぞれの座標(x,y)から、yの最大値(max<y>)および最小値(min<y>)を求め、直線y=max<y>および直線y=min<y>(平行線B;走査線に平行な方向に対して互いに平行な2直線)を引く。
(3)平行線Aおよび平行線Bで囲まれた矩形を外接四角形として特定する。
なお、図39に、良品、境界型斑、三日月型斑、および斑点状斑に分類される各画像データから閉図形(円、2パターンの四角形)を特定したときの例を示す。
(形状特徴量抽出部703a)
形状特徴量抽出部703aは、例えば、上記外接四角形の図形的な特徴を示す形状特徴量(または図形的特徴量)を抽出(算出)する。ここで、形状特徴量とは、互いに隣接する複数の白画素からなるグループ(白画素グループ)に含まれる複数の白画素に外接する閉図形の図形的な特徴を示す特徴量である。
一般に、物体表面の性状が良好な場合、白画素(異常点)の数も少なく、各白画素グループに含まれる白画素の数も少ない傾向があると考えられる。一方、物体表面の性状が良好でない場合、白画素の数も多く、各白画素グループ内における白画素の数も多くなる傾向があると考えられる。また、隣接する白画素の連続数や、隣接する白画素同士が隣接する隣接方向などにも光沢ムラの種類に応じた特有の傾向があると考えられる。
さらに、形状特徴量は、画像データを複数の領域に分割することによって得られる局所的な特徴量ではなく、画像データを複数の領域に分割することなく得られる、画像データ全体の特徴が反映された特徴量であると言える。このため、形状特徴量は、物体表面の性状全体の傾向を把握する上で、重要な指標となり得る。
また、形状特徴量としては、例えば、
(1)図40の(a)に示す閉図形の絶対最大長(閉図形の周上の任意の2点間の最大の長さ)、閉図形の幅(最大長に平行な2本の線で閉図形を挟んだ時の2線間の最短距離)、閉図形の方向(水平線と閉図形の最大長方向とのなす角度)
(2)図40の(b)に示す閉図形の面積、閉図形の円(楕円)相当径(同じ面積を持つ円の径)、
(3)図40の(c)に示す閉図形の水平方向最大弦長、閉図形の水平方向フェレ長、閉図形の垂直方向最大弦長(不図示)、閉図形の垂直方向フェレ長(不図示)、
(4)図40の(d)に示す閉図形の周囲長、閉曲線の面積、外接長方形の面積などを例示することができる。
その他、以下に示す量を形状特徴量とすることが考えられる。
(1)外接四角形の対角線長、長手方向の径、または短手方向の径(例えば、外接四角形の縦の長さや横の長さ)、
(2)外接四角形に含まれる白画素(異常点)の総面積(または総画素数)など。
次に、写像を構成する方法としては、例えば、
(1)形状特徴量の値の分布から、統計的特徴を抽出して写像(例えば、ヒストグラムなど)を構成する方法(例えば、上記のデータ解析部80が、上記の外接四角形の対角線長毎の度数や、面積n毎の度数(統計的特徴量)を求め、度数分布(写像)により、物体表面の性状を判断する方法)。
(2)形状特徴量を説明変数とし、上記判断パラメータを目的変数として多変量解析を行って所定の写像(例えば、検索空間など)を構成する方法(例えば、上記のデータ解析部80が、上記の外接四角形の対角線長や面積n(統計的特徴量)の各値を説明変数とし、上記判断パラメータを目的変数として多変量解析を行って所定の写像(例えば、検索空間など)を構成する方法)などを挙示できる。
なお、多変量解析については上述したとおりであるので説明を省略する。
以上のような形状特徴量の値は、凹凸の分布の偏りやムラの状態を判断するための指標として特に優れたパラメータであることを本願発明者は新たに見出した。よって、上記構成のように、この形状特徴量を利用することにより、従来技術では困難であった、凹凸の分布の偏りやムラの状態をより精度良く判断することが可能となる。
次に、図32〜図34に基づき、いくつかのサンプルの画像データを用意し、形状特徴量の統計的特徴や、多変量解析を行った結果について説明する。
<ヒストグラム>
実際に対角線長を計算し、その長さ(整数化したもの)の度数(個数)分布を調査した結果を図32に示す。対角線長を整数化するにあたって、小数点以下は切り捨てた。同図に示す対角線長の度数分布(ヒストグラム)は、良品、三日月型斑、境界型斑、斑点型斑の各サンプル1つについて取得したものである。対角線長は200個までデータを取得しているが、そのうち特に頻度が多い対角線長14までを示す。
このようなヒストグラムによる統計的な特徴は、連続している異常点(白画像)が多いほど、対角線長も長いものが増える傾向がある。同図を見れば明らかなように、良品は、各異常点(白画像)の連続が少ないが、三日月型斑などは長い対角線長を持つように連続をしているといった傾向を確認することができる。
<良否判定の結果>
次に、実施例5にて説明した形状特徴量を用いて、多変量解析した結果を示す。図33は、対角線長を形状特徴量として、判別分析により多変量解析を行ったときの結果を示す。対角線長を整数化しているとはいえ、1〜200(200種類の長さ)までの長さが存在しているため、次元の多い解析となった。良品をA群、不良品をB群として判別分析を行うと、判別式Z=a1x1+a2x2+a3x3+a4x4+a5x5+・・・+a200x200+a0の係数ai(i=0〜200)が求まる。なお、各係数aiの値は、煩雑なためここでは省略する。
ここで用いた判別分析を説明変量が2つ(x1、x2)の場合を例に説明する。
(1)説明変量x1とx2から偏差平方和S11とS22、偏差積和S12を求める。
偏差平方和S11とS22、偏差積和S12は、それぞれ、
で与えられる。
(2)A群を合格(○)の集まりnA個、B群を不合格(×)の集まりnB個として、それぞれの分散共分散行列を求める。
(3)A群とB群の分散共分散行列をプールした行列を求めて、下の連立方程式から係数が決まる。説明変量が2以上の場合も同様に判別式を得ることができる。
A群の分散行列は、
で与えられる。
一方、B群の分散行列は、
で与えられる。
ここで、
である。
以上により、分散共分散行列は、
で与えられる。
式(13)より、連立方程式、
を得る。
式(14)より、
の各係数aiを求めることができる。
以上のような、良否を分ける判別分析を行った結果、試料番号1〜10の良品は判別式の計算結果Zが50〜200あたりに集まり、試料番号11〜40の不良品はその形状の種類に関わらず−100〜−130あたりに集まり、良否の分類がはっきりとできていることが分かる。また不良品の分散が特に小さいため、分離度合も大きい。
本実施例では、対角線長を形状特徴量として用いたが、外接四角形に含まれる白画素の総画素数、外接四角形の縦の長さ、横の長さなどを形状特徴量として用いても、高い分離度合で良否を分けることができた。
<不良品のムラ種類の判別>
実施例6では、不良品に境界型斑、三日月型斑および斑点状斑の3種類の分類があるとして、金メッキの光沢ムラを分類している(なお、図35〜図38には、それぞれ、良品、境界型斑、三日月型斑、斑点状斑に分類される画像データのサンプルを複数示している)。しかしながら、上記の良否分類の判別式からは、不良品の分類まではできない。
そこで、次に、不良品の分類を目的として、不良品のみの判別式を構築した結果について説明する。
実施例6にて説明した判別分析を用いて、三日月型斑をA群、境界型斑・斑点型斑をB群として判別式Z2の係数を得た。また、境界型斑をA群、三日月型斑・斑点型半をB群として判別式Z3の係数を得た。さらに、斑点型をA群、境界型・三日月型をB群として判別式Z4の係数を得た。
各判別式による分類結果を図34の(a)〜図34の(b)に示す。図34の(a)は、三日月型斑と他の不良品とに分類したときの解析結果を示し、図34の(b)は、境界型斑と他の不良品とに分類したときの解析結果を示し、図34の(c)は、斑点型斑と他の不良品とに分類したときの解析結果を示している。それぞれの分類を目的として判別式を設けることで斑の種類も分類し得ることがわかる。
本実施例では、判別式Z2、Z3およびZ4のそれぞれを単一の独立した判別式として分類しているため、光沢ムラの3種類の判別は困難であるが、例えば、判別式Z2、Z3およびZ4を組み合わせた検索空間を用いることなどにより光沢ムラの3種類の分類は十分可能であると考えられる。
なお、以上の説明では、ムラ種類を三日月型斑、境界型斑および斑点状斑の3種類に分類した。しかしながら、ムラ種類は、必ずしも、三日月型斑、境界型斑および斑点状斑の3種類に分類する必要はなく、いずれか2種類で分類しても良い。また、ムラ種類の定義も三日月型斑、境界型斑および斑点状斑に限られず、例えば、三日月型斑と境界型斑との中間の分類などを定義しても良く、必要に応じて適切な分類を定義すれば良い。
最後に、表面状態特定装置60の各ブロック、特に偏光成分算出部62、検索座標算出部70、特徴量抽出部70a、およびデータ解析部80は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、表面状態特定装置60は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表面状態特定装置60の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記表面状態特定装置60に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、表面状態特定装置60を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
〔本発明のその他の表現〕
本発明は、以下のように表現しても良い。
すなわち、本発明の表面検査装置は、上記強度比相関パラメータの値の分布から高次局所自己相関によって基本的な複数の初期特徴パラメータの値を抽出する初期特徴抽出手段を備え、上記表面性状判断手段は、上記複数の初期特徴パラメータを上記強度比相関パラメータとして、多変量解析を行って構成した写像を上記所定の写像として用いて、上記初期特徴抽出手段によって抽出された複数の初期特徴パラメータの値から求めた上記判断パラメータの値に基づいて、上記物体表面の性状を判断しても良い。
初期特徴パラメータの値は、凹凸の分布の偏りやムラの状態を判断するための指標として特に優れたパラメータであることを本願発明者は新たに見出した。よって、上記構成のように、この初期特徴パラメータを利用することにより、従来技術では困難であった、凹凸の分布の偏りやムラの状態をより精度良く判断することが可能となる。
また、検出画像から対象を切出し逐次に特定の画像処理や特徴抽出を適用していた従来の手法に比べ、対象の切出しを意識することなく一度検出画面を走査して得られる共通の初期特徴パラメータの値から、極めて高速に物体表面の性状を判断(物体表面の良否の判定や光沢ムラの種類の判別など)することが可能になる。また、一度検出画面を走査するだけで初期特徴パラメータの値が得られ、初期特徴パラメータの値を得るために特別な演算等は不要なので、検出画像が複雑か否かに関わらず、全体の処理時間を常に一定にすることができる。
また、本発明の表面検査装置は、上記表面性状判断手段は、上記物体表面の良否を判定するための良否判定パラメータを上記判断パラメータとして、多変量解析を行って構成した写像を上記所定の写像として用いて、上記初期特徴抽出手段によって抽出された複数の初期特徴パラメータの値から求めた上記良否判定パラメータの値に基づいて、上記物体表面の良否を判定しても良い。
上記の構成によれば、初期特徴パラメータを用いて写像を構成することにより、例えば、信頼性(精度)の高い、良否を判定するために有意な差がある良否判定パラメータを求めることができる。このようにして求めた良否判定パラメータの値に基づいて、物体表面の性状を定量的な手法で判断することが可能となる。
すなわち、上記構成のように、良否判定パラメータを利用することにより、従来技術では困難であった、信頼性(精度)の高い、物体表面の良否判定を行うことができる。
また、本発明の表面検査装置は、上記表面性状判断手段は、上記物体表面の光沢ムラの種類を判別するためのムラ種類判別パラメータを上記判断パラメータとして、多変量解析を行って構成した写像を上記所定の写像として用いて、上記初期特徴抽出手段によって抽出された複数の初期特徴パラメータの値から求めた上記ムラ種類判別パラメータの値に基づいて、上記物体表面における光沢ムラの種類を判別しても良い。
上記の構成によれば、初期特徴パラメータを用いて写像を構成することにより、例えば、ムラ種類の判別を行うための指標として好適なムラ種類判別パラメータを求めることも可能である。このようにして求めたムラ種類判別パラメータの値に基づいて、物体表面の光沢ムラの種類を判別することが可能となる。
また、本発明の表面検査装置は、上記検出画像における複数の画素のうち、上記強度比相関パラメータの値が所定の閾値以上または以下である白画素を特定する白画素特定手段と、上記白画素特定手段が特定した複数の白画素の中から、互いに隣接する複数の白画素からなるグループを特定し、特定したグループに含まれる複数の白画素に外接する閉図形を特定する図形特定手段と、上記図形特定手段が特定した閉図形の図形的な特徴を示す形状特徴量を抽出する形状特徴量抽出手段と、を備え、上記表面性状判断手段は、上記形状特徴量を上記画像特徴量として、多変量解析を行って構成した写像を上記所定の写像として用いて、上記形状特徴量抽出手段によって抽出された上記形状特徴量の値から求めた上記判断パラメータの値に基づいて、上記物体表面の性状を判断しても良い。
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。