JP2021148678A - 不良検出装置及び不良検出方法 - Google Patents

Abstract

【課題】基板の画像による不良品の検出精度を向上させる方法を提供する。【解決手段】基板の画像による不良検出装置であって、撮像装置２０と、学習済みの分類器５４によって画像の属性を分類する複数の分類部５０と、分類部５０で分類された画像のうち、特定の分類に属する画像を解析する画像解析部７０とを備える。また、教示記憶部６１と学習部６２とにより、分類機５４を学習させる。【選択図】図３

Description

本発明は、基板の画像による不良検出装置及び不良検出方法に関する。

特許文献１は、半導体基板等の外観検査に用いられる画像分類装置について記載している。撮像装置で基板上の検査対象領域を撮像し、撮像された画像に対して学習済みの分類器を用いて欠陥の属性を自動的に分類している。そして、欠陥の種類や存在領域を示す分類結果を出力している。

特開２０１７−５４２３９号公報

特許文献１等の画像分類装置では、欠陥を有していて本来不良品に分類されるべき基板が良品に分類される場合があった。例えば、学習済みの分類器は、基板上に付着した異物（以下、「浮遊異物」ともいう。）と、基板上の塗膜が剥がれて下地が露出した状態（以下、「下地露出」ともいう。）を精度良く判別することが難しい。同様に、基板上に付着した繊維（以下、「繊維異物」ともいう。）と、基板上に形成された傷を精度良く判別することが難しい。そのため、浮遊異物有りに分類されたものの中に下地露出を有するものが紛れ込む虞があった。同様に、繊維異物有りに分類されたものの中に傷を有するものが紛れ込む虞があった。

一般に、浮遊異物や繊維異物は比較的容易に除去することができるため、浮遊異物有りや繊維異物有りに分類されたものは良品に分類される場合が多い。これに対し、下地露出有りや傷有りに分類されたものは不良品に分類される場合が多い。そのため、浮遊異物有りや繊維異物有りに分類されて良品に分類されたものの中に不良品が含まれる、所謂、検出漏れが生じる虞があった。本発明は、こうした事情に鑑みてなされたものであり、その目的は、不良品の検出精度を向上し得る不良検出装置及び不良検出方法を提供することにある。

上記課題を解決するための本発明の不良検出装置は、基板の画像による不良検出装置であって、学習済みの分類器によって上記画像の属性を分類する分類部と、上記分類部で分類された画像のうち、特定の分類に属する画像を解析する画像解析部とを備えることを要旨とする。

上記構成によれば、分類部において特定の属性に分類された画像を、画像解析部でさらに解析することにより、分類部で検出されなかった不良を検出することができる。分類部のみで不良を検出する態様に比べて、不良の検出精度を向上させることができる。また、分類部での検出精度を向上させるための大量の学習サンプルと長時間の学習時間がなくても、高い検出精度を得ることができる。

本発明の不良検出装置について、上記特定の分類は、浮遊異物、及び、繊維異物の少なくともいずれか一方を有する分類であることが好ましい。この構成によれば、下地露出、及び、傷の少なくともいずれか一方の不良の検出精度を好適に向上させることができる。

本発明の不良検出装置について、上記画像解析部は、上記画像の色味、又は、上記画像中に存在する線状物の少なくとも一方を解析することが好ましい。この構成によれば、下地露出や傷を効率良く検出することが可能になる。

上記課題を解決するための本発明の不良検出方法は、基板の画像による不良検出方法であって、学習済みの分類器によって上記画像の属性を分類する分類ステップと、上記分類ステップで分類された画像のうち、特定の分類に属する画像を解析する画像解析ステップとを備えることを特徴とする。

上記構成によれば、特定の属性に分類された画像を解析する画像解析ステップを備えることにより、分類ステップで検出されなかった不良を検出することができる。分類ステップのみで不良を検出する態様に比べて、不良の検出精度を向上させることができる。また、分類ステップでの検出精度を向上させるための大量の学習サンプルと長時間の学習時間がなくても、高い検出精度を得ることができる。

本発明の不良検出方法について、上記特定の分類は、浮遊異物、及び、繊維異物の少なくともいずれか一方を有する分類であることが好ましい。この構成によれば、下地露出、及び、傷の少なくともいずれか一方の不良の検出精度を好適に向上させることができる。

本発明の不良検出方法について、上記画像解析ステップは、上記画像の色味、又は、上記画像中に存在する線状物の少なくとも一方を解析することが好ましい。この構成によれば、下地露出や傷を効率良く検出することが可能になる。

本発明の不良検出装置及び不良検出方法によれば、不良品の検出精度を向上させることができる。

不良検出装置の構成を示す模式図。 コンピュータの構成を示す模式図。 不良検出装置の機能構成を示すブロック図。 （ａ）は浮遊異物有りの基板の模式図、（ｂ）は下地露出有りの基板の模式図。 （ａ）は繊維異物有りの基板の模式図、（ｂ）は傷有りの基板の模式図。 不良検出の流れを示すフローチャート。

不良検出装置の一実施形態を説明する。
図１に示すように、不良検出装置１０は、撮像装置２０とコンピュータ３０を備える。撮像装置２０は、基板１１上の検査対象領域を撮像して基板１１の画像を取得し、取得した画像をコンピュータ３０に入力する。コンピュータ３０は、撮像装置２０から入力された画像の属性を学習済みの分類器によって分類する。そのため、コンピュータ３０は分類部として機能する。

さらに、コンピュータ３０は、分類部で良品に分類された画像のうち、特定の分類として浮遊異物有りや繊維異物有りに分類された画像を解析する。そのため、コンピュータ３０は画像解析部としても機能する。画像解析部で画像を解析することによって、分類部で良品に分類された画像のうち、本来不良品に分類されるべき画像、例えば、下地露出有りや傷有りの画像を検出することができる。

ここで、不良検出装置１０で不良を検出する基板１１としては、特に限定されないが、回路パターンが形成されたプリント基板を挙げることができる。プリント基板としては、半導体等の電子部品が実装された基板や、ソルダーレジストが塗布された基板であってもよい。

不良検出装置１０の構成要素である撮像装置２０とコンピュータ３０について説明する。
撮像装置２０について説明する。

図１に示すように、撮像装置２０は、基板１１が載置されるステージ２１、ステージ２１上の基板１１を撮像する撮像デバイス２２、及び、撮像デバイス２２で撮像された画像をコンピュータ３０に入力する入力デバイス２３を備える。

ステージ２１は、固定式のステージであってもよいし、移動式のステージであって複数の基板１１を載置した状態で移動することにより、複数の基板１１を連続的に撮像できるように構成されていてもよい。ステージ２１は、ベルトコンベア等として基板１１の製造設備に設けられて基板１１の製造工程中に複数の基板１１を連続的に撮像できるように構成されていてもよい。

撮像デバイス２２としては、特に限定されないが、光学系もしくは電子系のカメラを用いることができる。
入力デバイス２３としては、特に限定されないが、電気信号や光信号に変換された画像をコンピュータ３０との間で有線通信するケーブルや、後述するコンピュータ３０の通信部３９との間で無線通信する送信機を用いることができる。

コンピュータ３０について説明する。
図２に示すように、コンピュータ３０は、各種演算処理を行うＣＰＵ３１、基本プログラムを記憶するＲＯＭ３２、および、各種情報を記憶するＲＡＭ３３を含む一般的なコンピュータシステムの構成となっている。

コンピュータ３０は、情報記憶を行う固定ディスク３４、画像等の各種情報の表示を行うディスプレイ３５、及び、ユーザからの入力を受け付けるキーボード３６ａ及びマウス３６ｂ（以下、「入力部３６」と総称する。）を有している。また、コンピュータ３０は、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ３０が読み取り可能な記録媒体３８から情報の読み取りを行う読取装置３７、及び、不良検出装置１０の他の構成との間で信号を送受信する通信部３９を有している。

コンピュータ３０には、事前に読取装置３７を介して記録媒体３８からプログラム４０が読み出され、固定ディスク３４に記憶される。そして、ＣＰＵ３１によりＲＡＭ３３及び固定ディスク３４を利用しつつプログラム４０に従って演算処理が実行される。

不良検出装置１０の機能構成について説明する。
図３に示すように、不良検出装置１０は、機能構成として、分類部５０、分類器構築部６０、及び、画像解析部７０を有している。分類部５０、及び、分類器構築部６０によって、画像の属性が分類される。画像解析部７０によって、特定の分類に属する画像が解析される。

なお、図３では、コンピュータ３０のＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４等により実現される機能構成を、符号を付す破線の矩形にて囲んでいる。
分類部５０について説明する。

分類部５０は、対象画像記憶部５１及び分類制御部５２を有している。分類制御部５２は、特徴量算出部および複数の分類器５４を有する。分類部５０は、撮像装置２０から入力された画像について、ニューラルネットワーク、決定木、判別分析等を利用して当該画像の属性を分類して、良品と不良品を分類する。

分類器構築部６０について説明する。
分類器構築部６０は、分類部５０における複数の分類器５４を構築する。分類器構築部６０は、教師データ記憶部６１及び学習部６２を有しており、複数の分類器５４は、事前に構築されている。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

画像解析部７０について説明する。
画像解析部７０は、コンピュータ３０内の画像処理ソフトを用いて、分類部５０で良品に分類された画像のうち、特定の分類として浮遊異物有りや繊維異物有りに分類された画像を処理して解析する。画像の処理としては、例えば、色の濃淡等の色味を変換して特定の色を抽出しやすくすることや、画像内の線状物の形状を計測して数値化することが挙げられる。ここで、「線状物」とは、線のように細長い形状を意味するものとする。画像解析ソフトは、コンピュータに接続された他のコンピュータ等の端末内にあってもよい。画像解析ソフトは、公知の画像解析ソフトを用いることができる。

分類器５４の構築機構について説明する。
分類器５４は、分類器５４が含むパラメータに値を付与したり、構造を決定すること等によって構築される。分類器５４の構築の際には、事前準備として、多数の画像が分類器構築部６０の教師データ記憶部６１に記憶される。多数の画像には、基板１１の表面画像、裏面画像、カラー画像、白黒画像、良品画像（以下、「参照画像」ともいう。）、欠陥画像等が含まれている。続いて、ユーザにより、各欠陥画像が示す欠陥に対して、複数の属性項目についての教示が行われる。ここで、欠陥の属性項目とは、欠陥の色、欠陥の種類、欠陥の存在領域等であり、欠陥の性質や特徴に関する評価項目（評価の観点）である。例えば、欠陥の色では、基板１１の表面のソルダーレジストが剥がれて銅配線が露出することによる赤味がかった色等の属性がある。欠陥の種類では、基板１１上の電子部品の位置ずれ、外形の欠け、傷、下地露出等の属性がある。また、欠陥の存在領域では、表面、裏面、中央部、端部等の属性がある。

教示すべき複数の属性項目（以下、「設定属性項目」という。）は、入力部３６を介したユーザの入力により定められる。設定属性項目についての教示では、まず、複数の欠陥画像が、コンピュータのディスプレイに表示される。そして、ユーザにより、各欠陥画像に対して各設定属性項目における一の属性を示す入力が入力部３６を介して行われる。すなわち、各欠陥画像に対する各設定属性項目についての属性の入力が入力部３６により受け付けられる。以下、設定属性項目について入力された属性を「教示情報」という。各欠陥画像に対する複数の設定属性項目についての教示情報と、当該欠陥画像（すなわち、複数の設定属性項目についての教示が行われた欠陥画像であり、以下、「教師画像」という。）とは互いに関連付けられ、教師データセット６３として教師データ記憶部６１に記憶される。このようにして、複数の教師データセット６３が準備される。

また、分類部５０の対象画像記憶部５１には、撮像された画像と参照画像とを比較して得られた差分画像と、当該差分画像を二値化したマスク画像とが画像セットデータ５１ａとして記憶される。これら画像セットデータ５１ａも教師データセット６３して準備される。

分類部５０の特徴量算出部において、教師データセット６３に含まれる画像から分類器５４において利用される特徴量が取得される。分類器構築部６０の学習部６２において、全ての教師データにおける欠陥の種類の教示情報、及び、特徴量算出部により取得された特徴量を用いて分類器５４を学習させる。これにより、複数の設定属性項目に関する分類をそれぞれ行う複数の分類器５４が個別に構築される。

画像解析部７０の画像解析機構について説明する。
図４（ａ）は浮遊異物有り、図４（ｂ）は下地露出有りの基板１１の模式図を示している。図５（ａ）は繊維異物有り、図５（ｂ）は傷有りの基板１１の模式図を示している。

コンピュータ３０の分類部５０は、浮遊異物１２と下地露出１３とを精度良く判別することが難しい。同様に、繊維異物１４と傷１５とを精度良く判別することが難しい。そのため、浮遊異物有りに分類された画像の中に下地露出有りの画像が紛れ込む虞があるとともに、繊維異物有りに分類された画像の中に傷有りの画像が紛れ込む虞がある。

下地が露出した箇所は、例えば、下地の銅配線が露出して赤味がかった色になりやすい。そのため、例えば、デジタル画像処理を行って画像の色味を変換し、赤色を抽出しやすくすることによって、浮遊異物１２と下地露出１３を判別しやすくなる。

また、基板１１上の傷１５は直線状に形成されやすいのに対し、繊維異物１４は複数の屈曲部を有して縮れた形状になりやすい。そのため、ハフ変換により画像内の線状物の直進性を計測することにより、繊維異物１４と傷１５を判別しやすくなる。

直進性の計測方法はハフ変換に限定されないが、例えば、線状物の長手方向における複数個所をドットで表示し、複数のドットを繋いだ仮想線を作成する。直進性の値に関する閾値を設定して仮想線を比較することにより、直進性を評価することができる。

不良検出装置を用いた不良検出の流れについて説明する。
図６にフローチャートを示す。
（ステップＳ１０１）
ステップＳ１０１は、撮像装置で基板を撮像するステップである。得られた画像を入力デバイスを通じてコンピュータに入力する。

（ステップＳ１０２）
ステップＳ１０２は、コンピュータの分類部において画像を分類する分類ステップである。画像を良品と不良品とに分類し、良品に分類された画像の中から、さらに特定の分類に属する画像として、浮遊異物有りと繊維異物有りを分類する。

（ステップＳ１０３）
ステップＳ１０３は、ステップＳ１０２において良品に分類され、さらに浮遊異物有りと繊維異物有りに分類された画像を、画像解析ソフトを用いて解析する画像解析ステップである。コンピュータ内の画像解析ソフトを用いて、浮遊異物有りに分類された画像から、下地露出有りの画像を検出して不良品に分類する。同様に、繊維異物有りに分類された画像から、傷有りの画像を検出して不良品に分類する。

（ステップＳ１０４）
ステップＳ１０４は、ステップＳ１０２において、不良品に分類された画像を不良品として記憶するとともに、良品に分類された画像のうち、浮遊異物有り以外及び繊維異物有り以外の画像を良品としてコンピュータに記憶するステップである。

また、ステップＳ１０３において、下地露出有りと傷有りに分類された画像を不良品に分類するとともに、下地露出有りと傷有りに分類されなかった画像を良品としてコンピュータに記憶するステップである。

以上の流れによって、不良を検出することができる。また、ステップＳ１０４において、分類結果をコンピュータに記憶することに代えて、分類結果をコンピュータのディスプレイに表示したり、他の装置に出力してもよい。

本実施形態の作用及び効果について記載する。
（１）コンピュータの分類部で浮遊異物有りに分類された画像に対して、コンピュータの画像解析部で画像解析を行うことにより、下地露出有りの画像を検出することができる。同様に、分類部で繊維異物有りに分類された画像に対して、画像解析部で画像解析を行うことにより、傷有りの画像を検出することができる。分類部で検出されなかった不良を検出することができるため、分類部のみで不良を検出する態様に比べて、不良の検出精度を向上させることができる。

（２）コンピュータの分類部のみで不良を検出する態様では、不良の検出精度を向上させるためには膨大な教師データを用いて分類器を学習させる必要がある。そのため、分類器の学習に時間と労力がかかる。これに対し、本実施形態の不良検出装置では、良品と不良品の分類を学習済みの分類器で行った後、特定の分類に属する画像を画像解析ソフトを用いて解析しているため、不良の検出精度をより短時間に、より少ない労力で向上させることができる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・本実施形態において、不良検出装置は、撮像装置とコンピュータを備えていたが、この態様に限定されない。不良検出装置は、撮像装置を備えてなく、コンピュータのみで構成されていてもよい。例えば、不良検出装置とは別に撮像装置が設けられており、この撮像装置で撮像された基板の画像を、別途不良検出装置に入力することによって、不良検出を行うように構成されていてもよい。

・本実施形態において、不良検出装置を構成する分類部、分類器構築部、及び、画像解析部は、一つのコンピュータ内に設けられていたが、この態様に限定されない。分類部、分類器構築部、及び、画像解析部は、それぞれ異なるコンピュータ内に設けられていてもよい。

・本実施形態において、画像解析部で解析する特定の分類は、浮遊異物有りと、繊維異物有りの両方であったが、この態様に限定されない。浮遊異物有りと繊維異物有りのいずれか一方のみであってもよいし、浮遊異物有り以外及び繊維異物有り以外の良品とされる分類であってもよい。

・画像解析部における画像解析は、画像の色味や、線状物の直進性に限定されない。
・本実施形態では、コンピュータの分類器で分類を行った後、画像解析を行っていたが、この態様に限定されない。コンピュータの分類器で分類を行う前に、別途画像解析を行って分類を行い、その後、コンピュータの分類器での分類と、画像解析部による解析を行ってもよい。

・本実施形態において、分類部と画像解析部は、同じ撮像装置で得られた画像を元にして分類を行っていたが、この態様に限定されない。分類部と画像解析部は、異なる撮像装置で得られた画像を元にして分類を行っていてもよい。例えば、画像解析部では、より高画質の撮像が可能な撮像装置を用いてもよい。

・本実施形態では、分類部で良品に分類された画像のうち、特定の分類として、浮遊異物有りと繊維異物有りの画像に対して画像解析を行い、不良を検出していたが、この態様に限定されない。分類部において不良品に分類された画像に対して画像解析を行い、良品を検出してもよい。例えば、分類部において不良品に分類された画像のうち、特定の分類として、下地露出有りと傷有りに分類された画像に対して画像解析を行ってもよい。この態様においても、不良品の検出精度を向上させることが可能になる。

以下、上記実施形態をさらに具体化した実施例について説明する。
（実施例１）
本実施形態の不良検出装置を用いて、電子部品を実装したソルダーレジスト基板の不良を検出した。

まず、基板を撮像装置で撮像し、学習済みの分類器を用いて良品と不良品を分類した。次に、良品に分類された画像のうち、浮遊異物有りと、繊維異物有りに分類された画像について、公知の画像解析ソフトを用いて画像解析を行い、良品と不良品の分類を行った。

浮遊異物有りの画像に対しては、画像の色味を変換し、赤色を抽出しやすくした。
繊維異物有りの画像に対しては、ハフ変換を行って画像中の線状物の長手方向における複数個所をドットで表示し、複数のドットを繋いだ仮想線を作成した。直進性の値に関する閾値を用いて線状物の直進性を評価した。

（評価試験）
本実施形態の不良検出装置を用いて、良品に分類された基板について、検査員が顕微鏡を用いて再度検査をし、良品と不良品の分類を行った。

不良検出装置で良品に分類されたものの中で、検査員の検査で不良品に分類されたものの割合を、漏れ率（ｄｐｍ）とした。なお、（ｄｐｍ）は、良品１００万個中に含まれる不良品の個数を意味する。実施例１では、漏れ率は、３５０ｄｐｍであった。

（比較例１）
本実施形態の不良検出装置を用いて、学習済みの分類器のみを用いて良品と不良品を分類したものを比較例１とした。すなわち、比較例１では、画像解析ソフトを用いた画像解析を行っていない。比較例１では、漏れ率は、４００ｄｐｍであった。

１０…不良検出装置、１１…基板、５０…分類部、５４…分類器７０…画像解析部。

Claims (6)

1. 基板の画像による不良検出装置であって、
   学習済みの分類器によって前記画像の属性を分類する分類部と、
   前記分類部で分類された画像のうち、特定の分類に属する画像を解析する画像解析部とを備えることを特徴とする不良検出装置。
2. 前記特定の分類は、浮遊異物、及び、繊維異物の少なくともいずれか一方を有する分類である請求項１に記載の不良検出装置。
3. 前記画像解析部は、前記画像の色味、又は、前記画像中に存在する線状物の少なくとも一方を解析する請求項１又は２に記載の不良検出装置。
4. 基板の画像による不良検出方法であって、
   学習済みの分類器によって前記画像の属性を分類する分類ステップと、
   前記分類ステップで分類された画像のうち、特定の分類に属する画像を解析する画像解析ステップとを備えることを特徴とする不良検出方法。
5. 前記特定の分類は、浮遊異物、及び、繊維異物の少なくともいずれか一方を有する分類である請求項４に記載の不良検出方法。
6. 前記画像解析ステップは、前記画像の色味、又は、前記画像中に存在する線状物の少なくとも一方を解析する請求項４又は５に記載の不良検出方法。

Images