JP2022139295A - 処理方法およびそれを利用した処理装置 - Google Patents

Abstract

【課題】異物がフラックスに覆われているか否かを画像により判定する技術を提供する。
【解決手段】第１処理部１１２は、検査対象の基板面１０を可視光環境下で撮像した第１画像に対してニューラルネットワークの処理を実行することによって、基板面１０の上の異物の位置を特定する。第２処理部１１４は、基板面１０に紫外光を照射しながら撮像した第２画像のうち、第１処理部１１２が特定した異物の位置を含む異物領域に対してフラックスの有無を判定する。出力部１１６は、第２処理部１１４における判定によって、異物がフラックスに覆われていない場合に、基板面１０を不良品とする判定結果を出力する。
【選択図】図２

Description

本開示は、処理技術、特に画像に対する処理を実行する処理方法およびそれを利用した処理装置に関する。

ボールグリッドアレイプロセスでは、予めフラックスをコーティングしてある基板にはんだボールのアレイを付着する。フラックスは、はんだとはんだ付けされるパッドとの間の機械的及び電気的接続を改善する。しかしながら、過剰なフラックスははんだマスクとも相互作用して、過剰な残留物を生じさせ、かつ隣接するはんだ接合間の移動を増加させ得る。そのため、はんだ塗布前にフラックス検査がなされる（例えば、特許文献１参照）。

特表２００２－５４１４４３号公報

プリント基板面の上に付着する異物、例えばはんだボール等が移動して回路部に接触すると、ショート発生のおそれがある。これまで、プリント基板面の上に付着された異物は、画像検査により検出され、手作業にて取り除かれている。しかしながら、はんだ付け促進剤であるフラックスに異物が覆われている場合、異物は付着された位置で固定されるので、異物を取り除く必要はない。フラックスは透明であるので、従来の画像検査では、フラックスに覆われた異物であるか、あるいはフラックスに覆われていない異物であるかを識別することが困難である。

本開示はこうした状況に鑑みなされたものであり、その目的は、異物がフラックスに覆われているか否かを画像により判定する技術を提供することにある。

上記課題を解決するために、本開示のある態様の処理装置は、検査対象の基板面を可視光環境下で撮像した第１画像に対してニューラルネットワークの処理を実行することによって、基板面の上の異物の位置を特定する第１処理部と、基板面に紫外光を照射しながら撮像した第２画像のうち、第１処理部が特定した異物の位置を含む異物領域に対してフラックスの有無を判定する第２処理部と、第２処理部における判定によって、異物がフラックスに覆われていない場合に、基板面を不良品とする判定結果を出力する出力部と、を備える。

本開示の別の態様は、処理方法である。この方法は、検査対象の基板面を可視光環境下で撮像することによって第１画像を取得するステップと、第１画像に対してニューラルネットワークの処理を実行することによって、基板面の上の異物の位置を特定するステップと、基板面に紫外光を照射しながら撮像することによって第２画像を取得するステップと、第２画像のうち、特定された異物の位置を含む異物領域に対してフラックスの有無を判定するステップと、判定によって、異物がフラックスに覆われていない場合に、基板面を不良品とする判定結果を出力するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、異物がフラックスに覆われているか否かを画像により判定できる。

実施例の処理対象となる基板面を示す図である。 実施例に係る処理装置の構成を示す図である。 図３（ａ）－（ｆ）は、図２の処理装置における処理の概要を示す図である。 図１の処理装置による処理手順を示すフローチャートである。

本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、プリント基板面を撮像した画像に対して画像認識処理を実行することによって、基板面が良品であるか、あるいは不良品であるかを判定する処理装置に関する。ここで、基板面が良品であるとは、基板面にはんだボール等の異物が存在しない場合、あるいは基板面に存在する異物のすべてがフラックスに覆われている場合であり、基板面が不良品であるとは、基板面に存在する異物がフラックスに覆われていない場合である。

画像認識処理のために、例えば、畳み込みニューラルネットワークが使用される。畳み込みニューラルネットワークは、複数のフィルタによる畳み込み処理により特徴を抽出する畳み込み層と、一定領域の反応をまとめるプーリング処理により局所的なデータの不変性を獲得するプーリング層と、Ｓｏｆｔｍａｘ関数等による確率を用いて認識を行う全結合層とを含む。しかしながら、前述のごとく、フラックスは透明であるので、畳み込みニューラルネットワークでは、異物がフラックスに覆われているか否かを識別することが困難である。本実施例は、異物がフラックスに覆われているか否かを判定することを目的とする。

図１は、処理対象となる基板面１０を示す。基板面１０は、各種のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等がはんだにより取り付けられたプリント基板の面である。本実施例では、基板面１０が、良品であるか、あるいは不良品であるかを判定するための処理、特に基板面１０の上に存在するフラックスに覆われていない異物を検出するための処理を説明する。

図２は、処理装置１００の構成を示す。処理装置１００は撮像装置３０を接続可能であり、撮像装置３０はフィルタ２０を着脱可能である。処理装置１００は、入力部１１０、第１処理部１１２、第２処理部１１４、出力部１１６を含む。

撮像装置３０は、検査対象の基板面１０を可視光環境下で撮像する。撮像装置３０は、可視光環境下で撮像した基板面１０の画像（以下、「第１画像」という）を処理装置１００に出力する。第１画像はデジタルデータである。フィルタ２０は、紫外光をカットする機能を有する。紫外光をカットとは、紫外光の周波数領域の光をそれ以外の範囲の光よりも減衰させることである。撮像装置３０のレンズ（図示せず）にフィルタ２０を装着した状態において、紫外光を基板面１０に照射しながら、撮像装置３０は基板面１０を撮像する。紫外光を基板面１０に照射することによって、フラックス固有の蛍光発光が励起される。また、撮像装置３０は、フィルタ２０によって基板面１０の上での紫外光の反射光をカットするので、蛍光発光のみを撮像する。撮像装置３０は、基板面１０での紫外光の反射光をカットしながら撮像した基板面１０の画像（以下、「第２画像」という）を処理装置１００に出力する。第２画像もデジタルデータである。

処理装置１００の入力部１１０は、第１画像と第２画像とを撮像装置３０から受けつける。入力部１１０は、第１画像を第１処理部１１２に出力し、第２画像を第２処理部１１４に出力する。

第１処理部１１２は、ニューラルネットワークとして畳み込みニューラルネットワークを有する。当該畳み込みニューラルネットワークは、基板面１０の上に異物が存在する状態の画像と、基板面１０の上に異物が存在しない状態の画像により予め学習されている。そのため、畳み込みニューラルネットワークは、基板面１０の上における異物の位置をヒートマップで出力可能である。このヒートマップには異物が反映されるといえる。

第１処理部１１２は、入力部１１０からの第１画像に対して畳み込みニューラルネットワークの処理を実行することによって、第１画像に対するヒートマップを出力する。第１画像に異物が存在する場合、ヒートマップにおいて異物は特徴として配置される。ヒートマップにおける特徴の色はその他の部分の色と異なるので、第１処理部１１２は、ヒートマップの色をもとに、特徴を抽出する。第１処理部１１２は、ヒートマップから抽出した特徴の広さが一定の面積値以上を有する場合、特徴の重心位置を異物の位置とすることによって、基板面１０の上の異物の位置を特定する。第１処理部１１２は、異物の位置を特定した場合、異物の位置の情報を第２処理部１１４に出力する。第１処理部１１２は、異物の位置を特定しなかった場合、基板面１０に異物は存在しないとして異物なしの情報を第２処理部１１４に出力する。

図３（ａ）－（ｆ）は、処理装置１００における処理の概要を示す。図３（ａ）は、フラックスに覆われた異物２００が存在する第１画像であり、図３（ｂ）は、フラックスに覆われていない異物２００が存在する第１画像である。図３（ｃ）は、図３（ａ）の第１画像に対するヒートマップであり、図３（ａ）の異物２００に対応する位置を含むように特徴２１０が配置される。図３（ｄ）は、図３（ｂ）の第１画像に対するヒートマップであり、図３（ｂ）の異物２００に対応する位置を含むように特徴２１０が配置される。図３（ａ）と図３（ｂ）は同様に示され、図３（ｃ）と図３（ｄ）も同様に示される。つまり、第１画像からヒートマップを生成することによって、異物２００に対応した特徴２１０を検出可能であるが、異物２００がフラックスに覆われているか否かの判定は不可能である。図３（ｅ）－（ｆ）は後述し、図２に戻る。

第２処理部１１４は、第１処理部１１２から異物なしの情報を受けつけた場合、異物なしの情報を出力部１１６に出力する。一方、第２処理部１１４は、第１処理部１１２から異物の位置の情報を受けつけた場合、入力部１１０から第２画像を受けつける。第２処理部１１４は、第１画像における座標と第２画像における座標を１対１で対応づける。この対応づけには公知の技術が使用されればよいので、ここでは説明を省略する。また、基板面１０と撮像装置３０とが固定されたまま、フィルタ２０の有無によって第１画像と第２画像が生成される場合、第１画像における座標と第２画像における座標とが一致していてもよい。

第２処理部１１４は、第２画像のうち、第１処理部１１２が特定した異物の位置を含む領域を異物領域として特定する。例えば、異物領域は、異物の位置を中心とし、かつ予め定められた大きさの矩形状の領域として規定される。異物領域の形状は矩形状に限定されない。

第２処理部１１４は、第２画像の異物領域に含まれる各画素の輝度値を確認する。第２処理部１１４は、第１しきい値以上の輝度値を有する画素により形成される領域を蛍光発光領域として特定する。輝度値が２値化されている場合、白色に対応する値が第１しきい値以上の輝度値に相当する。第２処理部１１４は、蛍光発光領域の面積値が第２しきい値以上である場合、異物がフラックスに覆われていることを判定する。一方、第２処理部１１４は、蛍光発光領域を特定しない場合、あるいは蛍光発光領域の面積値が第２しきい値以上でない場合、異物がフラックスに覆われていないことを判定する。このように、第２処理部１１４は、異物領域に対してフラックスの有無を判定する。このようなフラックスの有無の判定は、例えば、異物領域に限定して実行される。

図３（ｅ）は、図３（ａ）の第１画像に対応した第２画像における異物領域２２０を示す。前述のごとく、図３（ａ）の第１画像には、フラックスに覆われた異物２００が存在するので、異物領域２２０に蛍光発光領域２２２が配置される。図３（ｂ）は、図３（ｂ）の第１画像に対応した第２画像における異物領域２２０を示す。前述のごとく、図３（ａ）の第１画像には、フラックスに覆われていない異物２００が存在するので、異物領域２２０に蛍光発光領域２２２が配置されない。そのため、第２画像を使用することによって、異物２００がフラックスに覆われているか否かの判定が可能である。第２処理部１１４は、判定結果を出力部１１６に出力する。

出力部１１６は、第２処理部１１４から異物なしの情報を受けつけた場合、基板面１０を良品とする判定結果を出力する。出力部１１６は、第２処理部１１４から判定結果を受けつけ、かつ判定結果において異物がフラックスに覆われている場合に、基板面１０を良品とする判定結果を出力する。出力部１１６は、第２処理部１１４から判定結果を受けつけ、かつ判定結果において異物がフラックスに覆われていない場合に、基板面１０を不良品とする判定結果を出力する。

本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

以上の構成による処理装置１００の動作を説明する。図４は、処理装置１００による処理手順を示すフローチャートである。第１処理部１１２は、第１画像を取得し（Ｓ１０）、ヒートマップを生成する（Ｓ１２）。異物が特定された場合（Ｓ１４のＹ）、第２処理部１１４は第２画像を取得する（Ｓ１６）。蛍光発光領域の面積が第２しきい値以上である場合（Ｓ１８のＹ）、第２処理部１１４は、異物がフラックスに覆われていると判定する（Ｓ２０）。出力部１１６は、基板面１０が良品であるとする判定結果を出力する（Ｓ２２）。異物が特定されない場合（Ｓ１４のＮ）、出力部１１６は、基板面１０が良品であるとする判定結果を出力する（Ｓ２２）。蛍光発光領域の面積が第２しきい値以上でない場合（Ｓ１８のＮ）、第２処理部１１４は、異物がフラックスに覆われていないと判定する（Ｓ２４）。出力部１１６は、基板面１０が不良品であるとする判定結果を出力する（Ｓ２６）。

本実施例によれば、可視光環境下で撮像した第１画像から異物の位置を特定し、紫外光を照射しながら撮像した第２画像のうち、異物の位置を含む異物領域に対してフラックスの有無を判定するので、異物がフラックスに覆われているか否かを画像により判定できる。また、異物がフラックスに覆われていない場合に基板面１０を不良品とするので、フラックスを考慮して不良品を判定できる。また、異物が反映されるヒートマップから抽出した特徴の広さが一定の面積値以上を有する場合、特徴の重心位置を異物の位置として特定するので、異物の位置の特定精度を向上できる。

また、紫外光をカットするフィルタをレンズに装着して、紫外線を照射しながら撮像するので、蛍光発光された第２画像を生成できる。また、第２画像の異物領域における蛍光発光領域の面積値が大きければ、異物がフラックスに覆われていることを判定するので、判定精度を向上できる。また、フラックスの有無の判定を異物領域に限定して実行するので、処理時間を短縮できる。また、異物がフラックスに覆われている場合に、基板面１０を良品とするので、フラックスを考慮して良品を判定できる。

本開示の一態様の概要は、次の通りである。本開示のある態様の処理装置（１００）は、検査対象の基板面（１０）を可視光環境下で撮像した第１画像に対してニューラルネットワークの処理を実行することによって、基板面（１０）の上の異物の位置を特定する第１処理部（１１２）と、基板面（１０）に紫外光を照射しながら撮像した第２画像のうち、第１処理部（１１２）が特定した異物の位置を含む異物領域に対してフラックスの有無を判定する第２処理部（１１４）と、第２処理部（１１４）における判定によって、異物がフラックスに覆われていない場合に、基板面（１０）を不良品とする判定結果を出力する出力部（１１６）と、を備える。

第１処理部（１１２）におけるニューラルネットワークは、異物が反映されるヒートマップを出力可能であり、第１処理部（１１２）は、ヒートマップから抽出した特徴の広さが一定の面積値以上を有する場合、特徴の重心位置を異物の位置として特定してもよい。

第２処理部（１１４）において使用される第２画像は、紫外光をカットするフィルタをレンズに装着することによって、基板面（１０）での紫外光の反射光をカットしながら撮像されてもよい。

第２処理部（１１４）は、第２画像の異物領域において、第１しきい値以上の輝度値を有する画素により形成される蛍光発光領域の面積値が第２しきい値以上である場合、異物がフラックスに覆われていることを判定してもよい。

第２処理部（１１４）は、フラックスの有無の判定を異物領域に限定して実行してもよい。

出力部（１１６）は、第２処理部（１１４）における判定によって、異物がフラックスに覆われている場合に、基板面（１０）を良品とする判定結果を出力してもよい。

本開示の別の態様は、処理方法である。この方法は、検査対象の基板面（１０）を可視光環境下で撮像することによって第１画像を取得するステップと、第１画像に対してニューラルネットワークの処理を実行することによって、基板面（１０）の上の異物の位置を特定するステップと、基板面（１０）に紫外光を照射しながら撮像することによって第２画像を取得するステップと、第２画像のうち、特定された異物の位置を含む異物領域に対してフラックスの有無を判定するステップと、判定によって、異物がフラックスに覆われていない場合に、基板面（１０）を不良品とする判定結果を出力するステップと、を備える。

以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

１０ 基板面、 ２０ フィルタ、 ３０ 撮像装置、 １００ 処理装置、 １１０ 入力部、 １１２ 第１処理部、 １１４ 第２処理部、 １１６ 出力部。

Claims (7)

1. 検査対象の基板面を可視光環境下で撮像した第１画像に対してニューラルネットワークの処理を実行することによって、前記基板面の上の異物の位置を特定する第１処理部と、
   前記基板面に紫外光を照射しながら撮像した第２画像のうち、前記第１処理部が特定した前記異物の位置を含む異物領域に対してフラックスの有無を判定する第２処理部と、
   前記第２処理部における判定によって、前記異物が前記フラックスに覆われていない場合に、前記基板面を不良品とする判定結果を出力する出力部と、
   を備える処理装置。
2. 前記第１処理部における前記ニューラルネットワークは、異物が反映されるヒートマップを出力可能であり、
   前記第１処理部は、前記ヒートマップから抽出した特徴の広さが一定の面積値以上を有する場合、前記特徴の重心位置を前記異物の位置として特定する請求項１に記載の処理装置。
3. 前記第２処理部において使用される前記第２画像は、紫外光をカットするフィルタをレンズに装着することによって、前記基板面での紫外光の反射光をカットしながら撮像される請求項１または２に記載の処理装置。
4. 前記第２処理部は、前記第２画像の前記異物領域において、第１しきい値以上の輝度値を有する画素により形成される蛍光発光領域の面積値が第２しきい値以上である場合、前記異物がフラックスに覆われていることを判定する請求項１から３のいずれか１項に記載の処理装置。
5. 前記第２処理部は、前記フラックスの有無の判定を前記異物領域に限定して実行する請求項１から４のいずれか１項に記載の処理装置。
6. 前記出力部は、前記第２処理部における判定によって、前記異物が前記フラックスに覆われている場合に、前記基板面を良品とする判定結果を出力する請求項１から５のいずれか１項に記載の処理装置。
7. 検査対象の基板面を可視光環境下で撮像することによって第１画像を取得するステップと、
   前記第１画像に対してニューラルネットワークの処理を実行することによって、前記基板面の上の異物の位置を特定するステップと、
   前記基板面に紫外光を照射しながら撮像することによって第２画像を取得するステップと、
   前記第２画像のうち、特定された前記異物の位置を含む異物領域に対してフラックスの有無を判定するステップと、
   判定によって、前記異物が前記フラックスに覆われていない場合に、前記基板面を不良品とする判定結果を出力するステップと、
   を備える処理方法。

Images