JP2021120631A - 画像生成装置および画像生成方法 - Google Patents

Abstract

【課題】対象部品の不良品が無くても不良品画像を生成することができる画像生成装置および画像生成方法を提供すること。【解決手段】実施形態に係る画像生成装置は、第１抽出部と、第２抽出部と、生成部とを備える。第１抽出部は、はんだ付けの検査対象となる対象部品の良品画像に基づいて対象部品のはんだ付けに関する特徴を示す特徴情報を抽出する。第２抽出部は、対象部品とは異なる他部品の不良品画像に基づいてはんだ付けの不良に関する特徴を示す不良情報を抽出する。生成部は、特徴情報および不良情報に基づいて、対象部品の不良品画像を生成する。【選択図】図２

Description

本発明は、画像生成装置および画像生成方法に関する。

従来、基板等に実装される電子部品のはんだ付けの良否判定を行うはんだ付け検査装置がある。この種のはんだ付け検査装置では、はんだ付けが良好な電子部品を撮像した良品画像と、はんだ付けが不良な電子部品を撮像した不良品画像とに基づいて良否判定のための閾値を決定し、はんだ付けの良否判定を行う。

特開平４−２９５７４７号公報

しかしながら、従来は、検査対象である対象部品の不良品画像を収集することは容易ではない。具体的には、実際の製造ラインにおいて発生する不良品の数は、良品の数に比べて少ない場合が多く、特に、新規開発された部品等では製造開始時において不良品がそもそも存在しない場合がある。

本発明は、上記に鑑みてなされたものであって、対象部品の不良品が無くても不良品画像を生成することができる画像生成装置および画像生成方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像生成装置は、第１抽出部と、第２抽出部と、生成部とを備える。前記第１抽出部は、はんだ付けの検査対象となる対象部品の良品画像に基づいて前記対象部品のはんだ付けに関する特徴を示す特徴情報を抽出する。前記第２抽出部は、前記対象部品とは異なる他部品の不良品画像に基づいて前記はんだ付けの不良に関する特徴を示す不良情報を抽出する。前記生成部は、前記特徴情報および前記不良情報に基づいて、前記対象部品の不良品画像を生成する。

本発明によれば、対象部品の不良品が無くても不良品画像を生成することができる。

図１は、実施形態に係る画像生成方法の概要を示す図である。 図２は、実施形態に係る画像生成装置の構成を示すブロック図である。 図３は、モデル情報の一例を示す図である。 図４は、対象部品の不良品画像を生成するための処理を示す図である。 図５は、対象部品の不良品画像を生成するための処理を示す図である。 図６は、実施形態に係る画像生成装置が実行する処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する画像生成装置および画像生成方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る画像生成方法の概要について説明する。図１は、実施形態に係る画像生成方法の概要を示す図である。図１では、実施形態に係るはんだ付け検査システムＳを示している。

実施形態に係るはんだ付け検査システムＳは、電子機器に搭載される基板５０に実装された部品５１のはんだ付けが良好であるか（良品であるか）不良であるか（不良品であるか）を検査するシステムである。

図１に示すように、実施形態に係るはんだ付け検査システムＳは、画像生成装置１と、はんだ付け検査装置１００とを備える。はんだ付け検査装置１００は、複数の部品５１毎に予め設定された閾値を用いて良否判定を行う。

具体的には、閾値は、複数の部品５１それぞれについて、良品を撮像した画像（良品画像）と、不良品を撮像した画像（不良品画像）とに基づいて設定される。例えば、図１に示すように、種別が異なる２つの部品５１ａ，５１ｂは、接着されたはんだ５１０ａ，５１０ｂの形状や大きさの特徴が異なるため、部品５１の種別毎に、はんだ付けの形状や大きさ等の特徴に応じた閾値を設定する必要がある。

また、部品５１の種別が同じであっても、部品５１の部品サイズが異なれば、上記した特徴も異なるため別途閾値を設定する必要がある。

そして、従来は、製造ラインや試作等により、検査対象となる対象部品の良品や不良品を実際に作成することで、良品画像および不良品画像を得ていた。しかしながら、製造ラインや試作等により実際に発生する不良品の数は、良品の数に比べて少ない場合が多く、特に、新規開発された部品等では製造開始時において不良品がそもそも存在しない場合がある。

また、仮に、試作で故意に不良品を作成したとしても、実際の製造ラインで生じる不良品の態様とは大きく乖離するおそれがあり、不良品画像として精度が高いとは言えない。このように、従来は、検査対象である対象部品の不良品画像を収集することは容易ではない。

そこで、実施形態に係る画像生成方法では、対象部品の不良品を実際に準備することなく、対象部品の不良品画像を生成することとした。

具体的には、まず、実施形態に係る画像生成方法では、画像生成装置１は、対象部品の良品画像を取得し、良品画像に基づいて対象部品のはんだ付けに関する特徴を示す特徴情報を抽出する（ステップＳ１）。

特徴情報は、例えば、対象部品のはんだの形状や、はんだの大きさ、はんだの接着位置（例えば、サイドフィレット等）、はんだ付け位置におけるスルーホールの有無等の情報が含まれる。

つづいて、画像生成装置１は、対象部品とは異なる他部品の不良品画像に基づいてはんだ付けの不良に関する特徴を示す不良情報を抽出する（ステップＳ２）。他部品は、例えば、製造期間が比較的長く、その製造過程で生じた不良品（不良品画像）が所定数以上のものを選択する。

また、不良情報は、例えば、不良の内容を示す情報であり、不良となったはんだの形状や、大きさ、接着位置等の情報である。なお、詳細は後述するが、不良情報は、ＧＡＮ（Generative Adversarial Network）等の生成モデルにおける重み情報を用いることができる。

そして、画像生成装置１は、抽出した特徴情報および不良情報に基づいて、対象部品の不良品画像を生成する（ステップＳ３）。具体的には、画像生成装置１は、他部品の不良画像のうち、他部品のはんだ付けの特徴を対象部品のはんだ付けの特徴に置き換える。

これは、今まで製造された様々な部品の不良品を比べた時に、部品５１が異なったとしても、はんだ付けの不良の内容自体は概ね同じであるというはんだ付けの特性を利用している。

つまり、実施形態に係る画像生成方法では、対象部品の良品から抽出した対象部品のはんだ付けの特徴と、他部品の不良品から抽出した不良品としての特徴とを組み合わせて疑似的な不良品画像を生成する。

このように、実施形態に係る画像生成方法によれば、不良品の数が比較的多い他部品の不良品画像と、対象部品の良品画像とに基づいて対象部品の疑似的な不良品画像を生成することができる。

従って、実施形態に係る画像生成方法では、他部品の不良品と、対象部品の良品とがあれば（すなわち、対象部品の不良品が無くても）、対象部品の不良品画像を生成することができる。

そして、画像生成装置１は、生成した不良品画像をはんだ付け検査装置１００へ提供する（ステップＳ４）。

なお、実施形態に係る画像生成方法によれば、不良情報および特徴情報に基づいた転移学習により、不良品画像を生成する生成モデルを学習するが、かかる点の詳細については後述する。

次に、図２を用いて、実施形態に係る画像生成装置１の構成について説明する。図２は、実施形態に係る画像生成装置１の構成を示すブロック図である。

図２に示すように、実施形態に係る画像生成装置１は、画像供給装置２００と、はんだ付け検査装置１００とに接続される。なお、図２では、画像生成装置１は、画像供給装置２００およびはんだ付け検査装置１００それぞれと別体で構成される場合を示したが、画像供給装置２００およびはんだ付け検査装置１００の少なくとも１つまたは全部と一体で構成されてもよい。

画像供給装置２００は、部品５１の良品画像や不良品画像を供給する装置である。画像供給装置２００は、例えば、ユーザが所持するカメラや、携帯端末等の撮像機能を有した端末装置である。

なお、画像供給装置２００は、例えば、様々なユーザの端末装置から供給された画像を保存したサーバ装置であってもよく、あるいは、検査で撮像した画像を供給するはんだ付け検査装置１００であってもよい。

つづいて、実施形態に係る画像生成装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１、抽出部２２および生成部２３を備える。記憶部３は、モデル情報３１を記憶する。

ここで、画像生成装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、抽出部２２および生成部２３として機能する。

また、制御部２の画像取得部２１、抽出部２２および生成部２３の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやフラッシュメモリに対応する。ＲＡＭやフラッシュメモリは、モデル情報３１や、各種プログラムの情報等を記憶することができる。なお、画像生成装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

ここで、記憶部３に記憶されたモデル情報３１は、部品５１の不良品画像を生成するための生成モデルの情報であり、後述する生成部２３によって用いられる。図３は、モデル情報３１の一例を示す図である。

図３に示すように、モデル情報３１は、「モデルＩＤ」、「部品種別」および「生成モデル」といった項目を含む。「モデルＩＤ」は、生成モデルを識別する識別情報である。「部品種別」は、生成モデルにより不良品画像が生成される部品５１の種別を示す情報である。「生成モデル」は、例えば、学習により生成された生成モデルの情報である。

図３に示すように、モデル情報３１には、部品種別毎の生成モデルの情報が含まれる。なお、図３に示すモデル情報３１は一例であって、例えば、部品サイズ毎や、はんだ付けの接着態様毎の生成モデルの情報が含まれてもよい。

次に、制御部２の各機能（画像取得部２１、抽出部２２および生成部２３）について説明する。

画像取得部２１は、各種の画像の情報を取得する。例えば、画像取得部２１は、部品５１毎の良品画像や不良品画像の情報を取得する。なお、画像取得部２１が取得する画像は、実際にはんだ付けされた部品５１の画像であってもよく、生成モデルにより生成された部品５１の画像であってもよい。つまり、画像取得部２１が取得する画像は、実物の部品５１が存在する画像であってもよく、実物の部品５１が存在しない疑似的な画像であってもよい。

抽出部２２は、部品５１の画像に基づいて各種情報を抽出する。具体的には、抽出部２２は、第１抽出部２２１と、第２抽出部２２２とを備える。

第１抽出部２２１は、画像取得部２１によって取得された画像のうち、はんだ付けの検査対象となる対象部品の良品画像に基づいて対象部品のはんだ付けに関する特徴を示す特徴情報を抽出する。

具体的には、第１抽出部２２１は、対象部品の良品画像から、はんだ付けの形状（上面視や側面視）や、大きさ（上面視や側面視）、部品に対する接着位置（例えば、サイドフィレット等）、接着位置のランドにおけるスルーホールの有無等の特徴情報を抽出する。換言すれば、第１抽出部２２１は、はんだ付けが良好である場合のはんだ付けの特徴を抽出する。

第２抽出部２２２は、対象部品とは異なる他部品の不良品画像に基づいてはんだ付けの不良に関する不良情報を抽出する。例えば、第２抽出部２２２は、他部品の良品画像および他部品の不良画像のはんだ付けにおける特徴情報の差異を不良情報として抽出する。

また、第２抽出部２２２は、記憶部３に記憶されたモデル情報３１における他部品の学習済みの生成モデルの情報から不良情報を抽出する。生成モデルから不良情報を抽出する処理については、図４および図５で後述する。

なお、不良情報を抽出する他部品の対象として、例えば、対象部品と同一種別でサイズ違いの他部品を対象とすることが好ましい。つまり、第２抽出部２２２は、対象部品と同じ種別で、部品サイズが異なる他部品の不良情報を抽出する。

換言すれば、第２抽出部２２２は、特徴情報のうち、はんだ付けの大きさのみが対象部品と異なる他部品を不良情報の抽出対象とする。これにより、後段の生成部２３により生成される対象部品の不良品画像の精度を高めることができる。

また、不良情報を抽出する他部品の対象として、例えば、はんだ付けの接着態様が類似する他部品を対象としてもよい。つまり、第２抽出部２２２は、対象部品とはんだ付けの接着態様が類似うる他部品の不良情報を抽出する。

具体的には、接着態様とは、はんだ付けの形状や、接着位置、接着位置におけるランドのスルーホールの有無等である。より具体的には、はんだ付けの形状および接着位置とは、フィレットの形状および接着位置である。

フィレットの形状には、部品と端子との間に形成される傾斜形状や、フィレットの側面視における高さ、フィレットの上面視形状等（例えば、矩形状や、扇状等）である。フィレットの接着位置とは、フィレットが設けられる部品の側面位置や側面の数等である。

このように、第２抽出部２２２は、はんだ付けの接着態様が類似する他部品を不良情報の抽出対象とすることで、不良の接着態様が対象部品と類似した不良情報を抽出できるため、後段の生成部２３により生成される対象部品の不良品画像の精度を高めることができる。

生成部２３は、特徴情報および不良情報に基づいて、対象部品の不良品画像を生成する。例えば、生成部２３は、ＧＡＮ等の生成モデルを用いて対象部品の不良品画像を生成する。ここで、ＧＡＮの生成モデルを用いた対象部品の不良品画像の生成処理について、図４および図５を用いて説明する。

図４および図５は、対象部品の不良品画像を生成するための処理を示す図である。

図４では、対象部品の不良品画像を生成するためのＧＡＮの生成モデルを示している。すなわち、対象部品の生成モデルは、生成器および識別器を含む。

図４に示すように、対象部品の生成モデルでは、まず、生成器が、例えば、ニューラルネットワークであり、多次元の潜在変数であるノイズを入力とし、出力として、対象部品の不良品画像（偽物）を生成するとともに、生成した偽物の不良品画像を識別器へ入力する。

そして、識別器は、予め準備しておいた本物の不良品画像と、偽物の不良品画像とを比較し、比較結果として、偽物の不良品画像が偽物であるか本物であるかを識別する。

例えば、識別器において、偽物と識別された場合、本物の不良品画像と、偽物の不良品画像との差分に基づいて生成器の重みパラメータを更新する。つまり、ＧＡＮにおける生成モデルでは、重みパラメータを更新することで、識別器において本物と識別されるような偽物の不良品画像を生成する。

そして、上述した通り、対象部品の不良品が足りない場合、識別器に入力する本物の不良品画像が不足するため、生成器において生成される偽物の不良品画像の精度を高めることができない。

そこで、生成部２３は、上述した他部品の不良品画像から抽出した不良情報および対象部品の良品画像から抽出した特徴情報に基づいて、疑似的な本物の不良品画像（疑似本物）を生成する。

具体的には、生成部２３は、他部品の生成モデルの情報に基づいた転移学習を用いる。図４に示すように、まず、第２抽出部２２２は、他部品の生成モデル（生成器）の情報を不良情報として抽出する。

つづいて、生成部２３は、対象部品の良品画像から抽出した特徴情報と、他部品の生成モデルの情報とに基づいて、対象部品の不良品画像（疑似本物）を生成する生成モデル（新生成器）を学習する。

なお、新生成器を生成するための機械学習のアルゴリズムは、例えば、ニューラルネットワーク等の既知のアルゴリズムを用いることができる。

すなわち、生成部２３は、対象部品の特徴情報に基づいて、他部品の不良品画像を生成する生成モデルを、対象部品の不良品画像を生成する生成モデルとなるように学習する。

より具体的には、生成部２３は、転移学習により、対象部品の不良品画像を出力する出力層を有する新生成器を学習する。かかる点について、図５を用いて説明する。

図５に示すように、第２抽出部２２２は、まず、他部品の生成モデルにおける生成器の最終層、すなわち、他部品の不良品画像を出力する出力層以外の各層の重みパラメータをそのまま不良情報として抽出する。

そして、生成部２３は、抽出した不良情報である重みパラメータを、新生成器における前段部分の重みパラメータとしてそのまま流用する。つづいて、生成部２３は、不良情報の重みパラメータの後段側、すなわち、新生成器の出力層を、対象部品の特徴情報に基づいて学習する。

なお、図５では、他部品の生成モデルの出力層が１層であるのに対し、新生成器の出力層が２層として構成されているが、新生成器の出力層の数は、特徴情報に基づく学習結果に依存しており、他部品の生成モデルの出力層と同じ場合もあれば、異なる場合（２層、もしくは３層以上の場合）もある。

このように、転移学習により、既に学習済の他部品の生成器をそのまま流用して、新生成器を生成することで、対象部品の不良品画像を準備することなく、高精度な新生成器を学習することができる。また、既に学習済の他部品の生成器をそのまま流用するため、学習に対するコスト（学習時間も含めたコスト）を抑えることができる。

また、対象部品の不良品画像を生成するＧＡＮの生成器を学習することで、高精度な不良品画像を生成することができる。

なお、図４では、生成部２３は、新生成器で生成した不良品画像（疑似本物）に基づいて対象部品の生成モデルの生成器で生成した不良品画像（偽物）をはんだ付け検査装置１００へ出力する場合を示したが、例えば、新生成器で生成した不良品画像（疑似本物）を直接はんだ付け検査装置１００へ出力してもよい。

次に、図６を用いて、実施形態に係る画像生成装置１が実行する処理の処理手順について説明する。図６は、実施形態に係る画像生成装置１が実行する処理の処理手順を示すフローチャートである。

図６に示すように、まず、画像取得部２１は、対象部品の良品画像を取得する（ステップＳ１０１）。

つづいて、第１抽出部２２１は、画像取得部２１によって取得された対象部品の良品画像に基づいて対象部品のはんだ付けに関する特徴を示す特徴情報を抽出する（ステップＳ１０２）。

つづいて、第２抽出部２２２は、他部品の学習みの生成モデル（生成器）から不良情報を抽出する（ステップＳ１０３）。

つづいて、生成部２３は、特徴情報および不良情報から対象部品の不良品画像を生成する新生成器を学習する（ステップＳ１０４）。

つづいて、生成部２３は、学習した新生成器により疑似的な対象部品の不良品画像を生成する（ステップＳ１０５）。

つづいて、生成部２３は、生成した疑似的な対象部品の不良品画像を識別器へ入力することで、生成モデルに生成器から本物と識別される偽物の対象部品の不良品画像を生成する（ステップＳ１０６）。

つづいて、生成部２３は、生成した偽物の不良品画像をはんだ付け検査装置１００へ供給し（ステップＳ１０７）、処理を終了する。

上述してきたように、実施形態に係る画像生成装置１は、第１抽出部２２１と、第２抽出部２２２と、生成部２３とを備える。第１抽出部２２１は、はんだ付けの検査対象となる対象部品の良品画像に基づいて対象部品のはんだ付けに関する特徴を示す特徴情報を抽出する。第２抽出部２２２は、対象部品とは異なる他部品の不良品画像に基づいてはんだ付けの不良に関する特徴を示す不良情報を抽出する。生成部２３は、特徴情報および不良情報に基づいて、対象部品の不良品画像を生成する。これにより、対象部品の不良品が無くても不良品画像を生成することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像生成装置
２ 制御部
３ 記憶部
２１ 画像取得部
２２ 抽出部
２３ 生成部
３１ モデル情報
１００ はんだ付け検査装置
２００ 画像供給装置
２２１ 第１抽出部
２２２ 第２抽出部
Ｓ はんだ付け検査システム

Claims (6)

1. はんだ付けの検査対象となる対象部品の良品画像に基づいて前記対象部品のはんだ付けに関する特徴を示す特徴情報を抽出する第１抽出部と、
   前記対象部品とは異なる他部品の不良品画像に基づいて前記はんだ付けの不良に関する特徴を示す不良情報を抽出する第２抽出部と、
   前記特徴情報および前記不良情報に基づいて、前記対象部品の不良品画像を生成する生成部と
   を備えることを特徴とする画像生成装置。
2. 前記第２抽出部は、
   前記対象部品と同じ種別で、部品サイズが異なる前記他部品の前記不良情報を抽出すること
   を特徴とする請求項１に記載の画像生成装置。
3. 前記第２抽出部は、
   前記対象部品とはんだ付けの接着態様が類似する前記他部品の前記不良情報を抽出すること
   を特徴とする請求項１または２に記載の画像生成装置。
4. 前記第２抽出部は、
   前記他部品の不良品画像を生成する生成モデルの情報を前記不良情報として抽出し、
   前記生成部は、
   前記特徴情報および前記生成モデルの情報に基づいて、前記対象部品の不良品画像を出力する出力層を有する前記生成モデルを学習すること
   を特徴とする請求項１〜３のいずれか１つに記載の画像生成装置。
5. 前記生成モデルは、生成器および識別器を含むＧＡＮであって、
   前記生成部は、
   前記対象部品の不良品画像を出力する出力層を有する前記生成器を学習すること
   を特徴とする請求項４に記載の画像生成装置。
6. はんだ付けの検査対象となる対象部品の良品画像に基づいて抽出された前記対象部品のはんだ付けに関する特徴を示す特徴情報を取得する第１取得工程と、
   前記対象部品とは異なる他部品の不良品画像に基づいて抽出された前記はんだ付けの不良に関する特徴を示す不良情報を取得する第２取得工程と、
   前記特徴情報および前記不良情報に基づいて、前記対象部品の不良品画像を生成する生成工程と
   を含むことを特徴とする画像生成方法。

Images