JP2021177154A - 外観検査システム - Google Patents

外観検査システム Download PDF

Info

Publication number
JP2021177154A
JP2021177154A JP2020082753A JP2020082753A JP2021177154A JP 2021177154 A JP2021177154 A JP 2021177154A JP 2020082753 A JP2020082753 A JP 2020082753A JP 2020082753 A JP2020082753 A JP 2020082753A JP 2021177154 A JP2021177154 A JP 2021177154A
Authority
JP
Japan
Prior art keywords
machine learning
image
defective
learning model
inspection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020082753A
Other languages
English (en)
Other versions
JP7410402B2 (ja
Inventor
敏郎 黒江
Toshio Kuroe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Priority to JP2020082753A priority Critical patent/JP7410402B2/ja
Priority to PCT/JP2021/002419 priority patent/WO2021225016A1/ja
Priority to BR112022021095A priority patent/BR112022021095A2/pt
Priority to CN202180029817.XA priority patent/CN115427791A/zh
Publication of JP2021177154A publication Critical patent/JP2021177154A/ja
Application granted granted Critical
Publication of JP7410402B2 publication Critical patent/JP7410402B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】外観検査において過判定品の発生に起因する生産性の低下を抑制する。【解決手段】外観検査システム(100)は、一次検査部(10)と、二次検査部(20)とを備える。一次検査部(10)は、対象物を撮像した画像に基づき、機械学習を用いずに不良判定を行う。二次検査部(20)は、一次検査部(10)で不良と判定された対象物の画像に基づき、第1の機械学習モデル(21)を用いて、真の不良品と過判定品とを分別する。【選択図】図1

Description

本開示は、画像による外観検査システムに関するものである。
製造工程においては、様々な対象物に対して外観検査が行われている。外観検査は、過去には、人による目視検査で行われていたが、近年は、自動化が進められている。
自動外観検査では、精緻な光学系で構成されるカメラで対象物を撮像し、コンピュータの画像処理により自動で不良判定を行うことが一般的である。このような自動外観検査システムでは、取得された画像の不良度合いを数値に置き換え、当該数値と、予め設定しておいた閾値とを比較することにより判定が行われる。また、自動外観検査システムでは、表面傷、汚れ、形状、姿勢など、特徴量を画像化できる項目であれば、検査の対象とすることが可能である。
自動外観検査システムにおいては、不良品が出荷されないように、検出精度を高めることが求められる。検出精度は、検査パラメータ、例えば、検査時の照明方法などの撮像条件や、対象物の色や形状のバラツキなどの撮像画像の質に強い影響を受ける。また、検出精度は、不良判定のカットオフ点(閾値)をどこに設定するかに依存して変化する。
特開2006−098365号公報
しかしながら、従来の自動外観検査システムにおいて検出精度を高めると、本来は良品であるものが不良品と判断されてしまう過判定(見すぎ判定)が生じやすくなり、過判定量も増えてしまう。
このように、自動外観検査において検出精度と過判定量とはトレードオフの関係にあるが、過判定量を最小化しつつ検出精度を最大できる検査パラメータや閾値を設定することは、現実的には非常に困難である。
このため量産時には、実際には真の不良数が極めて少ないにもかかわらず、一定量の過判定品の発生を許容することになり、検査の後段で過判定品かどうかを人による目視で再判定するなどしなければならないので、生産性が低下してしまうという問題があった。
本開示の目的は、外観検査において過判定品の発生に起因する生産性の低下を抑制できるようにすることにある。
本開示の第1の態様は、対象物を撮像した画像に基づき、機械学習を用いずに不良判定を行う一次検査部(10)と、前記一次検査部(10)で不良と判定された対象物の画像に基づき、第1の機械学習モデル(21)を用いて、真の不良品と過判定品とを分別する二次検査部(20)とを備えることを特徴とする外観検査システムである。
第1の態様では、一次検査部(10)で不良と判定された対象物の画像に基づき、二次検査部(20)が、第1の機械学習モデル(21)を用いて過判定品かどうかを再判定する。このため、過判定品の発生を抑制できるので、検査の最終段で過判定品かどうかを人力で再検査する工数を削減できるので、生産性の低下を抑制することができる。
本開示の第2の態様は、第1の態様において、前記第1の機械学習モデル(21)に対して、教師データとして良品画像を用いた機械学習が予め行われ、前記二次検査部(20)は、前記不良と判定された対象物の画像から前記第1の機械学習モデル(21)により生成された良品画像と、前記不良と判定された対象物の画像との差分に基づいて、真の不良品と過判定品とを分別することを特徴とする外観検査システムである。
第2の態様では、不良と判定された対象物の画像と、第1の機械学習モデル(21)により生成された良品画像との差分が所定値を超えた場合、真の不良品であると判定することができる。このため、対象物の画像のわずかな変化(位置ずれ等)に過敏にならずに精度良く不良判定を行うことができる。
本開示の第3の態様は、第2の態様において、前記二次検査部(20)は、前記不良と判定された対象物の画像の全体及び/又は特定部分のそれぞれについて、前記第1の機械学習モデル(21)により生成された良品画像との差分を評価することを特徴とする外観検査システムである。
第3の態様では、例えば、部品実装されたプリント基板を対象として、様々な形状の部品を一括して検査する場合に、部品の取付け位置などは、画像の全体(巨視部)について良品画像との差分を評価し、リードのはんだ接合部などは、画像の特定部分(微視部)について良品画像との差分を評価することができる。これにより、巨視部に埋没しやすい微視部についても一括して検査できるので、検出力が向上する。
本開示の第4の態様は、第2又は第3の態様において、少なくとも輪郭を含む線画情報に基づき、第2の機械学習モデル(31)を用いて、前記第1の機械学習モデル(21)の学習用の良品画像を多数生成する学習データ生成部(30)をさらに備えることを特徴とする外観検査システムである。
第4の態様では、第1の機械学習モデル(21)の学習用に、対象物の実画像を多数準備する必要がなくなる。このため、例えば試作前で実物が存在しない状態でも第1の機械学習モデル(21)の学習が可能となるので、試作品の検査品質の向上と試作期間の短縮とが可能になる。
本開示の第5の態様は、第2又は第3の態様において、少なくとも1つの実画像に基づき、第2の機械学習モデル(31)を用いて、前記第1の機械学習モデル(21)の学習用の良品画像を多数生成する学習データ生成部(30)をさらに備えることを特徴とする外観検査システムである。
第5の態様では、第1の機械学習モデル(21)の学習用に、対象物の実画像を多数準備する必要がなくなる。言い換えると、少ない実画像を用いて第1の機械学習モデル(21)の学習が可能となる。
本開示の第6の態様は、第4の態様において、前記第2の機械学習モデル(31)に対して、前記線画情報の部位別に与えられたヒント情報からテクスチャーを生成するように予め機械学習が行われ、前記学習データ生成部(30)は、前記第2の機械学習モデル(31)により生成されたテクスチャーにノイズを付加して学習用の良品画像を多数生成することを特徴とする外観検査システムである。
第6の態様では、線画情報の部位つまり基本的な部品毎にテクスチャーを生成するように、予め第2の機械学習モデル(31)の学習を行っておくことにより、多数の新機種について第1の機械学習モデル(21)の学習用の良品画像を得ることができる。従って、システムの使用開始時点で第1の機械学習モデル(21)の学習を進めておくことができるので、システム利用者にとって利便性及び即応性を向上させることができる。
本開示の第7の態様は、第1〜6の態様のいずれか1つにおいて、前記第1の機械学習モデル(21)は、検査項目に応じて機械学習が行われた複数の学習モデルから構成され、前記二次検査部(20)は、前記複数の学習モデルを階層的に組み合わせて用いることを特徴とする外観検査システムである。
第7の態様では、検査項目に応じて機械学習が行われた複数の学習モデルを階層的に組み合わせて用いることにより、真の不良品と過判定品との分別を精度良く効率的に行うことができる。
本開示の第8の態様は、第1〜7の態様のいずれか1つにおいて、前記第1の機械学習モデル(21)は、対象物のカテゴリー毎に予め複数用意され、前記一次検査部(10)は、対象物を撮像した画像から、当該対象物のカテゴリーを判定し、前記二次検査部(20)は、前記一次検査部(10)で判定された対象物のカテゴリーに対応する前記第1の機械学習モデル(21)を用いることを特徴とする外観検査システムである。
第8の態様では、検査される対象物が様々な形状を有する場合に、類似形状を持つ対象物をグルーピングしたカテゴリー毎に第1の機械学習モデル(21)の学習を最適化することができる。従って、真の不良品と過判定品との分別を高精度で行うことができる。
図1は、実施形態に係る外観検査システムの全体構成図である。 図2は、プリント基板に実装された電子部品リードのはんだ接合部の良品、不良品を示す図である。 図3は、実施形態に係る外観検査システムにより、対象物の画像の全体及び特定部分のそれぞれについて良品画像との差分を評価する様子を示す図である。 図4は、実施形態に係る外観検査システムによる外観検査のフロー図である。 図5は、変形例1に係る外観検査システムの全体構成図である。 図6は、変形例1に係る外観検査システムの学習データ生成部により、線画情報に基づき良品画像を複数生成する様子を示す図である。 図7は、変形例1に係る外観検査システムの学習データ生成部により、実画像に基づき良品画像を複数生成する様子を示す図である。 図8は、変形例1に係る外観検査システムの学習データ生成部による良品画像生成のフロー図である。 図9は、変形例2に係る外観検査システムの全体構成図である。 図10は、変形例3に係る外観検査システムの全体構成図である。 図11は、変形例3に係る外観検査システムにおいてカテゴリー毎に学習モデルの機械学習を行う様子を示す図である。
(実施形態の概要)
以下に説明する実施形態に係る外観検査システムでは、ニューラルネットワーク等の学習モデルを判定そのものに用いない従前の自動外観検査装置(一次検査部)において不良と判定された対象物の画像に基づいて、学習モデルを用いた二次検査部が、真の不良品と過判定品とを分別する二次判定をリアルアイムに行う。
これにより、従前の自動外観検査装置が得意とする検査項目の検出力(高い検出精度)を生かしつつ、過判定品の判定分離を効率良く行うことができる。
例えば、検査対象部位の想定される良品画像を学習モデルにより生成し、当該良品画像と、一次検査部で取得された対象物の画像との差分を数値化することにより、過判定品の再判定を行ってもよい。
また、検査項目や対象物のカテゴリーに応じて学習モデルの機械学習を最適化しておき、これらの学習モデルを階層的に組み合わせて又は選択的に用いてもよい。これにより、様々な形状の対象物を前提として、複数の検査項目について一括で検査する場合でも、過判定品の再判定を精度良く行うことが可能となる。
さらに、対象物の不良モードが2種類以上あり、各不良モードの特徴量が、画像の全体(又は大部分)である巨視部と、画像の一部分である微視部とに分かれて出現する場合、巨視部と微視部とを分離して別々に判定を行ってもよい。これにより、微視部の特徴量が、巨視部の特徴量に埋もれて検出できなくなる事態を回避することができる。
また、過判定品の再判定を行う学習モデルとは別の学習モデルを用いて、対象物の線画情報(例えば、設計図面情報)や少数の実画像から、必要量の学習用画像を生成してもよい。これにより、新機種導入などで検査対象が変更される場合にも、相当量の学習用データを事前に準備することが可能となるため、新たな対象物に対応可能な外観検査システムを早期に完成させることができる。また、材料が異なる部位毎に特有のテクスチャーが存在する場合、線画情報の部位別に与えられたヒント(ラベル)情報から別の学習モデルを用いてテクスチャーを生成してもよい。これにより、実画像に近い学習用画像を生成することができる。
(実施形態)
実施形態について図面を参照しながら説明する。図1に示すように、本実施形態に係る外観検査システム(100)は、対象物(1)を撮像した画像に基づき、機械学習を用いずに不良判定を行う一次検査部(10)と、一次検査部(10)で不良と判定された対象物の画像に基づき、第1の機械学習モデル(21)を用いて、真の不良品と過判定品とを分別する二次検査部(20)とを備える。
一次検査部(10)としては、例えば、不良判定自体には機械学習モデルを用いない一般的な光学的外観検査装置を利用できる。一次検査部(10)は、例えばカメラ等の撮像部(11)を有する。一次検査部(10)は、撮像した画像等のデータを記憶するために、例えばハードディスク等の記憶部を有していてもよい。尚、一次検査部(10)は、不良判定自体には学習モデルを用いないが、検査閾値や検査パラメータを決定する際には機械学習を利用していてもよい。
一次検査部(10)及び二次検査部(20)はそれぞれ、不良判定を行うための処理部を有する。各処理部は、例えば、プロセッサと、プロセッサを動作させるためのプログラムや情報を記憶するメモリとから構成される。一次検査部(10)と二次検査部(20)とは、相互に画像等のデータの授受が可能に構成される。二次検査部(20)は、一次検査部(10)から送信された画像等のデータを記憶するために、例えばハードディスク等の記憶部を有していてもよい。また、外観検査システム(100)において一次検査部(10)及び二次検査部(20)の各記憶部を共通化してもよい。
二次検査部(20)で用いる第1の機械学習モデル(21)は、例えば、多層パーセプトロンのようなニューラルネットワーク、サポートベクトルマシン又は判別関数若しくはベイジアンネットワーク等であってもよいが、特に限定されるものではない。
第1の機械学習モデル(21)がニューラルネットワークとして構成される場合、第1の機械学習モデル(21)は、例えば、入力層と中間層と出力層との3層を有する。各層には、それぞれ1個以上のニューロンが含まれ、入力層の各ニューロンは、中間層の各ニューロンとそれぞれ接続され、中間層の各ニューロンは、出力層のニューロンとそれぞれ接続される。入力層の各ニューロンには、一次検査部(10)で不良と判定された対象物の画像が入力される。
第1の機械学習モデル(21)を用いて二次検査部(20)が過判定品の再判定を実施する前に、二次検査部(20)又は別の情報処理装置は、第1の機械学習モデル(21)の機械学習、つまり、モデルデータの算出、例えばニューラルネットワークの設定を示すモデルデータの算出を行う。モデルデータは、例えば、ニューラルネットワークにおける層の数、各層に含まれるニューロン(ノード)の数、及び、ニューロン間の結合係数(結合荷重)を含む。二次検査部(20)は、モデルデータを用いて第1の機械学習モデル(21)を設定し、設定後の第1の機械学習モデル(21)(つまり学習済みモデル)を用いて過判定品の再判定を実施する。
第1の機械学習モデル(21)がニューラルネットワークとして構成される場合、ニューラルネットワークの機械学習においては、まず、入力層に入力情報の教師データを入力し、入力層から出力層へデータを伝搬させ、出力層から出力情報を得る。次に、得られた出力情報と、出力情報の教師データとを用いて、入力層と出力層との間の結合係数、及び、中間層のニューロンに割り付けられるバイアスを算出する。例えば、出力情報と教師データとの差分が小さくなるように、結合係数及びバイアスを調整する。
以上のような機械学習の結果として、調整後の結合係数及びバイアスを含むモデルデータが生成される。モデルデータは、例えば、ニューラルネットワークにおける層の数、各層に属するニューロンの数、結合係数及びバイアスを含む。生成されたモデルデータは、例えば、二次検査部(20)の記憶部に記憶される。二次検査部(20)は、過判定品の再判定を行う前に、記憶されたモデルデータに基づいて、ニューラルネットワークを設定する。すなわち、二次検査部(20)は、第1の機械学習モデル(21)を構成するニューラルネットワークにおける層の数、ニューロンの数、結合係数及びバイアスを、モデルデータに指定された値に設定する。このようにして、二次検査部(20)は、モデルデータを用いた第1の機械学習モデル(21)によって、過判定品の再判定を行う。
本実施形態においては、第1の機械学習モデル(21)に対して、教師データとして良品画像を用いた機械学習を予め行っておき、一次検査部(10)で不良と判定された対象物の画像に基づいて、第1の機械学習モデル(21)が、当該画像に対応する良品画像を生成できるようにしてもよい。この場合、第1の機械学習モデル(21)として、例えば、敵対的生成ネットワーク(GAN)を用いてもよい。真の不良品の場合、その実画像と、第1の機械学習モデル(21)により生成される良品画像との差分量を計測し、これを利用して、任意の閾値を設定することにより、二次検査部(20)は、真の不良品と過判定品とを分別することができる。
以下、多数の電子部品がはんだ付け等で実装されたプリント基板を対象物(1)として、本実施形態の外観検査システム(100)による不良判定を行う場合を例として説明する。具体的には、大きさが数百〜数千μmで形状の異なる複数(基板1枚当たり数百個以上)の電子部品の実装状態を基板1枚当たり数十秒かけて検査する。ここで、検査精度と過判定量とは、トレードオフの関係にあるが、本実施形態のように学習モデルを用いて過判定品の再判定(二次検査)を行うことにより、検査精度を維持しつつ過判定量を効果的に減らすことが可能である。
図2は、プリント基板に実装された電子部品におけるリードのはんだ接合部の良品、不良品を示す図である。図2に示すように、プリント基板(2)上の電極(3)と電子部品のリード(4)とをはんだ(5)により接合する場合、良品状態(a)、(b)に対して、様々な不良品状態(c)〜(l)が起こりうる。例えば、不良品状態(g)では、はんだ(5)にピンホール(ブローホール)(6)が生じ、不良品状態(h)では、はんだ(5)に異物(7)が混入し、不良品状態(k)では、はんだ(5)に他のリード(8)が接合され、不良品状態(l)では、はんだボール(9)が生じている。
プリント基板を撮像した画像の全体又は大部分(以下、「巨視部」ということもある)に対して、図2に示すような、リードのはんだ接合部は、当該画像の中の特定部分(以下、「微視部」ということもある)を占める。ところが、部品の位置ずれのような「巨視部」に出現する特徴量と、リードのはんだ接合不良のような「微視部」に出現する特徴量とが同時に出現する場合、微視部の特徴量が、巨視部の特徴量に埋もれて検出できなくなるおそれがある。
そこで、本実施形態では、図3に示すように、一次検査部(10)で不良と判定された対象物(1)の画像の巨視部及び微視部のそれぞれについて、第1の機械学習モデル(21)により生成された良品画像との差分(差分画像)を評価する。図3では、巨視部及び微視部のそれぞれについて、差分量(異常度)に基づいて多数の対象物(1)の不良(NG)判定を行った結果(頻度)も合わせて示している。このように、巨視部及び微視部に分けて不良判定を行うことにより、巨視部の異常度に埋もれてしまいがちな微視部の異常度を評価することが可能になる。
尚、図3に示す例では、一次検査部(10)で不良と判定された対象物(1)の画像の巨視部及び微視部の両方について、良品画像との差分を評価したが、これに代えて、巨視部又は微視部の一方について、良品画像との差分を評価してもよい。
また、対象物(1)の画像における各微視部の位置認識を、別途準備した機械学習モデルに行わせてもよい。これは、個々の電子部品の寸法精度が良くても、同一部品の基板上での配置が相違すれば、背景となる回路パターンや基板表面の印刷文字なども相違するため、検査範囲となる微視部を人為的に設定することは困難であるためである。同時に、別途準備した学習モデルで位置認識ができないということは、そのこと自体が部品の位置ずれなどの異常を検出していることになる。これらにより、第1の機械学習モデル(21)を用いて微視部の自動認識を行えば、検査精度を向上させることができる。
図4は、本実施形態の外観検査システム(100)による外観検査のフロー図である。
まず、ステップS1において、対象物(1)の全てのコンポーネント(検査対象となる部品、部位)について不良判定が終了しているかどうかを判断する。全てのコンポーネントについて不良判定が終了している場合は、処理を終了する。
不良判定が終了していないコンポーネントが有る場合、ステップS2において、判定対象となるコンポーネントについて一次検査部(10)(例えば光学的外観検査装置)による不良判定を行う。当該コンポーネントに不良が無ければ、ステップS9において、良品判定を行い、ステップS1に戻る。当該コンポーネントに不良が有る場合、ステップS3において、二次検査部(20)は、一次検査部(10)から、当該コンポーネントを含む対象物(1)の画像を取得する。尚、一次検査部(10)が記憶部を有する場合、二次検査部(20)は、一次検査部(20)からコンポーネント毎に画像を取得するのではなく、一次検査部(20)から全てのコンポーネントについて一括して画像を取得してもよい。
対象物(1)の画像を取得した二次検査部(20)は、ステップS4において、当該コンポーネントに対応する第1の機械学習モデル(21)の選択(切替え)を行ってもよい。この第1の機械学習モデル(21)の選択については、後記の変形例3で詳述する。
次に、二次検査部(20)は、ステップS5において、第1の機械学習モデル(21)を用いて、対象物(1)の画像の巨視部に当該コンポーネントの不良(例えば、位置ずれ)が有るかどうか、前述の良品画像との差分に基づき評価し、不良が有れば、ステップS8において、不良品判定を行い、ステップS1に戻る。ステップS5で不良が無ければ、二次検査部(20)は、ステップS6において、第1の機械学習モデル(21)を用いて、対象物(1)の画像における当該コンポーネントに関連する微視部(例えば、はんだ接合部)の位置認識を行う。
ステップS6で微視部の位置認識を行えなかった場合、ステップS8において、不良品判定を行い、ステップS1に戻る。ステップS6で微視部の位置認識を行えた場合、二次検査部(20)は、ステップS7において、第1の機械学習モデル(21)を用いて、当該微視部に当該コンポーネントの不良(例えば、はんだ接合不良)が有るかどうか、前述の良品画像との差分に基づき評価し、不良が有れば、ステップS8において、不良品判定を行い、ステップS1に戻る。ステップS7で不良が無ければ、二次検査部(20)は、ステップS9において、良品判定を行い、ステップS1に戻る。
本実施形態では、以上に説明したステップS2〜S9の処理が、ステップS1で全コンポーネントについて不良判定が終了していると判断されるまで、各コンポーネントに対して繰り返し行われる。
−実施形態の効果−
本実施形態によると、一次検査部(10)で不良と判定された対象物(1)の画像に基づき、二次検査部(20)が、第1の機械学習モデル(21)を用いて過判定品かどうかを再判定する。このため、過判定品の発生を抑制できるので、検査の最終段で過判定品かどうかを再検査する工数を削減できるので、過判定品の発生に起因する生産性の低下を抑制することができ、過判定の量が多い場合は特に効果的である。
また、再検査は、目視による作業となることが多いが、本実施形態では、これらの作業を担う外観検査要員が単純作業の繰り返しに起因して疲労したり、見過ごしたり、思い込みをしたりすることを抑制できるので、検出力の低下を不断に防ぐこともできる。
また、本実施形態において、第1の機械学習モデル(21)に対して、教師データとして良品画像を用いた機械学習を予め行っておき、一次検査部(10)で不良と判定された対象物(1)の画像から、第1の機械学習モデル(21)によって良品画像を生成し、当該良品画像と、不良と判定された対象物(1)の画像との差分に基づいて、真の不良品と過判定品とを分別してもよい。このようにすると、不良と判定された対象物(1)の画像と、対応する良品画像との差分が所定値を超えた場合、真の不良品であると判定することができる。このため、対象物(1)の画像のわずかな変化(位置ずれ等)に過敏にならずに精度良く不良判定を行うことができる。
また、本実施形態において、二次検査部(20)は、不良と判定された対象物(1)の画像の巨視部(全体又は大部分)及び/又は微視部(特定部分)のそれぞれについて、第1の機械学習モデル(21)により生成された良品画像との差分を評価してもよい。このようにすると、例えば、部品実装されたプリント基板を対象として、様々な形状の部品を一括して検査する場合に、部品の取付け位置などは、画像の巨視部について良品画像との差分を評価し、リードのはんだ接合部などは、画像の微視部について良品画像との差分を評価することができる。これにより、巨視部に埋没しやすい微視部についても一括して検査できるので、検出力が向上する。
(変形例1)
変形例1について図面を参照しながら説明する。図5に示すように、本変形例に係る外観検査システム(100)が、図1に示す前記実施形態と異なっている点は、第2の機械学習モデル(31)を用いて、第1の機械学習モデル(21)の学習用の良品画像を多数生成する学習データ生成部(30)を備えていることである。尚、図5においては、図1に示す前記実施形態と同じ構成要素には同じ符号を付す。
第2の機械学習モデル(31)は、例えば図6に示すように、少なくとも輪郭を含む線画情報(例えば、設計図面情報)に基づき、良品画像を生成してもよいし、或いは、例えば図7に示すように、少なくとも1つの実画像に基づき、良品画像を生成してもよい。
ところで、電子部品は工業製品であるため、電子部品の寸法、形状、又は組付け先の基板表面は基本的に性状が部品種類ごとに一定であり、部位毎の材質によってテクスチャー(色相、明度、質感など)が定まりやすい。そこで、本変形例において第2の機械学習モデル(31)が線画情報に基づき良品画像を生成する場合、第2の機械学習モデル(31)に対して、線画情報の部位別に与えられたヒント(ラベル)情報からテクスチャーを生成するように予め機械学習を行ってもよい。このようにすると、第2の機械学習モデル(31)により生成されたテクスチャーに所定量に調整されたノイズを付加することにより、実画像に近い良品画像を多数生成することができる。
図8は、本変形例の外観検査システム(100)の学習データ生成部(30)による良品画像生成のフロー図の一例である。尚、図8においては、フロー図の各ステップと対応するように、「線画」、「ラベル」、「テクスチャー」、「生成画像」を模式的に示している。
まず、ステップS11において、学習データ生成部(30)は、少なくとも輪郭を含む線画情報(元画像)を取得する。
次に、ステップS12において、学習データ生成部(30)に対して、線画情報の部位別にラベル情報を与え、第2の機械学習モデル(31)は、当該ラベル情報から部位別にテクスチャーを生成する。予めテクスチャー生成を行っておき、得られたテクスチャーをデータベースD1に記憶しておいてもよい。
次に、ステップS13において、学習データ生成部(30)は、データベースD1に記憶された部位別のテクスチャーを読み出し、読み出したテクスチャーにノイズを付加する。
次に、ステップS14において、学習データ生成部(30)は、ノイズを付加した部位別のテクスチャーを組み合わせて良品画像を多数生成し、ステップS15において、生成した良品画像を出力する。出力された良品画像は、例えば、二次検査部(20)又は別の情報処理装置の記憶部に記憶され、これらの良品画像は、前記実施形態で説明した第1の機械学習モデル(21)の機械学習で教師データとして用いられる。
−変形例1の効果−
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。
本変形例によると、学習データ生成部(30)において、少なくとも輪郭を含む線画情報に基づき、第2の機械学習モデル(31)を用いて、第1の機械学習モデル(21)の学習用の良品画像を多数生成する。このため、第1の機械学習モデル(21)の学習用に、対象物(1)の実画像を多数準備する必要がなくなる。従って、例えば試作前で実物が存在しない状態でも第1の機械学習モデル(21)の学習が可能となるので、例えば実物数の少ない試作品若しくは量産初期の段階での検査品質の向上と、学習完了までの期間の短縮とが可能になる。
また、本変形例によると、学習データ生成部(30)において、少なくとも1つの実画像に基づき、第2の機械学習モデル(31)を用いて、第1の機械学習モデル(21)の学習用の良品画像を多数生成する。このため、第1の機械学習モデル(21)の学習用に、対象物の実画像を多数準備する必要がなくなる。言い換えると、少ない実画像を用いて第1の機械学習モデル(21)の学習が可能となる。
また、本変形例によると、線画情報の部位(つまり基本的な部品)別に与えられたヒント情報からテクスチャーを生成するように、予め第2の機械学習モデル(31)の学習を行っておくことにより、多数の新機種について第1の機械学習モデル(21)の学習用の良品画像を得ることができる。従って、システムの使用開始時点で第1の機械学習モデル(21)の学習を進めておくことができるので、最終のシステム利用者に対して利便性及び即応性を使用前から保証することができる。
一方、学習データ生成部(30)を設けないと、検査対象物が新規である場合や、実物が存在しない場合、第1の機械学習モデル(21)の教師データとなる画像を準備できなかったり、或いは、限られた数量の学習用データしか準備できない。その結果、新機種などで新たに適用される部品に対応できる第1の機械学習モデル(21)の学習を事前に行うことができなかったり、当該学習が不十分になるので、過判定品の再判定精度が低下してしまう。
それに対して、前述のように、本変形例では、寸法、形状、規格などが明確な電子部品の線画情報や少ない実画像から複数の教師用画像を生成することが可能であるため、相当量の実物を入手する以前から、第1の機械学習モデル(21)の学習作業を開始することができる。言い換えると、基本的な部品等について第1の機械学習モデル(21)に対して予め学習を行っておくことにより、準備リードタイムに対するユーザーの不安を解消することが可能である。
また、工業製品である個々の電子部品の寸法精度は良くても、部品のわずかな位置ずれによって、例えば、溶融金属であるはんだの形状には様々な様態が出現するところ、このようなゆらぎ量に対しても、本変形例の良品画像を用いた学習が行われた第1の機械学習モデル(21)によって、柔軟に不良判定を行うことが可能である。
(変形例2)
変形例2について図面を参照しながら説明する。図9に示すように、本変形例に係る外観検査システム(100)が、図1に示す前記実施形態と異なっている点は、第1の機械学習モデル(21)は、検査項目(例えば、巨視部、微視部)に応じて機械学習が行われた複数の学習モデルから構成され、二次検査部(20)は、複数の学習モデルを階層的に組み合わせて用いることである。尚、図9においては、図1に示す前記実施形態と同じ構成要素には同じ符号を付す。
本変形例の外観検査システム(100)では、図9に示すように、二次検査部(20)は、一次検査部(10)で不良と判定された対象物(1)の画像(15)を受け取ると、検査項目1〜Nまで順次、各項目について最適化された学習モデルを用いて不良判定を行う。全ての項目について不良が無かった場合のみ「良品」の判定結果(25)を出力する。
−変形例2の効果−
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。すなわち、検査項目に応じて最適に機械学習が行われた複数の学習モデルを階層的に組み合わせて用いることにより、真の不良品と過判定品との分別を精度良く効率的に行うことができる。また、ある項目で不良があった場合は、次の項目の不良判定を行うことをせず、「不良(NG)」を確定して検査を効率よく完了させることもできる。逆に、対象に応じて1つ又は複数の検査項目を任意に選択できるようにプログラミングしておいて、希望の結果情報を集めるようにすることも可能である。
(変形例3)
変形例3について図面を参照しながら説明する。図10に示すように、本変形例に係る外観検査システム(100)が、図1に示す前記実施形態と異なっている点は、以下の通りである。すなわち、第1の機械学習モデル(21)は、類似形状を持つ対象物をグルーピングしたカテゴリー毎に予め複数用意され、一次検査部(10)は、対象物(1)を撮像した画像から、当該対象物(1)のカテゴリーを判定し、二次検査部(20)は、一次検査部(10)で判定された対象物(1)のカテゴリーに対応する第1の機械学習モデル(21)を用いる。尚、図10においては、図1に示す前記実施形態と同じ構成要素には同じ符号を付す。
本変形例の外観検査システム(100)では、図10に示すように、二次検査部(20)は、一次検査部(10)で不良と判定された対象物(1)の画像(15)、及び、当該対象物(1)のカテゴリー情報(16)を受け取ると、選択部(22)により、カテゴリー情報(16)に対応する学習モデル(判定モデル)の選択を行い、選択された判定モデルを用いて不良判定を行い、判定結果(25)を出力する。
本変形例では、図10に示すように、コンポーネントグループ1〜NまでのN個のカテゴリーのそれぞれについて、判定モデル1〜Nが用意されている。また、図11に示すように、判定モデル1〜Nのそれぞれは、カテゴリー毎に準備された学習用データ(画像データセット)を用いて予め学習を行うことにより生成される。
−変形例3の効果−
以上に説明した本変形例では、前記実施形態と同様の効果に加えて、次のような効果を得ることができる。すなわち、検査される対象物(1)が様々な形状を有する場合に、類似形状を持つ対象物をグルーピングしたカテゴリー毎に第1の機械学習モデル(21)の学習を最適化することができる。従って、真の不良品と過判定品との分別を高精度で行うことができる。
《その他の実施形態》
前記実施形態(変形例を含む。以下同じ。)では、多数の電子部品がはんだ付け等で実装されたプリント基板を対象物(1)とした場合を例示したが、対象物(1)が特に限定されないことは言うまでもない。例えば、生鮮野菜を対象物(1)とする出荷検査に、前記実施形態の外観検査システム(100)を用いてもよい。生鮮野菜の出荷検査では、鮮度を表す葉の色合い等の野菜全体に現れる特徴と、生育期間を示す切り株の径等の特定部位に現れる特徴の両方を検査したい場合があるが、前記実施形態の外観検査システム(100)を用いることにより、野菜全体に現れる特徴と特定部位に現れる特徴とをそれぞれ巨視部と微視部とに分けて、精度良く効率的に検査することができる。
以上、実施形態及び変形例を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。また、以上の実施形態及び変形例は、本開示の対象の機能を損なわない限り、適宜組み合わせたり、置換したりしてもよい。
以上説明したように、本開示は、外観検査システムについて有用である。
10 一次検査部
20 二次検査部
21 第1の機械学習モデル
30 学習データ生成部
31 第2の機械学習モデル
100 外観検査システム

Claims (8)

  1. 対象物を撮像した画像に基づき、機械学習を用いずに不良判定を行う一次検査部(10)と、
    前記一次検査部(10)で不良と判定された対象物の画像に基づき、第1の機械学習モデル(21)を用いて、真の不良品と過判定品とを分別する二次検査部(20)とを備える
    ことを特徴とする外観検査システム。
  2. 請求項1において、
    前記第1の機械学習モデル(21)に対して、教師データとして良品画像を用いた機械学習が予め行われ、
    前記二次検査部(20)は、前記不良と判定された対象物の画像から前記第1の機械学習モデル(21)により生成された良品画像と、前記不良と判定された対象物の画像との差分に基づいて、真の不良品と過判定品とを分別する
    ことを特徴とする外観検査システム。
  3. 請求項2において、
    前記二次検査部(20)は、前記不良と判定された対象物の画像の全体及び/又は特定部分のそれぞれについて、前記第1の機械学習モデル(21)により生成された良品画像との差分を評価する
    ことを特徴とする外観検査システム。
  4. 請求項2又は3において、
    少なくとも輪郭を含む線画情報に基づき、第2の機械学習モデル(31)を用いて、前記第1の機械学習モデル(21)の学習用の良品画像を多数生成する学習データ生成部(30)をさらに備える
    ことを特徴とする外観検査システム。
  5. 請求項2又は3において、
    少なくとも1つの実画像に基づき、第2の機械学習モデル(31)を用いて、前記第1の機械学習モデル(21)の学習用の良品画像を多数生成する学習データ生成部(30)をさらに備える
    ことを特徴とする外観検査システム。
  6. 請求項4において、
    前記第2の機械学習モデル(31)に対して、前記線画情報の部位別に与えられたヒント情報からテクスチャーを生成するように予め機械学習が行われ、
    前記学習データ生成部(30)は、前記第2の機械学習モデル(31)により生成されたテクスチャーにノイズを付加して学習用の良品画像を多数生成する
    ことを特徴とする外観検査システム。
  7. 請求項1〜6のいずれか1項において、
    前記第1の機械学習モデル(21)は、検査項目に応じて機械学習が行われた複数の学習モデルから構成され、
    前記二次検査部(20)は、前記複数の学習モデルを階層的に組み合わせて用いる
    ことを特徴とする外観検査システム。
  8. 請求項1〜7のいずれか1項において、
    前記第1の機械学習モデル(21)は、対象物のカテゴリー毎に予め複数用意され、
    前記一次検査部(10)は、対象物を撮像した画像から、当該対象物のカテゴリーを判定し、
    前記二次検査部(20)は、前記一次検査部(10)で判定された対象物のカテゴリーに対応する前記第1の機械学習モデル(21)を用いる
    ことを特徴とする外観検査システム。
JP2020082753A 2020-05-08 2020-05-08 外観検査システム Active JP7410402B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020082753A JP7410402B2 (ja) 2020-05-08 2020-05-08 外観検査システム
PCT/JP2021/002419 WO2021225016A1 (ja) 2020-05-08 2021-01-25 外観検査システム
BR112022021095A BR112022021095A2 (pt) 2020-05-08 2021-01-25 Sistema de inspeção de aparência
CN202180029817.XA CN115427791A (zh) 2020-05-08 2021-01-25 外观检查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020082753A JP7410402B2 (ja) 2020-05-08 2020-05-08 外観検査システム

Publications (2)

Publication Number Publication Date
JP2021177154A true JP2021177154A (ja) 2021-11-11
JP7410402B2 JP7410402B2 (ja) 2024-01-10

Family

ID=78409411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020082753A Active JP7410402B2 (ja) 2020-05-08 2020-05-08 外観検査システム

Country Status (4)

Country Link
JP (1) JP7410402B2 (ja)
CN (1) CN115427791A (ja)
BR (1) BR112022021095A2 (ja)
WO (1) WO2021225016A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7270314B1 (ja) 2022-11-07 2023-05-10 タクトピクセル株式会社 検査方法、検査システム、ニューラルネットワーク
WO2023233489A1 (ja) * 2022-05-30 2023-12-07 日本電信電話株式会社 情報処理装置、検出方法及び検出プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08136466A (ja) * 1994-11-10 1996-05-31 Dainippon Screen Mfg Co Ltd 画像パターン検査装置
JP2004294360A (ja) * 2003-03-28 2004-10-21 Hitachi High-Technologies Corp 欠陥分類方法及び装置
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
US20190318471A1 (en) * 2018-04-13 2019-10-17 Taiwan Semiconductor Manufacturing Co., Ltd. Hot spot defect detecting method and hot spot defect detecting system
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Blue Tag株式会社 部品の検査方法及び検査システム
JP6653929B1 (ja) * 2019-07-18 2020-02-26 Jeインターナショナル株式会社 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
JP2020030145A (ja) * 2018-08-23 2020-02-27 東京エレクトロンデバイス株式会社 検査装置及び検査システム
WO2020071234A1 (ja) * 2018-10-05 2020-04-09 日本電産株式会社 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム
CN110992329A (zh) * 2019-11-28 2020-04-10 上海微创医疗器械(集团)有限公司 一种产品表面缺陷检测方法、电子设备及可读存储介质
JP2020187657A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08136466A (ja) * 1994-11-10 1996-05-31 Dainippon Screen Mfg Co Ltd 画像パターン検査装置
JP2004294360A (ja) * 2003-03-28 2004-10-21 Hitachi High-Technologies Corp 欠陥分類方法及び装置
JP2018205123A (ja) * 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
US20190318471A1 (en) * 2018-04-13 2019-10-17 Taiwan Semiconductor Manufacturing Co., Ltd. Hot spot defect detecting method and hot spot defect detecting system
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Blue Tag株式会社 部品の検査方法及び検査システム
JP2020030145A (ja) * 2018-08-23 2020-02-27 東京エレクトロンデバイス株式会社 検査装置及び検査システム
WO2020071234A1 (ja) * 2018-10-05 2020-04-09 日本電産株式会社 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム
JP2020187657A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
JP6653929B1 (ja) * 2019-07-18 2020-02-26 Jeインターナショナル株式会社 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
CN110992329A (zh) * 2019-11-28 2020-04-10 上海微创医疗器械(集团)有限公司 一种产品表面缺陷检测方法、电子设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233489A1 (ja) * 2022-05-30 2023-12-07 日本電信電話株式会社 情報処理装置、検出方法及び検出プログラム
JP7270314B1 (ja) 2022-11-07 2023-05-10 タクトピクセル株式会社 検査方法、検査システム、ニューラルネットワーク
JP2024067674A (ja) * 2022-11-07 2024-05-17 タクトピクセル株式会社 検査方法、検査システム、ニューラルネットワーク

Also Published As

Publication number Publication date
BR112022021095A2 (pt) 2022-12-06
WO2021225016A1 (ja) 2021-11-11
JP7410402B2 (ja) 2024-01-10
CN115427791A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
US11449980B2 (en) System and method for combined automatic and manual inspection
TW201928869A (zh) 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
WO2021225016A1 (ja) 外観検査システム
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
JP2006220648A (ja) 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
TW202113345A (zh) 影像辨識裝置、影像辨識方法及其電腦程式產品
CN115298539A (zh) 外观检查系统和计算机程序
JP2020112456A (ja) 検査装置及び検査方法
CN112308816B (zh) 影像辨识装置、影像辨识方法及其存储介质
JP4814116B2 (ja) 実装基板外観検査方法
US20220067914A1 (en) Method and apparatus for the determination of defects during a surface modification method
Kefer et al. An intelligent robot for flexible quality inspection
Thielen et al. Clustering of Image Data to Enhance Machine Learning Based Quality Control in THT Manufacturing
JP2006078285A (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
TWI758134B (zh) 依據元件識別資料使用圖形特徵二次檢測之系統及方法
JP7345764B2 (ja) 検査システムおよび検査プログラム
Tuncalp et al. Automated Image Processing System Design for Engineering Education: The Case of Automatic Inspection for Printed Circuit Boards
JP4419778B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2023172508A (ja) 学習装置、学習システム、学習方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R151 Written notification of patent or utility model registration

Ref document number: 7410402

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151