JP2019039727A - 画像検査装置、画像検査方法および画像検査プログラム - Google Patents

画像検査装置、画像検査方法および画像検査プログラム Download PDF

Info

Publication number
JP2019039727A
JP2019039727A JP2017160652A JP2017160652A JP2019039727A JP 2019039727 A JP2019039727 A JP 2019039727A JP 2017160652 A JP2017160652 A JP 2017160652A JP 2017160652 A JP2017160652 A JP 2017160652A JP 2019039727 A JP2019039727 A JP 2019039727A
Authority
JP
Japan
Prior art keywords
image
evaluation
defective
determined
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017160652A
Other languages
English (en)
Inventor
大貴 澁谷
Daiki Shibuya
大貴 澁谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017160652A priority Critical patent/JP2019039727A/ja
Priority to US16/057,340 priority patent/US20190066285A1/en
Priority to CN201810946519.7A priority patent/CN109425622A/zh
Publication of JP2019039727A publication Critical patent/JP2019039727A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】 誤判定を抑制することができる画像検査装置、画像検査方法および画像検査プログラムを提供する。【解決手段】 画像検査装置は、第1画像の第1評価パラメータを用いて学習処理された第1評価基準に基づいて、第2画像の良否を判定する第1判定部と、前記第1判定部が前記第2画像を不良と判定した場合に、第2評価パラメータを用いて学習処理された第2評価基準に基づいて前記第2画像の良否を判定する第2判定部と、を備える。【選択図】 図5

Description

本件は、画像検査装置、画像検査方法および画像検査プログラムに関する。
学習用画像を用いて、特定の評価パラメータを基に機械学習装置に機械学習を行わせて、機械学習装置に画像の良否判定を行わせる技術が知られている(例えば、特許文献1参照)。
特開2014−94794号公報
学習済み機械学習装置に判定対象画像を判定させると、良画像は適切に判定される傾向にある。しかしながら、不良画像と判定される画像の中には、本来であれば良画像と判定されるべきものがある。この場合、不良画像と誤判定される良画像が良画像と正しく判定されるために機械学習装置に再学習させると、再学習前には不良画像と正しく判定されていた画像が、良画像と誤判定されるおそれがある。
1つの側面では、本件は、誤判定を抑制することができる画像検査装置、画像検査方法および画像検査プログラムを提供することを目的とする。
1つの態様では、画像検査装置は、第1画像の第1評価パラメータを用いて学習処理された第1評価基準に基づいて、第2画像の良否を判定する第1判定部と、前記第1判定部が前記第2画像を不良と判定した場合に、第2評価パラメータを用いて学習処理された第2評価基準に基づいて前記第2画像の良否を判定する第2判定部と、を備える。
誤判定を抑制することができる。
(a)はパッケージに実装部品が実装される例であり、(b)は実装部品の稜線付近をカメラが撮像することで取得された画像である。 (a)〜(e)は良否判定を例示する図である。 (a)〜(f)は良否判定を例示する図である。 (a)〜(c)は良否判定を例示する図である。 (a)は実施例1に係る機械学習装置のハードウェア構成を説明するためのブロック図であり、(b)は機械学習装置の機能ブロック図である。 第1評価領域の設定について例示する図である。 画像検査装置が画像検査を行う際に実行するフローチャートを例示する図である。 (a)および(b)は教師データを例示する図である。 図7のフローチャートと並行して実行されるフローチャートを例示する図である。 ステップS13の詳細を表すフローチャートを例示する図である。 評価条件について説明するための図である。 閾値との距離を例示する図である。 良品画像と不良品画像との分離度を例示する図である。 画像検査システムを例示する図である。
実施例の説明に先立って、製品組立工程で利用される画像認識について説明する。例えば、製品組立工程における部品実装では、部品の位置、姿勢などが調整される。この場合に、部品の位置、姿勢などを検知するために、画像認識技術が利用されている。例えば、図1(a)は、パッケージ201に実装部品202が実装される例である。図1(a)で例示するように、パッケージ201において、他の部品との位置関係で、実装部品202の位置、姿勢などが調整される。図1(b)は、実装部品202の稜線付近をカメラが撮像することで取得された画像である。このように、実装部品202の稜線を画像認識することで、実装部品202の傾き(姿勢)、他の部品とのギャップ(位置)などを計測することができる。
製品組立工程で用いられる組立設備の上流工程では、少ないサンプル画像で画像認識アルゴリズムを開発することが好ましい。例えば、画像認識アルゴリズム自動生成技術(機械学習)により、画像認識アルゴリズムが開発される。この画像認識アルゴリズムを利用することで、実際の製品組立工程で取得された画像に異常が生じているか、異常が生じていないかを判定することができる。以下、製品に異常が生じている状態の画像を不良品画像と称し、製品に異常が生じていない状態の画像を良品画像と称する。
実際に製品組立工程が稼働して量産が開始されると、画像認識アルゴリズムの機械学習時には想定していなかった特徴を有する画像が取得されることがある。例えば、図2(a)は、画像認識アルゴリズム開発時に取得された良品画像の例である。この画像においては、異物付着や外形変化が生じていない。
一方、図2(b)は、外形変化として、実装部品202にエッジ欠けが生じた状態の画像である。図2(c)は、実装部品202に、異物として接着剤が付着した状態の画像である。図2(d)は、実装部品202に異物として接着剤が過剰に塗布され、実装部品202が認識できない状態の画像である。図2(b)〜図2(d)で例示するような、画像認識アルゴリズムの開発時に想定していなかった特徴を有する画像が取得されると、誤判定が生じるおそれがある。例えば、外形変化が小さい良品画像であっても、不良品画像と誤判定される場合などが生じる。または、外形変化が大きい不良品画像であっても、良品画像と誤判定される場合などが生じる。
図2(e)で例示するように製品組立工程において誤判定が生じて品質不良が発見されなかった場合、後工程に不良品が流れることになる。この場合、例えば、最終工程の製品試験で品質不良が発覚することになる。そこで、誤判定を抑制するための技術が望まれる。
画像認識において誤判定を抑制するための手法として、画像認識を行う前に製品組立工程における製品の画像(以下、組立工程画像)の認識可否を判定する技術が挙げられる。例えば、組立工程画像の特徴量を監視することで、製品の良否を判定することができる。特徴量としては、平均輝度、輝度分布、コントラスト、周波数情報などが挙げられる。
まず、学習画像の特徴量を用いて、評価領域を評価基準として設定する。図3(a)は、学習画像を例示する図である。図3(a)の各画像は、良品画像である。図3(b)は、コントラスト(特徴1)および平均輝度(特徴2)を特徴量として用いた場合の学習画像の分布を例示する図である。機械学習により、学習画像の分布の境界を設定することで、評価領域を設定することができる。評価領域内に位置する特徴量を有する組立工程画像は、良品画像であると判定される。評価領域外に位置する特徴量を有する組立工程画像は、不良品画像であると判定される。この判定に、SVM(Support Vector Machine)識別器などを用いることができる。
図3(c)〜図3(e)は、製品に何らかの変化が生じた場合に取得された組立工程画像である。図3(f)は、各組立工程画像の特徴量の分布を例示する図である。図3(c)のように変化が小さいと、特徴量が評価領域内に位置する。この場合、組立工程画像が良品画像であると判定されるため、製品に異常が生じていないと判定される。一方、図3(d)および図3(e)のように変化が大きいと、特徴量が評価領域外に位置するようになる。この場合、組立工程画像が不良品画像であると判定されるため、製品に異常が生じていると判定される。
画像認識アルゴリズム開発時に想定していなかった組立工程画像の中には、良品画像も含まれる。図4(a)は、外形変化が生じているものの、製品に異常が生じていない良品画像の例である。このような良品画像であっても、図4(b)で例示するように評価領域外に位置すれば、不良品画像であると誤判定されてしまう。不良品画像であると誤判定された画像を良品画像と判定させるためには、不良品画像と誤判定された組立工程画像を用いて評価領域を再学習する必要がある。この場合、特徴1および特徴2に基づいて、評価領域が再学習される。
図4(c)は、更新された評価領域を例示する図である。図4(c)で例示するように、初期の評価領域を含んで評価領域が拡大している。評価領域の拡大によって、図4(a)の良品画像は、良品画像と判定されるようになる。しかしながら、評価領域の拡大によって、不良品画像も良品画像と誤判定されるおそれがある。
以下の実施例では、誤判定を抑制することができる画像検査装置、画像検査方法および画像検査プログラムについて説明する。
図5(a)は、実施例1に係る画像検査装置100のハードウェア構成を説明するためのブロック図である。図5(a)で例示するように、画像検査装置100は、CPU101、RAM102、記憶装置103、表示装置104、撮影装置105などを備える。これらの各機器は、バスなどによって接続されている。CPU(Central Processing Unit)101は、中央演算処理装置である。CPU101は、1以上のコアを含む。RAM(Random Access Memory)102は、CPU101が実行するプログラム、CPU101が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置103は、不揮発性記憶装置である。記憶装置103として、例えば、ROM(Read Only Memory)、フラッシュメモリなどのソリッド・ステート・ドライブ(SSD)、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。表示装置104は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどであり、判定結果を表示する。撮影装置105は、製品組立工程の途中における製品の画像を取得する装置である。
図5(b)は、画像検査装置100の機能ブロック図である。図5(b)で例示するように、CPU101が記憶装置103に記憶されているプログラムを実行することによって、判定部10および学習部20が実現される。判定部10には、画像格納部11、特徴量抽出部12、判定部13、制御部14などが含まれる。なお、判定部13には、第1判定部13aおよび第2判定部13bが含まれる。学習部20には、特徴量抽出部21、境界学習部22などが含まれる。境界学習部22には、第1境界学習部22aおよび第2境界学習部22bが含まれる。なお、これら各部は、専用の回路などのハードウェアであってもよい。
画像検査装置100においては、第1評価領域が設定されている。まず、第1評価領域について説明する。実際の製品組立工程が開始される前には、画像格納部11には、撮影装置105が取得した複数枚のサンプル画像が学習用画像として格納されている。特徴量抽出部21は、画像格納部11に格納されている各サンプル画像(第1画像)から特徴量を抽出する。第1境界学習部22aは、これらの特徴量を用いて、第1境界を学習することで、第1評価領域データを出力する。例えば、図6で例示するように、各サンプル画像から特徴量が抽出される。図6の例では、特徴量として、コントラスト(特徴1)および平均輝度(特徴2)が用いられている。図6の例では、特徴1および特徴2が、第1評価パラメータとして用いられている。
図7は、画像検査装置100が画像検査を行う際に実行するフローチャートを例示する図である。以下、図5(b)および図7を参照しつつ、画像検査装置100の動作について説明する。
製品組立工程が開始されると、画像格納部11は、撮影装置105が取得した組立工程画像(第2画像)を格納する。特徴量抽出部12は、画像格納部11に格納された組立工程画像から特徴量を抽出する(ステップS1)。次に、第1判定部13aは、第1評価領域を用いた判定を行う(ステップS2)。第1判定部13aは、組立工程画像が第1評価領域外に位置するか否かを判定する(ステップS3)。ステップS3で「No」と判定された場合、制御部14は、良品画像であると判定したことを表す情報を出力する(ステップS8)。それにより、表示装置104は、判定対象の組立工程画像が良品画像である旨を表示する。
ステップS3で「Yes」と判定された場合、制御部14は、第2評価領域が学習済みであるか否かを判定する(ステップS4)。ステップS4で「No」と判定された場合、ユーザが、組立工程画像を目視で良品画像であるか不良品画像であるか否かを確認し、キーボードやマウスなどの入力機器を用いて、いずれの画像であるかを識別するための識別子を当該組立工程画像に付加する。画像格納部11は、識別子が付された組立工程画像を学習用画像として格納する(ステップS5)。識別子が付された組立工程画像は、以下、教師データと称する。例えば、図8(a)で例示するように、第1評価領域外に位置する組立工程画像は、不良品画像であると判定される。図8(b)で例示するように、これらの組立工程画像のうち、ユーザが良品画像であると判定したものには「1」が付され、ユーザが不良品画像であると判定したものには「−1」が付される。なお、制御部14は、不良品画像であると判定したことを表す情報を出力する(ステップS6)。それにより、表示装置104は、判定対象の組立工程画像が不良品画像である旨を表示する。
ステップS4で「Yes」と判定された場合、第2判定部13bは、第2評価領域を用いた判定を行い、組立工程画像が第2評価領域外に位置するか否かを判定する(ステップS7)。ステップS7で「No」と判定された場合、制御部14は、良品画像であると判定したことを表す情報を出力する(ステップS8)。それにより、表示装置104は、判定対象の組立工程画像が良品画像である旨を表示する。ステップS7で「Yes」と判定された場合、ステップS6が実行される。
図9は、図7のフローチャートと並行して実行されるフローチャートを例示する図である。図9のフローチャートは、例えば、図7のステップS5が実行されるたびに実行される。図9で例示するように、第2境界学習部22bは、画像格納部11に格納された教師データが所定数(例えば100枚)格納されたか否かを判定する(ステップS11)。ステップS11で「No」と判定された場合、フローチャートの実行が終了する。ステップS11で「Yes」と判定された場合、特徴量抽出部21は、画像格納部11に格納された教師データから特徴量を抽出する(ステップS12)。次に、第2境界学習部22bは、第2境界を学習することで、第2評価領域を設定する(ステップS13)。その後、フローチャートの実行が終了する。
なお、ステップS11において、教師データの良品画像(ステップS3で第1判定部13aが不良品画像と判定しながら、ユーザが良品画像と判定した教師データ)が所定数格納されたか否かを判定してもよい。第1判定部13aの判定精度が高い場合、第2判定部13bの学習頻度を低減できる。ステップS13において、教師データの良品画像(ステップS3で第1判定部13aが不良品画像と判定しながら、ユーザが良品画像と判定した教師データ)に対してのみ学習処理を行ってもよい。学習処理する教師データを厳選することで、第2判定部13bの学習処理の負荷を低減できる。
図10は、ステップS13の詳細を表すフローチャートを例示する図である。図10で例示するように、第2境界学習部22bは、特徴量の横軸番号Lを「1」に初期化し、特徴量の縦軸番号Mを「2」に初期化する。また、第2境界学習部22bは、SVM閾値(第2評価領域の境界)との距離の最大値dmaxを「0」に初期化する(ステップS21)。なお、各教師データから、N次元の特徴量データが抽出済みであるものとする。評価軸データの一例として、特徴1を平均輝度データの軸、特徴2をコントラストデータの軸、特徴3をヒストグラムデータの軸、特徴4を周波数情報データの軸、等とする。
次に、第2境界学習部22bは、画像格納部11に格納されている教師データを、特徴軸Lおよび特徴軸Mの空間上で分布させることで、SVM閾値を計算する(ステップS22)。この場合、特徴軸Lおよび特徴軸Mが第2評価パラメータの一例である。また、SVM閾値が第2評価基準の一例である。次に、第2境界学習部22bは、特徴軸Lおよび特徴軸Mの組み合わせが、第1評価領域の横軸および縦軸の組み合わせであるか否かを判定する(ステップS23)。
ステップS23で「No」と判定された場合、第2境界学習部22bは、特徴軸Lおよび特徴軸Mの組み合わせが、評価条件を満たすか否かを判定する(ステップS24)。図11は、評価条件について説明するための図である。教師データのうちユーザが良品画像であると判定したデータ(P1〜Pn)とユーザが不良品画像であると判定したデータ(Q1〜Qn)とに対してSVM閾値を求めると、SVM閾値は、ax+by+c=0のように表すことができる直線式となる。「x」は横軸方向の数値データであり、「y」は縦軸方向の数値データであり、「a」、「b」および「c」は係数である。評価条件は、P1〜PnのデータをSVM閾値の直線式に代入した場合に全て同じ符号になり、Q1〜QnのデータをSVM閾値の直線式に代入した場合に全て同じ符号となりかつP1〜Pnのデータの場合と反対の符号となることである。この評価条件を満たすことは、P1〜Pnのデータの全てがSVM閾値の直線式に対して同じ側に位置し、Q1〜Qnのデータの全てがSVM閾値の直線式に対して反対側に位置することを意味する。すなわち、P1〜Pnのデータと、Q1〜Qnのデータとが、SVM閾値の直線式を基準に、互いに分離していることを意味する。
ステップS24で「Yes」と判定された場合、第2境界学習部22bは、ステップS22で分布させた点のうち、SVM閾値と最も近い点との距離dを算出する(ステップS25)。図12で例示するように、ステップS22で分布させた点のうち、SVM閾値と最も近い点が選択される。また、d=|ax+by+c|/√(a+b)に従って、距離dを算出することができる。
次に、第2境界学習部22bは、距離dが距離dmaxよりも大きいか否かを判定する(ステップS26)。ステップS26で「Yes」と判定された場合、距離dmaxに距離dを代入し、この時点での横軸番号Lおよび縦軸番号MをLdmaxおよびMdmaxとして記憶する(ステップS27)。
次に、第2境界学習部22bは、縦軸番号MがN(次元数)以下であるか否かを判定する(ステップS28)。ステップS28で「Yes」と判定された場合、第2境界学習部22bは、縦軸番号Mに1を加算する(ステップS29)。その後、ステップS22から再度実行される。ステップS28で「No」と判定された場合、第2境界学習部22bは、横軸番号Lが(N−1)以下であるか否かを判定する(ステップS30)。ステップS30で「Yes」と判定された場合、第2境界学習部22bは、横軸番号Lに1を加算する(ステップS31)。その後、ステップS22から再度実行される。ステップS30で「No」と判定された場合、第2境界学習部22bは、横軸番号Ldmaxおよび縦軸番号Mdmaxを評価軸として採用する(ステップS32)。その後、フローチャートの実行が終了する。なお、ステップS23で「Yes」と判定された場合、ステップS24で「No」と判定された場合、およびステップS26で「No」と判定された場合、ステップS28が実行される。
図10の処理に従えば、図13で例示するように、10=45通りの組み合わせが評価される。これらの中で、SVM閾値と最も近い点との距離dが最大となる場合の特徴軸の組み合わせが採用される。この場合、SVM閾値に対して、教師データの良品画像と不良品画像との分離度が最も高くなる。図13の例では、特徴3と特徴4との組み合わせにおいて、分離度が最も高くなる。なお、ステップS13の実行により、第1評価領域の横軸および縦軸の組み合わせと同じ組み合わせについては、分離度の算出が省略される。図13の例では、特徴1と特徴2との組み合わせの分離度の算出が省略される。
本実施例によれば、サンプル画像(第1画像)を用いて所定の特徴軸(第1評価パラメータ)に基づいて機械学習された第1評価領域(第1評価基準)外に位置して不良品画像であると判定された教師データ(第2画像)を用いて、所定の特徴軸(第2評価パラメータ)に基づいて第2評価領域(第2評価基準)が機械学習される。この場合、教師データを用いて第2評価領域が機械学習されるため、第1評価領域外に位置する画像の誤判定が抑制される。なお、第1評価領域内に位置する画像は、良品画像であると判定されるため、第1評価領域に基づく判定精度は維持される。
図13で例示したように、教師データに応じて特徴軸の組み合わせを選定することが好ましい。この場合、選定された特徴軸の組み合わせにより第2評価領域が設定されるため、第1評価領域による判定で不良品画像と判定された組立工程画像に対する良否判定精度が向上する。
また、図10のステップS23で説明したように、第2評価領域を設定する際に第1評価領域の横軸および縦軸の組み合わせを除外することが好ましい。この場合、教師データを不良品画像と判定した評価領域の学習用の評価パラメータを用いないことになる。それにより、第2評価領域による良否判定精度が向上する。
また、図11で例示したように、P1〜Pnのデータの全てがSVM閾値の直線式に対して同じ側に位置し、Q1〜Qnのデータの全てがSVM閾値の直線式に対して反対側に位置するように、特徴軸の組み合わせを選定することが好ましい。この場合、良品画像と不良品画像との分離度が向上する。
また、図12で例示したように、教師データとSVM閾値との距離に応じて、特徴軸の組み合わせを選定することが好ましい。例えば、SVM閾値と最も近い点との距離dが最大となるように、特徴軸の組み合わせを選定することが好ましい。この場合、良品画像と不良品画像の分離度が向上する。
なお、上記実施例では、製品の組立工程における画像に着目したが、画像の良否判定の対象物は組立工程の製品に限られない。
また、上記実施例では、学習用に用いる特徴軸を2つ(2次元)としているが、それに限られない。例えば、3つ以上の特徴軸(3次元以上)を学習用に用いてもよい。この場合、SVM閾値は、直線式ではなく、平面などになる。
上記実施例において、第1判定部13aが、第1画像の第1評価パラメータを用いて学習処理された第1評価基準に基づいて、第2画像の良否を判定する第1判定部の一例として機能する。第2判定部13bが、前記第1判定部が前記第2画像を不良と判定した場合に、第2評価パラメータを用いて学習処理された第2評価基準に基づいて前記第2画像の良否を判定する第2判定部の一例として機能する。第2境界学習部22bが、前記第1判定部が不良と判定した画像の前記第2評価パラメータを用いて前記第2評価基準を学習する学習部の一例として機能する。
(他の例)
図14は、画像検査システムを例示する図である。図14で例示するように、画像検査システムは、表示装置104および撮影装置105が、インターネットなどの電気通信回線301を通じてクラウド302と接続された構成を有する。クラウド302は、図5(a)のCPU101、RAM102、記憶装置103などを備え、判定部10および学習部20としての機能を実現する。このような画像検査システムでは、例えば、撮影装置105が取得した画像が、電気通信回線301を介してクラウド302で受信され、機械学習および画像の良否判定が行われる。なお、クラウド302の代わりに、イントラネットなどを介して接続されたサーバを用いてもよい。
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10 判定部
11 画像格納部
12 特徴量抽出部
13 判定部
13a 第1判定部
13b 第2判定部
14 制御部
20 学習部
21 特徴量抽出部
22 境界学習部
22a 第1境界学習部
22b 第2境界学習部
100 画像検査装置
105 撮影装置

Claims (8)

  1. 第1画像の第1評価パラメータを用いて学習処理された第1評価基準に基づいて、第2画像の良否を判定する第1判定部と、
    前記第1判定部が前記第2画像を不良と判定した場合に、第2評価パラメータを用いて学習処理された第2評価基準に基づいて前記第2画像の良否を判定する第2判定部と、を備えることを特徴とする画像検査装置。
  2. 前記第1判定部が不良と判定した画像の前記第2評価パラメータを用いて前記第2評価基準を学習する学習部を備えることを特徴とする請求項1記載の画像検査装置。
  3. 前記学習部は、前記第1判定部が不良と判定した画像に応じて、前記第2評価パラメータを選定することを特徴とする請求項2記載の画像検査装置。
  4. 前記学習部は、前記第2評価パラメータを選定する際に、前記第1評価パラメータを除外することを特徴とする請求項2または3に記載の画像検査装置。
  5. 前記学習部が前記第2評価基準を学習する際に用いる画像は、複数枚有り、
    当該複数枚の画像のそれぞれには、「良」または「不良」を表す識別子が付してあり、
    前記学習部は、「良」が付された画像と「不良」が付された画像とが、前記第2評価基準の境界の互いに反対側となるように、前記第2評価パラメータを選定することを特徴とする請求項2〜4のいずれか一項に記載の画像検査装置。
  6. 前記学習部は、前記第2画像と前記境界との距離に応じて、前記第2評価パラメータを選定することを特徴とする請求項5記載の画像検査装置。
  7. 第1画像の第1評価パラメータを用いて学習処理された第1評価基準に基づいて、第2画像の良否を第1判定部が判定し、
    前記第1判定部が前記第2画像を不良と判定した場合に、第2評価パラメータを用いて学習処理された第2評価基準に基づいて前記第2画像の良否を第2判定部が判定する、ことを特徴とする画像検査方法。
  8. コンピュータに、
    第1画像の第1評価パラメータを用いて学習処理された第1評価基準に基づいて、第2画像の良否を判定する判定処理と、
    前記判定処理で前記第2画像が不良と判定された場合に、第2評価パラメータを用いて学習処理された第2評価基準に基づいて前記第2画像の良否を判定する処理と、を実行させることを特徴とする画像検査プログラム。
JP2017160652A 2017-08-23 2017-08-23 画像検査装置、画像検査方法および画像検査プログラム Pending JP2019039727A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017160652A JP2019039727A (ja) 2017-08-23 2017-08-23 画像検査装置、画像検査方法および画像検査プログラム
US16/057,340 US20190066285A1 (en) 2017-08-23 2018-08-07 Image inspection apparatus, image inspection method, and image inspection program
CN201810946519.7A CN109425622A (zh) 2017-08-23 2018-08-20 图像检查装置、图像检查方法以及图像检查程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017160652A JP2019039727A (ja) 2017-08-23 2017-08-23 画像検査装置、画像検査方法および画像検査プログラム

Publications (1)

Publication Number Publication Date
JP2019039727A true JP2019039727A (ja) 2019-03-14

Family

ID=65435443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017160652A Pending JP2019039727A (ja) 2017-08-23 2017-08-23 画像検査装置、画像検査方法および画像検査プログラム

Country Status (3)

Country Link
US (1) US20190066285A1 (ja)
JP (1) JP2019039727A (ja)
CN (1) CN109425622A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021047104A (ja) * 2019-09-19 2021-03-25 株式会社Screenホールディングス 学習装置、検査装置、学習方法および検査方法
JP2021143884A (ja) * 2020-03-11 2021-09-24 株式会社Screenホールディングス 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
JP2022538468A (ja) * 2019-07-05 2022-09-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像の欠陥の特定
WO2024121970A1 (ja) * 2022-12-07 2024-06-13 株式会社Fuji 良否判定装置および良否判定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005045585A (ja) * 2003-07-23 2005-02-17 Fuji Xerox Co Ltd 形成画像検査装置
JP2008051781A (ja) * 2006-08-28 2008-03-06 I-Pulse Co Ltd 基板の外観検査方法および装置
JP2010102690A (ja) * 2008-09-24 2010-05-06 Canon Inc 情報処理装置及び方法
JP2011232303A (ja) * 2010-04-30 2011-11-17 Ricoh Elemex Corp 画像検査方法及び画像検査装置
JP2013142558A (ja) * 2012-01-06 2013-07-22 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム
US20140126790A1 (en) * 2011-06-26 2014-05-08 Universite Laval Quality control and assurance of images
WO2017017722A1 (ja) * 2015-07-24 2017-02-02 オリンパス株式会社 処理装置、処理方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005265661A (ja) * 2004-03-19 2005-09-29 Ovit:Kk 画像処理方法およびその装置
JP4573036B2 (ja) * 2005-03-16 2010-11-04 オムロン株式会社 検査装置および検査方法
JP5403852B2 (ja) * 2005-08-12 2014-01-29 株式会社荏原製作所 検出装置及び検査装置
EP2023130B1 (en) * 2006-05-09 2018-03-07 Nikon Corporation Edge inspection apparatus
US8457414B2 (en) * 2009-08-03 2013-06-04 National Instruments Corporation Detection of textural defects using a one class support vector machine
JP5441728B2 (ja) * 2010-01-15 2014-03-12 パナソニック株式会社 官能検査装置及び官能検査方法
JP5948262B2 (ja) * 2013-01-30 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
JP6616645B2 (ja) * 2014-11-28 2019-12-04 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム
TWI737659B (zh) * 2015-12-22 2021-09-01 以色列商應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統
JP2018180875A (ja) * 2017-04-12 2018-11-15 富士通株式会社 判定装置、判定方法および判定プログラム
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005045585A (ja) * 2003-07-23 2005-02-17 Fuji Xerox Co Ltd 形成画像検査装置
JP2008051781A (ja) * 2006-08-28 2008-03-06 I-Pulse Co Ltd 基板の外観検査方法および装置
JP2010102690A (ja) * 2008-09-24 2010-05-06 Canon Inc 情報処理装置及び方法
JP2011232303A (ja) * 2010-04-30 2011-11-17 Ricoh Elemex Corp 画像検査方法及び画像検査装置
US20140126790A1 (en) * 2011-06-26 2014-05-08 Universite Laval Quality control and assurance of images
JP2013142558A (ja) * 2012-01-06 2013-07-22 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム
WO2017017722A1 (ja) * 2015-07-24 2017-02-02 オリンパス株式会社 処理装置、処理方法及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022538468A (ja) * 2019-07-05 2022-09-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像の欠陥の特定
JP7482912B2 (ja) 2019-07-05 2024-05-14 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像の欠陥の特定
JP2021047104A (ja) * 2019-09-19 2021-03-25 株式会社Screenホールディングス 学習装置、検査装置、学習方法および検査方法
JP7317647B2 (ja) 2019-09-19 2023-07-31 株式会社Screenホールディングス 学習装置、検査装置、学習方法および検査方法
JP2021143884A (ja) * 2020-03-11 2021-09-24 株式会社Screenホールディングス 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
JP7453813B2 (ja) 2020-03-11 2024-03-21 株式会社Screenホールディングス 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
WO2024121970A1 (ja) * 2022-12-07 2024-06-13 株式会社Fuji 良否判定装置および良否判定方法

Also Published As

Publication number Publication date
CN109425622A (zh) 2019-03-05
US20190066285A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
JP2019039727A (ja) 画像検査装置、画像検査方法および画像検査プログラム
KR102171491B1 (ko) 딥러닝을 이용한 양품 선별 방법
CN103606221B (zh) 清分机故障自动诊断方法以及装置
JP2017058838A (ja) 情報処理装置、試験システム、情報処理方法およびプログラム
JP6113024B2 (ja) 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
JP6401648B2 (ja) 欠陥分類装置および欠陥分類方法
US20190066333A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019176990A1 (ja) 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
CN112528975A (zh) 工业质检方法、装置和计算机可读存储介质
CN110909868A (zh) 基于图神经网络模型的节点表示方法和装置
CN111666187B (zh) 用于检测异常响应时间的方法和装置
KR20220085589A (ko) 딥러닝 기반 제품 불량 검출방법 및 시스템
JP2017102865A (ja) 情報処理装置、情報処理方法及びプログラム
US11647152B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN110390344B (zh) 备选框更新方法及装置
US10409523B1 (en) Storage device monitoring using augmented reality
JP2014137284A (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
CN113168167B (zh) 用于制造产品的方法和装置以及计算机可读存储介质
CN113344862A (zh) 缺陷检测方法、装置、电子设备及存储介质
CN116559170A (zh) 一种产品质量检测方法及相关系统
JP6623851B2 (ja) 学習方法、情報処理装置および学習プログラム
JP7315022B2 (ja) 機械学習装置、機械学習方法、及び、機械学習プログラム
JP2019158684A (ja) 検査システム、識別システム、及び識別器評価装置
US20240185576A1 (en) Image determination device, image determination method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211012