JP2021196362A - ワークピース画像の監視を含むワークピース検査及び欠陥検出システム - Google Patents

ワークピース画像の監視を含むワークピース検査及び欠陥検出システム Download PDF

Info

Publication number
JP2021196362A
JP2021196362A JP2021098901A JP2021098901A JP2021196362A JP 2021196362 A JP2021196362 A JP 2021196362A JP 2021098901 A JP2021098901 A JP 2021098901A JP 2021098901 A JP2021098901 A JP 2021098901A JP 2021196362 A JP2021196362 A JP 2021196362A
Authority
JP
Japan
Prior art keywords
workpiece
image
execution mode
mode image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021098901A
Other languages
English (en)
Inventor
トッド ワトソン ウィリアム
Todd Watson William
カーミル ブリル ロバート
Robert Kamil Bryll
ロイ キャンベル シャノン
Roy Campbell Shannon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Publication of JP2021196362A publication Critical patent/JP2021196362A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8829—Shadow projection or structured background, e.g. for deflectometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】ワークピースを検査し欠陥を検出するための精密マシンビジョンシステムを提供する。【解決手段】精密マシンビジョンシステム１０は、光源と、ワークピースの表面から発する画像光を入力するレンズと、撮像光路に沿って伝送された撮像光を受光するカメラ３４と、を含む。システムは、カメラにより取得したワークピースの画像を訓練画像として使用して、欠陥のあるワークピースを含む欠陥画像を検出するように欠陥検出部を訓練する。訓練画像の要素に基づいて異常検出分類指標を決定する。カメラによりワークピースの実行モード画像を取得し、これらの画像から決定した要素に基づいて、異常検出分類指標を用いてワークピースの画像が異常と分類されるか否かを判定する。更に欠陥検出部は、画像が欠陥のあるワークピースを含む欠陥画像であるか否かを判定し、追加の動作（例えば欠陥の寸法等を測定するための計測動作）も実行することができる。【選択図】図１

Description

本開示はワークピース検査システムに関し、更に具体的には、ワークピースを検査し欠陥を検出するための精密マシンビジョンシステムに関する。
マシンビジョン検査システム（又は略して「ビジョンシステム」）のような精密非接触ワークピース検査システムは、検査のためワークピースの画像を取得するために使用することができる。このようなシステムは、様々なタイプの用途（例えば一般的なワークピース検査、ワークピースの精密寸法測定値を決定するための計測用途等）に利用され得る。このようなシステムは一般に、コンピュータと、カメラと、光学システムと、を含む。いくつかの構成では、ワークピースの走査（traversal）及び検査を可能とするために移動する移動機構（例えば精密ステージ、コンベヤ等）が含まれることがある。１つの例示的な従来技術のマシンビジョン検査システムは、イリノイ州オーロラに位置するMitutoyo America Corporation（ＭＡＣ）から入手可能なＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのＰＣベースのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアである。ＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアの機能及び動作については、概ね、例えば２００３年１月に発表されたＱＶＰＡＫ ３Ｄ ＣＮＣ画像測定機ユーザガイドに記載されている。このタイプのシステムは、顕微鏡型の光学システムを利用し、ワークピースの検査画像を提供するようにステージを移動させる。
このようなマシンビジョン検査システムは通常、ワークピースの検査における様々なタイプの課題（例えば、検査対象のワークピースのタイプ又は表面のばらつきや検査条件の変化等に起因する）に直面している。（例えばワークピース欠陥検出及び／又は欠陥検出の精度向上のための）いくつかのタイプの検査動作において、そのような問題に対する改善を提供できるシステムが望まれている。
この概要は、以下で「発明を実施するための形態」において更に記載するいくつかの概念を簡略化した形態で紹介するために提示する。この概要は、特許請求される主題の重要な特徴（features）を識別することを意図しておらず、特許請求される主題の範囲の決定に役立てるため用いることも意図していない。
光源と、レンズと、カメラと、１つ以上のプロセッサと、メモリと、を含むワークピース検査及び欠陥検出システムが提供される。レンズは、光源によって照明されたワークピースの表面から発する画像光を入力し、この画像光を撮像光路に沿って透過する。カメラは、撮像光路に沿って透過された撮像光を受光し、ワークピースの画像を提供する。
メモリは、１つ以上のプロセッサに結合され、プログラム命令を記憶する。プログラム命令は、１つ以上のプロセッサによって実行された場合、少なくとも、欠陥検出部を訓練するために用いられる複数の訓練画像の少なくともいくつかを取得することと、複数の訓練画像から複数の訓練画像要素を決定することと、決定された訓練画像要素に少なくとも部分的に基づいて複数の異常検出分類指標（anomaly detector classification characteristics）を決定することと、カメラを用いてワークピースの第１の実行モード画像を取得することと、ワークピースの第１の実行モード画像から複数の要素を決定することと、ワークピースの第１の実行モード画像からの決定した要素に少なくとも部分的に基づいて、異常検出分類指標を用いてワークピースの第１の実行モード画像が異常と分類されるか否かを判定することと、を１つ以上のプロセッサに実行させる。
様々な実施例では、異常検出分類指標を用いて、ワークピースの第２の実行モード画像が非異常と分類されると判定することができる。更に、欠陥検出部を用いて第２の実行モード画像を解析して、ワークピースの第２の実行モード画像がワークピースの欠陥を含む欠陥画像に分類されるか否かを判定することができる。
様々な実施例において、ワークピースの第１の実行モード画像は異常検出分類指標の利用によって異常と分類することができる。更に、ワークピースの第１の実行モード画像の異常という分類に少なくとも部分的に基づいて、撮像条件、照明条件、又はワークピース条件のうち少なくとも１つに問題があることを示すメッセージを発生できる。更に、ワークピースの第１の実行モード画像が異常と分類された理由を決定できる。また、ワークピースの第１の実行モード画像が異常と分類される理由を示すメッセージを発生できる。様々な実施例において、第１の実行モード画像が異常と分類される理由を決定した後、光源の輝度、又は光源の位置、又はカメラもしくはワークピースのうち少なくとも１つに対するレンズもしくはレンズ要素の位置、のうち少なくとも１つを調整することができる。
様々な実施例では、複数の訓練画像要素が異常画像をシミュレーションするように変更されると共に、非異常画像をシミュレーションするように変更されていない合成データセットを生成することができる。更に、合成データセット内で異常画像と非異常画像を区別することができる２クラス分類器を訓練することができる。
様々な実施例において、ワークピース検査及び欠陥検出システムを動作させるための方法（例えば、実行可能命令により構成された１つ以上のコンピューティングシステムの制御のもとで動作するコンピュータにより実施される方法）を提供することができる。この方法は、欠陥検出部を訓練するための複数の訓練画像を取得するためにワークピース検査及び欠陥検出システムの光源、レンズ、及びカメラを使用することと、訓練画像から複数の訓練画像要素を決定することと、訓練画像要素に少なくとも部分的に基づいて複数の異常検出分類指標を決定することと、ワークピースの第１の実行モード画像を取得することと、ワークピースの第１の実行モード画像から複数の要素を決定することと、ワークピースの第１の実行モード画像から決定された要素に少なくとも部分的に基づいて、異常検出分類指標を用いてワークピースの第１の実行モード画像が異常と分類されるか否かを判定することと、を含む。
様々な実施例において、プログラム命令を記憶する非一時的コンピュータ可読媒体を提供することができる。プログラム命令は、１つ以上のプロセッサによって実行された場合、少なくとも、前記複数の訓練画像のうち少なくともいくつかを取得するためにワークピース検査及び欠陥検出システムの光源、レンズ、及びカメラを使用することと、複数の訓練画像から複数の訓練画像要素を決定することと、決定した訓練画像要素に少なくとも部分的に基づいて複数の異常検出分類指標を決定することと、カメラを用いてワークピースの第１の実行モード画像を取得することと、ワークピースの第１の実行モード画像から複数の要素を決定することと、ワークピースの第１の実行モード画像からの決定した要素に少なくとも部分的に基づいて、異常検出分類指標を用いてワークピースの第１の実行モード画像が異常と分類されるか否かを判定することと、を１つ以上のプロセッサに実行させる。
本発明の前述の態様及び付随する利点の多くは、以下の詳細な説明を添付図面と関連付けて参照することでより良く理解すれば、いっそう容易に認められよう。
汎用精密マシンビジョン検査システムの種々の典型的なコンポーネントを示す図である。 図１のものと同様の、本発明に開示されるいくつかの特徴を含むマシンビジョン検査システムの制御システム部及びビジョン構成要素部のブロック図である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含まないワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含まないワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含まないワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含まないワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含まないワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含まないワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含むワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含むワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含むワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含むワークピース部分の画像の例である。 図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥を含むワークピース部分の画像の例である。 図５Ｂから図５Ｄと共に、図１のものと同様のマシンビジョン検査システムを用いて取得され得るワークピース部分の画像を示す欠陥なしの例である。 図５Ａ、図５Ｃ、及び図５Ｄと共に、図１のものと同様のマシンビジョン検査システムを用いて取得され得るワークピース部分の画像を示す欠陥ありの例である。 図５Ａ、図５Ｂ、及び図５Ｄと共に、図１のものと同様のマシンビジョン検査システムを用いて取得され得るワークピース部分の画像を示す欠陥ありの例である。 図５Ａから図５Ｃと共に、図１のものと同様のマシンビジョン検査システムを用いて取得され得るワークピース部分の画像を示す欠陥ありの例である。 欠陥を含むワークピースの画像上で計測動作を実行するための１つ以上のビデオツールの利用を示す図である。 図７Ｂから図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥なしの例である。 図７Ａ、及び図７Ｃから図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥なしの例である。 図７Ａ、図７Ｂ、及び図７Ｄから図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥なしの例である。 図７Ａから図７Ｃ、及び図７Ｅから図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥なしの例である。 図７Ａから図７Ｄ、及び図７Ｆから図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥なしの例である。 図７Ａから図７Ｅ、及び図７Ｇから図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥ありの例である。 図７Ａから図７Ｆ、及び図７Ｈから図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥ありの例である。 図７Ａから図７Ｇ、及び図７Ｉ、図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥ありの例である。 図７Ａから図７Ｈ、及び図７Ｊと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥ありの例である。 図７Ａから図７Ｉと共に、様々な輝度レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥ありの例である。 図８Ｂから図８Ｆと共に、様々な合焦レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥なしの例である。 図８Ａ、及び図８Ｃから図８Ｆと共に、様々な合焦レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥なしの例である。 図８Ａ、図８Ｂ、及び図８Ｃから図８Ｆと共に、様々な合焦レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥なしの例である。 図８Ａから図８Ｃ、及び図８Ｅから図８Ｆと共に、様々な合焦レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥ありの例である。 図８Ａから図８Ｄ、及び図８Ｆと共に、様々な合焦レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥ありの例である。 図８Ａから図８Ｅと共に、様々な合焦レベルで、図１のものと同様のマシンビジョン検査システムによって取得され得るワークピース部分の画像を示す欠陥ありの例である。 本開示に従った画像拡張（image augmentation）ユーザインタフェースの一例である。 図１のものと同様のマシンビジョン検査システムを動作させるための方法のフロー図を示す。 図１のものと同様のマシンビジョン検査システムを動作させるための方法のフロー図を示す。
図１は、本明細書に記載される方法に従った撮像システムとして使用できる１つの例示的なマシンビジョン検査システム１０のブロック図である。マシンビジョン検査システム１０は、制御コンピュータシステム１４とデータ及び制御信号を交換するように動作可能に接続されたビジョン検査機１２を含む。制御コンピュータシステム１４は更に、モニタ又はディスプレイ１６、プリンタ１８、ジョイスティック２２、キーボード２４、及びマウス２６とデータ及び制御信号を交換するように動作可能に接続されている。モニタ又はディスプレイ１６は、マシンビジョン検査システム１０の動作の制御及び／又はプログラミングに適したユーザインタフェースを表示することができる。種々の例示的な実施例では、タッチスクリーンタブレット及び／又は同様のデバイス等によって、要素１４、１６、２２、２４、及び２６のいずれか又は全ての機能の代用とすること及び／又はこれらの機能を冗長的に与えることが可能であることは認められよう。
制御コンピュータシステム１４及び／又は本明細書に記載される他の制御システムは一般に、分散型又はネットワーク型コンピューティング環境等を含む任意の適切なコンピューティングシステム又はデバイスを用いて実施できると、当業者には認められよう。そのようなコンピューティングシステム又はデバイスは、本明細書に記載される機能を実現するためにソフトウェアを実行する１つ以上の汎用プロセッサ又は特殊用途プロセッサ（例えば非カスタム又はカスタムデバイス）を含み得る。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ等のメモリ、又はそのようなコンポーネントの組み合わせに記憶することができる。また、ソフトウェアは、光学ディスク、フラッシュメモリデバイス、又はデータを記憶するための他の任意のタイプの不揮発性記憶媒体のような１つ以上の記憶デバイスに記憶することができる。ソフトウェアは、特定のタスクを実行するか又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む１つ以上のプログラムモジュールを含み得る。分散型コンピューティング環境では、プログラムモジュールの機能性は、有線又は無線のいずれかの構成において、複数のコンピューティングシステム又はデバイスにまたがるように組み合わせるか又は分散させ、サービスコールを介してアクセスすることができる。
ビジョン検査機１２は、可動ワークピースステージ３２と、ズームレンズ又は交換可能レンズを含み得る光学撮像システム３４と、を含む。ズームレンズ又は交換可能レンズは一般に、光学撮像システム３４によって得られる画像に様々な倍率を与える。
図２は、図１のマシンビジョン検査システムと同様の、本明細書に記載されるいくつかの特徴を含むマシンビジョン検査システム１００の制御システム部１２０及びビジョン構成要素部２００のブロック図である。以下で詳述するように、制御システム部１２０を用いてビジョン構成要素部２００を制御する。制御システム部１２０は、ビジョン構成要素部２００とデータ及び制御信号を交換するように構成できる。ビジョン構成要素部２００は、光学アセンブリ部２０５と、光源２２０、２３０、２４０、３００と、中央の透明部２１２を有するワークピースステージ２１０と、を含む。ワークピースステージ２１０は、ワークピース２０を配置することができるステージの表面に対して概ね平行な面内にあるｘ軸及びｙ軸に沿って制御可能に移動させることができる。
光学アセンブリ部２０５は、カメラシステム２６０及び交換可能対物レンズ２５０を含む。可変音響式屈折率分布型（ＴＡＧ：tunable acoustic gradient）のような、可変焦点距離（ＶＦＬ：variable focal length）レンズを任意選択的に含み得る。
種々の例示的な実施例において、光学アセンブリ部２０５は更に、レンズ２８６と２８８を有するターレットレンズアセンブリ２８０も含み得る。ターレットレンズアセンブリの代わりに、種々の例示的な実施例では、固定もしくは手作業で交換可能な倍率可変レンズ（magnification-altering lens）、又はズームレンズ構成等を含んでもよい。種々の例示的な実施例において、交換可能対物レンズ２５０は、可変倍率レンズ部の一部として含まれる固定倍率対物レンズのセット（例えば、０．５倍、１倍、２倍又は２．５倍、５倍、１０倍、２０倍又は２５倍、５０倍、１００倍等の倍率に対応した対物レンズのセット）から選択することができる。
光学アセンブリ部２０５は、制御可能モータ２９４を用いることで、ｘ軸及びｙ軸に概ね直交したｚ軸に沿って制御可能に移動できる。制御可能モータ２９４はアクチュエータを駆動して、ワークピース２０の画像の焦点を変えるために光学アセンブリ部２０５をｚ軸に沿って動かす。制御可能モータ２９４は、信号ライン２９６を介して入出力インタフェース１３０に接続され、特定の範囲にわたって画像の焦点を変化させる。ワークピース２０は、ワークピースステージ２１０上に配置することができる。ワークピースステージ２１０は、光学アセンブリ部２０５に対して移動するように制御され、交換可能対物レンズ２５０の視野がワークピース２０上の複数の位置間で及び／又は複数のワークピース２０間で移動できるようになっている。
透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０（例えばリング照明）のうち１つ以上が、それぞれ光源光２２２、２３２、及び／又は２４２を発して、１又は複数のワークピース２０を照明することができる。例えば画像露光中に、落射照明光源２３０は、ビームスプリッタ２９０（例えば部分ミラー（partial mirror））を含む経路に沿って光源光２３２を発することができる。光源光２３２はワークピース画像光２５５として反射又は透過され、撮像のため用いられるこのワークピース画像光は、交換可能対物レンズ２５０及びターレットレンズアセンブリ２８０を通過して、カメラシステム２６０によって集光される。１又は複数のワークピース２０の画像を含むワークピース画像露光は、カメラシステム２６０によってキャプチャされ、制御システム部１２０への信号ライン２６２上に出力される。
様々な光源（例えば光源２２０、２３０、２４０、３００）は、関連付けられた信号ライン（例えばそれぞれバス２２１、２３１、２４１、３３１）を介して制御システム部１２０の照明制御インタフェース１３３に接続することができる。制御システム部１２０は、画像の倍率を変更するため、信号ライン又はバス２８１を介してターレットレンズアセンブリ２８０を軸２８４に沿って回転させることで、ターレットレンズを１つ選択するよう制御できる。
図２に示すように、種々の例示的な実施例において制御システム部１２０は、制御部１２５、入出力インタフェース１３０、メモリ１４０、ワークピースプログラム発生器及び実行器１７０、及び電源部１９０を含む。これらのコンポーネント及び以下で説明する追加のコンポーネントの各々は、１つ以上のデータ／制御バス及び／又はアプリケーションプログラミングインタフェースによって、又は様々な要素間の直接接続によって、相互接続することができる。入出力インタフェース１３０は、撮像制御インタフェース１３１、移動制御インタフェース１３２、照明制御インタフェース１３３、及びレンズ制御インタフェース１３４を含む。
照明制御インタフェース１３３は照明制御要素１３３ａ〜１３３ｎを含むことができ、これらは、マシンビジョン検査システム１００の様々な対応する光源について、例えば選択、パワー、及びオン／オフ切り換えを制御する。照明制御インタフェース１３３は照明制御要素１３３ｓｉｐも含み、これは説明されている実施形態において、構造化照明パターン（ＳＩＰ：structured illumination pattern）発生部３００と連携動作して、画像取得中に構造化照明を提供する。様々な実施例では、ＳＩＰ発生部３００から投影パターンを出力してビームスプリッタ２９０に入力することができ、これは落射照明光として対物レンズ２５０を介して誘導されて、視野を照明するＳＩＰ構造化光２３２’を提供する。
メモリ１４０は、画像ファイルメモリ部１４１、欠陥検出部１４０ｄｐ、１つ以上のパートプログラム等を含み得るワークピースプログラムメモリ部１４２、及びビデオツール部１４３を含むことができる。ビデオツール部１４３は、対応する各ビデオツールのためのＧＵＩや画像処理動作等を決定するビデオツール部１４３ａ及び他のビデオツール部（例えば１４３ｎ）、並びに関心領域（ＲＯＩ：region of interest）発生器１４３ｒｏｉを含む。関心領域発生器１４３ｒｏｉは、ビデオツール部１４３内に含まれる様々なビデオツールにおいて動作可能である様々なＲＯＩを規定する自動、半自動、及び／又は手動の動作をサポートする。
ビデオツール部１４３は、合焦高さ測定動作のためのＧＵＩや画像処理動作等を決定する自動合焦ビデオツール１４３ａｆも含む。種々の例示的な実施例において、自動合焦ビデオツール１４３ａｆは更に、ハードウェアを用いて高速で合焦高さを測定するために利用できる高速合焦高さツールも含むことができる。これについては、援用によりその全体が本願に含まれる米国特許第９，１４３，６７４号に更に詳しく記載されている。種々の例示的な実施例において、高速合焦高さツールは、これ以外の場合には自動合焦ビデオツールのための従来の方法に従って動作する自動合焦ビデオツール１４３ａｆの特別モードとしてもよく、又は、自動合焦ビデオツール１４３ａｆの動作は高速合焦高さツールの動作のみを含んでもよい。１又は複数の画像関心領域のための高速自動合焦及び／又は合焦位置決定は、既知の方法に従って画像を解析して様々な領域の対応する定量的コントラスト基準を決定することに基づき得る。
本開示の文脈においては、当業者に既知であるように、「ビデオツール」という用語は概ね、マシンビジョンユーザが比較的シンプルなユーザインタフェースを介して実施可能である比較的複雑な自動化又はプログラミングされた動作セットのことである。例えばビデオツールは、予めプログラミングされた複雑な画像処理動作及び計算セットを含み、これらの動作及び計算を規定する少数の変数又はパラメータを調整することによって特定のインスタンスでこれらを適用及びカスタム化することができる。ビデオツールは、基礎にある動作及び計算の他に、ビデオツールの特定のインスタンス向けにそれらのパラメータをユーザが調整することを可能とするユーザインタフェースも備えている。場合によっては、目に見えるユーザインタフェース機能がビデオツールと称され、基礎にある動作は暗黙的に含まれることに留意すべきである。
１つ以上のディスプレイデバイス１３６（例えば図１のディスプレイ１６）及び１つ以上の入力デバイス１３８（例えば図１のジョイスティック２２、キーボード２４、及びマウス２６）を、入出力インタフェース１３０に接続することができる。ディスプレイデバイス１３６及び入力デバイス１３８を用いて、様々なグラフィカルユーザインタフェース（ＧＵＩ）機能を含み得るユーザインタフェースを表示することができる。それらの機能は、検査動作の実行、及び／又はパートプログラムの生成及び／又は修正、カメラシステム２６０によってキャプチャされた画像の閲覧、及び／又はビジョン構成要素部２００の直接制御のために使用可能である。
種々の例示的な実施例において、ユーザがマシンビジョン検査システム１００を用いてワークピース２０のためのパートプログラムを生成する場合、ユーザは、マシンビジョン検査システム１００を学習モードで動作させて所望の画像取得訓練シーケンスを提供することによってパートプログラム命令を発生させる。例えば訓練シーケンスは、代表的ワークピースの特定のワークピース要素を視野（ＦＯＶ）内に配置し、照明レベルを設定し、合焦又は自動合焦を行い、画像を取得し、（例えばそのワークピース要素に対してビデオツールのうち１つのインスタンスを用いて）画像に適用される検査訓練シーケンスを提供することを含み得る。学習モードは、この１又は複数のシーケンスがキャプチャ又は記録されて、対応するパートプログラム命令に変換されるように動作する。パートプログラムが実行されると、これらの命令はマシンビジョン検査システムに訓練した画像取得を再現させると共に、検査動作を行って、パートプログラムの生成時に用いた代表的ワークピースに合致する実行モードの１又は複数のワークピース上の特定のワークピース要素（すなわち対応位置における対応する要素）を自動的に検査させる。種々の例示的な実施例では、いくつかのタイプの訓練モードを追加的に又は代替的に利用することができる（例えば、欠陥を検出するため欠陥検出部を訓練する訓練モードや、欠陥検出プロセスでは許容できない異常画像を検出するため異常検出部を訓練する訓練モード等）。
ビデオツール部１４３は、Ｚ高さ測定動作に関連した様々な動作及び機能を提供するＺ高さ測定ツール部１４３ｚも含む。１つの実施例において、Ｚ高さ測定ツール部１４３ｚはＺ高さツール１４３ｚｔを含むことができる。Ｚ高さツール１４３ｚｔは、例えば、自動合焦ツール１４３ａｆ及びマルチポイント自動合焦ビデオツール１４３ｍａｆを含み得る。Ｚ高さツール１４３ｚｔは、ベストフォーカス高さ及び／又はＺ高さ測定値を決定するモードに構成されたＺ高さツールと連携した画像スタック取得及び関連する構造化光パターン発生動作のいくつかの態様を管理することができる。一般に、Ｚ高さ測定ツール部１４３ｚは、例えば合焦曲線の全体又は一部を発生するため学習モード及び／又は実行モード又は他のモードの動作を行うこと、並びにそのピークをベストフォーカス位置として見出すことのような少なくともいくつかの動作を、既知のＺ高さ測定ツールと同様に実行できる。
欠陥検出部１４０ｄｐは、以下で詳述されるように様々な欠陥検出動作を実行する。そのような欠陥検出動作を実行する前に、特定の（例えば現在の）撮像、照明、及びワークピース条件を使用してキャプチャされた訓練画像セットを用いて欠陥検出部１４０ｄｐを訓練する。これらの条件は、長期にわたってオンライン又はオフライン環境で欠陥検出部１４０ｄｐを欠陥検出のために使用すると大きく変化する（例えばドリフトする）可能性がある。欠陥検出中に用いられる画像の外見が訓練画像セット内の画像の外見と著しく異なっている場合、訓練済み欠陥検出部１４０ｄｐの性能は劣化し得る。従って欠陥検出部１４０ｄｐは、（例えば欠陥検出部１４０ｄｐの訓練時に、訓練画像セットの一部又は全てを用いて）生成／規定され得る監視（例えば異常検出）システムを含むことができる。このシステムは、正常（例えば許容可能）画像と異常（例えば許容できない）入力画像を区別することができ、欠陥検出中の入力画像の外見が充分なレベルでなくなって訓練済み欠陥検出部１４０ｄｐの精度に負の影響を及ぼし得る場合にユーザにアラートを出すので、欠陥検出部１４０ｄｐによる欠陥検出の信頼性を効果的に向上させることができる。画像の分類に関して、「正常」及び「非異常」という用語は一般に同じ意味を有すると見なされ、本明細書では交換可能に用いられる。
種々の例示的な実施例において、欠陥検出部１４０ｄｐは、計測プロセスと共に実行される欠陥検出プロセスを実施できる。様々な実施例では、計測プロセスを実行するように構成された図１のマシンビジョン検査システム１００と同様のマシンビジョン検査システムに欠陥検出部１４０ｄｐを含めることが望ましい場合がある。その理由は、このシステムが、欠陥検出部１４０ｄｐによって実施される欠陥検出プロセスに入力される画像データを生成できるからである。従って、単一のマシンが計測プロセスと欠陥検出プロセスの双方を実行するように構成され、従来の計測システムに対する利点を提供できる。例えば、欠陥検出プロセスの実行中にワークピースで欠陥が検出された場合、このワークピースに対して計測プロセスを実行する理由はなくなるので、時間を節約できる。より具体的には、欠陥検出プロセスの実行中にワークピースで欠陥が検出された場合、明らかに欠陥のある部分を測定する必要はない可能性がある。従って、計測プロセスの開始前に欠陥検出プロセスを実行することが有利であり得る。
また、いくつかの欠陥では、更に計測又は検査を行って追加の欠陥パラメータを決定することが必要となり得る。例えば、２Ｄ画像は、発生しそうな欠陥を迅速に認識し、その欠陥のＸＹ位置及び近似的なＸＹ面積を迅速に確認することを可能とする。潜在的欠陥の３Ｄ特性が重要である場合、欠陥検出部１４０ｄｐは、追加の処理（例えば計測動作）を実行することで、その潜在的欠陥が実際の欠陥であるか否かを判定できる。例えば、ワークピースの表面のスクラッチ（scratch）が、欠陥と見なされる特定の閾値よりも深いはずである場合、欠陥検出部１４０ｄｐは、（例えばｚ高さ測定ツール部１４３ｚを用いて）影響を受ける領域についてより時間のかかる３Ｄポイントクラウドを取得して、その部分を排除するのに充分なスクラッチ深さであるか否かを知ることができる。種々の実施例では、最初の欠陥分類の結果として以下のような様々なアクションを実行できる（例えば自動的に実行するようプログラミングできる）。例えば、（１）標準的な計測プロセスを続ける、（２）欠陥検出プロセスを停止又は一時停止し、より情報量の多い潜在的欠陥の測度（measures）を含む計測プロセス（例えば表面ラフネスのような、３Ｄ測定、様々な照明による測定、タッチプローブ測定）を実行する、（３）ワークピースを処分する（例えばワークピースの廃棄又はリサイクル）、（４）追加的な人による検査へワークピースを送出する、（５）機械又はプロセス等に何か問題があることを示すフィードバックを生産ラインに提供する。
種々の例示的な実施例において、メモリ１４０の欠陥検出部１４０ｄｐは、ワークピースの画像に様々なタイプの欠陥が存在するか否かを推測する（すなわち、画像内に含まれるワークピース表面部分の欠陥を示す）ために使用できる欠陥検出システムの様々なツール及びアルゴリズムのためのモデルデータ及びプログラム命令を記憶する。マシンビジョン検査システムが訓練又は学習モードで動作している間、欠陥検出システムは、欠陥検出部１４０ｄｐを訓練するための欠陥画像及び非欠陥画像を含む訓練画像セットを用いる。訓練画像セットは、特定の（例えば現在の）撮像、照明、及びワークピース条件を用いてキャプチャされる。欠陥検出部１４０ｄｐが最初に訓練された後、欠陥検出部１４０ｄｐを実行モードで動作させて、まだ見ていない新しいワークピース画像に欠陥が含まれるか否かを推測し、これに応じて各ワークピース画像を欠陥又は非欠陥に分類する。
以下で詳述されるように、図３Ａから図３Ｆ、図４Ａから図４Ｅ、及び図５Ａから図５Ｄは、マシンビジョン検査システム１００によって取得できるいくつかのワークピース画像の例を示し、いくつかの実施例では、これらを用いて訓練モード中に欠陥検出部１４０ｄｐを訓練することができる（及び／又は、これらの画像のいくつかは、後で実行モード中にマシンビジョン検査システム１００によって取得されるワークピース画像の例である可能性があり、訓練された欠陥検出部１４０ｄｐによって解析され得る）。具体的には、図３Ａから図３Ｆ及び図４Ａから図４Ｅの例示的なワークピース画像は、機械加工アルミニウムプレート上の様々なセクションの（すなわち様々なＸＹ位置の）ものである。以下で詳述するように、図３Ａから図３Ｆは非欠陥画像の例を示し、図４Ａから図４Ｅは欠陥画像の例を示す（例えば、訓練画像セットは典型的に多数の欠陥ワークピース画像と非欠陥ワークピース画像の双方を含む）。これらの画像間の差は、欠陥検出部１４０ｄｐを訓練するため多数の訓練画像を使用することが望ましい理由の１つを説明するのに役立つ。より具体的に述べると、あるタイプのワークピースを検査するために取得される異なるワークピース画像で異なる特徴が観察され得る（例えば、あるタイプの機械加工アルミニウムプレートを検査するための図３Ａから図３Ｆ及び図４Ａから図４Ｅのワークピース画像間の差によって示される）ので、欠陥検出部１４０ｄｐの欠陥検出の精度を向上させるには、後に実行モードで取得され得る多種多様な画像と同様の及び／又はそのような画像で優れた欠陥検出を可能とする多種多様なワークピース画像を訓練のために利用すればよい。例えば、特に図３Ａから図３Ｆ、図４Ａから図４Ｅ、及び図５Ａから図５Ｄの例に関して、そのような訓練は、欠陥検出部１４０ｄｐが、欠陥（例えば、図示されている例では多種多様な異なるタイプのスクラッチ欠陥等を含み得る）と、正常なワークピース表面の要素（例えば、図示されている例では、通常は表面全体にわたって変動するハッシュテクスチャ（hashed texture）等として現れるプレート表面上に形成された多種多様な異なるタイプの機械加工マークを含み得る）とを区別するのに役立ち得る。
欠陥検出部１４０ｄｐが実行モードで動作している間、マシンビジョン検査システムで用いられる撮像、照明、及びワークピース条件が経時的に大きく変化する（例えばドリフトする等）可能性がある。その原因は例えば、画像データの取得時にワークピースを照明する１つ以上の光源の経年劣化、（例えばレンズ上の）ほこりの堆積、光学的不整合（misalignment）、製造条件の変化、その他のランダムなもしくは規則的なファクタである。この結果、実行モード解析中に欠陥検出部１４０ｄｐに入力される画像が欠陥検出部１４０ｄｐの訓練に用いた画像とは著しく異なる可能性があり、これは欠陥検出性能の大きな劣化を招き得る。例えば、撮像条件が変化し、欠陥検出部１４０ｄｐによって非欠陥画像が欠陥画像と解釈されることで、偽陽性（false positive）が増える恐れがある。別の例として、画像条件の変化のため、欠陥検出部１４０ｄｐは、正常なワークピース表面要素（例えば機械加工マーク等）に対して実際の欠陥を検出すること又は他の手法で区別することが難しくなる可能性がある。
従って、欠陥検出部１４０ｄｐは画像データ監視及び異常検出サブシステムを含む。このサブシステムは、訓練画像セットの一般化モデル（例えば欠陥画像と非欠陥画像を含み、利用可能な訓練画像の全て又は一部を含み得る）を生成し、その後の欠陥検出中に画像品質の監視に用いるため、この一般化モデルを欠陥検出部１４０ｄｐと共に記憶する。以下で詳述するように、様々な実施例において、一般化モデルの決定は、訓練画像から訓練画像要素を決定することと、これらの訓練画像要素に基づいて異常検出分類指標を決定することと、を含み得る。モデルの使用に従って、欠陥検出に用いられる画像の外見／品質が、欠陥検出部１４０ｄｐの訓練に用いた画像からあまりにも大きく逸脱している場合（例えば画像が異常と分類され得る）、指定されたアクションを実行することができる（例えば、ユーザにアラートを出す及び／又はシステムを調整する等）。例えばユーザ又はシステムは、撮像条件、照明条件、及び／又はワークピース条件を調整すること、又は欠陥検出部１４０ｄｐを再訓練することのいずれかを実行して、逸脱を補償すると共に欠陥検出システムの良好な性能を維持することができる。
上述したように（また、図３Ａから図３Ｆ、図４Ａから図４Ｅ、及び図５Ａから図５Ｄの様々な例で示すように）、多種多様なものであり得る訓練画像は、一般化モデルを決定するために訓練画像セットを使用する重要性を示すのに役立つ。より具体的に述べると、訓練画像は様々な特徴を有し得るので、本明細書に開示される原理に従って、そのような差の正確な表現を決定することが有益である（例えば、様々な訓練画像要素とそれらに関連する異常検出分類指標の範囲又は他の測度に対応する）。これは、特定の画像（例えば、訓練画像から決定した特徴の特定の許容可能範囲や閾値等から逸脱している特徴を有する）を異常として分類する異常検出プロセスの精度を保証するのに役立つ。
上記のように、図３Ａから図３Ｆ及び図４Ａから図４Ｅは、比較的「平坦な」機械加工アルミニウムプレートであるワークピースのセクションのワークピース画像の例である。各画像は、同じ角度の視点（例えばプレートに対して９０度の角度の真上）から取得されるが、それぞれプレート上の異なるＸＹ位置にある。各画像は、プレート表面の約２．５ミリメートル×１．９ミリメートル（ＸＹ）の図を示す。従って、各画像はプレート表面の一部の拡大図を示す。プレート表面上に形成された機械加工マークは、通常は表面全体にわたって変動するハッシュテクスチャを生成する。これらの画像において、このような拡大スケールでは、比較的平坦なプレートが平坦に見えないことがある。本例では、ハッシュ機械加工マーク突起部のいくつかの高さは約５マイクロメートル以下であり得る。
図３Ａから図３Ｆに示されている機械加工アルミニウムプレートのセクションは欠陥を含まない。言い換えると、図３Ａから図３Ｆは、「非欠陥」である機械加工アルミニウムプレートのセクションの画像の例を示す。これに対して図４Ａから図４Ｅは、欠陥を含むワークピースのセクションの画像の例を示す。図４Ａから図４Ｅに示されている画像は図３Ａから図３Ｆに示されているものと同様であるが、図４Ａから図４Ｅの画像は機械加工アルミニウムプレートの表面上に形成された欠陥４０２を含む点が異なっている。これらの例における欠陥４０２は、機械加工アルミニウムプレートの表面に形成されたスクラッチである。より具体的には、図４Ａはスクラッチ欠陥４０２Ａ１及び４０２Ａ２を示し、図４Ｂはスクラッチ欠陥４０２Ｂ１及び４０２Ｂ２を示し、図４Ｃはスクラッチ欠陥４０２Ｃ１及び４０２Ｃ２を示し、図４Ｄはスクラッチ欠陥４０２Ｄを示し、図４Ｅはスクラッチ欠陥４０２Ｅ１及び４０２Ｅ２を示す。上記のように、図３Ａから図３Ｆ及び図４Ａから図４Ｅに示されている欠陥及びワークピース表面の多種多様な特徴は、異常検出プロセスの精度の向上に役立てるため、欠陥検出部１４０ｄｐの訓練に多数の訓練画像を使用することが望ましい理由（例えば、訓練画像セットは典型的に多数の欠陥ワークピース画像と非欠陥ワークピース画像を含む）、従って、訓練画像要素とそれらに関連する異常検出分類指標の決定において多種多様な訓練画像を使用することが望ましい理由を説明するのに役立つ。
図５Ａから図５Ｄは、図１のものと同様のマシンビジョン検査システムを用いて取得され得る、欠陥あり及び欠陥なしのワークピースの同様の部分の画像の例である。図５Ａは、「非欠陥」と分類され得るプレートの例示的なセクションを示す。図５Ｂから図５Ｄは、「欠陥」と分類され得るプレートのセクションの画像の例を示し、各画像はスクラッチ欠陥５０２を含む（例えば、各スクラッチ欠陥５０２Ｂ、５０２Ｃ、及び５０２Ｄを含む）。図５Ａから図５Ｄの例において、画像はワークピースの同様の部分のものである（例えば、これらの部分の表面上に形成された機械加工マークのタイプは各画像で同様であるか又は実質的に同一であり、これらの画像間の主な差は各スクラッチ欠陥５０２Ｂ、５０２Ｃ、及び５０２Ｄの特徴である）。１つの例示的な実施例において、図５Ａから図５Ｃの画像は欠陥検出部１４０ｄｐを訓練するための訓練画像セットの一部として含まれ得る。図５Ｄの画像は、欠陥画像又は非欠陥画像のどちらに分類するべきかを判定するため欠陥検出部１４０ｄｐによって解析され得る実行モード画像の一例とすることができる。様々な実施例において、欠陥検出部１４０ｄｐは、図５Ｄの画像を欠陥画像に適正に分類できるよう充分に訓練されている可能性がある（例えば、同様のワークピース部分を含むと共にスクラッチ欠陥５０２Ｄと同様のいくつかの特徴を有するスクラッチ欠陥５０２Ｂ及び５０２Ｃを含む図５Ａから図５Ｃの訓練画像によって訓練されている）。様々な実施例では、例示的なスクラッチ欠陥５０２Ｄに関していくつかの追加プロセスが実行され得る。例えば、欠陥検出プロセスと共に１つ以上の計測プロセスを実行し、例示的なスクラッチ欠陥５０２Ｄの様々な寸法又は他の特徴を決定することができる。これについては以下で図６に関連付けて詳述する。また、以下で図７Ａから図７Ｊ及び図８Ａから図８Ｆに関連付けて詳述するように、様々な実行モード画像（例えば、特定の例では図５Ａ及び図５Ｄの画像と同様であり、これらと比較できる）において異常のばらつきが生じる可能性がある。
図６は、（例えば欠陥の寸法等を決定するため）欠陥を含むワークピースの画像上で計測動作を実行するための１つ以上のビデオツールの利用を示す図である。図示のように、スクラッチ欠陥６０２（例えばスクラッチ欠陥５０２Ｄと同様又は同一であり得る）を含む画像６０１（例えば図５Ｄの画像と同様又は同一であり得る）に対して、ビデオボックスツール６０６は、スクラッチ欠陥６０２のエッジ位置、寸法、及び／又は他の特徴（aspect）を決定するため使用される走査線６０８を含む（例えば、追加的に又は代替的にビデオポイントツール等を表し得る）。種々の例示的な実施例において、ビデオボックスツール６０６は、関心領域（例えばボックスツール６０６内のエリア）を示すか又は画定するまで大きさを調整し、配置し、回転させることができる。図６に示されている矢印（例えば走査線やポイントツール等を表す）を用いて、スクラッチ欠陥６０２の１又は複数のエッジを決定することができる。種々の例示的な実施例において、ビデオボックスツール６０６は概して、関心領域内の欠陥６０２の１又は複数のエッジに沿って１以上の従来のエッジ勾配を使用することができ、様々な走査線６０８等に沿った１又は複数のエッジ勾配の局所的な大きさに基づいて欠陥６０２の１又は複数のエッジを決定できる。
種々の例示的な実施例において、このような計測動作は、特定の形態学的フィルタリング又は他のフィルタリングを実行することも含み得る（例えば、スクラッチのエッジをワークピースの機械加工パターンから区別するため。）図６に示されているように、画像内に含まれる表示エリアで、走査線６０８と共にボックスツール６０６を用いて、スクラッチ欠陥６０２のエッジ位置（例えば外縁又は外周）を決定する。このような決定に基づいて、ビデオツール及び／又は他の計測動作は、スクラッチ欠陥の寸法Ｄ１（例えばスクラッチ欠陥６０２の長さ又は他の寸法に相当する）を決定することを含み得る。種々の例示的な実施例では、ボックスツール６０６、走査線６０８、及び／又は他のビデオツール及び／又は計測動作を利用して、スクラッチ欠陥６０２の他の寸法（例えば幅や深さ等）を決定することも可能である。例えば、上述のようにビデオツール部１４３はＺ高さ測定ツール部１４３ｚを含むことができ、スクラッチ欠陥のＺ高さ寸法を決定するために対応するビデオツール又は動作を使用できる（例えば、ワークピース表面の他の部分又は要素に対するスクラッチの深さを決定すること等を含む）。
欠陥検出部の一般的な動作の一部として、検出されるいくつかの欠陥では、更に計測又は検査を行って追加の欠陥パラメータを決定することが必要となり得る。例えば、上記のように、（例えば上述したビデオツール及び／又は他の動作を利用した）スクラッチ欠陥６０２を含む欠陥画像の様々なタイプの解析及び／又は処理により、欠陥６０２のＸＹ位置及び近似的なＸＹ面積及び／又は他の寸法を決定することが可能となる。潜在的欠陥の３Ｄ特性が重要である場合（例えば、欠陥と見なされる特定の値よりもスクラッチが深いはずである場合）、欠陥検出部１４０ｄｐは、（例えばＺ高さ測定ツール部１４３ｚの）Ｚ高さ測定ツールを利用するためのプロセス、又は（例えばスクラッチの深さ等を決定するため影響を受ける領域の３Ｄポイントクラウドを取得するための）他の３Ｄ検知プロセスを開始することができる。
以下で詳述するように、図７Ａから図７Ｊは、図１のものと同様のマシンビジョン検査システムによって取得され得る、欠陥あり及び欠陥なしの（例えば図５Ａ及び図５Ｄと同様の）様々な輝度レベルのワークピースの同様の部分の画像の例である。様々な輝度レベルに関して、様々な例示の実施例では、上述したように、訓練画像を解析して（例えば輝度及び／又は他の特徴に関する）訓練画像要素を決定し、これらの訓練画像要素に基づいて対応する異常検出分類指標を決定することができる。このような決定に従い、１つの具体例の実施例において、マシンビジョン検査システム１００は訓練画像に関して、ワークピース２０の照明に用いられる透過照明光源２２０、落射照明光源２３０、及び／又は斜め照明光源２４０のベースライン輝度の約±１５％でロバストな性能精度を提供できるように決定され得る。透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０を使用するにつれて、経時的にそれぞれの輝度は劣化する可能性がある。あるいは、又はそれに加えて、透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０の輝度は、訓練画像の取得に用いたものとは著しく異なる値に不注意で設定されることがあり、結果として画像欠陥検出性能精度が低下し得る。あるいは、又はそれに加えて、カメラ開口又は他の光伝送光学要素（例えばレンズ、ミラー、フィルタ等）は、訓練画像の取得に用いた条件又は設定から変化することがあり、結果としてカメラ撮像器（camera imager）に到達する光が増減し得る。あるいは、又はそれに加えて、周囲室内光は訓練画像の取得時の強度から変化することがあり、結果としてカメラ撮像器に到達する光が増減し得る。従って、検査対象の画像の輝度がベースライン輝度の±１５％を超えているか否かを判定し（例えば、ベースライン輝度の±１５％は異常検出分類指標を表し得る）、輝度がロバストな欠陥検出性能精度が得られる範囲外である場合は指定されたアクションを実行する（例えば、ワークピース２０の照明条件に問題があることをユーザに警告する、及び／又は光設定等の１つ以上を調整する）ために、マシンビジョン検査システム１００によって発生した画像データを検査することが望ましい場合がある。
従って、欠陥検出部１４０ｄｐは画像データ監視及び異常検出サブシステムを含み得る。このサブシステムは、ワークピースの画像に対応する画像データを処理し、この画像データが、ロバストな性能精度が得られる範囲（例えばベースライン輝度の±１５％）外の輝度で発生したか否かを検出することができる。訓練画像セットを用いて画像データ監視及び異常検出サブシステムを訓練した後、画像データ監視及び異常検出サブシステムは、動作中の画像データがロバストな性能精度が得られる範囲外の輝度で発生されたか否かを検出できる。
図７Ａから図７Ｊは、図１のものと同様のマシンビジョン検査システムによって例えば実行モード中に取得され得る及び／又は訓練画像として使用され得る、欠陥あり及び欠陥なしの、様々な輝度レベルのワークピースの同様の部分の画像の例である。図７Ａから図７Ｊの例において、画像はワークピースの同様の部分のものである（例えば、これらの部分の表面上に形成された機械加工マークのタイプは各画像で同様であるか又は実質的に同一であり、これらの画像間の主な差は輝度レベルである）。図７Ａから図７Ｅの画像は非欠陥画像であり（例えば図５Ａの画像と比較することができる）、図７Ｆから図７Ｊの画像は欠陥画像である（例えば図５Ｄと比較することができ、欠陥５０２Ｄと同様の欠陥７０２Ｆ〜７０２Ｊを含む）。
１つの例示の実施例において、画像データ監視及び異常検出サブシステムは、画像データが示す輝度（例えば平均輝度）がベースライン輝度の±１５％以内である場合はこの画像データを「正常」又は「非異常」と分類し、画像データが示す輝度がベースライン輝度の±１５％以内でない場合はこの画像データを「アブノーマル（abnormal）」又は「異常（anomalous）」と分類するように訓練できる。例えば、画像データ監視及び異常検出サブシステムが、画像データがベースライン輝度の±２５％の輝度を示すと判定した場合、画像データ監視及び異常検出サブシステムはこの画像データを「アブノーマル」又は「異常」と分類できる。
図７Ａは、ベースライン輝度を有するワークピースの非欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ａの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図７Ｂは、ベースライン輝度よりも２５％低い輝度を有するワークピースの非欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｂの画像に対応する画像データを「アブノーマル」又は「異常」と分類することができる。
図７Ｃは、ベースライン輝度よりも１５％低い輝度を有するワークピースの非欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｃの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図７Ｄは、ベースライン輝度よりも１５％高い輝度を有するワークピースの非欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｄの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図７Ｅは、ベースライン輝度よりも２５％高い輝度を用いてワークピースを照らしている間にキャプチャされたワークピースの非欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｅの画像に対応する画像データを「アブノーマル」又は「異常」と分類することができる。
図７Ｆは、ベースライン輝度を有するワークピースの欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｆの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図７Ｇは、ベースライン輝度よりも２５％低い輝度を有するワークピースの欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｇの画像に対応する画像データを「アブノーマル」又は「異常」と分類することができる。
図７Ｈは、ベースライン輝度よりも１５％低い輝度を有するワークピースの欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｈの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図７Ｉは、ベースライン輝度よりも１５％高い輝度を有するワークピースの欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｉの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図７Ｊは、ベースライン輝度よりも２５％高い輝度を有するワークピースの欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図７Ｊの画像に対応する画像データを「アブノーマル」又は「異常」と分類することができる。
１５％及び２５％の輝度レベルを示す画像対のいくつか（例えば図７Ｂと図７Ｃ、図７Ｄと図７Ｅ、図７Ｇと図７Ｈ、及び図７Ｉと図７Ｊの画像）は、人の目には大きく異なるように見えないことがあるが、このような差は欠陥検出部１４０ｄｐの動作にとって有意であり得ることは認められよう。例えばいくつかの実施例において、ベースライン輝度レベルに対して２５％の輝度レベル差は、欠陥検出部１４０ｄｐが、欠陥（例えば欠陥７０２Ｇ及び７０２Ｊ）と正常なワークピース表面の要素とを正確に区別できる（例えば図７Ｇ及び図７Ｊの画像の他の表面部分及び／又はそのような欠陥が図７Ｂ及び図７Ｅ等の画像内に存在するか否かの判定に関する）能力を阻害すると判定され得る。
以下で詳述するように、図８Ａから図８Ｆは、図１のものと同様のマシンビジョン検査システムによって取得され得る、欠陥あり及び欠陥なしの（例えば図５Ａ及び図５Ｄと同様の）様々な合焦レベルのワークピースの同様の部分の画像の例である。様々な合焦レベルに関して、様々な例示の実施例では、上述したように、訓練画像を解析して（例えば合焦及び／又は他の特徴に関する）訓練画像要素を決定し、これらの訓練画像要素に基づいて対応する異常検出分類指標を決定することができる。このような決定に従い、１つの具体例の実施例において、マシンビジョン検査システム１００は訓練画像に関して、カメラシステム２６０の許容可能な被写界深度（ＤＯＦ：depth of field）範囲内の関心ワークピース表面を用いて画像が取得された場合にロバストな性能精度を提供できるよう決定され得る。カメラシステムのＤＯＦをベストフォーカス距離からのワークピースの距離と比較して、画像における合焦又はデフォーカスの相対的な量を示すことができる。ベストフォーカス距離を中心としたあるＤＯＦ範囲内のワークピースを用いてキャプチャされた画像は良好な合焦と見なされるが、ベストフォーカス距離からより離れていても何らかの閾値ＤＯＦ範囲（例えばＤＯＦの４倍）よりも小さい距離にあるワークピースを用いてキャプチャされた画像は、依然としてロバストな欠陥検出性能精度が得られる許容可能デフォーカス量を有すると見なされ得る。これに対して、閾値ＤＯＦ範囲外（例えばＤＯＦの４倍の範囲外であり、ベストフォーカス距離よりもカメラシステムに対して遠い又は近いＤＯＦの６倍等）のワークピースを用いてキャプチャされた画像は、ロバストな欠陥検出性能精度が得られない許容できないデフォーカス量を有すると見なされ得る。
図８Ａから図８Ｆは、図１のものと同様のマシンビジョン検査システムによって例えば実行モード中に取得され得る及び／又は訓練画像として使用され得る、欠陥あり及び欠陥なしの、様々な合焦レベルのワークピースの同様の部分の画像の例である。図８Ａから図８Ｆの例において、画像はワークピースの同様の部分のものである（例えば、これらの部分の表面上に形成された機械加工マークのタイプは各画像で同様であるか又は実質的に同一であり、これらの画像間の主な差は合焦レベルである）。図８Ａから図８Ｃの画像は非欠陥画像であり（例えば図５Ａの画像と比較することができる）、図８Ｄから図８Ｆの画像は欠陥画像である（例えば図５Ｄと比較することができ、欠陥５０２Ｄと同様の欠陥８０２Ｄ〜８０２Ｆを含む）。
１つの例示の実施例において、画像データ監視及び異常検出サブシステムは、画像データがシステムＤＯＦの４倍以内のデフォーカスを示す場合はこの画像データを「正常」又は「非異常」と分類し、画像データがベースラインＤＯＦの４倍以内のデフォーカスを示さない場合はこの画像データを「アブノーマル」又は「異常」と分類するように訓練できる。例えば、画像データ監視及び異常検出サブシステムが、画像データがシステムＤＯＦの８倍のデフォーカスを示すと判定した場合、画像データ監視及び異常検出サブシステムはこの画像データを「アブノーマル」又は「異常」と分類できる（例えば、ユーザに警告を出すこと及び／又はシステムを自動的に調整すること、例えばより良い合焦の達成のためレンズ又はワークピースの位置等を調整する等、指定されたアクションを実行できる）。
図８Ａは、ベストフォーカスのシステムＤＯＦ内に合焦を有するワークピースの非欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図８Ａの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図８Ｂは、システムＤＯＦの４倍だけベストフォーカスからデフォーカスしているワークピースの非欠陥画像である。例えば、許容可能な画像のデフォーカス閾値がＤＯＦの４倍である場合、この画像のデフォーカス量は許容可能な公差内にあるので、ユーザ警告を提供するべきではない。従って、画像データ監視及び異常検出サブシステムは、図８Ｂの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図８Ｃは、システムＤＯＦの８倍だけベストフォーカスからデフォーカスしているワークピースの非欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図８Ｃの画像に対応する画像データを「アブノーマル」又は「異常」と分類することができる。このため、画像データ監視及び異常検出サブシステムは、ユーザ警告を出す、及び／又は、この画像が欠陥検出プロセスに適していると見なされないことに関して別のアクションを取る（例えば、許容可能ＤＯＦを生じるようにカメラシステム２６０のコンポーネントのパラメータ又は位置の調整を行う）。
図８Ｄは、ベストフォーカスのシステムＤＯＦ内に合焦を有するワークピースの欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図８Ｄの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図８Ｅは、システムＤＯＦの４倍だけベストフォーカスからデフォーカスしているワークピースの欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図８Ｅの画像に対応する画像データを「正常」又は「非異常」と分類することができる。
図８Ｆは、システムＤＯＦの８倍だけベストフォーカスからデフォーカスしているワークピースの欠陥画像である。本例に従って、画像データ監視及び異常検出サブシステムは、図８Ｆの画像に対応する画像データを「アブノーマル」又は「異常」と分類することができる。
上述したように、図７Ａから図７Ｊ及び図８Ａから図８Ｆに示されているものと同様の画像に対応する画像データは、画像データ監視及び異常検出サブシステムによって正常／非異常又はアブノーマル／異常と分類される実行モード画像に対応し得る。様々な実施例では、このような画像は、欠陥検出部１４０ｄｐの画像データ監視及び異常検出サブシステムを訓練するため用いられる訓練画像セットに含まれる訓練画像を表し得る。いくつかの実施例において、そのような画像は、画像データ監視及び異常検出サブシステムを訓練する際に有用な特定の品質を有するよう拡張された画像データに基づくことができる。例えば、拡張画像セットに対応する画像データは、拡張限界（augmentation limit）を示すパラメータに基づいて発生され得る。様々な実施例において、拡張限界を示すパラメータは自動的に定義され得る。
更に、（例えば訓練画像を発生するための）拡張限界を示すパラメータは、ユーザの制御のもとで定義することも可能である。図９は、拡張限界を示すパラメータを定義するために使用できる画像拡張グラフィカルユーザインタフェース９００の一例である。画像拡張グラフィカルユーザインタフェース９００は、選択されたベースライン画像９０２を表示する。
画像拡張グラフィカルユーザインタフェース９００は、チェックされると輝度拡張機能を使用可能とするチェックボックス９０４を含む。輝度拡張機能によってユーザは、拡張訓練画像を発生するための輝度下限を示すパラメータと輝度上限を示すパラメータを指定することができる。より具体的には、グラフィカルユーザインタフェース９００はハンドル９０８を有するスライダ９０６を含み、ユーザ入力デバイス（例えばマウス）によってハンドル９０８を選択し動かして、表示されている輝度下限（例えば５）を示すパラメータの値９１０を設定できる。対応する画像９１２が表示されており、これは、輝度下限を示すパラメータに基づく低い輝度を有するように修正されたベースライン画像９０２のコピーである。同様に、グラフィカルユーザインタフェース９００はハンドル９１６を有するスライダ９１４を含み、ハンドル９１６を動かして、輝度上限（例えば７）を示すパラメータの値９１８を設定できる。対応する画像９２０が表示されており、これは、輝度上限を示すパラメータに基づく高い輝度を有するように修正されたベースライン画像９０２のコピーである。
また、画像拡張グラフィカルユーザインタフェース９００は、チェックされると合焦拡張機能を使用可能とするチェックボックス９２２も含む。合焦増拡張能によってユーザは、拡張訓練画像を発生するための許容可能な合焦範囲を示すパラメータを指定することができる。より具体的には、グラフィカルユーザインタフェース９００はハンドル９２６を有するスライダ９２４を含み、ハンドル９２６を選択し動かして、システム被写界深度の倍数として（例えばＤＯＦの３倍）ベストフォーカス距離を中心とする許容可能合焦範囲を示すパラメータの値９２８を設定できる。対応する画像９３０が表示されており、これは、被写界深度を示すパラメータに基づいてデフォーカスするよう修正されたベースライン画像９０２のコピーである。
また、画像拡張グラフィカルユーザインタフェース９００は、チェックされるとノイズ拡張機能を使用可能とするチェックボックス９３２も含む。ノイズ拡張機能によってユーザは、拡張訓練画像を発生するためのノイズ量を示すパラメータを指定することができる。より具体的には、グラフィカルユーザインタフェース９００はハンドル９３６を有するスライダ９３４を含み、ハンドル９３６を選択し動かして、ロバストな欠陥検出精度が望まれる最大デジタルノイズ量（例えば１０）を示すパラメータの値９３８を設定できる。対応する画像９４０が表示されており、これは、ノイズ量を示すパラメータに基づく追加のノイズを含むように修正されたベースライン画像９０２のコピーである。
画像拡張グラフィカルユーザインタフェース９００を用いて設定された様々なパラメータを用いて、拡張画像セットのための追加の画像データを発生できる。種々の例示的な実施例では、ベースライン画像９０２に基づいて画像９１２、９２０、９３０、及び９４０に対応する画像データを発生するため用いられる様々な拡張パラメータの同一の値（例えば９１０、９１８、９２８、９３８）を、訓練画像セットの画像データの全て又は選択されたサブセットに適用して、拡張画像セットのための追加の画像データを発生することができる。
図１０及び図１１は、図１のものと同様のマシンビジョン検査システムを動作させるための方法１０００のフロー図を示す。方法１０００は１０１０で開始する。１０１０では、複数の訓練画像を取得する。具体例として、１つの実施例では、図３Ａから図３Ｆ、図４Ａから図４Ｅ、及び図５Ａから図５Ｄの画像のいくつかの又は全てを取得し、訓練画像として使用することができる。これらの図では限られた数の例示的な訓練画像が示されているが、様々な実施例では、異なる数（例えば５０、１００、１５０等）の訓練画像が利用され得ることは認められよう。様々な実施例において、複数の訓練画像のうち少なくともいくつは欠陥検出部を訓練するため使用される。例えば訓練画像は、カメラシステム２６０によって取得され、訓練モードで動作している欠陥検出部１４０ｄｐに入力されるワークピースの原画像を含み得る（例えば図３Ａから図３Ｆ、図４Ａから図４Ｅ、及び図５Ａから図５Ｄの画像等）。更に、複数の訓練画像は、例えば図９に示されている画像拡張グラフィカルユーザインタフェース９００を用いて生成された拡張画像セットを含み得る。方法１０００は次いで１０２０に進む。
１０２０では、１０１０で取得した複数の訓練画像から複数の訓練画像要素を決定する。様々な実施例において、訓練画像要素（例えば自動的に決定される及び／又は少なくとも部分的にシステム設計者によって決定される）は、平均画像輝度、輝度の標準偏差、グレースケールヒストグラム、支配的な周波数（例えば高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を実行することで得られる）、及び平均コントラスト測度等の要素を含み得る。方法１０００は次いで１０３０に進む。
１０３０では、１０２０で決定した複数の訓練画像要素に少なくとも部分的に基づいて、複数の異常検出分類指標を決定する。種々の例示的な実施例では、自動プロセス及び／又はシステム設計者が、決定した訓練画像要素に少なくとも部分的に基づいて異常検出分類指標を決定することができる。例えば、ベースライン画像輝度の±１５％内にない平均画像輝度を有する画像データを異常と分類すること、及び／又はシステム被写界深度（ＤＯＦ）の４倍よりも大きくベストフォーカスからデフォーカスしていることを示す画像データを異常と分類すること、他の場合は画像データを正常又は非異常と分類することを決定できる。様々な実施例において、訓練画像要素は（例えば予め訓練した畳み込みニューラルネットワーク等によって）自動的に抽出され、これらの抽出した要素から、「正常な」訓練データセットの一般化モデルを生成する（例えば定義する、訓練する、フィッティングする）ことができる（例えば、様々なタイプのモデルは、選択された要素に関する手作業で定義された閾値、ベクトル類似性に基づく閾値（例えば手作業で調節され得る）、単一クラスサポートベクトルマシン（異常検出器）、又はオートエンコーダ（異常検出器）等を含み得る）。種々の代替的な実施例では、合成データセットも生成され得る。この場合、様々な要素の変更／変動／摂動（perturb）を行って（又は行わずに）異常画像と正常画像をシミュレーションし、合成データセット内で正常画像と異常画像を区別できるように２クラスの分類器（two-class classifier）を訓練すればよい。種々の例示的な実施例において、２クラスの分類器は、要素を分類するために用いられ、ロジスティック回帰分析、最近傍分析、判別分析、ナイーブベイズ（Naive Bayes）分類器、決定木、サポートベクトルマシン（ＳＶＭ：support vector machine）、ニューラルネットワーク、分類器の組み合わせ、又はＩｍａｇｅＮｅｔで訓練された従来のネットワーク、例えばZeiler及びFergusが「Visualizing and Understanding Convolutional Networks」（arXiv:1311.2901v3 [cs.CV], 2013年11月28日、援用により全体が本願に含まれる）で記載されているようなものに基づき得る。このようなプロセスと共に、画像を異常とする要素を識別することができる（例えば異常の理由等を識別できる）。様々な実施例において、訓練画像が拡張画像セットを含む場合、要素は拡張画像から抽出することができ、少なくともいくつかの要素は、少なくとも部分的に、使用した拡張タイプによって定義できる（例えば平均画像輝度、輝度の標準偏差、グレースケールヒストグラム、支配的な周波数（ＦＦＴ）、平均コントラスト測度、画像ノイズ測度等）。場合によっては、比較的単純な限界ベースの異常検出器を生成して、拡張画像セットの範囲内の要素を「正常」と見なすと共に、これらの範囲外の要素を「異常」と見なすことができる（例えば、画像を異常と分類する比較的単純な要素の識別（すなわち理由）も可能とし得る）。方法１０００は次いで１０４０に進む。
１０４０では、実行モード中にワークピースの実行モード画像を取得する。例えば、１０１０で訓練画像を取得するために用いたものと同じカメラシステムを用いて、ワークピースの実行モード画像を取得する。方法１０００は次いで１０５０に進む。
１０５０では、実行モード画像から複数の要素を決定する。例えば、実行モード画像からの要素は、実行モード画像の平均輝度に対応する値とデフォーカスレベルに対応する値とを含み得る。方法１０００は次いで１０６０に進む。
１０６０では、１０５０で決定した実行モード画像の複数の要素に基づいて、１０３０で決定した異常検出分類指標を用いて、１０４０で取得した実行モード画像を非異常（例えば正確な欠陥検出のため許容可能）又は異常（例えば正確な欠陥検出のため許容できない）に分類する。例えば１０５０で、実行モード画像の平均輝度が異常に特有の値を有し、かつ、実行モード画像がベースラインＤＯＦに対応する合焦を有すると判定された場合、１０３０で決定した異常検出分類指標に基づいて、実行モード画像は異常と分類される。一例として、実行モード画像が異常（例えば欠陥検出のため許容できない）又は非異常と分類される場合、これに応じて画像に異常又は非異常を示すフラグを設定することができる（例えば、フラグ設定の条件は画像データ等に関連付けて記憶するか又は他の手法で示される）。方法１０００は次いで１０７０に進む。
１０７０では、実行モード画像が異常と分類されたか否かについて判定する。例えば、実行モード画像に対応する画像データを含むファイルが、異常又は非異常のどちらにフラグ設定されて、対応する異常又は非異常のどちらの分類を示しているかを判定する。実行モード画像が異常と分類されたと判定される場合、方法１０００は１０８０に進む。実行モード画像が異常に分類されたと判定されない場合、方法１０００は１０９０に進む。
１０８０では、異常画像のためのプロセスを実行する。例えば、指定されたアクションを実行すればよい（例えばユーザにアラートを出す及び／又はシステムを調整する等）。様々な実施例では、異常の理由を識別することができ（例えば、異常である要素又は異常である画像の原因となる要素を識別できる）、場合によっては、画像が異常である理由についてユーザにメッセージ又は他の指示を提供する、及び／又はシステムをそれに応じて調整することができる。様々な実施例において、システムの調整は、撮像条件、照明条件、合焦条件、及び／又はワークピース条件を調整することを含み得る。このような調整の例は、光源の輝度を調整すること、対物レンズの位置を調整すること、及び／又はワークピースの位置を調整すること等を含み得る。
任意選択的に、１１９０では（又は、方法１０００の他の時点で及び／又は方法１０００のいくつかの部分と並行して実行され得る）、欠陥検出部を用いて、実行モード画像が欠陥画像と分類されるか否かを判定する。例えば、実行モード画像に対応する画像データを、（例えば欠陥検出部１４０ｄｐの一部としての）欠陥検出部に入力することができる。１つの例示的な実施例では、欠陥検出部はニューラルネットワークによるマルチラベル画像分類に基づくことができ、これは欠陥検出部１４０ｄｐによって実施され、訓練画像セットを用いて欠陥を検出するよう訓練されている。これに応じて、欠陥検出部はワークピース画像内で欠陥の特徴を有する複数の画素を識別し、従って実行モード画像を欠陥画像と分類することを判定できる。方法１０００は次いで１０９５に進む。
１０９５では、追加の実行モード画像を取得するか否かについて判定を行う。例えば、多数の画像が取得され続けること、及び／又はユーザが別のワークピース画像の検査を指示するためボタンを押すかもしくはグラフィカルユーザインタフェースを用いてアイコンを選択することに応答して、追加の実行モード画像を取得することを決定する。追加の実行モード画像を取得する場合、方法１０００は１０４０に進む。追加の実行モード画像を取得しない場合、方法１０００は終了する。
本開示の好適な実施例について図示及び記載したが、本開示に基づいて、図示及び記載した要素の構成及び動作のシーケンスにおける多数の変形が当業者には明らかであろう。種々の代替的な形態を用いて本明細書に開示された原理を実施することができる。
本明細書において、様々な特許及び出願の概念を用いて更に別の実施例を提供するために必要な場合、上述の実施例の態様は変更可能である。上記に詳述した記載に照らして、実施例にこれら及び他の変更を行うことができる。一般に、以下の特許請求の範囲において、使用される用語は本明細書及び特許請求の範囲に開示される特定の実施例に特許請求の範囲を限定するものとして解釈されず、そのような特許請求の範囲の権利が与えられる（entitled）均等物の全範囲に加えて全ての可能な実施例を包含するものとして解釈されるべきである。

Claims (21)

  1. 光源と、
    前記光源によって照らされたワークピースの表面から発する画像光を入力し、前記画像光を撮像光路に沿って透過するレンズと、
    前記撮像光路に沿って透過された撮像光を受光し、前記ワークピースの画像を提供するカメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサに接続され、プログラム命令を記憶するメモリと、
    を備えるワークピース検査及び欠陥検出システムであって、前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、少なくとも、
    欠陥検出部を訓練するために用いられる複数の訓練画像の少なくともいくつかを取得することと、
    前記複数の訓練画像から複数の訓練画像要素を決定することと、
    決定された前記訓練画像要素に少なくとも部分的に基づいて複数の異常検出分類指標を決定することと、
    前記カメラを用いてワークピースの第１の実行モード画像を取得することと、
    前記ワークピースの前記第１の実行モード画像から複数の要素を決定することと、
    前記ワークピースの前記第１の実行モード画像から決定された前記要素に少なくとも部分的に基づいて、前記異常検出分類指標を用いて前記ワークピースの前記第１の実行モード画像が異常と分類されるか否かを判定することと、
    を前記１つ以上のプロセッサに実行させる、ワークピース検査及び欠陥検出システム。
  2. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記異常検出分類指標を用いて、ワークピースの第２の実行モード画像が非異常と分類されるか否かを判定することと、
    前記欠陥検出部を用いて前記第２の実行モード画像を解析して、前記ワークピースの前記第２の実行モード画像が前記ワークピースの欠陥を含む欠陥画像に分類されるか否かを判定することと、
    を前記１つ以上のプロセッサに更に実行させる、請求項１に記載のシステム。
  3. 前記ワークピースの前記第１の実行モード画像は、前記異常検出分類指標の利用によって異常と分類される、請求項１に記載のシステム。
  4. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記ワークピースの前記第１の実行モード画像が異常と分類されたことに基づいて、撮像条件、照明条件、又はワークピース条件のうち少なくとも１つに問題があることを示すメッセージを発生させること、
    を前記１つ以上のプロセッサに更に実行させる、請求項３に記載のシステム。
  5. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記ワークピースの前記第１の実行モード画像が異常と分類される理由を決定すること、
    を前記１つ以上のプロセッサに更に実行させる、請求項３に記載のシステム。
  6. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記ワークピースの前記第１の実行モード画像が異常と分類される前記理由を示すメッセージを発生させること、
    を前記１つ以上のプロセッサに更に実行させる、請求項５に記載のシステム。
  7. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記第１の実行モード画像が異常と分類される前記理由を決定した後、前記光源の輝度、又は前記光源の位置、又は前記カメラもしくはワークピースのうち少なくとも１つに対する前記レンズまたはレンズ要素の位置のうち少なくとも１つを調整すること、
    を前記１つ以上のプロセッサに更に実行させる、請求項５に記載のシステム。
  8. ワークピース検査及び欠陥検出システムを動作させる方法であって、
    前記ワークピース検査及び欠陥検出システムの光源、レンズ、及びカメラを使用して、欠陥検出部を訓練するための複数の訓練画像を取得することと、
    前記訓練画像から複数の訓練画像要素を決定することと、
    前記訓練画像要素に少なくとも部分的に基づいて複数の異常検出分類指標を決定することと、
    ワークピースの第１の実行モード画像を取得することと、
    前記ワークピースの前記第１の実行モード画像から複数の要素を決定することと、
    前記ワークピースの前記第１の実行モード画像から決定された前記要素に少なくとも部分的に基づいて、前記異常検出分類指標を用いて前記ワークピースの前記第１の実行モード画像が異常と分類されるか否かを判定することと、
    を含む方法。
  9. 前記異常検出分類指標を用いて、ワークピースの第２の実行モード画像が非異常と分類されるか否かを判定することと、
    前記欠陥検出部を用いて前記第２の実行モード画像を解析して、前記ワークピースの前記第２の実行モード画像が前記ワークピースの欠陥を含む欠陥画像に分類されるか否かを判定することと、
    を更に含む、請求項８に記載の方法。
  10. 前記ワークピースの前記第１の実行モード画像は、前記異常検出分類指標の利用によって異常と分類される、請求項８に記載の方法。
  11. 前記方法は、前記ワークピースの前記第１の実行モード画像が異常と分類されたことに基づいて、撮像条件、照明条件、又はワークピース条件に問題があることを示すメッセージを発生させることを更に含む、請求項１０に記載の方法。
  12. 前記方法は、前記第１の実行モード画像が異常と分類される理由を決定することを更に含む、請求項１０に記載の方法。
  13. 前記ワークピースの前記第１の実行モード画像が異常と分類される前記理由を示すメッセージを発生させることを更に含む、請求項１２に記載の方法。
  14. 前記第１の実行モード画像が異常と分類される前記理由の前記決定の後、前記光源の輝度、又は前記光源の位置、又は前記カメラもしくはワークピースのうち少なくとも１つに対する前記レンズまたはレンズ要素の位置のうち少なくとも１つを調整することを更に含む、請求項１２に記載の方法。
  15. プログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記プログラム命令は、１つ以上のプロセッサによって実行された場合、少なくとも、
    前記ワークピース検査及び欠陥検出システムの光源、レンズ、及びカメラを使用して、欠陥検出部を訓練するための複数の訓練画像を取得することと、
    前記複数の訓練画像から複数の訓練画像要素を決定することと、
    前記決定した訓練画像要素に少なくとも部分的に基づいて複数の異常検出分類指標を決定することと、
    前記カメラを用いてワークピースの第１の実行モード画像を取得することと、
    前記ワークピースの前記第１の実行モード画像から複数の要素を決定することと、
    前記ワークピースの前記第１の実行モード画像から決定した前記要素に少なくとも部分的に基づいて、前記異常検出分類指標を用いて前記ワークピースの前記第１の実行モード画像が異常と分類されるか否かを判定することと、
    を前記１つ以上のプロセッサに実行させる、非一時的コンピュータ可読媒体。
  16. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記異常検出分類指標を用いて、ワークピースの第２の実行モード画像が非異常と分類されるか否かを判定することと、
    欠陥検出部を用いて前記第２の実行モード画像を解析して、前記第２の実行モード画像が前記ワークピースの欠陥を含む欠陥画像であるか否かを判定することと、
    を前記１つ以上のプロセッサに更に実行させる、請求項１５に記載の非一時的コンピュータ可読媒体。
  17. 前記ワークピースの前記第１の実行モード画像は、前記異常検出分類指標の利用によって異常と分類される、請求項１５に記載の非一時的コンピュータ可読媒体。
  18. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記ワークピースの前記第１の実行モード画像が異常と分類されたことに基づいて、撮像条件、照明条件、又はワークピース条件のうち少なくとも１つに問題があることを示すメッセージを発生させること、
    を前記１つ以上のプロセッサに更に実行させる、請求項１７に記載の非一時的コンピュータ可読媒体。
  19. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記ワークピースの前記第１の実行モード画像が異常と分類される理由を決定することと、
    前記ワークピースの前記第１の実行モード画像が異常と分類される前記理由を示すメッセージを発生させることと、
    を前記１つ以上のプロセッサに更に実行させる、請求項１７に記載の非一時的コンピュータ可読媒体。
  20. 前記プログラム命令は、前記１つ以上のプロセッサによって実行された場合、
    前記ワークピースの前記第１の実行モード画像が異常と分類される前記理由を決定した後、前記光源の輝度、又は前記光源の位置、又は前記カメラもしくはワークピースのうち少なくとも１つに対する前記レンズまたはレンズ要素の位置のうち少なくとも１つを調整すること、
    を前記１つ以上のプロセッサに更に実行させる、請求項１９に記載の非一時的コンピュータ可読媒体。
  21. 前記訓練画像要素に少なくとも部分的に基づく前記複数の異常検出分類指標を決定することは、
    複数の前記訓練画像要素が異常画像をシミュレーションするように変更されると共に、非異常画像をシミュレーションするように変更されていない合成データセットを生成することと、
    前記合成データセット内で異常画像と非異常画像を区別することができる２クラス分類器を訓練することと、
    を含む、請求項１５に記載の非一時的コンピュータ可読媒体。
JP2021098901A 2020-06-15 2021-06-14 ワークピース画像の監視を含むワークピース検査及び欠陥検出システム Pending JP2021196362A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/902,181 2020-06-15
US16/902,181 US11430105B2 (en) 2020-06-15 2020-06-15 Workpiece inspection and defect detection system including monitoring of workpiece images

Publications (1)

Publication Number Publication Date
JP2021196362A true JP2021196362A (ja) 2021-12-27

Family

ID=78718942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021098901A Pending JP2021196362A (ja) 2020-06-15 2021-06-14 ワークピース画像の監視を含むワークピース検査及び欠陥検出システム

Country Status (4)

Country Link
US (1) US11430105B2 (ja)
JP (1) JP2021196362A (ja)
CN (1) CN113866165A (ja)
DE (1) DE102021115002A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937218B (zh) * 2023-03-13 2023-05-23 昆山市恒达精密机械工业有限公司 一种冷冲件的表面缺陷检测方法及系统
CN116481585B (zh) * 2023-06-26 2023-09-12 广州晨安网络科技有限公司 基于机器视觉的产品全检系统及检测方法
CN116563277B (zh) * 2023-07-05 2023-10-13 深圳市鑫典金光电科技有限公司 一种基于机器视觉的铜复铝表面缺陷检测方法及系统

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982920A (en) 1997-01-08 1999-11-09 Lockheed Martin Energy Research Corp. Oak Ridge National Laboratory Automated defect spatial signature analysis for semiconductor manufacturing process
US6885977B2 (en) 2002-12-20 2005-04-26 Applied Materials, Inc. System to identify a wafer manufacturing problem and method therefor
US6718526B1 (en) 2003-02-07 2004-04-06 Kla-Tencor Corporation Spatial signature analysis
US7359544B2 (en) 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
US7030351B2 (en) 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7522763B2 (en) 2004-07-30 2009-04-21 Mitutoyo Corporation Method of measuring occluded features for high precision machine vision metrology
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7627162B2 (en) * 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
US8041103B2 (en) 2005-11-18 2011-10-18 Kla-Tencor Technologies Corp. Methods and systems for determining a position of inspection data in design data space
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP4644613B2 (ja) 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
US7570795B2 (en) 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
JP4908995B2 (ja) 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8135204B1 (en) 2007-09-21 2012-03-13 Kla-Tencor Technologies Corp. Computer-implemented methods, carrier media, and systems for creating a defect sample for use in selecting one or more parameters of an inspection recipe
US8254661B2 (en) 2008-06-02 2012-08-28 Applied Materials Israel, Ltd. System and method for generating spatial signatures
US8165837B1 (en) 2008-06-09 2012-04-24 Kla-Tencor Corporation Multi-scale classification of defects
US8255172B2 (en) 2008-09-24 2012-08-28 Applied Materials Israel, Ltd. Wafer defect detection system and method
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) * 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8581162B2 (en) * 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
US8315453B2 (en) 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
US8773526B2 (en) * 2010-12-17 2014-07-08 Mitutoyo Corporation Edge detection using structured illumination
US9013574B2 (en) 2011-11-15 2015-04-21 Mitutoyo Corporation Machine vision system program editing environment including synchronized user interface features
US9167215B2 (en) 2011-11-15 2015-10-20 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US9715723B2 (en) 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US9607233B2 (en) 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US9430824B2 (en) 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US9639083B2 (en) 2013-12-18 2017-05-02 Mitutoyo Corporation System and method for programming workpiece feature inspection operations for a coordinate measuring machine
US9430743B2 (en) 2014-03-06 2016-08-30 Kla-Tencor Corp. Composite defect classifier
US9613411B2 (en) 2014-03-17 2017-04-04 Kla-Tencor Corp. Creating defect classifiers and nuisance filters
US20160189055A1 (en) 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
US9613255B2 (en) 2015-03-30 2017-04-04 Applied Materials Israel Ltd. Systems, methods and computer program products for signature detection
US9952586B2 (en) 2015-04-09 2018-04-24 Mitutoyo Corporation Inspection program editing environment with simulation status and control continually responsive to selection operations
US9646425B2 (en) 2015-04-09 2017-05-09 Mitutoyo Corporation Inspection program editing environment with editing environment automatically globally responsive to editing operations in any of its portions
US9898811B2 (en) 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
US10436720B2 (en) 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US11210777B2 (en) * 2016-04-28 2021-12-28 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions
WO2017200524A1 (en) 2016-05-16 2017-11-23 United Technologies Corporation Deep convolutional neural networks for crack detection from image data
US10395358B2 (en) 2016-11-10 2019-08-27 Kla-Tencor Corp. High sensitivity repeater defect detection
US10964013B2 (en) 2017-01-10 2021-03-30 Kla-Tencor Corporation System, method for training and applying defect classifiers in wafers having deeply stacked layers
US11237119B2 (en) 2017-01-10 2022-02-01 Kla-Tencor Corporation Diagnostic methods for the classifiers and the defects captured by optical tools
CN110494861B (zh) * 2017-03-31 2023-09-22 横河电机株式会社 基于图像的异常检测方法和系统
US11300521B2 (en) * 2017-06-14 2022-04-12 Camtek Ltd. Automatic defect classification
US10502695B2 (en) * 2017-08-16 2019-12-10 The Boeing Company Automated inspection of foreign materials, cracks and other surface anomalies
US10699926B2 (en) 2017-08-30 2020-06-30 Kla-Tencor Corp. Identifying nuisances and defects of interest in defects detected on a wafer
US10713534B2 (en) 2017-09-01 2020-07-14 Kla-Tencor Corp. Training a learning based defect classifier
US10341646B2 (en) * 2017-09-29 2019-07-02 Mitutoyo Corporation Variable focal length lens system with optical power monitoring
JP7054436B2 (ja) * 2017-12-14 2022-04-14 オムロン株式会社 検出システム、情報処理装置、評価方法及びプログラム
CN111263879A (zh) 2017-12-29 2020-06-09 株式会社三丰 具有用于被遮挡工件特征的自动透明操作的检查程序编辑环境
US10664966B2 (en) * 2018-01-25 2020-05-26 International Business Machines Corporation Anomaly detection using image-based physical characterization
CN108375586B (zh) * 2018-02-08 2020-12-15 湘潭大学 具有多个检测模式的缺陷检测装置及其方法
US10748271B2 (en) 2018-04-25 2020-08-18 Applied Materials Israel Ltd. Method of defect classification and system thereof
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
WO2021055585A1 (en) * 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
JP7261984B2 (ja) * 2019-09-18 2023-04-21 パナソニックＩｐマネジメント株式会社 打ち抜き装置
DE202019105838U1 (de) * 2019-10-21 2019-12-04 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung mit einem Koordinatenmessgerät oder Mikroskop
US10880468B1 (en) * 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
US11150200B1 (en) * 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training

Also Published As

Publication number Publication date
US20210390681A1 (en) 2021-12-16
DE102021115002A1 (de) 2021-12-16
CN113866165A (zh) 2021-12-31
US11430105B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
US11150200B1 (en) Workpiece inspection and defect detection system indicating number of defect images for training
JP2021196362A (ja) ワークピース画像の監視を含むワークピース検査及び欠陥検出システム
JP5570945B2 (ja) 正確な寸法検査用の自動焦点ビデオツールおよび方法
JP4933771B2 (ja) 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法
US20200364906A1 (en) Image Inspection Apparatus
JP5427018B2 (ja) 高速近似焦点用システムおよび方法
US11536669B2 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
JP5982144B2 (ja) 落射照明画像用のエッジ位置測定値補正
JP6001305B2 (ja) マシンビジョンシステムにおける潜在的な干渉要素の検査
JP5972563B2 (ja) 構造化照明を用いるエッジ検出
JP2017021025A (ja) 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
JP2024010140A (ja) マクロ検査システム、装置および方法
US20200364905A1 (en) Image Inspection Apparatus
JP2021119338A (ja) 透明ワークピース表面モードを有する計測システム
US9990724B2 (en) Image recording simulation in a coordinate measuring machine
JP2023131173A (ja) コンタクトレンズの欠陥分析及び追跡システム
US11756186B2 (en) Workpiece inspection and defect detection system utilizing color channels
JP5331661B2 (ja) 画像処理方法および画像処理装置
JP2005098970A (ja) 異物識別方法及び異物識別装置
JP2022161475A (ja) 欠陥検出装置、欠陥検出方法、画像処理装置及び画像処理プログラム
JP2015210396A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP2023142887A (ja) 欠陥検査装置及び欠陥検査方法
JP2023133744A (ja) 表面形状検査方法
JP2017161243A (ja) 検査装置、検査方法、および物品の製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240515