JP2019039846A - 検査システムおよび検査用画像の修正方法 - Google Patents

検査システムおよび検査用画像の修正方法 Download PDF

Info

Publication number
JP2019039846A
JP2019039846A JP2017162981A JP2017162981A JP2019039846A JP 2019039846 A JP2019039846 A JP 2019039846A JP 2017162981 A JP2017162981 A JP 2017162981A JP 2017162981 A JP2017162981 A JP 2017162981A JP 2019039846 A JP2019039846 A JP 2019039846A
Authority
JP
Japan
Prior art keywords
image
inspection
data
imaging device
calibration jig
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017162981A
Other languages
English (en)
Other versions
JP6777604B2 (ja
Inventor
順一郎 吉田
Junichiro Yoshida
順一郎 吉田
文和 藁科
Fumikazu Warashina
文和 藁科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017162981A priority Critical patent/JP6777604B2/ja
Priority to CN201810943467.8A priority patent/CN109425327B/zh
Priority to US16/107,485 priority patent/US10861149B2/en
Priority to DE102018214280.7A priority patent/DE102018214280A1/de
Publication of JP2019039846A publication Critical patent/JP2019039846A/ja
Application granted granted Critical
Publication of JP6777604B2 publication Critical patent/JP6777604B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数の検査装置で共通のサンプル画像を用いることができる検査システムおよび検査用画像の修正方法を提供する。
【解決手段】この検査システムは、第１の検査装置１に設けられた第１の撮像装置１０と、第２の検査装置２に設けられた第２の撮像装置４０と、第１の検査装置１の所定の位置に位置決めされ第１の撮像装置１０により撮像された校正用治具の画像において該校正用治具の所定の特徴を取得し、第１の特徴データとして保存する第１の校正データ取得手段と、第２の検査装置２に位置決めされ第２の撮像装置４０により撮像された校正用治具の画像において該校正用治具の前記所定の特徴を取得し、第２の特徴データとして保存する第２の校正データ取得手段と、第２の特徴データが第１の特徴データに一致するように第２の撮像装置により撮像された画像を修正するための修正量を取得し、該修正量を用いて第２の検査装置が検査対象物の画像を修正する。
【選択図】図１

Description

本発明は、検査システムおよび検査用画像の修正方法に関する。
従来、検査対象物を撮像装置により撮像し、撮像した画像に画像処理を行い、処理後画像を用いて検査を行う検査装置が知られている（例えば、特許文献１参照。）。
特開２００２−１８１７３２号公報
上記のような検査装置は、例えば電子機器の基板上に高密度で配置された部品の位置や状態の検査に用いられており、近年では部品の位置や状態の異常の有無判断が数十μｍ単位で求められるようになってきている。この場合、撮像装置のレンズの収差や、検査対象物の位置決め装置と撮像装置との相対位置のわずかなずれにより、前記位置や状態の検査を正確に行うことができなくなる。
正確な検査を行うために、上記検査装置では、位置決め装置に固定された校正用治具を撮像し、撮像した画像上における校正用治具の複数の特徴点とそれら特徴点が本来あるべき位置との差に基づき補正データを作成し、検査用の撮像画像を補正データにより補正している。
一方、検査対象物の位置や状態の検査精度を向上するために、検査装置により検査対象物の様々な種類の合格サンプル画像、不合格サンプル画像等を予め撮像し蓄積しておくことができるが、このような画像の蓄積には多くの時間とサンプル品を要する。
加えて、検査ラインが複数あり、前記検査装置が複数の検査ラインの各々に設けられている場合は、レンズの収差や検査対象物の位置決め装置と撮像装置との相対位置のずれが検査装置ごとに異なる。このため、前記補正データが検査装置ごとに異なることになり、サンプル画像も各々の検査装置の補正データにより補正することになるので、サンプル画像も各々の検査装置用に準備する必要が生ずる。
本発明は、このような事情に鑑みてなされたものであって、複数の検査装置で共通のサンプル画像を用いることができる検査システムおよび検査用画像の修正方法の提供を目的とする。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様の検査システムは、第１の検査装置に設けられた第１の撮像装置と、前記第１の検査装置の所定の位置に位置決めされ前記第１の撮像装置により撮像された検査対象物の画像を検査用に画像処理する第１の画像処理手段と、第２の検査装置に設けられた第２の撮像装置と、前記第２の検査装置の所定の位置に位置決めされ前記第２の撮像装置により撮像された検査対象物の画像を検査用に画像処理する第２の画像処理手段と、前記第１の検査装置の前記所定の位置に位置決めされ前記第１の撮像装置により撮像された校正用治具の画像において該校正用治具の所定の特徴を取得し、第１の特徴データとして保存する第１の校正データ取得手段と、前記第２の検査装置の前記所定の位置に位置決めされ前記第２の撮像装置により撮像された前記校正用治具の画像において該校正用治具の前記所定の特徴を取得し、第２の特徴データとして保存する第２の校正データ取得手段と、前記第２の特徴データが前記第１の特徴データに一致するように前記第２の撮像装置により撮像された前記校正用治具の前記画像を修正し、当該修正量を取得する画像修正量取得手段とを備え、前記第２の画像処理手段が、前記修正量を用いて前記検査対象物の前記画像を修正するように構成されている。
当該態様では、第２の特徴データが第１の特徴データに一致するような画像の修正量を画像修正量取得手段が得て、第２の検査装置の第２の画像処理手段が当該修正量を用いて第２の撮像装置により撮像された検査対象物の画像を修正する。
このため、第２の撮像装置により撮像された画像は、第１の検査装置の第１の撮像装置により検査対象物を撮像した場合と同様の収差等の影響が反映された画像であって、第１の検査装置および第２の検査装置にそれぞれ存在する撮像装置と位置決め装置とのわずかな位置ずれの差もキャンセルされた画像となる。従って、第１の検査装置と同じサンプル画像を用いながら第２の検査装置において正確な検査を行うことが可能となる。
前記態様において、前記校正用治具が複数の特徴点を有するものであり、前記第１の特徴データが、前記第１の撮像装置により撮像された前記校正用治具の前記画像における前記複数の特徴点の位置データであり、前記第２の特徴データが、前記第２の撮像装置により撮像された前記校正用治具の前記画像における前記複数の特徴点の位置データであってもよい。
前記態様において、前記第１の特徴データが、前記第１の撮像装置により撮像された前記校正用治具の前記画像における所定画素の明るさ又は色合いを示すデータであり、前記第２の特徴データが、前記第２の撮像装置により撮像された前記校正用治具の前記画像における所定画素の明るさ又は色合いを示すデータであってもよい。
本発明の第２の態様の検査用画像の修正方法は、第１の検査装置の所定の位置に位置決めされた校正用治具の画像を該第１の検査装置の第１の撮像装置により撮像し、撮像された画像における該校正用治具の所定の特徴を第１の特徴データとして取得する第１の校正データ取得ステップと、第２の検査装置の所定の位置に位置決めされた前記校正用治具の画像を該第２の検査装置の第２の撮像装置により撮像し、撮像された画像における該校正用治具の前記所定の特徴を第２の特徴データとして取得する第２の校正データ取得ステップと、前記第２の特徴データが前記第１の特徴データに一致するように前記第２の撮像装置により撮像された前記校正用治具の前記画像を修正し、当該修正量を取得する画像修正量取得ステップと、前記第２の検査装置が、前記所定の位置に位置決めされ前記第２の撮像装置により撮像された検査対象物の画像を、前記修正量を用いて修正する検査用画像修正ステップとを有する。
当該態様では、第２の特徴データが第１の特徴データに一致するような画像の修正量を画像修正量取得ステップにおいて得て、第２の検査装置において当該修正量を用いて第２の撮像装置により撮像された検査対象物の画像を修正する。
このため、第２の撮像装置により撮像された画像は、第１の検査装置の第１の撮像装置により検査対象物を撮像した場合と同様の収差等の影響が反映された画像であって、第１の検査装置および第２の検査装置にそれぞれ存在する撮像装置と検査対象物とのわずかな位置ずれの差もキャンセルされた画像となる。従って、第１の検査装置と同じサンプル画像を用いながら第２の検査装置において正確な検査を行うことが可能となる。
本発明によれば、複数の検査装置で共通のサンプル画像を用いることができる。
本発明の一実施形態に係る検査システムの概略構成図である。 本実施形態の検査システムの第１の検査装置の制御装置のブロック図である。 本実施形態の検査システムの第２の検査装置の制御装置のブロック図である。 本実施形態の検査システムで用いる校正用治具の平面図である。 本実施形態の検査システムにより得られる第１の特徴データの例を示す図である。 本実施形態の検査システムにより得られる第２の特徴データの例を示す図である。 本実施形態の検査システムにより行われる第２の特徴データの修正例を示す図である。
本発明の一実施形態に係る検査システムを図面を参照しながら以下に説明する。
この検査システムは、図１に示すように、第１の検査装置１と第２の検査装置２とを有する。本実施形態では、第１の検査装置１はマスタ装置として機能し、第２の検査装置２はスレーブ装置として機能する。本実施形態では第２の検査装置２は１台のみ示されているが、複数台あってもよく、その場合の第２の検査装置２の作動は下記と同様である。
図１に示すように、第１の検査装置１は、照明装置１０ａ等を有するカメラ等の第１の撮像装置１０と、第１の撮像装置１０に接続された第１の制御装置２０と、第１の撮像装置１０により撮像する検査対象物Ｏを位置決めする位置決め装置３０とを備えており、第２の検査装置２は、照明装置４０ａ等を有するカメラ等の第２の撮像装置４０と、第２の撮像装置４０に接続された第２の制御装置５０と、第２の撮像装置４０により撮像する検査対象物Ｏを位置決めする位置決め装置６０とを備えている。
第１の検査装置１の位置決め装置３０は、例えば図１に示すように検査対象物Ｏを水平方向に位置決めする複数の位置決め部材３１を備えており、位置決め部材３１により検査対象物Ｏを水平方向に挟持することにより検査対象物Ｏの位置決めを行う。第２の検査装置２の位置決め装置６０も同様に複数の位置決め部材６１により検査対象物Ｏを水平方向に挟持するように構成されている。
図２に示すように、第１の制御装置２０は、例えば、ＣＰＵ、ＲＡＭ等を有する制御部２１と、表示装置２２と、入力装置２３と、不揮発性ストレージ、ＲＯＭ等を有する記憶装置２４とを備えている。
記憶装置２４にはシステムプログラム２４ａが格納されており、システムプログラム２４ａが第１の制御装置２０の基本機能を担っている。また、記憶装置２４には、検査対象物Ｏの検査を行うための検査プログラム２４ｂと、サンプル画像準備プログラム２４ｃと、第１の校正データ取得手段としての第１の校正データ取得プログラム２４ｄとが格納されている。なお、検査プログラム２４ｂは第１の画像処理手段としても機能する。
また、記憶装置２４には、複数の検査対象物Ｏを様々な状態で撮像することにより、様々な合格サンプル画像２５および不合格サンプル画像２６を格納している。例えば検査対象物Ｏが基板である場合は、基板上に実装された複数種類の部品の各々について様々な合格サンプル画像２５および不合格サンプル画像２６を格納している。各合格サンプル画像２５は、その部品の例えば形状、位置、姿勢および状態が基準値内のものであり、各不合格サンプル画像２６は、その部品の形状、位置、姿勢および状態の少なくとも１つが基準値外のものである。なお、合格サンプル画像２５および不合格サンプル画像２６の何れか一方だけ格納されていてもよい。
合格サンプル画像２５および不合格サンプル画像２６は、制御部２１がサンプル画像準備プログラム２４ｃにより動作して記憶装置２４に格納する。例えば、入力装置２３によってサンプル画像を準備するためのコマンドが入力されると、制御部２１は表示装置２２に、サンプルである基板の位置決め装置３０への取付けが完了したか否かを確認する画面を表示させる。そして、サンプルの位置決め装置３０への取付けが完了したとの情報を入力装置２３等から受付けると、第１の撮像装置１０によりサンプルを撮像させる。
続いて、制御部２１は撮像した画像を合格又は不合格の情報と共に記憶装置２４に保存し、これらが合格サンプル画像２５および不合格サンプル画像２６となる。
制御部２１が前記動作を繰り返すことにより、様々な合格サンプル画像２５および不合格サンプル画像２６が記憶装置２４に保存される。
ここで、第１の撮像装置１０の光学系の収差によって、撮像された画像における各部品の形状、位置、姿勢、状態等が実際のものとは異なる場合がある。例えば、第１の撮像装置１０の画角の端側に位置する部品は、光学系の収差により形状、位置、姿勢等が実際のものと異なって写ることになる。
この場合でも、上記のように当該位置における当該部品の様々な合格サンプル画像２５および不合格サンプル画像２６が記憶装置２４に保存され、これらサンプル画像２５，２６も第１の撮像装置１０の光学系の同じ収差が反映されたものであるから、検査時に当該部品の合否判定を適切に行うことができる。
制御部２１は検査プログラム２４ｂにより動作して検査対象物Ｏの検査を行う。例えば、入力装置２３によって検査を開始するコマンドが入力されると、位置決め装置３０に位置決めされた検査対象物Ｏを第１の撮像装置１０で撮像させ、撮像された画像に周知の画像処理を行い、検査対象物Ｏ上の部品の各々の合否判定を行う。画像処理には例えば、撮像された画像と合格サンプル画像の差分画像を作成し、差分が大きければ不合格と判定する方法が考えられる。
また、別の例としては、各々の部品の位置を正規化相関によるパターンマッチングで認識する方法がある。撮像された画像で認識された部品の位置と合格サンプル画像で認識された部品の位置を比較することで合否判定を行う。
一方、図３に示すように、第２の制御装置５０は、例えば、ＣＰＵ、ＲＡＭ等を有する制御部５１と、表示装置５２と、入力装置５３と、不揮発性ストレージ、ＲＯＭ等を有する記憶装置５４とを備えている。
記憶装置５４にはシステムプログラム５４ａが格納されており、システムプログラム５４ａが第２の制御装置５０の基本機能を担っている。また、記憶装置５４には、検査対象物Ｏの検査を行うための検査プログラム５４ｂと、サンプル画像準備プログラム５４ｃと、第２の校正データ取得手段としての第２の校正データ取得プログラム５４ｄと、画像修正量取得手段としての修正量取得プログラム５４ｅとが格納されている。なお、検査プログラム５４ｂは第２の画像処理手段としても機能する。
第２の制御装置５０のサンプル画像準備プログラム５４ｃは、第１の制御装置２０のサンプル画像準備プログラム２４ｃとは異なる。制御部５１はサンプル画像準備プログラム２４ｃにより動作し、第１の検査装置１の第１の制御装置２０と通信を行い、第１の制御装置２０の記憶装置２４に格納されている合格サンプル画像２５および不合格サンプル画像２６を受信し記憶装置５４に保存する。
第２の制御装置５０の第２の校正データ取得プログラム５４ｄは、位置決め装置６０により位置決めされた校正用治具７０の所定の特徴を取得するものである。校正用治具７０は、本実施形態では、図４に示すように板状部材の上面に複数のポイントＰが正方格子状に描かれたものである。なお、校正用治具７０は円形状のポイントＰが描かれたものには限定されず、校正用治具７０の上面にチェッカー模様が描かれたもの、校正用治具７０の上面に複数の線が格子状に描かれたもの、ポイントＰが最密六方格子状に配列されたもの等でもよい。
ここで、第１の制御装置２０の第１の校正データ取得プログラム２４ｄも、位置決め装置３０により位置決めされた校正用治具７０の所定の特徴を取得するものである。
例えば、第２の制御装置５０の制御部５１は第２の校正データ取得プログラム５４ｄによって動作し、入力装置５３によって校正データを取得するためのコマンドが入力されると、制御部５１は表示装置５２に、校正用治具７０の位置決め装置６０への取付けが完了したか否かを確認する画面を表示させる。そして、校正用治具７０の位置決め装置６０への取付けが完了したとの情報を入力装置５３等から受付けると、第２の撮像装置４０により校正用治具７０を撮像させる。
続いて、制御部５１は撮像した画像に周知の画像処理（例えば正規化相関によるパターンマッチングなど）を行い、校正用治具７０上の複数のポイントＰの各々の位置を認識し、認識した位置を第２の特徴データ５７として記憶装置５４に保存する。
一方、第１の制御装置２０の制御部２１も第１の校正データ取得プログラム２４ｄによって前述と同様に動作し、位置決め装置３０に取付けられた校正用治具７０の画像を第１の撮像装置１０により撮像させ、画像処理によって校正用治具７０上の複数のポイントＰの各々の位置を認識し、認識した位置を第１の特徴データ２７として記憶装置２４に保存する。
そして、第２の制御装置５０の制御部５１は修正量取得プログラム５４ｅにより動作し、第１の検査装置１の第１の制御装置２０と通信を行い、第１の制御装置２０の記憶装置２４に格納されている第１の特徴データ２７を受信し記憶装置５４に保存する。そして、制御部５１は、第２の特徴データ５７の各々のポイントＰの位置を第１の特徴データ２７の各々対応するポイントＰの位置に一致させる修正を行い、一致させるために必要な画像の修正量を求めて記憶装置５４に保存する。
例えば、校正用治具７０の角部近傍は第１の撮像装置１０の画角の端部側に配置されるので、第１の撮像装置１０の光学系の収差や、位置決め装置３０と第１の撮像装置１０とのわずかな位置ずれによって、図５に示すように、各ポイントＰの実際の位置（破線）と撮像された画像における各ポイントＰの位置（実線）とが異なる。
一方、校正用治具７０の角部近傍は第２の撮像装置４０においても画角の端部側に配置されるので、第２の撮像装置４０の光学系の収差や、位置決め装置６０と第２の撮像装置４０とのわずかな位置ずれによって、図６に示すように、各ポイントＰの実際の位置（破線）と撮像された画像における各ポイントＰの位置（実線）とが異なる。
なお、図５および図６は説明用に作成した図であり、各ポイントＰの位置ずれは実際のものと異なる場合がある。
前記画像の修正は、図５および図６に示されるずれたポイントＰを実際の正確な位置に戻すものではなく、図７に示すように、第２の撮像装置４０で撮像された各ポイントＰの位置を第１の撮像装置１０で撮像された各ポイントＰの位置に一致させるものである。
また、制御部５１は、ポイントＰの間の画像上の各々の位置についての修正量も公知の内挿補間により求め、求められた全ての修正量を画像上の位置と対応させて修正量テーブルとして記憶装置５４に保存する。
そして、第２の制御装置５０の制御部５１は検査プログラム５４ｂによって動作して検査対象物Ｏの検査を行う。この時、制御部５１は、入力装置５３によって検査を開始するコマンドが入力されると、位置決め装置６０に位置決めされた検査対象物Ｏを第２の撮像装置４０で撮像させ、前記修正量を用いて画像を変形することで修正画像を生成した後、修正画像に周知の画像処理を行うことで検査を実施する。
当該変形を行った後の修正画像は、第１の撮像装置１０で位置決め装置３０に位置決めされた検査対象物Ｏを撮像した場合と同様の収差等の影響が反映された画像であって、第１の検査装置１および第２の検査装置２にそれぞれ存在する撮像装置１０，４０と位置決め装置３０，６０とのわずかな位置ずれの差もキャンセルされた画像となる。
続いて、制御部５１は、前記修正画像に対して画像処理による検査を実施する。例えば、検査対象物Ｏ上の部品の各々の位置を認識し、各部品の合否を、合格サンプル画像２５および不合格サンプル画像２６と比較して判断する。
本実施形態では、制御部５１が修正量取得プログラム５４ｅにより動作し、第２の特徴データ５７が第１の特徴データ２７に一致するような画像の修正量を得ると共に、制御部５１が検査プログラム５４ｂにより動作し、当該修正量を用いて第２の撮像装置４０により撮像された検査対象物Ｏの画像を修正する。
このため、第２の撮像装置４０により撮像された画像は、第１の検査装置１の第１の撮像装置１０により検査対象物Ｏを撮像した場合と同様の収差等の影響が反映された画像であって、第１の検査装置１および第２の検査装置２にそれぞれ存在する撮像装置１０，４０と位置決め装置３０，６０とのわずかな位置ずれの差もキャンセルされた画像となる。従って、第１の検査装置１と同じサンプル画像を用いながら第２の検査装置２において正確な検査を行うことが可能となる。
なお、本実施形態では、第１の特徴データ２７として各ポイントＰの位置を記憶装置２４に保存し、第２の特徴データ５７として各ポイントＰの位置を記憶装置５４に保存したものを示した。これに対し、第１の特徴データ２７として複数のポイントＰの位置を導出できる画像データを記憶装置２４に保存し、第２の特徴データ５７として複数のポイントＰの位置を導出できる画像データを記憶装置５４に保存することも可能である。
検査対象物Ｏ自体の形状の適否を検査するような場合は、第２の特徴データ５７の各ポイントＰの位置（相対位置の意味も含む）を第１の特徴データ２７の各ポイントＰの位置（相対位置の意味も含む）に一致させるために必要な画像の修正量を求め、当該修正量を用いて第２の検査装置２の画像を修正することにより、正確な検査を行うことが可能となる。
なお、本実施形態では、第１および第２の特徴データ２７，５７は校正用治具７０の複数のポイントＰの位置データである。これに対し、第１および第２の特徴データ２７，５７が画像中の各画素の明るさ又は色合いを示すデータであってもよい。
この場合も、制御部５１は修正量取得プログラム５４ｅにより動作し、第２の特徴データ５７が第１の特徴データ２７に一致するような画像の修正量を得ると共に、制御部５１は検査プログラム５４ｂにより動作し、当該修正量を用いて第２の撮像装置４０により撮像された検査対象物Ｏの画像を修正する。
このため、第２の撮像装置４０により撮像された画像の明るさ又は色合いの実物に対する差が、第１の検査装置１の第１の撮像装置１０により検査対象物Ｏを撮像した場合と同様となるので、第１の検査装置１と同じサンプル画像を用いながら第２の検査装置２において正確な検査を行うことが可能となる。
なお、第１および第２の特徴データ２７，５７が校正用治具７０の複数のポイントＰの位置を示すと共に、画像中の各画素の明るさ又は色合いを示すデータであってもよい。
また、合格サンプル画像２５および不合格サンプル画像２６の他に、記憶装置２４が判定基準を格納していてもよい。判定基準は入力装置２３により入力される数値等であってもよく、ＣＡＤデータ等の設計データ等であってもよい。
また、本実施形態では、位置決め装置３０，６０は検査対象物Ｏや校正用治具７０を固定するものである。これに対し、位置決め装置３０，６０として、検査対象物Ｏや校正用治具７０を撮像装置１０，４０の下方に配置するロボット、コンベヤ等であってもよい。
また、本実施形態では、制御部２１がサンプル画像準備プログラム２４ｃにより作動して合格サンプル画像２５および不合格サンプル画像２６を記憶装置２４に保存するものを示した。これに対し、例えば、第２の撮像装置４０によって複数の検査対象物Ｏを撮像し、撮像された複数の画像に前記修正量を用いた修正を行い、画像処理にて合否の判定を行った上で、該画像に合否の判定結果を付加して新たな合格サンプル画像２５および不合格サンプル画像２６として記憶することも可能である。
また、本実施形態では、第１の検査装置１の第１の制御装置２０の記憶装置２４に修正量取得プログラムが格納されていないが、記憶装置２４にも修正量取得プログラムを格納することにより、第１の検査装置１もスレーブ装置として機能できるようになる。この場合、第２の検査装置２がマスタ装置として機能してもよい。
また、本実施形態では、第１の検査装置１の制御部２１が、第１の撮像装置１０で撮像され収差等が修正されていない画像と、合格サンプル画像２５および不合格サンプル画像２６とを比較し、検査対象物Ｏ上の部品の合否判定をしている。これに対し、第１の検査装置１の制御部２１が、第１の撮像装置１０で撮像された画像の収差等を修正し、修正した画像と合格サンプル画像２５および不合格サンプル画像２６とを比較し、検査対象物Ｏ上の部品の合否判定をしてもよい。
この場合、合格サンプル画像２５および不合格サンプル画像２６は前記収差等の修正を行った画像を用いて作られる。また、第２の制御装置５０の制御部５１は、第２の撮像装置４０により撮像された検査対象物Ｏの画像に対し、前記修正量を用いた変形と共に、第１の撮像装置１０の前記収差等の修正に用いられた修正量を用いた変形を行うことになる。
１ 第１の検査装置
２ 第２の検査装置
１０ 第１の撮像装置
２０ 第１の制御装置
２１ 制御部
２２ 表示装置
２３ 入力装置
２４ 記憶装置
２４ａ システムプログラム
２４ｂ 検査プログラム
２４ｃ サンプル画像準備プログラム
２４ｄ 第１の校正データ取得プログラム
２５ 合格サンプル画像
２６ 不合格サンプル画像
２７ 第１の特徴データ
３０ 位置決め装置
４０ 第２の撮像装置
５０ 第２の制御装置
５１ 制御部
５２ 表示装置
５３ 入力装置
５４ 記憶装置
５４ａ システムプログラム
５４ｂ 検査プログラム
５４ｃ サンプル画像準備プログラム
５４ｄ 第２の校正データ取得プログラム
５４ｅ 修正量取得プログラム
６０ 位置決め装置
７０ 校正用治具
Ｏ 検査対象物
Ｐ ポイント

Claims (6)

  1. 第１の検査装置に設けられた第１の撮像装置と、
    前記第１の検査装置の所定の位置に位置決めされ前記第１の撮像装置により撮像された検査対象物の画像を検査用に画像処理する第１の画像処理手段と、
    第２の検査装置に設けられた第２の撮像装置と、
    前記第２の検査装置の所定の位置に位置決めされ前記第２の撮像装置により撮像された検査対象物の画像を検査用に画像処理する第２の画像処理手段と、
    前記第１の検査装置の前記所定の位置に位置決めされ前記第１の撮像装置により撮像された校正用治具の画像において該校正用治具の所定の特徴を取得し、第１の特徴データとして保存する第１の校正データ取得手段と、
    前記第２の検査装置の前記所定の位置に位置決めされ前記第２の撮像装置により撮像された前記校正用治具の画像において該校正用治具の前記所定の特徴を取得し、第２の特徴データとして保存する第２の校正データ取得手段と、
    前記第２の特徴データが前記第１の特徴データに一致するように前記第２の撮像装置により撮像された前記校正用治具の前記画像を修正し、当該修正量を取得する画像修正量取得手段とを備え、
    前記第２の画像処理手段が、前記修正量を用いて前記検査対象物の前記画像を修正するように構成されている検査システム。
  2. 前記校正用治具が複数の特徴点を有するものであり、
    前記第１の特徴データが、前記第１の撮像装置により撮像された前記校正用治具の前記画像における前記複数の特徴点の位置データであり、前記第２の特徴データが、前記第２の撮像装置により撮像された前記校正用治具の前記画像における前記複数の特徴点の位置データである請求項１に記載の検査システム。
  3. 前記第１の特徴データが、前記第１の撮像装置により撮像された前記校正用治具の前記画像における所定画素の明るさ又は色合いを示すデータであり、前記第２の特徴データが、前記第２の撮像装置により撮像された前記校正用治具の前記画像における所定画素の明るさ又は色合いを示すデータである請求項１又は２に記載の検査システム。
  4. 第１の検査装置の所定の位置に位置決めされた校正用治具の画像を該第１の検査装置の第１の撮像装置により撮像し、撮像された画像における該校正用治具の所定の特徴を第１の特徴データとして取得する第１の校正データ取得ステップと、
    第２の検査装置の所定の位置に位置決めされた前記校正用治具の画像を該第２の検査装置の第２の撮像装置により撮像し、撮像された画像における該校正用治具の前記所定の特徴を第２の特徴データとして取得する第２の校正データ取得ステップと、
    前記第２の特徴データが前記第１の特徴データに一致するように前記第２の撮像装置により撮像された前記校正用治具の前記画像を修正し、当該修正量を取得する画像修正量取得ステップと、
    前記第２の検査装置が、前記所定の位置に位置決めされ前記第２の撮像装置により撮像された検査対象物の画像を、前記修正量を用いて修正する検査用画像修正ステップとを有する検査用画像の修正方法。
  5. 前記校正用治具が複数の特徴点を有するものであり、
    前記第１の特徴データが、前記第１の撮像装置により撮像された前記校正用治具の前記画像における前記複数の特徴点の位置データであり、前記第２の特徴データが、前記第２の撮像装置により撮像された前記校正用治具の前記画像における前記複数の特徴点の位置データである請求項４に記載の検査用画像の修正方法。
  6. 前記第１の特徴データが、前記第１の撮像装置により撮像された前記校正用治具の前記画像における所定画素の明るさ又は色合いを示すデータであり、前記第２の特徴データが、前記第２の撮像装置により撮像された前記校正用治具の前記画像における所定画素の明るさ又は色合いを示すデータである請求項４又は５に記載の検査用画像の修正方法。
JP2017162981A 2017-08-28 2017-08-28 検査システムおよび検査方法 Active JP6777604B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017162981A JP6777604B2 (ja) 2017-08-28 2017-08-28 検査システムおよび検査方法
CN201810943467.8A CN109425327B (zh) 2017-08-28 2018-08-17 检查系统和检查用图像的修正方法
US16/107,485 US10861149B2 (en) 2017-08-28 2018-08-21 Inspection system and method for correcting image for inspection
DE102018214280.7A DE102018214280A1 (de) 2017-08-28 2018-08-23 Inspektionssystem und Verfahren zum Korrigieren eines Bildes für eine Inspektion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017162981A JP6777604B2 (ja) 2017-08-28 2017-08-28 検査システムおよび検査方法

Publications (2)

Publication Number Publication Date
JP2019039846A true JP2019039846A (ja) 2019-03-14
JP6777604B2 JP6777604B2 (ja) 2020-10-28

Family

ID=65321953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017162981A Active JP6777604B2 (ja) 2017-08-28 2017-08-28 検査システムおよび検査方法

Country Status (4)

Country Link
US (1) US10861149B2 (ja)
JP (1) JP6777604B2 (ja)
CN (1) CN109425327B (ja)
DE (1) DE102018214280A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
JP2020066066A (ja) * 2018-10-22 2020-04-30 セイコーエプソン株式会社 ロボットシステム、ロボットの校正治具、ロボットの校正方法
CN110687128A (zh) * 2019-11-15 2020-01-14 南京铂文嘉诚科技有限公司 一种图像定位检测系统的校准装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10300682A (ja) * 1997-04-24 1998-11-13 Nikon Corp 画像比較装置
JP2000106389A (ja) * 1998-09-29 2000-04-11 Hitachi Ltd ウェーハ／マスク検査装置
JP2004047939A (ja) * 2002-05-23 2004-02-12 Hitachi High-Technologies Corp 欠陥分類器の生成方法および欠陥自動分類方法
JP2004163174A (ja) * 2002-11-11 2004-06-10 Nec Kyushu Ltd 座標補正方法及び外観検査方法
JP2008209211A (ja) * 2007-02-26 2008-09-11 Hitachi High-Tech Control Systems Corp 異物検査装置および異物検査方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62142490A (ja) 1985-12-17 1987-06-25 Fanuc Ltd 視覚センサ
US5978521A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
JP2002181732A (ja) * 2000-12-13 2002-06-26 Saki Corp:Kk 外観検査装置および外観検査方法
US20040144760A1 (en) * 2002-05-17 2004-07-29 Cahill Steven P. Method and system for marking a workpiece such as a semiconductor wafer and laser marker for use therein
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
JP5412757B2 (ja) 2008-07-25 2014-02-12 Ｊｆｅスチール株式会社 光学系歪補正方法および光学系歪補正装置
JP5193112B2 (ja) 2009-03-31 2013-05-08 東レエンジニアリング株式会社 半導体ウエーハ外観検査装置の検査条件データ生成方法及び検査システム
US11070793B2 (en) * 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
TWI582388B (zh) * 2015-10-16 2017-05-11 財團法人工業技術研究院 影像縫合方法與影像縫合裝置
US10326979B2 (en) * 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
TWI616715B (zh) * 2016-06-24 2018-03-01 聚晶半導體股份有限公司 多鏡頭模組的調校方法及其系統
EP3520395A4 (en) * 2016-09-29 2020-06-03 Corporation Medrobotics OPTICAL SYSTEMS FOR SURGICAL PROBES, SYSTEMS AND METHODS THEREFOR AND METHOD FOR CARRYING OUT SURGICAL INTERVENTIONS
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
US10552984B2 (en) * 2017-10-09 2020-02-04 Verizon Patent and Licensing I nc. Capture device calibration methods and systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10300682A (ja) * 1997-04-24 1998-11-13 Nikon Corp 画像比較装置
JP2000106389A (ja) * 1998-09-29 2000-04-11 Hitachi Ltd ウェーハ／マスク検査装置
JP2004047939A (ja) * 2002-05-23 2004-02-12 Hitachi High-Technologies Corp 欠陥分類器の生成方法および欠陥自動分類方法
JP2004163174A (ja) * 2002-11-11 2004-06-10 Nec Kyushu Ltd 座標補正方法及び外観検査方法
JP2008209211A (ja) * 2007-02-26 2008-09-11 Hitachi High-Tech Control Systems Corp 異物検査装置および異物検査方法

Also Published As

Publication number Publication date
JP6777604B2 (ja) 2020-10-28
US10861149B2 (en) 2020-12-08
US20190066287A1 (en) 2019-02-28
CN109425327A (zh) 2019-03-05
CN109425327B (zh) 2022-02-15
DE102018214280A1 (de) 2019-02-28

Similar Documents

Publication Publication Date Title
US10366484B2 (en) Inspection method, inspection apparatus, processing apparatus, and recording medium for detecting defects of a work
JP4166585B2 (ja) 外観検査装置および外観検査方法
US20070229665A1 (en) Robust field of view distortion calibration
EP3496035A1 (en) Using 3d vision for automated industrial inspection
US10360684B2 (en) Method and apparatus for edge determination of a measurement object in optical metrology
CN109425327B (zh) 检查系统和检查用图像的修正方法
US20160379351A1 (en) Using 3d vision for automated industrial inspection
JP2011061069A (ja) 半導体装置の製造方法
KR20140146137A (ko) 화상 처리 시스템, 화상 처리 방법 및 화상 처리 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
JP2006276454A (ja) 画像補正方法、およびこれを用いたパターン欠陥検査方法
JP2005265661A (ja) 画像処理方法およびその装置
WO2014208193A1 (ja) ウエハ外観検査装置
TWI603077B (zh) Map matching device, comparison method and comparison program
TWI504859B (zh) 拍攝並拼接物件影像的方法
JP2013117490A (ja) 検査システム及びレシピ設定方法
JP2005283267A (ja) 貫通穴計測装置及び方法並びに貫通穴計測用プログラム
JP7179439B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2006234554A (ja) パターン検査方法およびパターン検査装置
KR20220018974A (ko) 레이저 수정 방법, 레이저 수정 장치
JP2006284543A (ja) 実装回路基板検査方法および実装回路基板検査装置
JP4357666B2 (ja) パターン検査方法および装置
JP7139953B2 (ja) 三次元形状測定装置、三次元形状測定方法及びプログラム
WO2012135513A1 (en) Method of manufacturing semiconductor devices
JP5672919B2 (ja) マスク検査装置、描画方法、及びウェハ露光方法
JP2019139104A (ja) パターン検査方法およびパターン検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181119

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190121

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200609

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201008

R150 Certificate of patent or registration of utility model

Ref document number: 6777604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150