CN109425327B - 检查系统和检查用图像的修正方法 - Google Patents

检查系统和检查用图像的修正方法 Download PDF

Info

Publication number
CN109425327B
CN109425327B CN201810943467.8A CN201810943467A CN109425327B CN 109425327 B CN109425327 B CN 109425327B CN 201810943467 A CN201810943467 A CN 201810943467A CN 109425327 B CN109425327 B CN 109425327B
Authority
CN
China
Prior art keywords
image
inspection
calibration jig
data
feature data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810943467.8A
Other languages
English (en)
Other versions
CN109425327A (zh
Inventor
吉田顺一郎
藁科文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN109425327A publication Critical patent/CN109425327A/zh
Application granted granted Critical
Publication of CN109425327B publication Critical patent/CN109425327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种检查系统。该检查系统包括：第一拍摄装置(10)，其被设置于第一检查装置(1)；第二拍摄装置(40)，其被设置于第二检查装置(2)；第一校正数据获取单元，用于在第一拍摄装置(10)拍摄的校准夹具的图像中获取所述校准夹具的预定特征，并将其存储为第一特征数据，该校准夹具被定位于第一检查装置(1)的预定位置处；第二校正数据获取单元，用于在第二拍摄装置(40)拍摄的校准夹具的图像中获取所述校准夹具的所述预定特征，并将其存储为第二特征数据，该校准夹具被定位于第二检查装置(2)，然后获取用于修正第二拍摄装置拍摄的图像以使第二特征数据与第一特征数据一致的修正量，第二检查装置使用该修正量修正检查对象物的图像。

Description

检查系统和检查用图像的修正方法
技术领域
本发明涉及一种检查系统和检查用图像的修正方法。
背景技术
以往，已知一种通过拍摄装置拍摄检查对象物并对拍摄到的图像进行图像处理后，使用处理后的图像进行检查的检查装置(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2002-181732号公报
发明内容
发明所要解决的问题
如上所述的检查装置例如用于检查以高密度配置在电子设备的基板上的部件的位置和状态，近年来，越来越需要以几十μm为单位判断部件的位置和状态是否存在异常的检查装置。在这种情况下，由于拍摄装置的透镜的像差、检查对象物的定位装置与拍摄装置之间的相对位置的轻微偏移，会导致无法精确地进行上述的位置和状态的检查。
为了进行精确的检查，在上述检查装置中，对固定于定位装置的校准夹具进行拍摄，基于拍摄到的图像中的校准夹具的多个特征点和这些特征点原本应处于的位置之间的差而制作校正数据，并利用校正数据校正用于检查的拍摄图像。
另一方面，虽然可以利用检查装置预先拍摄并存储检查对象物的各种合格样本图像、不合格样本图像等以提高检查对象物的位置和状态的检查精度，但存储这样的图像需要大量的时间和样品。
此外，在存在多条检查线且每条检查线都设置有上述检查装置的情况下，针对每个检查装置，透镜的像差和检查对象物的定位装置与拍摄装置之间的相对位置的偏移是不同的。因此，针对每个检查装置，上述的校正数据也变得不同，由于需要利用各个检查装置的校正数据校正样本图像，因而也需要按照各个检查装置准备样本图像。
本发明正是鉴于这样的情况而完成的，其目的在于提供一种能够在多个检查装置中使用共通的样本图像的检查系统和检查用图像的修正方法。
解决问题的手段
为了解决上述课题，本发明采用以下手段。
本发明的第一方面的检查系统被构成为，包括：第一拍摄装置，其被设置于第一检查装置；第一图像处理单元，用于对所述第一拍摄装置拍摄的检查对象物的图像进行图像处理以用于检查，所述检查对象物被定位于所述第一检查装置的预定位置处；第二拍摄装置，其被设置于第二检查装置；第二图像处理单元，用于对所述第二拍摄装置拍摄的检查对象物的图像进行图像处理以用于检查，所述检查对象物被定位于所述第二检查装置的预定位置处；第一校正数据获取单元，用于在所述第一拍摄装置拍摄的校准夹具的图像中获取所述校准夹具的预定特征，并将其存储为第一特征数据，所述校准夹具被定位于所述第一检查装置的所述预定位置处；第二校正数据获取单元，用于在所述第二拍摄装置拍摄的所述校准夹具的图像中获取所述校准夹具的所述预定特征，并将其存储为第二特征数据，所述校准夹具被定位于所述第二检查装置的所述预定位置处；以及图像修正量获取单元，用于修正所述第二拍摄装置拍摄的所述校准夹具的所述图像，使得所述第二特征数据与所述第一特征数据一致，并获取该修正量，其中，所述第二图像处理单元被构成为使用所述修正量修正所述检查对象物的所述图像。
在该方面中，图像修正量获取单元获取使第二特征数据与第一特征数据一致时的图像的修正量，第二检查装置的第二图像处理单元使用该修正量对第二拍摄装置拍摄的检查对象物的图像进行修正。
因此，第二拍摄装置拍摄的图像与通过第一检查装置的第一拍摄装置拍摄检查对象物时的情况相同，都是反映了像差等的影响的图像，也是消除了拍摄装置与定位装置之间的轻微位置偏移的差的图像，其中，拍摄装置与定位装置分别存在于第一检查装置和第二检查装置中。因此，能够在第二检查装置中使用与第一检查装置相同的样本图像，并且进行精确的检查。
在上述方面中，优选地，所述校准夹具具有多个特征点，所述第一特征数据是所述第一拍摄装置拍摄的所述校准夹具的所述图像中的所述多个特征点的位置数据，所述第二特征数据是所述第二拍摄装置拍摄的所述校准夹具的所述图像中的所述多个特征点的位置数据。
在上述方面中，优选地，所述第一特征数据是表示所述第一拍摄装置拍摄的所述校准夹具的所述图像中的指定像素的亮度或色调的数据，所述第二特征数据是表示所述第二拍摄装置拍摄的所述校准夹具的所述图像中的指定像素的亮度或色调的数据。
本发明的第二方面的检查用图像的修正方法包括：第一校正数据获取步骤，通过第一检查装置的第一拍摄装置拍摄被定位于所述第一检查装置的预定位置处的校准夹具的图像，获取所拍摄的图像中的所述校准夹具的预定特征并将其作为第一特征数据；第二校正数据获取步骤，通过第二检查装置的第二拍摄装置拍摄被定位于所述第二检查装置的预定位置处的所述校准夹具的图像，获取所拍摄的图像中的所述校准夹具的所述预定特征并将其作为第二特征数据；图像修正量获取步骤，修正所述第二拍摄装置拍摄的所述校准夹具的所述图像，使得所述第二特征数据与所述第一特征数据一致，并获取该修正量；以及检查用图像修正步骤，所述第二检查装置使用所述修正量修正所述第二拍摄装置拍摄的检查对象物的图像，其中，所述检查对象物被定位于所述预定位置处。
在该方面中，在图像修正量获取步骤中获取使第二特征数据与第一特征数据一致时的图像的修正量，在第二检查装置中使用该修正量对第二拍摄装置拍摄的检查对象物的图像进行修正。
因此，第二拍摄装置拍摄的图像与通过第一检查装置的第一拍摄装置拍摄检查对象物时的情况相同，都是反映了像差等的影响的图像，也是消除了拍摄装置与检查对象物之间的轻微位置偏移的差的图像，其中，拍摄装置与检查对象物分别存在于第一检查装置和第二检查装置中。因此，能够在第二检查装置中使用与第一检查装置相同的样本图像，并且进行精确的检查。
发明的效果
根据本发明，能够在多个检查装置中使用共通的样本图像。
附图说明
图1是根据本发明的一个实施方式的检查系统的示意图。
图2是本实施方式的检查系统的第一检查装置的控制装置的框图。
图3是本实施方式的检查系统的第二检查装置的控制装置的框图。
图4是本实施方式的检查系统中使用的校准夹具的平面图。
图5是表示通过本实施方式的检查系统获得的第一特征数据的示例的图。
图6是表示通过本实施方式的检查系统获得的第二特征数据的示例的图。
图7是表示由本实施方式的检查系统执行的第二特征数据的校正例的图。
具体实施方式
下面，参照附图对本发明的一个实施方式的检查系统进行说明。
如图1所示，该检查系统具有第一检查装置1和第二检查装置2。在本实施方式中，第一检查装置1作为主(master)装置发挥功能，第二检查装置2作为从属(slave)装置发挥功能。虽然在本实施方式中仅示出了一台第二检查装置2，但也可是设置多台第二检查装置2，并且在该情况下第二检查装置2的操作与下述相同。
如图1所示，第一检查装置1包括：照相机等的第一拍摄装置10，其具有照明装置10a等；第一控制装置20，其与第一拍摄装置10连接；以及定位装置30，用于对第一拍摄装置10所拍摄的检查对象物O进行定位，第二检查装置2包括：照相机等的第二拍摄装置40，其具有照明装置40a等；第二控制装置50，其与第二拍摄装置40连接；以及定位装置60，用于对第二拍摄装置40所拍摄的检查对象物O进行定位。
如图1所示，第一检查装置1的定位装置30例如具有将检查对象物O定位于水平方向的多个定位部件31，利用定位部件31在水平方向夹持检查对象物O，从而进行检查对象物O的定位。第二检查装置2的定位装置60也同样构成为利用多个定位部件61在水平方向夹持检查对象物O。
如图2所示，第一控制装置20例如包括：控制部21，其具有CPU、RAM等；显示装置22；输入装置23；以及存储装置24，其具有非易失性存储器、ROM等。
存储装置24中存储有系统程序24a，系统程序24a负责第一控制装置20的基本功能。另外，存储装置24中还存储有用于检查检查对象物O的检查程序24b、样本图像准备程序24c、作为第一校正数据获取单元的第一校正数据获取程序24d。需要说明的是，检查程序24b也作为第一图像处理单元发挥功能。
另外，在存储装置24中，存储有通过在各种状态下拍摄多个检查对象物O而获得的各种合格样本图像25和不合格样本图像26。例如，在检查对象物O为基板的情况下，存储有针对安装于基板的多种部件的每一种部件的各种合格样本图像25和不合格样本图像26。各合格样本图像25是该部件的例如形状、位置、姿势以及状态处于基准值以内的图像，各不合格样本图像26是该部件的例如形状、位置、姿势以及状态中的至少一个处于基准值以外的图像。需要说明的是，也可以仅存储合格样本图像25和不合格样本图像26中的一种图像。
控制部21根据样本图像准备程序24c进行动作，并将合格样本图像25和不合格样本图像26存储于存储装置24。例如，当输入装置23输入用于准备样本图像的指令时，控制部21使显示装置22显示用于确认作为样本的基板是否已完成向定位装置30的安装的画面。并且，当从输入装置23等接收到样本向定位装置30的安装已完成的信息时，利用第一拍摄装置10拍摄样本。
接着，控制部21将拍摄到的图像与合格或不合格的信息一起存储于存储装置24，这些成为合格样本图像25和不合格样本图像26。
控制部21通过重复上述操作，从而将各种合格样本图像25和不合格样本图像26存储于存储装置24。
这里，由于第一拍摄装置10的光学系统的像差，因而拍摄到的图像的各部件的形状、位置、姿势、状态等可能会与实际状况不同。例如，由于光学系统的像差，位于第一拍摄装置10的视角的端侧的部件被拍摄为形状、位置、姿势等与实际状况不同的部件。
即使在这种情况下，如上所述，该位置的该部件的各种合格样本图像25和不合格样本图像26也被存储于存储装置24，并且由于这些样本图像25、26也是反映了第一拍摄装置10的光学系统的相同像差的图像，因而也可以在检查时适当地判断该部件是否合格。
控制部21根据检查程序24b进行动作，并对检查对象物O进行检查。例如，当输入装置23输入开始检查的指令时，第一拍摄装置10拍摄被定位于定位装置30的检查对象物O，并对拍摄到的图像进行公知的图像处理，判断检查对象物O上的各个部件是否合格。在图像处理中，例如可以考虑如下方法：创建拍摄到的图像与合格样本图像之间的差分图像，如果差分较大，则判断为不合格。
另外，作为其它的例子，还存在通过归一化相关的图案匹配来识别各个的部件的位置的方法。通过对利用拍摄到的图像识别出的部件的位置和利用合格样本图像识别出的部件的位置进行比较，判断是否合格。
另一方面，如图3所示，第二控制装置50例如包括：控制部51，其具有CPU、RAM等；显示装置52；输入装置53；以及存储装置54，其具有非易失性存储器、ROM等。
存储装置54中存储有系统程序54a，系统程序54a负责第二控制装置50的基本功能。另外，存储装置54中存储有用于检查检查对象物O的检查程序54b、样本图像准备程序54c、作为第二校正数据获取单元的第二校正数据获取程序54d、作为图像修正量获取单元的修正量获取程序54e。需要说明的是，检查程序54b也作为第二图像处理单元发挥功能。
第二控制装置50的样本图像准备程序54c与第一控制装置20的样本图像准备程序24c不同。控制部51根据样本图像准备程序24c进行动作，与第一检查装置1的第一控制装置20进行通信，接收存储于第一控制装置20的存储装置24的合格样本图像25和不合格样本图像26并将其存储于存储装置54。
第二控制装置50的第二校正数据获取程序54d是用于获取被定位装置60定位的校准夹具70的预定特征的程序。在本实施方式中，如图4所示，校准夹具70是在板状部件的上表面以四边形格子状绘制了多个点P的部件。需要说明的是，校准夹具70并不仅限于绘制了圆形点P的部件，也可以是在校准夹具70的上表面绘制了方格图案、在校准夹具70的上表面以格子状绘制了多个线、或者将点P排列为最密集的六边形格子状等的部件。
这里，第一控制装置20的第一校正数据获取程序24d也是用于获取被定位装置30定位的校准夹具70的预定特征的程序。
例如，第二控制装置50的控制部51根据第二校正数据获取程序54d进行动作，当输入装置53输入用于获取校正数据的指令时，控制部51使显示装置52显示用于确认校准夹具70是否已完成向定位装置60的安装的画面。并且，当从输入装置53等接收到校准夹具70已完成向定位装置60的安装的信息时，利用第二拍摄装置40拍摄校准夹具70。
接着，控制部51对拍摄到的图像进行公知的图像处理(例如归一化相关的图案匹配等)，识别校准夹具70上的多个点P中的每个点P的位置，并将识别出的位置作为第二特征数据57存储于存储装置54。
另一方面，第一控制装置20的控制部21也根据第一校正数据获取程序24d而进行与上述相同的动作，通过第一拍摄装置10拍摄被安装于定位装置30的校准夹具70上的图像，通过图像处理识别校准夹具70上的多个点P中的每个点P的位置，并将识别出的位置作为第一特征数据27存储于存储装置24。
并且，第二控制装置50的控制部51根据修正量获取程序54e进行动作，与第一检查装置1的第一控制装置20进行通信，接收被存储于第一控制装置20的存储装置24的第一特征数据27并将其存储于存储装置54。然后，控制部51修正第二特征数据57的每个点P的位置，使得第二特征数据57的每个点P的位置与第一特征数据27的每个对应的点P的位置一致，求出为了使它们一致所需的图像的修正量并将其存储于存储装置54。
例如，校准夹具70的角部附近被配置于第一拍摄装置10的视角的端部侧，由于第一拍摄装置10的光学系统的像差、定位装置30与第一拍摄装置10的轻微位置偏移，如图5所示，各个点P的实际位置(虚线)与拍摄到的图像的各个点P的位置(实线)不同。
另一方面，校准夹具70的角部附近也被配置于第二拍摄装置40的视角的端部侧，由于第二拍摄装置40的光学系统的像差、定位装置60与第二拍摄装置40的轻微位置偏移，如图6所示，各个点P的实际的位置(虚线)也与拍摄到的图像的各个点P的位置(实线)不同。
需要说明的是，图5和图6是为了进行说明而制作的图，存在各个点P的位置偏移与实际不同的情况。
上述图像的修正并不是将图5和图6所示的偏移了的点P返回到实际中的正确位置上，而是如图7所示，使第二拍摄装置40拍摄到的各个点P的位置与第一拍摄装置10拍摄到的各个点P的位置一致。
另外，控制部51也利用公知的内插值求出关于点P之间的图像上的各个点P的位置的修正量，使求出的所有修正量与图像上的位置对应并将其作为修正量表存储于存储装置54。
并且，第二控制装置50的控制部51根据检查程序54b进行动作，并且对检查对象物O进行检查。此时，如果输入装置53输入开始检查的指令，则控制部51利用第二拍摄装置40拍摄被定位于定位装置60的检查对象物O，并且在使用上述修正量使图像变形而生成修正图像后，对修正图像进行公知的图像处理，从而实施检查。
进行了该变形后的修正图像与通过第一拍摄装置10拍摄被定位装置30定位的检查对象物O时的情况相同，都是反映了像差等的影响的图像，也是消除了拍摄装置10、40与定位装置30、60之间的轻微位置偏移的差的图像，其中，拍摄装置10和定位装置30、拍摄装置40和定位装置60分别存在于第一检查装置1与第二检查装置2中。
接着，控制部51对上述修正图像实施基于图像处理的检查。例如，识别检查对象物O上的各个部件的位置，将其与合格样本图像25和不合格样本图像26进行比较，从而判断各部件是否合格。
在本实施方式中，控制部51根据修正量获取程序54e进行动作，获取使第二特征数据57与第一特征数据27一致时的图像的修正量，并且控制部51根据检查程序54b进行动作，使用该修正量修正第二拍摄装置40拍摄到的检查对象物O的图像。
因此，第二拍摄装置40拍摄到的图像是与通过第一检查装置1的第一拍摄装置10拍摄的检查对象物O时的情况相同，都是反映了像差等的影响的图像，也是消除了拍摄装置10、40与定位装置30、60之间的轻微位置偏移的差的图像，其中，拍摄装置10和定位装置30、拍摄装置40和定位装置60分别存在于第一检查装置1与第二检查装置2中。因此，可以使用与第一检查装置1相同的样本图像，在第二检查装置2中进行精确的检查。
需要说明的是，虽然在本实施方式中，示出了将各个点P的位置作为第一特征数据27而存储于存储装置24，将各点P的位置作为第二特征数据57而存储于存储装置54的情况。但是，另一方面，也可以将能够导出多个点P的位置的图像数据作为第一特征数据27而存储于存储装置24，将能够导出多个点P的位置的图像数据作为第二特征数据57而存储于存储装置54。
在检查检查对象物O本身的形状是否合适的情况下，求出使第二特征数据57的各个点P的位置(也包含相对位置的意思)与第一特征数据27的各个点P的位置(也包含相对位置的意思)一致所需的图像的修正量，使用该修正量修正第二检查装置2的图像，从而进行精确的检查。
需要说明的是，在本实施方式中，第一特征数据27和第二特征数据57是校准夹具70的多个点P的位置数据。另一方面，第一特征数据27和第二特征数据57也可以是表示图像中的各像素的亮度或色调的数据。
在这种情况下，控制部51根据修正量获取程序54e进行动作，获取使第二特征数据57与第一特征数据27一致时的图像的修正量，然后控制部51根据检查程序54b进行动作，使用该修正量修正第二拍摄装置40所拍摄的检查对象物O的图像。
因此，第二拍摄装置40所拍摄的图像的亮度或色调相对于实物的差与通过第一检查装置1的第一拍摄装置10拍摄检查对象物O时的情况相同，因而能够在第二检查装置2中使用与第一检查装置1相同的样本图像，并进行精确的检查。
需要说明的是，第一特征数据27和第二特征数据57也可以是表示校准夹具70的多个点P的位置和图像中的各像素的亮度或色调的数据。
另外，除了合格样本图像25和不合格样本图像26，存储装置24还可以存储判断基准。判断基准可以是通过输入装置23输入的数值等，也可以是CAD数据等的设计数据等。
另外，在本实施方式中，定位装置30、60是用于固定检查对象物O和校准夹具70的部件。另一方面，作为定位装置30、60，也可以使用将检查对象物O和校准夹具70配置于拍摄装置10、40的下方的机器人、传送带等。
另外，虽然在本实施方式中，示出了控制部21根据样本图像准备程序24c进行动作并将合格样本图像25和不合格样本图像26存储于存储装置24的情况。但是，另一方面，例如也可以通过第二拍摄装置40拍摄多个检查对象物O，对拍摄到的多个图像进行使用了上述修正量的修正，在通过图像处理判断是否合格的基础上，对该图像附加合格与否的判断结果并将其存储为新的合格样本图像25和不合格样本图像26。
另外，虽然在本实施方式中，在第一检查装置1的第一控制装置20的存储装置24存储有修正量获取程序，但也可以在存储装置24中存储修正量获取程序，由此第一检查装置1也能够作为从属装置而发挥功能。在这种情况下，第二检查装置2也能够作为主装置而发挥功能。
另外，在本实施方式中，第一检查装置1的控制部21对第一拍摄装置10拍摄的像差等未被修正的图像、与合格样本图像25、不合格样本图像26进行比较，从而判断检查对象物O上的部件是否合格。但是，另一方面，第一检查装置1的控制部21也可以修正第一拍摄装置10拍摄的图像的像差等，对修正后的图像与合格样本图像25、不合格样本图像26进行比较，从而判断检查对象物O上的部件是否合格。
在这种情况下，使用进行了上述像差等的修正的图像制作合格样本图像25和不合格样本图像26。另外，第二控制装置50的控制部51相对于第二拍摄装置40拍摄的检查对象物O的图像，进行使用了上述修正量的变形，并且进行使用了在第一拍摄装置10的上述像差等的修正中被使用的修正量的变形。
附图标记
1 第一检查装置
2 第二检查装置
10 第一拍摄装置
20 第一控制装置
21 控制部
22 显示装置
23 输入装置
24 存储装置
24a 系统程序
24b 检查程序
24c 样本图像准备程序
24d 第一校正数据获取程序
25 合格样本图像
26 不合格样本图像
27 第一特征数据
30 定位装置
40 第二拍摄装置
50 第二控制装置
51 控制部
52 显示装置
53 输入装置
54 存储装置
54a 系统程序
54b 检查程序
54c 样本图像准备程序
54d 第二校正数据获取程序
54e 修正量获取程序
60 定位装置
70 校准夹具
O 检查对象物
P 点

Claims (6)

1.一种检查系统，其特征在于，包括：
第一拍摄装置，其被设置于第一检查装置；
第一图像处理单元，用于对所述第一拍摄装置拍摄的检查对象物的图像进行图像处理以用于检查，所述检查对象物被定位于所述第一检查装置的预定位置处；
样本图像准备单元，用于获取在多个所述检查对象物的各种状态下由所述第一拍摄装置拍摄到的各种合格样本图像和/或不合格样本图像，即获取光学系统的像差的影响未被修正的合格样本图像和/或不合格样本图像；
第二拍摄装置，其被设置于第二检查装置；
第二图像处理单元，用于对所述第二拍摄装置拍摄的检查对象物的图像进行图像处理以用于检查，所述检查对象物被定位于所述第二检查装置的预定位置处；
第一校正数据获取单元，用于在所述第一拍摄装置拍摄的校准夹具的图像中获取所述校准夹具的预定特征，并将其存储为第一特征数据，所述校准夹具被定位于所述第一检查装置的所述预定位置处；
第二校正数据获取单元，用于在所述第二拍摄装置拍摄的所述校准夹具的图像中获取所述校准夹具的所述预定特征，并将其存储为第二特征数据，所述校准夹具被定位于所述第二检查装置的所述预定位置处；以及
图像修正量获取单元，用于修正所述第二拍摄装置拍摄的所述校准夹具的所述图像，使得所述第二特征数据与所述第一特征数据一致，并获取该修正量，
其中，所述第二检查装置被构成为，获取所述第一检查装置的所述合格样本图像和/或所述不合格样本图像，
所述第二图像处理单元被构成为，通过使用所述修正量修正所述检查对象物的所述图像，从而获取与由所述第一检查装置的所述第一拍摄装置拍摄到所述检查对象物的情况相同的存在有像差的影响的图像，
所述第二检查装置被构成为，使用从所述第一检查装置获取的所述合格样本图像和/或所述不合格样本图像，检查通过所述第二图像处理单元进行了修正的所述图像的所述检查对象物。
2.根据权利要求1所述的检查系统，其特征在于，
所述校准夹具具有多个特征点，
所述第一特征数据是所述第一拍摄装置拍摄的所述校准夹具的所述图像中的所述多个特征点的位置数据，所述第二特征数据是所述第二拍摄装置拍摄的所述校准夹具的所述图像中的所述多个特征点的位置数据。
3.根据权利要求1或2所述的检查系统，其特征在于，
所述第一特征数据是表示所述第一拍摄装置拍摄的所述校准夹具的所述图像中的指定像素的亮度或色调的数据，所述第二特征数据是表示所述第二拍摄装置拍摄的所述校准夹具的所述图像中的指定像素的亮度或色调的数据。
4.一种检查用图像的修正方法，其特征在于，包括以下步骤：
第一校正数据获取步骤，通过第一检查装置的第一拍摄装置拍摄被定位于所述第一检查装置的预定位置处的校准夹具的图像，获取所拍摄的图像中的所述校准夹具的预定特征并将其作为第一特征数据；
第二校正数据获取步骤，通过第二检查装置的第二拍摄装置拍摄被定位于所述第二检查装置的预定位置处的所述校准夹具的图像，获取所拍摄的图像中的所述校准夹具的所述预定特征并将其作为第二特征数据；
样本图像准备步骤，在多个检查对象物的各种状态下，所述第一检查装置获取由所述第一拍摄装置拍摄到的各种合格样本图像和/或不合格样本图像，即获取光学系统的像差的影响未被修正的合格样本图像和/或不合格样本图像；
样本图像获取步骤，所述第二检查装置获取所述第一检查装置的所述合格样本图像和/或所述不合格样本图像；
图像修正量获取步骤，修正所述第二拍摄装置拍摄的所述校准夹具的所述图像，使得所述第二特征数据与所述第一特征数据一致，并获取该修正量；
检查用图像的修正步骤，所述第二检查装置使用所述修正量修正所述第二拍摄装置拍摄的检查对象物的图像，其中，所述检查对象物被定位于所述预定位置处；以及
检查步骤，所述第二检查装置使用从所述第一检查装置获取的所述合格样本图像和/或所述不合格样本图像，检查通过所述检查用图像修正步骤进行了修正的所述图像的检查对象物。
5.根据权利要求4所述的检查用图像的修正方法，其特征在于，
所述校准夹具具有多个特征点，
所述第一特征数据是所述第一拍摄装置拍摄的所述校准夹具的所述图像中的所述多个特征点的位置数据，所述第二特征数据是所述第二拍摄装置拍摄的所述校准夹具的所述图像中的所述多个特征点的位置数据。
6.根据权利要求4或5所述的检查用图像的修正方法，其特征在于，
所述第一特征数据是表示所述第一拍摄装置拍摄的所述校准夹具的所述图像中的指定像素的亮度或色调的数据，所述第二特征数据是表示所述第二拍摄装置拍摄的所述校准夹具的所述图像中的指定像素的亮度或色调的数据。
CN201810943467.8A 2017-08-28 2018-08-17 检查系统和检查用图像的修正方法 Active CN109425327B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-162981 2017-08-28
JP2017162981A JP6777604B2 (ja) 2017-08-28 2017-08-28 検査システムおよび検査方法

Publications (2)

Publication Number Publication Date
CN109425327A CN109425327A (zh) 2019-03-05
CN109425327B true CN109425327B (zh) 2022-02-15

Family

ID=65321953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810943467.8A Active CN109425327B (zh) 2017-08-28 2018-08-17 检查系统和检查用图像的修正方法

Country Status (4)

Country Link
US (1) US10861149B2 (zh)
JP (1) JP6777604B2 (zh)
CN (1) CN109425327B (zh)
DE (1) DE102018214280A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
JP2020066066A (ja) * 2018-10-22 2020-04-30 セイコーエプソン株式会社 ロボットシステム、ロボットの校正治具、ロボットの校正方法
CN110687128A (zh) * 2019-11-15 2020-01-14 南京铂文嘉诚科技有限公司 一种图像定位检测系统的校准装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10300682A (ja) * 1997-04-24 1998-11-13 Nikon Corp 画像比較装置
JP2000106389A (ja) * 1998-09-29 2000-04-11 Hitachi Ltd ウェーハ／マスク検査装置
JP2002181732A (ja) * 2000-12-13 2002-06-26 Saki Corp:Kk 外観検査装置および外観検査方法
JP2004163174A (ja) * 2002-11-11 2004-06-10 Nec Kyushu Ltd 座標補正方法及び外観検査方法
JP2008209211A (ja) * 2007-02-26 2008-09-11 Hitachi High-Tech Control Systems Corp 異物検査装置および異物検査方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62142490A (ja) 1985-12-17 1987-06-25 Fanuc Ltd 視覚センサ
US5978521A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
US20040144760A1 (en) * 2002-05-17 2004-07-29 Cahill Steven P. Method and system for marking a workpiece such as a semiconductor wafer and laser marker for use therein
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
JP5412757B2 (ja) 2008-07-25 2014-02-12 Ｊｆｅスチール株式会社 光学系歪補正方法および光学系歪補正装置
JP5193112B2 (ja) 2009-03-31 2013-05-08 東レエンジニアリング株式会社 半導体ウエーハ外観検査装置の検査条件データ生成方法及び検査システム
US11070793B2 (en) * 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
TWI582388B (zh) * 2015-10-16 2017-05-11 財團法人工業技術研究院 影像縫合方法與影像縫合裝置
US10326979B2 (en) * 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
TWI616715B (zh) * 2016-06-24 2018-03-01 聚晶半導體股份有限公司 多鏡頭模組的調校方法及其系統
US20190290371A1 (en) * 2016-09-29 2019-09-26 Medrobotics Corporation Optical systems for surgical probes, systems and methods incorporating the same, and methods for performing surgical procedures
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
US10552984B2 (en) * 2017-10-09 2020-02-04 Verizon Patent and Licensing I nc. Capture device calibration methods and systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10300682A (ja) * 1997-04-24 1998-11-13 Nikon Corp 画像比較装置
JP2000106389A (ja) * 1998-09-29 2000-04-11 Hitachi Ltd ウェーハ／マスク検査装置
JP2002181732A (ja) * 2000-12-13 2002-06-26 Saki Corp:Kk 外観検査装置および外観検査方法
JP2004163174A (ja) * 2002-11-11 2004-06-10 Nec Kyushu Ltd 座標補正方法及び外観検査方法
JP2008209211A (ja) * 2007-02-26 2008-09-11 Hitachi High-Tech Control Systems Corp 異物検査装置および異物検査方法

Also Published As

Publication number Publication date
JP2019039846A (ja) 2019-03-14
CN109425327A (zh) 2019-03-05
DE102018214280A1 (de) 2019-02-28
US20190066287A1 (en) 2019-02-28
US10861149B2 (en) 2020-12-08
JP6777604B2 (ja) 2020-10-28

Similar Documents

Publication Publication Date Title
KR100738693B1 (ko) 프로브 마크 판독 장치 및 프로브 마크 판독 방법
CN109425327B (zh) 检查系统和检查用图像的修正方法
US7656425B2 (en) Robust field of view distortion calibration
KR101665644B1 (ko) 차량용 와이어링 하네스 커넥터 단자 검사 시스템 및 방법
US20130194569A1 (en) Substrate inspection method
US20160379357A1 (en) Inspection method, inspection apparatus, processing apparatus, and recording medium
KR20120054689A (ko) 검사방법
JP6233824B1 (ja) 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体
JP2006276454A (ja) 画像補正方法、およびこれを用いたパターン欠陥検査方法
CN108093618B (zh) 通过比较3d高度轮廓与参照高度轮廓来检验贴装内容
US8781208B2 (en) Inspection method and inspection apparatus
KR101522312B1 (ko) Ｐｃｂ 제품 검사 장치 및 이를 이용한 ｐｃｂ 제품 검사 방법
KR100819803B1 (ko) 솔더 페이스트 검사 방법
US10432838B2 (en) Lighting for industrial image processing
CN113966527B (zh) 激光修复方法、激光修复装置
JP2019100887A (ja) 検査順序設定装置、検査順序設定方法および検査順序設定プログラム
KR101132792B1 (ko) 기판 검사방법
JP2006284543A (ja) 実装回路基板検査方法および実装回路基板検査装置
KR20150049799A (ko) 기판의 표면 검사 방법 및 이를 수행하기 위한 장치
WO2020145208A1 (ja) 三次元形状測定装置、三次元形状測定方法及びプログラム
JP5672919B2 (ja) マスク検査装置、描画方法、及びウェハ露光方法
JP2009085900A (ja) 部品の検査システム及び検査方法
JP6064524B2 (ja) 検査装置および検査方法
US20190035068A1 (en) Method of verifying fault of inspection unit, inspection apparatus and inspection system
JP2009250707A (ja) マスター画像選択方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant