CN105184765A - 检查设备、检查方法和程序 - Google Patents

检查设备、检查方法和程序 Download PDF

Info

Publication number
CN105184765A
CN105184765A CN201510313548.6A CN201510313548A CN105184765A CN 105184765 A CN105184765 A CN 105184765A CN 201510313548 A CN201510313548 A CN 201510313548A CN 105184765 A CN105184765 A CN 105184765A
Authority
CN
China
Prior art keywords
image
check
several
characteristic dimension
check object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510313548.6A
Other languages
English (en)
Other versions
CN105184765B (zh
Inventor
真弓典正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Publication of CN105184765A publication Critical patent/CN105184765A/zh
Application granted granted Critical
Publication of CN105184765B publication Critical patent/CN105184765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了检查设备、检查方法和程序。光度处理部基于光度立体方法、根据由相机获取的多幅亮度图像来计算工件表面的法向向量，并且执行对倾斜图像和所述倾斜图像的至少一个缩小图像之中的至少两个图像进行合成的合成处理，以生成展示检查对象的表面形状的检查图像，该倾斜图像是由基于根据多幅亮度图像算出的法向向量的像素值构成的。具体地，特征尺寸设置部设置特征尺寸，该特征尺寸是用于在执行合成处理时向缩小图像的分量赋予权重的参数。光度处理部能够根据所设置的特征尺寸来生成不同的检查图像。

Description

检查设备、检查方法和程序
技术领域
本发明涉及检查设备、检查方法和程序。
背景技术
为了通过使用光度立体原理来测量工件(检查对象产品)的精确三维形状，需要照明光以均匀的光量入射到工件的每个表面上的照明光源。另外，需要知道照明光的入射角。此外，由于不应该根据工件的区域来改变光的入射角，因此需要尺寸与要检查的工件的尺寸相对应的照明光源。此外，还需要相机采集的图像的比例信息(每个像素的实际尺寸)。视觉检查设备通常由用户安装，并且用户难以满足这些严格的安装条件。因此，根据JP2007-206797A，提出了一种通过将照明与相机集成而形成的专用设备，从而减轻了用户的安装负担。
根据在JP2007-206797A中描述的发明中，由于将照明与相机集成，因此具有减轻用户的安装负担的优点。然而，使用光度立体原理的视觉检查设备在市场上尚未普及。对此有多种原因。根据JP2007-206797A，将通过使用光度立体原理而获得的法向向量图像(每个像素展示工件的表面的法向向量的图像)或反射率图像(每个像素展示工件的表面的反射率的图像)应用于图像检查。相应地，在JP2007-206797A的发明中，限制了适用的应用。例如，反射率图像用于检查在其表面上具有亮度饱和的多个闪光部分的工件等，但反射率图像不适合于检查工件的表面上的细微的不均匀瑕疵或者对篆刻字符的OCR(光学字符识别)。同时，在对诸如工件表面上的细微的不均匀瑕疵的检查或者对篆刻字符的OCR的检查应用中，并不需要严格的安装条件。
然而，在这样的检查应用中，需要用户在根据法向向量图像或反射率图像生成用于检查的图像时调整几个图像处理参数。因此，对于该调整操作而言，还期望减轻用户的负担。
发明内容
因此，本发明的目的在于在根据通过使用光度立体原理而获取的图像生成检查图像时便于设置参数。
根据本发明，例如，提供了一种检查设备，该检查设备包括：照明部，其用于根据光度立体方法来对检查对象进行照明；成像部，其用于接收来自被照明的检查对象的反射光，以根据光度立体方法生成亮度图像；计算部，其用于根据由成像部获取的多幅亮度图像来计算检查对象的表面的法向向量，并且通过使用相对于倾斜图像与关注像素相邻的像素的法向向量和倾斜图像的缩小图像来进行关注像素的像素值的累积计算以生成具有该像素值的检查图像，该倾斜图像由基于根据多幅亮度图像计算的法向向量的像素值构成；以及确定部，其用于通过使用检查图像来确定检查对象有无缺陷，该检查设备还包括用于设置特征尺寸的设置部，该特征尺寸是用于向在累积计算中使用的缩小图像的分量赋予权重的参数。
根据本发明，通过引入特征尺寸的概念，能够在根据通过使用光度立体原理而获取的图像来生成检查图像时容易地设置参数。
附图说明
图1是示出检查设备的轮廓的视图；
图2是用于描述光度立体原理的视图；
图3是用于描述累积计算的图；
图4是示出用于基于特征尺寸确定权重的方法的图；
图5是示出具有不同特征尺寸的检查图像的一个示例的视图；
图6是描述与形状图像的生成相关的图像的视图；
图7是描述用于生成文本图像的方法的视图；
图8是检查设备的功能框图；
图9是示出设置模式的流程图；
图10是示出用户界面的一个示例的视图；
图11是示出用户界面的一个示例的视图；
图12是示出用户界面的一个示例的视图；
图13是示出用户界面的一个示例的视图；
图14是示出用户界面的一个示例的视图；
图15是示出用户界面的一个示例的视图；
图16是示出用户界面的一个示例的视图；
图17是示出用户界面的一个示例的视图；
图18是示出用户界面的一个示例的视图；
图19是示出用户界面的一个示例的视图；
图20是示出检查模式的流程图；
图21是示出用户界面的一个示例的视图；
图22是示出用户界面的一个示例的视图；
图23是示出用户界面的一个示例的视图；
图24是示出用户界面的一个示例的视图；
图25是示出用户界面的一个示例的视图；以及
图26是示出用户界面的一个示例的视图。
具体实施方式
下文中，示出了本发明的一个实施例。以下描述的各实施例将用于理解诸如本发明的上位概念、中间概念和下位概念的各种概念。另外，本发明的技术范围由权利要求限定，并且不受以下各实施例的限制。
图1是示出视觉检查系统的一个示例的视图。线路1是用于输送作为检查对象的工件2的输送带。照明设备3是用于根据光度立体方法对检查对象进行照明的照明部的一个示例。相机4是用于从被照明的检查对象接收反射光以根据光度立体方法生成亮度图像的成像部的一个示例。图像处理设备5是如下的视觉检查设备，其用于根据由相机4获取的多幅亮度图像计算工件2表面的法向向量，通过使用相对于倾斜图像与关注像素相邻的像素的法向向量和倾斜图像的缩小图像来执行关注像素的像素值的累积计算，并且生成具有该像素值的检查图像，以通过使用检查图像来确定检查对象有无缺陷，该倾斜图像由基于根据多幅亮度图像计算的法向向量的像素值构成。倾斜图像可以称为法向向量图像。图像处理设备5可以根据亮度图像创建反射率图像(反照率图像)。显示部7显示用于设置与检查有关的控制参数的用户界面、倾斜图像、反射率图像、检查图像等。输入部6是控制台、指向装置和键盘，并且用于设置控制参数。
<光度立体原理>
在通常的光度立体方法中，如图2所示，照明光L1至照明光L4被交换地从四个方向照向工件2，以生成四幅亮度图像。在采集每幅亮度图像时所使用的照明光的方向仅在一个方向上。应注意，亮度图像由多个像素构成，并且在四幅亮度图像中坐标匹配的四个像素对应于工件的同一表面。在四个像素的像素值(亮度值)I1、I2、I3、I4与法向向量n之间建立表达式1。这里，ρ为反射率。L是来自每个方向的照明光的光量，并且是已知的。这里，来自四个方向的光量是相同的。S是照明方向矩阵，并且是已知的。通过对该数学表达式进行求解，获得针对每个坐标(工件的表面)的反射率ρ和法向向量n。结果，获得反射率图像和倾斜图像。
[数学表达式1]
I 1 I 2 I 3 I 4 = &rho;L s 11 s 12 s 13 s 21 s 22 s 23 s 31 s 32 s 33 s 41 s 42 s 43 n x n y n z
在本实施例中，另外，从倾斜图像中提取高度分量，以创建展示工件的形状的形状图像作为检查图像。检查图像是通过表达式2的累积计算等式来获得的。这里，zn是第n个累积结果并且表示工件的表面的形状，x和y表示像素的坐标，以及n表示已执行了多少次迭代计算。此外，p表示水平方向上的倾斜分量，q表示垂直方向上的倾斜分量，p和q是通过法向向量n获得的，以及w是权重。另外，在第一累积计算中使用1/1倾斜图像，在第二累积计算中使用1/2缩小倾斜图像，以及在第三累积计算中使用1/4缩小倾斜图像。在创建缩小图像时，可以在执行高斯处理之后执行缩小处理。
[数学表达式2]
z x , y n + 1 = 1 4 ( z x + 1 , y n + z x , y + 1 n + z x - 1 , y n + z x , y - 1 n ) - w 8 ( p x + 1 , y - p x - 1 , y + q x , y + 1 - q x , y - 1 )
在本实施例中，在累积计算中采用被称为特征尺寸的参数。特征尺寸是用于向在累积计算中要使用的缩小图像的分量赋予权重的参数。特征尺寸是表示工件2的表面形状的尺寸的参数。例如，当特征尺寸为1时，将针对在x-y方向上与关注像素相邻的四个像素的权重设置为最大，并且执行累积计算。当特征尺寸为2时，针对在x-y方向上与关注像素相邻的八个像素的权重设置为最大，并且执行累积计算。然而，由于使用八个像素的计算使得计算量增加，因此创建前述的缩小图像并将其用于计算。即，替代使用八个相邻像素，将倾斜图像缩小成1/2并执行计算。从而，关于某一关注像素，可以考虑将缩小图像中的四个像素用于计算。此外，当特征尺寸增大至4、8、16和32时，创建与其对应的缩小图像，并且将针对与特征尺寸对应的缩小图像的权重设置为最大，从而可以获得计算负荷减小的类似效果。
图3示出了累积计算的一个示例。在该示例中，输入从法向向量n获得的两个倾斜图像(具有水平倾斜分量p的图像和具有垂直倾斜分量q的图像)。首先，整体形状由缩小程度大的倾斜图像累积，而细微形状由缩小程度较小的图像累积。这允许在较短时间段内恢复整体形状。根据图3，例如，针对1/32缩小图像，通过表达式2计算表示涉及关注像素的工件的表面的形状的参数的z。根据特征尺寸确定权重w。将构成缩小图像的每个像素当作关注像素，并且对累积计算进行迭代(重复处理)。z的初始值为零。然后，根据表达式2、针对1/16缩小图像计算z。这里，将1/16缩小图像的倾斜分量累积在1/32的计算的结果上。类似地，从1/8缩小图像到1/1图像执行累积计算。
图4示出了针对每个特征尺寸的权重的一个示例。横轴表示分辨率水平(缩小程度)，而纵轴表示权重。可以从图4看出，在特征尺寸1上，权重在具有最小缩小程度的水平0(1/1图像)下最大。这允许对更细微的形状作累积。在特征尺寸2上，权重在水平1(1/2图像)下最大。这允许对具有更大尺寸的形状作进一步累积。如这样描述的那样，确定每个权重以使得在对应于特征尺寸的水平下产生峰值。
作为用于恢复形状图像的方法，除了上述累积计算外，还可以采用已知的傅里叶变换积分(“AMethodforEnforcingIntegrabilityinShapefromShadingAlgorithms”，IEEETransactionsonPatternAnalysisandMachineIntelligence，第10卷，第4期，1988年7月)。在该方法中，还可以通过在计算处理中生成缩小图像并且调整加权分量来改变要提取的特征尺寸。
图5示出了根据特征尺寸的差异的检查图像的一个示例。可以看出，以特征尺寸4提取细微形状，以特征尺寸64提取整体形状，以及以特征尺寸16提取细微形状与整体形状之间的中间尺寸的形状。这样的方式中，小的特征尺寸用于检查细微瑕疵，大的特征尺寸适合于区分对象的有无，以及中间特征尺寸适合于不均匀字符的OCR等。即，根据检查工具根据选择适当的特征尺寸可以提高检查准确度。
图6是示出通过光度立体方法来创建检查图像的步骤的视图。亮度图像601至604是通过用来自各自不同的照明方向的照明光照射工件2而获取的亮度图像。应注意，亮度图像600是通过从四个方向同时照射工件而获得的亮度图像。工件的表面的法向向量是通过根据多幅亮度图像进行计算而获得的，该多幅亮度图像是通过用来自各自不同的照明方向的照明光照射工件2而获取的。倾斜图像611是像素值为从亮度图像601至604获得的法向向量在x方向上的倾斜分量的倾斜图像。倾斜图像612是像素值为从亮度图像601至604获得的法向向量在y方向上的倾斜分量的倾斜图像。反射率图像610是通过从根据亮度图像601至604获得的法向向量中去除由于工件的表面的倾斜而引起的亮度值的变化量以形成具有工件的表面的反射率的图像而获得的反射率图像。检查图像621至623是具有从倾斜图像611、612获得的具有各自不同的特征尺寸的图像。检查图像621至623中的每一个也由基于倾斜分量的像素构成，并且因而是一种类型的倾斜图像。在这样的过程中，生成工件2的检查图像。应注意，根据检查工具，可以采用作为全向照明图像的亮度图像600或反射率图像610作为检查图像。全向照明图像是通过使设置在照明设备3中的多个光源的全部光源发光而获取的亮度图像。
<纹理信息>
纹理信息是基于工件2的表面的反射率ρ的信息。反射率ρ是通过表达式1获得的，即，一幅反射率图像是根据四幅亮度图像获得的。反射率图像是具有与工件的表面的反射率ρ成比例的像素值的图像。如图7所示，根据四幅亮度图像701至704计算法向向量，并且基于所算出的法向向量以及与多幅亮度图像中的每一幅对应的像素的亮度值，计算与每个像素的反射率成比例的像素值，以获得作为反射率图像的纹理图像711、712。该合成方法的示例包括：对四幅亮度图像的像素进行平均以获得纹理图像的方法，以及从四幅亮度图像去除光晕、然后对像素进行平均以获得纹理图像的方法。纹理图像711是通过对像素进行平均而获得的图像的一个示例，而纹理图像712是通过去除光晕而获得的图像的一个示例。在四幅亮度图像中，存在坐标匹配的四个像素。可以通过去除四个像素之中具有最大像素值的像素或者通过去除具有最大像素值至第N大像素值的像素(N为不大于3的自然数)来去除光晕。这是因为光晕表现为图像中的高亮度。两幅纹理图像711、712都由基于反射率的像素构成，并且因而是反射率图像的类型。
<功能块>
图8是检查设备的框图。在该示例中，照明设备3、相机4和图像处理设备5分别容纳于单独的壳体中，但这仅仅是示例，并且照明设备3、相机4和图像处理设备5可以被适当地集成。照明设备3是用于根据光度立体方法照射检查对象的照明部的一个示例，并且设置有光源组801和用于控制该光源组的照明控制器802。一个分段(segment)可以由多个发光元件组成，并且光源组801可以由多个分段组成。分段的数量通常为四个，但是可以是任何数量，只要其不小于三。这是因为在从三个或三个以上的照明方向照射工件2的情况下，检查图像可以通过光度立体方法来生成。如图1所示，照明设备3的外形可以是环形。另外，照明设备3可以由各自彼此分离的多个照明单元构成。例如，虽然用于采集工件2的图像的照明单元在市场上存在，但是这些照明单元未被开发用于光度立体。然而，照明设备3可以通过准备多个这样的照明单元并且连接用于控制这些照明单元的照明控制器来配置。照明控制器802根据来自图像处理设备5的控制命令来控制光源组801的发光定时和发光模式。虽然假设照明控制器802内置在照明设备3中来给出描述，但是照明控制器802可以内置在相机4或图像处理设备5中，或者可以容纳于独立于这些设备的壳体中。
相机4是用于从所照射的检查对象接收反射光以根据光度立体方法生成亮度图像的成像部的一个示例，并且根据来自图像处理设备5的控制命令来执行图像处理。相机4可以创建工件2的亮度图像并且将亮度图像传送至图像处理设备5，或者相机4可以将从成像元件获得的亮度信号传送至图像处理设备5并且图像处理设备5可以生成亮度图像。由于亮度信号是用于生成亮度图像的信息，因此亮度信号在广义上也是亮度图像。
图像处理设备5具有处理器810(诸如，CPU和ASIC)、存储装置820(诸如，RAM、ROM和便携式存储介质)、图像处理部830(诸如ASIC)以及通信部850(诸如，网络接口)。处理器810用来设置检查工具并且生成检查图像。光度处理部811用作如下计算部，用于根据由相机4获取的多幅亮度图像计算工件2的表面的法向向量n，并且通过使用相对于倾斜图像与关注像素相邻的像素的法向向量和倾斜图像的缩小图像来执行关注像素的像素值的累积计算，以生成具有该像素值的检查图像，该倾斜图像具有基于根据多幅亮度图像计算的法向相邻n的像素值。应注意，具体地，检查图像是通过使用上述的数学表达式等来生成的。照明控制部812将控制命令传送至照明控制器802以控制照明模式、照明切换定时等。成像控制部813控制相机4。UI管理部814在显示部7上显示用于设置检查工具的用户界面(UI)、用于设置生成检查图像所需的参数的UI等，并且根据从输入部6输入的信息来设置检查工具和参数。特别地，特征尺寸设置部815用作用于设置作为用于向在累积计算中使用的缩小图像的分量赋予权重w的参数的特征尺寸的设置部。图像选择部816在多幅亮度图像、多幅检查图像、多幅倾斜图像和多幅反射率图像之中选择要显示的图像等。图像选择部816可以在检查图像和由相机4获取的多幅亮度图像之中选择要保存或要输出的图像。检查工具设置部817设置用于由图像选择部816选择的检查图像的检查工具。参考图像设置部818设置从无缺陷产品获取的参考图像。检查工具设置部817可以包括特征尺寸设置部815、图像选择部816、参考图像设置部818和条件设置部819。图像处理部830用作检查区域设置部，该检查区域设置部用于通过使用参考图像对检查图像执行模式搜索以在检查图像中设置检查区域。检查区域是例如特征识别区域。条件设置部819设置用于将图像输出至连接至显示部7或通信部850的外部装置的条件，或者设置用于将图像保存到便携式存储介质中的条件。确定部840用作确定部，用于通过使用检查图像来确定工件2有无缺陷。例如，确定部840接收通过使用检查图像在图像处理部830中执行的检查的结果，并且确定检查结果是否满足无缺陷产品条件(容限等)。
存储装置820存储作为由相机4获取的亮度图像的数据的亮度图像数据821、以及由光度处理部811生成的倾斜图像数据822和反射率图像数据823。另外，存储装置820也存储各种设置数据、用于生成用户界面的程序代码等。存储装置820可以存储和保持具有各自不同的特征尺寸的检查图像。另外，除了检查图像外，存储装置820还可以存储用于生成检查图像的倾斜图像数据或反射率图像数据。当发现对工件2的错误确定时，这些数据可以用于指示检查图像、倾斜图像和反射率图像中的哪一个具有问题并且校正其控制参数。
图像处理部830通过使用由光度处理部811生成的检查图像(倾斜图像数据822、反射率图像数据823)来执行视觉检查。瑕疵检查部831对通过使用各自不同的特征尺寸而生成的多幅检查图像来执行瑕疵检查。OCR部832用作字符识别处理部，用于对通过使用各自不同的特征尺寸而生成的多幅检查图像执行字符识别处理。瑕疵检查部831和OCR部832可以读取存储在存储装置820中的检查图像(倾斜图像数据822、反射率图像数据823)并执行检查，以将检查结果写入存储装置820中或者将检查结果传递至确定部840。确定部840基于该检查结果来确定工件2有无缺陷。
<设置模式>
检查系统具有用于设置检查工具的设置模式以及用于根据所设置的检查工具执行工件2的视觉检查的检查模式(操作模式)。这里，将描述设置模式的一个示例。
图9是与设置模式有关的流程图。当通过输入部6指示设置模式启动时，处理器810的UI管理部814在显示部7上显示用于设置检查工具的UI。
图10示出了UI的一个示例。通过UI管理部814显示在显示部7上的UI1000设置有用于指定检查结果的保存目的地的下拉菜单1001以及用于输入检查工具的名称的文本框1002。当检测到按下运行按钮时，UI管理部814显示下一UI。
图11所示的UI1100具有用于设置检查工具的指南1101、用于指示相机4进行成像的测量运行按钮1102、用于显示由相机4采集的图像的显示区域1103和用于指示相机的设置启动的相机设置按钮1104。图像选择部1105是用于选择在显示区域1103中要显示的图像或要用于检查的图像的按钮。在该示例中，图像选择部1105可选地选择形状1、形状2、纹理和正常之中的任一图像。当操作测量运行按钮1102时，成像控制部指示相机4进行成像。UI管理部814将由相机4获取的亮度图像呈现于显示区域1103。应注意，当图像选择部1105选择另一图像时，UI管理部814将图像选择部1105选择的图像呈现于显示区域1103。如这样描述的那样，用户可以通过操作图像选择部1105或者通过输入部6指示图像的切换来切换在显示区域1103中显示的图像。当操作相机设置按钮1104时，UI管理部814切换至下一UI。
在S901中，UI管理部814在显示部7上显示用于设置相机4的UI，以执行相机的设置。图12示出了相机设置UI1200的一个示例。相机设置标签(tab)1201具有用于设置相机的模式的下拉菜单1202、用于设置图像大小的下拉菜单1203、用于设置快门速度的下拉菜单1204以及用于设置相机的感光度的滑动块1205。当操作测量运行按钮1102时，UI管理部814在显示区域1103a中显示由相机4根据此时所设置的成像参数获取的亮度图像。因此，可以确定所设置的参数是否是适当的。
在S902中，UI管理部814在显示部7上显示用于设置光度处理的UI，以执行设置。例如，当检测到操作了设置在相机设置UI1200中的光度立体设置标签1210时，UI管理部814切换要启用的光度立体设置标签1210，如图13所示。切换要启用的光度立体设置标签1210意味着将光度立体设置标签1210的显示状态切换为用户可操作状态。光度立体设置标签1210包括用于选择图像的下拉菜单1310和特征尺寸设置部1302。在该示例中，假设可以选择具有各自不同的特征尺寸的三幅检查图像(形状1、形状2、形状3)中的任一个。特征尺寸设置部1302针对通过下拉菜单1301选择的每幅图像来设置特征尺寸。
用于选择照明模式的选择部可以布置在光度立体设置标签1210中。另外，可以设置用于指示一次照射的发射量的指示部。
在S903中，UI管理部814在显示部7上显示用于设置检查工具的UI，以执行该设置。图14是用于设置检查工具的UI1400的一个示例。图像选择按钮1401是用于在多幅检查图像之中选择要用于检查的检查图像的按钮。检查类别选择按钮1402是用于在多个检查类别之中选择作为检查工具而要被添加的工具的类别的按钮。识别目标设置按钮1403是用于在多个识别对象之中选择一个识别对象的按钮。在该示例中，选择“形状1”作为检查图像，选择“识别”作为类别，以及选择“字符识别”作为识别处理。当操作添加按钮1404时，UI管理部814切换至下一UI。图15示出了参考图像登记UI1500。除了上述的测量运行按钮1102和显示区域1103外，参考图像登记UI1500还设置有登记按钮1501。当操作登记按钮1501时，UI管理部814将由测量运行按钮1102获取的且在显示区域1103中显示的图像登记为参考图像。当完成登记时，UI管理部814切换至下一UI。
图16示出了测量区域设置UI1600。测量区域设置UI1600的显示区域1103设置有参考图像1601和示出测量区域的框1602。UI管理部814根据来自输入部6的指示来改变框1602的位置和尺寸。用户根据在参考图像1601中要测量的部分的位置和尺寸来调整框1602的位置和尺寸。UI管理部814还执行字符分段设置或者用于登记要识别的字符的具体示例(字符图像)、对应于该字符图像的字符等的字典设置。
接下来，将描述瑕疵检查工具。如图17所示，当通过检查类别选择按钮1402选择瑕疵检查时，UI管理部814显示检查内容选择按钮1701。在该示例中，用于测量瑕疵的总面积的工具已由检查内容选择按钮1701选择。当操作添加按钮1404时，UI管理部814切换UI。
图18示出了测量区域设置UI1800。测量区域设置UI1800设置有用于示出处理区域的框1802。框1802的形状是可改变的，例如，通过用于选择形状的下单菜单1801选择多种形状之中的任一形状。UI管理部814将具有通过下单菜单1801选择的形状的框1802呈现于显示区域1103。UI管理部814根据来自输入部6的指示来改变框1802的位置和尺寸。
图19示出了用于设置瑕疵检测条件的设置UI1900。设置UI1900设置有用于选择瑕疵检测方向的下拉菜单1901、用于指示瑕疵分段尺寸的方框1902以及用于指示瑕疵级别的滑动块1903。当瑕疵检查部831基于通过设置UI1900设置的瑕疵检测条件来检测瑕疵时，UI管理部814可以在瑕疵的位置显示瑕疵检测标记1910。这允许用户判断瑕疵检测条件是否是适当的。
<检查模式>
图20是示出检查模式的流程图。当通过输入部6指定检查模式的启动时，处理器810将操作模式切换至检查模式。
在S2001中，处理器810在根据所设置的照明模式来切换照明方向时采集和获取工件2的图像。具体地，照明控制部812参照保存在存储装置820中的设置数据来指示照明模式，并且将用于指示照明模式的命令传送到照明控制器802。成像控制部813参照保存在存储装置820中的设置数据来指示与相机4有关的控制参数(快门速度、感光度等)，并且将用于指示控制参数的命令传送到相机4。光度处理部811将用于指示启动照明的触发信号传送至照明控制器802，并且与此相结合，光度处理部811将用于指示启动成像的触发信号传送至相机4。照明控制器802与触发信号同步地切换照明方向。例如，根据通过命令指示的照明模式，照明控制器802针对四个照明方向逐一地使对应的发光元件顺序地发光。照明控制器802可以将命令与照明模式之间的对应关系保存在存储器等中。在开始照明时仅可以发出一个触发信号，或者可以在切换定时发出触发信号。相机4根据控制参数采集工件2的图像，并且将亮度图像传输送至图像处理设备5。以这样的方式，例如，针对一个照明方向生成一幅亮度图像。
在S2002中，处理器810从多幅亮度图像获得法向向量n和反射率ρ。如上所述，光度处理部811将表达式1应用于多幅亮度图像的像素值，以获得法向向量n和反射率ρ。
在S2003中，处理器810根据所设置的特征尺寸来生成检查图像。如上所述，光度处理部811从权重表等确定对应于特征尺寸的权重W，并且通过使用表达式2来执行累积计算，以生成检查图像(倾斜图像)。如这样描述的那样，光度处理部811可以根据多幅亮度图像生成具有基于工件2的表面的法向向量n的像素值的倾斜图像。当设置具有各自不同的值的多个特征尺寸时，光度处理部811可以针对多个特征尺寸中的每一个而生成检查图像。另外，光度处理部811可以通过前述技术来生成反射率图像或纹理图像。例如，光度处理部811可以根据多幅亮度图像计算工件2的表面的反射率ρ以及工件2的表面的法向向量n，以生成具有基于反射率ρ的像素值的反射率图像。这里，生成要检查的图像，并且可以省略不检查的图像的生成。
在S2004中，处理器810在显示部7上显示检查图像。UI管理部814可以同时或可选择性地在显示部7上连同检查图像一起显示亮度图像、倾斜图像和反射率图像。当选择性地显示这些图像时，UI管理部814可以例如通过根据来自输入部6的切换指示顺序地切换显示四幅亮度图像。例如，在输入部6之中，可以分配设置在控制台中的特定键作为图像切换按钮。
在S2005中，处理器810指示图像处理部830执行检查。当指示检查时，图像处理部830启动预先设置的检查工具，以对检查图像执行检查。例如，瑕疵检查部831根据所设置的测量区域和检测条件区分瑕疵级别，并且将检查结果(瑕疵级别)传送至确定部840。应注意，瑕疵检查部831可以通过使用上述的参考图像来执行模式搜索并且设置检查区域，以在检查区域中执行检查。另外，OCR部832根据先前设定的字符识别设置来对检查图像执行字符识别处理，并且将字符识别结果传送至确定部840。OCR部832也可以通过使用前述参考图像来执行模式搜索，并且设置检查区域(字符识别区域)，以在检查区域中执行检查。
在S2006中，处理器810的确定部840将检查结果与确定阈值进行比较，以确定工件2是否为无缺陷产品。例如，在已执行设置以执行瑕疵检查和OCR的情况下，在瑕疵检查部831的检查结果和OCR部832的字符识别结果都处于通过水平时，确定部840将工件2确定为无缺陷产品。
<图像保存设置>
图21示出用于设置检查流程的UI2100的一个示例。UI管理部814在显示部7上显示UI2100，并且根据从输入部6输入的指示来设置从检查流程的开始到结束的多个要执行的步骤。在该示例中，将成像步骤、模式搜索步骤、位置校正步骤和瑕疵检查步骤添加到检查流程。例如，当通过输入部6指示检查流程的结束时，UI管理部814可以执行使得在结束时存储检查历史的设置。检查历史是检查结果、在检查中使用的图像等。
在添加每个步骤时，UI管理部814可以通过输入部6接受对在每个步骤中要使用的图像的选择。例如，通过输入部6，用户可以将具有四个不同的照明方向的四幅亮度图像、倾斜图像、反射率图像等指示为用于成像步骤的获取对象。用户可以将任何亮度图像(全向照明图像等)指示为用于模式搜索步骤的搜索对象。用户可以将根据倾斜图像生成的检查图像指示为用于瑕疵检查步骤的检查对象。在本实施例中，可以在后一级的检查步骤中输出根据在成像步骤中采集的多幅亮度图像生成的多幅形状图像和反射率图像，从而用户可以将从共同成像步骤生成的多幅检查图像应用于与每幅图像的特征相对应的各种检查。
图22示出了用于设置用于存储历史的条件的UI2200的一个示例。用于设置对标识存储条件进行标识的标识信息的设置部2201是用于从多条标识信息中选择要设置的标识信息的下拉菜单。在该示例中，在设置部2201中，选择标识信息“0”的存储条件。存储条件的示例包括仅当检查结果表明工件不是无缺陷产品时才存储图像的条件、以及在不依靠检查结果的条件下而为每个工件持续存储图像的条件。这里，当检查到详情设置按钮等被按压时，处理部810启动条件设置部819。条件设置部819可以例如设置以下两个模式之一：用于持续地保存图像或输出图像的模式、用于当确定部840确定检查对象不是无缺陷产品时存储或输出图像的模式。图像选择部2202选择当满足存储条件时保存的图像。这里，图像选择部2202可以选择“全部”或“指定”。保存目的地选择部2203是用于选择图像保存的目的地(例如，诸如内部存储器或存储卡的便携式介质、或者诸如FTP服务器的网络存储装置)的下拉菜单。
图23示出了当在图像选择部2202中选择“指定”时UI管理部814在显示部7上显示的UI2300的一个示例。在该示例中，设置了用于在检查流程中处理的所有类型的图像之中选择实际要保存的图像的复选框2301。“形状1”和“形状2”是具有不同特征尺寸的检查图像(倾斜图像)。“纹理”是反射率图像。“正常”是通过全向照明而获取的图像。在四个方向上的每个箭头指示针对每个照明方向的图像。将复选框被复选的图像设置为要保存的图像。
顺便提及，处理器810可以设置有判断部，该判断部用于在确定部840完成确定之后判断是否满足用于保存图像或输出图像的条件。即，在检查流程的结束部分中，处理器810可以判断是否满足条件设置部819设置的存储条件或输出条件。
图24示出了将图像输出步骤2401添加到检查流程的示例。在上述示例中，已执行该设置以在检查流程结束时输出图像，但在该示例，UI管理部814根据从输入部6输入的用户的指示来在检查流程的任意位置处设置图像输出步骤2401。以这样的方式，处理器810可以在处于确定部840完成确定之前的图像输出步骤2401中判断是否满足用于保存图像或输出图像的条件。与图像输出步骤2401相关的存储设置等可以与使用图21至图23描述的设置类似，或者可以不同。
图25示出了与存储设置(输出设置)相关的UI的不同示例。在输入部6已选择图像输出步骤2401的状态下，通过输入部6进一步输入启动设置的指示时，UI管理部814显示UI2501。图像变量2502起到用于选择要输出的图像的图像选择部的作用，并且在该示例中，要输出的图像由添加到检查流程中的每个步骤的图像变量指定。即，可以针对每个步骤选择要输出的图像。在UI2501中，可以设置输出的图像的数量、图像形式等。输出目的地选择部2503是用于选择图像输出的目的地(例如，诸如内部存储器或存储卡的便携式介质、或者诸如FTP服务器的网络存储装置)的下拉菜单。
图26是用于选择图像的UI2600的一个示例。当在UI2501中按下详情设置按钮时，UI管理部814显示UI2600。UI2600设置有用于选择是保存所有图像还是单独地指定图像的单选按钮、用于单独地选择图像的复选框等。在该示例中，由于通过单选按钮选择单独设置，因此启用复选框，并且通过复选框选择多幅图像。以这样的方式，可以在多幅亮度图像、检查图像、全向照明图像和通过对多幅亮度图像进行合成而获得的合成亮度图像之中选择要保存或要输出的图像。另外，UI2600可以被配置成在具有各自不同的特征尺寸的多幅检查图像中选择要保存或要输出的图像。此外，UI2600可以被配置成可以在多幅亮度图像、检查图像或像素值是检查对象表面的反射率的反射率图像之中选择要保存或要输出的图像。
<概述>
根据本发明，光度处理部811基于光度立体方法、根据相机4获取的多幅亮度图像计算工件2的表面的法向向量，并且通过使用相对于倾斜图像与关注像素相邻的像素的法向向量和倾斜图像的缩小图像来执行关注像素的像素值的累积计算，以生成具有该像素值的检查图像，其中倾斜图像由基于根据多幅亮度图像计算的法向向量的像素值构成。另外，光度处理部811可以生成倾斜图像以及倾斜图像的至少一幅缩小图像，并且执行对倾斜图像和至少一幅缩小图像之中的至少两幅图像进行合成的合成处理，以生成展示检查对象的表面形状的检查图像。具体地，根据本实施例，提供了用于设置特征尺寸的特征尺寸设置部815，该特征尺寸是用于向在合成处理(例如，累积计算)中使用的缩小图像的分量赋予权重的参数。如所描述的那样，通过引入特征尺寸的概念，可以在根据通过使用光度立体原理而获取的图像生成检查图像时容易地设置参数。应注意，光度处理部811可以根据由特征尺寸设置部815设置的特征尺寸来生成不同的检查图像。光度处理部811可以生成具有各自不同的缩小率的多幅缩小图像。另外，当特征尺寸设置部815改变特征尺寸时，光度处理部811可以针对所获取的倾斜图像来改变特征尺寸而不进行重新成像，以更新检查图像。由于这消除了重新采集图像的需要，因此不需要在设置时再现成像环境，因此，可以执行最佳设置、同时针对已采集和存储的图像来改变对于特征尺寸的设置。特征尺寸设置部815可以按对应于检查应用的逐步方式设置不同的特征尺寸。例如，普遍认为可以按对应于该应用的逐步方式设置特征尺寸，例如，特征尺寸在瑕疵检查模式下相当小，而特征尺寸在OCR识别模式下相当大。例如，可以按对应于该应用的逐步方式设置特征尺寸，例如，特征尺寸在瑕疵检查模式下相当小，而特征尺寸在OCR识别模式下相当大。这在事先不知道适当的特征尺寸时是有用的。
特征尺寸设置部815可以设置具有各自不同的值的多个特征尺寸。在这种情况下，光度处理部811可以针对特征尺寸设置部815设置的多个特征尺寸中的每一个而生成检查图像。普遍认为适当的特征尺寸根据检查工具的类型而不同。因此，根据具有各自不同的值的多个特征尺寸来生成检查图像在选择对应于该检查的更适合的图像时是有益的。
瑕疵检查部831可以对通过使用各自不同的特征尺寸而生成的多幅检查图像执行瑕疵检查，并且确定部840可以通过使用瑕疵检查部831的检查结果来确定工件2有无缺陷。对多幅检查图像执行瑕疵检查消除了用于预先选择一幅检查图像的要求，这对于用户而言将是便利的。OCR部832可以对通过使用各自不同的特征尺寸而生成的多幅检查图像执行字符识别处理，并且确定部840可以通过使用OCR部832的字符识别结果来确定工件2有无缺陷。对多幅检查图像执行字符识别处理消除了预先选择一幅检查图像的要求，这对于用户将是便利的。
最初，可以通过光度立体方法生成展示工件2的高度的高度图像。然而，测量工件2的表面的高度需要对相机4与照明设备3之间的位置关系的作出相当严格的设置。同时，在通过光度立体方法获得的图像之中，可以使用形状信息或纹理(设计)信息而不获取高度信息。例如，当要执行瑕疵检查或OCR时，不需要对相机4和照明设备3的严格设置。如这样描述的那样，当检查工具不需要精确的高度数据时，可以减轻对于相机4和照明设备3的布置条件。应注意，照明方向的数量可以是三个或三个以上。
光度处理部811可以根据由相机4获取的多幅亮度图像来计算工件2的表面的反射率以及工件2的表面的法向向量，以生成由基于反射率的像素值构成的反射率图像，并且确定部840可以通过使用反射率图像来确定工件2有无缺陷。这是因为还存在反射率图像适当地用于检查的检查工具。光度处理部811可以根据相机4获取的多幅亮度图像来生成由基于工件2的表面的法向向量的像素值构成的倾斜图像，并且确定部840可以通过使用倾斜图像来确定工件2有无缺陷。这是因为还存在倾斜图像适当地用于检查的检查工具。确定部840可以通过使用亮度图像来确定工件2有无缺陷。这是因为还存在在被处理成倾斜图像或反射率图像之前的亮度图像适当地用于检查的检查工具。确定部840可以通过使用具有各自不同的亮度方向的多幅亮度图像之中的至少一幅亮度图像来确定工件2有无缺陷。由于存在在亮度方向上差异变得明显的缺陷等，因此通过从某一方向照射工件2而获得的亮度图像适合于检测这样的瑕疵。
确定部840可以同时使照明设备3的所有光源发光，并且通过使用由相机4获取的亮度图像来确定工件2有无缺陷。即，通过使用所谓的全向图像，可以确定工件2是有缺陷还是无缺陷。例如，全向照明图像可以适合于计算工件2的某一部分的面积或者测量终端的长度。
确定部840可以对具有各自不同的照明方向的多幅亮度图像进行合成，并且通过使用所生成的合成亮度图像来确定工件2有无缺陷。合成亮度图像是与全向亮度图像类似的图像。因此，通过使用合成亮度图像来替代全向照明图像，可以执行检查而不用获取全向照明图像。在需要全向照明图像的情况下，需要获取具有各自不同的照明方向的四幅亮度图像和通过从四个方向的同步照明而获得的一幅全向照明图像。即，需要五次照明和五次成像。另一方面，当使用合成亮度图像时，可以执行四次照明和四次成像。以这样的方式，采用合成亮度图像可以减小处理器810需要在短时间段内处理多幅检查图像时的处理负荷。另外，随着所获取的图像数量增加，需要降低线路1的输送速度。然而，在本实施例中，由于可以减少所获取的图像的数量，因此可以增大线路1的输送速度。
存储装置820可以存储和保持检查图像。确定部840或图像处理部830可以从存储装置820读取检查图像并且执行检查，以根据检查结果确定工件2有无缺陷。应注意，存储装置820可以是内部存储器、便携型存储介质和网络存储装置中的任一个。例如，当检查图像存储到便携型存储介质或网络存储装置时，可以在与已生成检查图像的设备不同的设备中执行检查处理。
存储装置820可以存储通过应用具有各自不同的值的特质尺寸而生成的多幅检查图像。除了检查图像外，存储装置820可以存储倾斜图像和反射率图像中的至少一个。图像选择部816可以在多幅检查图像之中选择一幅检查图像。另外，检查工具选择部817可以为图像选择部816选择的的检查图像设置检查工具。在通过应用具有各自不同的值的特征尺寸而生成的多幅检查图像之中，可能存在无需进行检查的检查图像。因此，用户可以根据检查工具来设置检查图像。
如使用图15等所描述的那样，图像处理部830可以通过使用从无缺陷产品获取的参考图像来执行模式搜索，以设置检查区域。确定部840可以通过使用在检查区域中执行的检查的结果来确定工件2有无缺陷。检查区域是例如字符识别区域。
如使用图11以及图21至图26所描述的那样，图像选择部816可以在检查图像和由相机4获取的多幅亮度图像之中选择要保存或要输出的图像。另外，图像选择部816可以在多幅亮度图像、检查图像、通过使设置在照明设备3中的多个光源中的全部光源发光而获取的亮度图像以及通过对多幅亮度图像进行合成而获得的合成亮度图像之中选择要保存或要输出的图像。此外，图像选择部816可以在具有各自不同的特征尺寸的多幅检查图像之中选择要保存或要输出的图像。此外，图像选择部816可以在多幅亮度图像、检查图像和像素值为工件2的表面的反射率的反射率图像之中选择要保存或要输出的图像。如这样描述的那样，允许适当地选择与检查相关的图像将利于保存或输出期望的图像。
还可以设置用于设置保存图像或输出图像的条件的条件设置部819。例如，如使用图22和图26所描述的那样，条件设置部819可以例如设置以下两个模式之一：用于持续地保存图像或输出图像的模式、用于当确定部840确定工件2不是无缺陷产品时保存图像或输出图像的模式。如使用图21至图26所描述的那样，处理器810可以在确定部840完成确定之前或之后判断是否满足保存图像或输出图像的条件。例如，可以在检查流程中完成检查的时间点判断是否保存图像，或者可以在检查流程的任一步骤中判断是否保存图像。具体地，在后一情况中，还可以保存在检查流程的中间所生成的中间图像。在寻找检查中的故障的原因并且调整控制参数时，这样的中间图像将是有用的。

Claims (20)

1.一种检查设备，包括：
照明部，其用于根据光度立体方法来对检查对象进行照明；
成像部，其用于接收来自被照明的检查对象的反射光，以根据所述光度立体方法生成亮度图像；
计算部，其用于根据由所述成像部获取的多幅亮度图像来计算所述检查对象的表面的法向向量，生成由基于根据所述多幅亮度图像算出的法向向量的像素值构成的倾斜图像和所述倾斜图像的至少一幅缩小图像，并且执行对所述倾斜图像和所述至少一幅缩小图像之中的至少两个图像进行合成的合成处理，以生成展示所述检查对象的表面形状的检查图像；
确定部，其用于通过使用所述检查图像来确定所述检查对象有无缺陷；以及
设置部，其用于设置特征尺寸，所述特征尺寸是用于在执行所述合成处理时向所述缩小图像的分量赋予权重的参数，
其中，所述计算部根据由所述设置部设置的所述特征尺寸来生成不同的检查图像。
2.根据权利要求1所述的检查设备，其中，所述计算部使用不同的缩小率来生成多幅缩小图像。
3.根据权利要求1所述的检查设备，其中，当所述设置部改变所述特征尺寸时，所述计算部针对所获取的倾斜图像改变所述特征尺寸而不由所述成像部进行重新成像，以更新所述检查图像。
4.根据权利要求1所述的检查设备，其中，所述设置部按对应于检查应用的逐步方式设置不同的特征尺寸。
5.根据权利要求1所述的检查设备，其中，
所述设置部设置具有各自不同的值的多个特征尺寸，并且
所述计算部针对由所述设置部设置的所述多个特征尺寸中的每一个来生成所述检查图像。
6.根据权利要求1所述的检查设备，还包括：
瑕疵检查部，其用于对通过使用各自不同的特征尺寸而生成的多幅检查图像执行瑕疵检查，
其中，所述确定部通过使用所述瑕疵检查部的检查结果来确定所述检查对象有无缺陷。
7.根据权利要求1所述的检查设备，还包括：
字符识别部，其用于对通过使用各自不同的特征尺寸而生成的多幅检查图像执行字符识别处理，
其中，所述确定部通过使用所述字符识别部的字符识别的结果来确定所述检查对象有无缺陷。
8.根据权利要求1所述的检查设备，其中，
所述计算部根据所述成像部获取的多幅亮度图像来计算所述检查对象的表面的反射率以及所述检查对象的表面的法向向量，以生成像素值是所述反射率的反射率图像，并且
所述确定部通过使用所述反射率图像来确定所述检查对象有无缺陷。
9.根据权利要求1所述的检查设备，其中，
所述计算部根据所述成像部获取的多幅亮度图像来生成由基于所述检查对象的表面的法向向量的像素值构成的倾斜图像，并且
所述确定部通过使用所述倾斜图像来确定所述检查对象有无缺陷。
10.根据权利要求1所述的检查设备，还包括：
存储部，其用于存储所述检查图像，
其中，所述确定部从所述存储部中读取所述检查图像并执行检查，以基于所述检查的结果来确定所述检查对象有无缺陷。
11.根据权利要求10所述的检查设备，其中，所述存储部存储通过应用具有各自不同的值的特征尺寸而生成的多幅检查图像。
12.根据权利要求1所述的检查设备，还包括：
选择部，其用于在多幅检查图像之中选择一幅检查图像；以及
检查工具设置部，其用于为所述选择部选择的检查图像设置检查工具。
13.根据权利要求1所述的检查设备，还包括：
图像选择部，其用于在所述成像部获取的多幅亮度图像和所述检查图像之中选择要保存或要输出的图像。
14.根据权利要求13所述的检查设备，其中，所述图像选择部在所述多幅亮度图像、所述检查图像、通过使设置在所述照明部中的多个光源中的全部光源发光而获取的亮度图像、以及通过对所述多幅亮度图像进行合成而获得的合成亮度图像之中选择要保存或要输出的图像。
15.根据权利要求13所述的检查设备，其中，所述图像选择部在具有各自不同的特征尺寸的所述多幅检查图像之中选择要保存或要输出的图像。
16.根据权利要求13所述的检查设备，其中，所述图像选择部在所述多幅亮度图像、所述检查图像和像素值为所述检查对象的表面的反射率的反射率图像之中选择要保存或要输出的图像。
17.根据权利要求13所述的检查设备，还包括：
条件设置部，其用于设置保存图像或输出图像的条件。
18.根据权利要求17所述的检查设备，其中，所述条件设置部设置用于持续地保存图像或输出图像的模式和用于在所述确定部确定所述检查对象不是无缺陷产品时保存图像或输出图像的模式之一。
19.一种程序，其使得计算机实现以下功能：
照明部，其用于根据光度立体方法来对检查对象进行照明；
成像部，其用于接收来自被照明的检查对象的反射光，以根据所述光度立体方法生成亮度图像；
计算部，其用于根据由所述成像部获取的多幅亮度图像来计算所述检查对象的表面的法向向量，并且执行对由基于根据所述多幅亮度图像算出的法向向量的像素值构成的倾斜图像和所述倾斜图像的至少一个缩小图像之中的至少两个图像进行合成的合成处理，以生成展示所述检查对象的表面形状的检查图像；
确定部，其用于通过使用所述检查图像来确定所述检查对象有无缺陷；以及
设置部，其用于设置特征尺寸，所述特征尺寸是用于在执行所述合成处理时向所述缩小图像的分量赋予权重的参数，
其中，所述计算部根据由所述设置部设置的所述特征尺寸来生成不同的检查图像。
20.一种检查方法，包括：
照明步骤，根据光度立体方法来对检查对象进行照明；
成像步骤，接收来自被照明的检查对象的反射光，以根据所述光度立体方法生成亮度图像；
计算步骤，根据通过所述成像步骤获取的多幅亮度图像来计算所述检查对象的表面的法向向量，并且执行对倾斜图像和所述倾斜图像的至少一个缩小图像之中的至少两个图像进行合成的合成处理，以生成展示所述检查对象的表面形状的检查图像，其中所述倾斜图像是由基于根据所述多幅亮度图像算出的法向向量的像素值构成的；
确定步骤，通过使用所述检查图像来确定所述检查对象有无缺陷，
所述方法还包括
设置步骤，设置特征尺寸，所述特征尺寸是用于在执行所述合成处理时向所述缩小图像的分量赋予权重的参数，
其中，在所述计算步骤中，根据在所述设置步骤中设置的所述特征尺寸来生成不同的检查图像。
CN201510313548.6A 2014-06-09 2015-06-09 检查设备、检查方法和程序 Active CN105184765B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014119099A JP6290720B2 (ja) 2014-06-09 2014-06-09 検査装置、検査方法およびプログラム
JP2014-119099 2014-06-09

Publications (2)

Publication Number Publication Date
CN105184765A true CN105184765A (zh) 2015-12-23
CN105184765B CN105184765B (zh) 2019-08-16

Family

ID=54549075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510313548.6A Active CN105184765B (zh) 2014-06-09 2015-06-09 检查设备、检查方法和程序

Country Status (4)

Country Link
US (2) US9571817B2 (zh)
JP (1) JP6290720B2 (zh)
CN (1) CN105184765B (zh)
DE (1) DE102015210442A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194881A (zh) * 2017-03-23 2017-09-22 南京汇川图像视觉技术有限公司 一种基于光度立体的去除图像反光装置及方法
CN109931881A (zh) * 2017-12-15 2019-06-25 欧姆龙株式会社 图像处理系统、计算机可读记录介质及图像处理方法
CN112858318A (zh) * 2021-04-26 2021-05-28 惠州高视科技有限公司 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6424020B2 (ja) 2014-06-09 2018-11-14 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6290720B2 (ja) 2014-06-09 2018-03-07 株式会社キーエンス 検査装置、検査方法およびプログラム
JP6470506B2 (ja) * 2014-06-09 2019-02-13 株式会社キーエンス 検査装置
WO2016103285A1 (en) * 2014-12-24 2016-06-30 Datalogic Ip Tech S.R.L. System and method for reading direct part marking (dpm) codes on objects
JP6474334B2 (ja) * 2015-07-30 2019-02-27 株式会社キーエンス 画像検査装置、画像検査方法および画像検査プログラム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6745173B2 (ja) 2016-09-06 2020-08-26 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
KR101865886B1 (ko) * 2016-12-09 2018-06-08 한국과학기술원 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템
JP2018112479A (ja) * 2017-01-12 2018-07-19 リコーエレメックス株式会社 外観検査システム
JP7024239B2 (ja) * 2017-07-25 2022-02-24 オムロン株式会社 画像処理システム、画像処理装置および画像処理プログラム
JP6973205B2 (ja) * 2018-03-15 2021-11-24 オムロン株式会社 画像処理システム、画像処理装置、画像処理プログラム
CN112334764B (zh) * 2018-06-21 2024-05-24 东京毅力科创株式会社 基片的缺陷检查方法、存储介质和基片的缺陷检查装置
JP7188930B2 (ja) * 2018-07-27 2022-12-13 株式会社Ｓｃｒｅｅｎホールディングス 刻印検査装置、刻印検査方法および物品検査装置
US11720766B2 (en) * 2018-12-28 2023-08-08 Packsize Llc Systems and methods for text and barcode reading under perspective distortion
US20200247309A1 (en) 2019-02-06 2020-08-06 Ford Global Technologies, Llc Vehicle lamp-cleaning system
JP7370285B2 (ja) * 2020-03-16 2023-10-27 株式会社キーエンス マーキングシステム、診断支援装置、診断支援方法、診断支援プログラム及び記憶媒体
JP2023032374A (ja) * 2021-08-27 2023-03-09 日立Astemo株式会社 外観検査装置および外観検査方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003012412A2 (en) * 2001-07-25 2003-02-13 University Of The West Of England, Bristol Infra-red photometric stereo
JP2007206797A (ja) * 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
US20130033595A1 (en) * 2011-07-28 2013-02-07 Massachusetts Institute Of Technology High-resolution surface measurement systems and methods
CN103003663A (zh) * 2010-06-16 2013-03-27 司法技术Wai公司 使用非线性光度立体视觉方法获取工具印痕的三维表面形态图像
CN103207183A (zh) * 2011-12-28 2013-07-17 株式会社其恩斯 外观检查装置和外观检查方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69703487T2 (de) * 1997-08-22 2001-06-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur automatischen Prüfung bewegter Oberflächen
JP2001074430A (ja) * 1999-09-07 2001-03-23 Minolta Co Ltd 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置
JP2001074431A (ja) * 1999-09-07 2001-03-23 Minolta Co Ltd 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置
JP2003240539A (ja) * 2002-02-14 2003-08-27 Mitsubishi Electric Corp 表面形状検査方法およびその装置
US7019826B2 (en) * 2003-03-20 2006-03-28 Agilent Technologies, Inc. Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection
JP2005283197A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画面のスジ欠陥検出方法及び装置
JP6290720B2 (ja) 2014-06-09 2018-03-07 株式会社キーエンス 検査装置、検査方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003012412A2 (en) * 2001-07-25 2003-02-13 University Of The West Of England, Bristol Infra-red photometric stereo
JP2007206797A (ja) * 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
CN103003663A (zh) * 2010-06-16 2013-03-27 司法技术Wai公司 使用非线性光度立体视觉方法获取工具印痕的三维表面形态图像
US20130033595A1 (en) * 2011-07-28 2013-02-07 Massachusetts Institute Of Technology High-resolution surface measurement systems and methods
CN103207183A (zh) * 2011-12-28 2013-07-17 株式会社其恩斯 外观检查装置和外观检查方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194881A (zh) * 2017-03-23 2017-09-22 南京汇川图像视觉技术有限公司 一种基于光度立体的去除图像反光装置及方法
CN107194881B (zh) * 2017-03-23 2019-12-03 南京汇川图像视觉技术有限公司 一种基于光度立体的去除图像反光方法
CN109931881A (zh) * 2017-12-15 2019-06-25 欧姆龙株式会社 图像处理系统、计算机可读记录介质及图像处理方法
US10859506B2 (en) 2017-12-15 2020-12-08 Omron Corporation Image processing system for processing image data generated in different light emission states, non-transitory computer readable recording medium, and image processing method
CN112858318A (zh) * 2021-04-26 2021-05-28 惠州高视科技有限公司 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质

Also Published As

Publication number Publication date
JP6290720B2 (ja) 2018-03-07
US20170098300A1 (en) 2017-04-06
DE102015210442A1 (de) 2015-12-10
JP2015232476A (ja) 2015-12-24
CN105184765B (zh) 2019-08-16
US9571817B2 (en) 2017-02-14
US20150358602A1 (en) 2015-12-10
US9773304B2 (en) 2017-09-26

Similar Documents

Publication Publication Date Title
CN105184765A (zh) 检查设备、检查方法和程序
US10156525B2 (en) Inspection apparatus, inspection method, and program
US10489900B2 (en) Inspection apparatus, inspection method, and program
KR102084535B1 (ko) 결함 검사 장치, 결함 검사 방법
JP6405124B2 (ja) 検査装置、検査方法およびプログラム
JP6278842B2 (ja) 検査装置、検査方法およびプログラム
CN103988069A (zh) 图像检查装置的检查区域设定方法
CN104053984A (zh) 图像检查方法和图像检查装置
US6993177B1 (en) Gauging based on global alignment and sub-models
JP6585793B2 (ja) 検査装置、検査方法およびプログラム
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
WO2009085173A1 (en) System and method for performing multi-image training for pattern recognition and registration
JP6395455B2 (ja) 検査装置、検査方法およびプログラム
JP6620215B2 (ja) 検査装置
JP2020042053A (ja) 画像検査装置および画像検査方法
JP6825067B2 (ja) 検査装置およびその制御方法
JP6864722B2 (ja) 検査装置、検査方法およびプログラム
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
KR20230081105A (ko) 정전기 가시화 시스템
JPH09271014A (ja) 動物体認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant