CN104160242A - 图像处理装置、其控制方法、程序以及检查系统 - Google Patents

图像处理装置、其控制方法、程序以及检查系统 Download PDF

Info

Publication number
CN104160242A
CN104160242A CN201380013148.2A CN201380013148A CN104160242A CN 104160242 A CN104160242 A CN 104160242A CN 201380013148 A CN201380013148 A CN 201380013148A CN 104160242 A CN104160242 A CN 104160242A
Authority
CN
China
Prior art keywords
image
luminous intensity
pattern
lighting
illumination sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380013148.2A
Other languages
English (en)
Other versions
CN104160242B (zh
Inventor
小岛岳史
森泰元
大西康裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104160242A publication Critical patent/CN104160242A/zh
Application granted granted Critical
Publication of CN104160242B publication Critical patent/CN104160242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/557—Detecting specular reflective parts on sample
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646—Soldering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95661—Inspecting patterns on the surface of objects for PCB's for leads, e.g. position, curvature
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95661—Inspecting patterns on the surface of objects for PCB's for leads, e.g. position, curvature
    • G01N2021/95669—Inspecting patterns on the surface of objects for PCB's for leads, e.g. position, curvature for solder coating, coverage
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/062—LED's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

使用以仅使镜面物体的颜色特征变化的方式设定的两种照明图案来拍摄计测对象物，比较所得到的两张图像，根据颜色特征是否发生显著改变来识别是镜面物体还是漫射物体。此时，以消除反射光中所包含的镜面叶瓣成分的方式对各照明图案的发光强度分布进行设计。

Description

图像处理装置、其控制方法、程序以及检查系统
技术领域
本发明涉及一种用于将计测对象物的图像分离镜面物体的区域和漫射物体的区域的技术。 
背景技术
已知有通过用摄像头拍摄计测对象物并分析所得到的图像，来进行计测对象物的各种检查的外观检查装置。在这种检查装置中，有时根据计测对象物表面的反射特性是镜面反射还是漫射反射，需要改变处理的算法。这是因为：就镜面反射的物体(称为镜面物体)而言，主要观测来自正反射方向的光的反射光，相对于此，就漫射反射的物体(称为漫射物体)而言，混合了来自各种方向的入射光，因此，由镜面物体和漫射物体得到的图像信息完全不同。因此，在将如印刷电路板这样漫射物体(基板表面、零件主体、感光胶片等)和镜面物体(焊锡、焊盘、零件电极、印刷布线、金属零件等)同时存在的物体作为计测对象物的情况下，在进行检查处理之前，需要进行用于将计测对象物的图像分为镜面物体的区域和漫射物体的区域的预处理。 
作为从图像来识别镜面物体的区域的方法，已知有专利文献1的发明。在专利文献1的方法中，在采用所谓彩色高光方式的基板外观检查装置中，获取按R、G、B的顺序排列照明时的图像和按B、G、R的顺序排列照明时的图像，将这些图像间的色差大的区域识别为镜面物体，其中，所谓彩色高光方式是指，从三种环状照明以不同的入射角度向基板照射R、G、B的光，并观测物体表面的颜色，由此来推测物体表面的倾斜度(法线的方向)的方式。 
现有技术文献 
专利文献 
专利文献1：日本特开2009-128345号公报 
发明内容
发明概要 
发明要解决的问题 
在为具有接近于理想镜面的反射特性的镜面物体的情况下，利用上述专利文献1的方法能够进行高精度的识别。但是，存在如下的问题，即在例如无铅焊锡这样物体表面粗糙的情况下，识别精度则会降低。其理由如图12所示。 
如图12(A)所示，就理想镜面的物体而言，入射光仅向正反射方向反射，反射光变得锐利且狭窄(称之为镜面尖峰(spike))。在该情况下，用摄像头观测到的光仅为从摄像头的光轴的正反射方向入射的光的反射光，所以图像中呈现R、G或者B的纯色。因此，如果更换R、G、B的排列，则图像的颜色发生显著变化，能够比较容易地识别出镜面物体。 
相对于此，就非理想镜面的镜面物体而言，如图12(B)所示，反射光由镜面尖峰和从与正反射方向稍稍偏移的方向模糊地扩散的光(称之为镜面叶瓣(lobe))构成。镜面叶瓣是指，因物体表面的微小凹凸(微小平面)引起的反射光的扩散，表面越粗糙(即，微小平面的朝向差异越大)镜面叶瓣越扩大，相反地，表面越光滑则镜面叶瓣越狭窄而越接近理想镜面的状态。在该情况下，用摄像头观测到的光为如下的光，即在从摄像头的光轴的正反射方向入射的光的镜面尖峰成分中，混入了从与正反射方向稍稍偏移的方向入射的光的镜面叶瓣成分。因此，表面粗糙的镜面物体形成R、G、B的混合色(例如，灰色)图像。因而，即使更换R、G、B的排列，颜色的变化也不会太大，从而难以识别是否是镜面物体。 
本发明是为了解决上述课题而提出的，其目的在于，提供一种不受限于镜面物体的反射特性就能够高精度地将计测对象物的图像分离镜面物体的区域和漫射物体的区域的技术。 
用于解决问题的手段 
为达到上述目的，本发明的主旨在于，利用以消除反射光中所包含的镜面叶瓣成分的方式对发光强度分布进行设计的两种照明图案拍摄计测对象物，并基于所得到的两张图像的比较结果，来识别计测对象物上的镜面物体的区域。 
具体而言，本发明的图像处理装置具有：照明单元，其由面光源构成，所述面光源对包括镜面物体和漫射物体的计测对象物照射规定的照明图案的光，照明控制单元，其控制所述照明单元的照明图案，拍摄单元，其拍摄所述计测对象物，区域识别单元，其通过分析利用所述拍摄单元得到的图像，来识别所述计测对象物上的镜面物体的区域；所述区域识别单元对第一图像和第二图像进行比较，基于该比较结果来识别所述计测对象物上的镜面物体的区域，所述第一图像是指，通过在从所述照明单元照射第一照明图案的光的状态下拍摄所述计测对象物而得到的图像，所述第二图像是指，通过在所述照明单元照射第二照明图案的光的状态下拍摄所述计测对象物而得到的图像。所述第一图像和所述第二图像是由相同的多个通道构成的图像。在此，所述第一照明图案由分别与所述多个通道对应并且具有互不相同的发光强度分布的多个第一照明子图案构成，各个第一照明子图案的发光强度分布为，发光强度在面内相等，或者在包括所述拍摄单元的光轴的某个剖面上，发光强度根据光入射到所述计测对象物的入射角度而线性地变化，所述第二照明图案由分别与所述多个通道对应并且具有互不相同的发光强度分布的多个第二照明子图案构成，各个第二照明子图案的发光强度分布为，发光强度在面内相等，或者在包括所述拍摄单元的光轴的某个剖面上，发光强度根据光入射到所述计测对象物的入射角度而线性地变化，与同一个通道对应的第一照明子图案和第二照明子图案具有互不相同的发光强度分布。 
在为镜面物体的情况下，基本上，从拍摄单元来观察，能够观测到与位于正反射方向上的光源上的点的发光强度对应的亮度。也就是说，镜面物体的图像获取取决于照明的发光强度分布的像素值。因此，通过使用使每个通道的发光强度分布不同的两种图案进行拍摄，能够得到镜面物体的区域的像素值不同的两张图像。另一方面，在为漫射物体的情况下，由于混合了从各种方向入射的光的成分，所以即使改变了发光强度分布，像素值也不怎么变化。因此，通过比较两张图像的像素值，能够区分镜面物体的区域和漫射物体的区域。 
而且，在本发明中，将照明子图案的发光强度分布设定为“发光强度在面内相等”或者“在包括所述拍摄单元的光轴的某个剖面上，发光强度根据相对于入射至所述计测对象物的光的入射角度而线性地变化”。这样的发光 强度分布具有消除包含于反射光中的镜面叶瓣成分的效果(下面，称为“叶瓣消除效果”)。因此，即使镜面物体的表面粗糙，也能够和理想镜面的情况同样地，从拍摄单元来观察，仅观测到与位于正反射方向上的光源上的点的发光强度对应的亮度(也就是说，镜面尖峰成分)。因此，根据本发明，能够不受限于镜面物体的反射特性，高精度地将计测对象物的图像分离成镜面物体的区域和漫射物体的区域。此外，理想状态是将照明子图案的发光强度分布设定为“发光强度线性变化”，但是，因为出于结构上或者设计上的原因等，会难以实现严格的线性。在这样的情况下，实质上实现了线性即可。因为这样也能够在实际应用时得到足够的叶瓣抵消效果。即，在本发明中的“发光强度线性变化”是包含“发光强度在实质上发生线性地变化”的概念。 
优选地，构成所述第一照明图案的所述多个第一照明子图案之间的在面内的总光量之比与构成所述第二照明图案的所述多个第二照明子图案之间的在面内的总光量之比相等。另外，以与同一个通道对应的第一照明子图案和第二照明子图案之间的在面内的总光量彼此相等的方式设定即可。这样，通过核准总光量之比或者总光量自身，能够在第一图像和第二图像之间高精度地比较漫射物体的部分。 
优选地，将所述照明单元的面光源上的点设为q，将通道设为i，其中，i＝1，…，n；n为2以上的整数，将与通道i对应的第一照明子图案在点q的发光强度设为L1i(q)，将与通道i对应的第二照明子图案在点q的发光强度设为L2i(q)，此时， 
各个第一照明子图案的发光强度分布以及各个第二照明子图案的发光强度分布被设定为，针对所有点q都满足{L11(q)，…，L1n(q)}≠{L21(q)，…L2n(q)}。由此，无论镜面物体的法线的方向是何种方向，由于在第一图像和第二图像之间像素值产生不同，所以能够高精度地识别镜面物体的区域。 
另外，优选地，将所述照明单元的面光源上的点设为q，将通道设为i，i＝1，…，n；n为2以上的整数，将与通道i对应的第一照明子图案在点q的发光强度设为L1i(q)，将与通道i对应的第二照明子图案在点q的发光强度设为L2i(q)，将针对每个通道i事先设定的函数设为f，此时， 
各个第一照明子图案的发光强度分布以及各个第二照明子图案的发光强度分布被设定为，针对所有点q，通过f1(L11(q)-L21(q))+…+fn(L1n (q)-L2n(q))都取得相同的值。由此，无论镜面物体的法线的方向是何种方向，由于第一图像和第二图像之间的像素值差异的程度相同，所以能够容易地设定分离镜面物体和漫射物体时的阈值。 
在使用上述那样的发光强度分布设定的情况下，优选地，将所述计测对象物上的点设为p，将与第一图像中的点p对应的像素通道i的值设为V1i(p)，将与第二图像中的点p对应的像素通道i的值设为V2i(p)，此时， 
所述区域识别单元利用通过f1(V11(p)-V21(p))+…+fn(V1n(p)-V2n(p))得到的值，求出表示针对点p得到的第一图像和第二图像之间的差分的特征量，在所述特征量比阈值大的情况下，判断为点p的部分是镜面物体。通过这样定义特征量，无论镜面物体的法线的方向是何种方向，由于特征量取相同值，所以能够用一个阈值来判断是镜面物体还是漫射物体，处理变得非常简单。 
而且，优选地，将与通道k对应的第一照明子图案设定为发光强度在面内相等，其中，1≤k≤n，所述区域识别单元，将用通过f1(V11(p)-V21(p))+…+fn(V1n(p)-V2n(p))得到的值除以V1k(p)的值而得到的值作为所述特征量。利用V1k(p)实现标准化，能够消除产生镜面叶瓣而引起的亮度的降低，所以，能够得到不取决于表面粗糙程度的特征量，从而能够提高镜面物体的识别精度。 
优选地，还具有：三维计测处理单元，其通过分析利用所述拍摄单元得到的图像，来计算所述计测对象物上的镜面物体的表面的法线的方向，根据该计算结果计算所述镜面物体的表面的三维形状，所述第一图像也用于由所述三维计测处理单元进行的三维形状的计算。如此，通过镜面物体识别处理和三维计测处理二者利用相同的图像，能够减少拍摄次数，因此能够实现外观检查的生产能力的提高。 
此外，本发明既能够确定为包括上述单元的至少一部分的图像处理装置，也能够确定为具有该图像处理装置的检查系统。另外，也能够将其确定为包括上述处理的至少一部分的图像处理装置或者检查系统的控制方法，还能够将其确定为使图像处理装置或者检查系统执行该方法的程序，或者记录该程序的计算机可读存储介质。上述每个处理或手段只要不产生技术方面的矛盾，能够自由组合。 
发明效果 
根据本发明，能够不受限于镜面物体的反射特性，高精度地将计测对象物的图像分离为镜面物体的区域和漫射物体的区域。 
附图说明
附图说明 
图1是示意性地示出外观检查装置的硬件结构的图。 
图2是示出三维计测处理用的照明图案的例子的图。 
图3是示意性地示出R的发光强度分布中等色线(等发光强度线)的立体图。 
图4是说明计测对象物的法线的方向和面光源上的发光区域的对应关系的图。 
图5是用于说明入射光和反射光的图。 
图6是用于说明叶瓣消除效果的图。 
图7是示出用于镜面物体识别处理的照明图案的例子的图。 
图8是镜面物体识别处理的流程图。 
图9是示意性地示出计测对象物以及其图像的一个例子的图。 
图10是示出具有平面形状的照明装置的外观检查装置的结构的图。 
图11是用于说明平面形状的照明装置中的照明图案的图。 
图12是用于说明镜面物体的反射特性的图。 
具体实施方式
下面，参照附图对本发明的优选的实施方式进行说明。本实施方式的图像处理装置是一种通过分析计测对象物的图像来识别镜面物体的区域(分离镜面物体的区域和漫射物体的区域)的装置。该装置能够适用于各种自动计测装置、自动检查装置、机器人视觉(robot vision)等中的物体识别及区分。下面，以进行锡焊的优劣检查、基板上的零件及焊锡的三维形状计测等的外观检查装置(AOI系统：自动光学检测系统)为例进行说明。 
<外观检查装置的整体结构> 
参照图1说明外观检查装置的整体结构。图1是示意性地示出外观检查 装置的硬件结构的图。 
外观检查装置大致构成为具有计测平台5、检查头H以及信息处理装置6。在检查头H上安装有用于向配置在计测平台5上的印刷电路板等计测对象物4照射测定光的照明装置3和从铅垂方向的上方拍摄计测对象物4的摄像头(影像传感器)1。信息处理装置6具有CPU(中央处理器)60、存储器61、存储装置62、检查头控制部63、图像输入部64、照明装置控制部66、平台控制部67、用户I/F(接口)68和显示部69等。检查头控制部63具有控制检查头H在Z方向(与计测平台5垂直的方向)上的移动的功能，平台控制部67具有控制计测平台5在XY方向上的移动的功能。照明装置控制部66具有控制照明装置3的点亮以及熄灭(根据需要切换照明图案)的功能。图像输入部64具有从摄像头1获取数字图像的功能。用户I/F68是由用户操作的输入装置，例如是定点设备、触摸面板、键盘等。显示部69是用画面显示计测结果等的部分，例如由液晶显示器等构成。 
照明装置3是形成为穹顶形状的面光源，该穹顶形状全部是发光区域。此外，照明装置3的顶部设置有用于配合摄像头1的开口。这种照明装置3例如能够由穹顶形状的漫射板和排列在漫射板的背面一侧的多个LED芯片构成。另外，也能够将液晶显示器或有机EL显示器等形成为穹顶形状来构成照明装置3。 
照明装置3的发光区域的形状优选为能够从计测对象物4的全方位向其照射光的半球状的穹顶形状。如此一来，无论计测对象物的表面朝向哪个方向，都能够进行计测。但是，如果将计测对象物的表面的朝向限定在某个范围内，则面光源的形状可以是任何形状。例如，如果将表面的法线的方向限定为大致铅垂方向，则没有必要从水平方向(从角度小的方向)照射光。 
在计测时，检查头H和计测平台5相对移动，计测对象物4定位于规定的计测位置(在图1的例子中，为照明装置3的中央(摄像头1的光轴和计测平台5的交点))。并且，在从照明装置3照射规定的照明图案的测定光的状态下拍摄计测对象物4，信息处理装置6经由图像输入部64获取图像数据。此时，通过切换照明图案进行多次拍摄，来针对一个计测对象物4获取多个图像数据。 
为了高精度地检查基板上零件配置的优劣或锡焊的优劣等，本实施方式 的外观检查装置具有通过图像分析来计测基板上的镜面物体(焊锡、零件电极、金属零件等)的三维形状的三维计测处理功能。如后面所述，因为该功能利用了镜面物体的反射特性，所以不能够应用于漫射物体(例如，基板表面、零件主体、光刻胶膜等)的三维形状的计测。因此，在本装置中，进行计算三维形状的处理之前，先进行预处理(镜面物体识别处理)，所述预处理用于从计测对象物4的图像中识别并提取镜面物体的区域。 
下面，虽然与实际处理的顺序相反，但是为了理解本装置的照明图案和叶瓣消除效果，先对三维计测处理的原理进行说明，之后再对镜面物体的识别处理进行说明。 
<三维计测处理> 
在三维计测处理中，使用预先规定的三维计测用照明图案来拍摄计测对象物4。 
图2示出了三维计测处理用的照明图案的例子。图2示意性地示出了作为面光源的照明装置3的二维发光强度分布，横轴表示X方向的经度(从0到π)，纵轴表示Y方向的经度(从0到π)。其中，发光强度取0到255的值，用黑色表示值为0的发光强度(最暗)，用白色表示值为255的发光强度(最亮)，用灰色表示二者之间的发光强度。 
如图2所示，本实施方式的照明图案由发光强度分布不同的三种照明子图案构成，各个照明子图案分别对应于图像中的各自的通道。也就是说，在照射第一种照明子图案时的反射光的观测值为图像的第一个通道的数据，第二种照明子图案的反射光的观测值为第二个通道的数据，第三种照明子图案的反射光的观测值成为第三种通道的数据。 
各个照明子图案的光的颜色(光谱分布)可以互不相同，也可以相同。在使用如R、G、B这样不同颜色的光的情况下，照射合成了这些照明子图案的光，并用摄像头一侧的彩色滤光片将该光分解成各种颜色，利用这种结构，具有通过一次照明及拍摄能够获取三维计测用图像的优点。另一方面，在使用相同颜色的光的情况下，由于需要一边切换照明子图案一边进行多次拍摄，所以处理时间会变得稍长，但是因为使用相同光源使照明的光量稳定，所以具有能够提高计测精度的优点。在本实施方式中，对使用R、G、B三种颜色的照明子图案的例子进行说明。该情况下，三维计测用图像形成由R、G、B 三种通道构成的RGB彩色图像。 
如图2所示，将R的照明子图案设定为，发光强度根据X方向的经度(从0到π)由50至250线性地增加。相对于此，将G的照明子图案设定为，发光强度在整个面内均为150。另外，将B的照明子图案设定为，发光强度根据Y方向的经度(从0到π)由250至50线性地减少。 
使用图3来详细说明R的照明子图案的发光强度分布。图3是示意性地示出R的发光强度分布中的等色线(等发光强度线)的立体图。在此，在将在计测平台5上配置计测对象物4的点O作为原点时，用围绕Y轴的角度θ来表示X方向的经度。经度θ在经线上的点被设定为相同的发光强度L(θ)。在图2的例子中，L(θ)＝50+(250-50)×(θ/π)。在此，由于经度θ在包括摄像头1的光轴(Z轴)和X轴的剖面(XZ剖面)上与光入射到计测对象物4的入射角度对应，所以能够将R的发光强度分布设定为，在XZ剖面上，发光强度根据光的入射角度而线性地变化。虽然没有图示，但出于同样考虑，能够将B的发光强度分布设定为，在YZ剖面上，发光强度分布根据光的入射角度而线性地变化。 
在使用以上述方式设定的照明图案的情况下，在面光源上的每个位置都发出不同颜色(R、G、B的发光强度的组合)的光。例如，在(X方向经度，Y方向经度)＝(0，0)的位置，若(R，G，B)＝(50，150，250)，则蓝色的程度变重，在(X方向经度，Y方向经度)＝(π/2，π/2)的位置(即，顶点部分)，若(R，G，B)＝(150，150，150)，则为灰色。 
通过利用这样的照明图案，仅从一张图像就能够对计测对象物的表面形状(法线的方向)进行计测。参照图4说明这一情况。假设计测对象物4表面上的某个点的法线的方向为箭头N的方向，天顶角为θ，方位角为在计测对象物4为镜面物体的情况下，通过摄像头1拍摄的物体上的点的颜色，是在面光源(照明装置3)的位置R发出并向计测对象物4入射的光的反射光。像这样，表面的法线的方向和入射光的方向(面光源上的位置R)一一对应。并且，因为从不同方向入射的光具有不同的颜色(R、G、B的发光强度的组合不同)，所以通过查找像素的颜色特征(各个通道的值的组合)，能够针对天顶角以及方位角二者确定某一点的法线的方向。此外，只要事先将像素的颜色特征和法线的方向的对应关系设为表格即可。在针对 图像的各个点(各个像素)计算出法线的方向之后，将各个点的法线变换为倾斜度并将它们连接结合，由此能够复原镜面物体的三维形状。 
(叶瓣消除效果) 
如上所述，在本装置中，将R和B的发光强度分布设定为，发光强度根据入射角度而线性地变化，将G的发光强度分布设定为，面内的强度相等。由于这样的发光强度分布具有消除反射光所含的镜面叶瓣成分的效果(叶瓣消除效果)，所以即便是如无铅焊锡这样表面粗糙的镜面物体，也能够观测到与理想镜面的情况相同的颜色特征。下面，对叶瓣消除效果进行说明。 
如图12(B)所示，在为非理想镜面的镜面物体的情况下，在正反射(镜面尖峰)之外会发生镜面叶瓣。因此，用摄像头1观测到的光是在从摄像头1的光轴的正反射方向入射的光的镜面尖峰成分中混入从与正反射方向稍稍偏移的方向入射的光的镜面叶瓣成分的光。因此，与理想镜面的情况相比，颜色特征会发生变化。 
此时，如果能够进行恰好消除从正反射方向之外入射的光的成分而保持与理想镜面的情况同样的颜色特征的照明，则即便是表面粗糙的物体或反射特性不均匀的物体，也能够以与理想镜面的物体相同的方式进行计测。为了实现上述内容，理论上，只要按如下方式设定照明装置3的发光强度分布即可。 
即，如图5所示，在将从入射角度(θi、φi)的方向入射到计测点p的光源分布设为L(p、θi、φi)时，就在点p处的任意的法线向量以及发光区域上任意的点对称区域Ω而言，只要以下的式子成立即可。 
[数学式1] 
∫∫ΩLi(p，θi，φi)·f(p，θi，φi，θr，φr)cosθisinθidθidφi
＝Li(p，θis，φis+π) 
在此，p是物体表面上的计测点，是光的入射方向(θ是天顶角成分，是方位角成分。以下相同)，是光的反射方向(摄像头方向)，是相对于的正反射方向，f是点p的反射特性，Ω是以为中心的点对称区域。 
在本实施方式中所使用的照明图案(照明子图案)的每个发光强度分布 都是上述数学式的近似解之一。 
通过利用这种照明图案，能够抵消镜面叶瓣的影响，参照图6从其他观点对此进行说明。图6是为了说明本实施方式中的照明图案的叶瓣消除效果，示出了得到接近理想的光的亮度变化方向的一维方向的图。其中，如图6所示，仅考虑来自角度a(正反射方向)、角度a+α、角度a-α这三点的光。来自角度a+α、a-α的位置的光的叶瓣系数彼此相等，设为σ。另外，照明装置3的发光强度与角度成正比例，在角度a-α、a、a+α的各自的位置上，将发光强度设为(a-α)L、aL、(a+α)L。于是，对来自这三点的反射光进行合成，则σ(a-α)L+aL+σ(a+α)L＝(1+2σ)aL，由此可知，来自周围的光的镜面叶瓣成分所造成的影响被互相抵消。此外，在此，仅考虑了a±α这两点，但能够容易地了解到来自周围的光的镜面叶瓣成分的影响全部被抵消。这一情况对RGB三种光来说均成立，因此，利用RGB的各种颜色的发光强度之比表示的颜色特征为与理想镜面反射的情况相同的值。由此，即便是表面粗糙的物体或反射特性不均匀的物体，也能够得到与理想镜面反射的情况相同的颜色特征。 
此外，上述说明是针对得到最理想的效果的方向进行的说明。就其他方向而言，虽然上述那样的线性变形，严格来说不能够抵消镜面叶瓣成分的影响，但是在实际应用上不会产生问题的范围内，能够消除镜面叶瓣成分的影响。 
<镜面物体识别处理> 
因为上述三维计测处理利用了镜面物体的反射特性，所以不能够应用于漫射物体的三维计测。因而，在本装置中，在执行根据图像的颜色特征复原三维形状的处理之前，需要进行确定图像中的镜面物体的区域的处理。该处理的基本算法如下：使用以仅使镜面物体的颜色特征变化的方式设定的两种照明图案来拍摄计测对象物，比较得到的两张图像，根据颜色特征是否显著变化来识别是镜面物体还是漫射物体。 
(照明图案的设定条件) 
下面，说明两种照明图案的设定条件。此外，将第一个照明图案称为“第一照明图案”，将构成第一照明图案的各个照明子图案称为“第一照明子图案”，将第二个照明图案称为“第二照明图案”，将构成第二照明图案的各 个照明子图案称为“第二照明子图案”。另外，将使用第一照明图案得到的图像称为“第一图像”，将使用第二照明图案得到的图像称为“第二图像”。 
(条件1)与同一个通道对应的第一照明子图案和第二照明子图案具有互不相同的发光强度分布。 
在为镜面物体的情况下，基本上，从摄像头1观察，能够观测到与位于正反射方向上的光源上的点的发光强度对应的亮度。也就是说，镜面物体的图像获取取决于照明的发光强度分布的像素值。另一方面，在为漫射物体的情况下，由于混合了从各种方向入射的光的成分，所以即使改变了发光强度分布，像素值也不怎么变化。由此，通过使用满足条件1的两种照明图案来进行拍摄，能够得到只有镜面物体的区域的像素值不同的两张图像。 
(条件2)第一照明图案和第二照明图案分别使用具有叶瓣消除效果的发光强度分布的图案。即，第一照明图案(每个第一照明子图案)和第二照明图案(每个第二照明子图案)的任一个均具有作为上述式子(数学式1)的解或者近似解这样的发光强度分布。 
根据叶瓣消除效果，即使在镜面物体表面粗糙的情况下，也能够与理想镜面的情况同样地，从摄像头1观察，仅观测到与位于正反射方向上的光源上的点的发光强度对应的亮度(也就是说，镜面尖峰成分)。因此，通过使用满足条件2的照明图案，能够不受限于镜面物体的反射特性，高精度地分离镜面物体的区域和漫射物体的区域。 
上述两条是必要条件，还优选以满足以下条件的方式来设定。 
(条件3)第一照明子图案之间的面内的总光量之比与第二照明子图案之间的面内的总光量之比相等。 
漫射物体上的反射光中混合了从各种方向入射的光的成分，因此，漫射物体的图像获取取决于照明的总光量(发光强度的面内积分)的像素值。即，多个照明子图案之间的面内的总光量之比决定漫射物体的图像的彩色平衡度(色调)。若像上述那样将第一照明图案之比和第二照明图案之比设为相等，则在第一图像和第二图像之间，漫射物体部分的彩色平衡度相同，因此，能够高精度地比较图像。此外，在上述比相同，但第一照明图案和第二照明图案的总光量的值不同(亮度不同)的情况下，由于像素值本身不同，所以在该情况下，只要在比较图像之前进行核准两图像的值的级别调整即可。 
此外，在图像的各个通道是R、G、B这样的彩色通道的情况下，该图像为彩色图像，但在图像的各个通道是表示(与颜色无关)亮度的通道的情况下，严格来讲该图像不是彩色图像，因此“彩色”平衡度及“色”调这样的用语可能不太贴切。但是，即使是上述后者的情况，在有多个通道的情况下仍能够进行与处理彩色图像相同的图像处理(或者，还能够通过给各个通道分配近似的颜色，以作为近似彩色图像来进行处理)，因此在本说明书中不刻意区分二者。 
(条件4)在与同一个通道对应的第一照明子图案和第二照明子图案之间，面内的总光量相等。 
若使总光量本身一致，则漫射物体部分的像素值几乎一致。因此，由于能够直接比较同一个通道彼此之间的值(无需进行级别调整等)，所以例如仅通过减法运算就能够计算差分图像。 
(条件5)针对照明装置3的面光源上的全部点q，成立如下的式子： 
{L11(q)，…L1n(q)}≠{L21(q)，…L2n(q)}。 
在此，i是通道(i＝1，…，n；n为2以上的整数)，L1i(q)是与通道i对应的第一照明子图案的点q的发光强度，L2i(q)是与通道i对应的第二照明子图案的点q的发光强度。 
该条件5是指：以第一照明图案和第二照明图案在面光源上的相同点q处不产生相同颜色的方式，设定各个照明图案的发光强度分布。通过满足条件5，无论镜面物体的法线的方向是何种方向，由于第一图像和第二图像之间产生不同的像素值，所以能够高精度地识别镜面物体的区域。 
(条件6)针对照明装置3的面光源上的全部的点q， 
f1(L11(q)-L21(q))+…+fn(L1n(q)-L2n(q))都获取相同的值。 
在此，fi是针对每个通道i预先规定的函数，用于调整各个通道间的发光强度的差分的平衡。例如，能够使用得到绝对值的函数(abs)、乘以常数的函数、标准化的函数等任意的函数。此外，函数fi中还包括乘以常数1的函数(也就是说，不做任何操作的函数)。 
该条件6是指，在使用上述式子评价第一照明图案和第二照明图案的发光强度的差分的情况下，该评价值在面光源上的任一点q上都取相同值。因 此，通过以满足条件6的方式设定照明图案，无论镜面物体的法线的方向为何种方向，由于第一图像和第二图像之间的像素值的差异程度相同，所以能够容易地设定在分离镜面物体和漫射物体时的阈值。 
(差分特征量) 
此外，在以满足条件6的方式设定照明图案的情况下，使用与用于设定照明图案的函数相同的函数fi，按下述式子求出表示第一图像和第二图像之间的差分的特征量F即可。 
F＝f1(V11(p)-V21(p))+…+fn(V1n(p)-V2n(p)) 
在此，p是计测对象物上的点，V1i(p)是与第一图像上的点p对应的像素通道i的值，V2i(p)是与第二图像中的点p对应的像素通道i的值。 
通过以上述方式定义特征量，无论镜面物体的法线的方向是何种方向，由于特征量F取相同值，所以能够用一个阈值来判断是镜面物体还是漫射物体，处理变得非常简单。 
而且，在将与通道k(1≤k≤n)对应的第一照明子图案设定为面内相等的发光强度分布的基础上，可以将特定值定义为特征量，其中特定值是指，将上述式子得到的值F除以与第一图像中的点p对应的像素通道k的值(V1k(p))而得到的值(F/V1k(p))。 
在为表面粗糙的镜面物体的情况下，因发生镜面叶瓣会使反射光的强度稍有降低，但由于其降低的程度因表面粗糙程度的不同而不同，所以难以进行预测。使用发光强度分布在面内相等的图案而得到的值V1k(p)为包含发光强度因表面粗糙程度而降低的值。因此，用该值Vlk(p)除全部通道的值等价于消除因表面粗糙程度而降低的发光强度，由此，能够得到不取决于表面粗糙程度的特征量，从而能够提高镜面物体的识别精度。 
(实施例) 
图7示出了以满足上述照明图案的设定条件的方式而创建的第一照明图案和第二照明图案的一个例子。图7的上半部分表示构成第一照明图案的三种第一照明子图案，下半部分表示构成第二照明图案的三种第二照明子图案。 
在本实施例中，作为第一照明图案，使用与三维计测用照明图案相同的图案。这是因为能够为了用于三维计测而获取的图像也能够用于镜面物体识别处理。在与第一照明图案组合时，以满足上述各个设定条件的方式设计的 图案如图7的第二照明图案。 
具体而言，R通道的第二照明子图案是将第一照明子图案在X方向进行了翻转的图案，其被设定为发光强度根据X方向的经度(从0到π)从250到50线性地减少。另外，B通道的第二照明子图案是将第一照明子图案在Y方向上进行了翻转的图案，其被设定为发光强度根据Y方向的经度(从0到π)从50到250线性地增加。就G通道的第二照明子图案而言，其被设定为以满足上述条件6的方式使下述式子的值在面光源上的所有点均取相同值cnst。 
abs(R2-R1)/2+(G2-G1)+abs(B2-B1)/2＝cnst 
在此，R1、G1、B1是第一照明子图案的发光强度，R2、G2、B2是第二照明子图案的发光强度。即，在本实施例中，在条件6的式子中，采用“差分绝对值乘以1/2”这一函数来作为f1、f3，采用“乘以1(不进行任何操作)”这一函数来作为f2。 
因为G1在全部的点上均为150，条件3和条件4在cnst为100时成立，所以其结果为，G通道的第二照明子图案的发光强度按下述数学式求得。 
G2＝250-abs(R2-R1)/2-abs(B2-B1)/2 
就该图案而言，在(X方向经度，Y方向经度)＝(π/2，π/2)时，发光强度为最大值250，在沿着(X方向经度，Y方向经度)＝(0，0)、(π，0)、(0，π)、(π，π)的点上形成发光强度线性地减少的分布。发光强度的最小值为50。该发光强度分布成，在包括摄像头的光轴(Z轴)且与X轴形成角度π/2(或者-π/2)的剖面上，发光强度也根据光的入射角度而线性地变化。因此，可以说该图案也具有叶瓣消除效果。 
以上述方式设定的第一照明图案和第二照明图案满足条件1和条件2。而且，第一照明子图案的总光量是R：G：B＝(250+50)/2：150：(250+50)/2＝1：1：1，第二照明子图案的总光量也是R：G：B＝(250+50)/2：150：(250+50)＝1：1：1，所以也满足条件3和条件4。另外，由图7能够明确地知道是满足条件5的，而且由于以上述方式决定了G2，所以也满足条件6。 
下面，参照图1、图8、图9来说明镜面物体识别处理的流程。图8是镜面物体识别处理的流程图，图9是示意性地示出计测对象物以及该图像的一个例子的图。在此，如图9(A)所示，将在基板100上安装了零件110的物 体作为计测对象物。基板100的表面以及零件110的主体111是树脂的漫射物体，零件110两端的电极112是金属的镜面物体。另外，电极112通过无铅焊锡锡焊的，该焊锡部分113是表面粗糙的镜面物体。 
在步骤S1中，照明装置控制部66将照明图案切换为第一照明图案(图7的上半部分)。然后，在步骤S2中，以从照明装置3照射第一照明图案的测定光的状态拍摄计测对象物4，并获取第一图像的数据。虽然没有图示，但是其中得到的第一图像的数据也用于镜面物体的三维计测处理。 
接着，在步骤S3中，照明装置控制部66将照明图案切换为第二照明图案(图7的下半部分)。然后，在步骤S4中，以从照明装置3照射第二照明图案的测定光的状态拍摄计测对象物4，并获取第二图像的数据。此外，在每个照明子图案进行拍摄时，步骤S1和S2的处理以及步骤S3和S4的处理分别重复三次。 
如图9(B)、(C)所示，在第一图像以及第二图像中，作为漫射物体的基板100及零件主体111中呈现该物体自身的颜色。相对于此，可知在作为镜面物体的电极112及焊锡部分113中，呈现基于物体表面的法线的方向的照明色，而不是物体自身的颜色(金属色)，另外，在第一图像和第二图像之间该颜色特征不同。 
接着，在步骤S5中，CPU60针对第一图像和第二图像的各个像素，通过下述式子计算差分特征量F。 
F＝{abs(r2-r1)/2+(g2-g1)+abs(b2-b1)/2}/g1 
在此，r1、g1、b1是第一图像的各个通道的值，r2、g2、b2是第二图像的各个通道的值。 
在为镜面物体的情况下，由于r1、g1、b1、r2、g2、b2的值大致与照明的发光强度R1、G1、B1、R2、G2、B2成正比例，且 
abs(R2-R1)/2+(G2-G1)+abs(B2-B1)/2＝100， 
G1＝150， 
所以镜面物体的区域中的差分特征量F的值大致为0.67(＝100/150)。另一方面，在为漫射物体的情况下，因为r1、g1、b1、r2、g2、b2的值大致与照明的总光量成正比例，且以满足条件3和条件4的方式设定照明，所以漫射物体的区域中的差分特征量F的值大致为0。因此，在镜面物体的区域 和漫射物体的区域之间，有意地分离差分特征量F的值。图9(D)示出了差分特征量F的图像(差分图像)。 
在步骤S6中，CPU60用规定的阈值将差分图像二值化。就阈值而言，可以使用预先规定的值(因为镜面物体的差分特征量F约为0.67，漫射物体的差分特征量F约为0，所以作为阈值，其间的值例如为0.5等)，也可以利用大津的判断分析法等动态地求出该阈值。图9(E)是二值化后的图像的例子，白色部分表示镜面物体的区域，黑色部分表示漫射物体的区域。像这样，能够高精度地分离镜面物体的区域和漫射物体的区域。 
<实施方式的优点> 
根据本实施方式的外观检查装置，通过比较拍摄计测对象物而得到的两张图像这一简单的处理，能够将计测对象物的图像分离成镜面物体的区域和漫射物体的区域。另外，由于以消除反射光所包含的镜面叶瓣成分的方式对照明图案的发光强度分布进行了设计，所以即便是表面粗糙的镜面物体或反射特性不均匀的镜面物体，也能够高精度地识别该区域。而且，因为镜面物体识别处理和三维计测处理两者均利用了相同的图像，所以能够减少拍摄次数，并且能够实现外观检查的生产能力的提高。 
此外，上述实施方式仅仅示出了本发明的一个具体例子，本发明的范围不限定于该结构。本发明能够在其技术思想范围内取得各种实施方式。例如，虽然在上述实施方式中，在镜面物体识别处理和三维计测处理中利用了相同的图像，但是这并不是必须的，也可以使用适合各个处理的照明图案来拍摄其他的图像。另外，只要用于镜面物体识别处理的照明图案至少满足上述设定条件中的条件1和条件2，则可以使用任何图案。另外，在上述实施方式中，通过三种照明子图案生成三个通道的图像，但是照明子图案以及通道数量也可以不是三。 
另外，照明装置3的形状并不仅限于穹顶状(半球状)，也可以是如图10所示的平板形状。另外，也可以是将平板弯曲成弧状的形状。在这种形状的照明装置3中，也是只要以满足上述设定条件的方式设定了照明图案，就能够区分镜面物体的区域和漫射物体的区域。在使用了平面状的照明装置3的情况下，如图11所示，在各个图案中，通过使发光强度相对角度θ发生线性地变化，能够大致抵消镜面叶瓣的影响。在此，θ是经过点p(配置有计测 对象物点)则围绕与计测平台5平行的直线的角度。或者，θ能够表现经过照明装置3的发光区域上的等发光强度线(等色线)和点P的平面和与计测平台5平行的平面之间形成的角度。 
附图标记说明 
1 摄像头 
3 照明装置 
4 计测对象物 
5 计测平台 
6 信息处理装置 
H 检查头 。

Claims (11)

1.一种图像处理装置，其特征在于，
具有：
照明单元，其由面光源构成，所述面光源对包括镜面物体和漫射物体的计测对象物照射规定的照明图案的光，
照明控制单元，其控制所述照明单元的照明图案，
拍摄单元，其拍摄所述计测对象物，
区域识别单元，其通过分析利用所述拍摄单元得到的图像，来识别所述计测对象物上的镜面物体的区域；
所述区域识别单元对第一图像和第二图像进行比较，基于该比较结果来识别所述计测对象物上的镜面物体的区域，所述第一图像是指，通过在从所述照明单元照射第一照明图案的光的状态下拍摄所述计测对象物而得到的图像，所述第二图像是指，通过在所述照明单元照射第二照明图案的光的状态下拍摄所述计测对象物而得到的图像，
所述第一图像和所述第二图像是由相同的多个通道构成的图像，
所述第一照明图案由分别与所述多个通道对应且具有互不相同的发光强度分布的多个第一照明子图案构成，
各个第一照明子图案的发光强度分布为，发光强度在面内相等，或者在包括所述拍摄单元的光轴的某个剖面上，发光强度根据光入射到所述计测对象物的入射角度而线性地变化，
所述第二照明图案由分别与所述多个通道对应并且具有互不相同的发光强度分布的多个第二照明子图案构成，
各个第二照明子图案的发光强度分布为，发光强度在面内相等，或者在包括所述拍摄单元的光轴的某个剖面上，发光强度根据光入射到所述计测对象物的入射角度而线性地变化，
与同一个通道对应的第一照明子图案和第二照明子图案具有互不相同的发光强度分布。
2.如权利要求1所述的图像处理装置，其特征在于，
构成所述第一照明图案的所述多个第一照明子图案之间的在面内的总光量之比，与构成所述第二照明图案的所述多个第二照明子图案之间的在面内的总光量之比相等。
3.如权利要求1或者2所述的图像处理装置，其特征在于，
与同一个通道对应的第一照明子图案和第二照明子图案在面内的总光量彼此相等。
4.如权利要求1至3中任意一项所述的图像处理装置，其特征在于，
将所述照明单元的面光源上的点设为q，
将通道设为i，其中，i＝1，…，n；n为2以上的整数，
将与通道i对应的第一照明子图案在点q的发光强度设为L1i(q)，
将与通道i对应的第二照明子图案在点q的发光强度设为L2i(q)，此时，
各个第一照明子图案的发光强度分布以及各个第二照明子图案的发光强度分布被设定为，针对所有点q都满足{L11(q)，…，L1n(q)}≠{L21(q)，…L2n(q)}。
5.如权利要求1至4中任意一项所述的图像处理装置，其特征在于，
将所述照明单元的面光源上的点设为q，
将通道设为i，i＝1，…，n；n为2以上的整数，
将与通道i对应的第一照明子图案在点q的发光强度设为L1i(q)，
将与通道i对应的第二照明子图案在点q的发光强度设为L2i(q)，
将针对每个通道i事先设定的函数设为fi，此时，
各个第一照明子图案的发光强度分布以及各个第二照明子图案的发光强度分布被设定为，针对所有点q，f1(L11(q)-L21(q))+…+fn(L1n(q)-L2n(q))都取得相同的值。
6.如权利要求5所述的图像处理装置，其特征在于，
将所述计测对象物上的点设为p，
将与第一图像中的点p对应的像素通道i的值设为V1i(p)，
将与第二图像中的点p对应的像素通道i的值设为V2i(p)，此时，
所述区域识别单元利用通过f1(V11(p)-V21(p))+…+fn(V1n(p)-V2n(p))得到的值，求出表示针对点p得到的第一图像和第二图像之间的差分的特征量，
在所述特征量比阈值大的情况下，判断为点p的部分是镜面物体。
7.如权利要求6所述的图像处理装置，其特征在于，
与通道k对应的第一照明子图案的发光强度在面内相等，其中，1≤k≤n，
所述区域识别单元，将用通过f1(V11(p)-V21(p))+…+fn(V1n(p)-V2n(p))得到的值除以V1k(p)的值而得到的值作为所述特征量。
8.如权利要求1至7中任意一项所述的图像处理装置，其特征在于，
还具有：
三维计测处理单元，其通过分析利用所述拍摄单元得到的图像，来计算所述计测对象物上的镜面物体的表面的法线的方向，根据该计算结果计算所述镜面物体的表面的三维形状，
所述第一图像也用于由所述三维计测处理单元进行的三维形状的计算。
9.一种图像处理装置的控制方法，所述图像处理装置具有：照明单元，其由面光源构成，所述面光源对包括镜面物体和漫射物体的计测对象物照射规定的照明图案的光；照明控制单元，其控制所述照明单元的照明图案；拍摄单元，其拍摄所述计测对象物；区域识别单元，其通过分析利用所述拍摄单元得到的图像，来识别所述计测对象物上的镜面物体的区域，
所述图像处理装置的控制方法的特征在于：
包括：
在从所述照明单元照射第一照明图案的光的状态下，利用所述拍摄单元拍摄所述计测对象物，来获取第一图像的步骤，
在从所述照明单元照射第二照明图案的光的状态下，利用所述拍摄单元拍摄所述计测对象物，来获取第二图像的步骤，
所述区域识别单元基于所述第一图像和所述第二图像的比较结果，识别所述计测对象物上的镜面物体的区域的步骤；
所述第一图像和所述第二图像是由相同的多个通道构成的图像，
所述第一照明图案由分别与所述多个通道对应并且具有互不相同的发光强度分布的多个第一照明子图案构成，
各个第一照明子图案的发光强度分布为，发光强度在面内相等，或者在包括所述拍摄单元的光轴的某个剖面上，发光强度根据光入射到所述计测对象物的入射角度而线性地变化，
所述第二照明图案由分别与所述多个通道对应并且具有互不相同的发光强度分布的多个第二照明子图案构成，
各个第二照明子图案的发光强度分布为，发光强度在面内相等，或者在包括所述拍摄单元的光轴的某个剖面上，发光强度根据光入射到所述计测对象物的入射角度而线性地变化，
与同一个通道对应的第一照明子图案和第二照明子图案具有互不相同的发光强度分布。
10.一种程序，其特征在于，
使图像处理装置执行权利要求9所述的图像处理装置的控制方法的各个步骤。
11.一种检查系统，其特征在于，
具有：
照明单元，其由面光源构成，所述面光源对包括镜面物体和漫射物体的计测对象物照射规定的照明图案的光，
照明控制单元，其控制所述照明单元的照明图案，
拍摄单元，其拍摄所述计测对象物，
区域识别单元，其通过分析利用所述拍摄单元得到的图像，来识别所述计测对象物上的镜面物体的区域，
检查单元，其从利用所述拍摄单元得到的图像中提取所述镜面物体的区域的图像，来进行检查；
所述区域识别单元对第一图像和第二图像进行比较，基于该比较结果来识别所述计测对象物上的镜面物体的区域，所述第一图像是指，通过在从所述照明单元照射第一照明图案的光的状态下拍摄所述计测对象物而得到的图像，所述第二图像是指，通过在所述照明单元照射第二照明图案的光的状态下拍摄所述计测对象物而得到的图像，
所述第一图像和所述第二图像是由相同的多个通道构成的图像，
所述第一照明图案由分别与所述多个通道对应并且具有互不相同的发光强度分布的多个第一照明子图案构成，
各个第一照明子图案的发光强度分布为，发光强度在面内相等，或者在包括所述拍摄单元的光轴的某个剖面上，发光强度根据光入射到所述计测对象物的入射角度而线性地变化，
所述第二照明图案由分别与所述多个通道对应并且具有互不相同的发光强度分布的多个第二照明子图案构成，
各个第二照明子图案的发光强度分布为，发光强度在面内相等，或者在包括所述拍摄单元的光轴的某个剖面上，发光强度根据光入射到所述计测对象物的入射角度而线性地变化，
与同一个通道对应的第一照明子图案和第二照明子图案具有互不相同的发光强度分布。
CN201380013148.2A 2012-03-08 2013-01-25 图像处理装置、其控制方法以及检查系统 Active CN104160242B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-051962 2012-03-08
JP2012051962A JP5900037B2 (ja) 2012-03-08 2012-03-08 画像処理装置およびその制御方法
PCT/JP2013/051589 WO2013132913A1 (ja) 2012-03-08 2013-01-25 画像処理装置、その制御方法、プログラム、および検査システム

Publications (2)

Publication Number Publication Date
CN104160242A true CN104160242A (zh) 2014-11-19
CN104160242B CN104160242B (zh) 2017-03-29

Family

ID=49116400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380013148.2A Active CN104160242B (zh) 2012-03-08 2013-01-25 图像处理装置、其控制方法以及检查系统

Country Status (5)

Country Link
US (1) US9752994B2 (zh)
JP (1) JP5900037B2 (zh)
CN (1) CN104160242B (zh)
DE (1) DE112013002321B4 (zh)
WO (1) WO2013132913A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107251092A (zh) * 2015-02-27 2017-10-13 日本电气株式会社 比较系统、比较装置、比较方法和程序
CN109724945A (zh) * 2017-10-30 2019-05-07 富士施乐株式会社 显示装置、扫描器、显示系统以及计算机可读介质
CN110006904A (zh) * 2017-12-29 2019-07-12 雷迪安特视觉系统有限公司 自适应漫射照明系统和方法
CN110278384A (zh) * 2018-03-15 2019-09-24 欧姆龙株式会社 图像处理系统、图像处理装置、图像处理程序
US11971367B2 (en) 2019-12-02 2024-04-30 Juki Corporation Inspection device and inspection method

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010030883B4 (de) * 2009-07-03 2018-11-08 Koh Young Technology Inc. Vorrichtung zur Prüfung einer Platte und Verfahren dazu
JP6420530B2 (ja) * 2013-06-26 2018-11-07 キヤノン株式会社 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体
US9734433B1 (en) * 2015-03-25 2017-08-15 Amazon Technologies, Inc. Estimating photometric properties using a camera and a display screen
JP2017026565A (ja) * 2015-07-28 2017-02-02 株式会社島津製作所 検査装置及び検査方法
JP2017067633A (ja) * 2015-09-30 2017-04-06 キヤノン株式会社 検査装置および物品製造方法
US9958259B2 (en) * 2016-01-12 2018-05-01 Canon Kabushiki Kaisha Depth value measurement
JP6716295B2 (ja) 2016-03-10 2020-07-01 キヤノン株式会社 処理装置、撮像装置、処理方法、プログラム、および記録媒体
DE102017207071A1 (de) 2017-04-27 2018-10-31 Robert Bosch Gmbh Prüfvorrichtung zur optischen Prüfung eines Objekts und Objektprüfungsanordnung
KR20200012838A (ko) * 2017-05-26 2020-02-05 신토고교 가부시키가이샤 검사 장치 및 주조 시스템
CN111433574B (zh) 2017-12-08 2023-07-25 松下知识产权经营株式会社 检查系统、检查方法、程序和存储介质
JP6859962B2 (ja) * 2018-01-10 2021-04-14 オムロン株式会社 画像検査装置および照明装置
JP7187782B2 (ja) * 2018-03-08 2022-12-13 オムロン株式会社 画像検査装置
JP6973205B2 (ja) * 2018-03-15 2021-11-24 オムロン株式会社 画像処理システム、画像処理装置、画像処理プログラム
JP6482710B1 (ja) * 2018-09-06 2019-03-13 五洋商事株式会社 外観検査装置及び検査システム
US20230063672A1 (en) * 2020-02-20 2023-03-02 Signify Holding B.V. An inspection system for inspecting a lighting device during an assembly process of the lighting device and a method thereof
US11215564B2 (en) * 2020-04-30 2022-01-04 Renesas Electronics Corporation Visual inspections device, method of manufacturing and program the same
JP7392582B2 (ja) * 2020-06-12 2023-12-06 オムロン株式会社 検査システムおよび検査方法
WO2023191791A1 (en) * 2022-03-31 2023-10-05 Hewlett-Packard Development Company, L.P. Three-dimensional topographical surface capture device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128345A (ja) * 2007-11-28 2009-06-11 Omron Corp 物体認識方法およびこの方法を用いた基板外観検査装置
US20100259746A1 (en) * 2009-04-10 2010-10-14 Omron Corporation Profilometer
JP2011153893A (ja) * 2010-01-27 2011-08-11 Yamatake Corp 半田付け部位外観検査装置及び半田付け部位外観検査方法
CN102252630A (zh) * 2010-04-26 2011-11-23 欧姆龙株式会社 形状计测装置以及校准方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113215A (ja) * 1998-10-08 2000-04-21 Dainippon Screen Mfg Co Ltd 画像処理装置およびその処理を実行するためのプログラムを記録した記録媒体
US7019826B2 (en) * 2003-03-20 2006-03-28 Agilent Technologies, Inc. Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection
JP4230525B2 (ja) * 2005-05-12 2009-02-25 有限会社テクノドリーム二十一 ３次元形状計測方法およびその装置
EP2202688B1 (en) * 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
JP2010071844A (ja) * 2008-09-19 2010-04-02 Omron Corp 基板外観検査装置、およびはんだフィレットの高さ計測方法
DE102010064593A1 (de) * 2009-05-21 2015-07-30 Koh Young Technology Inc. Formmessgerät und -verfahren
DE102010030883B4 (de) * 2009-07-03 2018-11-08 Koh Young Technology Inc. Vorrichtung zur Prüfung einer Platte und Verfahren dazu
US8334985B2 (en) * 2010-10-08 2012-12-18 Omron Corporation Shape measuring apparatus and shape measuring method
JP6287360B2 (ja) * 2014-03-06 2018-03-07 オムロン株式会社 検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128345A (ja) * 2007-11-28 2009-06-11 Omron Corp 物体認識方法およびこの方法を用いた基板外観検査装置
US20100259746A1 (en) * 2009-04-10 2010-10-14 Omron Corporation Profilometer
JP2011153893A (ja) * 2010-01-27 2011-08-11 Yamatake Corp 半田付け部位外観検査装置及び半田付け部位外観検査方法
CN102252630A (zh) * 2010-04-26 2011-11-23 欧姆龙株式会社 形状计测装置以及校准方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107251092A (zh) * 2015-02-27 2017-10-13 日本电气株式会社 比较系统、比较装置、比较方法和程序
CN107251092B (zh) * 2015-02-27 2021-02-05 日本电气株式会社 比较系统、比较装置、比较方法和程序
CN109724945A (zh) * 2017-10-30 2019-05-07 富士施乐株式会社 显示装置、扫描器、显示系统以及计算机可读介质
CN109724945B (zh) * 2017-10-30 2023-09-19 富士胶片商业创新有限公司 显示装置、扫描器、显示系统以及计算机可读介质
CN110006904A (zh) * 2017-12-29 2019-07-12 雷迪安特视觉系统有限公司 自适应漫射照明系统和方法
CN110278384A (zh) * 2018-03-15 2019-09-24 欧姆龙株式会社 图像处理系统、图像处理装置、图像处理程序
US11971367B2 (en) 2019-12-02 2024-04-30 Juki Corporation Inspection device and inspection method

Also Published As

Publication number Publication date
WO2013132913A1 (ja) 2013-09-12
DE112013002321B4 (de) 2017-04-13
US20140372075A1 (en) 2014-12-18
US9752994B2 (en) 2017-09-05
CN104160242B (zh) 2017-03-29
JP2013185994A (ja) 2013-09-19
DE112013002321T5 (de) 2015-01-15
DE112013002321T9 (de) 2015-03-12
JP5900037B2 (ja) 2016-04-06

Similar Documents

Publication Publication Date Title
CN104160242A (zh) 图像处理装置、其控制方法、程序以及检查系统
CN102252630B (zh) 形状计测装置以及校准方法
JP5648749B2 (ja) 形状計測装置および形状計測方法
Yang et al. Illuminant cues in surface color perception: Tests of three candidate cues
KR102065793B1 (ko) 측정 오브젝트의 시각적 인상을 캡처하기 위한 핸드헬드 측정 장치
Huaian et al. Measuring grinding surface roughness based on the sharpness evaluation of colour images
CA2507642C (en) Method and device for optical shape measurement and/or evaluation
JP2022177166A (ja) 検査方法、プログラム、及び、検査システム
CN110134987B (zh) 基于光线追迹的光学球面缺陷检测照明设计方法
Wu et al. A design method for LEDs arrays structure illumination
Sun et al. Sampling light field for photometric stereo
KR101916134B1 (ko) 인쇄회로기판 상의 컨포멀 코팅 검사 장치
JP4629554B2 (ja) 検査表面特性の光学的検査方法および該方法を実施するための装置
US20200258246A1 (en) Inspection Device
JP2007333726A (ja) 塗装色の評価作業を支援する装置と支援する方法
JP5867123B2 (ja) ３次元形状計測装置およびキャリブレーション方法
KR20200016059A (ko) 조명 시스템
Del Campo et al. Radial basis function neural network for the evaluation of image color quality shown on liquid crystal displays
US20230419471A1 (en) Surface inspection system
CN108885181A (zh) 用于通过多方向照射检测表面上的缺陷的方法和相关装置
Gerges et al. Adaptive Lighting for Curved and Nonuniform Objects in Optomechanical Inspection Systems
Xia et al. Human interpretation of light diffuseness
Vergara Villegas et al. Radial Basis Function Neural Network for the Evaluation of Image Color Quality Shown on Liquid Crystal Displays
KR20240042886A (ko) 도포 상태 분석 시스템 및 그 방법
Murdoch et al. Light Profile Uniformity in Linear Lighting Applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant