CN110231352A - 图像检查装置、图像检查方法以及图像检查程序 - Google Patents

图像检查装置、图像检查方法以及图像检查程序 Download PDF

Info

Publication number
CN110231352A
CN110231352A CN201811509711.6A CN201811509711A CN110231352A CN 110231352 A CN110231352 A CN 110231352A CN 201811509711 A CN201811509711 A CN 201811509711A CN 110231352 A CN110231352 A CN 110231352A
Authority
CN
China
Prior art keywords
image
light
shape
inspection object
illuminace component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811509711.6A
Other languages
English (en)
Other versions
CN110231352B (zh
Inventor
加藤豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110231352A publication Critical patent/CN110231352A/zh
Application granted granted Critical
Publication of CN110231352B publication Critical patent/CN110231352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8829—Shadow projection or structured background, e.g. for deflectometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种图像检查装置、图像检查方法以及图像检查程序。本发明揭示尽可能抑制照射至检查对象物的图形光的照射部位为曲面时的、检查时间的增加或检测精度的下降的技术。图像检查装置利用图像来对检查对象物进行检查，其包括：照明部件，对所述检查对象物照射光；拍摄部件，拍摄所述检查对象物；以及控制部件，使所述照明部件照射下述形状的图形光，所述形状是基于所述照明部件与所述拍摄部件的位置关系以及所述检查对象物的形状数据而制作，且当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与规定图形一致。

Description

图像检查装置、图像检查方法以及图像检查程序
技术领域
本发明涉及一种图像检查装置、图像检查方法以及图像检查程序(program)。
背景技术
近年来，为了生产线上检查的自动化和节省人力，广泛采用了利用图像来进行产品的外观检查的图像检查装置(例如参照专利文献1)。外观检查的种类或方法有各种各样，但基本结构是：利用内置有图像传感器(sensor)的拍摄装置来拍摄检查对象物，从所获得的图像中提取作为检查区域的部分，对此检查区域的部分的图像的特征进行分析/评价，由此来进行目标检查(例如良/不良的判定、区分、信息获取等)。
此种的图像检查装置中，作为对检查对象物进行检查的方法，例如有：将条纹状的图形(pattern)光投影至检查对象物，以及对拍出此检查对象物的图像进行分析，由此，获得与物体表面的状态相关的信息。而且，近年来，为了应对多种类少量生产，例如正尝试利用工业用机器人来适当调整检查对象物与图像检查装置的相对位置关系，并从各种角度对检查对象物进行检查。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2013-191064号公报
发明内容
[发明所要解决的问题]
当将对检查对象物照射一条直线状或条纹状的图形光，并对拍出此检查对象物的图像进行分析的检查方法用于有光泽的平面的检查时，在拍出照射有所述图形光的平面的图像中，会拍出与照射至所述平面的图形光为同等形状的图形。另一方面，当将此方法用于汽车用的镜(mirror)或车身(body)等有光泽的曲面的检查时，在拍出照射有条纹状图形光的曲面的图像中，会拍出根据曲面而变形的条纹状的图形。
在检查对象物的图像检查中，作为从拍出一条直线状或条纹状图形的图像中对检查对象物的缺陷进行检测的方法，例如有：对预先记录的图形与图像中拍出的图形进行比较，以及基于两图形的差异来进行检测。此方法虽能相对容易地检测缺陷，但例如在图形光的照射部位为曲面的情况下，在拍出照射部位的图像中，会拍出根据曲面而变形的图形。因而，要检测缺陷，必须进行复杂的处理，例如使用用于去除因图形变形造成的影响的滤波处理等。
而且，例如在一边使条纹状的图形光发生相位变化一边照射检查对象物，以及根据图像中拍出的条纹状图形的相位变化的奇点来检测缺陷的方法中，通常是将均匀的条纹图案的图形光照射至检查对象物。并且，将照射至检查对象物的图形光的条纹调整为与想要检测的缺陷的尺寸相符的宽度。然而，在图形光的照射部位为曲面的情况下，由于拍出照射部位的图像中的条纹的宽度可能有所增减，缺陷的检测精度会因条纹宽度的变动而下降。因此，在图形光的照射部位为曲面的情况下，也考虑对检查对象物照射各种宽度的条纹的图形光，但因照射至检查对象物的图形光的种类增加，拍摄需要巨大的时间。
因此，本申请揭示一种尽可能抑制照射至检查对象物的图形光的照射部位为曲面时的、检查时间的增加或检测精度的下降的技术。
[解决问题的技术手段]
为了解决所述问题，在本发明中，基于检查对象物的形状数据来制作照射至检查对象物的图形光的形状，以使图像中拍出的光的形状成为规定图形。
详细而言，本发明提供一种图像检查装置，利用图像来对检查对象物进行检查。图像检查装置包括：照明部件，对所述检查对象物照射光；拍摄部件，拍摄所述检查对象物；以及控制部件，使所述照明部件照射下述形状的图形光，所述形状是基于所述照明部件与所述拍摄部件的位置关系以及所述检查对象物的形状数据而制作，且当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与规定图形一致。
此处，所谓检查对象物，是指成为图像检查装置的图像检查对象的物体。检查对象物的示例包括在生产线上流动的工业产品或其零件、从市场回收的工业产品或其零件、收获的农产品或捕获的水产品、及其他的各种物体。
而且，所谓规定图形，是指在检查对象物的图像检查中，在检查的图像处理中所用的光的图形，且规定图形的示例包括均匀的且检查中的图像处理容易的条纹图案。
而且，所谓形状数据，是指与检查对象物的形状相关的数据。形状数据的示例包括检查对象物的设计图的数据、或者对与检查对象物同种的良品进行三维测定而获得的形状的数据。
在所述图像检查装置中，对检查对象物照射下述形状的图形光，所述形状是基于照明部件与拍摄部件的位置关系以及检查对象物的形状数据而制作，且在图像中拍出规定图形。此图形光的形状可预先制作，或者可在拍摄部件拍摄时制作。在所述图像检查装置中，对照射有此种图形光的检查对象物进行拍摄，在检查对象物正常的情况下，在所获取的图像中，基本上会拍出所述规定图形。即，在检查的图像处理中所用的图像中，拍出基于所述检查对象物的形状数据而去除了因检查对象物的形状对图形光的影响的图形光。因而，能够抑制因所述检查对象物的形状引起的检查时间的增加或检测精度的下降。
另外，所述控制部件也可对于拍摄面上的各位置确定在第2假想线跟所述照明部件的发光面相交处的对应点，所述第2假想线是相对于第1假想线，以所述检查对象物的反射点处的法线为中心而与所述第1假想线成线对称的线，所述第1假想线连结假想点与所述反射点，所述假想点位于所述拍摄部件的所述拍摄面上的特定位置，所述反射点是在所述拍摄面上拍出的所述检查对象物上对应于所述假想点的实际位置，所述控制部件基于所述假想点与所述对应点的对应关系，制作所述发光面的图形光的形状，使得所述图形光以所述规定图形的形状入射至所述拍摄面。
从照明部件发出的光依据正反射定律而被检查对象物反射，并入射至拍摄部件。因而，通过使用以检查对象物的反射点处的法线为中心而线对称的两条假想线，能够确定位于拍摄部件的拍摄面上的假想点、与位于照明部件的发光面上的对应点的对应关系，由此，能够制作发光部件应发光的发光面的图形光的形状。
而且，所述控制部件使所述照明部件照射下述形状的图形光，所述形状是当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与直线状或条纹状的光的图形一致。若拍出有直线状或条纹状的光的图形的图像，则检查中的图像处理变得容易。
而且，所述图像检查装置还可包括：判定部件，基于所述拍摄部件所拍摄的所述检查对象物的图像中拍出的所述照明部件的光的形状与所述规定图形的差异，来判定所述检查对象物的缺陷有无。在所述图像检查装置中，拍出基于所述检查对象物的形状数据而去除了因检查对象物的形状对图形光的影响的图形光，因此判定部件即便不使用多个基准图形，也能够进行缺陷的有无判定。
而且，所述控制部件使所述照明部件照射下述多个形状的图形光，所述多个形状是当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状为条纹状的光的图形，且所述多个形状与条纹的相位发生变化的多个图形光一致。在所述图像检查装置中，基于所述检查对象物的形状数据而去除了因检查对象物的形状对图形光的影响，因此即使是相位变化的图形光，也无须准备条纹的宽度出现变形的照明图形，而能够维持缺陷的检测精度。
而且，本发明也能够从方法以及程序方面来理解。例如，本发明提供一种图像检查方法，利用图像来对检查对象物进行检查。图像检查方法包括：照明工序，利用照明部件来对所述检查对象物照射光；拍摄工序，利用拍摄部件来拍摄所述检查对象物；以及控制工序，使所述照明部件照射下述形状的图形光，所述形状是基于所述照明部件与所述拍摄部件的位置关系以及所述检查对象物的形状数据而制作，且当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与规定图形一致。
[发明的效果]
在所述图像检查装置、图像检查方法及图像检查程序中，能够尽可能抑制照射至检查对象物的图形光的照射部位为曲面时的、检查时间的增加或检测精度的下降。
附图说明
图1是表示通过实施方式的图像检查装置而实现的处理的一例的概要图；
图2是表示图像检查装置的整体结构的一例的图；
图3是例示在将带状的照明图形照射至工件时，由摄像机拍出的图像的图；
图4是表示在图像检查装置中进行的照明的照明图形的制作方法的第1例的图；
图5是表示工件的形状与所制作的照明图形的对应关系的一例的图；
图6是表示在图像处理单元中进行的图像处理的一例的图；
图7是表示在图像检查装置中进行的照明的照明图形的制作方法的第2例的图。
附图标号说明
1：图像检查装置；
2：摄像机；
2L：照明；
3：机械臂；
3K1：第1关节；
3K2：第2关节；
3K3：第3关节；
3B：底座；
3A1：第1臂；
3A2：第2臂；
4：检查对象物；
4C：曲面部分；
8：图像处理单元；
9：PLC；
10：机器人控制器；
11：操作单元；
12：显示单元。
具体实施方式
＜适用例＞
图1是表示通过实施方式的图像检查装置1而实现的处理的一例的概要图。如图1所示，图像检查装置1例如包括摄像机2(为本申请中所述的“拍摄部件”的一例)与照明2L(为本申请中所述的“照明部件”的一例)，以作为主要结构。摄像机2获取用于检查对象物4的检查的图像。照明2L对检查对象物4照射规定照明图形的光。
利用摄像机2对由照明2L所照明的检查对象物4进行拍摄所得的图像的数据被送往图像检查装置1中所设的图像处理单元(未示出)。在图像处理单元中，使用从摄像机2发送的图像数据来进行检查对象物4的外观检查。通过图像处理单元进行了缺陷的有无确认的检查对象物4被送往下个工序。通过图像处理单元来进行有无确认的缺陷的示例包括因物品碰撞到检查对象物4而产生的撞痕等凹凸状的缺陷、因涂装等表面处理中的问题而产生的色彩缺陷、异物的附着、及其他各种缺陷。这些缺陷中，既有容易处置者，也有无法修复者。举例来说，若在使用图像的检查对象物4的外观检查中检测出的缺陷是简单的异物附着，则能够通过去除所述异物而消除缺陷。因而，若在图像检查装置1的图像检查中发现了缺陷，由图像检查装置1进行了检查的检查对象物4的送达目的地可根据图像检查装置1中的缺陷种类的图像判别结果来切换。
在以此方式构成的图像检查装置1中，使用形状已知的检查对象物4的三维形状的信息，来制作对检查对象物4照射光的照明2L的照明图形，以使得在由拍摄检查对象物4的摄像机2所获得的图像中，拍出直线状的带以等间隔排列的条纹图案的照明图形。并且，在图像检查装置1中，利用拍出了照射有使用三维形状的信息来制作的规定形状的照明图形的检查对象物4的图像，来进行图像检查装置1的检查，从而进行缺陷的有无判定。
在图像检查装置1中，举例来说，能够使用相移法或其他各种三维测量法。并且，图像检查装置1例如能够用作生产汽车或其他各种工业产品的生产线上所用的工厂自动化(Factory Automation，FA)机器之一。
举例来说，在相移法中，通过对将规定形状的照明图形照射至检查对象物时的图形的变形进行分析，从而测量所述检查对象物的三维形状的信息。具体而言，例如在使用照明来将规定形状的照明图形(例如亮度呈正弦波状变化的条纹状图形)照射至检查对象物的状态下，进行所述检查对象物的拍摄。这样，与凹凸相应的图形的变形出现在检查对象物上。一边使照明图形的亮度变化的相位发生变化，一边多次重复此处理，由此，获得亮度特征不同的多幅图像。由于各图像的同一像素的明亮度(亮度)应以与照射至检查对象物的照明图形的变化相同的周期来变化，因此通过将正弦波应用于各像素的明亮度的变化，从而得知各像素的相位。并且，通过求出相对于规定基准点的相位的相位差，从而能够算出此基准点处的法线方向。
在利用相移法来进行检查对象物的平面部分的缺陷检测时，即使将直线状的带以等间隔排列的条纹图案的照明图形照射至所述平面部分，在拍出所述平面部分的图像中，基本上仍会拍出直线状的带以等间隔排列的条纹图案的照明图形。另一方面，在利用相移法来进行检查对象物的例如曲面部分等非平面部分的缺陷检测时，若将直线状的带以等间隔排列的条纹图案的照明图形照射至所述非平面部分，则在拍出所述非平面部分的图像中，将拍出根据所述非平面部分的形状而变形的照明图形。因而，当将直线状的带以等间隔排列的条纹图案的照明图形照射至非平面部分而检查缺陷的有无时，将对因非平面部分的形状引起的变形导致带的粗度发生了变化的条纹图案的图像进行分析，因此缺陷的检测精度下降。
此处，在所述图像检查装置1中，使用形状已知的检查对象物4的三维形状信息来制作对检查对象物4照射光的照明2L的照明图形，以使得即便是由对检查对象物4的曲面部分4C进行拍摄的摄像机2所获得的图像，仍会在所述图像中拍出直线状的带以等间隔排列的条纹图案的照明图形。因而，在检查对象物4无缺陷的情况下，在由摄像机2获得的图像中，基本上会拍出直线状的带以等间隔排列的条纹图案的照明图形。因此，在对摄像机2的图像进行处理的图像处理单元中，将对直线状的带以等间隔排列的条纹图案的图像进行分析，因此缺陷的检测精度不会下降。
＜实施方式＞
以下，详细说明图像检查装置1。图2是表示图像检查装置1的整体结构的一例的图。图像检查装置1除了所述摄像机2与照明2L以外，还包括将摄像机2与照明2L设于前端的机械臂3、负责从摄像机2发送的图像数据的处理的图像处理单元8(为本申请中所述的“判定部件”的一例)、控制机械臂3的机器人控制器10、负责摄像机2、照明2L及机器人控制器10的控制的PLC 9(为本申请中所述的“控制部件”的一例)(可编程逻辑控制器(ProgrammableLogic Controller，PLC))。图像处理单元8例如可以是具有中央处理器(CentralProcessing Unit，CPU)(中央运算处理装置)、存储器(memory)、辅助存储装置(如硬盘驱动器(hard disk drive)或固态硬盘(solid state drive)等)、输入装置(键盘(keyboard)、鼠标(mouse)、触控面板(touch panel)等)的通用计算机(computer)或者图像处理专用的装置。PLC 9也同样适用。
摄像机2是具有将m×n个受光元件排列成矩阵(matrix)状的拍摄元件，且摄像机2是将彩色(color)或单色(monochrome)的静态图像或动态图像导入图像处理单元8中的设备(device)。但是，在将可见光像以外的特殊图像(X射线图像、热(thermal)图像等)用于检查时，只要使用与此图像相符的传感器即可。
在摄像机2中设置有照明2L。照明2L是照亮检查对象物4的照明部件。照明2L例如可为具有单个光源的照明部件，或者可为具有多个光源的照明部件，所述多个光源能够分别以任意的强度发出不同波长的照明光(红色光、绿色光、蓝色光)。照明2L是照射各种形状的照明图形的光的照明部件。作为照明2L，例如可用液晶显示器等图像显示装置。
机械臂3是所谓的多关节机器人，且机械臂3包括经由第1关节3K1而连结于底座(base)3B的第1臂3A1、及经由第2关节3K2而连结于第1臂3A1的前端部的第2臂3A2。摄像机2及照明2L是经由第3关节3K3而设于第2臂3A2的前端。在机械臂3中，内置有用于使各臂以各关节的轴为中心而转动的马达(motor)等驱动机构，且驱动机构根据从图像处理单元8发送的命令而动作。
图像处理单元8通过CPU执行在存储器中开发的计算机程序，从而负责摄像机2所拍摄的检查对象物4的图像的各种处理。而且，PLC 9通过CPU执行在存储器中开发的计算机程序，从而负责图像检查装置1的各部的控制。
另外，在图像检查装置1中，设置有操作单元11与显示单元12。操作单元11是配置在操作图像检查装置1的作业员(operator)便于操作的适当地方的输入装置，且操作单元11受理作业员对图像检查装置1进行的各种操作。操作单元11可为与显示单元12一体的触控面板，可为一般用于通用计算机的键盘，或可为专用设计的输入装置。而且，显示单元12是配置在从操作图像检查装置1的作业员便于观察的适当地方的显示装置，且显示单元12显示图像检查装置1的各部的状态、及由摄像机2所获取的图像。
当在图像检查装置1中开始图像检查时，PLC 9对机器人控制器10进行命令而使机械臂3运行，以使摄像机2与照明2L移动到适当的位置，以便摄像机2拍出检查对象物4。并且，PLC 9让照明2L的照明图形发生变形，以使得照明2L在此位置照亮检查对象物4时，即使因曲面部分4C导致照明2L的照明图形发生变形，仍可在摄像机2的图像中拍出直线状的带以等间隔排列的条纹图案的照明图形。
照明2L的照明图形是如下所述般变形。图3是例示在将带状的照明图形照射至工件时，由摄像机拍出的图像的图。如图3所示，当将带状的照明图形照射至工件的平面部分时，在拍出所述平面部分的图像中，拍出规定粗度的带。而且，当将带状的照明图形照射至工件的凸面部分时，在拍出所述凸面部分的图像中，拍出弯曲的带或比规定粗度细的带。而且，在将带状的照明图形照射至工件的凹面部分时，在拍出所述凹面部分的图像中，拍出比规定粗度粗的带。
因此，在图像检查装置1中，如下所述般制作照明2L的照明图形。图4是表示在图像检查装置1中进行的照明2L的照明图形的制作方法的第1例的图。
＜照明图形的制作＞
在制作照明2L的照明图形时，首先，确定图像的各点与照明的各点的对应关系。图像的各点与照明的各点的对应关系能够如下述那样确定。例如，将摄像机2的位置设为视点，将连结在图像中拍出的检查对象物4的任意点C(Xc、Yc、Zc)(为本申请中所述的“假想点”的一例)的假想直线设为视线v。检查对象物4的形状根据检查对象物4的设计图的数据、或者对与检查对象物4同种的良品进行三维测定所得的数据而为已知。而且，摄像机2的位置也根据控制机械臂3的机器人控制器10而为已知。若检查对象物4的形状与摄像机2的位置为已知，则可唯一求出视线v与检查对象物4的表面交叉的点A(为本申请中所述的“反射点”的一例)的坐标(Xa、Ya、Za)。
接下来，将交叉的点A处的检查对象物4表面的法线向量(vector)设为n。根据正反射定律，法线向量n成为将视线v与正反射直线r一分为二的向量。利用此关系，能够根据视线v与法线向量n来求出正反射直线r。
而且，照明2L的位置根据控制机械臂3的机器人控制器10而为已知。若照明2L的位置为已知，则能够求出正反射直线r与照明2L的发光面的交点，即点B(为本申请中所述的“对应点”的一例)，的坐标(Xb、Yb、Zb)。
根据以上，确定在图像中拍出的检查对象物4的任意点C(Xc、Yc、Zc)、与位于照明2L的发光面上的点B的坐标(Xb、Yb、Zb)的对应关系。由此，图像上的任意点C的坐标(xc、yc)与跟其对应的照明2L的发光面的任意的点B的坐标(xb、yb)的关联完成。
在确定了图像的各点与照明的各点的对应关系后，进行照明2L的发光面上的各点的发光强度的决定。例如，在使摄像机2拍出条纹图案时，决定在图像中描绘出规定形状的条纹图案的、图像上的各点C的浓度(白或黑)。并且，使与图像上的各点C对应的、发光面的各点B(xb、yb)的发光强度跟浓度成正比。若对浓度使用中间色调，则例如也能够应对在相移法中使用的、以正弦波变化的条纹图案。
照明2L的照明图形例如可由图像检查装置1的图像处理单元8所制作，或者也可使用图像检查装置1以外的装置而制作。利用如上所述的方法而制作的照明2L的照明图形在图像检查装置1中，例如以下述方式而使用。
即，当在图像检查装置1中开始图像检查时，PLC 9使图像处理单元8控制照明2L，以使照明2L的发光面以利用所述方法而制作的照明图形来发光。若照明2L为液晶显示器等图像显示装置，则PLC 9使图像处理单元8生成以所述方法而制作的照明图形的图像信号，并使照明2L予以显示。
图5是表示工件的形状与所制作的照明图形的对应关系的一例的图。
例如，当利用图像检查装置1来对检查对象物4的平面部分进行图像检查时，在所述平面部分的范围内，无论所述视线v与检查对象物4的表面交叉的点A处于哪个部位，点A处的检查对象物4表面的法线向量n均为固定的方向，因此图像上的任意点C的坐标(xc、yc)与跟其对应的照明2L的发光面的任意的点B的坐标(xb、yb)的对应关系在X轴方向与Y轴方向上均为线性。因而，例如在要使图像中拍出规定粗度的带排列的带状的照明图形时，如图5的A栏所示，所制作的照明图形为规定粗度的带排列的带状的照明图形。
而且，例如，当利用图像检查装置1来对检查对象物4的凸面部分进行图像检查时，在所述凸面部分的范围内，根据所述视线v与检查对象物4的表面交叉的点A的位置，点A处的检查对象物4表面的法线向量n发生变化。因而，图像上的任意点C的坐标(xc、yc)与跟其对应的照明2L的发光面的任意的点B的坐标(xb、yb)的对应关系为非线性。并且，法线向量n的方向基本上为远离摄像机2或照明2L所处的方向的方向，因此，例如在要使图像中拍出规定粗度的带排列的带状的照明图形时，如图5的B栏所示，所制作的照明图形为宽度比规定粗度的带更宽的带排列的带状的照明图形。
而且，例如，当利用图像检查装置1来对检查对象物4的凹面部分进行图像检查时，在所述凹面部分的范围内，根据所述视线v与检查对象物4的表面交叉的点A的位置，点A处的检查对象物4表面的法线向量n发生变化。因而，图像上的任意点C的坐标(xc、yc)与跟其对应的照明2L的发光面的任意的点B的坐标(xb、yb)的对应关系为非线性。并且，法线向量n的方向基本上为朝向摄像机2或照明2L所处的方向的方向，因此，例如在要使图像中拍出规定粗度的带排列的带状的照明图形时，如图5的C栏所示，所制作的照明图形为宽度比规定粗度的带更窄的带排列的带状的照明图形。
在图像检查装置1中，将如上述那样制作的照明图形的光从照明2L照射向检查对象物4，在此状态下进行摄像机2对检查对象物4的拍摄。并且，由摄像机2所获取的检查对象物4的图像在图像处理单元8中，例如以下述方式进行处理。
图6是表示在图像处理单元8中进行的图像处理的一例的图。当通过PLC9的控制而使摄像机2拍摄检查对象物4时，图像处理单元8对由摄像机2所获取的图像数据进行分析。并且，图像处理单元8从拍出检查对象物4的图像中判定缺陷的有无。图像处理单元8例如以如下所述的方法来执行缺陷的有无判定。
例如，若由摄像机2所获取的图像中拍出的检查对象物4无缺陷，则即使将拍出无缺陷的良品检查对象物4的基准图像与摄像机2的图像进行比较，也不会产生差异。另一方面，若由摄像机2所获取的图像中拍出的检查对象物4存在缺陷，则将拍出无缺陷的良品检查对象物4的基准图像与摄像机2的图像进行比较时，会产生差异。因此，当进行缺陷的有无判定时，图像处理单元8寻找基准图像与拍出检查对象物4的摄像机2的图像的差异。在图像检查装置1中，是以在图像中描绘出规定形状的条纹图案的方式来制作照明图形，因此作为被用作基准图像的基准图像，只要仅具有不依存于摄像机2所拍摄的检查对象物4的形状的一种模型(model)即可。在利用直线状的带以等间隔排列的条纹图案的照明图形来对检查对象物4进行照明时拍出的图像中，会拍出根据检查对象物4的形状而发生了变形的照明图形，因此要从此种图像中检测缺陷，需要用于去除变形的照明图形的影响的复杂的滤波处理、或者针对检查对象物4的每个形状而使基准图像简单。此处，若为所述图像检查装置1，则能够利用一种模型的基准图像来判定缺陷的有无，因此能够尽可能抑制图形光的照射部位为曲面时的、检查时间的增加或检测精度的下降。
而且，当相移法应用于所述图像检查装置1用时，具有如下所述的效果。当相移法应用于图像检查装置1时，如上所述，使用相位呈正弦波状变化的条纹状图形的照明图形来推测检查对象物4表面的法线方向，通过寻找其奇点(与周围相比，相位不同的点)，来检测缺陷。在通常的相移法中，使用均匀的条纹图案来作为照明图形，因此当拍摄具有曲面部分4C的检查对象物4时，由摄像机所观测的条纹因为曲面部分4C的形状发生变形，且条纹的宽度会变窄或变宽。
若条纹的宽度被设定为与想要检测的缺陷的尺寸相符的适度宽度，则所述尺寸的缺陷检测精度最高。条纹的宽度无论是较与想要检测的缺陷的尺寸相符的适度宽度过小，还是过大，检测精度均会下降。因而，例如在利用相移法来对如检查对象物4那样具有曲面部分的工件进行图像检查时，虽然可考虑制备具有条纹宽度变化的照明图形，但增加照明图形的数量会使拍摄所需的时间变长。
此处，若为所述图像检查装置1，则以在图像中拍出规定宽度的条纹排列的条纹图案的照明图形的方式来制作照明图形。在所述照明图形的制作中，为了使摄像机2拍出相位呈正弦波状变化的条纹状图形，以图像上的各点C的浓度呈正弦波状产生相位变化的方式，来决定与图像上的各点C对应的发光面的各点B(xb、yb)的发光强度。所述发光强度为动态的值。从照明2L照射这样制作的照明图形，此时，使摄像机2拍摄检查对象物4，由此来获取图像上的各点C的浓度呈正弦波状从0度相位变化至360度为止的相位图像。并且，在所述相位图像的处理时，图像处理单元8寻找与不依存于检查对象物4的形状的一种相位图像(基准图像)的差异，基于此差异，能够容易地进行缺陷检测。因此，即使将相移法应用于图像检查装置1，也无须准备在由摄像机2拍出的检查对象物4的条纹图案中出现宽度变形的照明图形，而能够维持缺陷的检测精度。
另外，虽然上面例示了条纹图案的照明图形，但照明2L所照射的照明图形例如也可为一个带。而且，虽然上面图示了多个沿纵向延伸的带以横向排列的条纹图案的照明图形，但照明2L所照射的照明图形例如也可为多个沿横向延伸的带以纵向排列的条纹图案的照明图形。
而且，照明2L并不限定于具有平坦的发光面。照明2L例如也可具有曲面状的发光面。图7是表示在图像检查装置1中进行的照明2L的照明图形的制作方法的第2例的图。
若照明2L的发光面的形状为已知，即使照明2L的发光面为曲面，也能够与平面同样地，求出正反射直线r与照明2L的发光面的交点，即点B，的坐标(Xb、Yb、Zb)。因而，即使照明2L的发光面为曲面，也能够确定在图像中拍出的检查对象物4的任意点C(Xc、Yc、Zc)、与位于照明2L的发光面上的点B的坐标(Xb、Yb、Zb)的对应关系，由此，能够实现图像上的任意点C的坐标(xc、yc)、与跟其对应的照明2L的发光面的任意的点B的坐标(xb、yb)的关联。因此，能够决定与图像上的各点C对应的发光面的各点B(xb、yb)的发光强度。
如图7所示，若为将围绕检查对象物4的凹状曲面设为发光面的照明2L，则能够捕捉正反射直线r的范围被扩展，因此检查对象物4的形状变形的对应范围宽于发光面为平面的情况。
＜计算机可读取的记录介质＞
能够将程序记录在计算机等可读取的记录介质中，所述程序使计算机或其他机械、装置(以下称作计算机等)实现所述的任一处理。并且，通过使计算机等读取并执行所述记录介质的程序，从而能够提供所述功能。
此处，所谓计算机等可读取的记录介质，是指能够通过电、磁、光学、机械或化学作用来储存数据或程序等信息，并能够从计算机等读取的记录介质。作为此种记录介质中的可从计算机等拆卸者，例如有软盘(flexible disk)、磁光盘、只读光盘(Compact DiscRead Only Memory，CD-ROM)、可重写光盘(Compact Disc Rewritable，CD-R/W)、数字多功能光盘(Digital Versatile Disc，DVD)、蓝光光盘(blue ray disc)(蓝光为注册商标)、数字录音带(Digtal Audio Tape，DAT)、8mm磁带、快闪存储器(flash memory)等存储卡(memory card)等。而且，作为被固定于计算机等的记录介质，有硬盘、SSD或只读存储器(Read Only Memory，ROM)等。
另外，所述实施方式及变形例是本发明的实施方式的一例，并非将本申请中揭示的发明的技术范围限定于所述实施方式及变形例者。

Claims (9)

1.一种图像检查装置，利用图像来对检查对象物进行检查，其特征在于，所述图像检查装置包括：
照明部件，对所述检查对象物照射光；
拍摄部件，拍摄所述检查对象物；以及
控制部件，使所述照明部件照射下述形状的图形光，所述形状是基于所述照明部件与所述拍摄部件的位置关系以及所述检查对象物的形状数据而制作，且当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与规定图形一致。
2.根据权利要求1所述的图像检查装置，其特征在于，
所述控制部件对于拍摄面上的各位置确定在第2假想线跟所述照明部件的发光面相交处的对应点，所述第2假想线是相对于第1假想线，以所述检查对象物的反射点处的法线为中心而与所述第1假想线成线对称的线，所述第1假想线连结假想点与所述反射点，所述假想点位于所述拍摄部件的所述拍摄面上的特定位置，所述反射点是在所述拍摄面上拍出的所述检查对象物上对应于所述假想点的实际位置，
所述控制部件基于所述假想点与所述对应点的对应关系，制作所述发光面的图形光的形状，使得所述图形光以所述规定图形的形状入射至所述拍摄面。
3.根据权利要求1所述的图像检查装置，其特征在于，
所述控制部件使所述照明部件照射下述形状的图形光，所述形状是当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与直线状或条纹状的光的图形一致。
4.根据权利要求2所述的图像检查装置，其特征在于，
所述控制部件使所述照明部件照射下述形状的图形光，所述形状是当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与直线状或条纹状的光的图形一致。
5.根据权利要求1至4中任一项所述的图像检查装置，其特征在于，还包括：
判定部件，基于所述拍摄部件所拍摄的所述检查对象物的图像中拍出的所述照明部件的光的形状与所述规定图形的差异，来判定所述检查对象物的缺陷有无。
6.根据权利要求1至4中任一项所述的图像检查装置，其特征在于，
所述控制部件使所述照明部件照射下述多个形状的图形光，所述多个形状是当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状为条纹状的光的图形，且所述多个形状与条纹的相位发生变化的多个图形光一致。
7.根据权利要求5所述的图像检查装置，其特征在于，
所述控制部件使所述照明部件照射下述多个形状的图形光，所述多个形状是当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状为条纹状的光的图形，且所述多个形状与条纹的相位发生变化的多个图形光一致。
8.一种图像检查方法，利用图像来对检查对象物进行检查，其特征在于，所述图像检查方法包括：
照明工序，利用照明部件来对所述检查对象物照射光；
拍摄工序，利用拍摄部件来拍摄所述检查对象物；以及
控制工序，使所述照明部件照射下述形状的图形光，所述形状是基于所述照明部件与所述拍摄部件的位置关系以及所述检查对象物的形状数据而制作，且当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与规定图形一致。
9.一种图像检查程序，利用图像来对检查对象物进行检查，其特征在于，所述图像检查程序使计算机执行下述工序：
照明工序，利用照明部件来对所述检查对象物照射光；
拍摄工序，利用拍摄部件来拍摄所述检查对象物；以及
控制工序，使所述照明部件照射下述形状的图形光，所述形状是基于所述照明部件与所述拍摄部件的位置关系以及所述检查对象物的形状数据而制作，且当所述照明部件进行照射时，所述拍摄部件所拍摄的图像中拍出的所述照明部件的光的形状与规定图形一致。
CN201811509711.6A 2018-03-06 2018-12-11 图像检查装置、图像检查方法以及图像检查记录介质 Active CN110231352B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018039347A JP7087458B2 (ja) 2018-03-06 2018-03-06 画像検査装置、画像検査方法及び画像検査プログラム
JP2018-039347 2018-03-06

Publications (2)

Publication Number Publication Date
CN110231352A true CN110231352A (zh) 2019-09-13
CN110231352B CN110231352B (zh) 2021-11-26

Family

ID=64665446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811509711.6A Active CN110231352B (zh) 2018-03-06 2018-12-11 图像检查装置、图像检查方法以及图像检查记录介质

Country Status (4)

Country Link
US (1) US10861179B2 (zh)
EP (1) EP3537101A1 (zh)
JP (1) JP7087458B2 (zh)
CN (1) CN110231352B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019197002A (ja) * 2018-05-10 2019-11-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102303925B1 (ko) * 2020-03-17 2021-09-27 (주)소닉스 곡면제품 검사용 검사장치
US11494892B2 (en) 2020-08-21 2022-11-08 Abb Schweiz Ag Surface defect detection system
JP2022054938A (ja) * 2020-09-28 2022-04-07 株式会社リコー 検査装置、検査システム、検査方法
CN113899755A (zh) * 2021-11-17 2022-01-07 武汉华星光电半导体显示技术有限公司 屏幕折痕程度的检测方法和视觉检测设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169095A (zh) * 2009-09-24 2011-08-31 凯德易株式会社 检查系统以及检查方法
JP2016109462A (ja) * 2014-12-02 2016-06-20 リコーエレメックス株式会社 検査システムおよびフレキシブル照明装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08184567A (ja) * 1994-10-05 1996-07-16 Musco Corp 鏡面反射性又は半鏡面反射性表面を点検するための装置及び方法
JP3185599B2 (ja) * 1995-04-17 2001-07-11 日産自動車株式会社 表面欠陥検査装置
JP3514122B2 (ja) * 1998-06-25 2004-03-31 日産自動車株式会社 表面欠陥検査装置
EP1236970A1 (de) * 2001-02-26 2002-09-04 Leuze electronic GmbH + Co. Bilderverarbeitungssystem
JP2005337857A (ja) * 2004-05-26 2005-12-08 Toray Ind Inc 表面凹凸の検査方法および検査装置
KR101427433B1 (ko) * 2006-08-02 2014-08-08 가부시키가이샤 니콘 결함 검출 장치 및 결함 검출 방법
JP2009168454A (ja) * 2008-01-10 2009-07-30 Kurabo Ind Ltd 表面欠陥検査装置及び表面欠陥検査方法
DE102009038965A1 (de) * 2009-08-20 2011-03-03 Carl Zeiss Oim Gmbh Vorrichtung und Verfahren zum optischen Inspizieren einer Oberfläche an einem Gegenstand
JP2012117814A (ja) * 2010-11-29 2012-06-21 Hitachi High-Technologies Corp 欠陥検査装置および欠陥検査方法
JP5953842B2 (ja) 2012-03-14 2016-07-20 オムロン株式会社 画像検査方法および検査領域設定方法
DE102012104282A1 (de) * 2012-05-16 2013-11-21 Isra Vision Ag Verfahren und Vorrichtung zur Inspektion von Oberflächen eines untersuchten Objekts
JP2014085173A (ja) * 2012-10-22 2014-05-12 Toppan Printing Co Ltd 検査用照明装置及び検査装置
CN104956179B (zh) * 2012-12-31 2018-10-26 Iee国际电子工程股份公司 利用折射或反射光的结构化元件从光源阵列生成结构化光场的光学系统
CA3013438C (en) * 2013-12-27 2020-07-14 Jfe Steel Corporation Surface defect detecting method and surface defect detecting apparatus
US10168146B2 (en) * 2015-05-29 2019-01-01 Canon Kabushiki Kaisha Measuring shape of specular objects by local projection of coded patterns
US9952037B2 (en) * 2015-06-26 2018-04-24 Glasstech, Inc. System and method for developing three-dimensional surface information corresponding to a contoured sheet
US10912516B2 (en) * 2015-12-07 2021-02-09 Panasonic Corporation Living body information measurement device, living body information measurement method, and storage medium storing program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169095A (zh) * 2009-09-24 2011-08-31 凯德易株式会社 检查系统以及检查方法
JP2016109462A (ja) * 2014-12-02 2016-06-20 リコーエレメックス株式会社 検査システムおよびフレキシブル照明装置

Also Published As

Publication number Publication date
CN110231352B (zh) 2021-11-26
US10861179B2 (en) 2020-12-08
EP3537101A1 (en) 2019-09-11
US20190279388A1 (en) 2019-09-12
JP7087458B2 (ja) 2022-06-21
JP2019152591A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
CN110231352A (zh) 图像检查装置、图像检查方法以及图像检查程序
JP4784555B2 (ja) 形状評価方法、形状評価装置および三次元検査装置
Jurkovic et al. New approach in tool wear measuring technique using CCD vision system
US8050486B2 (en) System and method for identifying a feature of a workpiece
EP3388781B1 (en) System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection
Perng et al. A novel internal thread defect auto-inspection system
US8773526B2 (en) Edge detection using structured illumination
US8885945B2 (en) Method for improving repeatability in edge location results of a machine vision inspection system
CN110231346A (zh) 图像检查装置、图像检查方法以及图像检查程序
JP2904069B2 (ja) 球状物の外観検査方法及びその検査装置
JP4768579B2 (ja) 写像性の評価方法
US20160195385A1 (en) Method and arrangement for measuring internal threads of a workpiece with an optical sensor
CN109085171A (zh) 图像处理装置、图像处理方法和存储介质
JP2009052917A (ja) 外観検査装置及び外観検査方法
CN106415198B (zh) 图像记录方法和执行该方法的坐标测量机
CN111879789A (zh) 金属表面缺陷检测方法及系统
WO2021064893A1 (ja) ワークの表面欠陥検出装置及び検出方法、ワークの表面検査システム並びにプログラム
CN116148277B (zh) 一种透明体缺陷三维检测方法、装置、设备及存储介质
JP7306620B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP6695253B2 (ja) 表面検査装置及び表面検査方法
JP7392582B2 (ja) 検査システムおよび検査方法
JP2023151944A (ja) 検査システムおよび検査方法
US20230419471A1 (en) Surface inspection system
CN214749855U (zh) 类镜面物体的缺陷检测装置
Huang A novel direct structured-light inspection technique for contaminant and defect detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant