CN110033429A - 图像处理系统 - Google Patents

图像处理系统 Download PDF

Info

Publication number
CN110033429A
CN110033429A CN201811194959.8A CN201811194959A CN110033429A CN 110033429 A CN110033429 A CN 110033429A CN 201811194959 A CN201811194959 A CN 201811194959A CN 110033429 A CN110033429 A CN 110033429A
Authority
CN
China
Prior art keywords
light
irradiation patterns
image data
image
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811194959.8A
Other languages
English (en)
Other versions
CN110033429B (zh
Inventor
加藤豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110033429A publication Critical patent/CN110033429A/zh
Application granted granted Critical
Publication of CN110033429B publication Critical patent/CN110033429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

本发明的目的在于提供一种尽可能地避免能够应用的设备的选定受到限制的图像处理系统。一种图像处理系统，其包括：相机，拍摄工件；照明装置，设置在相机与工件之间，具有透光性；以及控制装置，对相机及照明装置进行控制。照明装置能够按照来自控制装置的指示变更照射图案。控制装置对相机进行控制，以使得在各照射图案下进行拍摄。

Description

图像处理系统
技术领域
本发明涉及一种图像处理系统。
背景技术
在工厂自动化(Factory Automation，FA)领域等之中，利用了如下的图像处理技术：在利用来自照明装置的光的照明下拍摄对象物(以下也称为“工件”)，从所生成的图像数据获取关于工件的信息。
例如，日本专利特开2007-206797号公报(专利文献1)揭示了如下的图像处理装置：以相对于对象物的光轴朝向斜下方的方式安装多个光源，每当利用各光源对对象物进行照明时，利用配置在对象物的正上方的相机拍摄对象物，利用所获得的多张拍摄图像来检查对象物的外观。
现有技术文献
专利文献
专利文献1日本专利特开2007-206797号公报
发明内容
发明所要解决的问题
在所述现有的装置中，是将相机配置在对象物的正上方，另一方面，必须在相机的周边，以使相对于对象物的光轴的角度不同的方式将多个光源配置在各不相同的位置，从而迫使整个装置体型庞大。因此，有能够应用装置的设备的选定受到限制的担心。
本发明的目的在于提供一种尽可能地避免能够应用的设备的选定受到限制的图像处理系统。
解决问题的技术手段
根据本揭示的一例，提供一种图像处理系统，其利用拍摄对象物而获得的图像数据对所述对象物进行图像测量。图像处理系统包括：拍摄部，拍摄对象物；透光性的发光部，配置在从拍摄部到对象物之间，并且具有发光面，所述发光面在与从拍摄部向对象物的光轴不同的方向上具有宽度；以及控制部，对拍摄部及发光部进行控制。控制部是从发光部向对象物照射第一照射图案的光，并且使拍摄部拍摄对象物而获取第一图像数据，从发光部向对象物照射与第一照射图案不同的第二照射图案的光，并且使拍摄部拍摄对象物而获取第二图像数据。
根据所述揭示，通过将发光部配置在从拍摄部到对象物之间，可以提供一种与在从拍摄部到对象物之间未配置发光部的情况相比，整体上更紧凑的图像处理系统。其结果为，可以尽可能地避免能够应用的设备的选定受到限制。
在所述揭示中，控制部也可以利用至少包含第一图像数据及第二图像数据的多个图像数据，来执行针对对象物的图像测量处理。第一图像数据也可以与拍摄部的拍摄视场内的第一关注位置相对应。第二图像数据也可以与拍摄视场内的第二关注位置相对应。第一照射图案也可以根据第一关注位置来确定。第二照射图案也可以根据第二关注位置来确定。
根据所述揭示，针对拍摄视场内的每个关注位置确定照射图案，因此能够提供与关注位置相应的照明环境。其结果为，可以提高图像测量的精度。
在所述揭示中，也能够以使从发光部向第一关注位置照射的光的入射方向与从发光部向第二关注位置照射的光的入射方向实质上相同的方式，来确定第一照射图案及第二照射图案。
根据所述揭示，入射至拍摄视场内的各关注位置的光的入射方向在每个关注位置上实质上相同，因此能够使各关注位置上的照明环境实质上相同。
在所述揭示中，控制部也可以依次变更从发光部照射至对象物的光的照射图案，并且对应于所述照射图案的依次变更，使拍摄部依次拍摄对象物。
根据所述揭示，可以依次获取在不同的照射图案下所拍摄的图像数据，从而能够基于依次获取的多个图像数据执行图像测量。
在所述揭示中，拍摄部也可以包含读出电路，所述读出电路从多个光接收元件之中的一部分光接收元件读出所述图像信号，所述多个光接收元件将拍摄视场内所含的光转换成图像信号。控制部也可以在从发光部照射第一照射图案的光的状态下，至少使拍摄部中所含的多个光接收元件之中与第一关注位置相对应的第一光接收元件曝光，接着，从多个光接收元件之中至少第一光接收元件读出图像信号。并且，控制部也可以在从发光部照射第二照射图案的光的状态下，至少使多个光接收元件之中与第二关注位置相对应的第二光接收元件曝光，接着，从多个光接收元件之中至少第二光接收元件读出图像信号。
根据所述揭示，可以从与所照射的关注位置相对应的光接收元件读出图像信号，因此与从所有光接收元件读出图像信号的情况相比，能够缩短读出图像信号所需要的时间。
在所述揭示中，读出第一光接收元件的信号的处理的至少一部分、与在从发光部照射第二照射图案的光的状态下使第二光接收元件曝光的处理的至少一部分也可以同时执行。
根据所述揭示，可以同时执行读出信号的处理的一部分与使光接收元件曝光的处理的一部分，因此能够缩短为了获得用于图像处理的图像数据所需要的时间。
在所述揭示中，第一图像数据也可以包含与第一关注位置相对应的一个像素、及与所述像素邻接的一个或多个像素。第二图像数据也可以包含与第二关注位置相对应的一个像素及与所述像素邻接的一个或多个像素。
根据所述揭示，可以减少为了获取整个拍摄视场的图像所需要的拍摄次数。
在所述揭示中，第一图像数据中所含的多个像素与第二图像数据中所含的多个像素之中，至少一部分像素也可以为共同。控制部也可以基于第一图像数据及第二图像数据，输出与共同的像素相对应的拍摄部的位置上的图像测量结果。
根据所述揭示，控制部基于第一图像数据及第二图像数据，输出与共同的像素相对应的拍摄部的位置上的图像测量结果，因此能够提高针对位于第一关注位置与第二关注位置之间的区域的图像测量的精度。
在所述揭示中，当照射与各关注位置相对应的照射图案时，控制部也可以根据从发光部的发光面对应所述关注位置的基准位置的距离，使所照射的光的颜色不同。
根据所述揭示，能够检测出包含关注位置的对象物的表面的三维形状，作为与所照射的光的波长相对应的色相信息。
在所述揭示中，包含照射图案的照明条件也可以根据对象物的类别来确定。图像处理系统也可以还包括：存储部，存储多个针对对象物的类别而设定的照明条件；以及设定部，根据关于对象物的类别的信息的输入，设定与所述对象物的类别相对应的照明条件。
根据所述揭示，可以提供一种不论对象物的类别如何都可以使用的通用性高的图像处理系统。
发明的效果
能够提供一种可以尽可能地避免能够应用的设备的选定受到限制的图像处理系统。
附图说明
图1是示意性地表示本实施方式的图像处理系统的应用场景的图。
图2是表示应用本实施方式的图像处理系统的生产线的一例的示意图。
图3是表示控制装置的硬件构成的示意图。
图4是本实施方式的照明装置的局部放大的示意图。
图5是用于说明通过照明装置而形成的照射图案的一例的图。
图6是用于说明检查图像数据的生成方法的一例的图。
图7是表示互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)影像传感器的示意图。
图8是表示从光电二极管读出图像信号的时序的时序图。
图9是用于说明每个关注位置的照射图案的确定方法的示意图。
图10是表示控制装置的功能构成的一例的图。
图11是用于说明校准(calibration)结果的一例的图。
图12是用于说明照射图案的修正的图。
图13是用于说明照射图案的其它修正方法的图。
图14是表示基准照射图案的第一变形例的图。
图15是表示对第一变形例的基准照射图案进行了修正的照射图案的图。
图16是表示基准照射图案的第二变形例的图。
图17是表示变形例中的图像处理系统的一例的示意图。
符号的说明
1：图像处理系统
4：照明装置
6：外部存储器
8：相机
10：控制部
11：检测部
12：处理部
14：照明控制部
16：拍摄控制部
18：生成部
20：图像测量部
40：发光面
41：照明组件
51：检查图像数据
52：图像数据
53：部分图像数据
81：拍摄视场
82：CMOS影像传感器
83：光电二极管
84：读出电路
100：控制装置
110：CPU
112：接收部
120：主存储器
122：设定部
124：指示部
130：硬盘
132：图像处理程序
140：照明I/F
150：通信I/F
160：外部存储器I/F
180：相机I/F
190：总线
200：PLC
210：特定部
300：平台
400：读取部
L：照射图案
W：工件
a：关注位置
l：光轴
具体实施方式
§1应用例
首先，参照图1，对应用本发明的场景的一例进行说明。图1是示意性地表示本实施方式的图像处理系统1的应用场景的图。
图像处理系统1利用拍摄对象物即工件W而获得的图像数据对工件W进行图像测量。图像处理系统1包括拍摄部的一例即相机8、发光部的一例即照明装置4、以及对相机8及照明装置4进行控制的控制部的一例即控制装置100。
照明装置4配置在相机8与工件W之间，具有发光面40，所述发光面40在与从相机8向工件W的光轴不同的方向上具有宽度。从发光面40向工件W照射光。并且，照明装置4具有透光性。照明装置4只要具有相机8能够通过照明装置4拍摄工件W的程度的透光性即可。照明装置4例如，可以使用有机电致发光(electroluminescence)(以下称为有机EL)照明、发光二极管(light-emitting diode，LED)照明等已知的照明。
所谓照射图案，是指从照明装置4照射至工件W的光的浓淡图案，在本实施方式中，是指发光面40的发光强度的分布的图案。再者，“发光强度”是以发光的程度或光的强度作为一例，例如可举出亮度(cd/m2)、光度(cd)等。
照明装置4可以按照来自控制装置100的指示来变更照射图案。控制装置100对相机8进行控制，以使得在各照射图案下进行拍摄。即，控制装置100从照明装置4对工件W照射第一照射图案的光，并且在照射第一照射图案的状态下使相机8拍摄工件W而获取第一图像数据。并且，控制装置100从照明装置4对工件W照射第二照射图案的光，并且在照射第二照射图案的状态下使相机8拍摄工件W而获取第二图像数据。
如上所述，照明装置4具有透光性，由此可以将相机8、工件W及照明装置4配置在同轴上，能够自由地设定相机8及照明装置4的配置场所。特别是与无法配置在同轴上的图像处理系统相比，本实施方式的图像处理系统1可以比较自由地配置各装置。由此，可以使整个图像处理系统紧凑化。并且，能够与照明装置4的场所无关地配置相机8，因此能够提供一种在配置的自由度方面通用性高的图像处理系统。其结果为，可以尽可能地避免能够应用的设备的选定受到限制。
并且，控制装置100能够对从照明装置4照射的光的照射图案进行控制，并且在各照射图案下进行拍摄而获取图像数据。因此，可以根据工件W的局部表面的形状来改变照射图案。例如，当在构成工件W的面之中、与发光面40平行的面及与发光面40不平行的面上，以共同的照射图案照射了光时，入射至平行的面的光与入射至不平行的面的光之中，其入射角互不相同，从而在各面上照明条件不同。在本实施方式中，可以改变照射图案，因此能够针对构成工件W的表面的每个局部表面设为相同的照明条件。其结果为可以提高测量精度。
此外，控制装置100能够对从照明装置4照射的光的照射图案进行控制，并且在各照射图案下进行拍摄而获取图像数据，因此可以提供一种也能够用于任意工件的通用性高的图像处理系统。例如，在无法改变照射图案的照明装置中，每当载置于生产线上的工件的种类发生改变时，必须调整照明的位置，而改变所照射的光的图案。另一方面，本实施方式的图像处理系统可以通过控制装置来改变照射图案。并且，能够在各照射图案下进行拍摄而获取图像数据，因此当工件的种类发生变化时，只要改变照射图案即可，不需要调整照明装置4的位置等。
§2具体例
＜A.应用图像处理系统的生产线的一例＞
其次，对本实施方式的图像处理系统的一例进行说明。首先，一边参照图2，一边说明应用图像处理系统的一例即图像处理系统1来对通过生产线而搬运的工件W进行外观检查的方法的一例。图2是表示应用本实施方式的图像处理系统1的生产线的一例的示意图。
如图2所示，本实施方式的图像处理系统1包括对连续地搬入的工件W进行拍摄的相机8、对工件W进行照明的照明装置4、以及对照明装置4及相机8进行控制的控制装置100。相机8包含透镜及光圈等光学系统、及CMOS(Complementary Metal Oxide Semiconductor)影像传感器82(参照图8)等光电转换器，作为主要的构成组件。光电转换器是将相机8的拍摄视场81中所含的光转换成图像信号的装置。
照明装置4对配置在平台300上的工件W照射照明光。照明装置4具有发光面40，所述发光面40在与从相机8向工件W的光轴不同的方向上，具有光的宽度。从发光面40照射的照明光能够按照控制装置100所指示的照射图案进行任意变更。照明装置4具有透光性，典型的是透明的有机EL照明。当将以配置有照明装置4的位置为基准而配置有相机8的方向设为上方，将配置有工件W的方向设为下方时，照明装置4只要具有如下程度的透光性即可：相机8能够经由照明装置4拍摄位于比照明装置4更下方的位置的对象物。
成为检查对象的工件W通过可移动的平台300，而移动至固定有相机8及照明装置4的检查位置。平台300被可编程序逻辑控制器(Programmable Logic Controller，PLC)200控制。PLC 200对平台300进行控制，以使得当将工件W搬运至检查位置后，直到图像处理系统1的外观检查结束为止立刻停止。这时，控制装置100一边通过照明装置4对工件W照射光，一边利用相机8拍摄工件W。控制装置100对照明装置4进行控制，以改变从照明装置4照射的光的照射图案，并且对相机8进行控制，以使得每当改变光的照射图案时利用相机8拍摄工件W。控制装置100通过利用如上所述而获得的多张拍摄图像，来检查工件W的外观。并且，控制装置100在外观检查结束后，对PLC 200输出检查结果。PLC 200基于来自控制装置100的检查结果的输出，将下一个工件W搬运至检查位置。
＜B.控制装置的硬件构成的一例＞
图3是表示控制装置100的硬件构成的示意图。控制装置100包括中央处理器(Central Processing Unit，CPU)110、主存储器120、硬盘130、相机接口(interface，I/F)180、照明I/F 140、通信I/F 150及外部存储器I/F 160。所述各部经由总线190，相互可进行数据通信地连接着。
CPU 110通过将安装在硬盘130中的包含图像处理程序132的程序(代码)在主存储器120加以展开，并按规定顺序执行这些程序，来实施各种运算。主存储器120典型的是动态随机存取存储器(Dynamic Random Access Memory，DRAM)等易失性存储装置。
硬盘130是控制装置100所具备的内部存储器，是非易失性存储装置，包含图像处理程序132。再者，也可以除了硬盘130以外，或者取代硬盘130，采用闪速存储器(flashmemory)等半导体存储装置。
相机I/F 180负责CPU 110与相机8之间的数据传输。即，相机I/F 180与生成图像数据的相机8连接。并且，相机I/F 180按照来自CPU 110的内部命令，发出对连接着的相机8中的拍摄动作进行控制的命令。
照明I/F 140负责CPU 110与照明装置4之间的数据传输。即，照明I/F 140与照明装置4连接。并且，照明I/F 140按照来自CPU 110的内部命令，对连接着的照明装置4，发送关于照射图案的指令。照明装置4照射基于所接收到的指令的照射图案的光。再者，照明装置4也可以经由相机8而与控制装置100连接。并且，相机8也可以经由照明装置4而与控制装置100连接。
通信I/F 150是在PLC 200与CPU 110之间交换各种数据。再者，通信I/F 150也可以在服务器与CPU 110之间交换数据。通信I/F 150包含用于与PLC 200之间交换各种数据的网络所对应的硬件。
外部存储器I/F 160与外部存储器6连接，而进行对外部存储器6读入或写入数据的处理。外部存储器6相对于控制装置100可拆装，典型的是通用串行总线(UniversalSerial Bus，USB)存储器、存储卡等非易失性存储装置。并且，图像处理程序132等各种程序不必保存在硬盘130中，也可以保存在能够与控制装置100进行通信的服务器、或能够与控制装置100直接连接的外部存储器6中。例如，在外部存储器6中以存储有在控制装置100中执行的各种程序及各种程序中所使用的各种参数的状态进行流通，外部存储器I/F 160从所述外部存储器6读出各种程序及各种参数。或者，也可以在控制装置100中安装从服务器等下载的程序或参数，所述服务器等是与控制装置100可进行通信地连接着。
再者，本实施方式的图像处理程序132也可以编入至其它程序的一部分而提供。并且，也可以取而代之，将通过执行图像处理程序132而提供的功能的一部分或全部作为专用的硬件电路而封装。
＜C.照明装置4的构造＞
图4是本实施方式的照明装置4的局部放大的示意图。照明装置4包含呈矩阵状配置的多个照明组件41。照明装置4可以使各照明组件41独立地点灯。所谓本实施方式中的照射图案，是指通过多个照明组件41之中的点灯的照明组件41而确定的图案。再者，在能够改变从各照明组件41照射的光的波长的照明装置4中，照射图案是根据多个照明组件41之中的点灯的照明组件41、以及从点灯的各照明组件41照射的光的波长来确定。在本实施方式中，将发光面40的浓淡图案称为照射图案。
各照明组件41例如为如下的构造：包含发光区域及透明区域，能够通过使发光区域发光，而使整个照明组件41发光。并且，通过具备透明区域，来确保透光性。
＜D.从照明装置4照射的照射图案的一例＞
图5是用于说明通过照明装置4而形成的照射图案的一例的图。控制装置100对照明装置4进行控制，以依次变更从照明装置4照射的光的照射图案，并且对相机8进行控制，以使得在各照射图案下拍摄工件W。控制装置100基于在多个照射图案的各个照射图案下所拍摄的多个图像数据进行工件W的外观检查。
照射图案L是针对相机8的拍摄视场81内的每个关注位置a而设定。用于外观检查的检查图像数据51是从在各照射图案L下分别拍摄而获得的多个图像数据52中生成。检查图像数据51内的与关注位置a相对应的位置a'的图像数据是从图像数据52中生成，所述图像数据52是在与关注位置a相对应而设定的照射图案L下所拍摄。
照射图案L是以使入射至关注位置a的光的入射角θ在所有关注位置a上实质上都相同的方式确定。例如，当以入射至包含关注位置a1的微小平面的光的入射角的范围为θ1～θ2的方式设定有照射图案L1时，照射图案L2是以入射至包含关注位置a2的微小平面的光的入射角的范围为θ1～θ2的方式设定。
＜E.检查图像数据51的生成方法的一例＞
图6是用于说明检查图像数据51的生成方法的一例的图。在图6的例中，设定了关注位置a1～关注位置an作为拍摄视场81内的关注位置a。照射图案L是针对每个关注位置a而设定。控制装置100获取在各照射图案L1～照射图案Ln下所拍摄的各图像数据52-1～图像数据52-n。
控制装置100从所获取的多个图像数据52-1～图像数据52-n中生成检查图像数据51。控制装置100基于图像数据52-1内的包含与关注位置a1相对应的位置a'1的部分图像数据53-1，生成检查图像数据51内的与关注位置a1相对应的位置a'1的图像数据。同样地，控制装置100基于部分图像数据53-2生成检查图像数据51内的与关注位置a2相对应的位置a'2的图像数据，并基于部分图像数据53-n生成检查图像数据51内的与关注位置an相对应的位置a'n的图像数据。
换言之，检查图像数据51是从部分图像数据53-1～部分图像数据53-n中生成。部分图像数据53中所含的像素既可以是一个像素，也可以是多个像素。部分图像数据53的范围是根据关注位置a与邻接于所述关注位置a的关注位置的距离来设定，是以可从部分图像数据53-1～部分图像数据53-n中生成一个检查图像数据51的方式设定。
此处，当部分图像数据53中所含的像素为多个像素时，可以减少拍摄次数及照射图案的变更次数。再者，也能够以使部分图像数据53彼此相互重合的方式来设定部分图像数据53的范围。在此情况下，重合的部分的像素信息是基于部分图像数据53而生成。
照射图案L1～照射图案Ln之中，一个照射图案是“第一照射图案”的一例，其它照射图案是“第二照射图案”的一例。并且，图像数据52-1～图像数据52-n及部分图像数据53-1～部分图像数据53-n之中，一个图像数据或部分图像数据是“第一图像数据”的一例，其它图像数据或部分图像数据是“第二图像数据”的一例。关注位置a1～关注位置an之中，一个关注位置是“第一关注位置”的一例，其它关注位置是“第二关注位置”的一例。
如上所述，针对每个关注位置确定照射图案，并利用在各照射图案下所拍摄的多个图像数据来生成用于图像测量的检查图像数据51。即，利用在各照射图案下所拍摄的多个图像数据来进行图像测量。因此，可以使用在与关注位置相应的照明环境下所拍摄的图像数据，从而能够提高图像测量的精度。
并且，在确定照射图案时，以使入射至包含关注位置a1的微小平面的光的入射角的范围为θ1～θ2的方式设定有照射图案L1时，照射图案L2是以使入射至包含关注位置a2的微小平面的光的入射角的范围为θ1～θ2的方式设定。因此，可以针对每个关注位置使照明环境实质上相同。
再者，在本实施方式中，控制装置100也可以不从相机8中获取用于生成表示整个拍摄视场81内的图像数据52的图像信号，而从相机8中只获取用于生成部分图像数据53的图像信号。即，控制装置100也可以设为只获取在各照射图案L1～照射图案Ln下所拍摄的部分图像数据53-1～部分图像数据53-n。以下，说明控制装置100从相机8中只读出部分图像数据53-1～部分图像数据53-n的功能。
＜F.部分读出功能＞
说明控制装置100从相机8中只读出与特定的图像数据相对应的图像信号的部分读出功能。图7是表示CMOS影像传感器82的示意图。相机8包括能够采用部分读出方式的CMOS影像传感器82、及读出CMOS影像传感器82的部分区域的读出电路84。CMOS影像传感器82包括多个光电二极管83。在CMOS影像传感器82的部分区域内，包含一个或多个光电二极管83。并且，所谓读出CMOS影像传感器82的部分区域，具体来说，是指从部分区域内所含的一个或多个光电二极管83读出图像信号。并且，光电二极管是“光接收元件”的一例，只要具有将光能转换成电荷的功能即可，并不限于光电二极管。
控制装置100是在照射有光的状态下使所有的光电二极管83接收光。然后，为了获取与所照射的光的照射图案相对应的部分图像数据53，进行如下的处理，即，从与部分图像数据相对应的光电二极管83读出图像信号。通过具备部分读出功能，与从所有光电二极管83读出图像信号的情况相比，能够缩短读出所需要的时间。
再者，作为具有部分读出功能的相机8，是举出具备CMOS影像传感器82的相机8为例，但只要具备读出电路84，便也可以是具备电荷耦合器件(Charge Coupled Device，CCD)影像传感器之类的其它影像传感器的相机8。
＜G.照射图案L的切换时序及图像信号的读出时序＞
当相机8可以在进行图像信号的读出期间开始下一次曝光时，控制装置100也可以同时进行从特定的光电二极管83读出图像信号的处理的至少一部分、与使光电二极管83接收光的处理的至少一部分。由此，可以在进行读出处理期间进行曝光，因此能够缩短从所有的光电二极管83获取图像信号所需要的时间。
具体来说，参照图8，说明在进行读出处理期间进行曝光的情况。图8是表示从光电二极管83读出图像信号的时序的时序图。设为从图8中的光电二极管83-1读出用于生成部分图像数据53-1的图像信号，从光电二极管83-2读出用于生成部分图像数据53-2的图像信号。并且，部分图像数据53-1设为与照射图案L1相对应，并与部分图像数据53-2相对应。控制装置100按照照射图案L1、照射图案L2、……照射图案Ln的顺序切换照射图案L。
图8所示的多根线(line)从图纸的上方起依次是表示从照明装置4照射的光的照射图案的线、表示是否已曝光的线、表示是否读出了图像信号的线。所谓已曝光，是指光电二极管83接收到光并蓄积着电荷。
控制装置100是在照射了照射图案L1的光的状态下，对光电二极管83照射光，在从开始曝光的时序t1经过预先设定的曝光时间到时序t2，开始从光电二极管83-1读出图像信号的处理。其次，将照射图案L1切换成照射图案L2，对光电二极管83照射光，在从开始曝光的时序t3经过预先设定的曝光时间到时序t5，开始从光电二极管83-2读出图像信号的处理。
再者，当使用包含不具有在图像信号的读出过程中开始曝光的功能的CMOS影像传感器或CCD影像传感器的相机8时，只要在读出处理结束后，开始曝光即可。具体来说，只要设为从光电二极管83-1读出图像信号的处理结束的时序t3起，开始曝光即可。
并且，当使用包含能够只使一部分光电二极管83蓄积电荷的影像传感器的相机8时，也可以设为使与所照射的光的图案相对应的光电二极管83蓄积电荷，并设为在所有的光电二极管83中蓄积有电荷的时序，从所有的光电二极管83读出图像信号。并且，也可以设为当使与所照射的光的图案相对应的光电二极管83中蓄积有电荷后，执行从所述光电二极管83读出图像信号的处理、切换成下一个照射图案的处理、以及使与下一个照射图案相对应的光电二极管83蓄积电荷的处理。
＜H.照射图案的确定方法＞
如上所述，照射图案L是以使入射至关注位置a的光的入射角θ在所有关注位置a上实质上都相同的方式确定。再者，本实施方式中的相机8是采用远心透镜(telecentriclens)的相机。为了便于说明，设为工件W呈长方体形状，照明装置4的发光面40与相机8的光轴彼此正交。
图9是用于说明每个关注位置的照射图案的确定方法的示意图。由于设为入射至关注位置a的光的入射角θ的范围在所有的关注位置a上实质上都相同，因此在本实施例中，以包含关注位置a的微小平面的垂线n为中心的照射图案L0在每个关注位置a上为共同的方式来确定照射图案L。
控制装置100确定与关注位置ar相对应的照射图案Lr。关注位置ar是在对相机8的拍摄视场81进行规定的相机坐标系(x，y)中定义，关注位置ar的相机坐标系内的位置是(xr，yr)。
包含关注位置ar的微小平面的垂线nr与发光面40的交点A是在对照射图案进行规定的照明坐标系(X，Y)中定义，交点A的照明坐标系内的位置是(Xr，Yr)。
在关注位置ar的相机坐标系内的位置(xr，yr)与交点A的照明坐标系内的位置(Xr，Yr)之间，例如，式(1)的关系成立。因此，可以从相机坐标系内的位置转换成照明坐标系内的位置。
数式1
系数A、系数B是校准参数，可以在固定相机8及照明装置4的位置后，基于相机8与照明装置4的位置关系通过计算而算出，或者，通过进行校准操作而求出。再者，当照明装置4的发光面40与相机8的光轴不正交时，只要取代式(1)，使用透视转换等已知的方法即可。
照射图案Lr是以如下的方式确定，即，以(Xr，Yr)为中心而制作照射图案L0。具体来说，当将表示成为基准的基准照射图案L0的形状的函数定义为L0(i，j)时，照射图案Lr可以如式(2)那样来表达。
数式2
Lr(X-Xr，Y-Yr)＝L0(i，j)…(2)
因此，关注位置ar上的照射图案Lr可以根据式(1)及式(2)来求出。相机坐标系(xr，yr)与CMOS影像传感器82中所含的多个光电二极管83处于对应关系。控制装置100为了获得用于生成包含相机坐标系(xr，yr)的部分图像数据53-r的图像信号，对照明装置4进行控制以照射照射图案Lr的光，并且对相机8进行控制以使光电二极管83-r曝光。这时，控制装置100能够根据相机坐标系(xr，yr)及基准照射图案L0，来确定对照明装置4指示的照射图案Lr。
再者，是设为采用远心透镜，但也可以是使用远心透镜以外的光学系统的相机8，在此情况下，相机视线与相机8的光轴L并非平行，因此优选的是进行后述校准来设定校准参数。
＜I.控制装置100的功能构成＞
图10是表示控制装置100的功能构成的一例的图。控制装置100包括控制部10及图像测量部20。CPU 110通过将图像处理程序132在主存储器120中加以展开并且执行，来发挥作为控制部10及图像测量部20的功能。
控制部10为了获得检查图像数据51，对相机8及照明装置4进行控制。图像测量部20基于通过控制部10而获得的检查图像数据51而进行预先设定的图像测量，并将测量结果输出至PLC 200。再者，测量结果的输出目的地不必为PLC 200，例如，也可以是与控制装置100可进行通信地连接着的移动终端或印刷机等。
控制部10包括检测部11、处理部12、照明控制部14、拍摄控制部16及生成部18。检测部11检测出从PLC 200通知了如下信号，所述信号表示已将工件W搬运至规定的检查位置。检测部11基于检测出来自PLC 200的信号的事实，对处理部12通知开始用于获得检查图像数据51的处理。
处理部12包括：设定部122，针对每个关注位置设定照射图案Lr；以及指示部124，对拍摄控制部16发送能够确定关注位置ar的信息，对照明控制部14发送能够确定与关注位置ar相对应的照射图案Lr的信息。
拍摄控制部16根据从指示部124发送的关于关注位置ar的信息，将与关注位置ar相对应的光电二极管83设为曝光状态，并且基于规定的曝光时间经过的事实，将已获取图像信号的事实通知给指示部124。并且，拍摄控制部16将与关注位置ar相对应的光电二极管83设为曝光状态之后，接着设为读出状态，读出图像信号，并发送至生成部18。
照明控制部14对照明装置4进行控制，以使得在从指示部124发送的照射图案Lr下照射光。
指示部124基于拍摄控制部16通知了已获取到图像信号的事实，对设定部122通知能够确定下一个关注位置ar的信息。设定部122设定与所通知的关注位置ar相对应的照射图案Lr，并且通知给指示部124。此处，设定部122是基于预先设定的基准照射图案L0及校准参数来设定照射图案Lr。换言之，设定部122是以使入射至各关注位置的光的入射角实质上相同的方式，来设定照射图案Lr。
指示部124对拍摄控制部16发送能够确定关注位置ar的信息，对照明控制部14发送能够确定与关注位置ar相对应的照射图案Lr的信息。指示部124继续进行处理，直到没有未完成图像信号的获取的关注位置ar为止。即指示部124依次变更照射图案Lr，并且伴随着依次变更，使相机8依次拍摄工件W。
生成部18基于从拍摄控制部16发送的图像信号，生成检查图像数据51，并对图像测量部20发送所生成的检查图像数据51。
此处，生成部18在部分图像数据53彼此相互重合时，即，在部分图像数据53-1中所含的像素之中的一部分像素与部分图像数据53-2中所含的像素之中的一部分像素为共同时，基于部分图像数据53-1及部分图像数据53-2，生成共同部分的像素信息，并生成检查图像数据51。检查图像数据51是用于图像测量的图像数据，因此共同部分的图像测量也可以说是基于部分图像数据53-1及部分图像数据53-2来进行。
如上所述，当部分图像数据53彼此相互重合时，可以通过基于多个部分图像数据53生成重合的部分的像素信息，来确保邻接的部分图像数据53之间的连续性。并且，由此，可以减小部分图像数据53与邻接的部分图像数据53之间所产生的间隙(gap)，从而可以防止由所述间隙引起的误测。
＜J.校准方法＞
说明求出相机坐标系(x，y)与照明坐标系(X，Y)的对应关系的校准方法的一例。关于相机坐标系(x，y)与照明坐标系(X，Y)的对应关系，换言之，也可以说是光电二极管83与照明组件41的对应关系。
控制装置100对照明装置4进行控制，以使得照明组件41逐个地依次点灯，并且对相机8进行控制，以使得对应于依次点灯进行拍摄。再者，当如果只使一个照明组件41点灯，则无法获得充分的光量，相机8无法生成适当的图像数据时，也可以将与照明组件41邻接的多个照明组件41设为一个照明组件的单位。这时，在检查位置上，设置被称为校准用的靶板(target plate)的基准对象物而进行校准。
控制装置100从对应于依次点灯而获得的多个图像数据中所含的多个像素中分别提取亮度值。控制装置100确定图像数据内的多个像素之中显示亮度值最高的亮度值的像素。像素与相机坐标系相对应。并且，照明组件41与照明坐标系相对应。控制装置100将像素所处的相机坐标系的坐标与照明组件41所处的照明坐标系的坐标相对应。控制装置100可以通过对所获取的所有图像数据进行相同的处理，来获得相机坐标系与照明坐标系的对应关系。也可以通过使相机坐标系与照明坐标系的对应关系线性近似，来算出校准参数。
当用于检查的相机8所具备的光学系统是远心透镜时，相机视线在工件W上的任意位置都与相机的光轴平行，因此基准对象物的材质也可以是检查对象的工件的材质以外的材质。另一方面，当用于检查的相机8所具备的光学系统不是远心透镜的通常的透镜时，相机视线会根据工件W上的位置而发生变化，因此基准对象物的材质优选的是选择与检查对象的工件的材质相同的材质。
图11是用于说明校准结果的一例的图。图11所示的示例是以具备远心透镜以外的透镜的相机8为对象进行校准的情况。当基准对象物是漫反射物体时，位于相机坐标位置B(x，y)的关注位置ab所对应的照明组件的位置位于关注位置ab的大致正上方。
另一方面，当基准对象物是镜面反射物体时，位于相机坐标位置B(x，y)的关注位置ab所对应的照明组件的位置成为与关注位置ab的正上方相偏离的位置。越是远离相机的光轴的位置，所述偏离量越大。
在具备远心透镜以外的透镜的相机8中，根据相机8与工件表面的关注点的位置关系，相机视线与相机的光轴不平行。并且，在镜面反射物体中，反射至包含关注位置ab的平面的光的反射角、与入射至包含关注位置ab的平面的光的入射角大致相等。因此，以如下的方式确定照明组件的位置：通过关注位置ab上的相机视线与关注位置ab上的法线相交而形成的角度、与从位于相机坐标位置B(x，y)的关注位置ab所对应的照明组件的位置照射的光的反射光的角度相一致。其结果为，与关注位置ab相对应的照明组件的位置成为与关注位置ab的正上方相偏离的位置。
再者，当与关注位置ab相对应的照明组件的位置成为与关注位置ab的正上方相偏离的位置时，也可以对基准照射图案L0进行修正，以使得以如下的照射图案进行照射，所述照射图案是与从关注位置ab的正上方照射时的照射图案不同的图案。图12是用于说明照射图案的修正的图。将与关注位置a1相对应的照明组件的位置设为位置A1，将与关注位置a2相对应的照明组件的位置设为位置A2。位置A1设为位于关注位置a1的大致正上方。位置A2设为位于与关注位置a2的大致正上方的位置A'2相偏离的位置。
并且，将以位置A为原点而规定的照射图案的形状设为基准照射图案L0，所述位置A是如位置A1与关注位置a1的位置关系，位置A位于关注位置a的大致正上方(发光面40的铅垂方向)时的位置A。
在此情况下，以如下的照射图案、即以位置A2为中心而制作基准照射图案L0的照射图案照射工件时入射至关注位置a2的光的照射角，不同于以如下的照射图案、即以位置A1为中心而制作基准照射图案L0的照射图案照射工件时入射至关注位置a1的光的照射角。
因此，根据照明组件的位置A与关注位置a的位置关系，对基准照射图案L0进行修正，而形成为基准照射图案L'0，可以使每个关注位置的照明条件相同。
具体来说，根据照明组件的位置A与关注位置a的位置关系，对基准照射图案L0进行修正，以使得以连结位置A与关注位置a的直线为中心而入射至关注位置a的光的图案在各关注位置上都相等。再者，还可以对从照明装置4照射的光的强度也进行修正，以使得以基准照射图案L0照射至关注位置a1时入射至关注位置a1的光的强度、与以基准照射图案L'0照射至关注位置a2时入射至关注位置a2的光的强度实质上相等。
再者，是将工件W的形状设为长方体，但是工件W的形状并不限于此。例如，也可以是包括平面部分及锥形部分的工件W。例如，当进行校准时，也可以使用检查对象的工件作为基准对象物。
并且，当不使用工件作为基准对象物时，也可以根据工件的形状来修正照明组件的位置。图13是用于说明照射图案的其它修正方法的图。例如，在图13所示的示例中，是设为进行校准时利用平板状的基准对象物，与关注位置a1相对应的照明组件的位置是位置A1。当检查对象的工件W中的包含与关注位置a1相对应的关注位置a1的平面与发光面40不平行时，也可以根据平面的倾斜度θ及关注位置a1与照明装置4的距离，来修正照明组件的位置，将照明组件的位置设为位置A'1。
＜K.变形例＞
a.照射图案
在本实施方式中，是举出入射至各关注位置a的光之中、以任意入射角θ入射的光的波长都共同的基准照射图案L0为例。照射至各关注位置a的光的照射图案并不限于此，而可以是任意的照射图案。
图14是表示基准照射图案L0的第一变形例的图。例如，也可以将以函数L0(i，j)的原点为中心而照射的光的波长呈同心圆状不断变化的图案设为基准照射图案，所述函数L0(i，j)是表示基准照射图案L0的形状的函数。
通过以图14所示的基准照射图案L0照射工件W，可以根据距关注位置a所对应的工件W的基准位置的距离，使所照射的光的颜色不同，从而能够进行被称为所谓的彩色高亮(color highlight)方式的检查。光的颜色是根据光的波长或光的波长分布来规定。所照射的光的颜色可以通过使所照射的光的波长或光的波长分布不同而改变。
所谓彩色高亮方式，是指如下方法：通过以各不相同的入射角照射颜色不同的光，利用相机8拍摄各种颜色的反射光，而将工件W的三维形状形成为二维的色相信息来进行检测。
即，可以通过根据距关注位置a所对应的工件W的基准位置的距离，使所照射的光的颜色不同，而将照射光的区域的三维形状形成为二维的色相信息来进行检测。
再者，即便当使用图14所示的基准照射图案L0时，也可以根据关注位置a与关注位置a所对应的照明组件的位置A的位置关系，将基准照射图案L0修正为如图15所示的照射图案L'0。图15是表示对第一变形例的基准照射图案进行了修正的照射图案的图。
并且，也可以设为对各关注位置a，从不同的照射方向照射光，并针对每个关注位置a获取多个图像数据。如此，可以按照所谓的照度差立体法，来测量包含关注位置a的区域的三维形状。
图16是表示基准照射图案L0的第二变形例的图。例如，也可以设为将一个基准照射图案L0，以使照射方向不同的方式分解成多个基准照射图案L1～基准照射图案L4，在各基准照射图案L1～基准照射图案L4下，获取与关注位置a相对应的部分图像数据53。还可以通过对所获取的多个部分图像数据53进行合成，而生成一个部分图像数据53。
b.与工件的种类相对应的照射图案
在本实施方式中，是举出利用平台300，只搬运相同种类的工件W的示例。例如，也可以设为利用平台300依次搬运多个工件W。
在此情况下，控制装置100也可以设为对应于工件W的种类来设定照射图案，在所设定的照射图案下拍摄工件W。图17是表示变形例中的图像处理系统1的一例的示意图。本实施方式的控制装置100也可以在存储部的一例即硬盘130中，存储针对每个工件的种类(类别)而设定的照射参数集。照射参数集包括与照明条件、例如检查内容或/及工件的种类相对应的基准照射图案L0、针对每个关注位置a而设定的相对于包含所述关注位置a的微小平面的垂线、及校准参数。
设定部122对应于关于对象物的类别的信息的输入，选择与所输入的对象物的类别相对应的照射参数集，并基于所选择的照射参数集设定照明条件。关于对象物的类别的信息是用于确定工件W的类别的识别信息，例如包括产品编号、针对每个产品种类而设定的编号等。
在图17所示的示例中，关于对象物的类别的信息是从PLC 200发送，并通过接收部112接收关于对象物的类别的信息而输入。PLC 200包括例如能够确定工件W的种类的特定部210。特定部210例如是基于从读取部400发送的识别信息来确定工件W的种类，所述读取部400读取设置于工件W中的用于确定工件W的种类的识别信息。读取部400例如是读取射频标识(Radio frequency identification，RFID)等标记(tag)或二维代码等的读取器(reader)。
再者，控制装置100也可以具有确定关于对象物的信息的特定部210的功能。在此情况下，关于对象物的类别的信息是从特定部210输入的。并且，当控制装置100包括特定部210时，特定部210也可以基于经由PLC 200而发送的识别信息来确定工件W的种类。并且，特定部210例如也可以基于来自相机8的信息来确定工件W的种类。具体来说，特定部210也可以基于工件W的外观图像，通过图案匹配或设置于工件W中的二维代码等来确定工件W的种类。
如上所述，控制装置100可以设定与工件W的种类相应的照明条件，因此无论搬运存储部中所存储的照射参数集所对应的工件之中的哪个工件，都可以在与各工件相应的照明条件下进行检查。因此，可以提供一种能够应用于任意工件的通用性高的图像处理系统。
设定部122也可以还包括确定工件W的位置的位置特定部122a。并且，还可以在照射参数集中包含工件W的计算机辅助设计(computer-aided design，CAD)数据。位置特定部122a也可以使相机8拍摄工件W而获取图像数据，并根据所获取的图像数据及照射参数集中所含的工件W的CAD数据，确定图像数据内的工件的位置。
设定部122可以根据图像数据内的工件的位置及CAD数据，确定图像数据内的各位置上的工件表面的倾斜。基于图像数据内的各位置上的工件表面的倾斜，对基准照射图案L0进行修正而求出基准照射图案L'0。由此，设定部122可以针对图像数据内的每个位置设定基准照射图案。
设定部122基于校准参数、针对每个位置而设定的基准照射图案、及各位置的相机坐标系的坐标位置，设定各位置上的照射图案Lr。
＜L.附注＞
如上所述，本实施方式包含如下所述的揭示。
(构成1)
一种图像处理系统1，其利用拍摄对象物W而获得的图像数据51对所述对象物进行图像测量，所述图像处理系统1包括：
拍摄部8，拍摄所述对象物W；
透光性的发光部4，配置在从所述拍摄部8到所述对象物W之间，并且具有发光面40，所述发光面40在与从所述拍摄部8向所述对象物W的光轴不同的方向上具有宽度；以及
控制部100，对所述拍摄部8及所述发光部4进行控制；
所述控制部100是
从所述发光部4对所述对象物W照射第一照射图案L1的光，并且使所述拍摄部8拍摄所述对象物W而获取第一图像数据52-1、53-1，
从所述发光部4对所述对象物W照射与所述第一照射图案L1不同的第二照射图案L2的光，并且使所述拍摄部8拍摄所述对象物W而获取第二图像数据52-2、53-2。
(构成2)
根据构成1所述的图像处理系统，其中
所述控制部100利用至少包含所述第一图像数据52-1、53-1及所述第二图像数据52-2、53-2的多个图像数据，执行针对所述对象物W的图像测量处理20，
所述第一图像数据52-1、53-1与所述拍摄部8的拍摄视场81内的第一关注位置a1相对应，
所述第二图像数据52-2、53-2与所述拍摄视场81内的第二关注位置a2相对应，
所述第一照射图案L1是根据所述第一关注位置a1而确定，
所述第二照射图案L2是根据所述第二关注位置a2而确定。
(构成3)
根据构成2所述的图像处理系统，其中以使从所述发光部4向所述第一关注位置a1照射的光的入射方向θ与从所述发光部4向所述第二关注位置a2照射的光的入射方向θ实质上相同的方式，来确定所述第一照射图案及所述第二照射图案122。
(构成4)
根据构成2或构成3所述的图像处理系统，其中所述控制部100依次变更从所述发光部4照射至所述对象物W的光的照射图案，并且对应于所述照射图案的依次变更，使所述拍摄部依次拍摄所述对象物124。
(构成5)
根据构成2～构成4中任一项所述的图像处理系统，其中
所述拍摄部包括读出电路84，所述读出电路84从多个光接收元件83之中的一部分光接收元件读出所述图像信号，所述多个光接收元件83将拍摄视场81内所含的光转换成图像信号，
所述控制部100是
在从所述发光部4照射所述第一照射图案L1的光的状态下，至少使所述拍摄部8中所含的多个光接收元件83之中与所述第一关注位置a1相对应的第一光接收元件83-1曝光，接着，从所述多个光接收元件之中至少所述第一光接收元件83-1读出信号16，
在从所述发光部4照射所述第二照射图案L2的光的状态下，至少使所述多个光接收元件83之中与所述第二关注位置a2相对应的第二光接收元件83-2曝光，接着，从所述多个光接收元件之中至少所述第二光接收元件83-2读出信号16。
(构成6)
根据构成5所述的图像处理系统，其中从所述第一光接收元件83-1读出图像信号的处理的至少一部分、与在从所述发光部照射所述第二照射图案的光的状态下使所述第二光接收元件83-2曝光的处理的至少一部分是同时执行。
(构成7)
根据构成2～构成6中任一项所述的图像处理系统，其中
所述第一图像数据53-1包含与所述第一关注位置相对应的一个像素及与所述像素邻接的一个或多个像素，
所述第二图像数据53-2包含与所述第二关注位置相对应的一个像素及与所述像素邻接的一个或多个像素。
(构成8)
根据构成7所述的图像处理系统，其中
所述第一图像数据53-1中所含的多个像素与所述第二图像数据53-2中所含的多个像素之中，至少一部分像素为共同，
所述控制部100、18、20基于所述第一图像数据及所述第二图像数据，输出与所述共同的像素相对应的所述拍摄部的位置上的图像测量结果。
(构成9)
根据构成2～构成8中任一项所述的图像处理系统，其中当照射与各关注位置相对应的照射图案时，所述控制部根据从所述发光部的发光面对应所述关注位置的基准位置的距离，使所照射的光的颜色不同。
(构成10)
根据构成1所述的图像处理系统，其中
包含所述照射图案的照明条件是根据对象物的类别来确定，
所述图像处理系统还包括：
存储部130，存储多个针对所述对象物的每个类别而设定的照明条件；以及
设定部122，根据关于所述对象物的类别的信息的输入，设定与所述对象物的类别相对应的照明条件。

Claims (10)

1.一种图像处理系统，其利用拍摄对象物而获得的图像数据对所述对象物进行图像测量，所述图像处理系统的特征在于，包括：
拍摄部，拍摄所述对象物；
透光性的发光部，配置在从所述拍摄部到所述对象物之间，并且具有发光面，所述发光面在与从所述拍摄部向所述对象物的光轴不同的方向上具有宽度；以及
控制部，对所述拍摄部及所述发光部进行控制；
所述控制部是
从所述发光部对所述对象物照射第一照射图案的光，并且使所述拍摄部拍摄所述对象物而获取第一图像数据，
从所述发光部对所述对象物照射与所述第一照射图案不同的第二照射图案的光，并且使所述拍摄部拍摄所述对象物而获取第二图像数据。
2.根据权利要求1所述的图像处理系统，其特征在于，
所述控制部利用至少包含所述第一图像数据及所述第二图像数据的多个图像数据，执行针对所述对象物的图像测量处理，
所述第一图像数据与所述拍摄部的拍摄视场内的第一关注位置相对应，
所述第二图像数据与所述拍摄视场内的第二关注位置相对应，
所述第一照射图案是根据所述第一关注位置而确定，
所述第二照射图案是根据所述第二关注位置而确定。
3.根据权利要求2所述的图像处理系统，其特征在于，以使从所述发光部向所述第一关注位置照射的光的入射方向与从所述发光部向所述第二关注位置照射的光的入射方向实质上相同的方式，来确定所述第一照射图案及所述第二照射图案。
4.根据权利要求2或3所述的图像处理系统，其特征在于，所述控制部依次变更从所述发光部照射至所述对象物的光的照射图案，并且对应于所述照射图案的依次变更，使所述拍摄部依次拍摄所述对象物。
5.根据权利要求2或3所述的图像处理系统，其特征在于，
所述拍摄部包括读出电路，所述读出电路从多个光接收元件之中的一部分光接收元件读出所述图像信号，所述多个光接收元件将拍摄视场内所含的光转换成图像信号，
所述控制部是
在从所述发光部照射所述第一照射图案的光的状态下，至少使所述拍摄部中所含的多个光接收元件之中与所述第一关注位置相对应的第一光接收元件曝光，接着，从所述多个光接收元件之中至少所述第一光接收元件读出图像信号，
在从所述发光部照射所述第二照射图案的光的状态下，至少使所述多个光接收元件之中与所述第二关注位置相对应的第二光接收元件曝光，接着，从所述多个光接收元件之中至少所述第二光接收元件读出图像信号。
6.根据权利要求5所述的图像处理系统，其特征在于，从所述第一光接收元件读出图像信号的处理的至少一部分、与在从所述发光部照射所述第二照射图案的光的状态下使所述第二光接收元件曝光的处理的至少一部分是同时执行。
7.根据权利要求2或3所述的图像处理系统，其特征在于，
所述第一图像数据包含与所述第一关注位置相对应的一个像素及与所述像素邻接的一个或多个像素，
所述第二图像数据包含与所述第二关注位置相对应的一个像素及与所述像素邻接的一个或多个像素。
8.根据权利要求7所述的图像处理系统，其特征在于，
所述第一图像数据中所含的多个像素及所述第二图像数据中所含的多个像素之中，至少一部分像素为共同，
所述控制部基于所述第一图像数据及所述第二图像数据，输出与所述共同的像素相对应的所述拍摄部的位置上的图像测量结果。
9.根据权利要求2或3所述的图像处理系统，其特征在于，当照射与各关注位置相对应的照射图案时，所述控制部根据从所述发光部的发光面对应所述关注位置的基准位置的距离，使所照射的光的颜色不同。
10.根据权利要求1所述的图像处理系统，其特征在于，
包含所述照射图案的照明条件是根据对象物的类别来确定，
所述图像处理系统还包括：
存储部，存储多个针对所述对象物的每个类别而设定的照明条件；以及
设定部，根据关于所述对象物的类别的信息的输入，设定与所述对象物的类别相对应的照明条件。
CN201811194959.8A 2018-01-10 2018-10-15 图像处理系统 Active CN110033429B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018002091A JP6904263B2 (ja) 2018-01-10 2018-01-10 画像処理システム
JP2018-002091 2018-01-10

Publications (2)

Publication Number Publication Date
CN110033429A true CN110033429A (zh) 2019-07-19
CN110033429B CN110033429B (zh) 2023-05-23

Family

ID=63878462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811194959.8A Active CN110033429B (zh) 2018-01-10 2018-10-15 图像处理系统

Country Status (4)

Country Link
US (1) US10839538B2 (zh)
EP (1) EP3511772B1 (zh)
JP (1) JP6904263B2 (zh)
CN (1) CN110033429B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021045764A1 (en) * 2019-09-05 2021-03-11 Hewlett-Packard Development Company, L.P. Determine relative positions between parts of system
TW202119019A (zh) * 2019-11-05 2021-05-16 華碩電腦股份有限公司 外觀取像裝置及包含其的外觀檢測裝置
JP7424074B2 (ja) * 2020-01-28 2024-01-30 オムロン株式会社 三次元形状計測装置、三次元形状計測方法及びプログラム
JP7459525B2 (ja) * 2020-01-28 2024-04-02 オムロン株式会社 三次元形状計測装置、三次元形状計測方法及びプログラム
JP2022054938A (ja) * 2020-09-28 2022-04-07 株式会社リコー 検査装置、検査システム、検査方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101791228A (zh) * 2009-02-04 2010-08-04 株式会社东芝 医用图像数据处理装置和医用图像数据处理方法
US20120235036A1 (en) * 2011-03-15 2012-09-20 Ebara Corporation Inspection device
CN102780873A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置和方法
CN103124515A (zh) * 2010-09-30 2013-05-29 奥林巴斯医疗株式会社 摄像装置
US20130335256A1 (en) * 2012-05-09 2013-12-19 Duke University Metamaterial devices and methods of using the same
US20130342677A1 (en) * 2011-03-10 2013-12-26 Mirtec Co. Ltd Vision testing device using multigrid pattern
US20140307100A1 (en) * 2013-04-12 2014-10-16 Kari MYLLYKOSKI Orthographic image capture system
US20140340639A1 (en) * 2013-05-06 2014-11-20 Langbourne Rust Research Inc. Method and system for determining the relative gaze-attracting power of visual stimuli
CN105120146A (zh) * 2015-08-05 2015-12-02 普宙飞行器科技（深圳）有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
JP2015232484A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106569763A (zh) * 2016-10-19 2017-04-19 华为机器有限公司 一种图像显示方法及终端
JP2019002762A (ja) * 2017-06-14 2019-01-10 キヤノン株式会社 画像処理装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091049A (ja) * 2003-09-12 2005-04-07 Ccs Inc 画像処理用光照射装置及び画像処理用光照射方法
JP4778755B2 (ja) * 2005-09-09 2011-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法及びこれを用いた装置
JP2007206797A (ja) 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
JP2008298623A (ja) * 2007-05-31 2008-12-11 Hitachi High-Technologies Corp 検査装置および検査方法
JP4910897B2 (ja) * 2007-06-13 2012-04-04 オムロン株式会社 はんだフィレットの検査方法および基板外観検査装置
JP6602690B2 (ja) * 2016-02-23 2019-11-06 株式会社Ｆｕｊｉ 部品装着機
JP2019082452A (ja) * 2017-10-31 2019-05-30 キヤノン株式会社 画像生成方法、画像生成装置、及びそれらを用いた欠陥判定方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101791228A (zh) * 2009-02-04 2010-08-04 株式会社东芝 医用图像数据处理装置和医用图像数据处理方法
CN103124515A (zh) * 2010-09-30 2013-05-29 奥林巴斯医疗株式会社 摄像装置
US20130342677A1 (en) * 2011-03-10 2013-12-26 Mirtec Co. Ltd Vision testing device using multigrid pattern
US20120235036A1 (en) * 2011-03-15 2012-09-20 Ebara Corporation Inspection device
CN102780873A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置和方法
US20130335256A1 (en) * 2012-05-09 2013-12-19 Duke University Metamaterial devices and methods of using the same
US20140307100A1 (en) * 2013-04-12 2014-10-16 Kari MYLLYKOSKI Orthographic image capture system
US20140340639A1 (en) * 2013-05-06 2014-11-20 Langbourne Rust Research Inc. Method and system for determining the relative gaze-attracting power of visual stimuli
JP2015232484A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN105120146A (zh) * 2015-08-05 2015-12-02 普宙飞行器科技（深圳）有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
CN106569763A (zh) * 2016-10-19 2017-04-19 华为机器有限公司 一种图像显示方法及终端
JP2019002762A (ja) * 2017-06-14 2019-01-10 キヤノン株式会社 画像処理装置及び方法

Also Published As

Publication number Publication date
JP6904263B2 (ja) 2021-07-14
US20190213748A1 (en) 2019-07-11
EP3511772B1 (en) 2021-11-24
JP2019120643A (ja) 2019-07-22
CN110033429B (zh) 2023-05-23
EP3511772A1 (en) 2019-07-17
US10839538B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
CN110033429A (zh) 图像处理系统
US9423245B2 (en) Arrangement for optical measurements and related method
CN102439708B (zh) 检查基板的接合结构的方法和接合结构检验设备
TWI658524B (zh) 檢測晶圓之系統及方法
KR20130033401A (ko) 웨이퍼 검사 시스템 및 방법
CN103069436B (zh) 照明系统
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
JP6462823B2 (ja) 画像検査装置
KR20100083745A (ko) 웨이퍼 검사 시스템 및 방법
JP2020169958A (ja) 画像検査システム及び画像検査方法
CN103486979A (zh) 混合系统
JP2015145797A (ja) 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP2017122614A (ja) 画像生成方法及び検査装置
CN109945794A (zh) 图像处理系统、计算机可读记录介质及图像处理方法
US11326874B2 (en) Structured light projection optical system for obtaining 3D data of object surface
US10909702B2 (en) Inspection device
JP7231462B2 (ja) 画像検査システム及び画像検査方法
KR101996023B1 (ko) 조명 시스템
JP2015145796A (ja) 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
Munaro et al. Efficient completeness inspection using real-time 3D color reconstruction with a dual-laser triangulation system
Sayanca et al. Indirect light intensity distribution measurement using image merging
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
CN105258655A (zh) 一种重构目标表面的三维轮廓的装置和方法
KR20150018977A (ko) 3차원 표면 측정 장치 및 방법
JP7306858B2 (ja) 画像検査システム及び画像検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant