CN109931881A - 图像处理系统、计算机可读记录介质及图像处理方法 - Google Patents

图像处理系统、计算机可读记录介质及图像处理方法 Download PDF

Info

Publication number
CN109931881A
CN109931881A CN201811185741.6A CN201811185741A CN109931881A CN 109931881 A CN109931881 A CN 109931881A CN 201811185741 A CN201811185741 A CN 201811185741A CN 109931881 A CN109931881 A CN 109931881A
Authority
CN
China
Prior art keywords
image data
image
image processing
parameter set
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811185741.6A
Other languages
English (en)
Other versions
CN109931881B (zh
Inventor
加藤豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109931881A publication Critical patent/CN109931881A/zh
Application granted granted Critical
Publication of CN109931881B publication Critical patent/CN109931881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/121—Correction signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理系统、计算机可读记录介质及图像处理方法。本发明的目的在于根据图像数据内的位置在适当的条件下进行图像测量。图像处理装置获取多个图像数据，所述多个图像数据是在使照明装置中所含的多个发光部的发光状态不同的各个状态下进行拍摄而获得。图像处理装置基于所获取的多个图像数据、以及与图像数据内的位置相关联而规定的生成条件，生成用于图像测量的图像数据。

Description

图像处理系统、计算机可读记录介质及图像处理方法
技术领域
本发明涉及一种图像处理系统、计算机可读记录介质及图像处理方法。
背景技术
在工厂自动化(Factory Automation，FA)领域等之中，是使用如下的图像处理技术：在来自照明装置的光的照明下，拍摄对象物(以下也称为“工件(work)”)，根据所生成的图像数据获取工件的相关信息。
作为在图像处理技术领域内所使用的照明装置，已开发出多种多样的照明装置。例如，在日本专利特开2015-232487(专利文献1)中，揭示了具备照明方向不同的多个照明灯的照明装置。
现有技术文献
专利文献
专利文献1日本专利特开2015-232487号公报
发明内容
发明所要解决的问题
在包含多个照明灯的照明装置中，根据对象物的表面形状，从一个照明灯照射的光的入射角在每个表面区域内都不同。由此，可认为，即使在对相同的对象物从相同的照明灯照射光的情况下，在每个表面区域内，基于所述光而测量的图像测量的精度也不同。例如，可认为，即使在相同的照明条件下，即便以高精度获得一个区域的表面形状，其它区域的表面形状的测量精度也会降低。
发明人发现，即便是相同的对象物，最佳的照明条件在对象物的每个表面区域内也会不同，因此必须根据与表面区域相对应的图像数据内的位置在适当的条件下进行图像测量。
本发明的目的在于提供一种如上所述，能够根据图像数据内的位置在适当的条件下进行图像测量的图像处理系统、图像处理程序及图像处理方法。
解决问题的技术手段
根据本公开的一例，提供一种进行图像测量的图像处理系统。图像处理系统包括：拍摄部，拍摄对象物而生成图像数据；照明部，配置有多个用于将照明光照射至对象物的发光部；以及生成部，获取多个图像数据，并且基于所获取的所述多个图像数据、及与图像数据内的位置相关联而规定的生成条件，生成用于图像测量的图像数据，所述多个图像数据是通过在使多个发光部具有多个不同的发光状态的各个状态下拍摄部拍摄对象物而生成。
根据此公开，基于与图像数据内的位置相关联而规定的生成条件，生成用于图像测量的图像数据，所以能够在与图像数据内的位置相对应的适当的条件下进行图像测量。
在所述公开中，生成条件也可以针对图像数据内的包含邻接的多个像素的每个部分区域来规定。生成部也可以针对每个部分区域生成与所述部分区域相对应的部分区域图像数据，作为用于图像测量的图像数据。
根据此公开，针对包含多个像素的每个部分区域生成部分区域图像数据，所以与针对一个像素而生成的情况相比使处理减轻。
在所述公开中，生成部也可以通过将针对每个部分区域而生成的多个部分区域图像数据合成为一个图像数据，而生成用于图像测量的图像数据。
根据此公开，与针对每个部分区域图像数据进行图像测量的情况相比，可以使处理减轻。
在所述公开中，生成部可以包括：控制部，对照明部进行控制，以依次使多个发光部之中的一个发光部发光，并且对拍摄部进行控制，以使得对应于发光部的依次发光而拍摄对象物；以及合成处理部，从拍摄部所生成的多个图像数据中分别提取与生成对象的部分区域相对应的部分图像数据，并且按照第一参数集(parameter set)，对所提取的多个部分图像数据进行合成，借此生成部分区域图像数据，所述第一参数集是针对每个部分区域规定了来自各发光部的影响的参数集。
根据此公开，能够针对每个部分区域考虑来自各发光部的影响而生成部分区域图像数据，所以能够针对每个部分区域生成适当的部分区域图像数据，从而能够针对每个部分区域在适当的条件下进行图像测量。
在所述公开中，生成部也可以还包括：位置特定部，根据图像数据确定对象物的配置状况；以及参数修正部，对位置特定部所确定的对象物的配置状况、与获取第一参数集时的基准对象物的配置状况进行比较，求出所述对象物的移动量，并且基于所述移动量对第一参数集进行修正。
根据此公开，即使在作为测量对象的对象物的配置状况与获取第一参数集时的对象物的配置状况不同时，也能够根据其变化对第一参数集进行修正。
在所述公开中，生成部也可以包括：控制部，按照第二参数集对照明部进行控制，并且在各个发光状态下对拍摄部进行控制以拍摄对象物，所述第二参数集是规定多个发光状态的参数集；以及
生成处理部，从拍摄部所生成的多个图像数据之中的至少一个图像数据，提取与生成对象的部分区域相对应的部分图像数据，并且基于所提取的部分图像数据生成部分区域图像数据。
根据此公开，能够根据部分区域，在适当的发光状态下进行图像测量。
在所述公开中，生成部也可以还包括：位置特定部，根据图像数据确定对象物的配置状况；以及参数修正部，对位置特定部所确定的对象物的配置状况、与获取第二参数集时的基准对象物的配置状况进行比较，求出所述对象物的移动量，并且基于所述移动量对第二参数集进行修正。
根据此公开，即使在作为测量对象的对象物的配置状况与获取第二参数集时的对象物的配置状况不同时，也能够根据其变化对第二参数集进行修正。
在所述公开中，第一参数集中所含的参数也可以包含负值。
根据此公开，能够排除来自规定的发光部的影响，而生成部分区域图像数据。
在所述公开中，部分区域也可以基于对象物的形状来规定。根据此公开，能够在与对象物的表面相对应的照明条件下进行图像测量。
在所述公开中，多个发光部可以预订的位置为基准有规则地设置于照明部。
根据此公开，当对第一参数或第二参数进行修正时，由于发光部有规则地排列着，所以能够按照规定的规则对这些参数进行修正。
根据本公开的另一例，提供一种包括图像处理程序的计算机可读记录介质，用于进行在计算机中执行的图像测量，所述计算机是对拍摄对象物而输出图像数据的拍摄装置、以及配置有多个用于对所述对象物照射照明光的发光部的照明装置进行控制。图像处理程序使计算机执行如下的功能：获取多个图像数据，所述多个图像数据是通过在使多个发光部具有多个不同的发光状态的各个状态下拍摄装置拍摄对象物而生成；以及基于所获取的多个图像数据、及与图像数据内的位置相关联而规定的生成条件，生成用于图像测量的图像数据。
根据此公开，基于与图像数据内的位置相对应的生成条件，生成用于图像测量的图像数据，因此能够在与图像数据内的位置相对应的适当的条件下进行图像测量。
根据本公开的另一例，提供一种进行图像测量的图像处理方法。图像处理方法是使多个发光部具有多个不同的发光状态，在多个不同的发光状态的各个状态下拍摄对象物而获取多个图像数据，并基于所获取的多个图像数据、及与图像数据内的位置相关联而规定的生成条件，生成用于图像测量的图像数据。
根据此公开，基于与图像数据内的位置相对应的生成条件，生成用于图像测量的图像数据，因此能够在与图像数据内的位置相对应的适当的条件下进行图像测量。
发明的效果
能够根据图像数据内的位置在适当的条件下进行图像测量。
本公开的以上所述及其它的目的、特征、方面及优点将通过与附图相关联来理解的关于本发明的如下详细说明来明确。
附图说明
图1是示意性地表示本实施方式的图像处理系统1的应用场景的图。
图2是表示本发明的实施方式的图像处理系统的基本结构的示意图。
图3是表示照明装置的结构的图。
图4是表示图像处理装置的硬件结构的示意图。
图5是用于说明第一具体例中的图像测量的流程的图。
图6(A)～图6(C)是用于说明第一具体例中的第一参数集的位置修正的图。
图7是表示第一具体例中的图像测量所使用的图像处理装置的功能结构的图。
图8是用于说明第一具体例中的第一参数集的确定方法的图。
图9是表示第一具体例中的确定第一参数集时的图像处理装置的功能结构的图。
图10是用于说明第二具体例中的图像测量的流程的图。
图11的(1)及图11的(2)是用于说明第二具体例中的第二参数集的位置修正的图。
图12是表示第二具体例中的图像测量所使用的图像处理装置的功能结构的图。
图13是用于说明第二具体例中的第二参数集的确定方法的图。
图14是表示第二具体例中的确定第二参数时的图像处理装置的功能结构的图。
图15是用于说明部分区域ri的规定方法的变形例的图。
符号的说明
1：图像处理系统
4：照明装置
6：外部存储器
8：相机
10：生成部
12：控制部
14：合成处理部
16：修正部
20：图像测量部
41：发光部
48：开口部
81：图像数据
82：部分图像数据
100：图像处理装置
110：CPU
120：主存储器
122：照明控制部
124：拍摄控制部
130：硬盘
132：图像处理程序
134：设定程序
136：照明参数DB
138：设定用参数DB
140：照明I/F
142：提取部
144：生成部
160：外部存储器I/F
162：位置特定部
164：参数修正部
180：相机I/F
190：总线
ri：部分区域
Ri：部分区域图像数据
W：工件
具体实施方式
一边参照附图，一边对本发明的实施方式进行详细说明。再者，对图中的相同部分或相当部分标注相同符号，并且不对其进行重复说明。
§1应用例
首先，参照图1，对应用本发明的场景的一例进行说明。图1是示意性地表示本实施方式的图像处理系统1的应用场景的图。
图像处理系统1包括拍摄部的一例(即相机8)、照明部的一例(即照明装置4)、以及生成图像数据R的生成部10，所述图像数据R是用于针对对象物(即工件W)的图像测量。生成部10例如设置于具有按照通用的计算机体系结构(computer architecture)的构造的图像处理装置100上。
相机8是以在拍摄视场内包含工件W的至少一部分的方式而配置。在照明装置4中，配置有多个用于对工件W照射照明光的发光部41。一个发光部41可以包含一个光源，或者也可以包含多个光源。并且，一个发光部41中所含的光源的种类也可以是一种，此外还可以是多种。
生成部10获取多个图像数据81，所述多个图像数据81是按照照明条件，在使照明装置4中所含的多个发光部41具有多个不同的发光状态的各个状态下进行拍摄而获得。在这里，所谓发光状态不同，是指从各发光部41照射的光的亮度及波长之中的至少任一者不同。例如，如果从一个发光部41照射的光的亮度及波长之中的至少任一者不同，那么即使从所述一个发光部41以外的发光部41照射的光的亮度及波长都相等，也可以说发光状态不同。
在图1的示例中，作为照明条件，规定了发光状态1～发光状态m。生成部10获取在发光状态1～发光状态m的各个状态下所拍摄的图像数据81-1～图像数据81-m。再者，为了便于说明，以下，在不需要对图像数据81-1～图像数据81-m分别进行区分时，称为图像数据81。
生成部10基于与图像数据81内的位置相关联而规定的生成条件以及所获取的多个图像数据81-1～图像数据81-m，生成用于图像测量的图像数据R。
所谓“与图像数据内的位置相关联而规定”，包括通过图像数据内的像素来规定的情况、以及与在图像数据内所反映的工件W的位置相关联而规定的情况。
在图1的示例中，规定了(x，y)作为图像数据81的位置，并针对各位置分别设定了条件。即，作为生成条件，设定了针对每个图像数据81的位置(x，y)而规定的条件P。
例如，在图1的示例中，生成部10根据图像数据81-1～图像数据81-m，基于针对每个图像数据81的位置(x，y)而规定的条件P，生成图像数据R。
在这里，针对每个图像数据81的位置(x，y)而规定的条件P是包含如下方法的条件：从所获取的多个图像数据81之中选择一个或多个图像数据81；以及根据所选择的一个或多个图像数据81生成相对应的位置的图像。
在图像处理系统1中，生成部10基于按照照明条件在不同的发光状态的各个状态下所拍摄的多个图像数据81、以及与图像数据81的位置相对应而规定的生成条件，生成用于图像测量的图像数据R。因此，在图像处理系统1中，能够利用针对每个图像数据81的位置在适当条件下所生成的图像数据来进行图像测量，所以能够进行高精度的图像测量。
并且，在图像处理系统1中，能够针对一个工件W，获取在不同的发光状态的各个状态下所拍摄的多个图像数据81，因此能够通过按照照度差立体法的运算而求出工件W的表面的法线矢量。
再者，以下，为了便于说明，设为如下情况来进行说明：针对图像数据81内的包含邻接的多个像素的部分区域ri内所含的多个像素的各个像素，规定了共同的生成条件。
§2具体例
以下，作为本发明的更具体的一个应用例，对本实施方式的图像处理系统1的更详细的结构及处理进行说明。
A.图像处理系统1的基本结构
图2是表示本发明的实施方式的图像处理系统1的基本结构的示意图。图像处理系统1包括图像处理装置100、相机8及照明装置4，作为主要的结构要素。图像处理装置100、相机8与照明装置4是相互可进行数据通信地连接着。
照明装置4是以检查对象物(以下也称为“工件W”)的至少一部分位于照明装置4的照射区域的方式而配置。再者，以如下的方式来配置照明装置4：当利用带式输送机(beltconveyor)之类的搬运装置搬运工件W时，搬运装置的至少一部分位于照射区域。在图2的示例中，工件W是包括锥形(taper)部W1及平面部W2的呈四棱锥台的形状的物体。再者，工件W的形状为一例，图像处理系统1可用于任意的工件W。
相机8是以如下的方式而配置：工件W的至少一部分位于相机8的拍摄视场内，而且，照明装置4的照射区域的至少一部分包含在相机8的拍摄视场内。相机8拍摄存在于拍摄视场内的被摄体，并将通过拍摄而获得的图像信号(可包括一个或多个静态图像及动态图像)输出至图像处理装置100。相机8是拍摄部的一例，是将规定的拍摄视场中所含的光转换成图像信号的光电转换器，典型的情况包括透镜或光圈等光学系统、及电荷耦合器件(Charge Coupled Device，CCD)影像传感器(image sensor)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)影像传感器等受光元件。
在图2的示例中，配置成工件W、照明装置4与相机8相互位于同轴上。在照明装置4上，设置有开口部48(参照图3)，以使得相机8能够从照明装置4的上部拍摄工件W。相机8配置成通过开口部48而使工件W包含在拍摄视场内。再者，工件W、照明装置4与相机8的位置关系为一例，也可以不相互位于同轴上。例如，也可以是将照明装置4配置在图纸的右侧，将相机8配置在图纸的左侧的结构。
图像处理装置100负责整个图像处理系统1的处理。例如，图像处理装置100对照明装置4及相机8进行控制，并且基于从相机8输出的图像信号，进行工件W上有无缺陷或污染的检查，工件W的大小、配置或方向等的测量，工件W表面上的文字或图形等的识别之类的图像处理。
再者，在图2的示例中，是设为一个装置执行对照明装置4及相机8进行控制的功能及进行图像处理的功能，但是图像处理系统1也可以针对每个功能具备各别的装置。例如，图像处理系统1也可以具备对照明装置4进行控制的照明控制装置、对相机8进行控制的拍摄控制装置及进行图像处理的装置。并且，其它装置也可以具备一个功能。
B.照明装置4的结构
参照图3，对照明装置4的结构进行说明。图3是表示照明装置4的结构的图。照明装置4包含多个发光部41。在图3的示例中，照明装置4包含共计34个发光部41。并且，在照明装置4的中央，设置有开口部48，以能够从照明装置4的上部拍摄工件W。
在图3的示例中，各发光部41是以预订的位置为基准有规则地排列在照明装置4上。例如，在图3的示例中，以构成照明装置4的边及点之中的一个点为基准纵向及横向地有规则地排列着发光部41。再者，也能够以开口部48为基准，将发光部41呈圆形排列在开口部48的周围。
为了使光从各种角度入射至工件W，发光部41彼此的间隔尽可能越窄越好。并且，优选的是多个发光部41分别具有彼此相同的结构，并且，优选的是将各发光部41配置在相同的高度。
在本实施方式中，为了便于说明，将照明装置4的短边设为x轴，将长边设为y轴，利用坐标(x，y)对照明装置4中所含的多个发光部41分别进行区分。
图像处理装置100能够对多个发光部41分别独立地进行控制。例如，图像处理装置100能够仅使一部分发光部41点灯，而使其它发光部41熄灯。并且，图像处理装置100能够使多个发光部41以各不相同的发光强度点灯。
在本实施方式中，是设为从各发光部41将共同的波长的照明光照射至工件W。再者，也可以是如下的结构：能够将从发光部41照射的照明光的波长控制成在多个发光部41中各不相同。
并且，在本实施方式中，是举出四边形的照明装置4作为示例，但是也可以是环状的照明装置。并且，也可以是包含有机电致发光器件(Electro Luminescence，EL)的穿透型的照明装置。当使用穿透型的照明装置时，不需要设置如本实施例的开口部48。并且，也可以是穹顶形状的照明装置。并且，图像处理系统1虽然优选的是具备能够将相机8、照明装置4及工件W配置在同轴上的照明装置4，但是也可以具备无法将所述构件配置在同轴上的照明装置4。
C.图像处理装置100的硬件结构
图4是表示图像处理装置100的硬件结构的示意图。图像处理装置100包括中央处理器(Central Processing Unit，CPU)110、主存储器120、硬盘130、相机接口(interface，I/F)180、照明I/F 140及外部存储器I/F 160。所述各部经由总线190，而相互可进行数据通信地连接着。
CPU 110通过在主存储器120内展开安装在硬盘130内的包含图像处理程序132及设定程序134的程序(代码(code))，并以预订顺序执行这些程序，来实施各种运算。主存储器120典型的是动态随机存取存储器(Dynamic Random Access Memory，DRAM)等易失性存储装置。
硬盘130是图像处理装置100所具备的内部存储器，是非易失性的存储装置。包括图像处理程序132、设定程序134、照明参数数据库(database)(DB)136及设定用参数DB138。再者，也可以除了硬盘130以外，或者取代硬盘130，采用闪速存储器(flash memory)等半导体存储装置。
相机I/F 180负责CPU 110与相机8之间的数据传输。即，相机I/F 180与生成图像数据的相机8连接。并且，相机I/F 180按照来自CPU 110的内部命令，发出对连接着的相机8中的拍摄动作进行控制的命令。
照明I/F 140负责CPU 110与照明装置4之间的数据传输。即，照明I/F 140与照明装置4连接。并且，照明I/F 140按照来自CPU 110的内部命令，发出对连接着的照明装置4中所含的多个发光部41的各自的点灯进行控制的命令。再者，照明装置4也可以经由相机8与图像处理装置100连接。并且，相机8也可以经由照明装置4与图像处理装置100连接。
外部存储器I/F 160与外部存储器6连接，进行针对外部存储器6的数据的读入/写入的处理。外部存储器6相对于图像处理装置100可拆装，典型的是通用串行总线(Universal Serial Bus，USB)存储器、存储卡(memory card)等非易失性的存储装置。并且，图像处理程序132或设定程序134等各种程序及照明参数DB 136或设定用参数DB 138等各种参数DB不必保存在硬盘130中，也可以保存在能够与图像处理装置100进行通信的服务器(server)、能够与图像处理装置100直接连接的外部存储器6中。例如，在外部存储器6中存储着图像处理装置100中所执行的各种程序及各种程序中所使用的各种参数的状态下进行流通，外部存储器I/F 160从所述外部存储器6读取各种程序及各种参数。或者，也可以将从服务器等下载的程序或参数安装至图像处理装置100，所述服务器是与图像处理装置100可进行通信地连接着。
再者，本实施方式的图像处理程序132及设定程序134也可以是编入至其它程序的一部分而提供的程序。
并且，还可以取而代之，将通过执行图像处理程序132及设定程序134而提供的功能的一部分或全部封装为专用的硬件电路。
概要
当利用工件W的外观图像通过图像处理来进行工件W的外观检查时，通过根据照明装置4、相机8与工件W的位置关系及工件W的材质、想要检测的瑕疵的种类等检查项目等，改变所照射的光的强度及所照射的光的波长，可以获取与检查相对应的图像数据。
先前，在相对于工件W不移动相机8而进行图像处理时，是对一次拍摄，设定一个照明条件。但是，照明装置4、相机8与工件W的位置关系在工件W的每个区域都不同。因此，即使在一次拍摄中，能够从某个区域的图像数据中提取适合于检查的特征量，也有可能无法从其它区域的图像数据中提取适合于检查的特征量。
例如，即使在相机8的拍摄视场内，相机8的视线方向、来自照明装置4的光的放射方向也因位置而不同。并且，根据工件W的形状，相机8的视线方向、来自照明装置4的光的放射方向因位置而不同。因此，在相机8的拍摄视场内之中的任一位置上，都无法同时实现成为适合于检查的图像数据。
本实施方式中的图像处理系统1能够通过针对拍摄视场内的每个位置生成适合于图像测量的目的的图像数据，而在图像数据内的所有位置上获取适合于检查的图像数据。
第一具体例
对第一具体例进行说明，所述第一具体例是用于在拍摄视场内的所有位置上都获取适合于检查的图像数据而进行图像测量的示例。在第一具体例的图像处理系统1中，相机8改变照明条件而生成多个图像数据81。图像处理装置100通过针对图像数据81中所规定的每个部分区域ri，从多个图像数据81中分别提取与部分区域ri相对应的部分图像数据82，并按照针对每个部分区域ri而规定的第一参数集ρi对多个部分图像数据82进行合成，而生成部分区域图像数据Ri。并且，图像处理装置100对所生成的部分区域图像数据Ri进行图像测量。
(图像测量的流程)
参照图5，对第一具体例中的图像处理系统1所进行的图像测量的流程进行说明。图5是用于说明第一具体例中的图像测量的流程的图。
图像处理装置100使多个发光部41逐个地依次发光，并对应于发光部41的依次发光，拍摄对象物而获取图像数据81。例如，图像处理装置100从相机8获取如下的图像数据81，即，在只使发光部41(x1，y1)以规定的发光强度点灯的发光状态1下所拍摄的图像数据81(x1，y1)、及在只使发光部41(x2，y1)以规定的发光强度点灯的发光状态2下所拍摄的图像数据81(x2，y1)等。再者，以下，将使发光部41(x，y)以规定的发光强度点灯的点灯条件下进行拍摄而获得的图像数据81表达为图像数据81(x，y)。
图像数据81包含预先规定的多个部分区域ri。所述部分区域ri相当于相机8的拍摄视场的一部分。图像处理装置100从多个图像数据81(x，y)中分别提取与生成对象的部分区域ri相对应的部分图像数据82i(x，y)。图像处理装置100通过按照第一参数集ρi，对从多个图像数据81(x，y)中分别提取的多个部分图像数据82i(x，y)进行合成，而针对每个部分区域ri生成部分区域图像数据Ri，所述第一参数集ρi是针对每个部分区域ri规定了来自各发光部41的影响的参数集。
所谓针对每个部分区域ri规定了来自各发光部41的影响的第一参数集ρi，是例如相对地表示如下情况的参数集：在不同发光状态的各个状态下拍摄而获得的多个图像数据81(x，y)的部分区域ri所对应的各部分图像数据82i(x，y)是否是适合于图像测量的目的的图像数据。是否适合于图像测量的目的，例如可以通过如下的方式来判断：应该获得的特征量是否包含于部分图像数据82i(x，y)中，不应获得的特征量是否包含于部分图像数据82i(x，y)中，等等。
尽管从基于由发光部41(x1，y1)照射的光而生成的图像数据81(x1，y1)之中的部分区域r1中所含的部分图像数据821(x1，y1)中，可提取适合于图像测量的特征量，但是从基于由发光部41(x5，y1)照射的光而生成的图像数据81(x5，y1)之中、部分区域r1内所含的部分图像数据821(x5，y1)中，则有时会提取不适合于图像测量的特征量。这是由于如下原因而产生：与区域ri相对应的工件W的表面区域、相机8与发光部41的位置关系在发光部41(x1，y1)与发光部41(x5，y1)中不同。在这种情况下，第一参数集ρi可设定为如下：提取适合于图像测量的特征量的部分图像数据821(x1，y1)的影响增大，提取不适合于图像测量的特征量的部分图像数据821(x5，y1)的影响减小。
例如，第一参数集ρi是针对每个图像数据81(x，y)而设定的第一参数ρi(x，y)的集合。图像处理装置100针对每个部分区域ri分别具备所述第一参数集ρi。图像处理装置100例如基于以下的式(1)，算出部分区域图像数据Ri。
数式1
Ri＝∑x，yρi(x，y)×ri(x，y) 式(1)
图像处理装置100基于所获得的部分区域图像数据Ri进行图像测量。例如，图像处理装置100提取所获得的部分区域图像数据Ri中所含的特征量，并基于所述特征量，对工件W的表面状态进行测量。
在这里，是设为当利用第一参数集ρi合成部分区域图像数据Ri时以线性和(linearsum)来进行合成，但是合成方法并不限于此。例如，也可以通过求出多个线性和，并相互进行乘法或除法来进行合成。并且，第一参数集ρi既可以是正值，也可以是负值。而且，也可以在合成时的运算中使用最大值或最小值。并且，在进行图像测量时，也可以各别地评估部分区域图像数据Ri，并且，还可以对所有部分区域图像数据Ri进行合成，而生成相机8的整个拍摄视场的图像数据之后进行图像测量。
(第一参数集ρi的修正)
图像处理装置100也可以根据工件W的拍摄视场内的配置状况，对第一参数集ρi进行修正。例如，在设定第一参数集ρi时的工件W的拍摄视场内的配置状况与测量时的工件W的拍摄视场内的配置状况不同的情况下，尽管发光部41与工件W的位置关系和设定第一参数集ρi时不同，也对第一参数集ρi不加以修正而进行使用时，图像测量的精度就会比本来的精度下降。
图6(A)～图6(C)是用于说明第一具体例中的第一参数集ρi的位置修正的图。例如，如图6(A)所示，设为在设定第一参数集ρi时，针对如下的位置，即，位于工件W的区域a的上部的发光部41(x，y)所拍摄的图像数据81(x，y)的区域a所对应的图像数据81(x，y)内的位置，设定了第一参数ρa(x，y)。这时，如图6(B)所示，在测量时工件W的配置状况发生变化，发光部41(x′，y′)变为位于工件W的区域a的上部。在测量时，通过将针对发光部41(x′，y′)所拍摄的图像数据81(x′，y′)的区域a所对应的图像数据81(x′，y′)内的位置的第一参数ρa(x′，y′)修正为第一参数ρa(x，y)，可以设定工件W与发光部41的位置关系所对应的第一参数ρa。
在这里，(x，y)与(x′，y′)的关系例如可通过式(2)来表示。
数式2
(x′，y′)＝ω×(x，y)+T 式(2)
如图6(C)所示，ω是表示设定时的工件W在测量时已旋转何种程度的旋转成分，例如，通过旋转矢量来表示。并且，T是表示工件W的中心已平行移动何种程度的平移(translation)成分。再者，第一参数集ρi也可以通过已知的其它方法来修正。
(第一具体例中的图像测量所使用的图像处理装置的功能结构)
图7是表示第一具体例中的图像测量所使用的图像处理装置100的功能结构的图。图像处理装置100包括生成部10及图像测量部20。生成部10获取多个图像数据81，并根据多个图像数据81生成部分区域图像数据Ri，所述多个图像数据81是在使照明装置4中所含的多个发光部41的发光状态不同的多个照明条件下进行拍摄而获得。
生成部10也可以包括：控制部12，对照明装置4及相机8分别进行控制；以及合成处理部14，根据多个图像数据81(x，y)，合成部分区域图像数据Ri，所述多个图像数据81(x，y)是按照来自控制部12的控制，相机8进行拍摄而生成。
控制部12例如包括：照明控制部122，对照明装置4进行控制，以使发光部41逐个地依次发光；以及拍摄控制部124，对相机8进行控制，以使得对应于发光部41的依次发光而拍摄工件W。
合成处理部14例如包括：提取部142，从相机8所生成的多个图像数据81(x，y)的各个图像数据中，提取与合成对象的部分区域ri相对应的部分图像数据82i(x，y)；以及合成部144，通过按照与部分区域ri相对应的第一参数集ρi，对所提取的多个部分图像数据82i(x，y)进行合成，而生成部分区域图像数据Ri。
并且，生成部10也可以包括修正部16，所述修正部16根据工件W的配置状况对关于部分区域图像数据Ri的生成的条件进行修正。在第一具体例中，修正部16根据工件W的配置状况对第一参数集ρi进行修正。修正部16包括：位置特定部162，确定工件W的配置状况；以及参数修正部164，基于位置特定部162所确定的工件W的配置状况，并基于工件W从成为基准的工件W的配置状况已移动何种程度，对关于部分区域图像数据Ri的生成的条件进行修正。在第一具体例中，参数修正部164是对第一参数集ρi进行修正。第一参数集ρi例如存储在照明参数DB 136中。
成为基准的工件W的配置状况例如是设定第一参数集ρi时的工件W的配置状况。设定时的工件W的配置状况例如是将工件W的重心位置、相机8与照明装置4配置在同轴上的状况。
在第一具体例中，合成处理部14也可以按照参数修正部164所修正的参数集ρ'i，生成部分区域图像数据Ri。
并且，生成部10也可以确定包含工件W的区域，只生成位于包含工件W的区域内的部分区域ri所对应的部分区域图像数据Ri。这样一来，能够减少生成部分区域图像数据Ri的数量，从而能够减轻生成部10所执行的处理。
图像测量部20对部分区域图像数据Ri进行图像测量并输出图像测量结果。图像测量部20例如，也可以针对每个部分区域图像数据Ri提取特征量，并基于所述特征量，测量工件W的外观。并且，也可以在对所生成的多个部分区域图像数据Ri全部进行合成之后，提取特征量，并基于所述特征量，测量工件W的外观。图像测量结果的输出目的地可列举基于图像测量结果而进行规定的控制的控制装置、便携式终端、印刷器、显示器等的显示部、存储器等的存储部等。
(第一参数集ρi的确定方法)
图8是用于说明第一具体例中的第一参数集ρi的确定方法的图。第一参数集ρi是以使按照第一参数集ρi而生成的图像数据R成为适合于图像测量的目的的图像数据的方式来确定。
所谓“适合于图像测量的目的的图像数据”，例如在图像测量的目的是调查有无瑕疵的检查的情况下，是指在具有瑕疵的区域内包含规定的特征量，在无瑕疵的区域内不含所述特征量的图像数据。
作为确定方法，例如是以使图像数据R所表示的教学用样品的外观的状态与实际的教学用样品Wk的外观的状态相一致的方式，对第一参数集ρi进行拟合，所述图像数据R是根据对外观的状态为已知的教学用样品Wk进行拍摄所获得的图像数据而生成。再者，即使不使用教学用样品Wk，例如，在根据特征量是否超过预订的阈值，而将图像测量结果分成两个结果的情况下，也可以采用特征量与阈值相偏离的值的方式来确定第一参数集ρi。即，当对多个样品进行图像测量时，也能够以如下的方式来确定第一参数集ρi：使从成为第一结果的集合中所含的样品中提取的特征量、与从成为第二结果的集合中所含的样品中提取的特征量成为相偏离的值。
再者，以下，以如下的方法为例进行说明：对外观的状态为已知的教学用样品Wk进行拍摄，以使所述教学用样品Wk的实际的外观的状态与图像数据R所表示的教学用样品的外观的状态相一致的方式，来确定第一参数集ρi。
图像处理装置100是使多个发光部41逐个地依次发光，并基于多个图像数据81确定第一参数集ρi，所述多个图像数据81是对应于发光部41的依次发光，对外观的状态为已知的教学用样品Wk进行拍摄而获得。图像处理装置100例如是通过对第一参数集ρi进行拟合，以使得预先设定的成本函数E(ρi)所表示的值为最大，来确定第一参数集ρi。
成本函数E(ρi)包括函数f(ρi)及函数g(ρi)，所述函数f(ρi)是表示部分区域图像数据Ri与邻接的部分区域图像数据Ri+1、部分区域图像数据Ri-1的连续性的函数，所述函数g(ρi)是表示对部分区域图像数据Ri进行图像测量时的测量精度的函数。在成本函数E(ρi)中，可以通过将常数α及常数β乘以各函数，来表示在确定第一参数集ρi的方面，注重关于部分区域图像数据Ri的连续性的因子(factor)与关于测量精度的因子之中的哪个因子。
对关于测量精度的函数进行详细说明。例如，考虑如下情况：对于外观是否存在瑕疵，提取特征量，如果特征量超过预先设定的阈值，就判定为有瑕疵，如果特征量未达阈值就判断为无瑕疵。这时，关于测量精度的函数是如下的函数：与有瑕疵的部分区域ri相对应的部分区域图像数据Ri中所含的特征量越大，并且，与无瑕疵的部分区域ri相对应的部分区域图像数据Ri中所含的特征量越小，函数g(ρi)所表示的值就越大。
关于测量精度的函数g(ρi)例如，可利用式(3)来表示。
数式3
g(ρi)＝∑ik[Sik×Var(∑x，yρi(x，y)×ri(x，y))]式(3)
Sik是教学用数据，是表示在教学用样品Wk中的相当于部分区域ri的表面上是否有瑕疵的值。Sik在教学用样品Wk中的相当于部分区域ri的表面上有瑕疵时为“S＝1”，在无瑕疵时为“S＝-1”。并且，所谓Var，是指图像的浓度分散、或使浓度分散二进制化的值，并且是部分区域图像数据Ri内的像素值的浓度分散、或使浓度分散二进制化的值。再者，作为Var，也可以是部分区域图像数据Ri中所含的特征量。
通过在成本函数E(ρi)中包含表示连续性的函数f(ρi)，可以防止使第一参数集ρi局部性地最佳化。
在图8所示的示例中，是设为在成本函数E(ρi)中包含表示连续性的函数f(ρi)，但是也可以不含表示连续性的函数f(ρi)。并且，在调整第一参数集ρi时，可以采用按照梯度法的方法、利用神经网络(neural network)的方法等各种已知的方法。
(第一具体例中的确定第一参数集ρi时的图像处理装置的功能结构)
图9是表示第一具体例中的确定第一参数集ρi时的图像处理装置100的功能结构的图。图像处理装置100包括控制部12、合成处理部14及确定部30，所述控制部12是对照明装置4及相机8分别进行控制，所述合成处理部14是根据多个图像数据81(x，y)，合成部分区域图像数据Ri，所述多个图像数据81(x，y)是相机8按照控制部12所进行的控制进行拍摄而生成。
控制部12例如，包括：照明控制部122，对照明装置4进行控制，以使发光部41逐个地依次发光；以及拍摄控制部124，对相机8进行控制，以使得对应于发光部41的依次发光而拍摄工件W。
确定部30包括按照成本函数E(ρi)运算成本E的运算部32、对条件进行拟合以使成本E的值增大的调整部34、以及确定条件的条件确定部36。在条件中，包含第一参数集ρi，所谓第一参数集ρi，换言之，就是针对每个图像数据81的位置而规定的合成参数集。在第一具体例中，调整部34对第一参数ρi进行拟合，条件确定部36针对每个部分区域ri确定第一参数集ρi。
合成处理部14例如包括：提取部142，从相机8所生成的多个图像数据81(x，y)的各个图像数据中，提取与合成对象的部分区域ri相对应的部分图像数据82i(x，y)；以及合成部144，通过按照与部分区域ri相对应的第一参数集ρi，对所提取的多个部分图像数据82i(x，y)进行合成，来生成部分区域图像数据Ri。
运算部32按照调整部34所调整的第一参数集ρi，使合成部144根据提取部142所提取的多个部分图像数据82，生成部分区域图像数据Ri，并根据合成部144所生成的部分区域图像数据Ri及提取部142所提取的部分图像数据82，算出成本E。
调整部34基于运算部32所算出的成本E，对第一参数集ρi进行调整。条件确定部36对运算部32所算出的成本E进行评估，确定第一参数集ρi，并将所确定的第一参数集ρi作为照明参数DB 136，保存在作为存储部的一例的硬盘130中。
在第一具体例中，是举出针对每个部分区域ri设置第一参数集ρi的情况作为示例，但是也可以针对每个像素设置第一参数集ρi。并且，第一参数集ρi只要是与图像数据81的位置相关联而规定即可，例如，也可以是与位置相关联而连续的函数。
第二具体例
对第二具体例进行说明，所述第二具体例是用于在拍摄视场内的任一位置上都获取适合于检查的图像数据而进行图像测量的示例。在第一具体例中，是设为通过从照明条件不同的多件图像数据81的各个图像数据中提取部分图像数据82，按照第一参数集ρi对所提取的多个部分图像数据82进行合成而生成部分区域图像数据Ri。
在第二具体例中，图像处理装置100按照针对每个部分区域ri而设定的表示发光状态的第二参数集Pi，针对每个部分区域ri，变更发光状态而拍摄工件W，并根据所获得的图像数据81，生成与部分区域ri相对应的部分区域图像数据Ri。
(图像测量的流程)
参照图10，说明第二具体例中的图像处理系统1所进行的图像测量的流程。图10是用于说明第二具体例中的图像测量的流程的图。
图像处理装置100按照对多个发光部41的发光状态进行规定的第二参数集Pi，对照明装置4进行控制。具体来说，第二参数集Pi是表示每个发光部41(x，y)的发光强度的参数，在第二参数集Pi中，包含表示针对每个发光部41(x，y)而设置的发光部41(x，y)的发光强度的第二参数Pi(x，y)。
第二参数集Pi是针对图像数据81中所规定的每个部分区域ri而设置。图像处理装置100按照针对每个部分区域ri而设置的各个第二参数集Pi对照明装置4进行控制，并按照各第二参数Pi改变发光状态。相机8在各发光状态下拍摄对象物，并生成图像数据81i。图像处理装置100从在各照明条件下所生成的图像数据81i中，提取与部分区域ri相对应的部分图像数据82i作为部分区域图像数据Ri。图像处理装置100对所生成的部分区域图像数据Ri进行图像测量并输出图像测量结果。
例如，当生成与部分区域ri相对应的部分区域图像数据Ri时，图像处理装置100使照明装置4的各发光部41(x，y)以与第二参数集Pi相对应的发光强度进行发光。图像处理装置100从在所述照明条件下进行拍摄而生成的图像数据81i中，提取与部分区域ri相对应的部分图像数据作为部分区域图像数据Ri。
(第二参数集Pi的修正)
图像处理装置100也可以根据工件W的拍摄视场内的配置状况，对第二参数集Pi进行修正。例如，在设定第二参数集Pi时的工件W的拍摄视场内的配置状况与测量时的工件W的拍摄视场内的配置状况不同的情况下，尽管发光部41与工件W的位置关系和设定第二参数集Pi时不同，也对第二参数集Pi不加以修正而进行使用时，图像测量的精度就会比本来的精度下降。
图11的(1)及图11的(2)是用于说明第二具体例中的第二参数集Pi的位置修正的图。例如，如图11的(1)所示，当设定第二参数集Pi时，以使发光部41(x1，y1)按照第二参数Pa(x1，y1)点灯，使发光部41(x2，y1)按照第二参数Pa(x2，y1)点灯的方式，针对多个发光部41分别设定了第二参数Pa(x，y)，作为生成与工件W的区域a相对应的部分区域ra的部分区域图像Ra时的照明条件。
在这种情况下，设为在测量时工件W的配置状况发生变化，与工件W的区域a相对应的部分区域ra的位置与设定时相比在平行方向上移动了T，在旋转方向上移动了ω。即，工件W与照明装置的位置关系在平行方向上变化了相当于T的程度，在旋转方向上变化了相当于ω的程度。
图像处理装置100能够通过根据所述位置关系的变化，重新设定第二参数Pa(x，y)与发光部41(x，y)的关系，来对第二参数集Pi进行修正。
例如，设为在设定时设定了使发光部41(x，y)以第二参数Pa(x，y)发光的情况。在这种情况下，第二参数Pa(x，y)可由发光强度La及发光部41(x，y)来表达。修正后的Pa(x′，y′)可由式(4)来表达。
数式4
Pa(x′，y′)＝La{ω×(x，y)+T} 式(4)
在这里，ω及T所表示的系数等于式(2)的ω及T所表示的系数，所以省略说明。
(第二具体例中的图像测量所使用的图像处理装置100的功能结构)
图12是表示第二具体例中的图像测量所使用的图像处理装置100的功能结构的图。图像处理装置100包括生成部10及图像测量部20。
生成部10也可以包括：控制部12，对照明装置4及相机8分别进行控制；以及生成处理部18，根据多个图像数据81之中的至少一个图像数据81，生成与生成对象的部分区域ri相对应的部分区域图像数据Ri，所述多个图像数据81是相机8按照控制部12所进行的控制进行拍摄而生成。
控制部12包括对照明装置4进行控制的照明控制部122、以及对相机8进行控制的拍摄控制部124。照明控制部122按照针对每个部分区域ri而设定的第二参数集Pi，对多个发光部41(x，y)的各自的发光强度进行控制。拍摄控制部124在按照第二参数集Pi对照明装置4进行了控制时，使相机8拍摄工件W而生成图像数据81i。
生成处理部18生成与拍摄图像数据81i的照明条件相对应的第二参数集Pi所对应的部分区域ri所对应的图像数据，作为部分区域图像数据Ri。
并且，生成部10也可以包括根据工件W的配置状况，对部分区域图像数据Ri的生成的相关条件进行修正的修正部16。在第二具体例中，修正部16根据工件W的配置状况，对第二参数集Pi进行修正。修正部16包括：位置特定部162，确定工件W的配置状况；以及参数修正部164，基于位置特定部162所确定的工件W的配置状况，并基于工件W从成为基准的工件W的配置状况移动了何种程度，来对部分区域图像数据Ri的生成的相关条件进行修正。在第二具体例中，参数修正部164是对第二参数集Pi进行修正。第二参数集Pi例如存储在照明参数DB 136中。
成为基准的工件W的配置状况例如是设定第二参数集Pi时的工件W的配置状况。设定时的工件W的配置状况例如是将工件W的重心位置、相机8与照明装置4配置在同轴上的状况。
照明控制部122也可以按照参数修正部164所修正的第二参数集P′i对照明装置4的发光状态进行控制。
并且，生成部10也可以确定包含工件W的区域，只在位于包含工件W的区域内的部分区域ri所对应的部分区域图像数据Ri所对应的照明条件下进行拍摄。这样一来，可以减少拍摄次数，从而能够减轻生成部10所执行的处理。
(第二参数集Pi的确定方法)
图13是用于说明第二具体例中的第二参数集Pi的确定方法的图。第二参数集Pi是以使根据图像数据81而生成的图像数据R成为适合于图像测量的目的的图像数据的方式来确定，所述图像数据81是按照所述第二参数集Pi对照明装置4进行控制，在各发光状态下进行拍摄而获得。
所谓“适合于图像测量的目的的图像数据”，例如，在图像测量的目的是调查有无瑕疵的检查的情况下，是指在具有瑕疵的区域内包含预订的特征量，在无瑕疵的区域内不含所述特征量的图像数据。
作为确定方法，与第一具体例同样地，是对第二参数集Pi进行拟合，以使得图像数据R所表示的外观的状态与教学用样品Wk的实际的外观的状态相一致，所述图像数据R是基于对外观的状态为已知的教学用样品Wk进行拍摄而获得的图像数据81而生成。并且，即使不使用教学用样品Wk，例如，在根据特征量是否超过预订的阈值，而将图像测量结果分成两个结果的情况下，也能够以采用特征量与阈值相偏离的值的方式，来确定第二参数集Pi。
再者，以下，以如下的方法为例进行说明：以图像数据R所表示的外观的状态与教学用样品Wk的实际的外观的状态相一致的方式来确定第二参数集Pi，所述图像数据R是基于对教学用样品Wk进行拍摄而获得的图像数据81而生成。
图像处理装置100基于图像数据81，确定第二参数集Pi，所述图像数据81是在按照适当的第二参数集Pi使发光部41点灯的状态下对外观的状态为已知的教学用样品Wk进行拍摄而获得。图像处理装置100是通过以使成本函数E(Pi)所表示的值为最大的方式改变照明条件，并对第二参数集Pi进行拟合，来确定第二参数集Pi。
在第二具体例中，成本函数E(Pi)包括表示对部分区域图像数据Ri进行图像测量时的测量精度的函数g(Pi)。表示测量精度的函数g(Pi)与第一具体例中的函数g(ρi)同样，是如下的函数：与有瑕疵的部分区域ri相对应的部分区域图像数据Ri中所含的特征量越大，并且，与无瑕疵的部分区域ri相对应的部分区域图像数据Ri中所含的特征量越小，关于一致程度的函数所表示的值越大。
关于测量精度的函数g(Pi)例如可通过式(5)来表示。
数式5
g(Pi)＝∑ik[Sik×Var(∑x，y Pi(x，y)×ri(x，y))]式(5)
Sik是教学用数据，是表示在教学用样品Wk中的相当于部分区域ri的表面上是否有瑕疵的值。Sik在教学用样品Wk中的相当于部分区域ri的表面上有瑕疵时为“S＝1”，在无瑕疵时为“S＝-1”。并且，所谓Var，是指使图像的浓度分散、或使浓度分散二进制化的值，并且是部分区域图像数据Ri内的像素值的浓度分散、或使浓度分散二进制化的值。再者，作为Var，也可以是部分区域图像数据Ri中所含的特征量。
在这里，当确定第二参数集Pi时，针对部分区域图像数据Ri，以使从所述部分区域图像数据Ri获得的成本Ei为最大的方式，来确定第二参数集Pi。
再者，在计算第二参数集Pi时，也可以通过循环地改变多个发光部41的各自的发光强度而循环地求出，并且，还可以利用按照爬山法的方法调整第二参数集Pi而求出。
(第二具体例中的确定第二参数集Pi时的图像处理装置的功能结构)
图14是表示第二具体例中的确定第二参数Pi时的图像处理装置100的功能结构的图。图像处理装置100包括控制部12、生成处理部18及确定部30，所述控制部12是对照明装置4及相机8分别进行控制，所述生成处理部18是根据多个图像数据81(x，y)之中的至少一个图像数据81，生成与生成对象的部分区域ri相对应的部分区域图像数据Ri，所述多个图像数据81(x，y)是相机8按照控制部12所进行的控制进行拍摄而生成。
第二具体例中的控制部12例如包括：照明控制部122，按照已指定发光部41的第二参数集Pi对照明装置4进行控制；以及拍摄控制部124，对相机8进行控制，以使得在按照所指定的第二参数集Pi进行了控制的照明条件下拍摄工件W。
第二具体例中的照明控制部122是按照针对每个部分区域ri而设定的第二参数Pi，对照明装置4进行控制。将相机8在按照第二参数Pi对照明装置4进行了控制的照明条件下进行拍摄而获得的图像数据81，也称为图像数据81i。
确定部30包括按照成本函数E(Pi)运算成本E的运算部32、对条件进行拟合以使成本E的值增大的调整部34、以及确定条件的条件确定部36。在第二具体例中，在条件中包含第二参数集Pi。在第二具体例中，调整部34对第二参数Pi进行拟合，条件确定部36针对每个部分区域ri，确定第二参数集Pi。
生成处理部18例如从相机8所生成的多个图像数据81i中，提取与部分区域ri相对应的部分图像数据82i，而生成部分区域图像数据Ri。
运算部32根据部分区域图像数据Ri而算出成本E，所述部分区域图像数据Ri是生成处理部18根据图像数据81而生成，所述图像数据81是在按照调整部34所调整的第二参数集Pi进行了控制的照明条件下所拍摄的。
调整部34基于运算部32所算出的成本E，对第二参数集Pi进行调整。具体来说，调整部34对第二参数集Pi进行重新设定，以使得成本E增大，并在按照所述重新设定的第二参数集Pi的照明条件下再次拍摄教学用样品Wk，而获取图像数据81。基于所获取的图像数据81，条件确定部36对运算部32所算出的成本E进行评估，确定第二参数集Pi，并将所确定的第二参数集Pi作为照明参数DB 136，保存在作为存储部的一例的硬盘130中。
在第二具体例中，是举出针对每个部分区域ri设定第二参数集Pi的情况作为示例，但是也可以针对每个像素设定第二参数集Pi。并且，第二参数集Pi只要是与图像数据81的位置相关联而规定即可，例如，也可以是与位置相关联的连续的函数。
使用例
在本实施方式中，是设为根据在不同的照明条件下所拍摄的多个图像数据81之中的至少一个图像数据81生成部分区域图像数据Ri，但是也可以按照照度差立体法的计算，求出部分区域ri中所含的工件W的表面的法线矢量。
由于可以不改变相机8的位置与工件W的位置关系，而获得照明条件各不相同的多个图像数据81，所以能够通过利用按照照度差立体法的运算方法对图像数据81进行处理，而求出工件W表面的法线矢量。即，与照明条件经固定的图像处理系统1相比，本实施方式中的图像处理系统1能够更多地获取关于工件W的信息。
并且，第一具体例中的图像测量和第二具体例中的图像测量都是在不同的照明条件下对工件W进行拍摄，获取多个图像数据81之后，基于多个图像数据81之中的至少一个图像数据81，针对每个部分区域ri生成部分区域图像数据Ri。因此，能够在整个拍摄视场(整个图像数据81)内，设定适当的照明条件。
变形例
(关于部分区域ri)
在本实施方式中，关于部分区域ri，是设为在图像数据81中以固定间隔而规定的区域。图15是用于说明部分区域ri的规定方法的变形例的图。例如，也可以是逐个像素地进行规定。并且，也可以如图15的示例所示，基于工件W对部分区域ri进行规定。例如，也可以使用工件W的模型图像(计算机辅助设计(computer-aided design，CAD)数据)来进行规定。具体来说，也可以求出工件W表面的法线矢量，将法线方向为共同的区域分割为一个区域。在图15中，区域r1、区域r2、区域r3、区域r4、区域r5是法线方向各不相同的区域，区域r5～区域r8是法线方向为共同的区域。并且，也可以根据法线方向为共同的一个区域的面积，进一步进行分割。在进行分割时，优选的是将法线方向急遽变化的界线Q设定为部分区域ri的界线。并且，具有一定程度以上的面积的区域优选的是分割成多个。例如，在图15所示的示例中，虽然区域r5～区域r8的法线方向彼此共同，但是如果区域r5～区域r8的总面积为特定的面积值以上，就利用界线U加以分割。
并且，在第一具体例中，也可以在使发光部41逐个点灯之后，获取图像数据81，并针对各图像数据81内的相对应的每个区域提取浓度矢量之后，将所提取的浓度矢量的相关性高的范围设定为一个部分区域ri。
(参数的设定方法)
在设定第一参数集ρi或第二参数集Pi时，也可以减少部分区域ri的数量之后，进行拟合后，增加部分区域ri的数量并再次进行拟合。这样一来，能够缩短拟合的时间。
当使用教学用样品Wk时，教学用样品Wk的数量可以为任意数量。也可以通过改变教学用样品Wk的姿势进行拍摄，来减少教学用样品Wk的数量。并且，教学用样品Wk优选的是能够在法线方向不同的每个区域内进行合格表面与不合格表面的组合。即，当针对具备法线方向为不同的两个表面的工件W设定参数时，优选的是使用第一表面为不合格表面、第二表面为合格表面的样品及第二表面为不合格表面、第一表面为合格表面的样品来进行设定。
在第一具体例中，成本函数E(ρi)是设为包含关于测量精度的函数g(ρi)及关于连续性的函数f(ρi)，但是也可以是只包含关于测量精度的函数g(ρi)的函数。此外，在第二具体例中，成本函数E(Pi)也是设为包含关于测量精度的函数g(Pi)，但是除了函数g(Pi)以外，还可以包含关于连续性的函数f(Pi)。
并且，在设定第一参数集ρi时，在第一具体例中，是举出对部分区域图像数据Ri之间的连续性与测量精度进行同时评估的示例，但是也可以通过针对每个部分区域ri以使测量精度最高的方式而设定第一参数集ρi之后，使部分区域ri内的第一参数集ρi缓慢变化，来进行修正以使与邻接的部分区域图像数据Ri的连续性提高。
并且，也可以与第一参数集ρi及第二参数集Pi无关而另外地，设定用于合成各部分区域图像数据Ri的条件。在本实施方式中，有可能在与部分区域图像数据Ri的界线部分产生间隙，由于所述间隙而导致测量精度下降。为了填埋所述间隙，也可以设定用于合成各部分区域图像数据Ri的条件。
并且，也可以针对每个部分区域ri设定第一参数集ρi或第二参数集Pi之后，针对位于各部分区域ri之间的每个像素，以减少部分区域ri之间的间隙的方式重新设定第一参数集ρi或第二参数集Pi，。
(合成方法)
在本实施方式中，揭示了以线性和进行图像间运算而进行合成的示例，但是也可以按照照度差立体法来进行图像间运算。并且，在进行图像测量时，也可以在进行图像间运算之后，进行空间滤波(spatial filtering)处理。
(关于拍摄次数)
在第一具体例中，是设为尽发光部41的数量进行拍摄，但是当存在如下的图像数据81，即，由多个发光部41获得的图像数据81之中、从工件W与发光部41的位置关系考虑不利于部分区域图像数据Ri的生成的图像数据81时，也可以不进行使所述图像数据81所对应的发光部41点灯时的拍摄。具体来说，当与发光部41(x，y)相对应的第一发光参数ρi全部采用0的值时，也可以不生成所述发光部41(x，y)的图像数据。
此外，也可以从所有的照明参数中，求出基底矢量，作为共同的要素的一例，并利用基底矢量的线性和来对照明参数进行近似。由此，只要尽基底矢量的数量进行拍摄即可，因此能够减少拍摄次数。具体来说，在规定了三个部分区域ri，发光部41有四个的情况下，作为照明参数而设定为(1，2，-1，0)、(2，4，1，3)、(1，2，1，2)时，基底矢量为(1，2，0，1)及(0，0，1，1)。通过以与基底矢量相对应的参数进行拍摄，即进行两次拍摄，在所获得的图像数据上乘以预订的系数而进行相加或相减，来近似地求出在(1，2，-1，0)条件下所拍摄的图像数据、在(2，4，1，3)条件下所拍摄的图像数据、以及在(1，2，1，2)条件下所拍摄的图像数据。
附注
如以上所述，本实施方式包括如下所述的公开。
(结构1)
一种图像处理系统1，进行图像测量，所述图像处理系统1包括：
拍摄部8，拍摄对象物而生成图像数据；
照明部4，配置有多个用于对所述对象物照射照明光的发光部41；以及
生成部10，获取多个图像数据81，并且基于所获取的所述多个图像数据、及与所述图像数据内的位置相关联而规定的生成条件P，生成用于所述图像测量的图像数据R，所述多个图像数据81是通过在使所述多个发光部具有多个不同的发光状态的各个状态下所述拍摄部对所述对象物进行拍摄而生成。
(结构2)
根据结构1所述的图像处理系统，其中
所述生成条件P是针对所述图像数据内的包含邻接的多个像素的部分区域ri而规定，
所述生成部10针对每个所述部分区域生成与所述部分区域相对应的部分区域图像数据Ri，作为用于所述图像测量的图像数据R。
(结构3)
根据结构2所述的图像处理系统，其中所述生成部10是通过将针对每个所述部分区域ri而生成的多个所述部分区域图像数据Ri合成为一个图像数据，而生成用于所述图像测量的图像数据R。
(结构4)
根据结构2或结构3所述的图像处理系统，其中
所述生成部10包括：
控制部12，对所述照明部进行控制，以依次使多个所述发光部41之中的一个发光部发光122，并且对所述拍摄部进行控制，以使得对应于所述发光部的依次发光而拍摄所述对象物124；以及
合成处理部14，从所述拍摄部所生成的多个图像数据81中分别提取与生成对象的所述部分区域ri相对应的部分图像数据82i，142，并且按照第一参数集ρi，对所提取的多个所述部分图像数据82i进行合成，借此生成所述部分区域图像数据Ri，144，所述第一参数集ρi是针对每个所述部分区域规定了来自各发光部的影响的参数集。
(结构5)
根据结构4所述的图像处理系统，其中
所述生成部10还包括：
位置特定部162，根据所述图像数据81确定所述对象物的配置状况；以及
参数修正部164，对所述位置特定部所确定的所述对象物的配置状况、与获取所述第一参数集时的基准对象物的配置状况进行比较，求出所述对象物的移动量(ω，T)，并且基于所述移动量对所述第一参数集进行修正。
(结构6)
根据结构2或结构3所述的图像处理系统，其中
所述生成部10包括：
控制部12，按照规定所述多个发光状态的第二参数集Pi对所述照明部4进行控制，并且对所述拍摄部8进行控制以使得在各个发光状态下拍摄所述对象物W；以及
生成处理部18，从所述拍摄部8所生成的多个图像数据81之中的至少一个图像数据81i中，提取与生成对象的所述部分区域相对应的部分图像数据82i，并且基于所提取的所述部分图像数据82i生成所述部分区域图像数据Ri。
(结构7)
根据结构6所述的图像处理系统，其中
所述生成部10还包括：
位置特定部162，根据所述图像数据81确定所述对象物的配置状况；以及
参数修正部164，对所述位置特定部所确定的所述对象物的配置状况、与获取所述第二参数集时的基准对象物的配置状况进行比较，求出所述对象物的移动量(ω，T)，并且基于所述移动量对所述第二参数集进行修正。
(结构8)
根据结构4或结构5所述的图像处理系统，其中所述第一参数集ρi中所含的参数包含负值。
(结构9)
根据结构2～结构8中任一项所述的图像处理系统，其中所述部分区域ri是基于所述对象物的形状来规定(Q，U)。
(结构10)
根据结构1～结构9中任一项所述的图像处理系统，其中多个所述发光部41是以预订的位置为基准有规则地设置于所述照明部4。
(结构11)
一种图像处理程序132，用于进行在计算机100中执行的图像测量，所述计算机100是对拍摄对象物而输出图像数据81的拍摄装置8、及配置有多个用于对所述对象物照射照明光的发光部41的照明装置4进行控制，所述图像处理程序132是使计算机执行如下的功能：
功能(12)，获取多个图像数据，所述多个图像数据是通过在使所述多个发光部具有多个不同的发光状态的各个状态下所述拍摄装置拍摄所述对象物而生成；以及
功能(10)，基于所获取的所述多个图像数据81、及与所述图像数据内的位置相关联而规定的生成条件P，生成用于所述图像测量的图像数据R。
(结构12)
一种图像处理方法，进行图像测量，其中
使多个发光部41具有多个不同的发光状态，
在所述多个不同的发光状态的各个状态下拍摄对象物而获取多个图像数据81，12，
基于所获取的所述多个图像数据81、及与所述图像数据内的位置相关联而规定的生成条件P，生成用于所述图像测量的图像数据R。
应认为，这次所公开的各实施方式在所有方面都是例示而不起限制性的作用。本发明的范围是通过权利要求而不是所述说明来揭示，并且意图包括与权利要求同等的涵义及范围内的所有变更。而且，实施方式及各变形例中所说明的发明尽可能地意图既可单独地实施，也可组合起来实施。

Claims (12)

1.一种图像处理系统，进行图像测量，所述图像处理系统包括：
拍摄部，拍摄对象物而生成图像数据；
照明部，配置有多个用于对所述对象物照射照明光的发光部；以及
生成部，获取多个图像数据，并且根据所获取的所述多个图像数据、及与所述图像数据内的位置相关联而规定的生成条件，生成用于所述图像测量的图像数据，所述多个图像数据是通过在使所述多个发光部具有多个不同的发光状态的各个状态下所述拍摄部对所述对象物进行拍摄而生成。
2.根据权利要求1所述的图像处理系统，
所述生成条件是针对所述图像数据内的包含邻接的多个像素的每个部分区域来规定，
所述生成部针对每个所述部分区域生成与所述部分区域相对应的部分区域图像数据，作为所述用于所述图像测量的图像数据。
3.根据权利要求2所述的图像处理系统，
所述生成部通过将针对每个所述部分区域而生成的多个所述部分区域图像数据合成为一个图像数据，而生成所述用于所述图像测量的图像数据。
4.根据权利要求2或3所述的图像处理系统，
所述生成部包括：
控制部，对所述照明部进行控制，以依次使多个所述发光部之中的一个发光部发光，并且对所述拍摄部进行控制，以使得对应于所述发光部的依次发光而拍摄所述对象物；以及
合成处理部，从所述拍摄部所生成的多个图像数据中分别提取与生成对象的所述部分区域相对应的部分图像数据，并且按照第一参数集，对所提取的多个所述部分图像数据进行合成，借此生成所述部分区域图像数据，所述第一参数集是针对每个所述部分区域规定了来自各发光部的影响的参数集。
5.根据权利要求4所述的图像处理系统，
所述生成部还包括：
位置特定部，根据所述图像数据确定所述对象物的配置状况；以及
参数修正部，对所述位置特定部所确定的所述对象物的配置状况、与获取所述第一参数集时的基准对象物的配置状况进行比较，求出所述对象物的移动量，并且基于所述移动量对所述第一参数集进行修正。
6.根据权利要求2或3所述的图像处理系统，
所述生成部包括：
控制部，按照第二参数集对所述照明部进行控制，并且对所述拍摄部进行控制，以使得在各个发光状态下拍摄所述对象物，所述第二参数集是规定所述多个发光状态的参数集；以及
生成处理部，从所述拍摄部所生成的多个图像数据之中的至少一个图像数据中，提取与生成对象的所述部分区域相对应的部分图像数据，并且基于所提取的所述部分图像数据生成所述部分区域图像数据。
7.根据权利要求6所述的图像处理系统，
所述生成部还包括：
位置特定部，根据所述图像数据确定所述对象物的配置状况；以及
参数修正部，对所述位置特定部所确定的所述对象物的配置状况、与获取所述第二参数集时的基准对象物的配置状况进行比较，求出所述对象物的移动量，并且基于所述移动量对所述第二参数集进行修正。
8.根据权利要求4所述的图像处理系统，
所述第一参数集中所含的参数包含负值。
9.根据权利要求2所述的图像处理系统，
所述部分区域是基于所述对象物的形状来规定。
10.根据权利要求1所述的图像处理系统，
多个所述发光部是以预订的位置为基准有规则地设置于所述照明部。
11.一种包括图像处理程序的计算机可读记录介质，用于进行在计算机中执行的图像测量，所述计算机是对拍摄对象物而输出图像数据的拍摄装置、以及配置有多个用于对所述对象物照射照明光的发光部的照明装置进行控制，所述图像处理程序用于使计算机执行如下功能：
获取多个图像数据，所述多个图像数据是通过在使所述多个发光部具有多个不同的发光状态的各个状态下所述拍摄装置对所述对象物进行拍摄而生成；以及
基于所获取的所述多个图像数据、及与所述图像数据内的位置相关联而规定的生成条件，生成用于所述图像测量的图像数据。
12.一种图像处理方法，进行图像测量，所述图像处理方法，
使多个发光部具有多个不同的发光状态，
在所述多个不同的发光状态的各个状态下拍摄对象物而获取多个图像数据，
基于所获取的所述多个图像数据、及与所述图像数据内的位置相关联而规定的生成条件，生成用于所述图像测量的图像数据。
CN201811185741.6A 2017-12-15 2018-10-11 图像处理系统、计算机可读记录介质及图像处理方法 Active CN109931881B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017240594A JP6939501B2 (ja) 2017-12-15 2017-12-15 画像処理システム、画像処理プログラム、および画像処理方法
JP2017-240594 2017-12-15

Publications (2)

Publication Number Publication Date
CN109931881A true CN109931881A (zh) 2019-06-25
CN109931881B CN109931881B (zh) 2021-05-07

Family

ID=63832318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811185741.6A Active CN109931881B (zh) 2017-12-15 2018-10-11 图像处理系统、计算机可读记录介质及图像处理方法

Country Status (4)

Country Link
US (1) US10859506B2 (zh)
EP (1) EP3499408B1 (zh)
JP (1) JP6939501B2 (zh)
CN (1) CN109931881B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073785B2 (ja) * 2018-03-05 2022-05-24 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116274A (ja) * 2006-11-02 2008-05-22 Juki Corp 電子部品の三次元測定装置
US20100110180A1 (en) * 2008-11-04 2010-05-06 Omron Corporation Image processing device
US20110176067A1 (en) * 2010-01-19 2011-07-21 Disney Enterprises, Inc. Compensation for self-scattering on concave screens
JP2012037484A (ja) * 2010-08-11 2012-02-23 Sumitomo Chemical Co Ltd 形状評価方法
CN102654466A (zh) * 2009-05-13 2012-09-05 株式会社高永科技 对测量目标进行测量的方法
CN103444165A (zh) * 2011-03-15 2013-12-11 富士通先端科技株式会社 摄像装置、摄像方法以及摄像程序
US20140240536A1 (en) * 2013-02-28 2014-08-28 Kabushiki Kaisha Toshiba Solid-state imaging device and camera module
CN104075666A (zh) * 2013-03-28 2014-10-01 株式会社三丰 用于不规则表面边缘的增强型边缘检测工具
JP2014206388A (ja) * 2013-04-10 2014-10-30 オリンパス株式会社 撮像装置、画像処理装置及び画像処理方法
CN104279978A (zh) * 2013-07-12 2015-01-14 上海微电子装备有限公司 三维图形检测装置及测量方法
CN204404998U (zh) * 2015-01-06 2015-06-17 济南时代百超科技有限公司 一种自动检测装置
CN105143816A (zh) * 2013-04-19 2015-12-09 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
US20150355102A1 (en) * 2014-06-09 2015-12-10 Keyence Corporation Image Inspection Apparatus, Image Inspection Method, Image Inspection Program, Computer-Readable Recording Medium And Recording Device
CN105184765A (zh) * 2014-06-09 2015-12-23 株式会社其恩斯 检查设备、检查方法和程序
US20160261791A1 (en) * 2015-03-04 2016-09-08 Keyence Corporation Optical Displacement Measurement System, Imaging Condition Optimization Method, And Imaging Condition Optimization Program
CN106796721A (zh) * 2014-09-11 2017-05-31 赛博光学公司 三维轮廓测量中根据多个相机和源的点云合并
CN106821405A (zh) * 2017-01-23 2017-06-13 深圳先进技术研究院 一种x光机的参数标定方法、装置及系统
JP2017156212A (ja) * 2016-03-02 2017-09-07 キヤノン株式会社 検査装置、検査方法及び物品の製造方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3807721B2 (ja) * 2000-02-21 2006-08-09 シャープ株式会社 画像合成装置
US7171037B2 (en) * 2003-03-20 2007-01-30 Agilent Technologies, Inc. Optical inspection system and method for displaying imaged objects in greater than two dimensions
GB0424417D0 (en) * 2004-11-03 2004-12-08 Univ Heriot Watt 3D surface and reflectance function recovery using scanned illumination
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
KR100827119B1 (ko) * 2006-12-13 2008-05-06 삼성전자주식회사 입체 영상 서비스 시스템 및 방법과 입체 영상 생성 장치 및 입체 영상 출력장치
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
DE102008042145A1 (de) * 2008-09-17 2010-03-18 Robert Bosch Gmbh Verfahren und Messanordnung zum Bestimmen der Rad-oder Achsgeometrie eines Fahrzeugs
US9674458B2 (en) * 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
KR20120067888A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 스테레오 영상 처리 장치 및 그 방법
US20130202190A1 (en) * 2012-02-02 2013-08-08 Sheng-Chun Niu Image processing apparatus and image processing method
WO2013156530A1 (en) * 2012-04-18 2013-10-24 3Shape A/S 3d scanner using merged partial images
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
US20140192158A1 (en) * 2013-01-04 2014-07-10 Microsoft Corporation Stereo Image Matching
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
GB2526866A (en) * 2014-06-05 2015-12-09 Univ Bristol Apparatus for and method of inspecting surface topography of a moving object
JP6395456B2 (ja) 2014-06-09 2018-09-26 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6405124B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 検査装置、検査方法およびプログラム

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008116274A (ja) * 2006-11-02 2008-05-22 Juki Corp 電子部品の三次元測定装置
US20100110180A1 (en) * 2008-11-04 2010-05-06 Omron Corporation Image processing device
CN102654466A (zh) * 2009-05-13 2012-09-05 株式会社高永科技 对测量目标进行测量的方法
US20110176067A1 (en) * 2010-01-19 2011-07-21 Disney Enterprises, Inc. Compensation for self-scattering on concave screens
JP2012037484A (ja) * 2010-08-11 2012-02-23 Sumitomo Chemical Co Ltd 形状評価方法
CN103444165A (zh) * 2011-03-15 2013-12-11 富士通先端科技株式会社 摄像装置、摄像方法以及摄像程序
US20140240536A1 (en) * 2013-02-28 2014-08-28 Kabushiki Kaisha Toshiba Solid-state imaging device and camera module
CN104075666A (zh) * 2013-03-28 2014-10-01 株式会社三丰 用于不规则表面边缘的增强型边缘检测工具
JP2014206388A (ja) * 2013-04-10 2014-10-30 オリンパス株式会社 撮像装置、画像処理装置及び画像処理方法
CN105143816A (zh) * 2013-04-19 2015-12-09 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
CN104279978A (zh) * 2013-07-12 2015-01-14 上海微电子装备有限公司 三维图形检测装置及测量方法
US20150355102A1 (en) * 2014-06-09 2015-12-10 Keyence Corporation Image Inspection Apparatus, Image Inspection Method, Image Inspection Program, Computer-Readable Recording Medium And Recording Device
CN105184765A (zh) * 2014-06-09 2015-12-23 株式会社其恩斯 检查设备、检查方法和程序
CN106796721A (zh) * 2014-09-11 2017-05-31 赛博光学公司 三维轮廓测量中根据多个相机和源的点云合并
CN204404998U (zh) * 2015-01-06 2015-06-17 济南时代百超科技有限公司 一种自动检测装置
US20160261791A1 (en) * 2015-03-04 2016-09-08 Keyence Corporation Optical Displacement Measurement System, Imaging Condition Optimization Method, And Imaging Condition Optimization Program
JP2017156212A (ja) * 2016-03-02 2017-09-07 キヤノン株式会社 検査装置、検査方法及び物品の製造方法
CN106821405A (zh) * 2017-01-23 2017-06-13 深圳先进技术研究院 一种x光机的参数标定方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汪欢: "亚像素级图像配准及多波段图像合成真彩色图算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
郭剑桥: "多曝光融合算法研究及HDR图像合成与色调映射算法设计实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
EP3499408B1 (en) 2022-02-16
CN109931881B (zh) 2021-05-07
EP3499408A1 (en) 2019-06-19
US10859506B2 (en) 2020-12-08
JP6939501B2 (ja) 2021-09-22
JP2019109070A (ja) 2019-07-04
US20190187064A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
CN103630549B (zh) 检测晶片的系统和方法
CN105184765B (zh) 检查设备、检查方法和程序
CN104091766B (zh) 检测晶片的系统和方法
CN102412170B (zh) 多方向上反射的光源的采集系统和方法
EP2387796B1 (en) System and method for inspecting a wafer
Weinmann et al. A multi-camera, multi-projector super-resolution framework for structured light
TW201043949A (en) Inspection method
TWI699318B (zh) 電子零件搬送裝置及電子零件檢查裝置
CN109945794A (zh) 图像处理系统、计算机可读记录介质及图像处理方法
US8315457B2 (en) System and method for performing multi-image training for pattern recognition and registration
CN110033429A (zh) 图像处理系统
US11676366B1 (en) Methods to detect image features from variably-illuminated images
US9245375B2 (en) Active lighting for stereo reconstruction of edges
CN108093618A (zh) 通过比较3d高度轮廓与参照高度轮廓来检验贴装内容
CN109931881A (zh) 图像处理系统、计算机可读记录介质及图像处理方法
JP7231462B2 (ja) 画像検査システム及び画像検査方法
WO2019176614A1 (ja) 画像処理装置、画像処理方法、およびコンピュータプログラム
JP7514259B2 (ja) カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法
JP7306858B2 (ja) 画像検査システム及び画像検査方法
JP7231461B2 (ja) 画像検査システム及び画像検査方法
CN116818680A (zh) 文物病害自动检测方法
CN115511825A (zh) 一种基于线阵相机的表面缺陷视觉检测方法及装置
JPWO2019188198A1 (ja) 線状物の３次元計測装置、および、線状物の３次元計測方法
JP2020169949A (ja) 画像検査システム及び画像検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant