CN109945794A - 图像处理系统、计算机可读记录介质及图像处理方法 - Google Patents

图像处理系统、计算机可读记录介质及图像处理方法 Download PDF

Info

Publication number
CN109945794A
CN109945794A CN201811194958.3A CN201811194958A CN109945794A CN 109945794 A CN109945794 A CN 109945794A CN 201811194958 A CN201811194958 A CN 201811194958A CN 109945794 A CN109945794 A CN 109945794A
Authority
CN
China
Prior art keywords
image data
image
condition
image processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811194958.3A
Other languages
English (en)
Other versions
CN109945794B (zh
Inventor
加藤豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109945794A publication Critical patent/CN109945794A/zh
Application granted granted Critical
Publication of CN109945794B publication Critical patent/CN109945794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理系统、计算机可读记录介质及图像处理方法。本发明的目的在于与图像数据的位置相关联地，设定生成图像数据时的条件。图像处理装置按照照明条件使多个发光部具有多个不同的发光状态，获取在多个发光状态的各个状态下进行拍摄而获得的多个图像数据。图像处理装置基于与图像数据内的位置相关联而规定的生成条件，根据所获取的多个图像数据，生成用于图像测量的图像数据。在此种图像处理装置中，以使所生成的图像数据成为适合于图像测量的目的的图像数据的方式，来确定照明条件及生成条件之中的至少一者。

Description

图像处理系统、计算机可读记录介质及图像处理方法
技术领域
本发明涉及一种图像处理系统、计算机可读记录介质及图像处理方法。
背景技术
在工厂自动化(Factory Automation，FA)领域等之中，是使用如下的图像处理技术：在来自照明装置的光的照明下，拍摄对象物(以下也称为“工件(work)”)，根据所生成的图像数据获取工件的相关信息。
作为在图像处理技术领域内所使用的照明装置，已开发出多种多样的照明装置。例如，在日本专利特开2015-232487(专利文献1)中，公开了具备照明方向不同的多个照明灯的照明装置。
并且，在确定照明条件的方法中，通常有如下的方法：用户改变照明条件，进行反复试验而设定；改变照明模式而获取多个图像数据，对所获得的图像数据进行评估。
现有技术文献
专利文献
专利文献1日本专利特开2015-232487号公报
发明内容
发明所要解决的问题
在确定照明条件时，是以针对一个图像数据，确定一个照明条件作为前提。但是，在包含多个照明灯的照明装置中，根据对象物的表面形状，从一个照明灯照射的光的入射角在每个表面区域内都不同。由此，可认为，即使在对相同的对象物从相同的照明灯照射光的情况下，在每个表面区域内，基于所述光而测量的图像测量的精度也不同。例如，可认为，即使在相同的照明条件下，即便以高精度获得一个区域的表面形状，其它区域的表面形状的测量精度也会降低。
发明人发现，即使是相同的对象物，在对象物的每个表面区域内最佳的照明条件也会不同，所以必须与表面区域所对应的图像数据的位置相关联地，设定生成图像数据时的条件。
本发明的目的在于提供一种能够与图像数据的位置相关联地，设定生成图像数据时的条件的图像处理系统、图像处理程序及图像处理方法。
解决问题的技术手段
根据本公开的一例，提供一种进行图像测量的图像测量系统。图像测量系统包括：拍摄部，拍摄对象物而输出图像数据；照明部，配置有多个用于将照明光照射至对象物的发光部；控制部，对所述照明部进行控制，以按照照明条件使多个发光部具有多个不同的发光状态，并且对拍摄部进行控制，以使得在多个不同的发光状态的各个状态下拍摄对象物；生成部，基于与图像数据内的位置相关联而规定的生成条件，根据在多个不同的发光状态的各个状态下拍摄所得的多个图像数据，生成用于图像测量的图像数据；以及确定部，以使生成部生成适合于图像测量的目的的图像数据的方式，确定照明条件及生成条件之中的至少一者。
根据所述公开，能够与图像数据内的位置而不是与整个图像数据相关联地，确定适合于图像测量的照明条件及合成条件之中的至少一者，所以能够与图像数据的位置相关联地，设定生成图像数据时的条件。
在所述公开中，也可以是：确定部以使图像数据所表示的基准对象物的外观的状态与已知的外观的状态相一致的方式，来确定照明条件及生成条件之中的至少一者，所述图像数据是根据多个基准图像数据通过生成部而生成，所述多个基准图像数据是对外观的状态为已知的所述基准对象物在多个不同的发光状态的各个状态下进行拍摄而获得。
根据所述公开，可以按照成为标准的基准对象物的相关信息来确定照明条件及生成条件之中的至少一者，所以能够生成准确地表示外观的状态的图像数据。
在所述公开中，也可以是：确定部以使成本函数所表示的值最大化的方式，确定照明条件及合成条件之中的至少一者，所述成本函数中包含表示对生成部所生成的图像数据进行图像测量时的测量精度的因子。
根据所述公开，能够针对图像数据的每个部分区域而不是针对整个图像数据，进行高测量精度的图像测量。
在所述公开中，也可以是：成本函数还包括表示生成部所生成的图像数据中所含的像素之间的连续性的因子。
根据所述公开，在成本函数中不但包含表示测量精度的因子，而且包含表示图像数据中所含的像素之间的连续性的因子，所以在确定照明条件及合成条件之中的至少一者的条件时，能够防止局部性地最佳化。
在所述公开中，照明条件也可以包含依次使多个发光部之中的一个发光部发光。生成条件也可以包含针对多个图像数据而分别规定的与图像数据内的位置相关联的合成参数，所述多个图像数据是对应于发光部的依次发光而拍摄所得。生成部也可以通过按照针对多个图像数据而分别规定的合成参数，对所述多个图像数据进行合成，而生成用于图像测量的图像数据。确定部也可以确定针对多个图像数据而分别规定的合成参数。
根据所述公开，照明条件是依次使多个发光部之中的一个发光部发光，是固定的条件。即，确定部只要仅确定合成参数即可，所以能够与确定照明条件及生成条件两者的情况相比使处理减轻。并且，当发光部的数量多，发光状态的模式有多个时，无需改变发光状态，而只要改变对在规定的多个发光状态下拍摄所得的多个图像数据进行合成的条件，就可以确定合成参数。
在所述公开中，照明条件也可以包含针对图像数据内的每个位置而规定的多个发光部的发光状态。生成条件也可以包含如下条件：从多个图像数据之中、在与图像数据内的关注位置相对应的发光状态下拍摄所得的一个图像数据中，提取与所述关注位置相对应的部分图像数据，所述多个图像数据是在针对图像数据内的每个位置而规定的发光状态的各个状态下拍摄所得。生成部也可以通过针对图像数据内的每个位置提取部分图像数据，而生成用于图像测量的图像数据。确定部也可以确定针对图像数据内的每个位置而规定的多个发光部的发光状态。
根据所述公开，生成条件是从在关注位置所对应的发光状态下拍摄的一个图像数据中，提取与所述关注位置相对应的部分图像数据，是固定的条件。即，确定部只要仅确定针对图像数据内的每个位置而规定的多个发光部的发光状态即可，与确定照明条件及生成条件两者的情况相比能够使处理减轻。并且，当发光部的数量少，发光状态的模式少时，可以改变发光状态的模式，针对图像数据内的每个位置容易地确定适当的发光状态。
在所述公开中，生成条件也可以针对图像数据内的包含邻接的多个像素的部分区域而规定。生成部也可以针对每个部分区域生成与所述部分区域相对应的部分区域图像数据，作为用于图像测量的图像数据。确定部也可以针对各个部分区域图像数据，分别确定生成条件及照明条件之中的至少一者。
根据所述公开，针对包含多个像素的每个部分区域，确定生成条件及照明条件，所以与针对每个像素而确定的情况相比可使处理减轻。
根据本公开的另一例，提供一种包括图像处理程序的计算机可读记录介质，用于进行在计算机中执行的图像测量，所述计算机是对拍摄对象物而输出图像数据的拍摄装置、以及配置有多个用于对所述对象物照射照明光的发光部的照明装置进行控制。图像处理程序是使计算机执行如下的功能：对照明装置进行控制，以按照照明条件使多个发光部具有多个不同的发光状态；对拍摄装置进行控制，以使得在多个不同的发光状态的各个状态下拍摄对象物；基于与图像数据内的位置相关联而规定的生成条件，根据在多个不同的发光状态的各个状态下拍摄所得的多个图像数据，生成用于图像测量的图像数据；以及以生成适合于图像测量的目的的图像数据的方式，确定照明条件及生成条件之中的至少一者。
根据所述公开，能够与图像数据内的位置而不是与整个图像数据相关联地，确定适合于图像测量的照明条件及合成条件之中的至少一者，所以能够与图像数据的位置相关联地设定生成图像数据时的条件。
根据本公开的另一例，提供一种进行图像测量的图像处理方法。图像处理方法是按照照明条件使多个发光部具有多个不同的发光状态，在多个不同的发光状态的各个状态下拍摄对象物而获取多个图像数据，基于与图像数据内的位置相关联而规定的生成条件，根据在多个不同的发光状态的各个状态下拍摄所得的多个图像数据，生成用于图像测量的图像数据，并且以生成适合于图像测量的目的的图像数据的方式，确定照明条件及生成条件之中的至少一者。
根据所述公开，能够与图像数据内的位置而不是与整个图像数据相关联地，确定适合于图像测量的照明条件及合成条件之中的至少一者，所以能够与图像数据的位置相关联地，设定生成图像数据时的条件。
发明的效果
能够与图像数据的位置相关联地，设定生成图像数据时的条件。
本公开的以上所述及其它的目的、特征、方面及优点将通过与附图相关联来理解的关于本发明的如下详细说明来明确。
附图说明
图1是示意性地表示本实施方式的图像处理系统1的应用场景的图。
图2是表示本发明的实施方式的图像处理系统的基本结构的示意图。
图3是表示照明装置的结构的图。
图4是表示图像处理装置的硬件结构的示意图。
图5是用于说明第一具体例中的图像测量的流程的图。
图6(A)～图6(C)是用于说明第一具体例中的第一参数集的位置修正的图。
图7是表示第一具体例中的图像测量所使用的图像处理装置的功能结构的图。
图8是用于说明第一具体例中的第一参数集的确定方法的图。
图9是表示第一具体例中的确定第一参数集时的图像处理装置的功能结构的图。
图10是用于说明第二具体例中的图像测量的流程的图。
图11的(1)及图11的(2)是用于说明第二具体例中的第二参数集的位置修正的图。
图12是表示第二具体例中的图像测量所使用的图像处理装置的功能结构的图。
图13是用于说明第二具体例中的第二参数集的确定方法的图。
图14是表示第二具体例中的确定第二参数时的图像处理装置的功能结构的图。
图15是用于说明部分区域ri的规定方法的变形例的图。
符号的说明
1：图像处理系统
4：照明装置
6：外部存储器
8：相机
10：生成部
12：控制部
14：合成处理部
16：修正部
20：图像测量部
41：发光部
48：开口部
81：图像数据
82：部分图像数据
100：图像处理装置
110：CPU
120：主存储器
122：照明控制部
124：拍摄控制部
130：硬盘
132：图像处理程序
134：设定程序
136：照明参数DB
138：设定用参数DB
140：照明I/F
142：提取部
144：生成部
160：外部存储器I/F
162：位置特定部
164：参数修正部
180：相机I/F
190：总线
ri：部分区域
Ri：部分区域图像数据
W：工件
具体实施方式
一边参照附图，一边对本发明的实施方式进行详细说明。再者，对图中的相同部分或相当部分标注相同符号，并且不对其进行重复说明。
§1应用例
首先，参照图1，对应用本发明的场景的一例进行说明。图1是示意性地表示本实施方式的图像处理系统1的应用场景的图。
图像处理系统1包括作为拍摄部的一例的相机8、作为照明部的一例的照明装置4、对相机8及照明装置4进行控制的控制部12、根据相机8拍摄所得的图像数据81生成用于图像测量的图像数据R的生成部10、以及以使生成部10生成适合于图像测量的目的的图像数据R的方式而确定用于生成图像数据R的条件的确定部30。控制部12、生成部10及确定部30例如设置于具有按照通用的计算机体系结构(computer architecture)的构造的图像处理装置100上。
相机8是以在拍摄视场内包含工件W的至少一部分的方式而配置。在照明装置4中，配置有多个用于对工件W照射照明光的发光部41。一个发光部41可以包含一个光源，或者也可以包含多个光源。并且，一个发光部41中所含的光源的种类也可以是一种，此外还可以是多种。
控制部12按照照明条件对多个发光部41的发光状态进行控制，使发光部41具有多个不同的发光状态。并且，控制部12对相机8进行控制，以使得在不同的多个发光状态的各个状态下拍摄对象物。即，通过控制部12对照明装置4及相机8进行控制，而使得图像处理装置100能够获取在不同的发光状态下所拍摄的对象物(即工件W)的多个图像数据81。在这里，所谓发光状态不同，是指从各发光部41照射的光的亮度及波长之中的至少任一者不同。例如，如果从一个发光部41照射的光的亮度及波长之中的至少任一者不同，那么即使从所述一个发光部41以外的发光部41照射的光的亮度及波长都相等，也可以说发光状态不同。
生成部10获取在不同的发光状态下进行拍摄而获得的多个图像数据81。生成部10基于与图像数据的位置相关联而规定的生成条件，根据所获取的多个图像数据81，生成用于图像测量的图像数据R。
所谓“与图像数据内的位置相关联而规定”，包括通过图像数据内的像素来规定的情况、以及与在图像数据内所反映的工件W的位置相关联而规定的情况。
确定部30确定生成条件及照明条件之中的至少一者，作为用于生成图像数据R的条件。确定部30例如不断对生成条件和/或照明条件进行拟合，以使得改变生成条件和/或照明条件的结果为，由生成部10获得的图像数据R成为适合于图像测量的目的的图像数据。
在这里，所谓“适合于图像测量的目的的图像数据”，是指准确地表示实际的工件W的表面形状的图像数据、噪点(noise)少的图像数据、以及能够准确地提取想要作为检查而提取的特征量的图像数据等。具体来说，在进行瑕疵检查时，使想要识别为瑕疵的部位清楚地反映出来、使不想识别为瑕疵的部位不反映为瑕疵的图像数据，就是适合于图像测量的目的的图像数据。
确定部30例如可以采用循环法、利用神经网络的方法、爬山法等各种拟合方法。
并且，确定部30也可以通过预先存储多个照明条件和/或生成条件的模式，从所存储的模式中，以使生成部10生成适合于图像测量的目的的图像数据R的方式进行选择，来确定照明条件和/或生成条件。
在这里，所谓照明条件，是指用于对拍摄工件W时的发光状态进行规定的条件，例如，包含对从各发光部41照射的光的发光强度进行规定的条件。并且，生成条件包括：从在多个发光状态的各个状态下拍摄所得的多个图像数据81之中特定的图像数据81中，提取规定的区域的图像数据；以及从多个图像数据81之中的多个图像数据81的各个中分别提取规定的区域的图像数据，并且按照预先设定的合成参数进行合成而生成一个图像数据。
在图1的示例中，生成条件是针对每个图像数据81的位置(x，y)而规定的条件P的集合。确定部30例如也可以通过如下方式来确定生成条件：使照明条件固定，以使如下的图像数据R成为适合于图像测量的目的的图像数据的方式，针对每个图像数据81的位置(x，y)而设定条件P，所述图像数据R是生成部10根据在所述照明条件下所获得的多个图像数据81而生成。
并且，也可以是：作为照明条件，针对每个图像数据81的位置(x，y)设定相对应的发光状态，生成部10通过从在多个发光状态之中、与关注位置(x，y)相对应的发光状态下拍摄所得的图像数据81中，提取与关注位置(x，y)相对应的数据，来生成用于图像测量的图像数据R。在此种情况下，确定部30也可以如下的方式，即，以使与关注位置(x，y)相对应的数据适合于图像测量的目的的方式来确定发光状态，并针对每个关注位置(x，y)确定发光状态。
如上所述，在图像处理系统1中，确定部30能够与图像数据81的位置而不是与整个图像数据81相关联地，确定生成图像数据时的条件。由此，能够针对与工件W的表面区域相对应的每个图像数据81的位置，生成适合于图像测量的目的的图像数据。
再者，以下，为了便于说明，设为如下情况来进行说明：针对图像数据81内的包含邻接的多个像素的部分区域ri内所含的多个像素的各个像素，规定了共同的生成条件。
§2具体例
以下，作为本发明的更具体的一个应用例，对本实施方式的图像处理系统1的更详细的结构及处理进行说明。
A.图像处理系统1的基本结构
图2是表示本发明的实施方式的图像处理系统1的基本结构的示意图。图像处理系统1包括图像处理装置100、相机8及照明装置4，作为主要的结构要素。图像处理装置100、相机8与照明装置4是相互可进行数据通信地连接着。
照明装置4是以检查对象物(以下也称为“工件W”)的至少一部分位于照明装置4的照射区域的方式而配置。再者，以如下的方式来配置照明装置4：当利用带式输送机(beltconveyor)之类的搬运装置搬运工件W时，搬运装置的至少一部分位于照射区域。在图2的示例中，工件W是包括锥形(taper)部W1及平面部W2的呈四棱锥台的形状的物体。再者，工件W的形状为一例，图像处理系统1可用于任意的工件W。
相机8是以如下的方式而配置：工件W的至少一部分位于相机8的拍摄视场内，而且，照明装置4的照射区域的至少一部分包含在相机8的拍摄视场内。相机8拍摄存在于拍摄视场内的被摄物，并将通过拍摄而获得的图像信号(可包括一个或多个静态图像及动态图像)输出至图像处理装置100。相机8是拍摄部的一例，是将规定的拍摄视场中所含的光转换成图像信号的光电转换器，典型的情况包括透镜或光圈等光学系统、及电荷耦合器件(Charge Coupled Device，CCD)影像传感器(image sensor)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)影像传感器等受光元件。
在图2的示例中，配置成工件W、照明装置4与相机8相互位于同轴上。在照明装置4上，设置有开口部48(参照图3)，以使得相机8能够从照明装置4的上部拍摄工件W。相机8配置成通过开口部48而使工件W包含在拍摄视场内。再者，工件W、照明装置4与相机8的位置关系为一例，也可以不相互位于同轴上。例如，也可以是将照明装置4配置在图纸的右侧，将相机8配置在图纸的左侧的结构。
图像处理装置100负责整个图像处理系统1的处理。例如，图像处理装置100对照明装置4及相机8进行控制，并且基于从相机8输出的图像信号，进行工件W上有无缺陷或污染的检查，工件W的大小、配置或方向等的测量，工件W表面上的文字或图形等的识别之类的图像处理。
再者，在图2的示例中，是设为一个装置执行对照明装置4及相机8进行控制的功能及进行图像处理的功能，但是图像处理系统1也可以针对每个功能具备各别的装置。例如，图像处理系统1也可以具备对照明装置4进行控制的照明控制装置、对相机8进行控制的拍摄控制装置及进行图像处理的装置。并且，其它装置也可以具备一个功能。
B.照明装置4的结构
参照图3，对照明装置4的结构进行说明。图3是表示照明装置4的结构的图。照明装置4包含多个发光部41。在图3的示例中，照明装置4包含共计34个发光部41。并且，在照明装置4的中央，设置有开口部48，以能够从照明装置4的上部拍摄工件W。
在图3的示例中，各发光部41是以预定的位置为基准有规则地排列在照明装置4上。例如，在图3的示例中，以构成照明装置4的边及点之中的一个点为基准纵向及横向地有规则地排列着发光部41。再者，也能够以开口部48为基准，将发光部41呈圆形排列在开口部48的周围。
为了使光从各种角度入射至工件W，发光部41彼此的间隔尽可能越窄越好。并且，优选的是多个发光部41分别具有彼此相同的结构，并且，优选的是将各发光部41配置在相同的高度。
在本实施方式中，为了便于说明，将照明装置4的短边设为x轴，将长边设为y轴，利用坐标(x，y)对照明装置4中所含的多个发光部41分别进行区分。
图像处理装置100能够对多个发光部41分别独立地进行控制。例如，图像处理装置100能够仅使一部分发光部41点灯，而使其它发光部41熄灯。并且，图像处理装置100能够使多个发光部41以各不相同的发光强度点灯。
在本实施方式中，是设为从各发光部41将共同的波长的照明光照射至工件W。再者，也可以是如下的结构：能够将从发光部41照射的照明光的波长控制成在多个发光部41中各不相同。
并且，在本实施方式中，是举出四边形的照明装置4作为示例，但是也可以是环状的照明装置。并且，也可以是包含有机电致发光器件(Electro Luminescence，EL)的穿透型的照明装置。当使用穿透型的照明装置时，不需要设置如本实施例的开口部48。并且，也可以是穹顶形状的照明装置。并且，图像处理系统1虽然优选的是具备能够将相机8、照明装置4及工件W配置在同轴上的照明装置4，但是也可以具备无法将所述构件配置在同轴上的照明装置4。
C.图像处理装置100的硬件结构
图4是表示图像处理装置100的硬件结构的示意图。图像处理装置100包括中央处理器(Central Processing Unit，CPU)110、主存储器120、硬盘130、相机接口(interface，I/F)180、照明I/F 140及外部存储器I/F 160。所述各部经由总线190，而相互可进行数据通信地连接着。
CPU 110通过在主存储器120内展开安装在硬盘130内的包含图像处理程序132及设定程序134的程序(代码(code))，并以规定顺序执行这些程序，来实施各种运算。主存储器120典型的是动态随机存取存储器(Dynamic Random Access Memory，DRAM)等易失性存储装置。
硬盘130是图像处理装置100所具备的内部存储器，是非易失性的存储装置。包括图像处理程序132、设定程序134、照明参数数据库(database)(DB)136及设定用参数DB138。再者，也可以除了硬盘130以外，或者取代硬盘130，采用闪速存储器(flash memory)等半导体存储装置。
相机I/F 180负责CPU 110与相机8之间的数据传输。即，相机I/F 180与生成图像数据的相机8连接。并且，相机I/F 180按照来自CPU 110的内部命令，发出对连接着的相机8中的拍摄动作进行控制的命令。
照明I/F140负责CPU 110与照明装置4之间的数据传输。即，照明I/F 140与照明装置4连接。并且，照明I/F 140按照来自CPU 110的内部命令，发出对连接着的照明装置4中所含的多个发光部41的各自的点灯进行控制的命令。再者，照明装置4也可以经由相机8与图像处理装置100连接。并且，相机8也可以经由照明装置4与图像处理装置100连接。
外部存储器I/F 160与外部存储器6连接，进行针对外部存储器6的数据的读入/写入的处理。外部存储器6相对于图像处理装置100可拆装，典型的是通用串行总线(Universal Serial Bus，USB)存储器、存储卡(memory card)等非易失性的存储装置。并且，图像处理程序132或设定程序134等各种程序及照明参数DB136或设定用参数DB138等各种参数DB不必保存在硬盘130中，也可以保存在能够与图像处理装置100进行通信的服务器(server)、能够与图像处理装置100直接连接的外部存储器6中。例如，在外部存储器6中存储着图像处理装置100中所执行的各种程序及各种程序中所使用的各种参数的状态下进行流通，外部存储器I/F 160从所述外部存储器6读取各种程序及各种参数。或者，也可以将从服务器等下载的程序或参数安装至图像处理装置100，所述服务器是与图像处理装置100可进行通信地连接着。
再者，本实施方式的图像处理程序132及设定程序134也可以是编入至其它程序的一部分而提供的程序。
并且，还可以取而代之，将通过执行图像处理程序132及设定程序134而提供的功能的一部分或全部封装为专用的硬件电路。
概要
当利用工件W的外观图像通过图像处理来进行工件W的外观检查时，通过根据照明装置4、相机8与工件W的位置关系及工件W的材质、想要检测的瑕疵的种类等检查项目等，改变所照射的光的强度及所照射的光的波长，可以获取与检查相对应的图像数据。
先前，在相对于工件W不移动相机8而进行图像处理时，是对一次拍摄，设定一个照明条件。但是，照明装置4、相机8与工件W的位置关系在工件W的每个区域都不同。因此，即使在一次拍摄中，能够从某个区域的图像数据中提取适合于检查的特征量，也有可能无法从其它区域的图像数据中提取适合于检查的特征量。
例如，即使在相机8的拍摄视场内，相机8的视线方向、来自照明装置4的光的放射方向也因位置而不同。并且，根据工件W的形状，相机8的视线方向、来自照明装置4的光的放射方向因位置而不同。因此，在相机8的拍摄视场内之中的任一位置上，都无法同时实现成为适合于检查的图像数据。
本实施方式中的图像处理系统1能够通过针对拍摄视场内的每个位置生成适合于图像测量的目的的图像数据，而在图像数据内的所有位置上获取适合于检查的图像数据。
第一具体例
对第一具体例进行说明，所述第一具体例是用于在拍摄视场内的所有位置上都获取适合于检查的图像数据而进行图像测量的示例。在第一具体例的图像处理系统1中，相机8改变照明条件而生成多个图像数据81。图像处理装置100通过针对图像数据81中所规定的每个部分区域ri，从多个图像数据81中分别提取与部分区域ri相对应的部分图像数据82，并按照针对每个部分区域ri而规定的第一参数集ρi对多个部分图像数据82进行合成，而生成部分区域图像数据Ri。并且，图像处理装置100对所生成的部分区域图像数据Ri进行图像测量。
(图像测量的流程)
参照图5，对第一具体例中的图像处理系统1所进行的图像测量的流程进行说明。图5是用于说明第一具体例中的图像测量的流程的图。
图像处理装置100使多个发光部41逐个地依次发光，并对应于发光部41的依次发光，拍摄对象物而获取图像数据81。例如，图像处理装置100从相机8获取如下的图像数据81，即，在只使发光部41(x1，y1)以规定的发光强度点灯的发光状态1下拍摄所得的图像数据81(x1，y1)、及在只使发光部41(x2，y1)以规定的发光强度点灯的发光状态2下拍摄所得的图像数据81(x2，y1)等。再者，以下，将使发光部41(x，y)以规定的发光强度点灯的点灯条件下进行拍摄而获得的图像数据81表达为图像数据81(x，y)。
图像数据81包含预先规定的多个部分区域ri。所述部分区域ri相当于相机8的拍摄视场的一部分。图像处理装置100从多个图像数据81(x，y)中分别提取与生成对象的部分区域ri相对应的部分图像数据82i(x，y)。图像处理装置100通过按照第一参数集ρi，对从多个图像数据81(x，y)中分别提取的多个部分图像数据82i(x，y)进行合成，而针对每个部分区域ri生成部分区域图像数据Ri，所述第一参数集ρi是针对每个部分区域ri规定了来自各发光部41的影响的参数集。
所谓针对每个部分区域ri规定了来自各发光部41的影响的第一参数集ρi，是例如相对地表示如下情况的参数集：在不同发光状态的各个状态下拍摄而获得的多个图像数据81(x，y)的部分区域ri所对应的各部分图像数据82i(x，y)是否是适合于图像测量的目的的图像数据。是否适合于图像测量的目的，例如可以通过如下的方式来判断：应该获得的特征量是否包含于部分图像数据82i(x，y)中，不应获得的特征量是否包含于部分图像数据82i(x，y)中，等等。
尽管从基于由发光部41(x1，y1)照射的光而生成的图像数据81(x1，y1)之中的部分区域r1中所含的部分图像数据821(x1，y1)中，可提取适合于图像测量的特征量，但是从基于由发光部41(x5，y1)照射的光而生成的图像数据81(x5，y1)之中、部分区域r1内所含的部分图像数据821(x5，y1)中，则有时会提取不适合于图像测量的特征量。这是由于如下原因而产生：与区域ri相对应的工件W的表面区域、相机8与发光部41的位置关系在发光部41(x1，y1)与发光部41(x5，y1)中不同。在这种情况下，第一参数集ρi可设定为如下：提取适合于图像测量的特征量的部分图像数据821(x1，y1)的影响增大，提取不适合于图像测量的特征量的部分图像数据821(x5，y1)的影响减小。
例如，第一参数集ρi是针对每个图像数据81(x，y)而设定的第一参数ρi(x，y)的集合。图像处理装置100针对每个部分区域ri分别具备所述第一参数集ρi。图像处理装置100例如基于以下的式(1)，算出部分区域图像数据Ri。
数式1
Ri＝∑x，yρi(x，y)×ri(x，y) 式(1)
图像处理装置100基于所获得的部分区域图像数据Ri进行图像测量。例如，图像处理装置100提取所获得的部分区域图像数据Ri中所含的特征量，并基于所述特征量，对工件W的表面状态进行测量。
在这里，是设为当利用第一参数集ρi合成部分区域图像数据Ri时以线性和(linearsum)来进行合成，但是合成方法并不限于此。例如，也可以通过求出多个线性和，并相互进行乘法或除法来进行合成。并且，第一参数集ρi既可以是正值，也可以是负值。而且，也可以在合成时的运算中使用最大值或最小值。并且，在进行图像测量时，也可以各别地评估部分区域图像数据Ri，并且，还可以对所有部分区域图像数据Ri进行合成，而生成相机8的整个拍摄视场的图像数据之后进行图像测量。
(第一参数集ρi的修正)
图像处理装置100也可以根据工件W的拍摄视场内的配置状况，对第一参数集ρi进行修正。例如，在设定第一参数集ρi时的工件W的拍摄视场内的配置状况与测量时的工件W的拍摄视场内的配置状况不同的情况下，尽管发光部41与工件W的位置关系和设定第一参数集ρi时不同，也对第一参数集ρi不加以修正而进行使用时，图像测量的精度就会比本来的精度下降。
图6(A)～图6(C)是用于说明第一具体例中的第一参数集ρi的位置修正的图。例如，如图6(A)所示，设为在设定第一参数集ρi时，针对如下的位置，即，位于工件W的区域a的上部的发光部41(x，y)拍摄所得的图像数据81(x，y)的区域a所对应的图像数据81(x，y)内的位置，设定了第一参数ρa(x，y)。这时，如图6(B)所示，在测量时工件W的配置状况发生变化，发光部41(x′，y′)变为位于工件W的区域a的上部。在测量时，通过将针对发光部41(x′，y′)拍摄所得的图像数据81(x′，y′)的区域a所对应的图像数据81(x′，y′)内的位置的第一参数ρa(x′，y′)修正为第一参数ρa(x，y)，可以设定工件W与发光部41的位置关系所对应的第一参数ρa。
在这里，(x，y)与(x′，y′)的关系例如可通过式(2)来表示。
数式2
(x′，y′)＝ω×(x，y)+T 式(2)
如图6(C)所示，ω是表示设定时的工件W在测量时已旋转何种程度的旋转成分，例如，通过旋转矢量来表示。并且，T是表示工件W的中心已平行移动何种程度的平移(translation)成分。再者，第一参数集ρi也可以通过已知的其它方法来修正。
(第一具体例中的图像测量所使用的图像处理装置的功能结构)
图7是表示第一具体例中的图像测量所使用的图像处理装置100的功能结构的图。图像处理装置100包括生成部10及图像测量部20。生成部10获取多个图像数据81，并根据多个图像数据81，生成部分区域图像数据Ri，所述多个图像数据81是在使照明装置4中所含的多个发光部41的发光状态不同的多个照明条件下进行拍摄而获得。
生成部10也可以包括：控制部12，对照明装置4及相机8分别进行控制；以及合成处理部14，根据多个图像数据81(x，y)，合成部分区域图像数据Ri，所述多个图像数据81(x，y)是按照来自控制部12的控制，相机8进行拍摄而生成。
控制部12例如包括：照明控制部122，对照明装置4进行控制，以使发光部41逐个地依次发光；以及拍摄控制部124，对相机8进行控制，以使得对应于发光部41的依次发光而拍摄工件W。
合成处理部14例如包括：提取部142，从相机8所生成的多个图像数据81(x，y)的各个图像数据中，提取与合成对象的部分区域ri相对应的部分图像数据82i(x，y)；以及合成部144，通过按照与部分区域ri相对应的第一参数集ρi，对所提取的多个部分图像数据82i(x，y)进行合成，而生成部分区域图像数据Ri。
并且，生成部10也可以包括修正部16，所述修正部16根据工件W的配置状况，对关于部分区域图像数据Ri的生成的条件进行修正。在第一具体例中，修正部16根据工件W的配置状况对第一参数集ρi进行修正。修正部16包括：位置特定部162，确定工件W的配置状况；以及参数修正部164，基于位置特定部162所确定的工件W的配置状况，并基于工件W从成为基准的工件W的配置状况已移动何种程度，对关于部分区域图像数据Ri的生成的条件进行修正。在第一具体例中，参数修正部164是对第一参数集ρi进行修正。第一参数集ρi例如存储在照明参数DB136中。
成为基准的工件W的配置状况例如是设定第一参数集ρi时的工件W的配置状况。设定时的工件W的配置状况例如是将工件W的重心位置、相机8与照明装置4配置在同轴上的状况。
在第一具体例中，合成处理部14也可以按照参数修正部164所修正的参数集ρ'i，生成部分区域图像数据Ri。
并且，生成部10也可以确定包含工件W的区域，只生成位于包含工件W的区域内的部分区域ri所对应的部分区域图像数据Ri。这样一来，能够减少生成部分区域图像数据Ri的数量，从而能够减轻生成部10所执行的处理。
图像测量部20对部分区域图像数据Ri进行图像测量并输出图像测量结果。图像测量部20例如，也可以针对每个部分区域图像数据Ri提取特征量，并基于所述特征量，测量工件W的外观。并且，也可以在对所生成的多个部分区域图像数据Ri全部进行合成之后，提取特征量，并基于所述特征量，测量工件W的外观。图像测量结果的输出目的地可列举基于图像测量结果而进行规定的控制的控制装置、便携式终端、印刷器、显示器等的显示部、存储器等的存储部等。
(第一参数集ρi的确定方法)
图8是用于说明第一具体例中的第一参数集ρi的确定方法的图。第一参数集ρi是以使按照第一参数集ρi而生成的图像数据R成为适合于图像测量的目的的图像数据的方式来确定。
所谓“适合于图像测量的目的的图像数据”，例如在图像测量的目的是调查有无瑕疵的检查的情况下，是指在具有瑕疵的区域内包含规定的特征量，在无瑕疵的区域内不含所述特征量的图像数据。
作为确定方法，例如是以使图像数据R所表示的教学用样品的外观的状态与实际的教学用样品Wk的外观的状态相一致的方式，对第一参数集ρi进行拟合，所述图像数据R是根据拍摄外观的状态为已知的教学用样品Wk所获得的图像数据而生成。再者，即使不使用教学用样品Wk，例如，在根据特征量是否超过预定的阈值，而将图像测量结果分成两个结果的情况下，也可以采用特征量与阈值相偏离的值的方式来确定第一参数集ρi。即，当对多个样品进行图像测量时，也能够以如下的方式来确定第一参数集ρi：使从成为第一结果的集合中所含的样品中提取的特征量、与从成为第二结果的集合中所含的样品中提取的特征量成为相偏离的值。
再者，以下，以如下的方法为例进行说明：拍摄外观的状态为已知的教学用样品Wk，以使所述教学用样品Wk的实际的外观的状态与图像数据R所表示的教学用样品的外观的状态相一致的方式，来确定第一参数集ρi。
图像处理装置100是使多个发光部41逐个地依次发光，并基于多个图像数据81，确定第一参数集ρi，所述多个图像数据81是对应于发光部41的依次发光，拍摄外观的状态为已知的教学用样品Wk而获得。图像处理装置100例如是通过对第一参数集ρi进行拟合，以使得预先设定的成本函数E(ρi)所表示的值为最大，来确定第一参数集ρi。
成本函数E(ρi)包括函数f(ρi)及函数g(ρi)，所述函数f(ρi)是表示部分区域图像数据Ri与邻接的部分区域图像数据Ri+1、部分区域图像数据Ri-1的连续性的函数，所述函数g(ρi)是表示对部分区域图像数据Ri进行图像测量时的测量精度的函数。在成本函数E(ρi)中，可以通过将常数α及常数β乘以各函数，来表示在确定第一参数集ρi的方面，注重关于部分区域图像数据Ri的连续性的因子(factor)与关于测量精度的因子之中的哪个因子。
对关于测量精度的函数进行详细说明。例如，考虑如下情况：对于外观是否存在瑕疵，提取特征量，如果特征量超过预先设定的阈值，就判定为有瑕疵，如果特征量未达阈值就判断为无瑕疵。这时，关于测量精度的函数是如下的函数：与有瑕疵的部分区域ri相对应的部分区域图像数据Ri中所含的特征量越大，并且，与无瑕疵的部分区域ri相对应的部分区域图像数据Ri中所含的特征量越小，函数g(ρi)所表示的值就越大。
关于测量精度的函数g(ρi)例如，可利用式(3)来表示。
数式3
g(ρi)＝∑ik[Sik×Var(∑x，yρi(x，y)×ri(x，y))] 式(3)
Sik是教师教学用数据，是表示在教学用样品Wk中的相当于部分区域ri的表面上是否有瑕疵的值。Sik在教学用样品Wk中的相当于部分区域ri的表面上有瑕疵时为“S＝1”，在无瑕疵时为“S＝-1”。并且，所谓Var，是指图像的浓度分散、或使浓度分散二进制化的值，并且是部分区域图像数据Ri内的像素值的浓度分散、或使浓度分散二进制化的值。再者，作为Var，也可以是部分区域图像数据Ri中所含的特征量。
通过在成本函数E(ρi)中包含表示连续性的函数f(ρi)，可以防止使第一参数集ρi局部性地最佳化。
在图8所示的示例中，是设为在成本函数E(ρi)中包含表示连续性的函数f(ρi)，但是也可以不含表示连续性的函数f(ρi)。并且，在调整第一参数集ρi时，可以采用按照梯度法的方法、利用神经网络(neural network)的方法等各种已知的方法。
(第一具体例中的确定第一参数集ρi时的图像处理装置的功能结构)
图9是表示第一具体例中的确定第一参数集ρi时的图像处理装置100的功能结构的图。图像处理装置100包括控制部12、合成处理部14及确定部30，所述控制部12是对照明装置4及相机8分别进行控制，所述合成处理部14是根据多个图像数据81(x，y)，合成部分区域图像数据Ri，所述多个图像数据81(x，y)是相机8按照控制部12所进行的控制进行拍摄而生成。
控制部12例如，包括：照明控制部122，对照明装置4进行控制，以使发光部41逐个地依次发光；以及拍摄控制部124，对相机8进行控制，以使得对应于发光部41的依次发光而拍摄工件W。
确定部30包括按照成本函数E(ρi)运算成本E的运算部32、对条件进行拟合以使成本E的值增大的调整部34、以及确定条件的条件确定部36。在条件中，包含第一参数集ρi，所谓第一参数集ρi，换言之，就是针对每个图像数据81的位置而规定的合成参数集。在第一具体例中，调整部34对第一参数ρi进行拟合，条件确定部36针对每个部分区域ri确定第一参数集ρi。
合成处理部14例如包括：提取部142，从相机8所生成的多个图像数据81(x，y)的各个图像数据中，提取与合成对象的部分区域ri相对应的部分图像数据82i(x，y)；以及合成部144，通过按照与部分区域ri相对应的第一参数集ρi，对所提取的多个部分图像数据82i(x，y)进行合成，来生成部分区域图像数据Ri。
运算部32按照调整部34所调整的第一参数集ρi，使合成部144根据提取部142所提取的多个部分图像数据82，生成部分区域图像数据Ri，并根据合成部144所生成的部分区域图像数据Ri及提取部142所提取的部分图像数据82，算出成本E。
调整部34基于运算部32所算出的成本E，对第一参数集ρi进行调整。条件确定部36对运算部32所算出的成本E进行评估，确定第一参数集ρi，并将所确定的第一参数集ρi作为照明参数DB136，保存在作为存储部的一例的硬盘130中。
在第一具体例中，是举出针对每个部分区域ri设置第一参数集ρi的情况作为示例，但是也可以针对每个像素设置第一参数集ρi。并且，第一参数集ρi只要是与图像数据81的位置相关联而规定即可，例如，也可以是与位置相关联而连续的函数。
第二具体例
对第二具体例进行说明，所述第二具体例是用于在拍摄视场内的任一位置上都获取适合于检查的图像数据而进行图像测量的示例。在第一具体例中，是设为通过从照明条件不同的多件图像数据81的各个图像数据中提取部分图像数据82，按照第一参数集ρi对所提取的多个部分图像数据82进行合成而生成部分区域图像数据Ri。
在第二具体例中，图像处理装置100按照针对每个部分区域ri而设定的表示发光状态的第二参数集Pi，针对每个部分区域ri，变更发光状态而拍摄工件W，并根据所获得的图像数据81，生成与部分区域ri相对应的部分区域图像数据Ri。
(图像测量的流程)
参照图10，说明第二具体例中的图像处理系统1所进行的图像测量的流程。图10是用于说明第二具体例中的图像测量的流程的图。
图像处理装置100按照对多个发光部41的发光状态进行规定的第二参数集Pi，对照明装置4进行控制。具体来说，第二参数集Pi是表示每个发光部41(x，y)的发光强度的参数，在第二参数集Pi中，包含表示针对每个发光部41(x，y)而设置的发光部41(x，y)的发光强度的第二参数Pi(x，y)。
第二参数集Pi是针对图像数据81中所规定的每个部分区域ri而设置。图像处理装置100按照针对每个部分区域ri而设置的各个第二参数集Pi对照明装置4进行控制，并按照各第二参数Pi改变发光状态。相机8在各发光状态下拍摄对象物，并生成图像数据81i。图像处理装置100从在各照明条件下所生成的图像数据81i中，提取与部分区域ri相对应的部分图像数据82i作为部分区域图像数据Ri。图像处理装置100对所生成的部分区域图像数据Ri进行图像测量并输出图像测量结果。
例如，当生成与部分区域ri相对应的部分区域图像数据Ri时，图像处理装置100使照明装置4的各发光部41(x，y)的发光强度照明装置4的各发光部41(x，y)以与第二参数集Pi相对应的发光强度进行发光。图像处理装置100从在所述照明条件下进行拍摄而生成的图像数据81i中，提取与部分区域ri相对应的部分图像数据作为部分区域图像数据Ri。
(第二参数集Pi的修正)
图像处理装置100也可以根据工件W的拍摄视场内的配置状况，对第二参数集Pi进行修正。例如，在设定第二参数集Pi时的工件W的拍摄视场内的配置状况与测量时的工件W的拍摄视场内的配置状况不同的情况下，尽管发光部41与工件W的位置关系和设定第二参数集Pi时不同，也对第二参数集Pi不加以修正而进行使用时，图像测量的精度就会比本来的精度下降。
图11的(1)及图11的(2)是用于说明第二具体例中的第二参数集Pi的位置修正的图。例如，如图11的(1)所示，当设定第二参数集Pi时，以使发光部41(x1，y1)按照第二参数Pa(x1，y1)点灯，使发光部41(x2，y1)按照第二参数Pa(x2，y1)点灯的方式，针对多个发光部41分别设定了第二参数Pa(x，y)，作为生成与工件W的区域a相对应的部分区域ra的部分区域图像Ra时的照明条件。
在这种情况下，设为在测量时工件W的配置状况发生变化，与工件W的区域a相对应的部分区域ra的位置与设定时相比在平行方向上移动了T，在旋转方向上移动了ω。即，工件W与照明装置的位置关系在平行方向上变化了相当于T的程度，在旋转方向上变化了相当于ω的程度。
图像处理装置100能够通过根据所述位置关系的变化，重新设定第二参数Pa(x，y)与发光部41(x，y)的关系，来对第二参数集Pi进行修正。
例如，设为在设定时设定了使发光部41(x，y)以第二参数Pa(x，y)发光的情况。在这种情况下，第二参数Pa(x，y)可由发光强度La及发光部41(x，y)来表达。修正后的Pa(x′，y′)可由式(4)来表达。
数式4
Pa(x′，y′)＝La{ω×(x，y)+T} 式(4)
在这里，ω及T所表示的系数等于式(2)的ω及T所表示的系数，所以省略说明。
(第二具体例中的图像测量所使用的图像处理装置100的功能结构)
图12是表示第二具体例中的图像测量所使用的图像处理装置100的功能结构的图。图像处理装置100包括生成部10及图像测量部20。
生成部10也可以包括：控制部12，对照明装置4及相机8分别进行控制；以及生成处理部18，根据多个图像数据81之中的至少一个图像数据81，生成与生成对象的部分区域ri相对应的部分区域图像数据Ri，所述多个图像数据81是相机8按照控制部12所进行的控制进行拍摄而生成。
控制部12包括对照明装置4进行控制的照明控制部122、以及对相机8进行控制的拍摄控制部124。照明控制部122按照针对每个部分区域ri而设定的第二参数集Pi，对多个发光部41(x，y)的各自的发光强度进行控制。拍摄控制部124在按照第二参数集Pi对照明装置4进行了控制时，使相机8拍摄工件W而生成图像数据81i。
生成处理部18生成与拍摄图像数据81i的照明条件相对应的第二参数集Pi所对应的部分区域ri所对应的图像数据，作为部分区域图像数据Ri。
并且，生成部10也可以包括根据工件W的配置状况，对部分区域图像数据Ri的生成的相关条件进行修正的修正部16。在第二具体例中，修正部16根据工件W的配置状况，对第二参数集Pi进行修正。修正部16包括：位置特定部162，确定工件W的配置状况；以及参数修正部164，基于位置特定部162所确定的工件W的配置状况，并基于工件W从成为基准的工件W的配置状况移动了何种程度，来对部分区域图像数据Ri的生成的相关条件进行修正。在第二具体例中，参数修正部164是对第二参数集Pi进行修正。第二参数集Pi例如存储在照明参数DB136中。
成为基准的工件W的配置状况例如是设定第二参数集Pi时的工件W的配置状况。设定时的工件W的配置状况例如是将工件W的重心位置、相机8与照明装置4配置在同轴上的状况。
照明控制部122也可以按照参数修正部164所修正的第二参数集P'i对照明装置4的发光状态进行控制。
并且，生成部10也可以确定包含工件W的区域，只在位于包含工件W的区域内的部分区域ri所对应的部分区域图像数据Ri所对应的照明条件下进行拍摄。这样一来，可以减少拍摄次数，从而能够减轻生成部10所执行的处理。
(第二参数集Pi的确定方法)
图13是用于说明第二具体例中的第二参数集Pi的确定方法的图。第二参数集Pi是以使根据图像数据81而生成的图像数据R成为适合于图像测量的目的的图像数据的方式来确定，所述图像数据81是按照所述第二参数集Pi对照明装置4进行控制，在各发光状态下进行拍摄而获得。
所谓“适合于图像测量的目的的图像数据”，例如，在图像测量的目的是调查有无瑕疵的检查的情况下，是指在具有瑕疵的区域内包含规定的特征量，在无瑕疵的区域内不含所述特征量的图像数据。
作为确定方法，与第一具体例同样地，是对第二参数集Pi进行拟合，以使得图像数据R所表示的外观的状态与教学用样品Wk的实际的外观的状态相一致，所述图像数据R是基于对外观的状态为已知的教学用样品Wk进行拍摄而获得的图像数据81而生成。并且，即使不使用教学用样品Wk，例如，在根据特征量是否超过规定的阈值，而将图像测量结果分成两个结果的情况下，也能够以采用特征量与阈值相偏离的值的方式，来确定第二参数集Pi。
再者，以下，以如下的方法为例进行说明：以图像数据R所表示的外观的状态与教学用样品Wk的实际的外观的状态相一致的方式来确定第二参数集Pi，所述图像数据R是基于对教学用样品Wk进行拍摄而获得的图像数据81而生成。
图像处理装置100基于图像数据81，确定第二参数集Pi，所述图像数据81是在按照适当的第二参数集Pi使发光部41点灯的状态下拍摄外观的状态为已知的教学用样品Wk而获得。图像处理装置100是通过以使成本函数E(Pi)所表示的值为最大的方式改变照明条件，并对第二参数集Pi进行拟合，来确定第二参数集Pi。
在第二具体例中，成本函数E(Pi)包括表示对部分区域图像数据Ri进行图像测量时的测量精度的函数g(Pi)。表示测量精度的函数g(Pi)与第一具体例中的函数g(ρi)同样，是如下的函数：与有瑕疵的部分区域ri相对应的部分区域图像数据Ri中所含的特征量越大，并且，与无瑕疵的部分区域ri相对应的部分区域图像数据Ri中所含的特征量越小，关于一致程度的函数所表示的值越大。
关于测量精度的函数g(Pi)例如可通过式(5)来表示。
数式5
g(Pi)＝∑ik[Sik×Var(∑x，yPi(x，y)×ri(x，y))] 式(5)
Sik是教师教学用数据，是表示在教学用样品Wk中的相当于部分区域ri的表面上是否有瑕疵的值。Sik在教学用样品Wk中的相当于部分区域ri的表面上有瑕疵时为“S＝1”，在无瑕疵时为“S＝-1”。并且，所谓Var，是指使图像的浓度分散、或使浓度分散二进制化的值，并且是部分区域图像数据Ri内的像素值的浓度分散、或使浓度分散二进制化的值。再者，作为Var，也可以是部分区域图像数据Ri中所含的特征量。
在这里，当确定第二参数集Pi时，针对部分区域图像数据Ri，以使从所述部分区域图像数据Ri获得的成本Ei为最大的方式，来确定第二参数集Pi。
再者，在计算第二参数集Pi时，也可以通过循环地改变多个发光部41的各自的发光强度而循环地求出，并且，还可以利用按照爬山法的方法调整第二参数集Pi而求出。
(第二具体例中的确定第二参数集Pi时的图像处理装置的功能结构)
图14是表示第二具体例中的确定第二参数Pi时的图像处理装置100的功能结构的图。图像处理装置100包括控制部12、生成处理部18及确定部30，所述控制部12是对照明装置4及相机8分别进行控制，所述生成处理部18是根据多个图像数据81(x，y)之中的至少一个图像数据81，生成与生成对象的部分区域ri相对应的部分区域图像数据Ri，所述多个图像数据81(x，y)是相机8按照控制部12所进行的控制进行拍摄而生成。
第二具体例中的控制部12例如包括：照明控制部122，按照已指定发光部41的第二参数集Pi对照明装置4进行控制；以及拍摄控制部124，对相机8进行控制，以使得在按照所指定的第二参数集Pi进行了控制的照明条件下拍摄工件W。
第二具体例中的照明控制部122是按照针对每个部分区域ri而设定的第二参数Pi，对照明装置4进行控制。将相机8在按照第二参数Pi对照明装置4进行了控制的照明条件下进行拍摄而获得的图像数据81，也称为图像数据81i。
确定部30包括按照成本函数E(Pi)运算成本E的运算部32、对条件进行拟合以使成本E的值增大的调整部34、以及确定条件的条件确定部36。在第二具体例中，在条件中包含第二参数集Pi。在第二具体例中，调整部34对第二参数Pi进行拟合，条件确定部36针对每个部分区域ri，确定第二参数集Pi。
生成处理部18例如从相机8所生成的多个图像数据81i中，提取与部分区域ri相对应的部分图像数据82i，而生成部分区域图像数据Ri。
运算部32根据部分区域图像数据Ri而算出成本E，所述部分区域图像数据Ri是生成处理部18根据图像数据81而生成，所述图像数据81是在按照调整部34所调整的第二参数集Pi进行了控制的照明条件下拍摄所得。
调整部34基于运算部32所算出的成本E，对第二参数集Pi进行调整。具体来说，调整部34对第二参数集Pi进行重新设定，以使得成本E增大，并在按照所述重新设定的第二参数集Pi的照明条件下再次拍摄教学用样品Wk，而获取图像数据81。基于所获取的图像数据81，条件确定部36对运算部32所算出的成本E进行评估，确定第二参数集Pi，并将所确定的第二参数集Pi作为照明参数DB136，保存在作为存储部的一例的硬盘130中。
在第二具体例中，是举出针对每个部分区域ri设定第二参数集Pi的情况作为示例，但是也可以针对每个像素设定第二参数集Pi。并且，第二参数集Pi只要是与图像数据81的位置相关联而规定即可，例如，也可以是与位置相关联的连续的函数。
使用例
在本实施方式中，是设为根据在不同的照明条件下拍摄所得的多个图像数据81之中的至少一个图像数据81生成部分区域图像数据Ri，但是也可以按照照度差立体法的计算，求出部分区域ri中所含的工件W的表面的法线矢量。
由于可以不改变相机8的位置与工件W的位置关系，而获得照明条件各不相同的多个图像数据81，所以能够通过利用按照照度差立体法的运算方法对图像数据81进行处理，而求出工件W表面的法线矢量。即，与照明条件经固定的图像处理系统1相比，本实施方式中的图像处理系统1能够更多地获取关于工件W的信息。
并且，第一具体例中的图像测量和第二具体例中的图像测量都是在不同的照明条件下对工件W进行拍摄，获取多个图像数据81之后，基于多个图像数据81之中的至少一个图像数据81，针对每个部分区域ri生成部分区域图像数据Ri。因此，能够在整个拍摄视场(整个图像数据81)内，设定适当的照明条件。
变形例
(关于部分区域ri)
在本实施方式中，关于部分区域ri，是设为在图像数据81中以固定间隔而规定的区域。图15是用于说明部分区域ri的规定方法的变形例的图。例如，也可以是逐个像素地进行规定。并且，也可以如图15的示例所示，基于工件W对部分区域ri进行规定。例如，也可以使用工件W的模型图像(计算机辅助设计(computer-aided design，CAD)数据)来进行规定。具体来说，也可以求出工件W表面的法线矢量，将法线方向为共同的区域分割为一个区域。在图15中，区域r1、区域r2、区域r3、区域r4、区域r5是法线方向各不相同的区域，区域r5～区域r8是法线方向为共同的区域。并且，也可以根据法线方向为共同的一个区域的面积，进一步进行分割。在进行分割时，优选的是将法线方向急遽变化的界线Q设定为部分区域ri的界线。并且，具有一定程度以上的面积的区域优选的是分割成多个。例如，在图15所示的示例中，虽然区域r5～区域r8的法线方向彼此共同，但是如果区域r5～区域r8的总面积为特定的面积值以上，就利用界线U加以分割。
并且，在第一具体例中，也可以在使发光部41逐个点灯之后，获取图像数据81，并针对各图像数据81内的相对应的每个区域提取浓度矢量之后，将所提取的浓度矢量的相关性高的范围设定为一个部分区域ri。
(参数的设定方法)
在设定第一参数集ρi或第二参数集Pi时，也可以减少部分区域ri的数量之后，进行拟合后，增加部分区域ri的数量并再次进行拟合。这样一来，能够缩短拟合的时间。
当使用教学用样品Wk时，教学用样品Wk的数量可以为任意数量。也可以通过改变教学用样品Wk的姿势进行拍摄，来减少教学用样品Wk的数量。并且，教学用样品Wk优选的是能够在法线方向不同的每个区域内进行合格表面与不合格表面的组合。即，当针对具备法线方向为不同的两个表面的工件W设定参数时，优选的是使用第一表面为不合格表面、第二表面为合格表面的样品及第二表面为不合格表面、第一表面为合格表面的样品来进行设定。
在第一具体例中，成本函数E(ρi)是设为包含关于测量精度的函数g(ρi)及关于连续性的函数f(ρi)，但是也可以是只包含关于测量精度的函数g(ρi)的函数。此外，在第二具体例中，成本函数E(Pi)也是设为包含关于测量精度的函数g(Pi)，但是除了函数g(Pi)以外，还可以包含关于连续性的函数f(Pi)。
并且，在设定第一参数集ρi时，在第一具体例中，是举出对部分区域图像数据Ri之间的连续性与测量精度进行同时评估的示例，但是也可以通过针对每个部分区域ri以使测量精度最高的方式而设定第一参数集ρi之后，使部分区域ri内的第一参数集ρi缓慢变化，来进行修正以使与邻接的部分区域图像数据Ri的连续性提高。
并且，也可以与第一参数集ρi及第二参数集Pi无关而另外地，设定用于合成各部分区域图像数据Ri的条件。在本实施方式中，有可能在与部分区域图像数据Ri的界线部分产生间隙，由于所述间隙而导致测量精度下降。为了填埋所述间隙，也可以设定用于合成各部分区域图像数据Ri的条件。
并且，也可以针对每个部分区域ri设定第一参数集ρi或第二参数集Pi之后，针对位于各部分区域ri之间的每个像素，以减少部分区域ri之间的间隙的方式重新设定第一参数集ρi或第二参数集Pi，。
(合成方法)
在本实施方式中，公开了以线性和进行图像间运算而进行合成的示例，但是也可以按照照度差立体照度差立体法来进行图像间运算。并且，在进行图像测量时，也可以在进行图像间运算之后，进行空间滤波(spatial filtering)处理。
(关于拍摄次数)
在第一具体例中，是设为尽发光部41的数量进行拍摄，但是当存在如下的图像数据81，即，由多个发光部41获得的图像数据81之中、从工件W与发光部41的位置关系考虑不利于部分区域图像数据Ri的生成的图像数据81时，也可以不进行使所述图像数据81所对应的发光部41点灯时的拍摄。具体来说，当与发光部41(x，y)相对应的第一发光参数ρi全部采用0的值时，也可以不生成所述发光部41(x，y)的图像数据。
此外，也可以从所有的照明参数中，求出基底矢量，作为共同的要素的一例，并利用基底矢量的线性和来对照明参数进行近似。由此，只要尽基底矢量的数量进行拍摄即可，因此能够减少拍摄次数。具体来说，在规定了三个部分区域ri，发光部41有四个的情况下，作为照明参数而设定为(1，2，-1，0)、(2，4，1，3)、(1，2，1，2)时，基底矢量为(1，2，0，1)及(0，0，1，1)。通过以与基底矢量相对应的参数进行拍摄，即进行两次拍摄，在所获得的图像数据上乘以预定的系数而进行相加或相减，来近似地求出在(1，2，-1，0)条件下拍摄所得的图像数据、在(2，4，1，3)条件下拍摄所得的图像数据、以及在(1，2，1，2)条件下拍摄所得的图像数据。
附注
如以上所述，本实施方式包括如下所述的公开。
(结构1)
一种图像测量系统1，进行图像测量，其包括：
拍摄部8，拍摄对象物W而输出图像数据；
照明部4，配置有多个用于对所述对象物照射照明光的发光部41；
控制部12，对所述照明部进行控制，以按照照明条件对所述多个发光部的发光状态进行控制，使所述发光部具有多个不同的发光状态，并且对所述拍摄部进行控制，以使得在所述多个不同的发光状态的各个状态下拍摄所述对象物；
生成部10，基于与所述图像数据内的位置相关联而规定的生成条件P，根据在所述多个不同的发光状态的各个状态下拍摄所得的多个图像数据，生成用于所述图像测量的图像数据R；以及
确定部30，以使所述生成部10生成适合于所述图像测量的目的的图像数据的方式，确定所述照明条件及所述生成条件之中的至少一者。
(结构2)
根据结构1所述的图像处理系统，其中所述确定部30以使图像数据所表示的基准对象物的外观的状态与已知的外观的状态相一致的方式，而确定所述照明条件及所述生成条件之中的至少一者，所述图像数据是所述生成部根据多个基准图像数据81而生成，所述多个基准图像数据81是对所述外观的状态为已知的所述基准对象物Wk在所述多个不同的发光状态的各个状态下进行拍摄而获得。
(结构3)
根据结构1及结构2所述的图像测量系统，其中所述确定部30是以使成本函数E的值最大化的方式，确定所述照明条件及所述生成条件之中的至少一者，所述成本函数E中包含表示对所述生成部所生成的图像数据R进行图像测量时的测量精度的因子g。
(结构4)
根据结构3所述的图像测量系统，其中所述成本函数E还包含表示所述生成部所生成的图像数据中所含的像素之间的连续性的因子f。
(结构5)
根据结构1～结构3中任一项所述的图像处理系统，其中
所述照明条件包含依次使多个所述发光部之中的一个发光部发光，
所述生成条件包含针对多个图像数据而分别规定的与所述图像数据内的位置相关联的合成参数ρi，所述多个图像数据是对应于所述发光部的依次发光而拍摄所得，
所述生成部通过按照针对所述多个图像数据而分别规定的所述合成参数，对所述多个图像数据进行合成，而生成用于所述图像测量的图像数据14，
所述确定部确定针对所述多个图像数据而分别规定的所述合成参数36。
(结构6)
根据结构1～结构4中任一项所述的图像处理系统，其中
所述照明条件包含针对所述图像数据内的每个位置而规定的所述多个发光部的发光状态Pi，
所述生成条件包含如下的条件：从多个图像数据之中、在与所述图像数据内的关注位置相对应的发光状态下拍摄所得的一个图像数据中，提取与所述关注位置相对应的部分图像数据82，所述多个图像数据是在针对所述图像数据内的每个位置而规定的发光状态的各个状态下拍摄所得18，
所述生成部通过针对所述图像数据内的每个位置提取所述部分图像数据，而生成用于所述图像测量的图像数据R，18，
所述确定部确定针对所述图像数据内的每个位置而规定的所述多个发光部的发光状态Pi，36。
(结构7)
根据结构1～结构6中任一项所述的图像处理系统，其中
所述生成条件是针对所述图像数据内的包含邻接的多个像素的部分区域ri而规定，
所述生成部针对每个所述部分区域，生成与所述部分区域相对应的部分区域图像数据Ri，作为用于所述图像测量的图像数据R，
所述确定部30针对各个所述部分区域图像数据，分别确定所述生成条件及所述照明条件之中的至少一者。
(结构8)
一种图像处理程序132、134，用于进行在计算机100中执行的图像测量，所述计算机100是对拍摄对象物W而输出图像数据的拍摄装置8、及配置有多个用于对所述对象物W照射照明光的发光部41的照明装置4进行控制，
所述图像处理程序132、134是使计算机执行如下的功能：
功能(122)，对所述照明装置进行控制，以按照照明条件对所述多个发光部的发光状态进行控制，使所述发光部具有多个不同的发光状态；
功能(124)，对所述拍摄装置进行控制，以使得在所述多个不同的发光状态的各个状态下拍摄所述对象物；
功能(10)，基于与所述图像数据内的位置相关联而规定的生成条件P，根据在所述多个不同的发光状态的各个状态下拍摄所得的多个图像数据81，生成用于所述图像测量的图像数据R；以及
功能(30)，以生成适合于所述图像测量的目的的图像数据R的方式，确定所述照明条件及所述生成条件之中的至少一者。
(结构9)
一种图像处理方法，进行图像测量，其中
按照照明条件使多个发光部41具有多个不同的发光状态4、122，
在所述多个不同的发光状态的各个状态下拍摄对象物而获取多个图像数据81，8、124，
基于与所述图像数据内的位置相关联而规定的生成条件P，根据在所述多个不同的发光状态的各个状态下拍摄所得的多个图像数据，生成用于所述图像测量的图像数据R，10，
以生成适合于所述图像测量的目的的图像数据的方式，确定所述照明条件及所述生成条件之中的至少一者30。
应认为，这次所公开的各实施方式在所有方面都是例示而不起限制性的作用。本发明的范围是通过权利要求而不是所述说明来公开，并且意图包括与权利要求同等的涵义及范围内的所有变更。而且，实施方式及各变形例中所说明的发明尽可能地意图既可单独地实施，也可组合起来实施。

Claims (9)

1.一种图像处理系统，进行图像测量，所述图像处理系统包括：
拍摄部，拍摄对象物而输出图像数据；
照明部，配置有多个用于对所述对象物照射照明光的发光部；
控制部，对所述照明部进行控制，以按照照明条件使所述多个发光部具有多个不同的发光状态，并且对所述拍摄部进行控制，以使得在所述多个不同的发光状态的各个状态下拍摄所述对象物；
生成部，基于与所述图像数据内的位置相关联而规定的生成条件，根据在所述多个不同的发光状态的各个状态下拍摄所得的多个图像数据，生成用于所述图像测量的图像数据；以及
确定部，以使所述生成部生成适合于所述图像测量的目的的图像数据的方式，确定所述照明条件及所述生成条件之中的至少一者。
2.根据权利要求1所述的图像处理系统，
所述确定部是以使图像数据所表示的基准对象物的外观的状态与已知的外观的状态相一致的方式，来确定所述照明条件及所述生成条件之中的至少一者，所述图像数据是根据多个基准图像数据通过所述生成部而生成，所述多个基准图像数据是对所述外观的状态为已知的所述基准对象物在所述多个不同的发光状态的各个状态下进行拍摄而获得。
3.根据权利要求1或2所述的图像处理系统，
所述确定部是以使成本函数的值最大化的方式，来确定所述照明条件及所述生成条件之中的至少一者，所述成本函数中包含表示对所述生成部所生成的图像数据进行所述图像测量时的测量精度的因子。
4.根据权利要求3所述的图像处理系统，
所述成本函数还包括表示所述生成部所生成的图像数据中所含的像素之间的连续性的因子。
5.根据权利要求1或2所述的图像处理系统，
所述照明条件包括依次使多个所述发光部之中的一个发光部发光，
所述生成条件包括针对多个图像数据而分别规定的与所述图像数据内的位置相关联的合成参数，所述多个图像数据是对应于所述发光部的依次发光而拍摄所得，
所述生成部通过按照针对所述多个图像数据而分别规定的所述合成参数，对所述多个图像数据进行合成，而生成所述用于所述图像测量的图像数据，
所述确定部确定针对所述多个图像数据而分别规定的所述合成参数。
6.根据权利要求1或2所述的图像处理系统，
所述照明条件包括针对所述图像数据内的每个位置而规定的所述多个发光部的发光状态，
所述生成条件包括：从多个图像数据之中、在与所述图像数据内的关注位置相对应的发光状态下拍摄所得的一个图像数据中，提取与所述关注位置相对应的部分图像数据，所述多个图像数据是在针对所述图像数据内的每个位置而规定的发光状态的各个状态下拍摄所得，
所述生成部通过针对所述图像数据内的每个位置提取所述部分图像数据，而生成所述用于所述图像测量的图像数据，
所述确定部确定针对所述图像数据内的每个位置而规定的所述多个发光部的发光状态。
7.根据权利要求1或2所述的图像处理系统，
所述生成条件是针对所述图像数据内的包含邻接的多个像素的每个部分区域而规定，
所述生成部针对每个所述部分区域生成与所述部分区域相对应的部分区域图像数据，作为所述用于所述图像测量的图像数据，
所述确定部针对各个所述部分区域图像数据，分别确定所述生成条件及所述照明条件之中的至少一者。
8.一种包括图像处理程序的计算机可读记录介质，用于进行在计算机中执行的图像测量，所述计算机是对拍摄对象物而输出图像数据的拍摄装置、以及配置有多个用于对所述对象物照射照明光的发光部的照明装置进行控制，所述图像处理程序用于使计算机执行如下的功能：
对所述照明装置进行控制，以按照照明条件使所述多个发光部具有多个不同的发光状态；
对所述拍摄装置进行控制，以使得在所述多个不同的发光状态的各个状态下拍摄所述对象物；
基于与所述图像数据内的位置相关联而规定的生成条件，根据在所述多个不同的发光状态的各个状态下拍摄所得的多个图像数据，生成用于所述图像测量的图像数据；以及
以生成适合于所述图像测量的目的的图像数据的方式，确定所述照明条件及所述生成条件之中的至少一者。
9.一种图像处理方法，进行图像测量，所述图像处理方法，
按照照明条件使多个发光部具有多个不同的发光状态，
在所述多个不同的发光状态的各个状态下拍摄对象物而获取多个图像数据，
基于与所述图像数据内的位置相关联而规定的生成条件，根据在所述多个不同的发光状态的各个状态下拍摄所得的多个图像数据，生成用于所述图像测量的图像数据，
以生成适合于所述图像测量的目的的图像数据的方式，确定所述照明条件及所述生成条件之中的至少一者。
CN201811194958.3A 2017-12-15 2018-10-15 图像处理系统、计算机可读记录介质及图像处理方法 Active CN109945794B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-240595 2017-12-15
JP2017240595A JP7056131B2 (ja) 2017-12-15 2017-12-15 画像処理システム、画像処理プログラム、および画像処理方法

Publications (2)

Publication Number Publication Date
CN109945794A true CN109945794A (zh) 2019-06-28
CN109945794B CN109945794B (zh) 2021-01-22

Family

ID=64023923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811194958.3A Active CN109945794B (zh) 2017-12-15 2018-10-15 图像处理系统、计算机可读记录介质及图像处理方法

Country Status (4)

Country Link
US (1) US10853935B2 (zh)
EP (1) EP3499178B1 (zh)
JP (1) JP7056131B2 (zh)
CN (1) CN109945794B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019132966A (ja) * 2018-01-31 2019-08-08 コニカミノルタ株式会社 画像形成装置
JP2020020680A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、撮像装置、センシングモジュール
IT201900005536A1 (it) * 2019-04-10 2020-10-10 Doss Visual Solution S R L Metodo di acquisizione immagini per una macchina di ispezione ottica
JP7516219B2 (ja) 2020-11-19 2024-07-16 株式会社ミツトヨ 測定装置、制御装置、制御方法及びプログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0953999A (ja) * 1995-08-11 1997-02-25 Furukawa Electric Co Ltd:The 光式外力検知装置
CN1759298A (zh) * 2003-03-12 2006-04-12 法国原子能委员会 通过单视角背照射逆光照相法测量三维物体的方法
CN1849616A (zh) * 2003-09-09 2006-10-18 皇家飞利浦电子股份有限公司 用于为多个照明装置生成更换时间表的自动生成系统
CN101013028A (zh) * 2006-01-31 2007-08-08 欧姆龙株式会社 图像处理方法以及图像处理装置
CN101151522A (zh) * 2005-03-28 2008-03-26 芝浦机械电子株式会社 变形硅晶片的表面检查方法和检查装置
CN103075979A (zh) * 2011-10-26 2013-05-01 卢存伟 三维表面检测装置及三维表面检测方法
CN103548417A (zh) * 2011-04-19 2014-01-29 皇家飞利浦有限公司 Oln光变化/优化系统
CN103575739A (zh) * 2012-07-19 2014-02-12 东京威尔斯股份有限公司 外观检查装置及外观检查方法
CN104574393A (zh) * 2014-12-30 2015-04-29 北京恒达锦程图像技术有限公司 一种三维路面裂缝图像生成系统和方法
CN104680512A (zh) * 2013-12-02 2015-06-03 欧姆龙株式会社 图像处理装置以及方法
US20150355101A1 (en) * 2014-06-09 2015-12-10 Keyence Corporation Image Inspection Apparatus, Image Inspection Method, Image Inspection Program, Computer-Readable Recording Medium And Recording Device
JP2015232487A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN107105987A (zh) * 2015-01-08 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置
US20170312446A1 (en) * 2014-10-06 2017-11-02 Sanofi-Aventis Deutschland Gmbh A supplementary device for attachment to a drug injection device for monitoring injection doses having ocr imaging system with glare reduction

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171037B2 (en) * 2003-03-20 2007-01-30 Agilent Technologies, Inc. Optical inspection system and method for displaying imaged objects in greater than two dimensions
GB0424417D0 (en) * 2004-11-03 2004-12-08 Univ Heriot Watt 3D surface and reflectance function recovery using scanned illumination
JP4389801B2 (ja) * 2005-02-08 2009-12-24 オムロン株式会社 基板検査装置
JP6045429B2 (ja) * 2013-04-10 2016-12-14 オリンパス株式会社 撮像装置、画像処理装置及び画像処理方法
GB2526866A (en) * 2014-06-05 2015-12-09 Univ Bristol Apparatus for and method of inspecting surface topography of a moving object
JP6408259B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6405124B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 検査装置、検査方法およびプログラム
JP6771905B2 (ja) * 2016-03-02 2020-10-21 キヤノン株式会社 検査装置、検査方法及び物品の製造方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0953999A (ja) * 1995-08-11 1997-02-25 Furukawa Electric Co Ltd:The 光式外力検知装置
CN1759298A (zh) * 2003-03-12 2006-04-12 法国原子能委员会 通过单视角背照射逆光照相法测量三维物体的方法
CN1849616A (zh) * 2003-09-09 2006-10-18 皇家飞利浦电子股份有限公司 用于为多个照明装置生成更换时间表的自动生成系统
CN101151522A (zh) * 2005-03-28 2008-03-26 芝浦机械电子株式会社 变形硅晶片的表面检查方法和检查装置
CN101013028A (zh) * 2006-01-31 2007-08-08 欧姆龙株式会社 图像处理方法以及图像处理装置
CN103548417A (zh) * 2011-04-19 2014-01-29 皇家飞利浦有限公司 Oln光变化/优化系统
CN103075979A (zh) * 2011-10-26 2013-05-01 卢存伟 三维表面检测装置及三维表面检测方法
CN103575739A (zh) * 2012-07-19 2014-02-12 东京威尔斯股份有限公司 外观检查装置及外观检查方法
CN104680512A (zh) * 2013-12-02 2015-06-03 欧姆龙株式会社 图像处理装置以及方法
US20150355101A1 (en) * 2014-06-09 2015-12-10 Keyence Corporation Image Inspection Apparatus, Image Inspection Method, Image Inspection Program, Computer-Readable Recording Medium And Recording Device
JP2015232487A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US20170312446A1 (en) * 2014-10-06 2017-11-02 Sanofi-Aventis Deutschland Gmbh A supplementary device for attachment to a drug injection device for monitoring injection doses having ocr imaging system with glare reduction
CN104574393A (zh) * 2014-12-30 2015-04-29 北京恒达锦程图像技术有限公司 一种三维路面裂缝图像生成系统和方法
CN107105987A (zh) * 2015-01-08 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置

Also Published As

Publication number Publication date
EP3499178B1 (en) 2021-06-23
CN109945794B (zh) 2021-01-22
JP2019109071A (ja) 2019-07-04
US20190188841A1 (en) 2019-06-20
US10853935B2 (en) 2020-12-01
JP7056131B2 (ja) 2022-04-19
EP3499178A1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
CN109945794A (zh) 图像处理系统、计算机可读记录介质及图像处理方法
CN105184765B (zh) 检查设备、检查方法和程序
CN103630549B (zh) 检测晶片的系统和方法
TWI440847B (zh) 檢測方法
CN101943571B (zh) 电路板检查装置及检查方法
TWI451079B (zh) 量測測量目標之方法
CN102412170B (zh) 多方向上反射的光源的采集系统和方法
US11295434B2 (en) Image inspection system and image inspection method
TW201100779A (en) System and method for inspecting a wafer (3)
EP3382645A2 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
US10895595B2 (en) Electronic component handler and electronic component tester
JP7514259B2 (ja) カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法
CN110033429A (zh) 图像处理系统
US20200322525A1 (en) Image Inspection System And Image Inspection Method
CN108093618A (zh) 通过比较3d高度轮廓与参照高度轮廓来检验贴装内容
CN110248180A (zh) 眩光检测装置
CN108200425B (zh) 一种基于tdi线阵探测器的多方向传函检测系统及方法
CN109931881A (zh) 图像处理系统、计算机可读记录介质及图像处理方法
CN114450579A (zh) 图像处理系统、设定方法和程序
WO2019117802A1 (en) A system for obtaining 3d images of objects and a process thereof
Sayanca et al. Indirect light intensity distribution measurement using image merging
Pintus et al. Practical free-form RTI acquisition with local spot lights
JP2020169960A (ja) 画像検査システム及び画像検査方法
JP2020169950A (ja) 画像検査システム
CN110278384A (zh) 图像处理系统、图像处理装置、图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant