CN111433574B - 检查系统、检查方法、程序和存储介质 - Google Patents

检查系统、检查方法、程序和存储介质 Download PDF

Info

Publication number
CN111433574B
CN111433574B CN201880078862.2A CN201880078862A CN111433574B CN 111433574 B CN111433574 B CN 111433574B CN 201880078862 A CN201880078862 A CN 201880078862A CN 111433574 B CN111433574 B CN 111433574B
Authority
CN
China
Prior art keywords
image
object surface
color
images
determination process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880078862.2A
Other languages
English (en)
Other versions
CN111433574A (zh
Inventor
尾岛隆信
杰弗里·费尔南多
本村秀人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN202211609178.7A priority Critical patent/CN115979424A/zh
Publication of CN111433574A publication Critical patent/CN111433574A/zh
Application granted granted Critical
Publication of CN111433574B publication Critical patent/CN111433574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/555—Measuring total reflection power, i.e. scattering and specular
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8411—Application to online plant, process monitoring
    • G01N2021/8416—Application to online plant, process monitoring and process controlling, not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G01N2021/8427—Coatings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8845—Multiple wavelengths of illumination or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的是提供检查系统、检查方法、程序和存储介质，它们均被配置或设计为提高给定物体的表面色彩确定的准确性。检查系统(1)包括获取单元(F11)和确定单元(F13)。获取单元(F11)获取表示物体(100)的表面的图像。确定单元(F13)执行色彩确定处理。执行色彩确定处理以基于多个反射状态确定物体(100)的表面的色彩。多个反射状态是从由获取单元(F11)获取的表示物体(100)的表面的图像获得的，并且在物体(100)的表面上分别具有不同比率的镜面反射分量和漫反射分量。

Description

检查系统、检查方法、程序和存储介质
技术领域
本发明总体上涉及检查系统、检查方法、程序和存储介质，并且更具体地涉及被配置或设计成使用图像来进行与物体表面有关的确定的检查系统、检查方法、程序和存储介质。
背景技术
专利文献1公开了着色检查设备。专利文献1的着色检查设备包括：具有三个光谱灵敏度的相机，该三个光谱灵敏度被线性地变换为与CIEXYZ色彩匹配函数等效的值；算术逻辑单元(处理器)，用于通过将由相机捕获的具有三个光谱灵敏度的图像转换为CIEXYZ彩色系统中的三刺激值X、Y和Z，来计算和获取着色数据；以及照明单元，用于用光照射作为示例性测量物体的汽车。着色检查设备通过计算色彩分布匹配指数来进行色彩检查，该色彩分布匹配指数指示被测物体和参考物体的两个xyz色度直方图之间的重叠率。
引文列表
专利文献
专利文献1：JP 2015-155892 A
发明内容
本发明的目的是提供检查系统、检查方法、程序和存储介质，其均被配置或设计成提高给定物体的表面色彩确定的准确性。
根据本发明的一方面的检查系统包括获取单元和确定单元。获取单元获取表示物体表面的图像。确定单元执行色彩确定处理。执行色彩确定处理以基于多个反射状态确定物体表面的色彩。多个反射状态是从由获取单元获取的表示物体表面的图像获得的，并且在物体表面上分别具有不同比率的镜面反射分量和漫反射分量。
根据本发明的另一方面的检查方法包括获取步骤和确定步骤。获取步骤包括获取表示物体表面的图像。确定步骤包括执行色彩确定处理。执行色彩确定处理以基于多个反射状态确定物体表面的色彩。多个反射状态是从表示物体表面的图像获得的，并且在物体表面上分别具有不同比率的镜面反射分量和漫反射分量。
根据本发明的又一方面的程序被设计成使一个或多个处理器执行上述检查方法。
根据本发明的又一方面的存储介质是在其上存储上述程序的计算机可读非暂时性存储介质。
附图说明
图1是示出根据示例性实施例的检查系统的框图；
图2示出了检查系统如何工作；
图3是示出检查系统执行的设置处理过程的流程图；
图4是示出检查系统执行的色彩确定处理过程的流程图；
图5示出了第一分离图像；
图6示出了第二分离图像；
图7示出了检查系统如何执行一种分离处理；
图8示出了检查系统如何执行另一种分离处理；
图9示出了检查系统如何以一种方式执行合成处理；
图10示出了检查系统如何以另一种方式执行合成处理；
图11示出了检查系统如何执行色彩控制处理；
图12是示出由检查系统执行的包括喷涂确定处理的喷涂处理过程的流程图；
图13示出了检查系统如何执行喷涂处理；
图14示出了检查系统如何执行另一种喷涂处理；
图15是示出检查系统执行的纹理确定处理过程的流程图；
图16示出了检查系统如何执行纹理确定处理；以及
图17示出了图像捕获系统。
具体实施方式
1.实施例
1.1概述
图1示出了根据示例性实施例的检查系统1。检查系统1包括获取单元F11和确定单元F13。获取单元F11获取表示物体100的表面的图像。确定单元F13执行色彩确定处理。执行色彩确定处理以基于多个反射状态确定物体100的表面的色彩。多个反射状态是从由获取单元F11获取的表示物体100的表面的图像获得的，并且在物体100的表面上分别具有不同比率的镜面反射分量和漫反射分量。
检查系统1从多个视点而不是单个视点确定物体100的表面的色彩。更具体地，检查系统1基于在物体100的表面上分别具有不同比率的镜面反射分量和漫反射分量的多个反射状态来确定物体100的表面的色彩。具体地，镜面反射分量比漫反射分量更真实地表示物体100的表面状态。另一方面，漫反射分量比镜面反射分量更准确地表示物体100的表面的色彩本身。这允许不仅考虑物体100的表面的色彩本身，而且考虑物体100的表面状态来确定物体100的表面的色彩。因此，该检查系统1提高了物体100的表面色彩确定的准确性。
1.2细节
接下来，将参考附图进一步详细描述检查系统1。该检查系统1是用于对物体100进行某种检查的系统。例如，检查系统1可以用作着色检查设备。在本实施例中，假定检查系统1针对物体100的表面的色彩、喷涂状态和纹理执行检查。此外，检查系统1还可以对物体100进行喷涂。检查系统1可以基于检查结果对物体100进行喷涂，从而将物体100变成以任何期望的色彩喷涂的物体100。
物体100可以是具有表面的任何类型的物体。具体地，在本实施例中，物体100是汽车。具体地，物体100的表面是汽车的车身的外表面。然而，这仅是示例，不应解释为限制性的。也就是说，物体100不必是汽车，而可以是任何其它类型的移动车辆，或者甚至可以是除了移动车辆之外的物体。移动车辆的示例包括自行车、摩托车、铁路火车、无人机、飞机、建筑机械、轮船和船。物体100甚至可以是电子设备、餐具、容器、家具、衣服或建筑材料。简而言之，物体100可以是具有表面的任何类型的物体。特别地，根据本实施例的检查系统1可有效地应用于任何待喷涂物体。
如图1中所示，检查系统1包括确定系统10、照明系统20、图像捕获系统30和喷涂系统40。
照明系统20是用于用光照射物体100的表面的系统。如图2中所示，照明系统20包括多个(例如，在图2所示的示例中为四个)灯21，以用光照射物体100。灯21例如可以是LED灯。这些灯21中的每一个发射白光。注意，该照明系统20可以包括任何其它数量的灯21，其不必是LED灯，而是也可以是任何其它类型的光源。从灯21发出的光也不必是白光。从灯21发出的光的色彩可以在考虑物体100的色彩和对于图像捕获系统30可检测的色彩的情况下适当地确定。可选地，由照明系统20放射的光的波长可以改变。在本实施例中，检查系统1包括照明系统20。然而，如果即使没有照明系统20也能够确定物体100的色彩，则可以省略照明系统20。
图像捕获系统30是用于生成表示物体100的表面的图像(数字图像)的系统。在本实施例中，图像捕获系统30通过捕获被照明系统20照射的物体100表面的图像来生成表示物体100的表面的图像。图像捕获系统30包括多个相机，每个相机包括一个或多个图像传感器。可选地，每个相机可以包括一个或多个线传感器。
在本实施例中，图像捕获系统30的多个相机包括四个(第一)相机31(311-314)和一个(第二)相机32，如图2中所示。在这种情况下，第一相机31和第二相机32可以相对于物体100移位。另外，第二相机32适当地具有比第一相机31更宽的视角，并且能够适当生成表示物体100整体的图像。例如，第二相机32可以定位成俯瞰物体100以生成表示物体100的鸟瞰图的图像。
喷涂系统40是用于对物体100的表面进行喷涂的系统。如图2中所示，喷涂系统40包括多个喷涂单元(例如，两个喷涂单元41、42)。在本实施例中，喷涂单元41、42均被实现为喷涂机器人。喷涂单元41、42相对于物体100可移位。喷涂机器人可以具有已知的构造，并且在本文中将省略其详细描述。注意，喷涂系统40需要包括至少一个喷涂单元，因此，设置的喷涂单元的数量不必为两个。
如图1中所示，确定系统10包括输入/输出单元11、存储单元12和处理单元13。确定系统10可以被实现为计算机系统。例如，该计算机系统可以包括一个或多个处理器、一个或多个连接器、一个或多个通信设备以及一个或多个存储器。
输入/输出单元11是接口，通过该接口将信息从照明系统20、图像捕获系统30或喷涂系统40中的一个输入和输出到另一个。在本实施例中，输入/输出单元11被连接为可与照明系统20、图像捕获系统30和喷涂系统40通信。输入/输出单元11包括一个或多个输入/输出设备，并且使用一个或多个输入/输出接口。
存储单元12用于存储要由处理单元13使用的信息。存储单元12包括一个或多个存储设备，该设备可以是随机存取存储器(RAM)和/或电可擦除可编程只读存储器(EEPROM)。存储单元12存储要在色彩确定处理中使用的样本数据。样本数据包括关于物体100的表面的目标色彩的信息(即，作为样本的色彩数据)。关于物体100的表面的目标色彩的信息可以被提供为基于波长的反射率值(参见图11)。例如，关于物体100的表面的目标色彩的信息可以被提供为落入从380nm到780nm的波长范围内的反射率值。也就是说，样本数据具有作为数字色彩样本的方面。另外，样本数据还可以包括关于物体100的形状的信息(关于捕获物体的形状的信息)或关于用于捕获物体100的图像的条件的信息中的至少一个。用于捕获物体100的图像的条件可以包括物体100、照明系统20和图像捕获系统30之间的相对位置关系(即，关于捕获物体、照明和相机的相对位置的信息)。换句话说，用于捕获物体100的图像的条件可以包括关于由照明系统20提供的照明的信息(以下称为“照明信息”)。例如，样本数据可以是表示在预定图像捕获条件下已经捕获的物体100的整个表面的图像。此外，存储单元12还可以存储在喷涂确定处理中使用的标准信息。标准信息表示物体100的目标表面喷涂状态。换句话说，标准信息指示物体100应该被喷涂成的状态。
处理单元13可以被实现为一个或多个处理器(或微处理器)。也就是说，一个或多个处理器通过执行存储在一个或多个存储器中的一个或多个程序(计算机程序)来执行处理单元13的功能。可以将一个或多个程序预先存储在一个或多个存储器中。可替代地，一个或多个程序也可以经由诸如互联网的电信线路下载，或者在已经存储在诸如存储卡之类的非暂时性存储介质中之后进行分发。
处理单元13执行设置处理(参见图3)、色彩确定处理(参见图4)、喷涂确定处理(参见图12)和纹理确定处理(参见图15)。如图1中所示，处理单元13包括获取单元F11、分离单元F12和确定单元F13。注意，获取单元F11、分离单元F12和确定单元F13不具有实质性的硬件配置，而是实际上是要由处理单元13执行的各个功能。
获取单元F11获取表示物体100的表面的图像(参见图9和图10)。在本实施例中，获取单元F11从图像捕获系统30获取表示物体100的表面的图像。也就是说，获取单元F11经由输入/输出单元11从图像捕获系统30接收图像。获取单元F11从图像捕获系统30获取的图像取决于图像捕获系统30的图像捕获条件。
分离单元F12执行分离处理。分离处理是用于从由获取单元F11获取的表示物体100的表面的图像中获得在物体100的表面上分别具有不同比率的镜面反射分量和漫反射分量的多个反射状态的处理。当执行分离处理时，分离单元F12从由获取单元F11获取的图像获得多个分离图像，以作为表示在物体100的表面上分别具有不同比率的镜面反射分量和漫反射分量的多个反射状态的图像。多个分离图像表示物体100的各个表面图像，并且是在物体表面上分别具有不同比率的镜面反射分量和漫反射分量的图像。在本实施例中，多个分离图像是第一分离图像P10(参见图5)和第二分离图像(参见图6)。然而，分离图像的数量不必是两个，而是也可以是三个或更多。
如本文所使用，“多个反射状态”包括从物体100的表面反射光的状态。当从不同方向观察物体100的表面时，镜面反射分量和漫反射分量的比率是可变的。因此，可以说，多个反射状态是从多个不同的视点观察的物体100的表面的状态。可以通过使用设置在多个不同位置的多个相机捕获同一物体100的表面的图像，来获得表示来自物体100的表面的多个不同反射状态的图像。当利用设置在多个不同位置的多个相机来捕获物体100的表面的图像时，如此捕获的每个图像可以既包括镜面反射分量又包括漫反射分量。然而，可以通过算术处理从给定图像仅提取镜面反射分量或仅提取漫反射分量。如图7中所示，镜面反射分量在图像捕获平面I上的一个区域附近具有峰值，在该区域中，从光源L到表面S的光的入射角等于来自表面S的光的反射角。因此，在图像捕获平面I上的与以反射角θ为中心的预定范围(θ±φ)相对应的区域中，镜面反射分量占主导。同时，在图像捕获平面I上的除了与预定范围(θ±φ)相对应的区域之外的其余区域中，漫反射分量占主导。因此，在图像捕获平面I上，反射光的强度作为镜面反射分量和漫反射分量的合成值给出。另外，可以基于统计模型来估计镜面反射分量和漫反射分量。此外，镜面反射分量和漫反射分量具有不同的强度分布，因此，如图8中所示，基于图像的灰度值(亮度值)可以彼此分离。
在本实施例中，分离单元F12从由获取单元F11获取的图像中提取第一分离图像P10(参见图5)和第二分离图像(参见图6)。因此，多个反射状态可以包括仅具有镜面反射分量的条件和仅具有漫反射分量的状态。第一分离图像P10表示物体100的表面仅具有镜面反射分量的状态。第二分离图像P20表示物体100的表面仅具有漫反射分量的状态。在这种情况下，镜面反射分量比漫反射分量更真实地表示物体100的表面状态。另一方面，漫反射分量比镜面反射分量更准确地表示物体100的表面的色彩本身。
确定单元F13执行设置处理(参见图3)、色彩确定处理(参见图4)、喷涂处理(参见图12)和纹理确定处理(参见图15)。
(设置处理)
设置处理是要在色彩确定处理之前执行的预处理。设置处理包括将设置输入到图像捕获系统30中。为了将设置输入到图像捕获系统30中，确定单元F13确定用于图像捕获系统30的图像捕获条件。图像捕获条件定义了图像捕获系统30的多个相机(特别是多个第一相机31)的操作状态。操作状态可以包括它们相对于物体100的表面的位置、相对于物体100的表面的图像捕获方向、视角(视线)和缩放倍率(缩放)。在本实施例中，图像捕获系统30的四个第一相机311-314生成表示物体100的表面的各个部分的局部图像P31-P34，如图9和10中所示。在本实施例中，多个局部图像P31-P34由相对于物体100分别具有不同的图像捕获方向的多个相机31生成。因此，为了基于由四个第一相机311-314生成的这些局部图像P31-P34产生表示物体100的整个表面的图像(整体图像)P30，确定单元F13确定图像捕获系统30的图像捕获条件，如图9中所示。确定单元F13根据由此确定的图像捕获条件将设置输入图像捕获系统30。这允许图像捕获系统30获得物体100的整体图像。注意，在本实施例中，物体100的整个表面仅需要是要进行色彩确定处理的整个区域，而在实际意义上不必是物体100的整个表面。
接下来，将参考图3中所示的流程图描述设置处理的过程。
首先，确定单元F13使获取单元F11从图像捕获系统30获取物体100的多个局部图像P31-P34(在S11中)。分离单元F12从由获取单元F11获取的多个局部图像P31-P34的每一个中获取(提取)第一分离图像和第二分离图像(在S12中)。确定单元F13将多个局部图像P31-P34的各个第一分离图像合成在一起以生成第一合成图像。另外，确定单元F13还将多个局部图像P31-P34的各个第二分离图像合成在一起以生成第二合成图像(在S13中)。确定单元F13确定图像捕获系统30的图像捕获条件(就四个第一相机311-314的操作状态而言)，使得对于第一合成图像和第二合成图像中的每一个维持物体100的连续性(在S14中)。如本文所使用，如果物体100的连续性(即，捕获物体的灰度的连续性)得以维持，则意味着在通过将局部图像合成在一起而生成的合成图像中，准确地表达了物体100的形状。图9示出了维持物体100的连续性的情况。另一方面，图10示出了未维持物体100的连续性的情况。注意，为了使描述更容易理解，图9和图10示出了其中已经基于局部图像P31-P34而不是各个第一分离图像或第二分离图像来生成合成图像的示例。确定单元F13可以通过参考存储在存储单元12中的样本数据中包括的关于物体100的形状的信息来确定图像捕获条件。确定单元F13确定图像捕获条件，使得第一分离图像和第二分离图像中的物体100的形状与在样本数据中包括的信息所指示的物体100的形状匹配。根据如此确定的图像捕获条件，确定单元F13将设置输入图像捕获系统30中(在S15中)。以这种方式，更新四个第一相机311-314的操作状态。这允许图像捕获系统30获得物体100的整体图像。
可以看出，检查系统1将由多个相机31捕获的图像(局部图像)合成在一起以生成合成图像(即，第一合成图像和第二合成图像)，基于合成图像计算图像捕获条件，然后输出图像捕获条件。然后，检查系统1基于合成图像控制相机31的视角和缩放，使得维持捕获物体(物体100)的灰度的连续性。
(色彩确定处理)
色彩确定处理是用于确定物体100的表面的色彩的处理。更具体地，色彩确定处理是用于基于在物体100的表面上分别具有不同比率的镜面反射分量和漫反射分量的多个反射状态来确定物体100的表面的色彩的处理。从由获取单元F11获取的表示物体100的表面的图像中获得多个反射状态。特别地，在该色彩确定处理中，确定单元F13基于多个分离图像P10和P20确定物体100的表面的色彩。另外，在该色彩确定处理中，确定单元F13基于分别从多个局部图像P31-P34生成并且在多个反射状态的每一个中分别表示物体100的整个表面的多个图像P10和P20来确定物体100的表面的色彩。注意，可以基于图像P10和P20逐个像素地确定物体100的表面的色彩。
接下来，将参考图4的流程图描述色彩确定处理的过程。
首先，确定单元F13使获取单元F11从图像捕获系统30获取物体100的多个局部图像P31-P34(在S21中)。分离单元F12从由获取单元F11获取的多个局部图像P31-P34的每一个中获取(提取)第一分离图像和第二分离图像(在S22中)。确定单元F13将多个局部图像P31-P34的各个第一分离图像合成在一起以生成第一合成图像。另外，确定单元F13还将多个局部图像P31-P34的各个第二分离图像合成在一起以生成第二合成图像(在S23中)。确定单元F13将在第一合成图像和第二合成图像的每一个中表达的物体100的表面的色彩与存储在存储单元12中的样本数据中包括的关于物体100的表面的目标色彩的信息进行比较(在S24中)。关于物体100的表面的目标色彩的信息包括关于第一合成图像的表面的目标色彩的信息和关于第二合成图像的表面的目标色彩的信息。因此，确定单元F13对于第一合成图像和第二合成图像中的每一个来确定物体100的色彩。例如，当发现从第一合成图像实际获得的色彩与样本数据中包括的第一合成图像的目标色彩之间的匹配度等于或大于规定值时，确定单元F13确定从第一合成图像获得的色彩应为合格。同样地，当发现从第二合成图像实际获得的色彩与样本数据中包括的第二合成图像的目标色彩之间的匹配度等于或大于规定值时，确定单元F13确定从第二合成图像获得的色彩应为合格。以这种方式，确定单元F13基于在多个反射状态的每一个中表示物体100的整个表面并基于多个局部图像而生成的图像来确定物体100的表面的色彩。当发现从第一合成图像和第二合成图像获得的每种色彩为合格时，确定单元F13将色彩确定处理的结果确定为合格(在S25中答案为“是”的情况下)。
另一方面，当发现从第一合成图像和第二合成图像获得的色彩中的至少一个为不合格时，确定单元F13将色彩确定处理的结果确定为不合格(在S25中答案为“否”的情况下)。在这种情况下，确定单元F13再次对物体100进行重新喷涂(在S26中)。在该重新喷涂处理步骤中，确定单元F13基于从第一合成图像获得的色彩与第一合成图像的目标色彩之间的差以及从第二合成图像获得的色彩与第二合成图像的目标色彩之间的差来控制喷涂系统40。也就是说，确定单元F13基于色彩确定处理的结果来控制用于对物体100的表面进行喷涂的喷涂系统40。这使得物体100的表面的色彩更接近目标色彩。例如，图11示出了表示从合成图像(即，第一合成图像或第二合成图像)获得的色彩的曲线图G10、G11与表示合成图像的目标色彩的曲线图G20之间的关系。在图11中，曲线G10表示重新喷涂前的色彩，而曲线G11表示重新喷涂后的色彩。这允许检查系统1修改物体100的表面的色彩。
(喷涂处理)
喷涂处理是用于对物体100进行喷涂(下文也称为“涂覆”)的处理。现在将参考图12的流程图以及图13和图14描述喷涂处理，每个图示出一个喷涂场景。
首先，确定单元F13确定物体100的表面上的待喷涂区域(或待涂覆区域)(在S31中)。在本实施例中，喷涂系统40包括两个喷涂机器人41和42，因此，可以从物体100的表面同时选择两个待喷涂区域。待喷涂区域的示例包括引擎盖、车顶、前门、后门、前保险杠、后保险杠、挡泥板、后挡泥板和行李箱盖。确定单元F13使用图像捕获系统30确定待喷涂区域。确定单元F13使第二相机32监视物体100的整个表面，以找到物体100的表面上尚未被喷涂的区域(未喷涂区域)。确定单元F13从物体100的表面上的未喷涂区域中选择下一个待喷涂区域。
接下来，确定单元F13执行喷涂前检查(在S32中)。在喷涂前检查中，确定单元F13在对待喷涂区域进行喷涂之前，确定待喷涂区域中是否有异物。确定单元F13控制图像捕获系统30以使多个第一相机31中的一个(例如，图13所示的示例中的第一相机312)捕获待喷涂区域的图像，并经由获取单元F11获取捕获的图像。确定单元F13通过图像处理技术从由获取单元F11获取的待喷涂区域图像中检测任何异物。当确定是否存在任何异物时，确定单元F13还确定待喷涂区域的状态(包括关于其色相和凹凸性的信息)。待喷涂区域的状态反映在喷涂系统40的喷涂水平(涂覆水平)上。例如，喷出的涂料量(喷雾量或喷雾浓度)由喷涂水平(涂覆水平)确定。在这种情况下，如果未检测到异物(在S33中答案为“否”的情况下)，则确定单元F13开始对待喷涂区域进行喷涂(或涂覆)(在S34中)。
为了对待喷涂区域进行喷涂，确定单元F13控制喷涂系统40以由喷涂机器人41和42对待喷涂区域(例如，在图13所示的示例中的引擎盖和右后挡泥板)进行喷涂，如图13中所示。另外，确定单元F13还确定在物体100的表面上被喷涂的区域的状态。为此目的，确定单元F13控制图像捕获系统30以获取待喷涂区域的图像。在图13中，第一相机311和314用于获取待喷涂区域的图像。确定单元F13获得从由获取单元F11获取的表示物体100的表面的图像(即，表示待喷涂区域的图像)得出的表面(即，当前表面)的喷涂状态与物体100的表面上的目标喷涂状态之间的差。确定单元F13控制喷涂系统40以减小该差。例如，确定单元F13调节从喷涂机器人41和42喷出的涂料的喷洒浓度(喷出的涂料量)。在喷涂确定处理中，确定单元F13确定在待喷涂区域中是否缺少涂料(例如，就色相和均匀性而言)。可选地，在该喷涂确定处理中，还可以如上述色彩确定处理中那样，基于在物体100的表面上具有相互不同比率的镜面反射分量和漫反射分量的多个反射状态，来确定物体100的表面的色彩。
当喷涂完成时，确定单元F13执行喷涂后检查(在S35中)。在喷涂后检查中，确定单元F13检查喷涂之后的状态。喷涂后要检查的状态的示例包括是否有任何涂料垂落、油漆是否干燥、以及与已喷涂区域的连续程度(就色相和表面状态而言)。在本实施例中，确定单元F13确定在被喷涂区域中是否存在任何涂料垂落。为此目的，确定单元F13控制图像捕获系统30以使用多个第一相机31中的一个(例如，图13中的第一相机313)捕获已经喷涂的区域的图像，并经由获取单元F11获取图像。基于由获取单元F11获取的待喷涂区域图像，确定单元F13检测任何涂料垂落。例如，可以基于被喷涂区域的色相和表面状态(诸如色彩均匀性)来检测涂料垂落。确定单元F13获得从由获取单元F11获取的表示物体100的表面的图像(即，表示被喷涂的区域的图像)得出的表面(即，当前表面)的喷涂状态与物体100的表面上的目标喷涂状态之间的差。作为物体100的表面上的目标喷涂状态(即，判定是否有任何涂料垂落的比较图像)，可以使用在由第二相机32捕获的表示物体100的整个表面的图像中的用涂料均匀喷涂的区域。当发现大于阈值(即，第一阈值)的差时，确定单元F13可以确定应该有一些涂料垂落。可选地，在确定是否存在任何涂料垂落时，还可以如上述的色彩确定处理中那样，基于在物体100的表面上具有彼此不同比率的镜面反射分量和漫反射分量的多个反射状态，来确定物体100的表面的色彩。
在这种情况下，如果未检测到涂料垂落(在S36中答案为“否”的情况下)，则确定单元F13基于表示物体100的整个表面并由第二相机32捕获的图像来确定是否有未喷涂的区域(在S371中)。如果存在任何未喷涂的区域(在S371中答案为“是”的情况下)，则确定单元F13确定接下来在何处进行喷涂(在S31中)。另一方面，如果不存在未喷涂的区域(在S371中答案为“否”的情况下)，则确定单元F13执行最终检查(在S372中)。在最终检查中，确定单元F13可以执行色彩确定处理以检查物体100的整个表面的色彩。
另一方面，如果检测到任何涂料垂落(在S36中答案为“是”的情况下)，则确定单元F13确定涂料垂落的程度(在S381中)。更具体地，确定单元F13确定涂料垂落的程度是否明显。涂料垂落的程度是否明显取决于是否可以通过重新喷涂来修补涂料垂落。例如，当发现由获取单元F11获取的待喷涂区域图像与比较图像之间的差已经超过第二阈值(该第二阈值大于第一阈值)时，确定单元F13可以确定涂料垂落应是明显的。可选地，第一阈值和第二阈值可以彼此相等。注意，如果已经检测到任何涂料垂落，则确定单元F13可以例如通过利用统计分析或机器学习将表示涂料垂落的图像的特征量与所喷出的涂料量、室温、湿度、通风流量或其它任何参数相关联，来生成防涂料垂落复发信息。
另一方面，当发现涂料垂落的程度不明显时(在S381中答案为“否”的情况下)，确定单元F13执行重新涂覆(重新喷涂)(在S382中)。在重新涂覆中，确定单元F13还控制喷涂系统40以对检测到涂料垂落的待喷涂区域再次进行喷涂，如在涂覆处理步骤中一样(在S34中)。例如，图14示出了第一相机314如何捕获后备箱盖的图像以使后备箱盖由喷涂机器人42重新喷涂。当完成重新喷涂时，确定单元F13再次执行喷涂后检查(在S35中)。
注意，如果在喷涂处理期间检测到任何异物(在S33中答案为“是”的情况下)或者如果涂料垂落程度很明显(在S381中答案为“是”的情况下)，则确定单元F13中止喷涂(涂覆)处理(在S39中)。
喷涂处理包括喷涂确定处理(S34和S35)。喷涂确定处理是用于确定物体100的表面喷涂状态的处理。更具体地，喷涂确定处理是用于基于由获取单元F11获取的表示物体100的表面的图像来确定物体100的表面喷涂状态的处理。在喷涂确定处理中，确定单元F13获得从由获取单元F11获取的表示物体100的表面的图像得出的表面喷涂状态与物体100的目标表面喷涂状态之间的差。确定单元F13基于喷涂确定处理的结果来控制图像捕获系统30的多个相机31和32的操作状态。也就是说，确定单元F13根据物体100上的喷涂进度控制图像捕获系统30的多个相机31和32的操作状态。特别地，多个相机31和32包括一个或多个第一相机31并包括第二相机32，每个第一相机生成表示物体100的一部分表面的图像，第二相机生成表示物体100的整个表面的图像。确定单元F13基于喷涂确定处理的结果来控制一个或多个第一相机31的操作状态。另外，确定单元F13还基于由第二相机32捕获的图像和喷涂确定处理的结果来控制一个或多个第一相机31的操作状态。
在本实施例中，确定单元F13控制图像捕获系统30的多个相机31和32以整体对物体100执行喷涂。在这种情况下，如果物体100是诸如汽车之类的车辆，则物体100具有太大的尺寸并且具有太多要监视的喷涂状态(诸如喷涂、涂料垂落、干燥和异物沉积)，以至于无法通过单个相机完整捕获。然而，根据本实施例的检查系统1使得仅用于捕获被涂料喷涂的物体100的局部区域的第一相机(窄角相机)31与用于捕获整个物体100的喷涂状态的第二相机(鸟瞰相机)32相结合。这样，根据本实施例的检查系统1就可以在不丢失物体100的任何部分的状态的情况下感测物体100的喷涂状态。
(纹理确定处理)
纹理确定处理是用于确定物体100的表面纹理的处理。纹理确定处理是用于基于通过从多个不同的位置L1-L3捕获物体100表面的图像而获取的多个系列图像之间的亮度信息的变化来确定物体100的表面纹理的处理(参见图16)。在本实施例中，亮度信息的变化由特征量矢量(包括空间特征量矢量和时间特征量矢量)定义。
接下来，将参考图15的流程图和图16描述纹理确定处理。图16示出了第二相机32相对于物体100的相对位置。可替代地，第二相机32可以用第一相机31代替。
首先，确定单元F13使获取单元F11获取通过从多个不同位置L1-L3捕获物体100的表面的图像而获得的多个系列图像(参见图16)(在S41中)。通过在相同相机32的位置改变的情况下捕获物体100的表面的图像来获得多个系列图像中的至少两个。更具体地，如图16中所示，通过使相机32从多个不同的位置L1、L2、L3、…捕获物体100的表面的图像，从而获得多个系列图像。例如，这些位置L1、L2、L3、…可以被布置成围绕物体100，并且可以被布置在以物体100为中心的圆上。可替代地，多个系列图像也可以由设置在这些多个不同的位置L1、L2、L3、…处的多个相机捕获。在以下描述中，将仅描述多个系列图像中的两个(以下称为“第一系列图像”和“第二系列图像”)。注意，在第二系列图像之前捕获第一系列图像。
接下来，确定单元F13计算像素之间的亮度值的差(即，计算空间特征量矢量)(在S42中)。确定单元F13从系列图像中提取亮度信息。亮度信息是从系列图像的多个像素获得的亮度值(或像素值)之间的差。亮度值之间的差是包括系列图像的多个像素中的一个或多个像素的第一区域的亮度值与同第一区域相邻并且也包括多个像素中的一个或多个像素的第二区域的亮度值之间的差。例如，第一区域可以是由m×n个像素组成的区域，其中m和n均为等于或大于1的整数。在本实施例中，第一区域由1×1像素组成(即单个像素)。以下将第一区域的中心像素称为“第一像素(参考像素)”。在这种情况下，第一区域是系列图像(即，由多个像素组成的图像)中最亮的区域。在该示例中，第一区域由第一像素组成，因此，第一像素是在系列图像的多个亮度值中具有最高亮度值的像素。另一方面，第二区域可以是围绕第一区域的区域。例如，第二区域可以是由以第一区域为中心的M×N个像素组成的区域，其中m和n均是等于或大于3的整数。在本实施例中，第二区域包括系列图像的除第一像素外的所有多个像素。也就是说，确定单元F13针对系列图像计算第一像素的亮度值与每个像素的亮度值之间的差，并且用差值替换每个像素的亮度值。以这种方式，确定单元F13获得由第一像素的亮度值和系列图像的多个像素的替换后的亮度值(差值)组成的特征量矢量(空间特征量矢量)。注意，第一像素不必是具有最大亮度值的像素，而是也可以是具有最小亮度值的像素、亮度值是图像的平均值的像素、或位于图像中心的像素。
接下来，确定单元F13计算帧之间的亮度值的差(作为时间特征量矢量)(在S43中)。具体地，确定单元F13计算包括第一系列图像的多个像素中的一个或多个像素的第一关注区域的亮度值与第二系列图像的多个像素中对应于第一关注区域的第二关注区域的亮度值之间的差。也就是说，选择第一关注区域和第二关注区域以表示物体100的表面的相同部分。例如，第一关注区域可以是小于第一系列图像的区域。第一关注区域可以是由m×n个像素组成的区域，其中m和n均是等于或大于1的整数。第一关注区域的中心像素可以是具有最大亮度值的像素、具有最小亮度值的像素、或者亮度值是图像平均值的像素。在本实施例中，第一关注区域的中心像素是亮度值是图像的平均值的像素。第二关注区域是与第一关注区域具有相同大小的区域(即，由m×n个像素组成的区域)。第二关注区域的中心像素是与第一关注区域的中心像素的亮度值差最小的像素，并且适当地是具有与第一关注区域的中心像素相同的亮度值的像素。然后，确定单元F13计算第一系列图像(第一关注区域)与第二系列图像(第二关注区域)的各个亮度值之间的差，并用差值替换第二系列图像(第二关注区域)的亮度值。也就是说，确定单元F13计算第一系列图像的第一关注区域中包括的像素的亮度值与第二系列图像的第二关注区域中包括的像素的亮度值之间的差。以这种方式，获得了m×n个像素的亮度值之间的差值。因此，确定单元F13获得特征量矢量(即时间特征量矢量)，该特征量矢量包括第一关注区域的中心像素的亮度值和第二系列图像的替换后的像素值(差值)作为其元素。
最后，确定单元F13计算纹理(纹理水平)(在S44中)。在本实施例中，纹理被给出为空间特征量矢量和时间特征量矢量的组合。换句话说，根据本实施例，物体100的表面纹理以空间特征量矢量和时间特征量矢量的组合的形式表示为数值。然后，确定单元F13可以基于数值确定纹理是否满足所要求的纹理。例如，确定单元F13可以通过查看指示纹理的矢量的大小是否大于阈值来确定纹理是否满足所要求的纹理。当发现纹理满足所要求的纹理时，确定单元F13可以确定纹理测试的结果应为合格。另一方面，当确定纹理不满足所要求的纹理时，确定单元F13可以确定物体100应该被重新喷涂或者纹理测试的结果应当为不合格。
可以看出，根据本实施例，沿着空间轴和时间轴计算由相机32与物体100之间的相对位移引起的亮度值的变化，并且将其整合在一起。沿空间轴的亮度值的变化(即，空间变化)作为参考像素的亮度值与相邻像素的亮度值之差给出。参考像素的示例包括最亮的像素、最暗的像素、具有平均亮度的像素以及位于图像中心的像素。沿时间轴的亮度值的变化(时间变化)作为参考帧与相邻帧之间的差给出。因此，根据本实施例，能够测量物体100的表面(特别是喷涂后的表面)的纹理(即，关于表面状态的人的触摸感)并将其表示为数值。
1.3小结
上述检查系统1包括获取单元F11和确定单元F13。获取单元F11获取表示物体100的表面的图像。确定单元F13执行色彩确定处理。执行色彩确定处理以基于多个反射状态确定物体100的表面的色彩。多个反射状态是从由获取单元F11获取的表示物体100的表面的图像获得的，并且在物体100的表面上分别具有不同比率的镜面反射分量和漫反射分量。这允许检查系统1提高物体100的表面色彩确定的准确性。
换句话说，可以说检查系统1执行以下方法(检查方法)。该检查方法包括获取步骤和确定步骤。获取步骤包括获取表示物体100的表面的图像。确定步骤包括执行色彩确定处理。执行色彩确定处理以基于多个反射状态确定物体100的表面的色彩。多个反射状态是从表示物体100的表面的图像获得的，并且在物体100的表面上分别具有不同比率的镜面反射分量和漫反射分量。因此，该检查方法与检查系统1同样地提高了物体100的表面色彩确定的准确性。
通过使一个或多个处理器执行程序(计算机程序)来执行检查方法。该程序被设计成使一个或多个处理器执行检查方法。这类程序与检查方法同样地提高了物体100的表面色彩确定的准确性。另外，该程序可以通过存储在存储介质上来分发。存储介质是计算机可读的非暂时性存储介质，并且在其上存储程序。这类存储介质与检查方法同样地提高了物体100的表面色彩确定的准确性。
从另一个角度看，检查系统1包括图像捕获系统30、获取单元F11和确定单元F13。图像捕获系统30通过捕获物体100的表面的图像来生成表示物体100的表面的图像。获取单元F11从图像捕获系统30获取表示物体100的表面的图像。确定单元F13基于由获取单元F11获取的表示物体100的表面的图像，执行用于确定物体100的表面上的喷涂状态的喷涂确定处理，从而基于喷涂确定处理的结果来控制图像捕获系统30。该检查系统1提高了物体100的表面喷涂的质量。
从另一角度看，检查系统1包括获取单元F11和确定单元F13。获取单元F11获取通过从多个不同位置L1-L3捕获物体100的表面的图像而获得的多个系列图像。确定单元F13基于多个系列图像之间的亮度信息的变化来执行用于确定物体100的表面纹理的纹理确定处理。该方面进一步提高了物体100的表面纹理确定的准确性。
2.变型
注意，上述实施例仅是本发明的示例，并且不应被解释为限制性的。更确切而言，在不脱离本发明的真实精神和范围的情况下，可以根据设计选择或任何其它因素以各种方式容易地修改这些实施例。将一一列举实施例的变型。
在上述示例性实施例中，图像捕获系统30的相机能够检测例如波长落在预定波长范围内的光。预定波长范围可以是例如从380nm至780nm。然而，这仅是示例，不应解释为限制性的。可替代地，图像捕获系统30的多个相机可以具有透射波段互不相同的滤光器。例如，四个第一相机311-314可以被配置成检测具有落在彼此不同的波长范围内的波长的光线。波长落在彼此不同的波长范围内的此类光线可以包括波长落在380nm至480nm范围内的光线(即，蓝光)，波长落在480nm至580nm范围内的光线(即，绿光)，波长落在580nm至680nm范围内的光线(即，黄光)和波长落在680nm至780nm范围内的光线(即，红光)，如图17中所示。以这种方式使用多个相机31检测具有落在彼此不同的波长范围内的波长的光线，可以更精确地确定物体100的色彩。特别是在图17所示的示例中，四个波长范围中的每一个以10nm的步长宽度被细分为九个波段，因此，通过被划分为36个波段来检测从380nm到780nm的波长范围。与较为经常地使用的三波段配置相比，这可以更精确地确定物体100的色彩。可选地，通过使单个相机使用透射波段互不相同的多个滤光器，可以实现相同的优点。
在一种变型中，从照明系统20放射的光的波长可以是能够改变的。这可以通过使用发射多种不同色彩光束的多个光源或使用多个滤色镜来实现。简而言之，在该检查系统1中，从照明系统20放射的光的波长或由图像捕获系统30检测的光的波长中的至少一个可以是能够改变的。
在上述示例性实施例中，多个局部图像P31-P34是由相对于物体100具有彼此不同的图像捕获方向的多个相机31生成的。然而，这仅是示例，并且不应该是解释为限制性的。可替代地，还可以通过在相同相机的位置改变的情况下捕获物体100的表面的图像来获得多个局部图像P31-P34。
另外，在上述示例性实施例中，在物体100的表面上具有彼此不同比率的镜面反射分量和漫反射分量的多个反射状态是图像形式。然而，这仅是示例，不应解释为限制性的。可替代地，反射状态也可以是直方图的形式或任何其它形式。也就是说，从物体100的表面反射的状态不必以图像的形式给出，而是也可以以能够根据反射状态进行色彩确定的形式给出。
在一种变型中，不必执行设置处理。如果不执行设置处理，则可以针对由多个相机31生成的每个图像提供样本数据来执行色彩确定处理。这允许多个相机31基于物体100的不同表面区域分别执行色彩确定处理。注意，在这种情况下，在执行色彩确定处理时不将图像合成在一起。
此外，在上述示例性实施例中，确定单元F13在重新喷涂期间基于从第一合成图像获得的色彩与第一合成图像的目标色彩之间的差以及从第二合成图像获得的色彩与第二合成图像的目标色彩之间的差来控制喷涂系统40。然而，这仅是示例，不应解释为限制性的。可替代地，确定单元F13可以使用已学习的模型(色彩控制模型)来控制喷涂系统40。如本文所使用，“色彩控制模型”是指已学习的模型，其中已经学习了待修改的色彩和修改后的色彩的组合与喷涂系统40的控制细节之间的关系。在这种情况下，存储单元12存储色彩控制模型。通过使人工智能程序(算法)使用表示待修改的色彩和修改后的色彩的组合与喷涂系统40的控制细节之间的关系的学习数据集，学习待修改的色彩和修改后的色彩的组合与喷涂系统40的控制细节之间的关系来生成色彩控制模型。人工智能程序是机器学习模型，并且可以是例如作为一种层次模型的神经网络。可以通过使神经网络使用学习数据集执行机器学习(诸如深度学习)来生成色彩控制模型。也就是说，可以通过检查系统1的处理单元13或外部系统来生成色彩控制模型。在检查系统1中，处理单元13可以收集和累积用于生成色彩控制模型的学习数据。可以看出，处理单元13新收集的学习数据可以用于重新学习色彩控制模型，从而有助于色彩控制模型(学习模型)的性能提高。特别地，可以通过在重新喷涂之后色彩确定处理的结果再次为不合格的情况下进行重新学习，来提高色彩控制模型的性能。
在一种变型中，确定单元F13可以将模型用于纹理确定处理。可以通过以下操作来获得这些模型：制作多个喷涂样本，生成喷涂合格与否的决策与纹理水平的多个对，然后对它们的关系建模。例如，可以通过回归分析或机器学习来进行建模。这允许确定单元F13基于纹理水平做出喷涂合格与否的决策。在另一变型中，当相机32与物体100之间的位置关系固定时，仅空间特征量矢量可以用于测量纹理水平。
在另一变型中，在纹理确定处理中，亮度信息可以是从系列图像的多个像素获得的亮度值之间的差。该差可以是包括多个像素中的一个或多个像素的第一区域的亮度值与同第一区域相邻并且也包括多个像素中的一个或多个像素的第二区域的亮度值之间的差。可替代地，第一区域也可以是多个像素中的第一像素，而第二区域也可以是多个像素中的与第一像素相邻的第二像素。仍然可替代地，第一区域可以是由多个像素组成的图像中的最亮区域。
在又一变型中，检查系统1(确定系统10)也可以被实现为多个计算机。例如，检查系统1(确定系统10)的各个功能(尤其是获取单元F11、分离单元F12和确定单元F13)可以分布在多个设备中。可选地，检查系统1(确定系统10)的至少一些功能也可以被实现为云计算。
执行上述检查系统1(确定系统10)的功能的代理包括计算机系统。在这种情况下，计算机系统可以包括处理器和存储器作为主要硬件组件。可以通过使处理器执行存储在计算机系统的存储器中的程序来执行根据本发明的用作检查系统1(确定系统10)的代理的功能。程序可以预先存储在计算机系统的存储器中。可替代地，也可以通过电信线路下载程序，或者在将程序记录到诸如存储卡、光盘或硬盘驱动器之类的计算机系统可读的一些非暂时性存储介质中的任何一种后，再分发该程序。计算机系统的处理器可以由单个或多个电子电路组成，包括半导体集成电路(IC)或大规模集成电路(LSI)。可选地，在制造完LSI之后要编程的现场可编程门阵列(FPGA)或允许重新配置或设置LSI内部的连接或电路部分的可重新配置逻辑设备也可以用于同一目的。这些电子电路在适当的情况下既可以集成在单个芯片上，也可以分布在多个芯片上。这些多个芯片可以不受限制地一起集成在单个设备中或分布在多个设备中。
3.方面
从示例性实施例和变型的前述描述可以看出，本发明具有以下方面。在下面的描述中，仅出于澄清本发明的这些方面与上述示例性实施例或变型之间的对应关系的目的，将附图标记在括号中添加到各个组成元件。
第一方面是一种检查系统(1)，其包括获取单元(F11)和确定单元(F13)。获取单元(F11)获取表示物体(100)的表面的图像(P30-P34)。确定单元(F13)执行色彩确定处理。执行色彩确定处理以基于多个反射状态确定物体(100)的表面的色彩。多个反射状态是从由获取单元(F11)获取的表示物体(100)的表面的图像(P30-P34)获得的，并且在物体表面(100)上分别具有不同比率的镜面反射分量和漫反射分量。该方面提高了物体(100)的表面色彩确定的准确性。
第二方面基于根据第一方面的检查系统(1)。在第二方面中，检查系统(1)还包括分离单元(F12)。分离单元(F12)基于由获取单元(F11)获取的图像来获得多个分离图像(P10、P20)，每个分离图像是表示物体(100)表面的图像(P30-P34)，但其分别具有不同比率的镜面反射分量和漫反射分量。确定单元(F13)通过色彩确定处理基于多个分离图像(P10、P20)确定物体(100)的表面的色彩。该方面不仅提高了物体(100)的表面色彩确定的准确性，而且还提高了色彩确定处理的效率。
第三方面基于根据第一方面或第二方面的检查系统(1)。在第三方面中，获取单元(F11)获取多个局部图像(P31-P34)作为表示物体(100)的表面的图像，每个局部图像表示物体(100)的表面的相关部分。确定单元(F13)通过色彩确定处理，基于在多个反射状态的每一个中表示物体(100)的整个表面的图像(P10、P20)来确定物体(100)的表面的色彩。图像(P10、P20)是基于多个局部图像获得的。该方面允许确定相对较大的物体(100)的表面的色彩。
第四方面基于根据第三方面的检查系统(1)。在第四方面中，多个局部图像(P31-P34)由相对于物体(100)具有相互不同的图像捕获方向的多个相机(31)生成。该方面允许使用简单的配置来确定较大物体(100)的表面的色彩。
第五方面基于根据第一至第四方面中任一项的检查系统(1)。在第五方面中，检查系统(1)还包括照明系统(20)和图像捕获系统(30)。照明系统(20)用光照射物体(100)的表面。图像捕获系统(30)通过捕获由照明系统(20)照射的物体(100)的表面的图像来生成表示物体(100)的表面的图像。获取单元(F11)从图像捕获系统(30)获取表示物体(100)的表面的图像。由照明系统(20)放射的光的波长或由图像捕获系统(30)检测的光的波长中的至少一个是能够改变的。该方面提高了物体(100)的表面色彩确定的准确性。
第六方面基于根据第一至第五方面中任一项的检查系统(1)。在第六方面中，确定单元(F13)通过色彩确定处理使用包括关于物体(100)的表面的目标色彩的信息的样本数据来确定物体(100)的表面的色彩。该方面进一步提高了物体(100)的表面色彩确定的准确性。
第七方面基于根据第六方面的检查系统(1)。在第七方面中，样本数据包括关于物体(100)的形状的信息或关于用于捕获物体(100)的图像的条件的信息中的至少一个。该方面进一步提高了物体(100)的表面色彩确定的准确性。
第八方面基于根据第一至第七方面中任一项的检查系统(1)。在第八方面中，确定单元(F13)基于色彩确定处理的结果来控制对物体(100)的表面进行喷涂的喷涂系统(40)。该方面提高了物体(100)的表面喷涂的质量。
第九方面基于根据第一方面的检查系统(1)。在第九方面中，检查系统(1)还包括图像捕获系统(30)，以通过捕获物体(100)的表面的图像来生成表示物体(100)的表面的图像。获取单元(F11)从图像捕获系统(30)获取表示物体(100)的表面的图像。确定单元(F13)基于由获取单元(F11)获取的表示物体(100)的表面的图像，执行用于确定物体(100)的表面上的喷涂状态的喷涂确定处理，并由此基于喷涂确定处理的结果来控制图像捕获系统(30)。该方面提高了物体(100)的表面喷涂的质量。
第十方面基于根据第九方面的检查系统(1)。在第十方面中，确定单元(F13)通过喷涂确定处理来计算物体表面上的当前喷涂状态与物体(100)表面上的目标喷涂状态之间的差。当前喷涂状态是从由获取单元(F11)获取的表示物体(100)的表面的图像获得的。该方面提高了物体(100)的表面喷涂的质量。
第十一方面基于根据第九或第十方面的检查系统(1)。在第十一方面中，图像捕获系统(30)包括多个相机(31、32)。确定单元(F13)基于喷涂确定处理的结果来控制图像捕获系统(30)的多个相机(31、32)的操作状态。该方面提高了物体(100)的表面喷涂的质量。
第十二方面基于根据第十一方面的检查系统(1)。在第十二方面中，多个相机(31、32)包括：一个或多个第一相机(31)，以生成表示物体(100)的表面的一部分的图像；以及第二相机(32)，以生成表示物体(100)的整个表面的图像。确定单元(F13)基于喷涂确定处理的结果来控制一个或多个第一相机(31)的操作状态。该方面提高了物体(100)的表面喷涂的质量。
第十三方面基于根据第十二方面的检查系统(1)。在第十三方面中，确定单元(F13)基于由第二相机(32)生成的图像和喷涂确定处理的结果来控制一个或多个第一相机(31)的操作状态。该方面提高了物体(100)的表面喷涂的质量。
第十四方面基于根据第一方面的检查系统(1)。在第十四方面中，获取单元(F11)通过从多个不同位置(L1-L3)捕获物体(100)的表面的图像来获取多个系列图像。确定单元(F13)执行纹理确定处理，用于基于多个系列图像之间的亮度信息的变化来确定物体(100)的表面的纹理。该方面进一步提高了物体(100)的表面纹理确定的准确性。
第十五方面基于根据第十四方面的检查系统(1)。在第十五方面中，多个系列图像中的至少两个是通过在同一相机的位置改变的情况下捕获物体(100)的表面的图像而获得的。该方面进一步提高了物体(100)的表面纹理确定的准确性。
第十六方面基于根据第十四或第十五方面的检查系统(1)。在第十六方面中，多个系列图像中的每一个包括多个像素。亮度信息包括从多个像素获得的亮度值之间的差。该方面进一步提高了物体(100)的表面纹理确定的准确性。
第十七方面基于根据第十六方面的检查系统(1)。在第十七方面中，所述差是在包括多个像素中的一个或多个像素的第一区域的亮度值与同第一区域相邻并且包括多个像素中的其他一个或多个像素的第二区域的亮度值之间计算的差。该方面进一步提高了物体(100)的表面纹理确定的准确性。
第十八方面基于根据第十七方面的检查系统(1)。在第十八方面中，第一区域由多个像素中的第一像素构成，而第二区域由多个像素中的与第一像素相邻的第二像素构成。该方面进一步提高了物体(100)的表面纹理确定的准确性。
第十九方面基于根据第十七或第十八方面的检查系统(1)。在第十九方面中，第一区域是由多个像素构成的图像中最亮的区域。该方面进一步提高了物体(100)的表面纹理确定的准确性。
第二十方面是一种检查方法，其包括获取步骤和确定步骤。获取步骤包括获取表示物体(100)表面的图像(P30-P34)。确定步骤包括执行色彩确定处理。执行色彩确定处理以基于多个反射状态来确定物体(100)的表面的色彩。多个反射状态是从表示物体100的表面的图像(P30-P34)获得的，并且在物体(100)的表面上分别具有不同比率的镜面反射分量和漫反射分量。该方面提高了物体(100)的表面色彩确定的准确性。注意，与检查系统(1)有关的第二至第十九方面可以以检查方法的形式应用于该第二十方面。
第二十一方面是被设计成使一个或多个处理器执行第二十方面的检查方法的程序。该方面提高了物体(100)的表面色彩确定的准确性。
第二十二方面是一种计算机可读非暂时性存储介质，其上存储有第二十一方面的程序。该方面提高了物体(100)的表面色彩确定的准确性。
本发明还具有以下的第二十三至第三十四方面。
第二十三方面是着色检查设备。着色检查设备包括相机，并且使用由相机捕获的图像对捕获物体进行色彩检查，其中所述相机的透射落在特定波长范围内的光的滤光器是可更换的。
第二十四方面基于根据第二十三方面的着色检查设备。在第二十四方面中，着色检查设备包括多个相机，通过将由多个相机捕获的图像合成在一起来合成图像，并且基于合成图像计算并输出图像捕获条件。
第二十五方面基于根据第二十四方面的着色检查设备。在第二十五方面中，为多个相机设置的滤光器具有相互不同的透射波段。
第二十六方面基于根据第二十四方面或第二十五方面的着色检查设备。在第二十六方面中，多个相机从多个不同方向捕获捕获对象。
第二十七方面基于根据第二十四至第二十六方面中任一项的着色检查设备。在第二十七方面中，着色检查设备基于合成图像来控制相机的视角和缩放，以维持捕获对象的灰度的连续性。
第二十八方面基于根据第二十七方面的着色检查设备。在第二十八方面，着色检查设备基于与捕获对象的形状有关的信息和照明信息来控制相机。
第二十九方面基于根据第二十三方面至第二十八方面中任一项的着色检查设备。在第二十九方面，着色检查设备记录作为样本的色彩数据，将捕获对象的色彩与作为样本的色彩数据进行比较，从而控制用于对捕获物体进行喷涂的喷涂单元。
第三十方面是着色检查方法。着色检查方法包括：使用多个相机从多个不同方向对捕获物体进行捕获，所述多个相机设置有透射波段彼此不同的滤光器；通过将由多个相机捕获的图像合成在一起来生成合成图像；以及基于合成图像对捕获物体执行色彩检查。
第三十一方面基于根据第三十方面的着色检查方法。在第三十一方面中，色彩检查方法包括基于合成图像输出图像捕获条件。
第三十二方面基于根据第三十或第三十一方面的着色检查方法。在第三十二方面中，色彩检查方法包括基于合成图像来控制相机的视角和缩放，以维持捕获物体的灰度的连续性。
第三十三方面基于根据第三十一方面的着色检查方法。在第三十三方面中，着色检查方法基于与捕获物体的形状有关的信息和照明信息来控制相机。
第三十四方面基于根据第三十至第三十三方面中任一项的着色检查方法。在第三十四方面中，着色检查方法记录作为样本的色彩数据，将捕获物体的色彩与作为样本的色彩数据进行比较，从而控制用于对捕获物体进行喷涂的喷涂单元。
本发明还具有以下第三十五至第三十七方面。
第三十五方面是一种系统。该系统包括：喷涂信息获取单元(其意味着一组相机)，用于获取特定时间点的关于喷涂状态的信息；标准信息保存单元，用于保存指示该时间点的喷涂状态的标准信息；以及控制单元，其与喷涂信息获取单元和标准信息保存单元连接。控制单元计算由喷涂信息获取单元提供的信息与由标准信息保存单元提供的信息之间的差，并基于该差将控制命令传输到喷涂信息获取单元(其意味着一组相机)。
第三十六方面基于根据第三十五方面的系统。在第三十六方面中，给出控制命令以改变包括在喷涂信息获取单元中的相机(其意味着一组相机)的操作状态(诸如，摇摄和缩放)。
第三十七方面基于根据第三十六方面的系统。在第三十七方面中，喷涂信息获取单元(其意味着一组相机)包括鸟瞰相机和窄角相机。给出控制命令以改变窄角相机的操作状态(诸如，摇摄和缩放)。
本发明还具有以下第三十八至第四十一方面。
第三十八方面是一种图像捕获方法。图像捕获方法包括以下步骤：相对于物体移位图像捕获设备；以及获得在移位图像捕获设备之前和之后通过捕获物体的图像而收集的信息中包括的亮度值信息的变化。
第三十九方面基于根据第三十八方面的图像捕获方法。在第三十九方面中，将在图像捕获设备移位之前由图像捕获设备获取的信息定义为图像信息。图像信息包括多个像素。图像捕获方法包括获得在移位图像捕获设备之前和之后多个像素的亮度值之间的差的变化。
第四十方面基于根据第三十九方面的图像捕获方法。在第四十方面中，所述差是图像信息的第一像素处的亮度值与同第一像素相邻的第二像素处的亮度值之间的差。
第四十一方面基于根据第四十方面的图像捕获方法。在第四十一方面中，第一像素是在整个图像信息中具有最高亮度值的像素。
本申请基于并要求于2017年12月8日提交的美国临时专利申请第62/596247号，于2018年7月18日提交的美国临时专利申请第62/699935号，以及于2018年7月18日提交的美国临时专利申请第62/699942号的外国优先权权益，其全部内容以引用方式并入本文中。
附图标记列表
1检查系统
F11 获取单元
F12 分离单元
F13 确定单元
20 照明系统
30 图像捕获系统
31相机(第一相机)
32相机(第二相机)
40喷涂系统
P10第一分离图像(分离图像)
P20第二分离图像(分离图像)
P30图像
P30–P34图像(局部图像)
L1–L3位置
100物体。

Claims (17)

1.一种检查系统，包括：
获取单元，被配置成获取表示物体表面的图像；
确定单元，被配置成执行色彩确定处理，以用于基于多个反射状态来确定所述物体表面的色彩，所述多个反射状态是从由所述获取单元获取的表示所述物体表面的图像获得的，并且在所述物体表面上分别具有不同比率的镜面反射分量和漫反射分量；以及
图像捕获系统，被配置成通过捕获所述物体表面的图像来生成表示所述物体表面的图像，其中，
所述获取单元被配置成从所述图像捕获系统获取表示所述物体表面的图像；
所述确定单元被配置成基于由所述获取单元获取的表示所述物体表面的图像，执行用于确定所述物体表面上的喷涂状态的喷涂确定处理，并由此基于所述喷涂确定处理的结果来控制所述图像捕获系统，
所述图像捕获系统包括多个相机，
所述确定单元被配置成基于所述喷涂确定处理的结果来控制所述图像捕获系统的所述多个相机的操作状态，
所述多个相机包括：一个或多个第一相机，每个第一相机被配置成生成表示所述物体表面的相关部分的图像；以及第二相机，被配置成生成表示所述物体的整个表面的图像，并且
所述确定单元被配置成基于所述喷涂确定处理的结果来控制所述一个或多个第一相机的操作状态。
2.根据权利要求1所述的检查系统，还包括：分离单元，被配置成基于由所述获取单元获取的图像来获得多个分离图像，每个分离图像是表示所述物体表面的图像，但是分别具有不同比率的所述镜面反射分量和所述漫反射分量，其中，
所述确定单元被配置成通过所述色彩确定处理基于所述多个分离图像来确定所述物体表面的色彩。
3.根据权利要求1所述的检查系统，其中
所述获取单元被配置成获取多个局部图像作为表示所述物体表面的图像，每个局部图像表示所述物体表面的相关部分，并且
所述确定单元被配置成通过所述色彩确定处理，基于在所述多个反射状态的每一个中表示所述物体的整个表面的图像来确定所述物体表面的色彩，所述图像是基于所述多个局部图像获得的。
4.根据权利要求3所述的检查系统，其中，
所述多个局部图像由相对于所述物体具有相互不同的图像捕获方向的所述多个相机生成。
5.根据权利要求1至4中任一项所述的检查系统，还包括：
照明系统，被配置成用光照射所述物体表面，其中
所述图像捕获系统被配置成通过捕获由所述照明系统照射的所述物体表面的图像来生成表示所述物体表面的图像，
所述获取单元被配置成从所述图像捕获系统获取表示所述物体表面的图像，
由所述照明系统放射的光的波长或由所述图像捕获系统检测的光的波长中的至少一个是能够改变的。
6.根据权利要求1至4中任一项所述的检查系统，其中，
所述确定单元被配置成通过所述色彩确定处理，使用包括关于所述物体表面的目标色彩的信息的样本数据来确定所述物体表面的色彩。
7.根据权利要求6所述的检查系统，其中，
所述样本数据包括关于所述物体的形状的信息或关于用于捕获所述物体的图像的条件的信息中的至少一个。
8.根据权利要求1至4中任一项所述的检查系统，其中，
所述确定单元被配置成基于所述色彩确定处理的结果来控制被配置成对所述物体表面进行喷涂的喷涂系统。
9.根据权利要求1所述的检查系统，其中，
所述确定单元被配置成通过所述喷涂确定处理来计算所述物体表面上的当前喷涂状态与所述物体表面上的目标喷涂状态之间的差，所述当前喷涂状态是从由所述获取单元获取的表示所述物体表面的图像获得的。
10.根据权利要求1所述的检查系统，其中，
所述确定单元被配置成基于由所述第二相机生成的图像和所述喷涂确定处理的结果来控制所述一个或多个第一相机的操作状态。
11.一种检查系统，包括：
获取单元，被配置成获取表示物体表面的图像；以及
确定单元，被配置成执行色彩确定处理，以用于基于多个反射状态来确定所述物体表面的色彩，所述多个反射状态是从由所述获取单元获取的表示所述物体表面的图像获得的，并且在所述物体表面上分别具有不同比率的镜面反射分量和漫反射分量，其中，
所述获取单元被配置成通过从多个不同位置捕获所述物体表面的图像，获取多个系列图像；
所述确定单元被配置成执行纹理确定处理，以基于所述多个系列图像之间的亮度信息的变化来确定所述物体表面的纹理，
所述多个系列图像中的每一个包括多个像素，
所述亮度信息包括从所述多个像素获得的亮度值之间的差，并且
所述差是在包括所述多个像素中的一个或多个像素的第一区域的亮度值与同所述第一区域相邻并且包括所述多个像素中的其他一个或多个像素的第二区域的亮度值之间计算的差。
12.根据权利要求11所述的检查系统，其中，
所述多个系列图像中的至少两个是通过在同一相机的位置改变的情况下捕获所述物体表面的图像而获得的。
13.根据权利要求11所述的检查系统，其中，
所述第一区域由所述多个像素中的第一像素构成，并且
所述第二区域由所述多个像素中的与所述第一像素相邻的第二像素构成。
14.根据权利要求11或13所述的检查系统，其中
所述第一区域是由所述多个像素构成的图像中最亮的区域。
15.一种检查方法，包括以下步骤：
获取表示物体表面的图像；以及
执行色彩确定处理，以基于多个反射状态来确定所述物体表面的色彩，所述多个反射状态是从表示所述物体表面的图像获得的，并且在所述物体表面上分别具有不同比率的镜面反射分量和漫反射分量，其中
获取所述图像的步骤包括从图像捕获系统获取表示所述物体表面的图像，所述图像捕获系统被配置成通过捕获所述物体表面的图像来生成表示所述物体表面的图像，
执行所述色彩确定处理的步骤包括基于由获取所述图像的步骤获取的表示所述物体表面的图像，执行用于确定所述物体表面上的喷涂状态的喷涂确定处理，并由此基于所述喷涂确定处理的结果来控制所述图像捕获系统，
所述图像捕获系统包括多个相机，
执行所述色彩确定处理的步骤包括基于所述喷涂确定处理的结果来控制所述图像捕获系统的所述多个相机的操作状态，
所述多个相机包括：一个或多个第一相机，每个第一相机被配置成生成表示所述物体表面的相关部分的图像；以及第二相机，被配置成生成表示所述物体的整个表面的图像，并且
执行所述色彩确定处理的步骤包括基于所述喷涂确定处理的结果来控制所述一个或多个第一相机的操作状态。
16.一种检查方法，包括以下步骤：
获取表示物体表面的图像；以及
执行色彩确定处理，以基于多个反射状态来确定所述物体表面的色彩，所述多个反射状态是从表示所述物体表面的图像获得的，并且在所述物体表面上分别具有不同比率的镜面反射分量和漫反射分量，其中
获取所述图像的步骤包括通过从多个不同位置捕获所述物体表面的图像，获取多个系列图像；
执行所述色彩确定处理的步骤包括执行纹理确定处理，以基于所述多个系列图像之间的亮度信息的变化来确定所述物体表面的纹理，
所述多个系列图像中的每一个包括多个像素，
所述亮度信息包括从所述多个像素获得的亮度值之间的差，并且
所述差是在包括所述多个像素中的一个或多个像素的第一区域的亮度值与同所述第一区域相邻并且包括所述多个像素中的其他一个或多个像素的第二区域的亮度值之间计算的差。
17.一种计算机可读的非暂时性存储介质，其上存储有程序，所述程序被设计成使一个或多个处理器执行根据权利要求15或16所述的检查方法。
CN201880078862.2A 2017-12-08 2018-12-07 检查系统、检查方法、程序和存储介质 Active CN111433574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211609178.7A CN115979424A (zh) 2017-12-08 2018-12-07 检查系统、检查方法、程序和存储介质

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762596247P 2017-12-08 2017-12-08
US62/596,247 2017-12-08
US201862699935P 2018-07-18 2018-07-18
US201862699942P 2018-07-18 2018-07-18
US62/699,935 2018-07-18
US62/699,942 2018-07-18
PCT/JP2018/045094 WO2019112040A1 (ja) 2017-12-08 2018-12-07 検査システム、検査方法、プログラム、及び、記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211609178.7A Division CN115979424A (zh) 2017-12-08 2018-12-07 检查系统、检查方法、程序和存储介质

Publications (2)

Publication Number Publication Date
CN111433574A CN111433574A (zh) 2020-07-17
CN111433574B true CN111433574B (zh) 2023-07-25

Family

ID=66749903

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211609178.7A Pending CN115979424A (zh) 2017-12-08 2018-12-07 检查系统、检查方法、程序和存储介质
CN201880078862.2A Active CN111433574B (zh) 2017-12-08 2018-12-07 检查系统、检查方法、程序和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211609178.7A Pending CN115979424A (zh) 2017-12-08 2018-12-07 检查系统、检查方法、程序和存储介质

Country Status (5)

Country Link
US (3) US11379968B2 (zh)
JP (3) JP7285502B2 (zh)
CN (2) CN115979424A (zh)
DE (1) DE112018006287T5 (zh)
WO (1) WO2019112040A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7285502B2 (ja) * 2017-12-08 2023-06-02 パナソニックＩｐマネジメント株式会社 検査システム、及び、検査方法
MX2022006248A (es) * 2019-11-27 2022-06-22 3M Innovative Properties Company Metodos y sistemas de control de reparaciones roboticas.
CN115136190A (zh) * 2020-02-21 2022-09-30 巴斯夫涂料有限公司 用于评估对表面的打点的方法
DE102021108563A1 (de) * 2021-04-07 2022-10-13 Dürr Systems Ag Bahnkorrekturverfahren für eine Beschichtungsanlage
WO2023046510A1 (en) * 2021-09-22 2023-03-30 Sony Group Corporation System and method for determining a characteristic of a surface of an object, methods for training a machine-learning model and programmable hardware
EP4435391A1 (en) * 2023-03-24 2024-09-25 X-Rite Europe GmbH Method and device for investigating the visual appearance of a sample surface
CN116297463B (zh) * 2023-05-16 2023-08-01 四川省港奇电子有限公司 一种电源适配器外壳注塑成型检测方法、系统及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072128A (en) * 1989-07-26 1991-12-10 Nikon Corporation Defect inspecting apparatus using multiple color light to detect defects
JPH0435773A (ja) * 1990-05-29 1992-02-06 Honda Motor Co Ltd 自動車製造ラインにおける塗装方法
JPH0581697U (ja) * 1992-03-31 1993-11-05 アンリツ株式会社 外観検査装置
JP3211681B2 (ja) * 1996-01-18 2001-09-25 日産自動車株式会社 塗装欠陥検査装置
JPH09289605A (ja) * 1996-04-23 1997-11-04 Matsushita Electric Ind Co Ltd 撮像装置
JP3690157B2 (ja) 1998-12-28 2005-08-31 スズキ株式会社 表面欠陥検査装置
US6804390B2 (en) * 2001-02-07 2004-10-12 Basf Corporation Computer-implemented neural network color matching formulation applications
JP2005181038A (ja) * 2003-12-18 2005-07-07 Olympus Corp 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法
JP4371883B2 (ja) * 2004-03-31 2009-11-25 ダイハツ工業株式会社 検査用照明光源ユニットとこの光源ユニットを用いた表面欠陥検査装置
CN100573579C (zh) * 2004-12-07 2009-12-23 松下电器产业株式会社 图像变换方法和装置、纹理映射方法和装置、服务器客户机系统
JP2006279228A (ja) * 2005-03-28 2006-10-12 Fuji Xerox Co Ltd 撮像装置
JP5014003B2 (ja) * 2007-07-12 2012-08-29 キヤノン株式会社 検査装置および方法
EP2068135B1 (de) 2007-12-07 2009-07-22 Basf Se Verfahren und Vorrichtung zur Modellierung und Simulation optischer Eigenschaften von Effektstofflacken und Bestimmung von Beleuchtungs- und Messgeometrien für Spektralphotometer
JP4719284B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 表面検査装置
JP2010122155A (ja) * 2008-11-21 2010-06-03 Canon Chemicals Inc 板状体の欠陥検出方法及び欠陥検出装置
US20130057678A1 (en) 2010-05-17 2013-03-07 Ford Espana S.L. Inspection system and method of defect detection on specular surfaces
WO2011163583A1 (en) * 2010-06-25 2011-12-29 E. I. Du Pont De Nemours And Company System for producing and delivering matching color coating and use thereof
JP5760371B2 (ja) * 2010-10-13 2015-08-12 富士通株式会社 塗装表面欠陥検査方法
JP2012217139A (ja) * 2011-03-30 2012-11-08 Sony Corp 画像理装置および方法、並びにプログラム
JP5900037B2 (ja) * 2012-03-08 2016-04-06 オムロン株式会社 画像処理装置およびその制御方法
JP2014240766A (ja) * 2013-06-11 2014-12-25 株式会社リケン 表面検査方法および表面検査装置
KR101500375B1 (ko) * 2013-06-27 2015-03-10 현대자동차 주식회사 차체 도장 외관 검사장치
JP6038965B2 (ja) 2014-01-14 2016-12-07 有限会社パパラボ 着色検査装置および着色検査方法
JP6086087B2 (ja) * 2014-03-25 2017-03-01 マツダ株式会社 表面質感評価装置
KR101782542B1 (ko) * 2016-06-10 2017-10-30 주식회사 에이티엠 차량 도장표면 검사시스템 및 검사방법
JP7285502B2 (ja) * 2017-12-08 2023-06-02 パナソニックＩｐマネジメント株式会社 検査システム、及び、検査方法

Also Published As

Publication number Publication date
JPWO2019112040A1 (ja) 2020-11-26
US11379968B2 (en) 2022-07-05
WO2019112040A1 (ja) 2019-06-13
US20210166370A1 (en) 2021-06-03
US20230334644A1 (en) 2023-10-19
US20220358638A1 (en) 2022-11-10
CN115979424A (zh) 2023-04-18
US11727554B2 (en) 2023-08-15
JP7285502B2 (ja) 2023-06-02
CN111433574A (zh) 2020-07-17
JP2023085360A (ja) 2023-06-20
DE112018006287T5 (de) 2020-10-08
JP2024009912A (ja) 2024-01-23
JP7407408B2 (ja) 2024-01-04

Similar Documents

Publication Publication Date Title
CN111433574B (zh) 检查系统、检查方法、程序和存储介质
JP6038965B2 (ja) 着色検査装置および着色検査方法
US11574420B2 (en) Systems and methods for matching color and appearance of target coatings
JP6039008B2 (ja) 着色評価装置及び着色評価方法
CN111989553B (zh) 颜色匹配样本数据库以及用于颜色匹配样本数据库的系统和方法
US10026192B2 (en) Color harmony verification system
BR112016020894B1 (pt) Sistema e método implantado por processador para determinar espessuras de revestimento e meio legível por computador
US11978233B2 (en) Systems and methods for matching color and appearance of target coatings
JP2005509342A (ja) 照明源固有ｈｓｖ色座標を用いた画像ハイライト補正方法、画像ハイライト補正プログラム、および画像取得システム
JP2016161297A (ja) 着色評価装置および着色評価方法
US12100171B2 (en) Systems and methods for matching color and appearance of target coatings
Ziou et al. Estimation of light source colours for light pollution assessment
CN115484712A (zh) 一种隧道入口处照明系统的控制方法、装置及其存储介质
CN115078368A (zh) 色斑评价装置、色斑评价系统、色斑评价方法以及存储介质
Malik et al. An integrated computer vision based approach for driving assistance to enhance visibility in all weather conditions
Gonzalez et al. Chromaticity Improvement Using the MSR Model in Presence of Shadows
CN118403811A (zh) 印刷电路板的墨色分选方法、装置和分选系统
CN109461145A (zh) 增强现实光照处理测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant