CN106461568A - 检查系统和检查方法 - Google Patents

检查系统和检查方法 Download PDF

Info

Publication number
CN106461568A
CN106461568A CN201580017606.9A CN201580017606A CN106461568A CN 106461568 A CN106461568 A CN 106461568A CN 201580017606 A CN201580017606 A CN 201580017606A CN 106461568 A CN106461568 A CN 106461568A
Authority
CN
China
Prior art keywords
phase
image data
amplitude
distribution
candy strip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580017606.9A
Other languages
English (en)
Other versions
CN106461568B (zh
Inventor
栗原徹
安藤繁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kochi University of Technology
University of Tokyo NUC
Original Assignee
Kochi University of Technology
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kochi University of Technology, University of Tokyo NUC filed Critical Kochi University of Technology
Publication of CN106461568A publication Critical patent/CN106461568A/zh
Application granted granted Critical
Publication of CN106461568B publication Critical patent/CN106461568B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8835—Adjustable illumination, e.g. software adjustable screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

实施方式的检查系统具有：面方式的照明部，其赋予光强度的周期性的时间变化和空间变化；时间相关图像生成部，其通过时间相关照相机或进行与其等效的动作的摄像系统生成时间相关图像；以及运算处理部，其根据时间相关图像计算与检查对象面的法线向量的分布对应的特征，该特征是通过与周围的不同和与参照表面的不同中的至少一方来检测异常的特征。

Description

检查系统和检查方法
技术领域
本发明的实施方式涉及检查系统和检查方法。
背景技术
以往，提出了如下技术：对被检查体照射光，拍摄来自该被检查体的表面的反射光作为图像数据，根据该图像数据的亮度变化等来检测被检查体的异常。
提出了这样的技术：在此时使照射到被检查体的光的强度周期性地变化，根据所拍摄到的图像数据的亮度变化来检测异常。
现有技术文献
专利文献
专利文献1：日本特开2014-2125号公报
发明内容
发明要解决的问题
然而，虽然在现有技术中使光的强度变化，但是，在所拍摄到的图像数据中并不包含与使光的强度变化时的时间的迁移相关的信息。因此，在利用所拍摄到的图像数据检测被检查体的异常时，检测精度可能变低。
用于解决问题的手段
在实施方式的检查系统中具有：面方式的照明部，其赋予光强度的周期性的时间变化和空间变化；时间相关图像生成部，其通过时间相关照相机或进行与时间相关照相机等效的动作的摄像系统生成时间相关图像；以及运算处理部，其根据时间相关图像计算与检查对象面的法线向量的分布对应的特征，该特征是通过与周围的不同和与参照表面的不同中的至少一方来检测异常的特征。
附图说明
图1是示出第1实施方式的检查系统的结构例的图。
图2是示出第1实施方式的时间相关照相机的结构的框图。
图3是表述在第1实施方式的时间相关照相机中按时间序列依次蓄积的帧的概念图。
图4是示出第1实施方式的照明装置照射的条纹图案的一例的图。
图5是示出第1实施方式的时间相关照相机进行的被检查体的异常的第1检测例的图。
图6是示出在被检查体中存在图5所示的异常的情况下，根据该异常而变化的光的振幅的例子的图。
图7是示出第1实施方式的时间相关照相机进行的被检查体的异常的第2检测例的图。
图8是示出第1实施方式的时间相关照相机进行的被检查体的异常的第3检测例的图。
图9是示出第1实施方式的照明控制部向照明装置输出的条纹图案的例子的图。
图10是示出表示经由第1实施方式的屏幕后的条纹图案的波的形状的例子的图。
图11是示出第1实施方式的异常检测处理部中的基于振幅的异常检测处理的步骤的流程图。
图12是示出第1实施方式的异常检测处理部中的基于相位的异常检测处理的步骤的流程图。
图13是示出第1实施方式的异常检测处理部中的基于振幅和强度的异常检测处理的步骤的流程图。
图14是示出第1实施方式的检查系统中的被检查体的检查处理的步骤的流程图。
图15是示出变形例2的照明控制部输出的条纹图案的切换例的图。
图16是变形例2的照明控制部向包含异常(缺陷)的表面照射了条纹图案的例子的图。
图17是在y方向上使条纹图案变化的情况下的异常(缺陷)与屏幕上的条纹图案之间的关系的图。
图18是示出变形例3的照明控制部向照明装置输出的条纹图案的例子的图。
图19是示出第2实施方式的照明控制部向照明装置输出的条纹图案的例子的图。
图20是示出第2实施方式的检查系统中的图像传感器、屏幕、被检查体的表面形状之间的对应关系的图。
图21是示出第2实施方式的检查系统的检查对象、即二階微分fxx＜0的情况下的被检查体的表面形状的例子的图。
图22是示出第2实施方式的检查系统的检查对象、即fxx＞0的情况下的被检查体的表面形状的例的图。
图23是示出使条纹图案中的条纹宽度进行各种变化的情况下的g/p的标志。
图24是示出第2实施方式的检查系统所使用的振幅比对应表的例子的图。
图25是示出第3实施方式的检查系统的、从屏幕照射了与被检查体的表面形状一致的条纹图案的图。
图26是示出第3实施方式的检查系统的被检查体的检查处理的步骤的流程图。
图27是示出第3实施方式的照明装置在屏幕中显示的条纹图案的例子的图。
图28是示出用于生成图27的条纹图案的利用明暗(浓淡)表示被检查体或屏幕的表面中的初始的相位分布(空间相位分布)的例子的图。
图29是示出在球面状的被检查体上投影的条纹图案的例子的图，其中，该条纹图案如图25所示，在从时间相关照相机观察的视线中为移动的平行条纹。
图30是示出在第5实施方式中执行使用相位限定拉普拉斯算子的处理之前的相位图像数据的例子的图。
图31是示出图30中的相位的变化的例子的概略图。
图32是示出与第5实施方式的检查系统中使用的相位限定拉普拉斯算子对应的拉普拉斯算子滤波器的例子的图。
图33是示出在第5实施方式中执行了使用相位限定拉普拉斯算子的处理后的相位图像数据的例子的图。
图34是示出拉普拉斯算子滤波器的另一例的图。
图35是示出拉普拉斯算子滤波器的另一例的图。
图36是示出拉普拉斯算子滤波器的另一例的图。
具体实施方式
(第1实施方式)
对本实施方式的检查系统进行说明。第1实施方式的检查系统具有用于检查被检查体的各种结构。图1是示出本实施方式的检查系统的结构例的图。如图1所示，本实施方式的检查系统具有PC 100、时间相关照相机110、照明装置120、屏幕130、臂140。
臂140用于固定被检查体150，根据来自PC 100的控制，使时间相关照相机110能够拍摄的被检查体150的表面的位置和朝向变化。
照明装置120是向被检查体150照射光的装置，能够按照来自PC 100的条纹图案以区域单位对要照射的光的强度进行控制。进而，照明装置120能够按照周期性的时间的迁移来控制该区域单位的光的强度。换言之，照明装置120能够赋予光强度的周期性的时间变化和空间变化。另外，后面记述具体的光强度的控制方法。
屏幕130使从图照明装置120输出的光扩散，然后以面的方式对被检查体150照射光。本实施方式的屏幕130以面的方式向被检查体150照射从照明装置120输入的被赋予了周期性的时间变化和空间变化的光。另外，在照明装置120与屏幕130之间，也可以设置聚光用的菲涅尔透镜等光学系统部件(未图示)。
另外，在本实施方式中说明了组合照明装置120和屏幕130来构成赋予光强度的周期性的时间变化和空间变化的面方式的照射部的例子，但是，不限于这样的的组合，例如，也可以以面的方式配置LED来构成照明部。
时间相关照相机110具有光学系统210、图像传感器220、数据缓冲器230、控制部240、参照信号输出部250。图2是示出本实施方式的时间相关照相机110的结构的框图。
光学系统210包含拍摄镜头等，使来自时间相关照相机110的外部的被摄体(包含被检查体)的光束透射，使通过该光束形成的被摄体的光学像成像。
图像传感器220是这样的传感器：能够按照每个像素高速地输出经由光学系统210入射的光的强弱作为光强度信号。
本实施方式的光强度信号是指，检查系统的照明装置120对被摄体(包含被检查体)照射光，由图像传感器220取得来自该被摄体的反射光而得到的光强度信号。
图像传感器220例如是与以往相比能够高速进行读出的传感器，构成为在行方向(x方向)、列方向(y方向)这2种方向上排列像素的二维平面状。而且，将图像传感器220的各像素设为像素P(1，1)、……、P(i，j)、……、P(X，Y)(另外，本实施方式的图像尺寸为X×Y。)。另外，不限制图像传感器220的读出速度，也可以与以往相同。
图像传感器220接收通过光学系统210而透射的来自被摄体(包含被检查体)的光束并进行光电转换，由此，生成通过表示从被摄体反射的光的强弱的光强度信号(拍摄信号)而构成的二维平面状的帧，并将其输出到控制部240。本实施方式的图像传感器220按照能够读出的每个单位时间输出该帧。
本实施方式的控制部240例如由CPU、ROM和RAM等构成，通过执行ROM中存储的检查程序来实现转送部241、读出部242、强度图像用重叠部243、第1乘法器244、第1相关图像用重叠部245、第2乘法器246、第2相关图像用重叠部247、图像输出部248。另外，不限于通过CPU等来实现，也可以通过FPGA或ASIC来实现。
转送部241按照时间序列在数据缓冲器230中依次蓄积从图像传感器220输出的由光强度信号构成的帧。
数据缓冲器230按照时间序列依次蓄积从图像传感器220输出的由光强度信号构成的帧。
图3是表示在本实施方式的时间相关照相机110中按照时间序列依次蓄积的帧的概念图。如图3所示，在本实施方式的数据缓冲器230中，按照时间序列依次蓄积每个时刻t(t＝t0、t1、t2、……、tn)的多个光强度信号G(1，1，t)、……、G(i，j，t)、……、G(X，Y，t)的组合所构成的多个帧Fk(k＝1、2、……、n)。另外，在时刻t生成的一个帧由光强度信号G(1，1，t)、……、G(i，j，t)、……、G(X，Y，t)构成。
本实施方式的光强度信号(摄像信号)G(1，1，t)、……、G(i，j，t)、……、G(X，Y，t)与构成帧图像Fk(k＝1、2、……、n)的各像素P(1、1)、……、P(i，j)、……、P(X，Y)对应起来。
从图像传感器220输出的帧仅由光强度信号构成，换言之能够认为是单色的图像数据。另外，在本实施方式中，考虑分辨率、感光度和成本等，对图像传感器220生成单色的图像数据的例子进行说明，但是，作为图像传感器220，不限于单色用的图像传感器，也可以使用彩色用的图像传感器。
返回图2，本实施方式的读出部242以帧为单位，按照时间序列从数据缓冲器230依次读出光强度信号G(1，1，t)、……、G(i，j，t)、……、G(X，Y，t)，并输出到第1乘法器244、第2乘法器246、强度图像用重叠部243。
本实施方式的时间相关照相机110按照读出部242的每个输出目的地生成图像数据。换言之，时间相关照相机110生成3种图像数据。
本实施方式的时间相关照相机110生成强度图像数据和2种时间相关图像数据来作为3种图像数据。另外，本实施方式不限于生成3种图像数据，也考虑不生成强度图像数据的情况，和生成1种或3种以上的时间相关图像数据的情况。
如上所述，本实施方式的图像传感器220按照每个单位时间输出由光强度信号构成的帧。然而，为了生成通常的图像数据，需要拍摄所需要的曝光时间的量的光强度信号。因此，在本实施方式中，强度图像用重叠部243重叠拍摄所需要的曝光时间的量的多个帧，生成强度图像数据。另外，强度图像数据的各像素值(表示光的强度的值)G(X，Y)能够由以下所示的式(1)导出。另外，曝光时间为t0与tn的时间差。
由此，与以往的照相机的拍摄同样，生成拍摄被摄体(包含被检查体)得到的强度图像数据。然后，强度图像用重叠部243将所生成的强度图像数据输出到图像输出部248。
时间相关图像数据是表示与时间迁移对应的光的强弱变化的图像数据。即，在本实施方式中，按照时间序列顺序的每个帧，对该帧所包含的光强度信号乘以表示时间迁移的参照信号，生成由参照信号和光强度信号的相乘结果即时间相关值构成的时间相关值帧，重叠多个时间相关值帧，从而生成时间相关图像数据。
但是，为了使用时间相关图像数据来检测被检查体的异常，需要使输入到图像传感器220的光强度信号与参照信号同步地变化。因此，如上所述，照明装置120进行经由屏幕130周期性地赋予时间变化和条纹的空间移动这样的，面方式的光的照射。
在本实施方式中，生成2种时间相关图像数据。参照信号是表示时间迁移的信号即可，但是，在本实施方式中，使用复数正弦波e-jωt。另外，设为角频率ω、时刻t。将角频率ω设定成，使得表示参照信号的复数正弦波e-jωt与上述的曝光时间(换言之，生成强度图像数据、时间相关图像所需要的时间)的一个周期取得相关。换言之，关于通过照明装置120和屏幕130等的照明部形成的面方式且动态的光，在被检查体150的表面(反射面)的各位置处赋予第一周期(时间周期)的时间上的照射强度的变化，并且，按照沿着表面的至少一个方向赋予第二周期(空间周期)的空间上的照射强度的增减分布。该面方式的光在表面被反射时，根据该表面的规格(法线向量的分布等)而被进行复数调制。时间相关照相机110接收在表面被进行复数调制后的光，使用第一周期的参照信号进行正交检波(正交解调)，由此，得到作为复数信号的时间相关图像数据。通过这样的基于复数时间相关图像数据的调制/解调，能够检测与表面的法线向量的分布对应的特征。
复数正弦波e-jωt还能够表示为e-jωt＝cos(ωt)-j·sin(ωt)。因此，时间相关图像数据的各像素值C(X，Y)能够由以下所示的式(2)导出。
在本实施方式中，在式(2)中，区分表示实数部的像素值C1(X，Y)和表示虚数部的像素值C2(X，Y)而生成2种时间相关图像数据。
因此，参照信号输出部250对第1乘法器244和第2乘法器246分别生成并输出不同的参照信号。本实施方式的参照信号输出部250将与复数正弦波e-jωt的实数部对应的第1参照信号cosωt输出到第1乘法器244，将与复数正弦波e-jωt的虚数部对应的第2参照信号sinωt输出到第2乘法器246。这样，对本实施方式的参照信号输出部250输出表现为彼此构成希尔伯特变换对的正弦波和余弦波的时间函数的2种参照信号的例进行了说明，但是，参照信号只要是时间函数那样的根据时间迁移而变化的参照信号即可。
然后，第1乘法器244按照从读出部242输入的帧单位，按照该帧的每个光强度信号，乘以从参照信号输出部250输入的复数正弦波e-jωt的实数部cosωt。
第1相关图像用重叠部245针对拍摄所需要的曝光时间的量的多个帧，进行按照每个像素重叠第1乘法器244的相乘结果的处理。由此，第1时间相关图像数据的各像素值C1(X，Y)由以下的式(3)导出。
然后，第2乘法器246针对从读出部242输入的帧的光强度信号，乘以从参照信号输出部250输入的复数正弦波e-jωt的虚数部sinωt。
第2相关图像用重叠部247针对拍摄所需要的曝光时间的量的多个帧，进行按照每个像素重叠第2乘法器246的相乘结果的处理。由此，第2时间相关图像数据的各像素值C2(x，y)由以下的式(4)导出。
通过进行上述的处理，能够生成2种时间相关图像数据，换言之为具有2自由度的时间相关图像数据。
此外，本实施方式不限制参照信号的种类。例如，在本实施方式中，生成复数正弦波e-jωt的实部和虚部这2种时间相关图像数据，但是，也可以生成基于光的振幅和光的相位得到的2种图像数据。
另外，本实施方式的时间相关照相机110能够生成多个系统的时间相关图像数据。由此，例如在照射组合了多种宽度的条纹的光时，能够按照条纹的每个宽度来生成基于上述的实部和虚部的2种时间相关图像数据。因此，时间相关照相机110能够具有多个系统的由2个乘法器和2个相关图像用重叠部构成的组合，并且，参照信号输出部250能够输出适合每个系统的角频率ω的参照信号。
然后，图像输出部248将2种时间相关图像数据和强度图像数据输出到PC 100。由此，PC 100使用2种时间相关图像数据和强度图像数据，检测被检查体的异常。因此，需要对被摄体照射光。
本实施方式的照明装置120照射高速移动的条纹图案。图4是示出本实施方式的照明装置120照射的条纹图案的一例的图。在图4所示的例中，设为使条纹图案在x方向上滚动(移动)的例子。白色的区域是与条纹对应的亮区域，黑色区域是与条纹和条纹之间对应的间隔区域(暗区域)。
在本实施方式中，在时间相关照相机110对强度图像数据和时间相关图像数据进行拍摄的曝光时间内，使照明装置120照射的条纹图案移动一个周期的量。由此，照明装置120通过光的强度的条纹图案的空间移动而赋予光的强度的周期性的时间变化。在本实施方式中，使图4的条纹图案移动一个周期的量的时间与曝光时间对应，由此，在时间相关图像数据的各像素中至少插入与条纹图案一个周期的量的光的强度信号有关的信息。
如图4所示，在本实施方式中，对照明装置120照射基于矩形波的条纹图案的例子进行说明，但是，也可以使用矩形波以外的波形图案。在本实施方式中，照明装置120经由屏幕130而被照射，由此，能够使矩形波的明暗的边界区域模糊。
在本实施方式中，将照明装置120照射的条纹图案表示为A(1+cos(ωt+kx))。即，在条纹图案中反复地(周期性地)包含多个条纹。另外，能够在0～2A之间调整照射到被检查体的光的强度，将光的相位设为kx。k是条纹的波数。x是相位变化的方向。
而且，帧的各像素的光强度信号f(x，y，t)的基本频率成分能够表示为以下的式(5)。如式(5)所示，条纹的明暗在x方向上变化。
f(x，y，t)＝A(1+cos(ωt+kx))
＝A+A/2{ej(ωt+kx)+e-j(ωt+kx)}……(5)
如式(5)所示，能够认为照明装置120照射的条纹图案的强度信号为复数。
而且，来自该照明装置120的光从被摄体(包含被检查体)反射而输入到图像传感器220。
因此，能够将输入到图像传感器220中的光强度信号G(x，y，t)设为照明装置120被照射时的帧的各像素的光强度信号f(x，y，t)。因此，如果在用于导出强度图像数据的式(1)中代入式(5)，则能够导出式(6)。另外，设相位为kx。
根据式(6)，能够确认到在强度图像数据的各像素中输入了将曝光时间T与照明装置120输出的光的强度的中间值A相乘得到的值。进而，如果在用于导出时间相关图像数据的式(2)中代入式(5)，则能够导出式(7)。另外，设AT/2为振幅，kx为相位。
由此，在式(7)中示出的由复数表示的时间相关图像数据能够置换为上述的2种时间相关图像数据。即，在上述的由实部和虚部构成的时间相关图像数据中包含有照射到检查体上的光强度变化中的相位变化和振幅变化。换言之，本实施方式的PC100能够根据2种时间相关图像数据，检测从照明装置120照射的光的相位变化和光的振幅变化。因此，本实施方式的PC 100根据时间相关图像数据和强度图像数据，生成表示入射到每个像素的光的振幅的振幅图像数据和表示入射到每个像素的光的相位变化的相位图像数据。
进而，PC 100根据所生成的振幅图像数据和相位图像数据来检测被检查体的异常。
但是，在被检查体的表面形状中产生基于凹凸的异常的情况下，在被检查体的表面的法线向量的分布中产生与异常对应的变化。此外，在被检查体的表面产生吸收光这样的异常的情况下，在反射的光的强度中产生变化。检测光的相位变化和振幅变化中的至少任意一方作为法线向量的分布的变化。因此，在本实施方式中，使用时间相关图像数据和强度图像数据，检测与法线向量的分布的变化对应的、光的相位变化和振幅变化中的至少任意一方的变化。由此，能够检测表面形状的异常。接着，对被检查体的异常、法线向量和光的相位变化或振幅变化的关系进行说明。
图5是示出第1实施方式的时间相关照相机110进行的被检查体的异常的第1检测例的图。在图5所示的例中，设为在被检查体500中存在突形状的异常501的状况。在该状况中，在异常501的点502的附近区域中，能够确认到法线向量521、522、523朝向不同的方向。而且，由于该法线向量521、522、523朝向不同的方向，从异常501反射的光产生扩散(例如，光511、512、513)，进入时间相关照相机110的图像传感器220的任意的像素531中的条纹图案的宽度503变宽。
图6是示出在被检查体500中存在图5所示的异常501的情况下，根据该异常而变化的光的振幅的例子的图。在图6所示的例中，将光的振幅分为实部(Re)和虚部(Im)表示在二维平面上。在图6中，与图5的光511、512、513对应的光的振幅表示为611、612、613。而且，光的振幅611、612、613彼此抵消，在图像传感器220的该任意的像素531中入射振幅621的光。
因此，在图6所示的状况下，能够确认到在拍摄到检查体500的异常501的区域中振幅较小。换言之，在示出振幅变化的振幅图像数据中存在与周围相比较暗的区域的情况下，能够推测为在该区域中产生了光之间的振幅的抵消，因此，能够判断为在与该区域对应的被检查体500的位置处产生了异常501。
在本实施方式的检查系统中，不限于如图5的异常501那样倾斜急剧地变化，也能够检测缓慢地变化的异常。图7是示出第1实施方式的时间相关照相机110进行的被检查体的异常的第2检测例的图。在图7所示的例中，正常的情况为被检查体的表面成为平面(换言之为法线平行)，但是，设为被检查体700中产生了缓慢的斜坡701的状况。在这样的状况下，斜坡701上的法线向量721、722、723也同样缓慢地变化。因此，输入到图像传感器220中的光711、712、713也一点一点地偏移。在图7所示的例中，由于是缓慢的斜坡701而不产生光的振幅的抵消，因此，图5、图6中表示的光的振幅基本不变化。然而，本来从屏幕130投影的光应该原样地平行入射到图像传感器中，但是，由于缓慢的斜坡701，因此，从屏幕130投影的光不会以平行的状态进入图像传感器，因此，光产生相位变化。因此，针对光的相位变化，检测与周围等之间的不同，由此，能够检测图7所示那样的缓慢的斜坡701的异常。
此外，存在还在被检查体的表面形状(换言之，被检查体的法线向量的分布)以外产生异常的情况。图8示出第1实施方式的时间相关照相机110进行的被检查体的异常的第3检测例的图。在图8所示的例中示出如下的例子：被检查体800上附着有污垢801，因此，对从照明装置120照射的光进行吸收或扩散反射，时间相关照相机110对污垢801进行拍摄的任意的像素区域中，光的强度基本不变化。换言之，示出如下例子：在拍摄到污垢801的任意的像素区域中，光强度产生相位抵消，振动成分被消除，基本成为直流的亮度。
在这样的情况下，在拍摄到污垢801的像素区域中，由于基本没有光的振幅，因此，在表示振幅图像数据时，产生与周围相比变暗的区域。因此，能够推定在与该区域对应的被检查体800的位置处存在污垢等异常801。
这样，在本实施方式中，根据时间相关图像数据，检测光的振幅的变化和光的相位的变化，由此能够推定在被检查体中存在异常。
返回图1，对PC 100进行说明。PC 100进行检测系统整体的控制。PC 100具有臂控制部101、照明控制部102、控制部103。
臂控制部101对臂140进行控制，以变更被作为检查体150的时间相关照相机110的摄像对象的表面。在本实施方式中，在PC 100中，预先设定多个作为被检查体的拍摄对象的表面。然后，在每次时间相关照相机110结束被检查体150的拍摄时，臂控制部101按照该设定，利用臂140使被检查体150移动，使得能够由时间相关照相机110对所设定的表面进行拍摄。另外，在本实施方式中，不限于重复地在每次拍摄结束时使臂移动，并在开始拍摄前停止，也可以持续地驱动臂140。另外，臂140也可以被称作搬运部、移动部、位置变更部、姿势变更部等。
照明控制部102输出由照明装置120照射的条纹图案，以检查被检查体150。本实施方式的照明控制部102向照明装置120交付至少3幅以上的条纹图案，并对照明装置120进行指示，使得在曝光时间内切换显示该条纹图案。
图9是示出照明控制部102向照明装置120输出的条纹图案的例子的图。根据图9的(B)所示的矩形波，照明控制部102进行控制，使得输出图9的(A)所示的设定了黑区域和白区域的条纹图案。
本实施方式中照射的每个条纹图案的条纹的间隔是根据作为检测对象的异常(缺陷)的大小而设定的，这里省略详细说明。
此外，用于输出条纹图案的矩形波的角频率ω为与参照信号的角频率ω相同的值。
如图9所示，照明控制部102输出的条纹图案能够表示为矩形波，但是，通过经由屏幕130，使条纹图案的边界区域模糊，即，使条纹图案中的亮区域(条纹的区域)与暗区域(间隔的区域)之间的边界处的光的强度变化缓和(减弱)，由此，能够近似为正弦波。图10是示出表示经由屏幕130后的条纹图案的波的形状的例子的图。如图10所示，波的形状接近正弦波，由此，能够提高计测精度。此外，也可以在条纹中追加明亮度多段階地变化的灰区域，或者赋予渐变(gradation)。此外，也可以使用包含彩色的条纹的条纹图案。
返回图1，控制部103具有振幅-相位图像生成部104和异常检测处理部105，根据从时间相关照相机110输入的强度图像数据和时间相关图像数据，进行用于计算与被检查体150的检查对象面的法线向量的分布对应的特征的处理，其中，该特征是通过与周围的不同来检测异常的特征。另外，在本实施方式中，为了进行检查，代替由复数表示的时间相关图像数据(称作复数时间相关图像数据)，从时间相关照相机110接收通过复数相关图像数据的实部和虚部而划分的2种时间相关图像数据。
振幅-相位图像生成部104根据从时间相关照相机110输入的强度图像数据和时间相关图像数据，生成振幅图像数据和相位图像数据。
振幅图像数据为表示入射到每个像素的光的振幅的图像数据。相位图像数据为表示入射到每个像素的光的相位的图像数据。
在本实施方式中不限制振幅图像数据的计算方法，例如，振幅-相位图像生成部104使用式(8)从2种时间相关图像数据的像素值C1(x，y)和C2(x，y)导出振幅图像数据的各像素值F(x，y)。
而且，在本实施方式中，根据振幅图像数据的像素值(振幅)和强度图像数据的像素值，能够判定是否存在产生了异常的区域。例如，能够推测为在强度图像数据的像素值(AT)除以2得到的值与振幅图像数据的振幅(在未产生抵消的情况下为AT/2)在某种程度一致的区域中未产生异常。另一方面，针对未一致的区域，能够推测为产生了振幅的抵消。另外，后面记述具体的方法。
同样，振幅-相位图像生成部104使用式(9)，从像素值C1(x，y)和C2(x，y)导出相位图像数据的各像素值P(x，y)。
异常检测处理部105根据由振幅-相位图像生成部104生成的振幅图像数据和相位图像数据，检测与检查对称面的法线向量的分布对应的特征，该特征是通过与周围的不同而与被检查体150的异常关联的特征。在本实施方式中，作为与法线向量的分布对应的特征，对使用复数时间相关图像的振幅的分布的例子进行说明。另外，复数时间相关图像的振幅的分布是表示复数时间相关图像的各像素的振幅的分布的数据，与振幅图像数据相当。
接着，对本实施方式的异常检测处理部105中的基于振幅的异常检测处理进行说明。图11是示出本实施方式的异常检测处理部105中的该处理的步骤的流程图。
首先，异常检测处理部105从振幅图像数据的各像素中存储的光的振幅值(表示该光的振幅值的像素值)中以该像素为基准(例如中心)减去N×N区域的平均振幅值(步骤S1101)，生成振幅的平均差分图像数据。振幅的平均差分图像数据对应于振幅的梯度。另外，能够根据实施方式而将整数N设定为适当的值。
接着，异常检测处理部105针对通过减法运算而生成的振幅的平均差分图像数据，进行使用了预定的振幅的阈值的屏蔽(mask)处理(步骤S1102)。
进而，异常检测处理部105按照平均差分图像数据的屏蔽区域内的每个像素计算标准偏差(步骤S1103)。另外，在本实施方式中，对基于标准偏差的方法进行说明，但是，不限于使用标准偏差的情况，也可以使用例如平均值等。
然后，异常检测处理部105检测减去平均后的振幅像素值小于-4.5σ(σ：标准偏差)的值的像素，作为存在异常(缺陷)的区域(步骤S1104)。
通过上述的处理步骤，根据各像素的振幅值(换言之，振幅的分布)能够检测被检查体的异常。然而，在本实施方式中，不限于根据复数时间相关图像的振幅的分布来检测异常。作为与检查对称面的法线向量的分布对应的特征，也可以使用相位的分布的梯度。因此，接着对使用相位的分布的梯度的例子进行说明。
接着，对本实施方式的异常检测处理部105中的基于相位的异常检测处理进行说明。图12是示出本实施方式的异常检测处理部105中的该处理的步骤的流程图。
首先，异常检测处理部105从相位图像数据的每个像素的光的相位值(表示该光的相位值的像素值)中以该像素为基准(例如中心)减去N×N区域的平均相位值(步骤S1201)，生成相位的平均差分图像数据。相位的平均差分图像数据对应于相位的梯度。
接着，异常检测处理部105对通过减法运算而生成的相位的平均差分图像数据的大小(绝对值)和阈值进行比较，检测平均差分图像数据的大小为阈值以上的像素，作为存在异常(缺陷)的像素(步骤S1202)。
根据通过该步骤S1202的检测结果，异常检测处理部105能够根据平均差分图像数据的正负、即像素的相位值与平均相位值之间的大小关系来判别凹凸(步骤S1203)。关于在像素的相位值和平均相位值中的哪一方较大的情况下会成为凸，根据各部的设定而变化，但是，当大小关系不同时，凹凸不同。
另外，能够根据通过其他方法得到的相位的分布的梯度来检测异常。例如，作为另外的方法，异常检测处理部105在归一化后的时间相关图像数据的N×N的区域的平均向量与归一化后的各像素的向量之差的大小大于阈值的情况下，能够检测为存在异常(缺陷)的像素。此外，不限于相位的分布的梯度，根据与相位的分布对应的信息检测被检查体的异常即可。
接着，对本实施方式的异常检测处理部105中的基于振幅和强度的异常检测处理进行说明。图13是示出本实施方式的异常检测处理部105中的该处理的步骤的流程图。
首先，异常检测处理部105根据时间相关图像数据和强度图像数据，针对各像素，使用下式(100)来计算振幅(表示该振幅的像素值)C(x，y)(参照式(7))与强度(表示该强度的像素值)G(x，y)(参照式(6))之比值R(x，y)(步骤S1301)。
R(x，y)＝C(x，y)/G(x，y)……(100)
接着，异常检测处理部105对比值R(x，y)和阈值进行比较，检测比值R(x，y)的值为对应的阈值以下的像素作为存在异常(缺陷)的像素(步骤S1302)。此外，异常检测处理部105对比值R(x，y)和阈值进行比较，检测比值R(x，y)的值为对应的另外的阈值以上的像素作为存在斑点(污垢等)的像素(步骤S1303)。在由于法线向量的分布的异常而使振幅的抵消(抵消)显著的情况下，与强度相比，振幅更加大幅下降。另一方面，在法线向量的分布中没那样的异常，但是通过被检查体150的表面的污垢等显著地吸收光的情况下，与振幅相比，强度更加大幅下降。因此，异常检测处理部105能够进行基于步骤S1302和步骤S1303的异常类别的检测。
接着，对本实施方式的检查系统中的被检查体的检查处理进行说明。图14是示出本实施方式的检查系统中的上述的处理的步骤的流程图。另外，被检查体150在已经被固定在臂140上的状态下，被配置在检查的初始位置。
本实施方式的PC 100向照明装置120输出用于检测被检查体的条纹图案(步骤S1401)。
照明装置120存储从PC 100输入的条纹图案(步骤S1421)。然后，照明装置120按照时间迁移使所存储的条纹图案变化的方式进行显示(步骤S1422)。另外，照明装置120开始显示的条件不限于条纹图案被存储时，例如也可以是检查者对照明装置120进行开始操作时。
然后，PC 100的控制部103对时间相关照相机110发送拍摄的开始指示(步骤S1402)。
接着，时间相关照相机110按照所发送来的拍摄指示，开始对包含被检查体150的区域进行拍摄(步骤S1411)。接着，时间相关照相机110的控制部240生成强度图像数据和时间相关图像数据(步骤S1412)。然后，时间相关照相机110的控制部240将强度图像数据和时间相关图像数据输出到PC 100(步骤S1413)。
PC 100的控制部103接收强度图像数据和时间相关图像数据(步骤S1403)。然后，振幅-相位图像生成部104根据所接收到的强度图像数据和时间相关图像数据，生成振幅图像数据和相位图像数据(步骤S1404)。
然后，异常检测处理部105根据振幅图像数据和相位图像数据，进行被检查体的异常检测控制(步骤S1405)。然后，异常检测处理部105将异常检测结果输出到PC100所具有的(未图示)显示装置(步骤S1406)。
作为异常检测结果的输出例，考虑显示强度图像数据，并且，针对与根据振幅图像数据和相位图像数据检测到异常的区域对应的强度图像数据的区域，以使得检查者能够识别异常的方式进行装饰显示等。此外，不限于基于视觉的输出，也可以通过声音等输出检测到异常的情况。
控制部103判定该被检查体的检查是否已经结束(步骤S1407)。在判定为检查未结束的情况下(步骤S1407：“否”)，臂控制部101按照预定的设定进行臂的移动控制，使得能够通过时间相关照相机110拍摄作为接下来的检查对象的被检查体的表面(步骤S1408)。在臂的移动控制结束后，控制部103再次对时间相关照相机110发送拍摄的开始指示(步骤S1402)。
另一方面，控制部103在判定为该被检查体的检查已结束的情况下(步骤S1407：“是”)，将结束指示输出到时间相关照相机110(步骤S1409)，结束处理。
然后，时间相关照相机110判定是否接收到结束指示(步骤S1414)。在未收到结束指示的情况下(步骤S1414：“否”)，再次从步骤S1411进行处理。另一方面，在接收到结束指示的情况下(步骤S1414：“是”)，结束处理。
另外，照明装置120的结束处理也可以由检查者来进行，还可按照来自其他结构的指示来结束。
此外，在本实施方式中，对生成使用时间相关照相机110而生成的强度图像数据和时间相关图像数据的例子进行了说明。然而，不限于使用时间相关照相机110来生成强度图像数据和时间相关图像数据，也可以使用能够通过模拟处理实现的时间相关照相机、或者进行与其等效的动作的摄像系统。例如也可以是，输出由通常的数字静态照相机生成的图像数据，信息处理装置使用由数字静态照相机生成的图像数据作为帧图像数据，对参照信号进行重叠，由此，生成时间相关图像数据，还可以是，使用在图像传感器内将参照信号与光强度信号重叠这样的数字照相机，来生成时间相关图像数据。
(变形例1)
在本实施方式中，对根据与周围的不同来检测与异常关联的特征的例子进行了说明，但是，不限于根据与周围的不同来检测该特征，也可以根据与参照形状的数据(参照数据，例如，时间相关数据、振幅图像数据、相位图像数据等)之间的差异来检测该特征。该情况下，在参照数据的情况下，需要空间相位调制照明(条纹图案)的位置对齐和同步。
在本变形例中，异常检测处理部105对预先在(未图示)存储部中存储的从参照表面得到的振幅图像数据和相位图像数据、与被检查体150的振幅图像数据和相位图像数据进行比较，判定在被检查体150的表面与参照表面之间，光的振幅和光的相位中的任意一方以上是否存在规定的基准以上的不同。
本变形例使用与第1实施方式相同的结构的检查系统，设为使用正常的被检查体的表面作为参照表面的例。
在照明装置120经由屏幕130照射条纹图案的期间内，时间相关照相机110对正常的被检查体的表面进行拍摄，生成时间相关图像数据。然后，PC 100输入在时间相关照相机110中生成的时间相关图像数据，生成振幅图像数据和相位图像数据，在PC 100的未图示的存储部中预先存储有振幅图像数据和相位图像数据。然后，时间相关照相机110对要判定是否产生了异常的被检查体进行拍摄，生成时间相关图像数据。然后，PC 100根据时间相关图像数据生成振幅图像数据和相位图像数据，之后，与存储部中存储的正常的被检查体的振幅图像数据和相位图像数据之间进行比较。此时，输出正常的被检查体的振幅图像数据和相位图像数据与检查对象的被检查体的振幅图像数据和相位图像数据之间的比较结果，作为表示检测异常的特征的数据。然后，检测异常的特征为该规定的基准以上的情况下，能够推测为被检查体150存在异常。
由此，在本变形例中，能够判定是否与正常的被检查体的表面之间产生了差异，换言之，能够判定是否在被检查体的表面产生了异常。另外，关于振幅图像数据和相位图像数据的比较方法，可以使用任意的方法，因此省略说明。
进而，在本变形例中说明了根据参照表面的不同来输出表示检测异常的特征的数据的例子，但是，也可以组合参照表面的不同和第1实施方式中示出的与周围的不同，来计算检测异常的特征。关于组合方法，可以使用任意的方法，因此省略说明。
(变形例2)
在第1实施方式中，说明了使条纹图案在x方向上运动来检测被检查体的异常(缺陷)的例子。然而，在被检查体中产生了法线的分布在与x方向垂直的y方向上急剧变化的异常(缺陷)的情况下，相比于在x方向上使条纹图案运动，有时在y方向上使条纹图案运动更容易进行缺陷的检测。因此，在变形例中，对交替切换在x方向上移动的条纹图案和在y方向上移动的条纹图案的例进行说明。
本变形例的照明控制部102按照每个规定的时间间隔，切换向照明装置120输出的条纹图案。由此，照明装置120针对一个检查对象面，输出在不同的方向上延伸的多个条纹图案。
图15是示出本变形例的照明控制部102输出的条纹图案的切换例的图。在图15的(A)中，照明控制部102使照明装置120显示的条纹图案在x方向上迁移。然后，如(B)所示，照明控制部102使照明装置120显示的条纹图案在y方向上迁移。
然后，PC 100的控制部103根据由图15的(A)的条纹图案照射得到的时间相关图像数据进行异常检测，并根据由图15的(B)的条纹图案照射得到的时间相关图像数据进行异常检测。
图16是示出本变形例的照明控制部102对包含异常(缺陷)1601的表面照射了条纹图案的例子的图。在图16所示的例中，异常(缺陷)1601在x方向上延伸。该情况下，照明控制部102设定成使得条纹图案在与x方向交叉的y方向上，换言之为在与异常(缺陷)1601的长度方向交叉的方向上移动。通过该设定，能够提高检测精度。
图17是示出使条纹图案在y方向、换言之为与缺陷1601的长度方向正交的方向上变化的情况下的异常(缺陷)1701和屏幕130上的条纹图案的关系的图。如图17所示，在产生了在y方向上宽度较窄、且以与该y方向交叉的x方向为长度方向的异常(缺陷)1701的情况下，从照明装置120照射的光在与x方向交叉的y方向上，光的振幅的抵消变大。因此，在PC100中，能够根据与在y方向上移动的条纹图案对应的振幅图像数据来检测该异常(缺陷)。
在本变形例的检查系统中，在被检查体中产生的缺陷的长度方向随机的情况下，通过在多个方向(例如，x方向和与该x方向交叉的y方向等)上显示条纹图案，能够无关于缺陷的形状地检测该缺陷，能够提高异常(缺陷)的检测精度。此外，通过对与异常的形状相符的条纹图案进行投影，能够提高异常的检测精度。
(变形例3)
此外，上述的变形例2在进行x方向的异常检测和y方向的异常检测时，不限制对条纹图案进行切换的方法。因此，在变形例3中，对照明控制部102使输出到照明装置120的条纹图案在x方向和y方向上同时运动的例子进行说明。
图18是示出本变形例的照明控制部102向照明装置120输出的条纹图案的例子的图。在图18所示的例中，照明控制部102使条纹图案在方向1801上移动。
图18所示的条纹图案在x方向上包含1个周期1802的条纹图案，在y方向上包含一个周期1803的条纹图案。即，图18所示的条纹图案具有宽度不同的在交叉的方向上延伸的多个条纹。另外，需要使x方向的条纹图案的宽度与y方向的条纹图案的宽度不同。由此，在生成与x方向对应的时间相关图像数据和与y方向对应的时间相关图像数据时，能够使对应的参照信号不同。另外，基于条纹图案的光的强度的变化的周期(频率)发生变化即可，因此，也可以代替使条纹的宽度变化，而使条纹图案(条纹)的移动速度变化。
然后，时间相关照相机110根据与x方向的条纹图案对应的参照信号，生成与x方向的条纹图案对应的时间相关图像数据，根据与y方向的条纹图案对应的参照信号，生成与y方向的条纹图案对应的时间相关图像数据。然后，PC 100的控制部103在根据与x方向的条纹图案对应的时间相关图像数据进行异常检测后，根据与y方向的条纹图案对应的时间相关图像数据进行异常检测。由此，在本变形例中，能够无关于缺陷的产生方向而进行检测，能够提高异常(缺陷)的检测精度。
(第2实施方式)
在第1实施方式中，对照明装置120在x方向上将条纹的宽度显示为一种条纹图案的例进行了说明。然而，上述的实施方式不将x方向的条纹的宽度限制为一种，也可以将x方向的条纹的宽度设为多种。因此，在本实施方式中，对将x方向的条纹的宽度设为多种的例进行说明。
本实施方式为如下的例子，针对被检查体的一个检查对象面，在x方向上使用多种条纹的宽度，换言之使用条纹不同的多个条纹图案，来判定被检查体中产生的异常是否为突形状。
第2实施方式的检查系统具有与第1实施方式的检查系统同样的结构，因此，省略说明。接着，对第2实施方式的照明控制部102输出的条纹图案进行说明。
图19是示出第2实施方式的照明控制部102向照明装置120输出的条纹图案的例子的图。如图19所示，照明控制部102进行控制，以输出具有宽度不同的在同一方向上延伸的多个条纹的条纹图案。
在图19所示的例中，通过照明控制部102输出与矩形波(C)对应的条纹图案(D)，该矩形波(C)是重叠图19的矩形波(A)和矩形波(B)而得到的。在本实施方式中，在距离1901之间，矩形波(A)为1个周期，矩形波(B)为8个周期。
在本实施方式中，设定为由矩形波(B)表示的条纹的数量为由矩形波(A)表示的条纹的数量的偶数倍。这基于在矩形波上重叠了奇数倍的谐波成分，通过设为偶数倍能够抑制与谐波成分的干扰。
在使用多个种类的条纹图案进行解析处理的情况下，优选针对多个种类之间的条纹图案存在适当的条纹宽度的差异。例如，得到如下解析结果：相对于一方的条纹的宽度，另一方的条纹的宽度为6倍以上。因此，在本实施方式中，作为一例，设定为相对于一方的条纹的宽度，另一方的条纹的宽度为8倍。
另外，在本实施方式中，说明了相对于矩形波(A)为1个周期，矩形波(B)为8个周期的例子，但是，不限于这样的例子，矩形波(A)和矩形波(B)的频率(周期)不同即可。
然后，照明装置120将从照明控制部102输出的图19所示的条纹图案经由屏幕130照射到被检查体150。与此相伴，时间相关照相机110对图19所示的条纹图案的从被检查体反射的反射光进行拍摄。本实施方式的时间相关照相机110生成2个系统的量的时间相关图像数据作为拍摄结果。
具体而言，时间相关照相机110根据与矩形波(A)的条纹图案对应的参照信号，生成与矩形波(A)的条纹图案对应的时间相关图像数据，根据与矩形波(B)的条纹图案对应的参照信号，生成与矩形波(B)的条纹图案对应的时间相关图像数据。将所输出的2种(2个系统)的时间相关图像数据和强度图像数据输出到PC 100。另外，在1个种类的每个时间相关图像数据中，如第1实施方式所示，包含实部和虚部的时间相关图像数据。
然后，PC 100的控制部103根据与矩形波(A)的条纹图案对应的时间相关图像数据和与矩形波(B)的条纹图案对应的时间相关图像数据，进行被检查体的异常检测。
本实施方式的PC 100接收与矩形波(A)的条纹图案对应的时间相关图像数据和与矩形波(B)的条纹图案对应的时间相关图像数据，由此，除了第1实施方式所示的基于相位的不同的异常和基于振幅的不同的异常以外，还能够容易地确认被检查体的表面的形状。
另外，在本实施方式中，对在一个条纹图案中重叠了多个种类的条纹宽度的例子进行说明，但是作为使用多个种类的条纹宽度的方法，不限于进行重叠的方法，只要针对一个检查对象面能够输出宽度不同的多个条纹图案即可，可以使用任何方法，例如，也可以控制成切换并显示宽度不同的多个条纹图案。
图20是示出本实施方式的检查系统中的图像传感器220、屏幕130、被检查体的表面形状之间的对应关系的图。在图20所示的例中，经由屏幕130照射的条纹图案在x方向上移动，从该屏幕130照射的光在被检查体的表面形状2001处反射，进入图像传感器220。图像传感器220的像素2011的宽度为p。在图20所示的例中，被检查体的表面形状2001中的以该坐标2002为中心而在-p/2～p/2的区域1902中反射的光进入像素2011。X是空间相位调制照明(条纹图案)的移动方向(相位变化方向)，x’是从x分开距离H的与x平行的方向。屏幕130和图像传感器220位于沿着该x’的位置。z方向是与x方向和x’方向正交的正交方向。N是法线向量，α是计测对象位置的x方向的梯度(角度)，并且，z方向与法线向量之间的角度θ0为屏幕130和z方向所形成的角度。
这里，将x方向的被检查体的表面形状定义为f(x)。该情况下，能够用以下的式(10)表示对f(x)进行泰勒展开的结果。在式(10)中，被检查体的表面形状的初始位置为f0(偏移)，设被检查体的表面形状的曲率为R(＝1/fxx)。fxx是f(x)的2階微分。另外，由于仅考虑来自与移位量对应的屏幕位置的反射即可，因此省略fx、fxx x等。
f(x)＝f0+1/2fxxx2…(10)
接着，对二階微分fxx进行说明。图21是示出二階微分fxx＜0的情况下的被检查体的表面形状的例子的图。如图21所示，在二階微分fxx＜0的情况下，被检查体的表面形状2001为突形状。该情况下，相比于图像传感器220的各像素的宽度，照射入射到该像素的光的屏幕130的宽度变大。
图22是示出fxx＞0的情况下的被检查体的表面形状的例子的图。如图22所示，在fxx＞0的情况下，被检查体的表面形状2001成为凹陷形状。该情况下，相比于图像传感器220的各像素的宽度，照射入射到该像素的光的屏幕130的宽度变窄。即，根据图21、22可知，如果能够导出二階微分fxx的正负，则即使不进行视觉辨认，也能够把握被检查体的表面形状。
返回图20，在被检查体的坐标2002中的表面形状的倾斜为α的情况下，以下的式(11)的关系成立。
tanα＝fxxx…(11)
能够根据以下的式(12)计算视线的反射角。
另外，γ是tanθ0。这里，式(12)的左边所包含的(θ0+2α)是与表面形状2001上的检查对象位置(图20中为x＝0)对应且与来自图像传感器220的视线对应的检查对象位置处的相对于z方向的反射角，与相位对应(成比例)。此外，根据式(11)，式(12)的右边所包含的fxxx是tanα。因此，根据图20可知，该式(12)示出，对法线向量n赋予特征的角度α与空间相位调制照明(条纹图案)的相位对应。
能够通过以下的式(13)导出对被检查体的表面形状的坐标x照射光的屏幕130的坐标x’。另外，设坐标2002的x轴方向的坐标为x0。距离H设为从坐标2002到配置有图像传感器220和屏幕130的面的距离。
x’＝x-Htan(θ0+2α)…(13)
通过利用像素2011的宽度p对从屏幕130输出的相位ejkx’进行积分，来求出进入像素2011中的复数相关像素值g。即，能够由式(14)导出复数相关像素值g。另外，设为条纹的波数k＝2π/λ，设λ为条纹的宽度。
这里，变量w为以下的式(15)。
w＝1-2H(1+γ2)fxx…(15)
在本实施方式的检查系统中，在照明装置120照射重叠了多种条纹宽度的条纹图案的情况下，时间相关照相机110以划分为实部和虚部的方式生成与2种条纹宽度对应的2种时间相关图像数据。然后，PC 100的振幅-相位图像生成部104根据所输入的时间相关图像数据，按照每种条纹宽度，生成振幅图像数据和相位图像数据。
图23是示出使条纹图案的条纹宽度进行各种变化的情况下的g/p的标志。图23的横轴是w，纵轴是g/p。根据式(15)，以w＝1为边界，分为fxx＞0的情况和fxx＜0的情况。这里，如果被检查体150的表面的法线向量的分布和检查系统的位置关系(图20)中没有变化，则变量w的值成为与被检查位置对应的值。因此，根据图23能够理解，通过得到作为使条纹的宽度变化的情况下的各个结果的多个g/p的值，并搜索与这些比率一致的变量w，能够估计变量w的值，进而能够估计fxx的值。
具体而言，例如，使用由式(14)导出的下式(16)。
变量α相当于式(14)的条纹宽度较大时的复数相关像素值(振幅值)g1与条纹的宽度较窄时的复数相关像素值(振幅值)g2之比g2/g1。另外，关于波数k1、k2，设为k1＜k2。
图24是示出振幅比对应表的例子的图。图24所示的振幅比对应表示出式(16)。图24的横轴是w，纵轴是α。该振幅比对应表预先存储在控制部103内的(未图示)存储部中。
这里，得到基于针对特定的被检查位置(像素)改变条纹宽度的结果的由下式(17)所示的值α0。
而且，如图24所示，在式(16)中，能够得到满足α＝α0的变量w。如果是在能够选择二个变量w中的一方的条件下，则根据所选择的变量w，能够根据式(15)导出fxx。由此，例如，能够判定被检查体150中产生的缺陷(异常)是否是突形状。这样，在本实施方式中，通过使用多种条纹宽度的条纹图案，能够提高被检查体的检查精度。
此外，根据图23可知，在各sinc函数中，在w＞0的情况下，如果是大于最初的g/p为0的变量w(作为最初的横轴切片的w)的变量w的范围，则容易检测到相对于g/p的最大值的减少，即振幅的抵消。根据sinc函数为0的条件，在式(14)中，(π·p·w/λ)＞π即可，以满足下式(18)的方式设定条纹宽度(即空间相位调制照明的相位变化方向的周期长度)即可。
p·w/λ＞1…(18)
此外，根据图23，实际上，认为即使进一步使变量w为其一半程度，也能够确保基于g/p的差异的检测性，因此，以满足下式(19)的方式设定条纹宽度(即空间相位调制照明的相位变化方向的周期长度)即可。
p·w/λ＞0.5…(19)
(第3实施方式)
在第1～第2实施方式中，对将明暗等间隔的条纹图案照射到被检查体的例子进行了说明。然而，上述的实施方式不限于照射等间隔的条纹图案。因此，在第3实施方式中，对结合被检查体的形状来变更条纹图案的间隔的例子进行说明。
在检查系统中，不限制作为检查对象的被检查体的形状，因此，作为被检查体的表面形状，可考虑各种形状。而且，本实施方式的检查系统的PC 100在对被检查体进行拍摄时，控制臂140，以能够适当检测被检查体的表面的方式设定被检查体的位置。此时，PC 100将适合被检查体的表面的条纹图案交付给照明装置120。
图25是示出从屏幕130照射了与被检查体2501的表面形状一致的条纹图案的例子的图。在图25所示的例中，为了使检查系统检测被检查体2501的异常，优选输入到时间相关照相机110中的条纹图案是等间隔的。因此，如图25所示的例子那样，照明装置120以使得在被检查体2501反射后的条纹图案为等间隔的方式，对屏幕130照射条纹图案。
在PC 100的存储部中，按照被检查体2501的作为拍摄对象的每个表面，预先存储对应的(在反射后成为等间隔)条纹图案。该条纹图案为根据被检查体2501的作为检查对象的表面的倾斜而设定的条纹图案。例如采用如下条纹图案：在该表面反射后，在输入到时间相关照相机110时条纹的宽度基本均等。
然后，PC 100在每次通过臂140变更被检查体2501的作为拍摄对象的表面时，将根据该表面的倾斜而设定的条纹图案输出到照明装置120。然后，照明装置120开始照射所输入的条纹图案。由此，能够实现适合于被检查体2501的表面形状的条纹图案的照射。
接着，对本实施方式的检查系统的被检查体的检查处理进行说明。图26是示出本实施方式的检查系统中的上述的处理的步骤的流程图。另外，被检查体150在已经固定在臂140上的状态下，被配置在检查的初始位置。
本实施方式的PC 100对照明装置120输出与臂的位置对应的条纹图案(步骤S2601)。即，在本实施方式中，与臂的位置对应的条纹图案成为适合于该臂上所固定的被检查体的作为拍摄对象的表面形状的条纹图案。
照明装置120存储从PC 100输入的条纹图案(步骤S2621)。然后，照明装置120将与检查对象的初始位置对应的条纹图案显示为按照时间迁移而变化(步骤S2622)。
然后，利用与图14所示的步骤S1402～S1406、步骤S1411～S1413同样的处理，进行从拍摄起到被检查体的异常检测结果的输出为止的处理(步骤S2602～S2606，步骤S2611～S2613)。
然后，控制部103判定该被检查体的检查是否已结束(步骤S2607)。在判定为检查未结束的情况下(步骤S2607：“否”)，臂控制部101按照预定的设定进行臂的移动控制，以使得能够利用时间相关照相机110拍摄接下来的作为检查对象的被检查体的表面(步骤S2608)。
在步骤S2608的臂的移动控制结束后，控制部103再次对照明装置120输出与臂的位置对应的条纹图案(步骤S2601)。由此，能够在每次切换作为拍摄对象的表面时，切换要输出的条纹图案。
另一方面，控制部103在判定为该被检查体的检查已结束的情况下(步骤S2607：“是”)，对时间相关照相机110输出结束指示(步骤S2609)，结束处理。
然后，时间相关照相机110判定是否受理了结束指示(步骤S2614)。在未受理结束指示的情况下(步骤S2614：“否”)，再次从步骤S2611进行处理。另一方面，在受理了结束指示的情况下(步骤S2614：“是”)，结束处理。
另外，照明装置120的结束处理可以由检查者进行，也可以按照来自其他结构的指示来结束。
(第4实施方式)
在上述的实施方式和变形例中，对照明装置120显示直线状的条纹图案的例子进行了说明。然而，不限于照明装置120显示直线状的条纹图案的情况，也可以显示其他形态的条纹图案。因此，在第4实施方式中，对显示与上述的实施方式不同的条纹图案的例子进行说明。
图27是示出本实施方式的照明装置120在屏幕130中显示的条纹图案的例子的图。在图27所示的条纹图案中，在发生点2701、2702(发散点)处发生的条纹图案被显示为收敛于收敛点2703(吸入点)。如图27所示，如果光的强度以规定的间隔发生变化，则能够检测被检查体的异常(缺陷)。接着对条纹图案的生成方法进行说明。
图28是示出用于生成图27的条纹图案的利用明暗(浓淡)表示被检查体150或屏幕130的表面处的初始的相位分布φ0(x，y)(空间相位分布)的例子的图。白点(亮点)的值是π，黑点(暗点)的值是-π。在图28中，例如，点2701处的值为π，点2702处的值为π/2，点2703(底点)处的初值为-π，将这些点作为约束条件，将各点作为顶点或底点，以生成与到各点的距离对应的例如吊钟型的分布的方式，设定初始的相位分布φ0(x，y)。
根据图28的相位分布φ0(x，y)生成图27的条纹图案。能够通过波数k来调整顶点与底点之间的条纹的数量。在该例中，波数k是顶点与底点之间的条纹的根数。考虑了波数k后的相位分布φ(x，y)成为φ(x，y)＝k·φ0(x，y)。在要形成白黑条纹的情况下，根据φ(x，y)的值进行二值化即可。具体而言，例如，将相位φ(x，y)为-π到0的区域设为暗区域，将0到π的区域设为亮区域即可。由此，能够得到图27所示那样的静止的条纹图案。静止的条纹图案表示为R[ejφ(X，Y)]。这里，R[]是取复数的实部的运算。运动的条纹图案对调制项ejωt进行乘法运算而表示为R[ejωt·ejφ(x,y)]。这样，运动的条纹图案能够根据ejωt·ejφ(x,y)而生成。这里例示的相位分布φ(x，y)和条纹图案仅是一例。通过适当设定与被检查体150的形状对应的初始相位分布，能够得到任意的条纹图案。根据要检测的缺陷的尺寸将波数k设定为适当的值。
在图28所示的例中，将被检查体的表面上的任意的点设定为光强度较强的点2801、2802和光强度较弱的点2803。然而，在生成相位分布时，还考虑根据光强度较强的点和光强度较弱的点以及被检查体的表面形状来进行设定。
图29是示出在球面状的被检查体150上投影的条纹图案的例子的图，该条纹图案如图25所示，是在来自时间相关照相机110的视线中移动的平行的条纹。在图29的例中，在左右方向上，越靠左侧，则倾斜(梯度)越大，在上下方向上，相比于中央越朝向上侧和下侧，则倾斜(梯度)越大。根据本实施方式，通过设定与被检查体150的形状对应的相位分布φ(x，y)，能够得到容易得到更适当的检查结果的条纹图案。还能够根据CAD数据来设定相位分布φ(x，y)。另外，根据考虑了被检查体150的立体形状的相位分布φ(x，y)来设定该被检查体150的表面的条纹图案，通过对该表面的条纹图案进行坐标变换等，能够计算屏幕130等照明部的条纹图案。
(第5实施方式)
在上述的第1实施方式中，作为计算与复数时间相关图像的相位的分布的梯度相关的特征的方法的例子，说明了根据由复数时间相关图像得到的相位图像数据来取相位的平均差分的方法(参照图12)。然而，也可以通过取相位的平均差分的方法以外的其他方法，来计算与相位的分布的梯度相关的特征。因此，在第5实施方式中，对异常检测处理部105a(参照图1)使用相位限定拉普拉斯算子来计算与相位的分布的梯度相关的特征的例子进行说明。
根据上述的式(9)可知，相位图像数据的各像素值在-π～π的范围内折叠。因此，相位图像数据的各像素值能够在-π到π或π到-π之间不连续地变化(相位跳跃)。即使检查对象面为不包含凹凸等局部异常(缺陷)而成为平坦的情况下，这样的相位跳跃也会在相位图像数据上作为边缘而显现。
图30是示出通过实施方式的检查系统得到的相位图像数据的例子的图。该图30的相位图像数据包含由于上述的相位跳跃的影响而周期性出现的多个边缘部分3001，以及作为本来的检测对象的局部的异常部分3002。
这里，如图30所示，异常部分3002中的像素值的变化比边缘部分3001中的像素值的变化小。因此，如果仅针对图30的相位图像数据进行使用阈值等的通常的检测处理，则边缘部分3001成为噪声，不容易检测异常部分3002。
此外，图31是示出图30中的相位的变化的例子的概略图。如图31所示，在局部的异常部分3002中，相位急剧变化，另一方面，在异常部分3002以外的平坦部分中，相位平滑地(线性地)变化。因此，如果能够无视平坦部分中的稳态的相位的变化，则容易检测仅局部的异常部分3002中的急剧的相位的变化，是有益的。
因此，在第5实施方式中，异常检测处理部105a(参照图1)对通过时间相关照相机110得到的时间相关图像数据实施使用了相位限定拉普拉斯算子的处理，由此，计算与无视上述的相位跳跃的影响的相位的分布的梯度相关的特征。这里，相位限定拉普拉斯算子是指，用于仅针对由包含振幅和相位的复数表现的时间相关图像数据中的无视了振幅部分的相位部分实施2階微分的运算式，是用于无视相位的稳态的变化，并检测相位的急剧变化的运算式。
作为一例，对与图32所示的拉普拉斯算子滤波器对应的相位限定拉普拉斯算子进行说明。该图32的拉普拉斯算子滤波器是所谓的8邻接拉普拉斯算子滤波器，用于在具有通常的实数的像素值的图像数据中，取得处理对象的像素的像素值和与处理对象的像素的周围相邻的8个像素的像素值之间的差分。更具体而言，图32的拉普拉斯算子滤波器是如下的滤波器：用于在具有通常的实数的像素值的图像数据中，从处理对象的像素的像素值的8倍的值中减去与处理对象的像素的周围相邻的8个像素的像素值的总和，将得到的值作为处理对象的像素的新的像素值。
但是，如上所述，通过时间相关照相机110得到的时间相关图像数据的各像素值利用包含振幅和相位的复数指数函数来表现。这里，相位包含在复数指数函数的指数部分中。因此，在要对时间相关图像数据的相位部分实施与图32的拉普拉斯算子滤波器对应的处理的情况下，首先，将处理对象的像素的像素值进行8乘方，以使处理对象的像素的像素值(设为gω(i，j))的相位变为8倍。
然后，为了求出与处理对象的像素的周围相邻的8个像素的像素值gω(i-1，j-1)、gω(i-1，j)、gω(i-1，j+1)、gω(i，j-1)、gω(i，j+1)、gω(i+1，j-1)、gω(i+1，j)、gω(i+1，j+1)的相位的总和，需要将这8个像素的像素值全部相乘。
然后，为了求出处理对象的像素的像素值的相位的8倍的值和与处理对象的像素的周围相邻的8个像素的相位的总和之间的差，需要用处理对象的像素的像素值的8乘方的值除以将与处理对象的像素的周围相邻的8个像素的像素值相乘后得到的值。
用公式表示上述的3个运算，得到下述的式(18)～(20)。
h(i，j)＝gω(i,.j)9…(18)
这里，在式(18)中对gω(i，j)进行9乘方而并非8乘方的理由是因为，在式(19)的乘法中包含了gω(i，j)。由此，用式(18)的值除以式(19)的值得到的值的指数部分对应于，处理对象的像素的像素值gω(i，j)的相位的8倍的值和与处理对象的像素的周围相邻的8个像素的相位的总和之差。另外，在式(20)中，用式(18)的值除以式(19)的值后，仅取出相位(arg)。
针对时间相关图像数据的全部像素，执行以上的式(18)～(20)所表示的使用相位限定拉普拉斯算子的处理，由此，能够根据时间相关图像数据，计算实施了2階微分后的相位图像数据。
作为一例，图33中示出通过对与图30的相位图像数据对应的时间相关图像数据实施使用了相位限定拉普拉斯算子的处理而计算出的相位图像数据。在图33的相位图像数据中，图30的相位图像数据中看到的周期性的边缘部分消失，仅出现局部的异常部分3202。因此，根据图33的相位图像数据，仅通过使用阈值等进行通常的检测处理，就能够容易地检测异常部分3202而不会受到相位跳跃的影响。
即，第5实施方式的异常检测处理部105a(参照图1)构成为，通过执行使用上述的相位限定拉普拉斯算子的运算，由此，根据时间相关图像数据适当计算实施了2階微分的相位，通过使用阈值等的通常的检测处理而容易地检测检查对象的异常部分3202。
另外，使用了上述的相位限定拉普拉斯算子的异常检测例如对于实施了金属涂装的表面的异常检测是有效的。在金属涂装中，镜面反射的微粒子随机地散播，因此，照明角度细微地变化，也会使拍摄时的亮度值的分布大幅变化。因此，在通常的异常检测方法中，不容易识别例如划痕这样的相位的梯度急剧变化的缺陷部和基于微粒子的随机的亮度值的变化之间的差异。
然而，在第5实施方式的检查系统中，将基于微粒子的随机的亮度值的变化检测为振幅的变化，而并非检测为相位的变化。而且，第5实施方式的异常检测处理部105a使用相位限定拉普拉斯算子，仅着眼于相位的变化(相位的梯度的变化)来检测异常，因此，能够与基于微粒子的随机的亮度值的变化无关地，检测相位急剧变化的缺陷部。
另外，在上述中，作为缺陷部，例示出划痕这样的相位急剧变化的缺陷部，但是，只要是能够作为相位的变化而进行检测的缺陷部即可，缺陷部也可以是划痕以外的缺陷。此外，在上述中，作为检查对象，例示了金属涂装的物体，但是，只要是表面形状确定的物体即可，检查对象也可以是金属涂装的物体以外的的物体。
进而，在上述中，说明了使用与图32的拉普拉斯算子滤波器对应的相位限定拉普拉斯算子的例子。然而，作为其他例子，也可以使用与图34～图36所示的拉普拉斯算子滤波器对应的相位限定拉普拉斯算子。
这里，图34是所谓的4相邻拉普拉斯算子滤波器，用于取得处理对象的像素和与处理对象的像素的上下及左右相邻的4个像素之间的差分。此外，图35和图36示出与图32和图34所示的3×3的拉普拉斯算子滤波器不同的5×5的拉普拉斯算子滤波器的例子。在5×5的拉普拉斯算子滤波器中，除了与处理对象的像素的周围相邻的8个像素以外，还考虑与这8个像素的周围进一步相邻的16个像素的信息，因此，与例如3×3的拉普拉斯算子滤波器相比，能够执行更高精度的2階微分处理。
通过下述的式(21)～(23)来表示与包含上述的图32和图34～图36的拉普拉斯算子滤波器在内的一般的拉普拉斯算子滤波器对应的相位限定拉普拉斯算子。
式(21)用于使利用滤波器系数对滤波器系数为正的像素的集合P的各个像素值加权而得到的值相乘，即用于取得利用滤波器系数进行加权后的相位的总和。在该式(21)中，M(k，l)是设处理对象的像素的位置为(i，j)时的与位置(i+k，j+l)的像素对应的滤波器系数(正值)。
此外，式(22)用于使利用滤波器系数对滤波器系数为负的像素的集合N的各个像素值加权而得到的值相乘，即用于取得利用滤波器系数进行加权后的相位的总和。在该式(22)中，N(k，l)是使设处理对象的像素的位置为(i，j)时的与位置(i+k，j+l)的像素对应的滤波器系数(负值)的符号反转后的值。
而且，式(23)用于通过用式(21)的值除以式(22)的值，从而取滤波器系数为正的像素的集合P的利用滤波器系数加权后的相位的总和、与滤波器系数为负的像素的集合N的利用滤波器系数加权后的相位的总和之间的差分，并取出该差分。
上述的相位限定拉普拉斯算子还能够应用于利用时间相关照相机110拍摄的时间相关图像以外的情况。即，相位限定拉普拉斯算子在如下的情况下是有益的：着眼于复数图像的相位的分布的梯度的变化，来作为用于检测具有包含振幅和相位的由复数表现的像素值的复数图像的异常的特征。
例如，在检测混合R(红)、G(绿)和B(蓝)这3色的墨水而形成的彩色图像中的色相的不同，即3色的墨水的混合情况的不同情况下，相位限定拉普拉斯算子是有益的。即，当用复数表现彩色图像时，色相与相位对应，因此，如果对彩色图像执行使用了相位限定拉普拉斯算子的处理，则不会受到色相以外的明度和彩度不同的影响，能够仅检测色相的不同。
此外，相位限定拉普拉斯算子对于使用电磁波对地面进行拍摄的系统、对光声图像进行拍摄的系统等中的检查也是有益的。
在上述的实施方式的PC 100中执行的检查程序通过可安装的形式或可执行的形式的文件被记录在CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk：数字通用光盘)等计算机可读取的记录介质中来提供。
此外，也可以构成为，将上述的实施方式的PC 100中执行的检查程序存储在与互联网等网络连接的计算机上，通过经由网络下载来提供。此外，也可以构成为经由互联网等网络来提供或发布上述的实施方式的PC 100中执行的检查程序。
说明了本发明的几个实施方式和变形例，但是，这些实施方式和变形例只是提示的例子，没有意图限定发明的范围。这些新的实施方式和变形例能够通过其他的各种方式来实施，能够在不脱离发明的主旨的范围内进行各种省略、置换、变更。这些实施方式和其他变形例包含在发明的范围和主旨中，并且，包含在权利要求书所记载的发明及其均等的范围内。
标号说明
100…PC，101…臂控制部，102…照明控制部，103…控制部，104…振幅-相位图像生成部，105、105a…异常检测处理部，110…时间相关照相机，120…照明装置，130…屏幕，140…臂，210…光学系统，220…图像传感器，230…数据缓冲器，240…控制部，241…转送部，242…读出部，243…强度图像用重叠部，244…第1乘法器，245…第1相关图像用重叠部，246…第2乘法器，247…第2相关图像用重叠部，248…图像输出部，250…参照信号输出部。

Claims (10)

1.一种检查系统，其具有：
面方式的照明部，其赋予光强度的周期性的时间变化和空间变化；
时间相关图像生成部，其通过时间相关照相机或进行与所述时间相关照相机等效的动作的摄像系统来生成时间相关图像；以及
运算处理部，其根据所述时间相关图像计算与检查对象面的法线向量的分布对应的特征，该特征是通过与周围的不同和与参照表面的不同中的至少一方来检测异常的特征。
2.根据权利要求1所述的检查系统，其中，
所述时间相关图像生成部生成复数时间相关图像，
所述特征对应于所述复数时间相关图像的相位的分布。
3.根据权利要求2所述的检查系统，其中，
所述特征是所述相位的分布的梯度。
4.根据权利要求3所述的检查系统，其中，
所述特征是通过对所述复数时间相关图像实施使用了相位限定拉普拉斯算子的处理而得到的所述相位的分布的梯度的变化。
5.根据权利要求2所述的检查系统，其中，
所述特征对应于检查对象面的法线向量分布的梯度。
6.根据权利要求1～5中的任意一项所述的检查系统，其中，
所述时间相关图像生成部生成复数时间相关图像，
所述特征对应于所述复数时间相关图像的振幅的分布。
7.根据权利要求6所述的检查系统，其中，
通过时间相关照相机或进行与所述时间相关照相机等效的动作的摄像系统得到强度图像，
所述特征是所述振幅与所述强度之比的分布。
8.一种检查系统，该检查系统具有运算处理部，
该运算处理部计算通过对复数图像实施使用了相位限定拉普拉斯算子的处理而得到的所述复数图像的相位分布的梯度的变化，来作为用于检测所述复数图像的异常的特征，其中所述复数图像具有由包含振幅和相位的复数表现的像素值。
9.一种检查方法，该检查方法具有以下步骤：
针对以赋予光强度的周期性的时间变化和空间变化的面方式的照明被照射的被检查体，通过时间相关照相机或进行与所述时间相关照相机等效的动作的摄像系统生成时间相关图像；
根据所述时间相关图像计算与检查对象面的法线向量的分布对应的特征，该特征是通过与周围的不同和与参照表面的不同中的至少一方来检测异常的特征。
10.一种检查方法，该检查方法具有以下步骤：
计算通过对复数图像实施使用了相位限定拉普拉斯算子的处理而得到的所述复数图像的相位分布的梯度的变化，来作为用于检测所述复数图像的异常的特征，其中所述复数图像具有由包含振幅和相位的复数表现的像素值。
CN201580017606.9A 2014-03-31 2015-03-31 检查系统和检查方法 Expired - Fee Related CN106461568B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014074877 2014-03-31
JP2014-074877 2014-03-31
JP2014243561A JP6433268B2 (ja) 2014-03-31 2014-12-01 検査システムおよび検査方法
JP2014-243561 2014-12-01
PCT/JP2015/060274 WO2015152306A1 (ja) 2014-03-31 2015-03-31 検査システムおよび検査方法

Publications (2)

Publication Number Publication Date
CN106461568A true CN106461568A (zh) 2017-02-22
CN106461568B CN106461568B (zh) 2019-11-05

Family

ID=54240624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580017606.9A Expired - Fee Related CN106461568B (zh) 2014-03-31 2015-03-31 检查系统和检查方法

Country Status (5)

Country Link
US (1) US10739272B2 (zh)
JP (1) JP6433268B2 (zh)
CN (1) CN106461568B (zh)
DE (1) DE112015001549T5 (zh)
WO (1) WO2015152306A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383050A (zh) * 2017-03-03 2019-10-25 理光越岭美有限公司 检查系统和检查方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
JP6316068B2 (ja) * 2014-03-31 2018-04-25 国立大学法人 東京大学 検査システムおよび検査方法
JP6433268B2 (ja) 2014-03-31 2018-12-05 国立大学法人 東京大学 検査システムおよび検査方法
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
DE102015008409A1 (de) * 2015-07-02 2017-01-05 Eisenmann Se Anlage zur optischen Überprüfung von Oberflächenbereichen von Gegenständen
JP6590633B2 (ja) * 2015-10-19 2019-10-16 リコーエレメックス株式会社 画像検査システム、電子機器、および画像検査方法
JP6682251B2 (ja) * 2015-11-30 2020-04-15 リコーエレメックス株式会社 検査システム、及び検査方法
JP2017101977A (ja) * 2015-11-30 2017-06-08 リコーエレメックス株式会社 検査システムおよび検査方法
JP2017101979A (ja) * 2015-11-30 2017-06-08 リコーエレメックス株式会社 検査システム
WO2017106875A1 (en) 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
JP6703415B2 (ja) * 2016-02-17 2020-06-03 リコーエレメックス株式会社 検査装置及び検査方法
JP6826813B2 (ja) * 2016-02-17 2021-02-10 リコーエレメックス株式会社 検査装置及び検査方法
JP6474756B2 (ja) * 2016-06-09 2019-02-27 本田技研工業株式会社 欠陥検査方法及びその装置
JP6745150B2 (ja) * 2016-06-20 2020-08-26 タカノ株式会社 照明装置、及び、画像検査装置
JP6909377B2 (ja) * 2016-07-11 2021-07-28 高知県公立大学法人 検査システムおよび検査方法
JP2018009849A (ja) * 2016-07-12 2018-01-18 リコーエレメックス株式会社 検査システムおよび検査方法
JP2018028527A (ja) * 2016-08-16 2018-02-22 リコーエレメックス株式会社 検査システム
JP6781430B2 (ja) * 2016-09-05 2020-11-04 リコーエレメックス株式会社 検査システム
JP6909378B2 (ja) * 2016-09-14 2021-07-28 高知県公立大学法人 検査システム
US10067230B2 (en) 2016-10-31 2018-09-04 Gerard Dirk Smits Fast scanning LIDAR with dynamic voxel probing
US10261183B2 (en) 2016-12-27 2019-04-16 Gerard Dirk Smits Systems and methods for machine perception
JP2018112470A (ja) * 2017-01-11 2018-07-19 リコーエレメックス株式会社 検査システムおよび検査方法
JP2018112471A (ja) * 2017-01-11 2018-07-19 リコーエレメックス株式会社 検査システムおよび検査方法
JP2018112478A (ja) * 2017-01-12 2018-07-19 リコーエレメックス株式会社 画像検査装置および画像検査方法
US11120104B2 (en) * 2017-03-01 2021-09-14 Stmicroelectronics (Research & Development) Limited Method and apparatus for processing a histogram output from a detector sensor
WO2018209096A2 (en) 2017-05-10 2018-11-15 Gerard Dirk Smits Scan mirror systems and methods
JP2018205039A (ja) * 2017-05-31 2018-12-27 リコーエレメックス株式会社 画像処理装置および検査システム
JP2019002873A (ja) * 2017-06-19 2019-01-10 リコーエレメックス株式会社 検査システムおよび検査方法
JP2019020365A (ja) * 2017-07-21 2019-02-07 リコーエレメックス株式会社 検査システム
JP2019061484A (ja) * 2017-09-26 2019-04-18 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
EP3722745B1 (en) * 2017-12-08 2023-09-06 Nippon Steel Corporation Shape inspection device and shape inspection method
US10379220B1 (en) 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
JP7098111B2 (ja) * 2018-06-12 2022-07-11 国立大学法人東海国立大学機構 表面検査装置および表面検査方法
JP6590455B1 (ja) * 2019-02-26 2019-10-16 バイスリープロジェクツ株式会社 検査ユニット、プログラム及び記憶媒体
TW202119019A (zh) * 2019-11-05 2021-05-16 華碩電腦股份有限公司 外觀取像裝置及包含其的外觀檢測裝置
CN114930249A (zh) 2019-12-31 2022-08-19 Asml控股股份有限公司 污染物检测量测系统、光刻设备及其方法
US11372320B2 (en) 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000127353A (ja) * 1998-10-27 2000-05-09 Dainippon Screen Mfg Co Ltd 版ズレ検出装置およびそれを備えた印刷装置
JP2007305061A (ja) * 2006-05-15 2007-11-22 Univ Of Tokyo 移動体情報取得装置および画像取得装置
CN102012376A (zh) * 2009-09-04 2011-04-13 索尼公司 缺陷检查装置和缺陷检查方法
CN102089616A (zh) * 2008-06-03 2011-06-08 焕·J·郑 干涉缺陷检测和分类
JP2013239934A (ja) * 2012-05-16 2013-11-28 Univ Of Tokyo 時間相関演算システムおよび時間相関カメラ
CN103487441A (zh) * 2013-09-24 2014-01-01 电子科技大学 一种用于硅晶片缺陷检测和面形测量的方法
JP2014002125A (ja) * 2012-06-21 2014-01-09 Fujitsu Ltd 検査方法及び検査装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002107309A (ja) * 2000-09-28 2002-04-10 Toshiba Corp 欠陥検査装置及び欠陥検査方法
JP4633245B2 (ja) * 2000-11-06 2011-02-16 住友化学株式会社 表面検査装置及び表面検査方法
US7164810B2 (en) 2001-11-21 2007-01-16 Metrologic Instruments, Inc. Planar light illumination and linear imaging (PLILIM) device with image-based velocity detection and aspect ratio compensation
US20030098352A1 (en) * 2000-11-24 2003-05-29 Metrologic Instruments, Inc. Handheld imaging device employing planar light illumination and linear imaging with image-based velocity detection and aspect ratio compensation
US7077319B2 (en) * 2000-11-24 2006-07-18 Metrologic Instruments, Inc. Imaging engine employing planar light illumination and linear imaging
US7140543B2 (en) * 2000-11-24 2006-11-28 Metrologic Instruments, Inc. Planar light illumination and imaging device with modulated coherent illumination that reduces speckle noise induced by coherent illumination
DE10103870B4 (de) * 2001-01-30 2004-02-05 Daimlerchrysler Ag Verfahren zur Bilderkennung bei Kraftfahrzeugen
JP2002323454A (ja) 2001-04-26 2002-11-08 Asahi Glass Co Ltd 被検物の欠点検査方法および検査装置
AU2003903511A0 (en) * 2003-07-08 2003-07-24 Canon Kabushiki Kaisha Image registration method improvement
JP4235046B2 (ja) * 2003-07-08 2009-03-04 新日本製鐵株式会社 鋼板表面の検査方法、システム、画像処理装置、及びコンピュータプログラム
JP4140619B2 (ja) * 2005-06-14 2008-08-27 松下電器産業株式会社 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法
US7612502B2 (en) * 2006-06-01 2009-11-03 Chunghwa Picture Tubes, Ltd. Planar light source
CN101622525A (zh) 2007-02-28 2010-01-06 株式会社尼康 观察方法、检查装置及检查方法
US8629981B2 (en) 2008-02-01 2014-01-14 Palo Alto Research Center Incorporated Analyzers with time variation based on color-coded spatial modulation
JP4685971B2 (ja) 2009-09-24 2011-05-18 株式会社ケー・デー・イー 検査システム及び検査方法
JP5333143B2 (ja) * 2009-10-13 2013-11-06 新日鐵住金株式会社 形状測定装置、形状測定方法およびプログラム
CN102564302A (zh) 2010-12-10 2012-07-11 通用电气公司 测量系统和方法
JP5895733B2 (ja) 2012-06-22 2016-03-30 富士通株式会社 表面欠陥検査装置および表面欠陥検査方法
EP2876620B1 (en) 2012-07-17 2019-08-14 Nissan Motor Company, Limited Driving assistance system and driving assistance method
JP5958779B2 (ja) 2012-10-12 2016-08-02 株式会社ニコン 顕微鏡及び観察方法
WO2014059237A1 (en) * 2012-10-13 2014-04-17 Chunlei Liu Systems and methods for susceptibility tensor imaging in the p-space
JP6433268B2 (ja) 2014-03-31 2018-12-05 国立大学法人 東京大学 検査システムおよび検査方法
JP6316068B2 (ja) * 2014-03-31 2018-04-25 国立大学法人 東京大学 検査システムおよび検査方法
JP6800463B2 (ja) * 2017-03-03 2020-12-16 リコーエレメックス株式会社 検査システムおよび検査方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000127353A (ja) * 1998-10-27 2000-05-09 Dainippon Screen Mfg Co Ltd 版ズレ検出装置およびそれを備えた印刷装置
JP2007305061A (ja) * 2006-05-15 2007-11-22 Univ Of Tokyo 移動体情報取得装置および画像取得装置
CN102089616A (zh) * 2008-06-03 2011-06-08 焕·J·郑 干涉缺陷检测和分类
CN102012376A (zh) * 2009-09-04 2011-04-13 索尼公司 缺陷检查装置和缺陷检查方法
JP2013239934A (ja) * 2012-05-16 2013-11-28 Univ Of Tokyo 時間相関演算システムおよび時間相関カメラ
JP2014002125A (ja) * 2012-06-21 2014-01-09 Fujitsu Ltd 検査方法及び検査装置
CN103487441A (zh) * 2013-09-24 2014-01-01 电子科技大学 一种用于硅晶片缺陷检测和面形测量的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383050A (zh) * 2017-03-03 2019-10-25 理光越岭美有限公司 检查系统和检查方法

Also Published As

Publication number Publication date
CN106461568B (zh) 2019-11-05
DE112015001549T5 (de) 2017-01-05
WO2015152306A1 (ja) 2015-10-08
JP2015200632A (ja) 2015-11-12
US10739272B2 (en) 2020-08-11
US20170108443A1 (en) 2017-04-20
JP6433268B2 (ja) 2018-12-05

Similar Documents

Publication Publication Date Title
CN106461568A (zh) 检查系统和检查方法
CN106164653B (zh) 检查系统和检查方法
US11869139B2 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
CN106796721A (zh) 三维轮廓测量中根据多个相机和源的点云合并
US10964039B2 (en) Depth sensing systems and methods
CN110383050A (zh) 检查系统和检查方法
US20040150836A1 (en) Method and device for determining the absolute coordinates of an object
CN108050955B (zh) 基于结构光投影与数字图像相关的高温空气扰动滤除方法
Holroyd et al. An analysis of using high-frequency sinusoidal illumination to measure the 3D shape of translucent objects
JP6529248B2 (ja) 検査システムおよびフレキシブル照明装置
Pitard et al. Robust anomaly detection using reflectance transformation imaging for surface quality inspection
JP2015206654A (ja) 情報処理装置、情報処理方法、プログラム
Economikos et al. Toward full-field measurements of instantaneous visualizations of coherent structures in turbulent shear flows
Gupta et al. (De) Focusing on global light transport for active scene recovery
JP6909378B2 (ja) 検査システム
JP6902684B2 (ja) 画像処理装置および検査システム
JP6703415B2 (ja) 検査装置及び検査方法
JP6826813B2 (ja) 検査装置及び検査方法
JP6701277B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6909377B2 (ja) 検査システムおよび検査方法
Murai et al. Color particle image velocimetry improved by decomposition of RGB distribution integrated in depth direction
Ihrke et al. Tomographic reconstruction and efficient rendering of refractive gas flows
JP6529247B2 (ja) 較正システムおよび検査システム
JP2018205039A (ja) 画像処理装置および検査システム
Gupta et al. Robotics Institute, Carnegie Mellon University, USA Computer Science Department, University of Wisconsin-Madison, USA

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191105

Termination date: 20210331

CF01 Termination of patent right due to non-payment of annual fee