CN109085171A - 图像处理装置、图像处理方法和存储介质 - Google Patents

图像处理装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN109085171A
CN109085171A CN201810607069.9A CN201810607069A CN109085171A CN 109085171 A CN109085171 A CN 109085171A CN 201810607069 A CN201810607069 A CN 201810607069A CN 109085171 A CN109085171 A CN 109085171A
Authority
CN
China
Prior art keywords
image
subject
component
image processing
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810607069.9A
Other languages
English (en)
Inventor
植村卓典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109085171A publication Critical patent/CN109085171A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8829—Shadow projection or structured background, e.g. for deflectometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明涉及图像处理装置、图像处理方法和存储介质。该图像处理装置包括：照明单元，被构造为使用如下构件将条纹光投影到被检体上，在所述构件中，在第二方向上以周期P布置有不透射至少一部分入射光的多个非透射部；摄像单元，被构造为通过所述构件对投影了条纹光的被检体进行摄像；图像处理单元，被构造为处理N个图像以生成处理图像；以及驱动单元，被构造为使构件和被检体相对移位。每当通过驱动单元将构件和被检体相对移位变化量ΔXi(i＝1，2，...N)时，摄像单元进行摄像。

Description

图像处理装置、图像处理方法和存储介质
技术领域
本公开的示例性实施例涉及一种图像处理装置、方法和存储介质，该图像处理装置用于获取并处理被检体的图像，诸如用于获取具有光泽表面的被检体的图像并且光学评估被检体的光学评估装置。
背景技术
作为用于检测存在于作为光泽被检体的工件的表面上的缺陷的技术，已知如下技术，其中，使用用于以周期性条纹图案发光的光源向工件照射光，并且通过照相机对由工件反射的光进行摄像。在日本特开2014-002125号公报中描述的检查方法中，用具有周期性变化的辉度的光来照射工件，计算摄像的反射光图像的这种辉度变化的振幅及其平均值等，并且根据这些值检测工件的缺陷。在日本特开2000-018932号公报中描述的检查方法中，通过转变照明工件的光的明暗图案来对多个图像进行摄像，计算各个像素中的评估量(诸如最大值或最小值)，在像素之间比较评估量，由此检查微小缺陷。
发明内容
根据本公开的实施例的图像处理装置包括：照明单元，其被构造为，使用如下构件将条纹光投影到被检体上，在所述构件中，在第二方向上以周期P间隔布置有不透射至少一部分入射光的多个非透射部，其中，各个非透射部在第二方向上的长度短于该非透射部在与第二方向交叉的第一方向上的长度；摄像单元，其被构造为，对由照明单元投影了条纹光的所述被检体的图像进行摄像；图像处理单元，其被构造为，对由摄像单元摄像的N个图像进行处理，以生成包括与所述被检体的表面有关的信息的处理图像；以及驱动单元，其被构造为，使所述构件和所述被检体在第二方向上相对移位，其中，所述摄像单元被设置成通过所述构件对所述被检体进行摄像，并且其中，每当通过所述驱动单元将所述构件和所述被检体在第二方向上相对移位彼此不同的、除周期P的整数倍之外的变化量ΔXi时，所述摄像单元进行摄像，并且获取N个图像，其中i＝1，2，...N。
根据以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。
附图说明
图1是例示根据本公开的一个方面的装置的示例的示意图。
图2是用于说明照明单元的图。
图3是用于说明根据第一示例性实施例的照明单元的横截面图。
图4是用于说明图像上的条纹图案的图。
图5是例示用于检查工件表面上的缺陷的方法的流程图。
图6是用于说明透射部和非透射部之间的宽度比与噪声之间的关系的曲线图。
图7是用于说明用于减小噪声分量的方法的曲线图。
图8A、图8B和图8C是用于说明具有曲面的工件的优选布置的图。
图9是用于说明根据第二示例性实施例的照明单元的图。
具体实施方式
在日本特开2014-002125号公报和日本特开2000-018932号公报中描述的检查方法中，液晶设备(LCD)或附装有线形图案形式的膜的表面发光光源，被用作用于将条纹图案投影到工件上的光源。这些光源中的各个都不透射光，因此在反射性光泽工件的情况下，需要将光源和照相机设置在从工件看的不同方向上。这是因为，在光源与照相机设置在同一轴上的情况下，从光源发射的光被照相机遮挡，或由工件反射的光被光源遮挡，并且光几乎无法到达照相机。
为了防止照相机的视场被光源遮挡，需要确保从工件到光源的长距离。在这种情况下，为了获得从宽范围的工件到照相机的正反射光，需要使用大光源，或通过使用机器人臂等转变工件相对于照相机和光源的相对位置来多次进行摄像。在前一种情况下，装置的尺寸增加。特别是在工件具有曲面的情况下，工件起到凸面镜或凹面镜的作用。因此，如果工件与光源之间的距离较大，则需要巨大的光源。在转变相对位置的后一种情况下，装置变得复杂且大，并且测量时间增加。
鉴于上述问题，本公开旨在提供一种用于获取并处理被检体的图像的图像处理装置及其方法，诸如能够光学地评估宽范围的工件的光泽表面的相对紧凑的光学评估装置。
在根据本公开的一个方面的图像处理装置和方法中，使用如下构件将条纹光投影到被检体上，该构件在第一方向上较长，并且在该构件中，在与第一方向交叉的第二方向上以周期P间隔布置有不透射至少一部分入射光的多个非透射部。然后，通过该构件对投影了条纹光的被检体进行摄像，并对已摄像的N个图像进行处理，以生成包括关于被检体表面的信息的处理图像。此时，每当构件和被检体在第二方向上被相对移位相互不同(除周期P的整数倍之外)的变化量ΔXi(i＝1，2，...N)时进行摄像，并且获取N个图像。关于整数N，至少N＝3是优选的，因为存在随后的频率分量的直流(DC)分量、振幅和相位的三个自由度(参数)。但是，在可以使用较少参数的情况下，N＝2也是可以的。变化量ΔXi排除周期P的整数倍的原因在于，在这些情况下，构件和被检体相对于彼此的位置等同。驱动单元可以使构件与被检体之间的相对位置在第二方向上移位。典型地，使用与相位偏移了4πΔXi/P弧度的频率分量的强度变化有关的信息，来根据N个图像生成处理图像。关于这个频率分量，在被检体是平面的情况下，生成具有周期P的1/2周期的条纹图案。然而，在被检体是曲面的情况下，相位偏移4πΔXi/P弧度，但通常周期不是P的1/2。频率分量的振幅、相位和相位差中的至少一者可以从关于强度变化的信息中获取，并且可以生成振幅图像、相位图像和相位差图像中的至少一者作为处理图像。例如，可以基于处理图像检测被检体表面上的缺陷。
在下文中，将参照附图描述本公开的示例性实施例。顺便提及，在各个附图中，相同的构件或元件由相同的附图标记表示，并且重复的描述被省略或简化。
将描述根据第一示例性实施例的作为用于处理被检体(工件)的图像的装置的光学评估装置1。图1是例示光学评估装置1的示意图。光学评估装置1光学地评估工件11(被检体)的光泽表面。工件11例如是用于工业产品的表面已被抛光的金属部件或树脂部件。在工件11的表面上，除了划痕和颜色脱落之外，还可能产生各种缺陷，诸如由轻微凹凸形状(诸如凹痕)引起的缺陷。光学评估装置1获取工件11的表面上的图像，评估通过处理图像获得的处理图像信息，由此检测其缺陷，并基于检测结果将工件11分类为例如良品或不良品。光学评估装置1可以包括用于将工件11传送到预定位置的传送设备(未例示)(例如传送机、机器人、滑块或手动台)。
光学评估装置1可以包括用于照明工件11的照明单元101和作为用于通过照明单元101从上方对工件11进行摄像的摄像单元的照相机102。对于照相机102，可以使用二维布置像素的图像传感器，诸如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。通过使用这样的面型传感器照相机，与使用线型传感器照相机的情况相比，能够集中地获取更宽广的区域的图像，因此针对工件的宽范围的表面能够高速地评估表面。
图2是用于说明照明单元101的图。在本示例性实施例中，照明单元101包括如下构件，在该构件中，在与第一方向交叉的第二方向上以周期P交替布置有，沿第一方向延伸的多个透射部101a和具有比透射部101a更低的光透射率并且也沿第一方向延伸的多个非透射部101b。各个透射部可以是空间或孔。还包括这样的情况，该构件可以被定义为这样的构件，该构件在第一方向上长，并且在该构件中，在与第一方向交叉的第二方向上以周期P间隔布置有不透射至少一部分入射光的多个非透射部。包括透射部101a和非透射部101b的构件由框架101c支撑。
图3是照明单元101的一种形式的横截面图。照明单元101可以进一步包括作为光源的发光二极管(LED)101d和导光板101e。导光板101e例如是由丙烯酸塑料或玻璃制成的平板。非透射部101b可以通过使用例如具有散射光特性的材料在膜上以周期P打印条纹图案来实现。在这种情况下，未使用光散射材料进行打印的膜部充当透射部101a。打印有图案的膜紧密地附装到导光板101e。LED 101d设置在框架101c内的包围透射部101a和非透射部101b的区域中的多个适当的位置。从LED 101d发射的光在在导光板101e内行进，同时被全反射。具有散射光特性的材料用于非透射部101b，使得入射光的一部分朝工件11散射。同时，光在透射部101a中几乎不散射，使得几乎不产生从透射部101a朝向工件11发射的光。因此，通过照明单元101将条纹图案光投影到工件11上。被工件11反射或散射的光的一部分被照明单元101的非透射部101b遮挡，并且被工件11反射或散射的光的一部分透过照明单元101的透射部101a。通过利用照相机102对透射光进行摄像，照相机102可以通过照明单元101对工件11进行摄像。
在本示例性实施例中，透射部101a和非透射部101b通过使用具有散射光特性的材料而在膜上打印的条纹图案来实现。但是，照明单元不限于这种构造。例如，透射部101a可以由如上所述的线形孔构成，并且非透射部101b可以由线形发光构件构成。
如图1所示，照明单元101由作为驱动单元的可移动机构103支撑。可移动机构103允许照明单元101在与透射部101a和非透射部101b的线正交的方向(图1中的X方向)上移动。在本示例性实施例中，照明单元101由可移动机构103移动。然而，通过相对于照明单元101移动工件11，照明单元101的构件和工件11之间的相对位置可以移位。另外，可以仅移动包括透射部101a和非透射部101b的构件，而不移动整个照明单元101。
可移动机构103连接到控制单元104。控制单元104由包括例如中央处理单元(CPU)或存储器的基板构成，并且相互同步地控制照明单元101、照相机102和可移动机构103。控制单元104控制可移动机构103和照相机102以使可移动机构103将照明单元101移动ΔXi(i＝1，2，...N)，并使照相机102对N个图像(N≥3)进行摄像。这里，ΔXi可以被设置为任意值，只要被识别即可。但是，该构造不限于这种构造。例如，在通过手动操作可移动机构103使工件11移动之后，照相机102能够通过手动触发器对工件11进行摄像。
光学评估装置1还可以包括作为图像处理单元的个人计算机(PC)105和显示器106。根据本示例性实施例的PC 105具有基于与由照相机102获得的N个图像相关的信息评估工件11的表面的功能。PC 105和控制单元104不需要彼此分离，并且图像处理单元105可以与控制单元104一体地设置。图像处理单元可以是专用于图像处理的机器而不是通用PC。由照相机102摄像的图像经由电缆(未例示)被传输到PC 105。
在根据本示例性实施例的光学评估装置1中，照相机102聚焦在工件11的上表面上。从透射部101a和非透射部101b到工件11的距离D和照相机的物侧数值孔径(NA)被设置为满足以下表达式。
D×tan(asin(NA))/P≥0.35
作为本发明人的研究的结果，已经发现，在设置上述条件的情况下，在由照相机102获取的图像上生成周期P/2(透射部101a和非透射部101b的周期P的一半)的条纹图案。将参照图4说明其原因。
图4是用于说明在通过照明单元101将具有周期P的条纹图案投影到工件11上并且工件11由照相机102通过照明单元101摄像的情况下获得的图像上的条纹图案的图。这里，将从透射部101a和非透射部101b到工件11的距离D和照相机102的物侧NA设置为满足D×tan(asin(NA))/P＝1。结果，在透射部101a和非透射部101b中、对工件11的表面上的一个点进行摄像的光通量的扩展与周期P一致。以此方式，需要满足上述条件表达式，使得相对于周期P，光通量的扩展是足够的。
在图4中由白点表示的点11a处，由非透射部101b散射并发射到工件11的光被工件的表面反射，然后透过透射部101a。结果，在点11a处，反射光的一部分穿过照明单元101并到达照相机102。同时，在图4中由黑点表示的点11b处，由非透射部101b散射并发射到工件11的光被工件的表面反射，然后被非透射部101b遮挡。结果，在点11b处，反射光没有到达照相机102。点11a和11b的周期是P/2。因此，在具有周期P的条纹图案被照明单元101投影到工件11上并且工件11由照相机102通过照明单元101摄像的情况下，具有周期P/2的条纹图案被摄像。
在根据本示例性实施例的光学评估装置1中，照明单元101和照相机102可以设置在相同的轴上。另外，照明单元101可以设置在工件11的附近。因此，即使通过小的照明，也可以在宽范围的工件中获得到照相机的正反射光，并且能够光学地评估宽范围的表面。特别是，在工件11的表面是曲面的情况下，如果工件11与照明单元101之间的距离大，则需要巨大的照明以在宽范围的工件中获得到照相机的正反射光。因此，在能够将照明单元101设置在工件附近的本实施例中获得较大的效果。因此，与传统实施例相比，可以用紧凑装置评估宽范围的表面。
图5例示了使用根据本示例性实施例的光学评估装置1检查工件表面上的缺陷的方法。首先，通过可移动机构103使照明单元101移动，使照明单元101的构件与工件11之间的相对位置相对于参考位置变化ΔX1(步骤S11)。接下来，在该位置处，使照明单元101发光以对第一图像I1(x，y)摄像(步骤S12)。注意，x和y表示图像上像素的位置。这里，ΔX1可以是零，并且第一图像可以在参考位置处。随后，通过可移动机构103移动照明单元101，并且照明单元101的构件与工件11之间的相对位置相对于参考位置变化ΔX2(步骤S11)。然后，在该位置处，使照明单元101发光以对第二图像I2(x，y)摄像(步骤S12)。该操作重复N次以总共对N个图像摄像。
当照明单元101的构件与工件11之间的相对位置变化ΔXi时，使用与相位偏移4πΔXi/P弧度的频率分量的强度变化有关的信息，由N个图像生成合成图像或处理图像(步骤S14)。
合成图像的示例是相位偏移4πΔXi/P弧度的频率分量的振幅图像(在工件是平面的情况下，在图像上生成的、与具有周期P/2的条纹图案对应的频率分量)。在照明单元101的构件与工件11之间的相对位置偏移P/N宽度的步长的情况下，ΔXi(i＝1，2，...N)由以下表达式表示。
ΔXi＝(P/N)×(i-1)
该表达式包括ΔX1为零的情况。在第一图像从参考位置变化的情况下，表达式如下。
ΔXi＝(P/N)×i
此时，振幅图像A(x，y)可以通过以下表达式来计算。
这是通过处理N个图像而获得的、包括关于被检体的表面的信息的处理图像，以及使用与相位偏移4πΔXi/P弧度的频率分量的强度变化有关的信息而生成的处理图像。
当照明单元101的位置移动时，图4所示的亮点11a和暗点11b的位置也移动。因此，亮度在强度方面在照相机的像素上的一个点处变化。在光泽工件11中，在具有正常光泽的表面的部分中，产生与亮度差相对应的振幅。同时，在具有散射缺陷(诸如划痕、微小凹凸或表面粗糙)的部分中产生除正反射光以外的散射光。当存在散射光时，在点11a处，散射光的一部分被非透射部101b遮挡，因此亮度降低。同时，在点11b处，散射光的一部分穿过透射部101a，因此亮度增加。结果，亮度差变小，并且振幅值也变小。例如，在完全漫射表面中，光的散射角度分布不依赖于入射光的角度。因此，即使通过照明单元101将条纹图案投影到工件11上，光的散射角度分布也始终是均匀的，并且振幅为零。因此，在振幅图像中，可以将散射特性的程度评估为表面特性，并且可以获得关于散射特性的缺陷(诸如，划痕、微小凹凸或表面粗糙)的信息。还可以实现可视化。
合成图像的另一个示例是相位偏移4πΔXi/P弧度的频率分量的相位图像。振幅图像θ(x，y)可以通过以下表达式来计算。
在上述表达式中，用-π到π的值计算相位。在相位变化超过这些值的情况下，在相位图像中发生不连续相跳跃。因此，根据需要，相位连接(相位解缠(phase unwrapping))是必要的。
在相位图像中，可以将工件11的表面的倾斜度评估为表面特性。因此，在相位图像中，可以获得关于由诸如表面上的凹痕、表面倾斜或凹陷等的轻微形状变化引起的缺陷的信息。还可以实现可视化。
提出了用于相位连接(相位解缠)的各种算法。但是，在图像噪声大的情况下，可能产生错误。为了避免相位连接，可以计算与相位的差分对应的相位差。相位差Δθx(x，y)和Δθy(x，y)可以通过以下表达式来计算。
合成图像的另一个示例是平均图像。平均图像Iave(x，y)可以通过以下表达式计算。
在平均图像中，可以将反射率的分布评估为表面特性。因此，在平均图像中，可以获得关于与正常部分具有反射率差的缺陷(诸如，颜色脱落、污染或吸收性异物)的信息。还可以实现可视化。
如上所述，振幅图像、相位图像或相位差图像、以及平均图像之间的光学可评估表面特性不同。因此，可视化缺陷在它们之间也是不同的。因此，通过组合这些图像，可以评估各种表面特性，并可以可视化各种缺陷。
顺便提及，图像的数量N对振幅图像和相位图像或相位差图像的计算精度有影响。图像数量的示例是N＝6。在这种情况下，相位偏移4πΔXi/P弧度的分量被定义为二阶频率分量(通过将照明单元101的构件与工件11之间的相对位置移动一个节距而将相位偏移两个周期，因此该分量被定义为二阶频率分量)。此时，可以消除一、三、五至七和九阶频率分量的影响。同时，四、八和十阶频率分量在振幅和相位或相位差的计算结果中产生误差。
图像数量的另一个示例是N＝8。在这种情况下，可以消除一、三到五和七到九阶频率分量的影响。同时，六和十阶频率分量在振幅和相位或相位差的计算结果中产生误差。
图像数量的另一个示例是N＝10。在这种情况下，可以消除一、三到七、九和十阶频率分量的影响。同时，八阶频率分量在振幅和相位或相位差的计算结果中产生误差。
如上所述，随着图像的数量N增加，可以减小在计算振幅和相位或相位差期间由高阶频率分量产生的误差。同时，随着图像的数量N增加，测量时间增加。因此，图像的数量N根据噪声的产生程度和所需的精度来确定。
在本示例性实施例中，相位偏移2π/N弧度的步长，但是本发明不限于这种情况。例如，对于N＝5，通过将相位偏移2π/6弧度可以对五个图像进行摄像。在这种情况下，可以通过消除一阶和三阶频率分量的影响来计算二阶振幅和相位。相位的偏移量不需要等间隔。
在工件11与照明单元101的构件之间的相对位置以相等的间隔偏移的情况下，照相机102可以在可移动机构103以恒定的速度扫描照明单元101的同时，以恒定的周期对图像进行摄像。在这种情况下，与在移动照明单元101之后在静止状态下进行摄像的情况相比，能够减少移动照明单元101所需的加速/减速时间。另外，由于图像上的条纹被平滑化，因此可以减小由高阶频率分量产生的误差。
返回图5，最后，根据合成图像检测工件11的表面上的缺陷(步骤S15)。在合成图像中，各种缺陷被可视化。因此，在该步骤中检测出各种缺陷，并且例如能够高精度地进行工件11的缺陷确定检查。
为了简单起见，图4例示了透镜是远心光学系统的情况。即使在透镜是非远心光学系统的情况下，也可以类似地对具有周期P/2的条纹图案摄像。但是，作为本发明人研究的结果，发现了以下内容。也就是说，在透镜是非远心光学系统的情况下，当照明单元101的构件与工件11之间的相对位置移动ΔXi时，相位偏移4πΔXi/P弧度，但是可以生成图像上的条纹的周期不是P/2的噪声分量。这是因为指向工件的光通量和来自工件的光通量具有彼此不同的放大率。如果存在这样的噪声分量，则即使在具有正常表面的工件11的一部分中，在合成图像上也会产生条纹强度噪声。
作为本发明人研究的结果，已经发现，下面描述的三种方法作为用于减少这种噪声分量的方法是有效的。
第一种方法是将非透射部101b的宽度和周期P之间的比(前者与后者的比)设置为大于或等于33％、且小于或等于67％，优选将非透射部101b的宽度和周期P之间的比设置为50％(以使得透射部101a和非透射部101b的宽度相同)。其原因将参照图6进行说明。如果对于以周期P交替布置有透射部101a和非透射部101b的照明单元101，照明光的强度分布以傅里叶级数展开，则不仅产生周期P，而且产生高阶频率分量。这也适用于以周期P间隔布置有多个非透射部的构件，包括各个透射部是空间或孔的情况。如果在照明光的光强度分布中存在二次变化的分量(通过将照明单元101的构件与工件11之间的相对位置移动一个节距而使相位偏移两个周期的频率分量)，会发生以下情况。当照明单元101的构件与工件11之间的相对位置移动ΔXi时，获得相位偏移了4πΔXi/P弧度的噪声分量。图6例示了透射部101a的宽度与周期P的比为20％(点线)，33％(虚线)和50％(实线)的示例。在透射部101a的宽度与周期P的比为20％的情况下，如果一阶频率分量(通过将照明单元101的构件与工件11之间的相对位置移动一个节距而使相位偏移一个周期的频率分量)的大小为0.37，则产生0.30的二阶频率分量。同时，在透射部101a的宽度与周期P的比为33％的情况下，如果一阶频率分量的大小为0.55，则二阶频率分量的大小为0.28并且能够被抑制到一阶频率分量的一半。在透射部101a的宽度与周期P的比为50％的情况下，二阶频率分量为零。因此，通过将透射部101a的宽度与周期P的比设置为大于或等于33％、且小于或等于67％，优选通过将透射部101a的宽度与非透射部101b的宽度的比设置为1，可以减少噪声分量的产生。这甚至同样适用于优选范围被定义为非透射部101b的宽度与周期P的比为大于或等于33％、且小于或等于67％的范围的情况。
第二种方法是：如果透射部101a和非透射部101b到工件11的表面的距离是D，则将照相机102聚焦在与工件11的表面具有±D/2以内的距离的位置上，优选地将照相机102聚焦在工件11的表面上。当在焦点从工件11的表面偏移时，工件11与照明单元101的构件之间的相对位置移动ΔXi的情况下，相位偏移4πΔXi/P弧度，并且以周期P/2产生的信号分量变小。同时，在焦点接近照明单元101或在工件11上摄像的照明单元的图像时，相位偏移4πΔXi/P弧度，但是图像上的条纹的周期不是P/2的噪声分量增加。因此，通过将照相机聚焦在距工件11表面±D/2的距离内的位置上，优选通过将照相机聚焦在工件11的表面上，可以减少噪声分量的产生。
顺便提及，在工件11的表面是平面的情况下，如果照相机聚焦于在工件11上摄像的照明单元101的图像上，则发生以下情况。当工件11与照明单元101的构件之间的相对位置移动ΔXi时，相位偏移2πΔXi/P弧度的频率分量占主导。在这种情况下，可以从关于相位偏移2πΔXi/P弧度的频率分量的信息生成诸如振幅图像或相位图像等的合成图像。然而，在这种情况下，焦点不与工件11的表面对准，使得由于分辨率下降，在工件11的表面上的诸如划痕或点缺陷的微小缺陷不能以高对比度被可视化。在工件11的表面是曲面的情况下，工件11用作凸面镜或凹面镜，使得照明单元也需要是曲面以将照相机聚焦于在工件摄像上的照明单元的图像的整个区域上。然而，制造具有曲面的照明单元并不容易。
第三种方法是设置D×tan(asin(NA))/P≥0.35，优选设置为D×tan(asin(NA))/P＝1.11。其原因将参考图7进行说明。图7是例示在透射部101a的宽度与周期P的比为40％并且焦点与工件11的上表面对准的情况下，D×tan(asin(NA))/P与各个频率分量的大小之间的关系的曲线图。图7是通过假定照相机102的光瞳是圆形进行计算而获得的曲线图。噪声分量1由照明光的强度分布中的二阶频率分量引起。噪声分量2由照明光的强度分布中的一阶和三阶频率分量之间的差引起。
图7表明随着D×tan(asin(NA))/P增加，噪声分量的大小振荡地减小。关于具有最大影响的噪声分量1，如果满足D×tan(asin(NA))/P≥0.35，则与D×tan(asin(NA))/P＝0的情况相比，影响可以减小到一半或更小。另外，如果满足D×tan(asin(NA))/P＝1.11，则各个噪声分量1和2的大小可以为零。因此，通过设置D×tan(asin(NA))/P≥0.35，优选通过设置D×tan(asin(NA))/P＝1.11，可以减少噪声分量的产生。顺便提及，当在照相机102的光瞳是圆形的情况下满足D×tan(asin(NA))/P＝1.11时，噪声分量被最小化，并且当在光瞳具有正方形的情况下满足D×tan(asin(NA))/P＝1时，噪声分量被最小化。
图4表明当在一维计算中满足D×tan(asin(NA))/P＝1时噪声分量被最小化。同时，在二维计算中，当在圆形孔的情况下满足D×tan(asin(NA))/P＝1.11时，噪声分量被最小化。
现在，将参照图8A至图8C描述在工件11的表面至少部分具有曲面并且工件11的曲率半径取决于方向而变化的情况下，工件11与照明单元101之间的优选布置关系。图8A例示在工件11的表面为半圆筒状时的工件11的表面形状。图8B是例示在半圆筒形工件11的母线(曲面的曲率半径大的方向)平行于与透射部101a和非透射部101b的线正交的方向(称为第二方向)的情况下，由照相机102摄像的图像的图。在这种条件下，由照相机102摄像的图像中的条纹图案具有均匀的周期。同时，图8C是例示在半圆筒形工件11的母线与第二方向正交的情况下由照相机102摄像的图像的图。在这种条件下，由照相机102摄像的图像中的条纹图案具有不均匀的周期。特别是，在工件11的表面相对于照相机102具有较大倾斜的部分处，条纹图案密集，并且照相机102不能充分地解析图案。另外，作为本发明人研究的结果，已经发现，在工件11的表面相对于第二方向的倾斜大的情况下，产生大的噪声分量。因此，在工件的表面至少部分具有曲面并且曲率半径根据方向而变化的情况下，期望在工件11被设置成使得曲率半径大的方向与第二方向平行的状态下，对图像进行摄像。
根据本示例性实施例的光学评估装置1生成包括关于工件11的表面的信息的合成图像，根据合成图像检测缺陷，并且进行例如工件11的缺陷确定检查。然而，诸如根据本公开的示例性实施例的光学评估装置1的装置的应用不限于检测工件11的表面上的缺陷。例如，本公开的示例性实施例可以应用于的装置能够用于使用相位图像的信息(包括关于工件11的表面的倾斜度的信息)，来测量工件11的表面的形状。另外，本公开的示例性实施例可以应用于的装置能够用于使用振幅图像的信息(包括关于工件11的表面的散射特性的信息)，来测量光泽度。
将描述根据第二示例性实施例的光学评估装置。除了照明单元之外，根据第二示例性实施例的光学评估装置与根据第一示例性实施例的光学评估装置类似。
图9是用于说明根据第二示例性实施例的光学评估装置的照明单元201的图。照明单元201包括线形透射部201a和线形非透射部201b，并且包括以周期P交替布置有透射部201a和非透射部201b的构件。透射部201a和非透射部201b可以例如通过在金属板中配设线形孔来实现。在这种情况下，透射部201a是线形的孔或空间。透射部201a和非透射部201b由框架201c支撑。透射部201a和非透射部201b可通过可移动机构(未例示)在与线正交的方向上移动。
照明单元201还包括半反射镜201d和平面光源201e。从平面光源201e发射的光的一部分被半反射镜201d反射并穿过透射部201a(在透射部是空间或孔的情况下，短语“通过透射部”也可以被表述为短语“在非透射部之间”)从而以条纹照明工件11。被工件11反射和散射的光的一部分再次穿过透射部201a并由照相机摄像。
根据第二示例性实施例的照明单元201需要半反射镜201d并且略大于根据第一示例性实施例的照明单元101。在根据第一示例性实施例的照明单元101中，非透射部101b用作使光沿各个方向散射的次级光源，而在根据第二示例性实施例的照明单元201中，穿过透射部201a以照明工件11的光具有方向性。在第二示例性实施例中，为了从工件11的表面的宽范围获得具有方向性的正反射光，期望将物侧远心光学系统用于照相机。
其他实施例
实施例也可以通过如下实现：一种系统或装置的计算机，该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或多个程序)，以执行上述实施例中的一个或多个的功能，并且/或者，该系统或装置包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))；以及由该系统或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述实施例中的一个或多个的功能，并且/或者，控制所述一个或多个电路以执行上述实施例中的一个或多个的功能。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或多个：硬盘，随机存取存储器(RAM)，只读存储器(ROM)，分布式计算系统的存储器，光盘(例如，压缩盘(CD)，数字多功能光盘(DVD)，或蓝光光盘(BD)TM)，闪速存储器装置，存储卡，等等。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
根据本示例性实施例，摄像单元可以通过照明单元的构件来对被检体进行摄像，并且因此能够提供诸如相对紧凑的光学评估装置的图像处理装置。
虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。

Claims (15)

1.一种图像处理装置，所述图像处理装置包括：
照明单元，其被构造为，使用如下构件将条纹光投影到被检体上，在所述构件中，在第二方向上以周期P间隔布置有不透射至少一部分入射光的多个非透射部，其中，各个非透射部在第二方向上的长度短于该非透射部在与第二方向交叉的第一方向上的长度；
摄像单元，其被构造为，对由照明单元投影了条纹光的所述被检体的图像进行摄像；
图像处理单元，其被构造为，对由摄像单元摄像的N个图像进行处理，以生成包括与所述被检体的表面有关的信息的处理图像；以及
驱动单元，其被构造为，使所述构件和所述被检体在第二方向上相对移位，
其中，所述摄像单元被设置成通过所述构件对所述被检体进行摄像，并且
其中，每当通过所述驱动单元将所述构件和所述被检体在第二方向上相对移位彼此不同的、除周期P的整数倍之外的变化量ΔXi时，所述摄像单元进行摄像，并且获取N个图像，其中i＝1，2，...N。
2.根据权利要求1所述的图像处理装置，其中，所述图像处理单元使用与相位偏移4πΔXi/P弧度的频率分量的强度变化有关的信息，根据所述N个图像生成处理图像。
3.根据权利要求2所述的图像处理装置，其中，所述图像处理单元从与强度变化有关的信息中获取所述频率分量的振幅、相位和相位差中的至少一者，并且生成振幅图像、相位图像和相位差图像中的至少一者作为处理图像。
4.根据权利要求1所述的图像处理装置，其中，所述摄像单元的焦点位置被设置为距所述被检体的表面的距离在±D/2以内的位置，其中，D是所述被检体的表面与所述构件之间的距离。
5.根据权利要求4所述的图像处理装置，其中，所述摄像单元包括非远心光学系统。
6.根据权利要求1所述的图像处理装置，其中，所述摄像单元的物侧数值孔径NA和所述被检体与所述构件之间的距离D满足以下表达式：
D×tan(asin(NA))/P≥0.35。
7.根据权利要求1所述的图像处理装置，其中，非透射部的宽度与所述周期P的比为大于或等于33％、且小于或等于67％。
8.根据权利要求1所述的图像处理装置，其中，所述摄像单元包括物侧远心光学系统。
9.根据权利要求1所述的图像处理装置，其中，所述照明单元包括所述构件和设置在所述构件周围的区域中的光源。
10.根据权利要求1所述的图像处理装置，
其中，所述照明单元包括所述构件、半反射镜和光源，并且
其中，从所述光源发射的光的一部分被所述半反射镜反射，在非透射部之间穿过，并且以条纹照明所述被检体，并且由所述被检体反射和散射的光的一部分穿过非透射部并由摄像单元摄像。
11.根据权利要求1所述的图像处理装置，
其中，所述被检体的表面至少部分具有曲面，并且
其中，在所述被检体被设置为使得第二方向平行于所述曲面的曲率半径大的方向的状态下，所述摄像单元对所述N个图像进行摄像。
12.根据权利要求1所述的图像处理装置，其中，所述图像处理单元基于所述处理图像来检测所述被检体的表面上的缺陷。
13.根据权利要求1所述的图像处理装置，其中，N≥3。
14.一种图像处理方法，所述图像处理方法包括如下步骤：
投影步骤，通过被构造为使用如下构件将条纹光投影到被检体上的照明单元来将条纹光投影到被检体上，并且通过所述构件对所述被检体进行摄像，在所述构件中，在第二方向上以周期P间隔布置有不透射至少一部分入射光的多个非透射部，其中，各个非透射部在第二方向上的长度短于该非透射部在与第二方向交叉的第一方向上的长度；
移位步骤，使所述构件和所述被检体在第二方向上相对移位；以及
图像处理步骤，对通过每当在所述移位步骤中使所述构件和所述被检体相对移位时，在所述投影步骤中进行摄像而获取的N个图像进行处理，以生成包括与所述被检体的表面有关的信息的处理图像，
其中，在所述投影步骤中，每当在所述移位步骤中的相对位移是彼此不同的、除周期P的整数倍之外的变化量ΔXi时进行摄像，并且获取N个图像，其中i＝1，2，...N。
15.一种存储介质，其存储使计算机进行图像处理的程序，所述程序使所述计算机进行如下步骤：
投影步骤，通过被构造为使用如下构件将条纹光投影到被检体上的照明单元来将条纹光投影到被检体上，并且通过所述构件对所述被检体进行摄像，在所述构件中，在第二方向上以周期P间隔布置有不透射至少一部分入射光的多个非透射部，其中，各个非透射部在第二方向上的长度短于该非透射部在与第二方向交叉的第一方向上的长度；
移位步骤，使所述构件和所述被检体在第二方向上相对移位；以及
图像处理步骤，对通过每当在所述移位步骤中使所述构件和所述被检体相对移位时，在所述投影步骤中进行摄像而获取的N个图像进行处理，以生成包括与所述被检体的表面有关的信息的处理图像，
其中，在所述投影步骤中，每当在所述移位步骤中的相对位移是彼此不同的、除周期P的整数倍之外的变化量ΔXi时进行摄像，并且获取N个图像，其中i＝1，2，...N。
CN201810607069.9A 2017-06-14 2018-06-13 图像处理装置、图像处理方法和存储介质 Withdrawn CN109085171A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-116781 2017-06-14
JP2017116781A JP6584454B2 (ja) 2017-06-14 2017-06-14 画像処理装置及び方法

Publications (1)

Publication Number Publication Date
CN109085171A true CN109085171A (zh) 2018-12-25

Family

ID=64657538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810607069.9A Withdrawn CN109085171A (zh) 2017-06-14 2018-06-13 图像处理装置、图像处理方法和存储介质

Country Status (3)

Country Link
US (1) US10740890B2 (zh)
JP (1) JP6584454B2 (zh)
CN (1) CN109085171A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI757015B (zh) * 2020-12-29 2022-03-01 財團法人工業技術研究院 取像方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135297B2 (ja) * 2017-10-27 2022-09-13 株式会社ニコン 検査装置、検査システム、および検査方法
JP6904263B2 (ja) * 2018-01-10 2021-07-14 オムロン株式会社 画像処理システム
KR102199314B1 (ko) * 2019-03-07 2021-01-06 (주) 인텍플러스 디스플레이 패널 검사장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997040367A1 (en) * 1996-04-22 1997-10-30 Autospect, Inc. Method and system for inspecting a low gloss surface of an object at a vision station
JP3514107B2 (ja) * 1998-03-24 2004-03-31 日産自動車株式会社 塗装欠陥検査装置
JP4147682B2 (ja) 1998-04-27 2008-09-10 旭硝子株式会社 被検物の欠点検査方法および検査装置
JP2000111490A (ja) * 1998-10-05 2000-04-21 Toyota Motor Corp 塗装面の検出装置
JP3985385B2 (ja) * 1999-03-26 2007-10-03 スズキ株式会社 表面欠陥検出装置
JP2003057191A (ja) 2001-08-20 2003-02-26 Ricoh Co Ltd 円筒状被検物形状測定装置及び該円筒状被検物形状測定装置の調整方法と信号処理方法
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
JP2007278713A (ja) * 2006-04-03 2007-10-25 Chuo Denshi Keisoku Kk 塗装検査装置における照明方法
JP2008249397A (ja) * 2007-03-29 2008-10-16 Toyota Motor Corp 表面検査装置
JP4894628B2 (ja) * 2007-05-28 2012-03-14 パナソニック電工株式会社 外観検査方法および外観検査装置
JP2009210509A (ja) 2008-03-06 2009-09-17 Roland Dg Corp ３次元形状測定装置および３次元形状測定コンピュータプログラム
TWI426296B (zh) * 2009-06-19 2014-02-11 Ind Tech Res Inst 利用光學偏極特性之三維顯微共焦量測系統與方法
JP2013505465A (ja) * 2009-09-22 2013-02-14 サイバーオプティクス コーポレーション 高速高解像度三次元太陽電池検査システム
US20200057353A1 (en) * 2009-10-09 2020-02-20 Digilens Inc. Compact Edge Illuminated Diffractive Display
US8773526B2 (en) * 2010-12-17 2014-07-08 Mitutoyo Corporation Edge detection using structured illumination
JP5994419B2 (ja) 2012-06-21 2016-09-21 富士通株式会社 検査方法及び検査装置
JP6482223B2 (ja) * 2014-09-26 2019-03-13 シーシーエス株式会社 光照射装置及びワーク検査装置
JP3197766U (ja) * 2015-03-17 2015-06-04 バイスリープロジェクツ株式会社 表面検査装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI757015B (zh) * 2020-12-29 2022-03-01 財團法人工業技術研究院 取像方法
US11615608B2 (en) 2020-12-29 2023-03-28 Industrial Technology Research Institute Image obtaining method

Also Published As

Publication number Publication date
US20180365821A1 (en) 2018-12-20
US10740890B2 (en) 2020-08-11
JP2019002762A (ja) 2019-01-10
JP6584454B2 (ja) 2019-10-02

Similar Documents

Publication Publication Date Title
CN109085171A (zh) 图像处理装置、图像处理方法和存储介质
CN108291854A (zh) 光学检查装置、透镜以及光学检查方法
JP2010151479A (ja) 配線パターン検査装置
US20180367722A1 (en) Image acquisition device and image acquisition method
CN110231352A (zh) 图像检查装置、图像检查方法以及图像检查程序
KR100785802B1 (ko) 입체 형상 측정장치
CN109724982A (zh) 图像生成方法、图像生成装置以及使用其的缺陷确定方法
JP2014240766A (ja) 表面検査方法および表面検査装置
JP2947513B1 (ja) パターン検査装置
KR20070101651A (ko) 광학 검사 시스템
JPH0373831A (ja) 欠陥検査装置
JP4842376B2 (ja) 表面検査装置及び方法
WO2008120882A1 (en) Apparatus for inspection of three-dimensional shape and method for inspection using the same
CN111220087B (zh) 表面形貌检测方法
JP2004170400A (ja) 寸法測定方法及び装置
JP2002296020A (ja) 表面形状測定装置
JP4496149B2 (ja) 寸法測定装置
JP2006003168A (ja) 表面形状の測定方法およびその装置
JP7023790B2 (ja) フォトマスク検査装置およびフォトマスク検査方法
CN1327326C (zh) 光学感应组件及其搭配组件的快速检测法
JP2023151944A (ja) 検査システムおよび検査方法
JP4608399B2 (ja) 照明用光学素子の検査装置
JP2023151945A (ja) 検査システムおよび検査方法
JP2021189044A (ja) 表面検査装置および表面検査方法
JP2023160096A (ja) 表面欠陥検出装置および表面欠陥検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181225

WW01 Invention patent application withdrawn after publication