CN112567199A - 三维测量装置、三维测量方法 - Google Patents

三维测量装置、三维测量方法 Download PDF

Info

Publication number
CN112567199A
CN112567199A CN201880096669.1A CN201880096669A CN112567199A CN 112567199 A CN112567199 A CN 112567199A CN 201880096669 A CN201880096669 A CN 201880096669A CN 112567199 A CN112567199 A CN 112567199A
Authority
CN
China
Prior art keywords
pixel
pixels
sensitivity
low
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880096669.1A
Other languages
English (en)
Other versions
CN112567199B (zh
Inventor
田端伸章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Publication of CN112567199A publication Critical patent/CN112567199A/zh
Application granted granted Critical
Publication of CN112567199B publication Critical patent/CN112567199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/30—Assembling printed circuits with electric components, e.g. with resistor
    • H05K3/32—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits
    • H05K3/34—Assembling printed circuits with electric components, e.g. with resistor electrically connecting electric components or wires to printed circuits by soldering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/56—Measuring geometric parameters of semiconductor structures, e.g. profile, critical dimensions or trench depth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

摄像相机(31)具备：高灵敏度像素(Ph)，具有相对于照射到焊料(B)(对象物)的波长(λg)的光具备高灵敏度的光谱灵敏度特性(SP(G))；及低灵敏度像素(Pl)，具有相对于照射到焊料(B)(对象物)的波长(λg)的光具备低灵敏度的光谱灵敏度特性(SP(R)、SP(B))。因此，由焊料(B)的表面中的高反射区域(Ah)反射的图案光(L(S))能够通过低灵敏度像素(Pl)变换为适当的像素值(V)，由焊料(B)的表面中的低反射区域(Al)反射的图案光(L(S))能够通过高灵敏度像素(Ph)变换为适当的像素值(V)。即，能够将由高反射区域(Ah)和低灵敏度像素(Pl)反射的图案光(L(S))这两者变换为适当的像素值(V)。这样，即使在高反射区域(Ah)和低灵敏度像素(Pl)混合存在于焊料(B)的情况下，也能够针对两个区域(Ah、Al)取得准确的像素值(V)。

Description

三维测量装置、三维测量方法
技术领域
本发明涉及测量对象物的三维形状的技术。
背景技术
在专利文献1中记载了对印刷在印刷基板的电极上的焊料等对象物的三维形状进行测量的三维测量装置。该三维测量装置将白色的光照射到对象物，并基于对由对象物反射的光进行摄像所得的图像来测量对象物的三维形状。另外，在这样的三维测量装置中，具有分别输出与所入射的光的强度对应的像素值的多个像素的摄像相机能够用于由对象物反射的光的摄像。
现有技术文献
专利文献
专利文献1：日本专利第4256059号公报
发明内容
发明所要解决的课题
另外，摄像相机的各像素具有动态范围，对于比动态范围暗或亮的光，不能输出准确的像素值。因此，考虑到如下方法：在对象物的反射率低的情况下，提高照射到对象物的光的强度，另一方面，在对象物的反射率高的情况下，降低照射到对象物的光的强度。但是，在反射率低的区域和反射率高的区域混合存在于对象物的情况下，如果提高光的强度，则针对反射率高的区域不能得到准确的像素值，如果降低光的强度，则针对反射率低的区域不能得到准确的像素值。因此，这种方法不一定有效。
本发明是鉴于上述课题而完成的，其目的在于提供一种即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够针对两个区域取得准确的像素值的技术。
用于解决课题的技术方案
本发明所涉及的三维维测量装置具备：投影仪，将规定波长的光照射到对象物；摄像相机，具有供由对象物反射的光入射的多个像素，多个像素的每一个输出与入射的光的强度对应的像素值；及控制部，基于像素值来执行对象物的三维形状的形状计算，多个像素包括多个高灵敏度像素和多个低灵敏度像素，该多个低灵敏度像素具有与高灵敏度像素所具有的光谱灵敏度特性相比输出相对于规定波长的输入之比低的光谱灵敏度特性。
本发明所涉及的三维维测量装置方法具备：将规定波长的光照射到对象物的工序；使由对象物反射的光入射到多个像素，多个像素输出与所入射的光的强度对应的像素值的工序；及基于像素值来执行对象物的三维形状的形状计算的工序，多个像素包括多个高灵敏度像素和多个低灵敏度像素，该多个低灵敏度像素具有与高灵敏度像素所具有的光谱灵敏度特性相比输出相对于规定波长的输入之比低的光谱灵敏度特性。
在如此构成的本发明(三维测量装置、三维测量方法)中，摄像相机具有高灵敏度像素和低灵敏度像素，该低灵敏度像素具有与该高灵敏度像素的光谱灵敏度特性相比输出相对于规定波长的输入之比低的光谱灵敏度特性。即，具备高灵敏度像素和低灵敏度像素，该高灵敏度像素具有相对于照射到对象物的规定波长的光具备高灵敏度的光谱灵敏度特性，该低灵敏度像素具有相对于照射到对象物的规定波长的光具备与高灵敏度像素相比低的灵敏度的光谱灵敏度特性。因此，由对象物中的反射率高的区域反射的光能够通过低灵敏度像素变换为适当的像素值，由对象物中的反射率低的区域反射的光能够通过高灵敏度像素变换为适当的像素值。即，能够将由反射率高的区域反射的光及由反射率低的区域反射的光这两者变换为适当的像素值。这样，即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够针对两个区域取得准确的像素值。
另外，也可以将三维测量装置构成为，高灵敏度像素和低灵敏度像素交替排列。在该结构中，由于高灵敏度像素和低灵敏度像素彼此相邻且均匀地配置，因此能够由高灵敏度像素准确地捕捉以低反射率反射的光，并且由低灵敏度像素准确地捕捉以高反射率反射的光。其结果为，即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够针对两个区域取得准确的像素值。
另外，也可以将三维测量装置构成为，多个像素以相同的比率包含高灵敏度像素和低灵敏度像素。在该结构中，能够不偏向由高反射率的区域反射的光和由低反射率的区域反射的光中的一方地将这两者变换为适当的像素值。其结果为，即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够针对两个区域取得准确的像素值。
另外，也可以将三维测量装置构成为，规定波长为绿色的波长，多个像素通过以规定的图案排列有红色、绿色和蓝色的拜耳阵列来排列，多个高灵敏度像素的每一个是拜耳阵列中的绿色的像素，多个低灵敏度像素包含相同数量的拜耳阵列中的蓝色的像素和红色的像素。在该结构中，由于绿色的高灵敏度像素和红色或蓝色的低灵敏度像素彼此相邻且均匀地配置，因此能够由高灵敏度像素准确地捕捉以低反射率反射的光，并且由低灵敏度像素准确地捕捉以高反射率反射的光。其结果为，即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够针对两个区域取得准确的像素值。
另外，对由反射率高的区域反射而入射到高灵敏度像素的光、由反射率低的区域反射而入射到低灵敏度像素的光进行变换所得的像素值不适当的可能性较高。因此，也可以将三维测量装置构成为，控制部针对多个像素的每一个执行基于像素值来判定从像素输出的像素值是否适当的判定处理，并基于判定处理中的判定结果来执行形状计算。在该结构中，能够抑制不适当的像素值的影响，并且能够使用适当的像素值来执行形状计算。因此，即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够准确地计算出对象物的三维形状。
另外，也可以将三维测量装置构成为，控制部基于对在判定处理中判定为像素值不适当的高灵敏度像素执行基于距该高灵敏度像素处于规定范围内的低灵敏度像素的像素值的插补的结果，或者基于对在判定处理中判定为像素值不适当的低灵敏度像素执行基于距该低灵敏度像素处于规定范围内的高灵敏度像素的像素值的插补的结果，来执行形状计算。在这样的结构中，能够将在判定处理中判定为不适当的像素的像素值利用距该像素处于规定范围内的像素的像素值进行插补，并基于其结果来执行形状计算。其结果为，即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够准确地计算出对象物的三维形状。
另外，也可以将三维测量装置构成为，投影仪将具有规定波长且具有互不相同的相位的多个条纹图案的光照射到对象物，控制部通过相移法执行形状计算。在该结构中，即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够通过相移法适当地计算出对象物的三维形状。
发明效果
根据本发明，即使在反射率低的区域和反射率高的区域混合存在于对象物的情况下，也能够针对两个区域取得准确的像素值。
附图说明
图1是示意性地例示本发明所涉及的外观检查装置的框图。
图2是示意性地表示摄像单元的结构的图。
图3是示意性地表示摄像单元所具有的像素的光谱灵敏度特性的图。
图4是示意性地表示分别由高反射区域和低反射区域反射的光与像素值的关系的图。
图5是表示外观检查装置执行的三维测量的一例的流程图。
图6是表示在图5的三维测量中执行的不适当像素的插补的一例的流程图。
图7是说明在图5的三维测量中执行的运算的内容的图。
图8是表示不适当像素的插补的一例的图。
具体实施方式
图1是示意性地例示本发明所涉及的外观检查装置的框图。在该图及以下的图中，适当地表示由与铅垂方向平行的Z方向、与水平方向平行的X方向及Y方向构成的XYZ正交坐标。图1的外观检查装置1通过利用控制装置100控制运送输送机2、检查头3及驱动机构4，来检查将部件(电子部件)接合于基板10(印刷基板)的焊料B的状态是否良好。
运送输送机2沿着规定的运送路径运送基板10。具体而言，运送输送机2将检查前的基板10运入到外观检查装置1内的检查位置，并将基板10水平地保持在检查位置。另外，当对检查位置处的基板10的检查结束时，运送输送机2将检查后的基板10向外观检查装置1的外部运出。
检查头3具有从上方对摄像视场V31内进行摄像的摄像相机31，将运入到检查位置的基板10的焊料B收纳于摄像视场V31而通过摄像相机31进行摄像。摄像相机31具有对来自焊料B的反射光进行摄像的平板形状的摄像单元311。该摄像单元311的详细情况将使用图2在后文叙述。而且，检查头3具有将光强度分布呈正弦波状变化的条纹状的图案光L(S)投影到摄像视场V31的投影仪32。投影仪32具有LED(Light Emitting Diode：发光二极管)等光源和将来自光源的光朝向摄像视场V31反射的数字微镜器件。该投影仪32通过调整数字微镜器件的各微镜的角度，能够将相位互不相同的多种图案光L(S)投影到摄像视场V31。即，检查头3通过一边使从投影仪32投影的图案光L(S)的相位变化一边利用摄像相机31进行摄像，能够利用相移法测量出摄像视场V31内的焊料B的三维形状Bs。
顺便提及，检查头3具有8个投影仪32(在图1中，为了简化图示而代表性地示出了两个投影仪32)。8个投影仪32以包围摄像相机31的周围的方式配置，并将铅垂方向Z作为中心而呈圆周状地以等间距排列。并且，各投影仪32从斜上方对摄像相机31的摄像视场V31投影图案光L(S)。因此，能够从多个投影仪32中的与焊料B之间的位置关系适当的一个投影仪32向摄像视场V31投影图案光L(S)。
驱动机构4支承检查头3，并且通过电动机使检查头3向水平方向和铅垂方向驱动。通过该驱动机构4的驱动，检查头3移动到焊料B的上方而能够将焊料B捕捉到摄像视场V31内，从而能够测量摄像视场V31内的焊料B的三维形状Bs。
控制装置100具有由CPU(Central Processing Unit：中央处理单元)和存储器构成的处理器即主控制部110，主控制部110通过统一进行装置各部的控制来执行检查。另外，控制装置100具有由显示器、键盘及鼠标等输入输出设备构成的用户接口200，用户能够经由用户接口200向控制装置100输入指令，或者确认控制装置100的检查结果。而且，控制装置100具有控制投影仪32的投影控制部120、控制摄像相机31的摄像控制部130及控制驱动机构4的驱动控制部140。当运送输送机2将基板10运入到检查位置时，主控制部110利用驱动控制部140控制驱动机构4而使检查头3向基板10的焊料B的上方移动。由此，焊料B收纳在摄像相机31的摄像视场V31内。
接着，主控制部110一边从投影仪32向包含焊料B的摄像视场V31投影图案光L(S)，一边利用摄像相机31对投影到摄像视场V31的图案光L(S)进行摄像(图案摄像动作)。具体而言，主控制部110具有由非易失性存储器构成的存储部150，并读出在存储部150中所存储的投影图案T(S)。然后，主控制部110通过基于从存储部150读出的投影图案T(S)来控制投影控制部120，由此根据投影图案T(S)调整投影仪32的数字微镜器件的各微镜的角度。这样，具有投影图案T(S)的图案光L(S)被投影到摄像视场V31。然后，主控制部110通过控制摄像控制部130，由此利用摄像相机31对投影到摄像视场V31的图案光L(S)进行摄像而取得摄像图像I(S)。该摄像图像I被存储于存储部150。另外，在存储部150存储有相位彼此相差90度的4种投影图案T(S)，在改变投影图案T(S)的同时执行4次图案摄像动作(S＝1、2、3、4)。其结果为，取得分别对相位各相差90度的图案光L(S)进行摄像所得的4种摄像图像I(S)。
主控制部110根据这样取得的4种摄像图像I(S)，通过相移法针对摄像相机31的每个像素求出摄像视场V31的高度。由此，针对摄像相机31的每个像素求出焊料B的表面的高度。
图2是示意性地表示摄像单元的结构的图。摄像单元311具有例如CCD(ChargeCoupled Device：电荷耦合器件)图像传感器等固态摄像元件312和重叠于固态摄像元件312的滤色器313。固态摄像元件312具有在X方向和Y方向上分别以恒定的排列间距ΔP排列的多个受光像素Pi。即，在固态摄像元件312中，多个受光像素Pi二维排列。另外，滤色器313具有在X方向和Y方向上分别以排列间距ΔP排列的多个滤光片像素Pf。即，在滤色器313中，多个滤光片像素Pf二维排列。
这样，多个受光像素Pi和多个滤光片像素Pf以一对一的对应关系设置，相互对应的受光像素Pi和滤光片像素Pf相对。换言之，在摄像单元311中，由彼此相对的受光像素Pi和滤光片像素Pf构成像素Px，多个像素Px在X方向和Y方向上分别以排列间距ΔP排列。并且，各像素Px从受光像素Pi输出与透过滤光片像素Pf而入射到受光像素Pi的光的强度对应的像素值V(图3)。
如图2所示，在滤色器313中，多个滤光片像素Pf按照拜耳阵列进行排列，各滤光片像素Pf允许红色(R)、绿色(G)和蓝色(B)中的与其排列位置对应的颜色的光的透过，并限制与排列位置所对应的颜色不同的颜色的光的透过。因此，摄像单元311的各像素Px具有与其滤光片像素Pf允许透过的光的颜色对应的光谱灵敏度特性。
图3是示意性地表示摄像单元所具有的像素的光谱灵敏度特性的图。在图3中，在横轴表示光的波长并且纵轴表示像素值V的图表中，用双点划线表示具有允许红色(R)的透过的滤光片像素Pf的像素Px(以下适当称为“红色的像素Px”)的光谱灵敏度特性SP(R)，用虚线表示具有允许绿色(G)的透过的滤光片像素Pf的像素Px(以下适当称为“绿色的像素Px”)的光谱灵敏度特性SP(G)，用单点划线表示具有允许蓝色(B)的透过的滤光片像素Pf的像素Px(以下适当称为“蓝色的像素Px”)的光谱灵敏度特性SP(B)。另外，在图3中，用实线一并记载了从投影仪32投影的图案光L(S)的波长分布。
即，在本实施方式中，图案光L(S)具有在绿色的波长λg处具有峰值的波长分布(换言之，具有绿色的发光光谱)。另一方面，绿色的像素Px具有相对于图案光L(S)的波长λg具备高灵敏度的光谱灵敏度特性SP(G)。红色的像素Px具有在比波长λg长的波长处具有峰值的光谱灵敏度特性SP(R)，并且相对于图案光L(S)的波长λg具有比绿色的像素Px低的灵敏度。蓝色的像素Px具有在比波长λg短的波长处具有峰值的光谱灵敏度特性SP(B)，并且相对于图案光L(S)的波长λg具有比绿色的像素Px低的灵敏度。
即，如图2所示，摄像单元311所具有的多个像素Px中的绿色的像素Px作为相对于波长λg显示出高灵敏度的高灵敏度像素Ph发挥功能，红色的像素Px和蓝色的像素Px分别作为相对于波长λg显示出比高灵敏度像素Ph低的灵敏度的低灵敏度像素Pl发挥功能。并且，高灵敏度像素Ph(绿色的像素Px)和低灵敏度像素Pl(红色的像素Px)在Y方向上交替排列，并且高灵敏度像素Ph(绿色的像素Px)和低灵敏度像素Pl(蓝色的像素Px)在X方向上交替排列。这样，低灵敏度像素Pl(红色的像素Px)相对于高灵敏度像素Ph(绿色的像素Px)在Y方向的两侧相邻，低灵敏度像素Pl(蓝色的像素Px)相对于高灵敏度像素Ph(绿色的像素Px)在X方向的两侧相邻。换言之，低灵敏度像素Pl从4个方向与高灵敏度像素Ph相邻，高灵敏度像素Ph从4个方向与低灵敏度像素Pl相邻。另外，这里，所谓像素Px相邻，表示作为对象的两个像素Px以排列间距ΔP配置的状态。
在该结构中，如图4所示，能够将由焊料B的表面中的具有高反射率的高反射区域Ah反射的光和由焊料B的表面中的具有低反射率的低反射区域Al反射的光这两者通过像素Px变换为准确的像素值V。
图4是示意性地表示分别由高反射区域和低反射区域反射的光与像素值的关系的图。该图示意性地示出在将作为正弦波的图案光L(S)分别投影到高反射区域Ah和低反射区域Al，并由红色(R)、绿色(G)、蓝色(B)的像素Px检测到由各区域Ah、Al反射的光时，这些像素Px输出的像素值V。另外，实际上，从像素Px输出的像素值V不能成为偏离出动态范围D的值，因此像素值V的波形被破坏，但在此以不破坏波形的方式示出。
检测到由高反射区域Ah反射的图案光L(S)的绿色G的像素Px(高灵敏度像素Ph)输出的像素值V部分地超过像素Px的动态范围D(换言之，受光像素Pi的动态范围D)的上限。因此，绿色的像素Px不能将由高反射区域Ah反射的图案光L(S)变换为准确的像素值V。另一方面，检测到由高反射区域Ah反射的图案光L(S)的红色(R)和蓝色(B)的像素Px(低灵敏度像素Pl)输出的像素值V收敛于像素Px的动态范围D。因此，红色(R)或蓝色(B)的像素Px能够将由高反射区域Ah反射的图案光L(S)变换为准确的像素值V。
检测到由低反射区域Al反射的图案光L(S)的红色(R)和蓝色(B)的像素Px(低灵敏度像素Pl)输出的像素值V部分地超过像素Px的动态范围D的下限。因此，红色(R)和蓝色(B)的像素Px不能将由低反射区域Al反射的图案光L(S)变换为准确的像素值V。另一方面，检测到由低反射区域Al反射的图案光L(S)的绿色(G)的像素Px(高灵敏度像素Ph)输出的像素值V收敛于像素Px的动态范围D。因此，绿色(G)的像素Px能够将由低反射区域Al反射的图案光L(S)变换为准确的像素值V。
即，由高反射区域Ah反射的图案光L(S)能够通过红色(R)和蓝色(B)的像素Px(低灵敏度像素Pl)变换为准确的像素值V，由低反射区域Al反射的图案光L(S)能够通过绿色(G)的像素Px(高灵敏度像素Ph)变换为准确的像素值V。
图5是表示外观检查装置执行的三维测量的一例的流程图，图6是表示在图5的三维测量中执行的不适当像素的插补的一例的流程图，图7是说明在图5的三维测量中执行的运算的内容的图。图5和图6通过主控制部110的控制来执行。
在步骤S101中，通过在将图案光L(S)的相位每次变更90度的同时，重复执行将图案光L(S)投影到焊料B并且利用摄像相机31对图案光L(S)进行摄像的图案摄像动作，由此取得相位各相差90度的4个摄像图像I(S)(S＝1、2、3、4)。
在步骤S102中，主控制部110基于相移法，根据这些摄像图像I(S)计算表示焊料B的三维形状Bs的三维图像。具体而言，基于图7的式1，通过针对多个像素Px的每一个执行根据4个摄像图像I(S)的像素值V0～V3求出角度θ的运算，由此得到三维图像。
在步骤S103中，主控制部110计算表示多个像素Px各自的像素值V的可靠度的可靠度图像。该可靠度表示像素Px的像素值V是否收敛于动态范围D。即，在像素Px的像素值V过亮或过暗的情况下，可靠度变低。具体而言，基于图7的式2，通过针对多个像素Px的每一个执行根据4个摄像图像I(S)的像素值V0～V3求出可靠度的运算，由此得到可靠度图像。另外，在这些像素值V0～V3中存在饱和的像素值(即，在用8比特表示的情况下表示“255”的像素值)的情况下，不依据图7的式2而将像素值V的可靠度设为“0”。
在步骤S104中，执行图6所示的不适当像素的插补。在步骤S201中，将用于识别多个像素Px的计数值N复位为零，在步骤S202中，使计数值N递增。然后，判断计数值N的像素Px的像素值V的可靠度是否为阈值以上(步骤S203)。在可靠度为阈值以上的情况(在步骤S203中为“是”的情况)下，返回到步骤S202而使计数值N递增。
在可靠度小于阈值的情况(在步骤S203中为“否”的情况)下，根据距该计数值N的像素Px(不适当像素)处于排列间距ΔP以内的像素Px、即与不适当像素相邻的4个像素Px的像素值V，判断能否对不适当像素的像素值V进行插补(步骤S204)。具体而言，在这4个像素Px中存在具有小于阈值的可靠度的像素Px的情况下，判断为不能插补，在这4个像素Px的像素值V全部具有阈值以上的可靠度的情况下，判断为能够插补。
在不能插补的情况(在步骤S204中为“否”的情况)下，返回到步骤S202而使计数值N递增。在能够插补的情况(在步骤S204中为“是”的情况)下，执行插补运算，利用与不适当像素相邻的4个像素Px的像素值V对该不适当像素的像素值V进行插补(步骤S205)。即，利用相邻的4个像素Px的像素值V0对作为对象的像素Px的像素值V0进行插补，对像素值V1～V3也同样地进行插补。该插补运算可以使用线性插补或多项式插补等公知的插补方法来执行。另外，在步骤S205中，基于图7的式1，根据插补后的像素值V(V0～V3)计算角度θ，并作为在步骤S102中计算出的三维图像中的相应像素Px(即，成为步骤S205的插补对象的像素Px)而采用。然后，执行步骤S202～S205，直至计数值N成为最大值(直至在步骤S206中成为“是”)。
在以上所说明的实施方式中，摄像相机31具备：高灵敏度像素Ph，具有相对于照射到焊料B(对象物)的波长λg的光具备高灵敏度的光谱灵敏度特性SP(G)；及低灵敏度像素Pl，具有相对于照射到焊料B(对象物)的波长λg的光具备低灵敏度的光谱灵敏度特性SP(R)、SP(B)。因此，由焊料B的表面中的高反射区域Ah反射的图案光L(S)能够通过低灵敏度像素Pl变换为适当的像素值V，由焊料B的表面中的低反射区域Al反射的图案光L(S)能够通过高灵敏度像素Ph变换为适当的像素值V。即，能够将由高反射区域Ah和低灵敏度像素Pl反射的图案光L(S)这两者变换为适当的像素值V。这样，即使在高反射区域Ah和低灵敏度像素Pl混合存在于焊料B的情况下，也能够针对两个区域Ah、Al取得准确的像素值V。
此外，高灵敏度像素Ph和低灵敏度像素Pl交替排列。在该结构中，由于高灵敏度像素Ph和低灵敏度像素Pl彼此相邻且均匀地配置，因此能够通过高灵敏度像素Ph准确地捕捉由低反射区域Al反射的图案光L(S)，并且通过低灵敏度像素Pl准确地捕捉由高反射区域Ah反射的图案光L(S)。其结果为，即使在高反射区域Ah和低灵敏度像素Pl混合存在于焊料B的情况下，也能够针对两个区域Ah、Al取得准确的像素值V。
此外，高灵敏度像素Ph和低灵敏度像素Pl以相同的比率被包含。在该结构中，能够不偏向由高反射区域Ah反射的图案光L(S)和由低反射区域Al反射的图案光L(S)中的一方地，将两者变换为适当的像素值V。其结果为，即使在高反射区域Ah和低灵敏度像素Pl混合存在于焊料B的情况下，也能够针对两个区域Ah、Al取得准确的像素值V。
另外，波长λg是绿色的波长，多个像素Px通过拜耳阵列进行排列。并且，多个高灵敏度像素Ph的每一个是拜耳阵列中的绿色的像素Px，多个低灵敏度像素Pl包含相同数量的拜耳阵列中的蓝色的像素Px和红色的像素Px。在该结构中，由于绿色的高灵敏度像素Ph和红色或蓝色的低灵敏度像素Pl彼此相邻且均匀地配置，因此能够通过高灵敏度像素Ph准确地捕捉由低反射区域Al反射的图案光L(S)，并且通过低灵敏度像素Pl准确地捕捉由高反射区域Ah反射的图案光L(S)。其结果为，即使在高反射区域Ah和低灵敏度像素Pl混合存在于焊料B的情况下，也能够针对两个区域Ah、Al取得准确的像素值V。
另外，对由高反射区域Ah反射而入射到高灵敏度像素Ph的图案光L(S)、由低反射区域Al反射而入射到低灵敏度像素Pl的图案光L(S)进行变换所得的像素值V不适当的可能性较高。因此，主控制部110针对多个像素Px的每一个执行基于像素值V来判定从像素Px输出的像素值V是否适当的判定处理(步骤S203)。然后，基于判定处理(步骤S203)中的判定结果来执行形状计算(步骤S205)。在该结构中，能够抑制不适当的像素值V的影响，并且能够使用适当的像素值V来执行形状计算(步骤S102、S205)。因此，即使在高反射区域Ah和低灵敏度像素Pl混合存在于焊料B的情况下，也能够准确地计算出焊料B的三维形状Bs。
另外，主控制部110基于对在判定处理(步骤S203)中判定为焊料B不适当的高灵敏度像素Ph执行基于距该高灵敏度像素Ph处于排列间距ΔP的范围内的低灵敏度像素Pl的像素值V的插补的结果，或者基于对在判定处理(步骤S203)中判定为像素值V不适当的低灵敏度像素Pl执行基于距该低灵敏度像素Pl处于排列间距ΔP的范围内的高灵敏度像素Ph的像素值V的插补的结果，来执行形状计算(步骤S102、S205)。在该结构中，能够将在判定处理(步骤S203)中判定为不适当的不适当像素Px的像素值V利用距该不适当像素Px处于排列间距ΔP的范围内的像素Px的像素值V进行插补，并基于其结果来执行形状计算(步骤S102、S205)。因此，即使在高反射区域Ah和低反射区域Al混合存在于焊料B的情况下，也能够准确地计算出焊料B的三维形状Bs。
另外，投影仪32将具有波长λg且具有互不相同的相位的4个投影图案T(S)的图案光L(S)照射到焊料B。然后，主控制部110通过相移法执行形状计算(步骤S102、S205)。在该结构中，即使在高反射区域Ah和低反射区域Al混合存在于焊料B的情况下，也能够通过相移法适当地计算出焊料B的三维形状Bs。
这样，在本实施方式中，外观检查装置1相当于本发明的“三维测量装置”的一例，投影仪32相当于本发明的“投影仪”的一例，摄像相机31相当于本发明的“摄像相机”的一例，控制装置100相当于本发明的“控制部”的一例，图案光L(S)相当于本发明的“光”的一例，投影图案T(S)相当于本发明的“条纹图案”的一例，波长λg相当于本发明的“规定波长”的一例，焊料B相当于本发明的“对象物”的一例，三维形状Bs相当于本发明的“三维形状”的一例，像素Px相当于本发明的“像素”的一例，高灵敏度像素Ph相当于本发明的“高灵敏度像素”的一例，低灵敏度像素Pl相当于本发明的“低灵敏度像素”的一例，排列间距ΔP相当于本发明的“规定范围”的一例，光谱灵敏度特性SP(R)、SP(B)、SP(G)相当于本发明的“光谱灵敏度特性”的一例，像素值V相当于本发明的“像素值”的一例，步骤S203相当于本发明的“判定处理”的一例。
另外，本发明并不限定于上述实施方式，只要不脱离其主旨，就可以对上述的实施方式加以各种变更。例如，并不一定要按照拜耳阵列来排列多个像素Px。例如，也可以代替蓝色(B)的像素Px而配置红色(R)的像素Px。在该情况下，可以从投影仪32投影红色(R)的波长的图案光L(S)。或者，也可以代替红色(R)的像素Px而配置蓝色(B)的像素Px。在该情况下，可以从投影仪32投影蓝色(G)的波长的图案光L(S)。
另外，也可以适当变更高灵敏度像素Ph与低灵敏度像素Pl的个数的比率、排列图案等。
另外，在上述步骤S204中判断能否插补的具体方法并不限于上述例子。即，如果构成夹着不适当像素在X方向上排列的两个像素Px的对及夹着不适当像素在Y方向上排列的两个像素Px的对中的任一对的两个像素Px的可靠度为阈值以上、即有效，则也可以判断为能够插补。在该例子中，步骤S205中的插补运算只要以如下方式进行即可。即，在可靠度有效的对仅为一组的情况下，利用构成该对的两个像素Px的像素值V的平均值，对不适当像素的像素值V进行插补。此外，在可靠度有效的对为两组的情况下，利用这两组的对中的、构成对的两个像素Px的像素值V的差(亮度差)的绝对值小的构成对的两个像素Px的像素值V的平均值，对不适当像素的像素值V进行插补。图8是表示不适当像素的插补的一例的图。如图8所示，能够根据夹着不适当像素Pxn的两个像素Pxg的像素值Vg的平均值对不适当像素Pxn的像素值Vn进行插补(线性插补)。根据这些方法，即使在不适当像素位于高反射区域Ah与低反射区域Al的边界的情况下，也能够抑制插补后的像素值V的误差。但是，插补运算不限于这里例示的线性插补，而是可以使用其他公知的插补方法来执行，这一点与上述相同。
另外，在上述例子中，对摄像图案光L(S)所得的摄像图像I(S)的像素Px的像素值V执行了插补。但是，也可以对根据4个摄像图像I(S)的像素值V0～V3计算出的各像素Px的角度θ执行插补。或者，也可以对根据该角度θ计算出的各像素Px的高度执行插补。这样，能够在基于具有阈值以上的可靠度的像素值V对不适当像素进行插补的同时，计算出焊料B的三维形状。
此外，可靠度的计算方法并不限于上述例子。例如，也可以通过日本特开2014-119442号公报或日本专利第3996560号公报所记载的方法计算可靠度。
另外，三维测量的对象物并不限于焊料B。
标号说明
1…外观检查装置(三维测量装置)
31…摄像相机
32…投影仪
100…控制装置(控制部)
B…焊料(对象物)
Bs…三维形状
L(S)…图案光(光)
Px…像素
Ph…高灵敏度像素
Pl…低灵敏度像素
ΔP…排列间距(规定范围)
SP(R)、SP(B)、SP(G)…光谱灵敏度特性
T(S)…投影图案(条纹图案)
V…像素值
λg…绿色的波长(规定波长)
S203…判定处理

Claims (8)

1.一种三维测量装置，具备：
投影仪，将规定波长的光照射到对象物；
摄像相机，具有供由所述对象物反射的光入射的多个像素，多个所述像素的每一个输出与入射的光的强度对应的像素值；及
控制部，基于所述像素值来执行所述对象物的三维形状的形状计算，
多个所述像素包括多个高灵敏度像素和多个低灵敏度像素，多个所述低灵敏度像素具有与所述高灵敏度像素所具有的光谱灵敏度特性相比输出相对于所述规定波长的输入之比低的光谱灵敏度特性。
2.根据权利要求1所述的三维测量装置，其中，
所述高灵敏度像素和所述低灵敏度像素交替排列。
3.根据权利要求2所述的三维测量装置，其中，
多个所述像素以相同的比率包含所述高灵敏度像素和所述低灵敏度像素。
4.根据权利要求3所述的三维测量装置，其中，
所述规定波长为绿色的波长，
多个所述像素通过以规定的图案排列有红色、绿色和蓝色的拜耳阵列来排列，
多个所述高灵敏度像素的每一个是拜耳阵列中的绿色的像素，
多个所述低灵敏度像素包含相同数量的拜耳阵列中的蓝色的像素和红色的像素。
5.根据权利要求1至4中任一项所述的三维测量装置，其中，
所述控制部针对多个所述像素的每一个执行基于所述像素值来判定从所述像素输出的所述像素值是否适当的判定处理，并基于所述判定处理中的判定结果来执行所述形状计算。
6.根据权利要求5所述的三维测量装置，其中，
所述控制部基于对在所述判定处理中判定为所述像素值不适当的所述高灵敏度像素执行基于距该高灵敏度像素处于规定范围内的所述低灵敏度像素的所述像素值的插补的结果，或者基于对在所述判定处理中判定为所述像素值不适当的所述低灵敏度像素执行基于距该低灵敏度像素处于所述规定范围内的所述高灵敏度像素的所述像素值的插补的结果，来执行所述形状计算。
7.根据权利要求1至6中任一项所述的三维测量装置，其中，
所述投影仪将具有所述规定波长且具有互不相同的相位的多个条纹图案的光照射到所述对象物，
所述控制部通过相移法执行所述形状计算。
8.一种三维测量方法，具备：
将规定波长的光照射到对象物的工序；
使由所述对象物反射的光入射到多个像素，多个所述像素输出与入射的光的强度对应的像素值的工序；及
基于所述像素值来执行所述对象物的三维形状的形状计算的工序，
多个所述像素包括多个高灵敏度像素和多个低灵敏度像素，多个所述低灵敏度像素具有与所述高灵敏度像素所具有的光谱灵敏度特性相比输出相对于所述规定波长的输入之比低的光谱灵敏度特性。
CN201880096669.1A 2018-08-24 2018-08-24 三维测量装置、三维测量方法 Active CN112567199B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/031331 WO2020039575A1 (ja) 2018-08-24 2018-08-24 三次元計測装置、三次元計測方法

Publications (2)

Publication Number Publication Date
CN112567199A true CN112567199A (zh) 2021-03-26
CN112567199B CN112567199B (zh) 2022-11-08

Family

ID=69592824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096669.1A Active CN112567199B (zh) 2018-08-24 2018-08-24 三维测量装置、三维测量方法

Country Status (6)

Country Link
US (1) US11796308B2 (zh)
JP (1) JP7051260B2 (zh)
KR (1) KR102513710B1 (zh)
CN (1) CN112567199B (zh)
DE (1) DE112018007930T5 (zh)
WO (1) WO2020039575A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3134448B1 (fr) * 2022-04-11 2024-04-12 Insidix Procédé de mesure topographique et machine de mesure topographique
WO2024062809A1 (ja) * 2022-09-21 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および光検出システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1194520A (ja) * 1997-09-16 1999-04-09 Matsushita Electric Ind Co Ltd 実時間レンジファインダ
JP2006162386A (ja) * 2004-12-06 2006-06-22 Canon Inc ３次元モデル生成装置、３次元モデル生成システム及び３次元モデル生成プログラム
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
JP2017173259A (ja) * 2016-03-25 2017-09-28 キヤノン株式会社 計測装置、システム及び物品の製造方法
CN107250716A (zh) * 2015-02-24 2017-10-13 国立大学法人东京大学 动态高速高灵敏度成像装置及成像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4256059B2 (ja) 2000-10-04 2009-04-22 シーケーディ株式会社 三次元計測装置
JP3668466B2 (ja) 2002-05-10 2005-07-06 松下電器産業株式会社 実時間レンジファインダ
JP3996560B2 (ja) 2003-08-18 2007-10-24 株式会社リコー 物体形状測定装置
JP2009085739A (ja) 2007-09-28 2009-04-23 Sunx Ltd 形状測定装置、形状測定方法
JP5765651B2 (ja) * 2011-02-01 2015-08-19 Ｊｕｋｉオートメーションシステムズ株式会社 ３次元測定装置
JP6238521B2 (ja) 2012-12-19 2017-11-29 キヤノン株式会社 ３次元計測装置およびその制御方法
JP6331308B2 (ja) * 2013-09-26 2018-05-30 株式会社ニコン 形状測定装置、構造物製造システム及び形状測定用コンピュータプログラム
JP6364777B2 (ja) * 2014-01-10 2018-08-01 凸版印刷株式会社 画像データ取得システム及び画像データ取得方法
JP6673327B2 (ja) 2015-02-27 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像素子

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1194520A (ja) * 1997-09-16 1999-04-09 Matsushita Electric Ind Co Ltd 実時間レンジファインダ
JP2006162386A (ja) * 2004-12-06 2006-06-22 Canon Inc ３次元モデル生成装置、３次元モデル生成システム及び３次元モデル生成プログラム
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
CN107250716A (zh) * 2015-02-24 2017-10-13 国立大学法人东京大学 动态高速高灵敏度成像装置及成像方法
JP2017173259A (ja) * 2016-03-25 2017-09-28 キヤノン株式会社 計測装置、システム及び物品の製造方法

Also Published As

Publication number Publication date
US11796308B2 (en) 2023-10-24
DE112018007930T5 (de) 2021-05-06
CN112567199B (zh) 2022-11-08
JPWO2020039575A1 (ja) 2021-09-16
US20210310791A1 (en) 2021-10-07
KR102513710B1 (ko) 2023-03-24
KR20210031967A (ko) 2021-03-23
WO2020039575A1 (ja) 2020-02-27
JP7051260B2 (ja) 2022-04-11

Similar Documents

Publication Publication Date Title
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP5576726B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
KR100716131B1 (ko) 3차원 계측장치, 필터 격자 줄무늬판 및 조명 수단
JP6322335B2 (ja) 外観検査装置
JP5162702B2 (ja) 表面形状測定装置
TWI582383B (zh) 三維測量裝置
KR20160007361A (ko) 투영광원을 구비한 촬영방법 및 그 촬영장치
US9243899B2 (en) Method of measuring a height of 3-dimensional shape measurement apparatus
US20140160243A1 (en) Three-dimensional shape measuring apparatus and control method thereof
US20150098092A1 (en) Device and Method For the Simultaneous Three-Dimensional Measurement of Surfaces With Several Wavelengths
CN112567199B (zh) 三维测量装置、三维测量方法
JP2005337943A (ja) 三次元計測装置
JP2006227652A (ja) フィルタ格子縞板、三次元計測装置及び照明手段
KR101750883B1 (ko) 비전 검사 시스템의 3차원 형상 측정 방법
US11017543B2 (en) Inspection device
JP7178426B2 (ja) 三次元計測装置、及び、ワーク作業装置
CN113767263A (zh) 三维测量装置以及三维测量方法
JP6126640B2 (ja) 三次元計測装置及び三次元計測方法
JP2022049269A (ja) 三次元形状計測方法および三次元形状計測装置
WO2023170814A1 (ja) 三次元計測用演算装置、三次元計測用プログラム、記録媒体、三次元計測装置および三次元計測用演算方法
JP7294026B2 (ja) 縞パターン画像決定方法
JP2021018081A (ja) 撮像装置、計測装置、及び、計測方法
CN114166149A (zh) 三维形状测量方法以及三维形状测量装置
JP2022070696A (ja) 三次元形状計測方法および三次元形状計測装置
JP2020091203A (ja) 投影装置及び三次元計測装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant