CN110268223B - 三维形状计测装置、三维形状计测方法以及非暂时性存储介质 - Google Patents

三维形状计测装置、三维形状计测方法以及非暂时性存储介质 Download PDF

Info

Publication number
CN110268223B
CN110268223B CN201780085657.4A CN201780085657A CN110268223B CN 110268223 B CN110268223 B CN 110268223B CN 201780085657 A CN201780085657 A CN 201780085657A CN 110268223 B CN110268223 B CN 110268223B
Authority
CN
China
Prior art keywords
light
phase
dimensional shape
reflected light
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780085657.4A
Other languages
English (en)
Other versions
CN110268223A (zh
Inventor
林剑之介
大西康裕
诹访正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110268223A publication Critical patent/CN110268223A/zh
Application granted granted Critical
Publication of CN110268223B publication Critical patent/CN110268223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02001—Interferometers characterised by controlling or generating intrinsic radiation properties
    • G01B9/0201—Interferometers characterised by controlling or generating intrinsic radiation properties using temporal phase variation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

控制装置假设由摄像装置观测到的观测光是一次反射光和二次反射光的合成光，其中，所述一次反射光是从投影装置投射的光在计测对象物上的计测点处反射而入射到摄像装置的光，所述二次反射光是从投影装置投射的在其它反射面上反射后的光在计测对象物上的计测点处反射而入射到摄像装置的光。控制装置针对观测光的亮度振幅值取得3个以上的采样值，使用这些采样值计算因二次反射光引起的相位误差，使用相位误差对观测光的相位值进行校正，由此计算出校正相位值，根据校正相位值而计算计测对象物上的计测点的三维位置。

Description

三维形状计测装置、三维形状计测方法以及非暂时性存储 介质
技术领域
本发明涉及对计测对象物投射具有周期性的图案，并使用观测到的图像来计测该计测对象物的三维形状的技术。
背景技术
作为使用图像而对物体的三维形状进行计测的技术，公知有相移法。相移法是指如下的方法：由投影仪向计测对象物投射具有周期性的图案，对依赖于物体表面的凹凸而产生的投影图案的失真(相位偏移量)进行解析，从而对物体表面的三维形状进行复原。另外，作为相移法的改良手法，还公知有称为MPS(Micro phase shifting：微相移)的手法(参考非专利文献1)。
在这些方法中，有时会产生存在于计测对象物的周围的其他物体上的反射光降低计测精度这样的现象。关于该现象，参考图6进行说明。图6示出使用了摄像装置200和投影仪201的计测系统。从投影仪201向计测对象物202投射具有规定的图案的光201L，并利用摄像装置200来对计测对象物202的表面上映出的投影图案进行拍摄。此时，由计测对象物202的表面凹凸引起的投影图案的失真成为图像的亮度变化而出现。因此，能够基于图像的亮度变化而确定投影仪201、计测对象物202的表面上的点及摄像装置200的位置关系，并根据三角测量的原理而计算计测对象物202的表面的高度(三维位置)。
然而，如图6所示，当在计测对象物202附近存在镜面性较高的物体(例如金属制成的物体)203时，有时从投影仪201投射的光在物体203的侧面反射，该反射光203L照到计测对象物202的表面。于是，在由摄像装置200观测到的观测光中，不仅包含投影仪201的光201L的反射光201R(称为一次反射光)，还包含来自物体203的光203L的反射光203R(称为二次反射光或多重反射光)。该二次反射光203R作为噪声叠加在计测对象物202的表面上的投影图案上，因此对投影图案的解析(即观测光的相位值的计算)产生不良影响，会产生计测误差。这样的现象被称为“二次反射”或“多重反射”。
作为降低多重反射的影响的方法，在专利文献1中提出了这样的方法：确定产生多重反射的部分，在对投射到该部分的投影图案进行减光或消光的状态下进行拍摄。然而，当像该方法那样对投影图案进行减光或消光时，存在产生无法计测三维形状的部分(所谓的死角)的可能性。此外，该方法还存在这样的问题：如果不能预先正确地确定产生多重反射的部分(应当对投影图案进行减光或消光的部分)，则无法有效地抑制多重反射，从而难以安装于现实中的装置。
现有技术文献
专利文献
专利文献1：日本特开2008-309551号公报
非专利文献
非特許文献1：Gupta，Mohit，and Shree K.Nayar.“Micro phase shifting.”Computer Vision and Pattern Recognition(CVPR)，2012IEEE Conference on.IEEE，2012.
发明内容
发明要解决的课题
本发明是鉴于上述实际情况而完成的，其目的在于提供一种技术，在基于投射到计测对象物上的图案的相位来计测三维形状的方法中，用于降低多重反射的影响，提高计测精度。
用于解决课题的手段
为了实现上述目的，在本发明中，采用这样的结构：基于观测光的亮度振幅值的多个点的采样值(sample)来估计因多重反射引起的相位误差，使用该相位误差对观测光的相位值进行校正。
具体而言，本发明的三维形状计测装置具有：投影装置，其对计测对象物投射在时间方向和空间方向上具有周期性的图案；摄像装置，其拍摄所述计测对象物；以及控制装置，其一边改变从所述投影装置投射的图案的相位一边使用由所述摄像装置拍摄的多个观测图像来计测所述计测对象物的三维形状。所述控制装置执行如下处理：假设由所述摄像装置观测到的观测光是一次反射光和二次反射光的合成光，其中，所述一次反射光是从所述投影装置投射的光在所述计测对象物上的计测点处反射而入射到所述摄像装置的光，所述二次反射光是从所述投影装置投射的在其它反射面上反射后的光在所述计测对象物上的所述计测点处反射而入射到所述摄像装置的光，根据所述多个观测图像，针对所述观测光的亮度振幅值取得3个以上的采样值，使用所述3个以上的采样值求解下述式，由此计算因所述二次反射光引起的相位误差，根据所述多个观测图像而计算所述观测光的相位值，使用所述相位误差对所述观测光的相位值进行校正，由此计算出校正相位值，根据所述校正相位值而计算所述计测对象物上的所述计测点的三维位置。
[数学式1]
Figure GDA0002155754160000031
Figure GDA0002155754160000032
Δθ：因二次反射光引起的相位误差
a：一次反射光的亮度振幅值
b：二次反射光的亮度振幅值
c：观测光的亮度振幅值
α：一次反射光与二次反射光的相位差
根据该结构，由于基于对因二次反射光引起的相位误差进行了校正的相位值计算三维形状，因此能够实现降低了多重反射的影响的高精度的三维形状计测。而且，本发明的方法不会像现有方法那样阻碍三维形状的计测，此外，无论是否是实际产生了多重反射的部分都能够应用，因此还具有容易安装于现实中的装置的优点。
所述3个以上的采样值可以是所述观测图像上的像素的位置以及所述图案的空间方向的频率中的至少任意一方的条件不同的采样值。
例如，所述3个以上的采样值可以是使用一种频率的图案对所述观测图像上的3个以上的像素进行观测而得到的亮度振幅值，所述3个以上的像素是处于所述图案的相位互不相同的位置的像素。这是因为，由于图案的频率可以是一种，因此观测图像的摄影次数较少即可。
所述3个以上的像素可以是从所述观测图像上的局部区域中选择的。这是因为，如果是局部区域(在平面上能够近似的微小区域)内的像素，则可以视为计测对象物表面的反射率等条件相同。
所述3个以上的像素可以是所述观测图像上的沿着与核线平行的方向排列的像素。这是因为，通过这样选择采样值，能够根据尽可能少的采样值高精度地计算相位误差。
所述3个以上的采样值可以是使用3种以上的频率的图案对所述观测图像上的1个像素进行观测而得到的亮度振幅值。在该方法的情况下，由于使用与相同的像素(相同的计测点)相关的采样值，因此能够进一步提高相位误差的估计精度。
所述控制装置可以存储有定义与亮度振幅值相关的第1指标、与所投射的图案的空间方向的频率相关的第2指标、以及与一次反射光和二次反射光的相位差相关的第3指标的关系的参考信息，根据所述3个以上的采样值、在观测各采样值时投射的图案的空间方向的频率、以及所述参考信息，求出一次反射光与二次反射光的相位差。根据该方法，能够根据3个以上的采样值的值，简单且高精度地计算1次反射光与2次反射光的相位差的值。
所述控制装置可以利用相移法或MPS(Micro Phase Shifting)，根据所述校正相位值而计算所述计测对象物上的所述计测点的三维位置。所述其它反射面是镜面性的反射面。
另外，本发明能够理解为具有上述结构乃至功能的至少一部分的三维形状计测装置或图像处理装置。此外，本发明还能够理解为具备上述三维形状计测装置的检查装置、三维扫描仪或物体识别装置。此外，本发明还能够理解为包含上述处理的至少一部分的三维形状计测方法、图像处理方法、检查方法、物体识别方法、以及用于使计算机执行这些方法的程序、或非暂时性地记录了那样的程序的计算机可读取的记录介质。只要不产生技术上的矛盾，上述结构和处理的每一个都能够相互组合而构成本发明。
发明效果
根据本发明，在基于投射到计测对象物上的图案的相位来计测三维形状的方法中，能够降低多重反射的影响，提高计测精度。
附图说明
图1是示出三维形状计测装置的硬件结构的示意图。
图2是示出与三维形状计测相关的功能的框图。
图3是示出多重反射和观测光的模型的示意图。
图4是示出三维形状计测的流程的流程图。
图5是概念性地示出参考信息中的第1指标～第3指标的值的关系的图。
图6是对多重反射进行说明的图。
具体实施方式
本发明涉及基于投射到计测对象物上的图案的相位的变化来计测三维形状的三维形状计测技术，特别涉及用于降低因存在于计测对象物周围的反射面而产生的多重反射的影响、提高计测精度的方法。本发明能够优选应用于使用相移法或作为相移法的改良的MPS(Micro phase shifting：微相移)的三维形状计测。本发明的三维形状计测能够应用于例如计测物体的表面形状的三维扫描仪、根据计测出的三维形状进行物体的检查的检查装置、根据计测出的三维形状进行物体识别或个体识别的装置等各种装置。例如，在表面安装基板的外观检查装置中，基板上的金属制零件的多重反射有可能导致检查精度的降低，因此，能够特别优选应用本发明的三维形状计测。
以下，参照附图对用于实施本发明的优选方式的一例进行说明。但是，以下的实施方式中记载的装置的结构和动作只是一例，本发明的范围并不仅限于这些实施方式。
(三维形状计测装置的结构)
参照图1，对本实施方式的三维形状计测装置的整体结构进行说明。图1是示出三维形状计测装置的硬件结构的示意图。三维形状计测装置1是用于计测计测对象物O的三维形状的装置，作为主要结构，构成为具有投影装置(投影仪)10、摄像装置(相机)11、控制装置(计算机)12。
投影装置10是对计测对象物O投射在时间方向和空间方向上具有周期性的图案的投影单元。投影装置10的数量可以是一个，但是也可以设置多个投影装置10，使得能够从多个方向对投影装置10投射图案。作为投影装置10，能够优选利用使用数字反射镜设备的方式的DLP(Digital Light Processing：数字光处理)投影仪。这是因为DLP投影仪容易进行投影图案的变更。
摄像装置11是拍摄被投射了图案的状态的计测对象物O并输出数字图像的单元。摄像装置11构成为例如具有光学系统和图像传感器。在进行三维形状计测时，一边改变从投影装置10投射的图案的相位(在进行相位连接的情况下，一边进一步改变图案的频率)，一边利用摄像装置11取入多张图像。以下，由摄像装置11拍摄的计测对象物O的图像被称为“观测图像”。
控制装置12是具有投影装置10和摄像装置11的控制、针对从摄像装置11取入的图像的处理、三维形状的计测等功能的单元。控制装置12可以由计算机构成，所述计算机具备CPU(处理器)、存储器、非易失性的存储装置(例如硬盘或闪存)、输入装置(例如键盘、鼠标，触摸面板等)、显示装置(例如液晶显示器等)。后述的控制装置12的功能可以通过将保存在非易失性的存储装置中的程序加载到存储器中，由CPU执行该程序来实现。但是，也可以用ASIC或FPGA或专用的硬件来代替控制装置12的功能的全部或一部分。此外，也可以利用分布式计算或云计算的技术，通过多个计算机的协作来实现控制装置12的功能。
图2是示出与控制装置12的三维形状计测相关的功能的框图。作为与三维形状计测相关的功能，控制装置12具有图像取得部20、区域设定部21、相位计算部22及三维复原部23。
图像取得部20是从摄像装置11取入用于三维形状计测的多个观测图像的功能。区域设定部21是设定观测图像的视野中的、实施后述的多重反射校正的区域(以下称为“校正区域”)的功能。相位计算部22是通过解析观测图像来计算观测图像上的各像素(即，计测对象物O的表面上的各计测点)中的图案的相位值的功能。三维复原部23是根据由相位计算部22计算出的相位值计算观测图像上的各像素(即，计测对象物O的表面上的各计测点)的三维位置的功能。对于这些功能的详细情况，容后再述。
(观测光的模型和多重反射校正)
图3示出多重反射和观测光的模型。
考虑在计测对象物O附近存在镜面性较高的反射面R(例如金属制成的物体的表面)的系统。在从投影装置10投射了正弦波状的条纹图案的情况下，假设从投影装置10的面板100上的点x1发出的光L1(直接光)和从投影装置10的面板100上的点x2发出的光L2在反射面R上的反射光L20到达计测对象物O上的计测点P。在以下的说明中，将投影装置10的面板100上的点x视为点光源，称为“投影光源x”。
这时，假设由摄像装置11观测到的观测光IO是光(一次反射光)I1和光(二次反射光)I2的合成光，能够如下所示进行模型化，其中，所述光I1是从投影装置10投射的光L1在计测点P处反射(漫反射)而入射到摄像装置11的光，所述光I2是从投影装置10投射的在反射面R处反射(镜面反射)后的光L20在计测点P处反射(漫反射)而入射到摄像装置11的光。
[数学式2]
IO＝I1+I2 (1)
[数学式3]
IO＝csin(θM) (2)
I1＝a1R1sin(wft+kfx1+φ) (3)
I2＝a1R1R2sin(wft+kfx1+φ+kf(x2-x1)) (4)
其中，c是观测光IO的亮度振幅值，θM是观测光IO的相位值。a1是条纹图案的最大亮度，R1是计测点P的反射率，R2是反射面R的反射率。wf是条纹图案的角速度，t是时间。kf是条纹图案的波数，x1是光L1的投影光源的位置，x2是光L2的投影光源的位置。φ是条纹图案的初始相位。另外，这些变量中未知的变量是R1，R2，x1，x2。
这里，将一次反射光I1的亮度振幅值“a1R1”改为“a”，将二次反射光I2的亮度振幅值“a1R1R2”改为“b”，一次反射光I1的相位值“Wft+kfx1+φ”设为“θtrue”，将一次反射光I1与二次反射光I2之间的相位差“kf(x2-x1)”设为“α”，整理式(1)～式(4)时，式(1)可以如下述式那样表示。
[数学式4]
csin(θtrue+Δθ)＝asin(θtrue)+bsin(θtrue+α) (5)
其中，Δθ是因二次反射光I2引起的相位误差，
[数学式5]
θM＝θtrue+Δθ (6)
能够根据式(5)和合成定理导出下述式。
[数学式6]
Figure GDA0002155754160000081
Figure GDA0002155754160000082
由于式(8)的未知数是a，b，α这3个，因此，如果对观测光IO的亮度振幅值c实际测量条件不同的3个以上的采样值，则能够求解式(8)。然后，如果将根据式(8)求出的a，b，α的值代入式(7)，则能够导出因二次反射光I2引起的相位误差Δθ，进而，能够根据观测相位值θM和式(6)求出相位的真值θtrue。根据以上叙述的模型，计算相位的真值(没有二次反射光I2的影响的情况下的相位值)θtrue的操作被称为“多重反射校正”。
(三维形状计测)
按照图4的流程图，对三维形状计测的处理的流程进行说明。
在步骤S40中，控制装置12控制投影装置10和摄像装置11，拍摄多个观测图像。例如，也可以一边对亮度呈正弦波状地变化的条纹图案(最大亮度：a1、波数kf)每次改变相位π/4，一边投影4次，拍摄4张观测图像。此外，在为了扩大计测范围而进行相位连接的情况下，也可以改变条纹图案的波数(频率)，反复进行观测图像的摄影。例如，在一般的相位连接的情况下，进行基于计测用的高频的条纹图案和连接用的低频的条纹图案的摄影，在MPS的情况下，进行基于多种高频的条纹图案的摄影。观测图像的数据由图像取得部20取入控制装置12中，保存在存储器或非易失性的存储装置中。
在步骤S41中，区域设定部21从观测图像的视野中设定校正区域。校正区域的设定可以使用任何方法。例如，也可以将从摄像装置11取入的图像显示在显示装置上，使用输入装置使用户指定区域。或者，区域设定部21也可以解析观测图像，检测(估计)发生了多重反射的区域，自动设定校正区域。或者，如果计测对象物是表面安装基板那样的工业产品的情况，则也可以根据设计数据(CAD数据)等检测反射面R的有无以及可能发生多重反射的区域，自动设定校正区域。
在本实施方式中，通过这样限定进行多重反射校正的区域，能够降低多重反射校正所需的处理负荷，实现三维形状计测的处理时间的缩短。另外，如果不需要实现处理时间的缩短，则也可以对观测图像的整个区域进行多重反射校正。该情况下，能够省略步骤S41的处理。
在步骤S42中，相位计算部22对改变相位而拍摄的多个观测图像进行FFT(快速傅立叶变换)，计算观测图像上的各像素中的观测光的亮度振幅值c和相位值θM。
在步骤S43中，相位计算部22从在步骤S41中设定的校正区域中选择作为处理对象的像素(以下称为“对象像素p0”)。接下来，在步骤S44中，相位计算部22关于对象像素p0，取得观测光的亮度振幅值c的3个以上的采样值。
对于观测光的亮度振幅值c的3个以上的采样值，只要选择为使得“观测图像上的像素的位置”和“条纹图案的空间方向的频率”中的至少任意一方的条件不同即可。
例如，将使用波数kfi的条纹图案观测到的观测图像中的像素pj的亮度振幅值表述为cij时，针对对象像素p0及其附近像素p1，p2…的每一个，也可以选择利用波数kf0的一种条纹图案观测到的亮度振幅值c00，c01，c02…作为3个以上的采样值。在该方法的情况下，由于条纹图案的波数可以是一种，因此具有观测图像的摄影次数较少即可的优点。这里，可以从对象像素p0附近的局部区域中选择附近像素p1，p2…。这是因为，如果是局部区域(在平面上能够近似的微小区域)内的像素p0，p1，p2…，则可以视为计测对象物表面的反射率等条件相同。此外，可以从条纹图案的相位互不相同的位置中选择像素p0，p1，p2…。更优选为观测图像上的沿着与核线(epipolar line)平行的方向排列的像素。通过这样选择采样值，能够根据尽可能少的采样值高精度地计算相位误差。
或者，对于对象像素p0，也可以选择利用波数kf0，kf1，kf2…的3种以上的条纹图案观测到的亮度振幅值c00，c10，c20…作为3个以上的采样值。在该方法的情况下，由于使用与相同的像素(相同的计测点)相关的采样值，因此能够进一步提高相位误差的估计精度。特别是在计测对象物表面的形状(凹凸)或反射率不均匀的情况下，该方法更适合。这里，将波数kf0，kf1，kf2…选择为，使得任何一个波数都不成为其它波数的整数倍。在MPS的情况下，能够将使用3种以上的高频的条纹图案观测到的对象像素p0的亮度振幅值直接用作3个以上的采样值。
或者，也可以选择像素的位置和条纹图案的波数双方的条件不同的亮度振幅值c00，c01，c11…、或亮度振幅值c00，c11，c22…作为3个以上的采样值。即，也可以使用改变了像素的位置和条纹图案的空间方向的频率双方的条件而得到的采样值。
在步骤S45中，相位计算部22通过使用在步骤S44中取得的亮度振幅值的3个以上的采样值求解式(7)和式(8)，计算因二次反射光引起的相位误差Δθ。然后，在步骤S46中，相位计算部22通过使用相位误差Δθ对相位值θM进行校正，计算对象像素p0的校正相位值θtrue。在本实施方式中，将从观测相位值θM中减去相位误差Δθ而得到的值作为校正相位值θtrue(θtrue＝θM-Δθ)。
对校正区域内的全部像素进行上述步骤S43～S46的处理(步骤S47)。
然后，在步骤S48中，三维复原部23根据由相位计算部22计算出的各像素的相位值(对于校正区域内的像素而言，为校正相位值)，计算观测图像上的各像素(即，计测对象物的表面上的各计测点)的三维位置。由此，能够复原计测对象物表面的三维形状。对于根据相位值计算三维形状的方法，例如能够使用相移法、MPS等。由于这些算法是公知的，因此，在此省略详细的说明。
根据以上叙述的本实施方式的多重反射校正，由于基于对因二次反射光引起的相位误差进行了校正后得到的相位值而计算三维形状，因此能够实现降低了多重反射的影响的高精度的三维形状计测。而且，本实施方式的多重反射校正不会像现有方法那样阻碍三维形状的计测，此外，无论是否是实际产生了多重反射的部分都能够应用，因此还具有容易安装于现实中的装置的优点。
(相位误差的计算方法的示例)
接下来，对由相位计算部22执行的相位误差的计算方法、即式(7)和式(8)的具体解法的一例进行说明。
对式(8)进行变形时，得到：
[数学式7]
c2＝a2+b2+2abcos(kf(x2-x1)) (9)
这里，可知，由于a，b是(虽然未知但是)常数，因此观测光的亮度振幅值c可以表示为kf和x2-x1的函数。
因此，在本例中，选择“c2”作为与亮度振幅值相关的第1指标，选择“1/kf”作为与所投射的条纹图案的空间方向的频率相关的第2指标，选择“x2-x1”作为与一次反射光与二次反射光的相位差相关的第3指标。然后，通过对a，b设定适当的常数，计算出满足式(9)的第1指标～第3指标的值的组合，创建用于定义第1指标～第3指标的关系的参考信息(三维的表)，预先保存在控制装置12的存储装置中。图5是概念性地示出参考信息中的第1指标～第3指标的值的关系的图。横轴是第3指标x2-x1的值，纵轴是第2指标1/kf的值，浓度是第1指标c2的值。
例如，设针对对象像素p0取得了利用波数kf0，kf1，kf2，kf3这4种条纹图案观测到的亮度振幅值c00，c10，c20，c30作为采样值。相位计算部22通过利用归一化互相关那样的不依赖于尺度的搜索算法来搜索参考信息，求出与第2指标的值1/kf0，1/kf1，1/kf2，1/kf3对应的第1指标的值之比与c00 2：c10 2：c20 2：c30 2最近似的第3指标的值x2-x1。
接下来，为了求未知数a，b，相位计算部22根据式(9)设定如下那样的行列式(10)。
[数学式8]
Figure GDA0002155754160000111
相位计算部22通过利用最小二乘法求解行列式(10)，求出a2，b2，2ab的值，进而求出满足那些值的a，b的组合。
然后，相位计算部22根据通过以上计算得到的x2-x1的值和用于三维形状计测的波数kf的值(例如kf0)计算相位差α＝kf(x2-x1)，通过将该α的值和根据行列式(10)求出的a，b的值代入式(7)来计算相位误差Δθ。
根据以上叙述的计算方法，能够根据亮度振幅值c的多个采样值，简单且高精度地计算相位差α和相位误差Δθ的值。
另外，上述实施方式的说明只不过是例示性地说明了本发明。本发明不限于上述的具体方式，能够在其技术思想的范围内进行各种变形。例如，在上述计算例中，使用4个采样值进行了搜索处理和矩阵计算，但是也可以使用3个或5个以上的采样值进行相同的计算。此外，也可以不使用参考信息，而是利用非线性最优化直接求解式(7)。
标号说明
O：计测对象物；P：计测点；R：反射面；
1：三维形状计测装置；10：投影装置；11：摄像装置；12：控制装置；
20：图像取得部；21：区域设定部；22：相位计算部；23：三维复原部；
100：面板。

Claims (11)

1.一种三维形状计测装置，其特征在于，具有：
投影装置，其对计测对象物投射在时间方向和空间方向上具有周期性的图案；
摄像装置，其拍摄所述计测对象物；以及
控制装置，其一边改变从所述投影装置投射的图案的相位一边使用由所述摄像装置拍摄的多个观测图像来计测所述计测对象物的三维形状，
所述控制装置执行如下处理：
假设由所述摄像装置观测到的观测光是一次反射光和二次反射光的合成光，其中，所述一次反射光是从所述投影装置投射的光在所述计测对象物上的计测点处反射而入射到所述摄像装置的光，所述二次反射光是从所述投影装置投射的在其它反射面上反射后的光在所述计测对象物上的所述计测点处反射而入射到所述摄像装置的光，
根据所述多个观测图像，针对所述观测光的亮度振幅值取得3个以上的采样值，
使用所述3个以上的采样值求解下述式，由此计算因所述二次反射光引起的相位误差，
根据所述多个观测图像而计算所述观测光的相位值，
使用所述相位误差对所述观测光的相位值进行校正，由此计算出校正相位值，
根据所述校正相位值而计算所述计测对象物上的所述计测点的三维位置，
Figure FDA0002792291370000011
Figure FDA0002792291370000012
Δθ：因二次反射光引起的相位误差
a：一次反射光的亮度振幅值
b：二次反射光的亮度振幅值
c：观测光的亮度振幅值
α：一次反射光与二次反射光的相位差。
2.根据权利要求1所述的三维形状计测装置，其特征在于，
所述3个以上的采样值是所述观测图像上的像素的位置以及所述图案的空间方向的频率中的至少任意一方的条件不同的采样值。
3.根据权利要求1所述的三维形状计测装置，其特征在于，
所述3个以上的采样值是使用一种频率的图案对所述观测图像上的3个以上的像素进行观测而得到的亮度振幅值，
所述3个以上的像素是处于所述图案的相位互不相同的位置的像素。
4.根据权利要求3所述的三维形状计测装置，其特征在于，
所述3个以上的像素是从所述观测图像上的局部区域中选择的。
5.根据权利要求3所述的三维形状计测装置，其特征在于，
所述3个以上的像素是所述观测图像上的沿着与核线平行的方向排列的像素。
6.根据权利要求1所述的三维形状计测装置，其特征在于，
所述3个以上的采样值是使用3种以上的频率的图案对所述观测图像上的1个像素进行观测而得到的亮度振幅值。
7.根据权利要求1至6中的任一项所述的三维形状计测装置，其特征在于，
所述控制装置存储有定义与亮度振幅值相关的第1指标、与所投射的图案的空间方向的频率相关的第2指标、以及与一次反射光和二次反射光的相位差相关的第3指标的关系的参考信息，
根据所述3个以上的采样值、在观测各采样值时投射的图案的空间方向的频率、以及所述参考信息，求出一次反射光与二次反射光的相位差。
8.根据权利要求1所述的三维形状计测装置，其特征在于，
所述控制装置利用相移法或MPS(Micro Phase Shifting)，根据所述校正相位值而计算所述计测对象物上的所述计测点的三维位置。
9.根据权利要求1所述的三维形状计测装置，其特征在于，
所述其它反射面是镜面性的反射面。
10.一种三维形状计测方法，一边改变从投影装置投射的图案的相位一边使用由摄像装置拍摄的多个观测图像来对计测对象物的三维形状进行计测，其特征在于，
所述图案是在时间方向和空间方向上具有周期性的图案，
假设由所述摄像装置观测到的观测光是一次反射光和二次反射光的合成光，其中，所述一次反射光是从所述投影装置投射的光在所述计测对象物上的计测点处反射而入射到所述摄像装置的光，所述二次反射光是从所述投影装置投射的在其它反射面上反射后的光在所述计测对象物上的所述计测点处反射而入射到所述摄像装置的光，
所述三维形状计测方法包括如下步骤：
根据所述多个观测图像，针对所述观测光的亮度振幅值取得3个以上的采样值；
使用所述3个以上的采样值求解下述式，由此计算因所述二次反射光引起的相位误差；
根据所述多个观测图像而计算所述观测光的相位值；
使用所述相位误差对所述观测光的相位值进行校正，由此计算出校正相位值；以及
根据所述校正相位值而计算所述计测对象物上的所述计测点的三维位置，
Figure FDA0002792291370000031
Figure FDA0002792291370000032
Δθ：因二次反射光引起的相位误差
a：一次反射光的亮度振幅值
b：二次反射光的亮度振幅值
c：观测光的亮度振幅值
α：一次反射光与二次反射光的相位差。
11.一种计算机可读取的非暂时性存储介质，其存储有程序，该程序用于使计算机执行权利要求10所述的三维形状计测方法的各步骤。
CN201780085657.4A 2017-03-07 2017-11-28 三维形状计测装置、三维形状计测方法以及非暂时性存储介质 Active CN110268223B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-043115 2017-03-07
JP2017043115A JP2018146449A (ja) 2017-03-07 2017-03-07 ３次元形状計測装置及び３次元形状計測方法
PCT/JP2017/042490 WO2018163530A1 (ja) 2017-03-07 2017-11-28 ３次元形状計測装置、３次元形状計測方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN110268223A CN110268223A (zh) 2019-09-20
CN110268223B true CN110268223B (zh) 2021-02-09

Family

ID=63447483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085657.4A Active CN110268223B (zh) 2017-03-07 2017-11-28 三维形状计测装置、三维形状计测方法以及非暂时性存储介质

Country Status (6)

Country Link
US (1) US11055863B2 (zh)
EP (1) EP3594618B1 (zh)
JP (1) JP2018146449A (zh)
KR (1) KR102149707B1 (zh)
CN (1) CN110268223B (zh)
WO (1) WO2018163530A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7186019B2 (ja) * 2017-06-20 2022-12-08 株式会社ミツトヨ 三次元形状計測装置及び三次元形状計測方法
US10656780B2 (en) 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program
JP2021018219A (ja) * 2019-07-24 2021-02-15 株式会社デンソーアイティーラボラトリ ３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラム
WO2021020603A1 (ko) * 2019-07-29 2021-02-04 한국표준과학연구원 복합 패턴을 이용한 초고속 편향 측정법을 이용한 자유곡면의 3차원 형상측정시스템 및 측정방법
WO2021191991A1 (ja) * 2020-03-24 2021-09-30 三菱電機株式会社 信号処理装置、レーダ装置および信号処理方法
KR102374439B1 (ko) * 2020-11-19 2022-03-15 (주) 브이픽스메디칼 이미지 복원 신호의 위상 보정 방법 및 시스템
EP4116739A4 (en) * 2020-11-19 2024-07-10 Vpix Medical Inc METHOD AND SYSTEM FOR PHASE CORRECTION OF AN IMAGE RECONSTRUCTION SIGNAL
US11270418B1 (en) 2020-11-19 2022-03-08 VPIX Medical Incorporation Method and system for correcting phase of image reconstruction signal
CN113960067A (zh) * 2021-10-25 2022-01-21 慧三维智能科技(苏州)有限公司 一种高亮面表面缺陷检测装置
JP2024117880A (ja) 2023-02-20 2024-08-30 Juki株式会社 ３次元計測装置及び３次元計測方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275529A (ja) * 2005-03-28 2006-10-12 Citizen Watch Co Ltd ３次元形状測定方法及び測定装置
JP2008309551A (ja) * 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
JP2009019941A (ja) * 2007-07-11 2009-01-29 Nikon Corp 形状測定方法
CN103398675A (zh) * 2013-08-10 2013-11-20 南昌航空大学 一种基于条纹周期校正的复杂大物体三维测量方法
JP2015021862A (ja) * 2013-07-19 2015-02-02 株式会社三次元メディア ３次元計測装置及び３次元計測方法
WO2016076796A1 (en) * 2014-11-12 2016-05-19 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
CN105761243A (zh) * 2016-01-28 2016-07-13 四川川大智胜软件股份有限公司 基于结构光投影的三维全脸照相系统及其照相方法
CN105783784A (zh) * 2015-01-13 2016-07-20 欧姆龙株式会社 检查装置及检查装置的控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3996560B2 (ja) * 2003-08-18 2007-10-24 株式会社リコー 物体形状測定装置
TW200604494A (en) * 2004-04-22 2006-02-01 Univ Electro Communications Small displacement measuring method and instrument
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP2006023178A (ja) * 2004-07-07 2006-01-26 Olympus Corp ３次元計測方法及び装置
JP2007114071A (ja) * 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
WO2007116711A1 (ja) * 2006-03-29 2007-10-18 Nikon Corporation 計測方法、計測装置及び処理装置、並びにパターン形成方法及びデバイス製造方法
JP2011021970A (ja) * 2009-07-15 2011-02-03 Nikon Corp 三次元形状測定装置および三次元形状測定方法
JP2014106110A (ja) * 2012-11-27 2014-06-09 Canon Inc 計測方法及び計測装置
JP2014115109A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置及び方法
US9189705B2 (en) * 2013-08-08 2015-11-17 JSMSW Technology LLC Phase-controlled model-based overlay measurement systems and methods
DE102013017500B3 (de) * 2013-10-17 2015-04-02 Faro Technologies, Inc. Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Szene
JP6364777B2 (ja) * 2014-01-10 2018-08-01 凸版印刷株式会社 画像データ取得システム及び画像データ取得方法
JP2016000139A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 位相情報取得装置及び撮像システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275529A (ja) * 2005-03-28 2006-10-12 Citizen Watch Co Ltd ３次元形状測定方法及び測定装置
JP2008309551A (ja) * 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
JP2009019941A (ja) * 2007-07-11 2009-01-29 Nikon Corp 形状測定方法
JP2015021862A (ja) * 2013-07-19 2015-02-02 株式会社三次元メディア ３次元計測装置及び３次元計測方法
CN103398675A (zh) * 2013-08-10 2013-11-20 南昌航空大学 一种基于条纹周期校正的复杂大物体三维测量方法
WO2016076796A1 (en) * 2014-11-12 2016-05-19 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
CN105783784A (zh) * 2015-01-13 2016-07-20 欧姆龙株式会社 检查装置及检查装置的控制方法
CN105761243A (zh) * 2016-01-28 2016-07-13 四川川大智胜软件股份有限公司 基于结构光投影的三维全脸照相系统及其照相方法

Also Published As

Publication number Publication date
EP3594618A1 (en) 2020-01-15
KR102149707B1 (ko) 2020-08-31
US20200020119A1 (en) 2020-01-16
EP3594618A4 (en) 2021-01-27
CN110268223A (zh) 2019-09-20
WO2018163530A1 (ja) 2018-09-13
US11055863B2 (en) 2021-07-06
JP2018146449A (ja) 2018-09-20
KR20190104367A (ko) 2019-09-09
EP3594618B1 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
CN110268223B (zh) 三维形状计测装置、三维形状计测方法以及非暂时性存储介质
CN110268222B (zh) 三维形状计测装置、三维形状计测方法及存储介质
JP5193113B2 (ja) Ｍｔｆ測定装置およびｍｔｆ測定プログラム
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
WO2006039796A1 (en) System and method for height profile measurement of reflecting objetcs
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
TWI583920B (zh) 光滑物體的量測系統及其量測方法
KR102218215B1 (ko) 상호 반사 검출 장치, 상호 반사 검출 방법 및 프로그램
WO2009113528A1 (ja) 形状測定装置
US8275573B1 (en) Large-surface defect detection by single-frame spatial-carrier interferometry
JP6425406B2 (ja) 情報処理装置、情報処理方法、プログラム
JP7503443B2 (ja) ディスプレイｍｔｆ測定装置およびそのプログラム
JP6013819B2 (ja) 表面形状検査装置及び表面形状検査方法
JP5895733B2 (ja) 表面欠陥検査装置および表面欠陥検査方法
JP2016109580A (ja) 計測装置および計測方法
CN112747686A (zh) 三维形貌测量装置
JP2010185844A (ja) 表面形状測定方法およびこれを用いた装置
JP7432377B2 (ja) ディスプレイｍｔｆ測定装置およびそのプログラム
JP6894348B2 (ja) 検査装置の高さ情報の取得方法及び検査装置
JP2022147089A (ja) 検査装置、検査システムおよび検査方法
Huang Advances in 3D optical profilometry
JP2009014571A (ja) 三次元形状計測装置、三次元形状計測方法
JP2019095964A (ja) 表面特性取得装置、表面特性取得システム及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant