CN110906884B - 三维几何形状测量设备和三维几何形状测量方法 - Google Patents

三维几何形状测量设备和三维几何形状测量方法 Download PDF

Info

Publication number
CN110906884B
CN110906884B CN201910863067.0A CN201910863067A CN110906884B CN 110906884 B CN110906884 B CN 110906884B CN 201910863067 A CN201910863067 A CN 201910863067A CN 110906884 B CN110906884 B CN 110906884B
Authority
CN
China
Prior art keywords
pixel
projection
section
photographing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910863067.0A
Other languages
English (en)
Other versions
CN110906884A (zh
Inventor
宫田薫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN110906884A publication Critical patent/CN110906884A/zh
Application granted granted Critical
Publication of CN110906884B publication Critical patent/CN110906884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供三维几何形状测量设备和三维几何形状测量方法。三维几何形状测量设备包括：投影部(1)，用于将投影图像投影到待测量对象上；摄像部(2)，用于通过拍摄投影有所述投影图像的待测量对象生成拍摄图像；关系识别部(302)，用于识别与拍摄像素位置具有对应关系的投影像素位置；以及不良像素判断部(303)，用于基于从投影部(1)开始并通过投影像素位置处的像素的投影光束与从摄像部(2)开始并通过具有所述对应关系的拍摄像素位置处的像素的拍摄光束之间的位置关系来判断拍摄像素位置处的像素是否是不良像素。

Description

三维几何形状测量设备和三维几何形状测量方法
技术领域
本发明涉及用于测量待测量对象的三维几何形状的三维几何形状测量设备和三维几何形状测量方法。
背景技术
用于在不进行任何接触的情况下测量待测量对象的方法可以分为两种：诸如立体法等的无源技术；以及诸如三角测量法、飞行时间法和共焦法等的有源技术。其中，在诸如产品质量管理和逆向工程等的各个领域中三角测量法的使用正在增加。
光图案投影法使用三角测量法的原理，并且通过将条纹图案从投影仪投影到待测量对象上以及然后通过利用照相机拍摄沿着待测量对象的几何形状改变的图案来进行三维(3D)几何形状测量。日本特开2009-094295公开了用于基于通过在线状光投影到电子组件上时对光学切割线进行摄像而获得的拍摄图像来测量电子组件的高度的测量设备。
由于光图案投影法能够在将包括多个条纹图案的图像投影到待测量对象上的情况下一次测量较大的面积，所以使得能够更快地测量3D几何形状。
发明内容
发明要解决的问题
在光图案投影法中，当待测量对象的表面光泽时，发生多重反射，即，来自投影仪的投影光从待测量对象的表面重复反射。由于多重反射，存在测量精度降低的问题。
作为防止多重反射的方法，已经采用了在待测量对象的表面上施加抗多重反射喷雾的方法以及将来自投影仪的投影光的一部分在其光路中切割的遮蔽物等。然而，在将抗多重反射喷雾施加到待测量对象表面上的方法中，存在的问题是用于冲洗的工时数增加。存在的另一问题是在需要保持高度清洁的环境中不能施加抗多重反射喷雾。
此外，在使用遮蔽物的方法中，由于需要增加向待测量对象投影图案的次数以切割来自投影仪的投影光的一部分，因此存在测量时间增加的问题。此外，在该方法中，存在的另一问题是需要针对各个待测量对象创建不同的遮蔽物。除了多重反射之外，例如，还存在由于在待测量对象的边缘处或在亮度改变大的位置处的摄像系统的模糊而导致测量精度降低的另一问题。
本发明着眼于这些点，并且本发明的目的是提供能够防止因多重反射、或摄像系统的模糊等导致的测量精度的降低的三维几何形状测量设备和三维几何形状测量方法。
用于解决问题的方案
根据本发明的第一方面的三维几何形状测量设备是用于通过将包括亮度根据位置而改变的光图案的投影图像投影到待测量对象上来测量所述待测量对象的三维几何形状的三维几何形状测量设备，并且包括：投影部，用于将所述投影图像投影到所述待测量对象上；摄像部，用于通过拍摄投影有所述投影图像的所述待测量对象来生成拍摄图像；关系识别部，用于识别与作为所述拍摄图像的像素位置的拍摄像素位置具有对应关系的作为所述投影图像的像素位置的投影像素位置；以及不良像素判断部，用于基于(i)从所述投影部开始并且通过所述投影像素位置处的像素的投影光束与(ii)从所述摄像部开始并且通过与所述投影像素位置具有对应关系的所述拍摄像素位置处的像素的拍摄光束之间的位置关系，来判断所述拍摄像素位置处的像素是否是不良像素。所述三维几何形状测量设备还可以包括：几何形状识别部，用于基于排除被所述不良像素判断部判断为不良像素的像素的位置的拍摄像素位置的像素值，来识别所述待测量对象的三维几何形状。
所述不良像素判断部可以基于所述拍摄光束和所述投影光束之间的距离来判断所述拍摄像素位置处的像素是否是不良像素。所述不良像素判断部可以(i)将通过所述拍摄像素位置的所述拍摄光束与通过与所述拍摄像素位置具有对应关系的所述投影像素位置的预定方向上的投影光束面相交的位置识别为第一三维位置，(ii)将通过所述投影像素位置的所述投影光束与通过所述拍摄像素位置的预定方向上的拍摄光束面相交的位置指定为第二三维位置，以及(iii)在所述第一三维位置和所述第二三维位置之间的距离大于阈值的情况下，判断为所述拍摄像素位置处的像素是不良像素。
所述不良像素判断部可以基于(i)由与在从所述拍摄像素位置起的预定范围内的三个或更多个拍摄像素位置相对应的三个或更多个所述第一三维位置所确定的第一面与(ii)由与所述三个或更多个拍摄像素位置相对应的三个或更多个所述第二三维位置所确定的第二面之间的对应关系，来判断所述拍摄像素位置是否是不良像素。
所述几何形状识别部可以基于所述第一三维位置的三维坐标的平均值和所述第二三维位置的平均值，来识别所述待测量对象的三维几何形状。所述三维几何形状测量设备还包括异常检测部，所述异常检测部用于获得所述第一三维位置和所述第二三维位置之间的距离，以基于针对多个拍摄像素位置所获得的距离的统计量来检测所述三维几何形状测量设备的异常。
在所述不良像素判断部判断为拍摄像素位置处的像素是不良像素的情况下，所述投影部可以将从所述投影图像中所包括的多个像素中排除与被所述不良像素判断部判断为不良像素的所述拍摄像素位置具有对应关系的所述投影像素位置处的所有像素的投影图像再次投影到所述待测量对象上。在所述不良像素判断部判断为拍摄像素位置处的像素是不良像素的情况下，所述投影部可以将仅包括所述投影图像中所包括的多个像素中的、与被所述不良像素判断部判断为不良像素的所述拍摄像素位置具有对应关系的所述投影像素位置处的像素的投影图像再次投影到所述待测量对象上。
所述投影部可以投影包括沿与包括所述摄像部的光轴和所述投影部的光轴的面正交的第一方向延伸的所述光图案的投影图像、以及包括沿与包括所述摄像部的光轴和所述投影部的光轴的面平行的第二方向延伸的所述光图案的投影图像。所述投影部可以将包括二值图像的所述光图案的投影图像和包括具有正弦亮度分布的所述光图案的投影图像投影到所述待测量对象上。所述投影部可以依次投影包括条纹周期彼此不同的所述光图案的多个投影图像。
根据本发明的第二方面的三维几何形状测量方法是用于通过将包括在预定方向上亮度根据位置而改变的光图案的投影图像投影到待测量对象上来测量所述待测量对象的三维几何形状的三维几何形状测量方法，所述三维几何形状测量方法包括如下步骤：通过投影部将所述投影图像投影到所述待测量对象上；通过摄像部拍摄投影有所述投影图像的所述待测量对象来生成拍摄图像；识别与作为所述拍摄图像的像素位置的拍摄像素位置具有对应关系的作为所述投影图像的像素位置的投影像素位置；以及基于(i)从所述投影部开始并且通过所述投影像素位置处的像素的投影光束与(ii)从所述摄像部开始并且通过与所述投影像素位置具有对应关系的所述拍摄像素位置处的像素的拍摄光束之间的位置关系，来判断所述拍摄像素位置处的像素是否是不良像素。
发明的效果
根据本发明，实现了防止由多重反射、或摄像系统的模糊等导致的测量精度的降低的效果。
附图说明
图1A至1C示出根据第一实施例的3D几何形状测量设备的概要。
图2A和2B各自示出投影部投影到待测量对象上的投影图像。
图3示出3D几何形状测量设备的结构。
图4A至4F分别示出投影控制部投影的投影图像的类型的示例。
图5A至5D分别示出具有正弦亮度分布的灰度光图案的示例。
图6示出与图4C至4F中所示的二值光图案相对应的格雷码的示例。
图7A和7B各自示出多重反射。
图8示出直接反射光的光路。
图9示出多重反射光的光路。
图10示出利用不良像素判断部判断不良像素的方法；
图11示出利用不良像素判断部判断不良像素的另一方法。
图12示出利用不良像素判断部判断不良像素的又一方法。
图13是示出由不良像素判断部进行的不良像素判断处理的过程的流程图。
[附图标记的描述]
1 投影部
2 摄像部
3 控制部
4 存储单元
21 透镜
22 摄像元件
100 3D几何形状测量设备
301 投影控制部
302 关系识别部
303 不良像素判断部
304 几何形状识别部
305 异常检测部
具体实施方式
<第一实施例>
[3D几何形状测量设备100的概要]
图1A至1C示出根据第一实施例的3D几何形状测量设备100的概要。图1A示出3D几何形状测量设备100的结构。3D几何形状测量设备100通过将包括亮度根据预定方向上的位置而改变的光图案的投影图像投影到待测量对象上来测量待测量对象的3D几何形状。光图案是例如条纹图案。下面将描述光图案的详情。3D几何形状测量设备100包括投影部1、摄像部2和控制部3。
投影部1是具有诸如发光二极管或激光器等的光源、投影透镜、液晶、或微镜等的投影设备。投影部1将包括光图案的多个分别不同的投影图像投影到待测量对象的测量面上。
摄像部2是具有透镜21和摄像元件22以及光学滤波器(未示出)等的摄像设备。摄像部2通过在投影部1将投影图像依次投影到待测量对象上的同时分别拍摄待测量对象来生成多个拍摄图像。摄像部2以这样的方式放置，即摄像部2的光轴和投影部1的光轴形成预定角度。
控制部3基于由摄像部2生成的拍摄图像来测量待测量对象的几何形状。控制部3例如可以由计算机实现。
图1B和1C各自示出当投影部1将投影图像投影到待测量对象上时由摄像部2生成的拍摄图像的示例。如图1B和1C所示，投影部1将包括亮度根据预定方向上的位置而改变的光图案的投影图像投影到测量目标上。图1B示出当投影部1将包括光图案的投影图像投影到平坦测量面上时由摄像部2生成的拍摄图像，所述光图案由投影光的光投影区域和不投影光的非投影区域构成。白色区域表示光投影区域，并且黑色区域表示非投影区域。当测量面没有凹凸时，由摄像部2生成的拍摄图像的光图案与投影图像的光图案一致。
图1C示出当投影部1将光图案投影到具有凸部的测量面上时由摄像部2生成的拍摄图像。在图1C的拍摄图像中，光图案的部分图像变形。在拍摄图像中，光图案的图像变形了与凸部的高度相对应的量。因此，3D几何形状测量设备100可以通过基于拍摄图像中的光图案图像的变形量识别各个凸部位置的高度来测量待测量对象的几何形状。
图2A和2B各自示出投影部1投影到待测量对象上的投影图像。图2A示出在第一方向上延伸的光图案的示例，以及图2B示出在第二方向上延伸的光图案的示例。如图2A所示，投影部1投影包括在第一方向上延伸的光图案(这在下面可以被称为垂直图案)的投影图像。第一方向是与投影部1的光轴正交并且与摄像部2的光轴正交的方向。如图2B所示，投影部1可以投影包括在第二方向上延伸的光图案(这在下面可以被称为水平图案)的投影图像。第二方向是与包括投影部1和摄像部2的光轴的平面平行的方向。
当将上述包括光图案的投影图像投影到待测量对象上时，光图案根据待测量对象的3D几何形状在宽度方向上偏离，如图1C所示。此外，光图案的宽度根据待测量对象的3D几何形状而波动。在摄像部2在包括在第一方向上延伸的光图案的投影图像被投影的同时拍摄待测量对象而生成的第一拍摄图像中，(i)同投影部1的光轴方向和摄像部2的光轴方向之间的偏离相对应的方向，与(ii)光图案的宽度方向上的偏离方向彼此一致。即，(i)通过将连接投影部1的光轴的起点和摄像部2的起点的线段投影到待测量对象所放置的平面上而生成的线段图像的方向，与(ii)光图案的宽度方向上的偏离方向彼此一致。因此，在第一拍摄图像中，检测光图案在宽度方向等上的偏离的灵敏度高。因此，提高了待测量对象的3D几何形状的测量中的分辨率。
另一方面，在摄像部2在包括在第二方向上延伸的光图案的投影图像被投影的同时拍摄待测量对象而生成的第二拍摄图像中，与投影部1的光轴方向和摄像部2的光轴方向之间的偏离相对应的方向，与光图案的宽度方向上的偏离方向彼此正交。即，(i)通过将连接投影部1的起点和摄像部2的起点的线段投影到待测量对象所放置的平面上而生成的线段图像的方向与(ii)光图案的宽度方向上的偏离方向正交。因此，与第一拍摄图像相比，第二拍摄图像在待测量对象的3D几何形状的测量中的测量分辨率显著降低，并且3D几何形状测量设备100不能精确地测量几何形状。
3D几何形状测量设备100通过分析投影到待测量对象上的光图案来识别待测量对象的3D几何形状。然而，在待测量对象的表面光泽的情况下，存在由于来自投影部1的投影光被多重反射而产生的多重反射而导致测量精度降低的问题。除了多重反射之外，例如，存在由于在待测量对象的边缘处或在亮度改变大的位置处的摄像系统的模糊而导致测量精度降低的问题。这里，将投影部1的像素的位置称为投影像素位置，以及将摄像部2的像素的位置称为拍摄像素位置。如下面将详细描述的，3D几何形状测量设备100基于(i)从投影部1开始并通过投影像素位置处的像素的投影光束和(ii)从摄像部2开始并通过拍摄像素位置处的像素的拍摄光束之间的位置关系，判断拍摄图像的像素是否是受多重反射等影响的不良像素。
图3示出3D几何形状测量设备100的结构。3D几何形状测量设备100包括投影部1、摄像部2、控制部3和存储单元4。存储单元4包括存储介质，该存储介质包括硬盘、只读存储器(ROM)和随机存取存储器(RAM)等。存储单元4存储控制部3要执行的程序。控制部3例如是中央处理单元(CPU)，并通过执行存储单元4中所存储的程序用作投影控制部301、关系识别部302、不良像素判断部303、几何形状识别部304和异常检测部305。
投影控制部301生成用于将包括光图案的投影图像投影到待测量对象上的控制信号，并将生成的控制信号输入到投影部1。投影控制部301控制针对各个像素开启/关闭投影部1所用的电路，因此投影控制部301能够将投影部1的像素的一部分投影到待测量对象上。以下，将在参照图4A至4F和图5A至5D的同时描述投影控制部301投影的光图案的示例。
[光图案的类型]
图4A至4F分别示出投影控制部301投影的投影图像的类型的示例。在图4A至4F中，黑色区域表示投影部1不投影光的非投影区域，以及白色区域表示投影部1投影光的光投影区域。
图4A示出光不被投影到待测量对象的任何部分上的标准图案(即全黑图案)。图4B示出将光投影到整个待测量对象上的标准图案(即全白图案)。图4C至4F示出由光投影区域和非投影区域构成的、并且在相同方向上布置对于各个投影图像具有不同宽度的条纹的二值光图案。图4A至4F中所示的光图案与格雷码相对应，并且用于识别拍摄图像中的像素的位置。下面将描述其详情。
图5A至5D分别示出具有正弦亮度分布并由投影控制部301投影到待测量对象上的灰度光图案的示例。灰度光图案是亮度根据预定方向上的位置而改变的光图案。在图5A至5D的灰度光图案的示例中，亮度沿着条纹的宽度方向以正弦方式从白色区域向黑色区域改变。图5A至5D的灰度光图案中的条纹之间的间隔是恒定的，并且灰度光图案中的条纹的空间频率是例如图4F的二值光图案的空间频率的四倍。
图5A至5D的灰度光图案彼此不同的点在于表示亮度分布的正弦波的相位彼此相差90度，并且它们的亮度分布在其它方面相同。在本实施例中，投影控制部301投影总共十个投影图像：图4A和4B中所示的两个标准图案、图4C至4F中所示的四个二值光图案、以及图5A至5D中所示的四个灰度光图案。图5A至5D中所示的灰度光图案与图4A至4F中所示的光图案一起用于识别拍摄图像中的像素位置。
[识别与拍摄图像的像素相对应的投影图像的像素]
关系识别部302通过分析拍摄图像的光图案的灰度信息来识别与作为拍摄图像的像素位置的拍摄像素位置具有对应关系的作为投影图像的像素位置的投影像素位置。如果通过拍摄投影图像的像素A而获得的像素是拍摄图像的像素B，则像素A的投影像素位置和像素B的拍摄像素位置彼此具有对应关系。下面将描述用于识别投影图像的像素和拍摄图像的像素之间的对应关系的方法。
如上所述，图4C至4F中所示的二值光图案与格雷码相对应。图6示出与图4C至4F中所示的二值光图案相对应的格雷码的示例。通过将格雷码中的0与非投影区域相关联，以及将1与光投影区域相关联，生成图4C至4F中所示的二值光图案。
图4A至4F和图6中的x方向上的各个位置由码值表示，该码值是在格雷码中的相应位置处的数字0或1的组合。图6中的位置0与码值“0000”相对应，位置1与码值“0001”相对应，以及位置15与码值“1000”相对应。
摄像部2在于投影控制部301将图4A和4B所示的标准图案分别投影到待测量对象上的同时拍摄待测量对象。关系识别部302针对各个像素计算两个拍摄的标准图案的平均值作为中值。同样地，关于在将图4C至图4F的二值光图案投影到待测量对象上的同时拍摄的拍摄图像，关系识别部302通过将四个拍摄图像中的各个像素的亮度值与相对应的中值进行比较来识别各个像素的码值。通过识别码值，关系识别部302可以识别在朝向不同位置投影的二值光图案内的各个像素位置处反映哪个二值条纹。关系识别部302识别在从位置0到位置15的哪个位置处包括拍摄图像中所包括的各个像素。
此外，关系识别部302分别识别在具有正弦亮度分布的灰度光图案被投影到待测量对象上时的拍摄图像中的拍摄像素位置处正弦波的相位。关系识别部302识别与所识别的正弦波的相位一致的投影图像的像素位置。由于投影图像的灰度光图案具有周期性，因此存在投影图像的多个像素位置与所识别的正弦波的相位一致。
因此，关系识别部302基于包括各个像素的位置来识别投影图像的像素位置和拍摄图像的像素位置之间的对应关系，所述包括各个像素的位置是基于与投影图4C至4F的二值光图案时的拍摄图像的各个像素相对应的格雷码的码值来识别的。关系识别部302通过在通过分析灰度光图案的灰度信息而识别的多个对应关系之中选择基于由二值光图案所表示的格雷码所识别的位置中包括的对应关系，来识别拍摄图像的像素和投影图像的像素之间的对应关系。其中，k(＝1,2)是表示第一方向和第二方向的索引，关系识别部302如下识别针对摄像部2的各个像素(i,j)的投影部1的对应像素(ip,jp)的坐标。
[公式1]
Figure BDA0002200413320000101
IAP,k(i,j)，其中k＝1,2，是在投影具有正弦亮度分布的垂直图案和水平图案的同时正被拍摄的拍摄图像的绝对相位图像的绝对相位值。pk是投影部1的光图案的条纹的一个周期内包括的像素数。
代替使用包括图4C至4F所示的二值光图案的投影图像，关系识别部302可以使用包括灰度光图案的投影图像。关系识别部302可以被配置为除了通过依次投影具有图5A至图5D的灰度光图案的投影图像之外，还通过依次投影具有带有正弦亮度分布的灰度光图案和条纹周期与图5A至图5D的条纹周期不同的条纹图案的多个投影图像，来识别拍摄图像的像素和投影图像的像素之间的对应关系。
例如，投影部1可以被配置为投影具有第一周期性灰度光图案的多个投影图像，投影具有第二周期性灰度光图案的多个投影图像，以及投影具有第三周期性灰度光图案的多个投影图像。在这种情况下，投影部1通过将具有正弦亮度分布的投影图像投影到待测量对象上，可以识别待测量对象的几何形状。此外，具有第一周期性灰度光图案至第三周期性灰度光图案的多个投影图像可以被投影为在第一方向和第二方向上延伸的灰度光图案。
[多重反射]
不良像素判断部303判断拍摄像素位置处的像素是否是由于多重反射等引起的不良像素。图7A和7B各自示出多重反射。当待测量对象光泽并且具有复杂形状时，由投影部1发射的光可能在待测量面上重复反射多次之后进入摄像部2。在这种情况下，如图7A所示，由投影部1发射的光经由两个或更多个路径进入摄像元件22的一个像素。
具体地，进入摄像元件22的光包括直射光和多重反射光，该直射光是由投影部1发射的光并且在待测量面上被扩散和反射之后直接进入摄像部2，该多重反射光在经历多重反射之后进入摄像部2。结果，在由摄像部2拍摄的拍摄图像中，当没有多重反射光时具有与黑相对应的亮度值的像素可能具有与白相对应的亮度值。特别地，在待测量对象包括容易发生随机反射的金属等的情况下，容易发生多重反射。
图7B示出受多重反射影响的拍摄图像的示例。图7B与图1C相对应，但由于多重反射光的影响，阴影部分具有与图1C中的亮度不同的亮度。此外，由于多重反射光的影响，在灰度光图案的亮度分布中示出的正弦波形中可能发生失真等。
[判断不良像素]
不良像素判断部303基于(i)从投影部1开始并通过投影像素位置处的像素的投影光束与(ii)从摄像部2开始并通过与投影像素位置具有对应关系的拍摄像素位置处的像素的拍摄光束之间的位置关系来判断拍摄像素位置处的像素是否是不良像素。图8和9是用于说明判断不良像素的原理的图。
图8示出直接反射光的光路。从投影部1的光学中心O1发射的光通过投影部1的图像面上的投影像素位置A1，在待测量对象上的一个位置MP处扩散并反射。在位置MP处反射的光通过摄像部2的图像面中的拍摄像素位置B1。
图9示出多重反射光的光路。假设通过投影部1的图像面上的与投影像素位置A1不同的投影像素位置A2的光变成在待测量对象上的多个位置处反射的多重反射光。该多重反射光由粗虚线表示。多重反射光通过摄像部2的图像面中的拍摄像素位置B1。
如图8所示，在直接反射光仅从待测量对象反射一次的情况下，通过投影像素位置A1的像素的投影光束和通过拍摄像素位置B1的拍摄光束在待测量对象上的一个测量点MP处相交。由于发生从待测量对象上的多个位置反射的多重反射，通过投影像素位置A2处的像素的光到达拍摄像素位置B1，而当不发生多重反射时，通过投影像素位置A2的光不到达拍摄像素位置B1。也就是说，如果不发生多重反射，则通过投影像素位置A2的投影光束不与通过拍摄像素位置B1的拍摄光束相交。通过使用该特性，不良像素判断部303判断像素是否是不良像素。
图10示出不良像素判断部303判断不良像素的方法。不良像素判断部303如下识别投影光束和拍摄光束之间的位置关系。
[计算拍摄光束上的3D位置]
不良像素判断部303识别从摄像部2开始并通过拍摄像素位置B1(i,j)的拍摄光束LB1。由于摄像部2的朝向是恒定的，所以透镜21的布置唯一地确定从摄像部2的光学中心(图10中的O1’)开始并通过拍摄像素位置B1(i,j)的拍摄光束LB1。将用于识别拍摄光束LB1的信息预先存储在存储单元4中，并且不良像素判断部303从存储单元4读取用于识别拍摄光束LB1的信息。用于识别拍摄光束LB1的信息是例如示出以投影部1的光学中心为原点的直线的方向或直线上的点的坐标的信息。
不良像素判断部303识别通过由关系识别部302识别为与拍摄像素位置B1具有对应关系的投影像素位置A2(ip,jp)的预定方向上的投影光束面。具体地，不良像素判断部303识别与投影像素位置A2(ip,jp)的水平坐标值ip相对应的投影光束面。具有水平坐标值ip的投影像素位置存在于图10所示的投影部1的图像面中的直线EF上。假设通过将直线EF从作为起点的投影部1的光学中心O1投影到待测量对象侧而获得的直线是直线E'F'，则在包括三个点O1、E'和F'的投影光束面中存在与具有水平坐标值ip的投影像素位置相对应的待测量对象上的测量点MP。不良像素判断部303将包括三个点O1、E'和F'的投影光束面与拍摄光束LB1相交的位置识别为第一3D位置B1'。当不发生多重反射等时，所获得的交点B1'与同拍摄像素位置B1(i,j)相对应的待测量对象上的测量点MP近似一致。
[计算投影光束上的3D位置]
不良像素判断部303识别从投影部1的光学中心O1开始并通过投影部1的投影像素位置A2(ip,jp)的投影光束LA2。由于投影部1的朝向是恒定的，所以唯一地确定从投影部1的光学中心O1开始并通过投影部1的投影像素位置A2(ip,jp)的投影光束LA2。将用于识别投影光束LA2的信息预先存储在存储单元4中，并且不良像素判断部303从存储单元4读取用于识别投影光束LA2的信息。用于识别投影光束LA2的信息是例如表示以摄像部2的光学中心O1'作为原点的直线的方向或直线上的点的坐标的信息。
此外，不良像素判断部303识别通过拍摄像素位置B1(i,j)的预先指定的方向上的拍摄光束面。更具体地，不良像素判断部303识别与拍摄像素位置B1(i,j)的水平坐标值i相对应的拍摄光束面。具有水平坐标值i的拍摄像素位置在图10所示的摄像部2的图像面中的直线GH上。通过摄像部2的图像面中的多个拍摄像素位置的拍摄光束相交的点由O1'表示。假设通过将直线GH从作为起点的O1'投影到待测量对象侧而获得的直线是直线G'H'，则在包括三个点O1'、G'和H'的拍摄光束面中存在与具有水平坐标值i的拍摄像素位置相对应的待测量对象上的测量点MP。不良像素判断部303将包括三个点O1'、G'和H'的拍摄光束面与投影光束LA2相交的位置识别为第二3D位置A2'。当不发生多重反射等时，所获得的交点A2'与同拍摄像素位置B1(i,j)相对应的待测量对象上的测量点MP近似一致。
[比较两个3D位置]
不良像素判断部303将拍摄光束上的第一3D位置B1'与投影光束上的第二3D位置A2'进行比较，以判断拍摄图像中的像素是否是不良像素。当第一3D位置B1'和第二3D位置A2'不受多重反射等影响时，它们彼此近似一致。另一方面，在受到多重反射等影响的情况下，第一3D位置B1'和第二3D位置A2'之间的差变大。
当图10所示的第一3D位置B1'和第二3D位置A2'之间的距离D超过阈值时，不良像素判断部303判断为拍摄像素位置B1处的像素是不良像素。另一方面，当第一3D位置B1'和第二3D位置A2'之间的距离D等于或小于阈值时，不良像素判断部303判断为拍摄像素位置B1上的像素不是不良像素。阈值是例如当拍摄像素位置B1处的像素不受多重反射等影响时在第一3D位置B1'和第二3D位置A2'之间发生的误差的统计量。
几何形状识别部304可以通过使用一个拍摄像素位置(i,j)和由关系识别部302识别为与该拍摄像素位置具有对应关系的投影像素位置(ip,jp)中包括的四个坐标值中的三个坐标值，来识别与拍摄像素位置相对应的3D位置。上述过程相当于将从坐标值i、坐标值j和坐标值ip的组合获得的3D位置与从坐标值i、坐标值ip和坐标值jp的组合获得的3D位置进行比较。
[拍摄光束和投影光束之间的距离]
不良像素判断部303可以基于拍摄光束和投影光束之间的距离来判断拍摄像素位置处的像素是否是不良像素。图11示出由不良像素判断部303判断不良像素的另一方法。不良像素判断部303识别通过摄像部2的拍摄像素位置B1(i,j)的拍摄光束LB1和通过由关系识别部302识别为与拍摄像素位置B1具有对应关系的投影像素位置A2(ip，jB1)的投影光束LA2。不良像素判断部303计拍摄光束与投影光束之间的最短距离D'。
当所获得的最短距离D'超过基准值时，不良像素判断部303判断为拍摄像素位置B1处的像素是不良像素。另一方面，当所获得的最短距离D'等于或小于基准值时，不良像素判断部303判断为拍摄像素位置B1不是不良像素。基准值例如基于当拍摄像素位置B1处的像素不受多重反射等影响时的最短距离D'的统计量。
[使用法线]
图12示出由不良像素判断部303判断不良像素的又一方法。不良像素判断部303可以基于所关注的拍摄像素位置的周围信息来计算待测量对象的测量面的法线，并且基于所计算的法线来判断不良像素。不良像素判断部303选择在所关注的拍摄像素位置的预定范围内的三个或更多个拍摄像素位置B1至B3。预定范围是例如包括所关注的拍摄像素位置附近的拍摄像素位置中的几个到几十个拍摄像素位置的范围。通过上述方法，不良像素判断部303识别分别与所选择的拍摄像素位置B1至B3相对应的第一3D位置B1'至B3'。
不良像素判断部303识别由所识别的第一3D位置B1'至B3'所确定的第一面。当选择了三个拍摄像素位置B1至B3时，不良像素判断部303识别包括所有第一3D位置B1'至B3'的第一面。当选择了在所关注的拍摄像素位置的预定范围内的四个或更多个拍摄像素位置时，不良像素判断部303识别与所选择的拍摄像素位置相对应的四个或更多个第一3D位置。例如，不良像素判断部303识别第一面，使得从所识别的四个或更多个第一3D位置到第一面的距离的平方和最小。
以相同的方式，不良像素判断部303识别分别与三个或更多个拍摄像素位置相对应的第二3D位置。不良像素判断部303识别由所识别的第二3D位置所确定的第二面。第一3D位置B1'至B3'在通过将来自摄像部2通过所选择的拍摄像素位置B1至B3的拍摄光束朝向待测量对象延伸而获得的延长线上，并且利用这些第一3D位置B1'至B3'确定第一面。另一方面，第二3D位置在通过将来自投影部1通过与所选择的拍摄像素位置B1至B3具有对应关系的投影像素位置的投影光束朝向待测量对象延伸而获得的延长线上，并且利用这些第二3D位置确定第二面。
不良像素判断部303基于第一面和第二面之间的对应关系，判断拍摄像素位置是否是不良像素。更具体地，不良像素判断部303将通过第一面的第一法线与通过第二面的第二法线进行比较。例如，不良像素判断部303计算通过由第一3D位置B1'至B3'组成的三角形的重心的第一法线N与通过由第二3D位置组成的三角形的重心的第二法线(未示出)之间的倾斜度的差和距离中的至少一个。
当第一法线的倾斜度与第二法线的倾斜度之间的差等于或小于预定角度或者第一法线与第二法线之间的最短距离等于或小于预定距离时，不良像素判断部303判断为所关注的拍摄像素位置处的像素不是不良像素。另一方面，当第一法线和第二法线之间的倾斜度的差超过预定角度时，或者当第一法线和第二法线之间的最短距离超过预定距离时，不良像素判断部303判断为所关注的拍摄像素位置处的像素是不良像素。
该预定角度和预定距离由本领域技术人员根据3D几何形状测量中要求的测量精度来确定。利用这样的配置，不良像素判断部303考虑到周围像素来判断拍摄像素位置处的像素是否是不良像素，因此可以提高判断不良像素的精度。
[识别3D几何形状]
几何形状识别部304基于排除由不良像素判断部303判断为是不良像素的像素的位置的拍摄像素位置的像素值，来识别待测量对象的3D几何形状。几何形状识别部304针对拍摄图像的多个拍摄像素位置获得由不良像素判断部303识别的各个第一3D位置。几何形状识别部304将待测量对象的3D几何形状识别为所获得的3D位置的集合。此时，几何形状识别部304不将与由不良像素判断部303判断为不良像素的拍摄像素位置相对应的第一3D位置包括在待测量对象的3D几何形状中。
[对第一3D位置和第二3D位置进行平均]
几何形状识别部304可以通过获得由不良像素判断部303针对拍摄图像的多个拍摄像素位置所识别的各个3D位置来识别待测量对象的3D几何形状。几何形状识别部304可以基于第一3D位置的3D坐标的平均值和第二3D位置的的3D坐标的平均值来识别待测量对象的3D几何形状。
如果对于多个拍摄像素位置，第一3D位置和第二3D位置之间的距离变大，则可能不是多重反射光等的影响，而是投影部1或摄像部2的状态可能出现缺陷。例如，存在投影部1和摄像部2之间的位置关系发生偏离的可能性。因此，异常检测部305可以使用以下方法检测出3D几何形状测量设备100的投影部1或摄像部2的状态是不适当的。
首先，异常检测部305从不良像素判断部303获得与拍摄像素位置相对应的第一3D位置和第二3D位置之间的距离。异常检测部305针对多个拍摄像素位置获得第一3D位置和第二3D位置之间的各个距离，并计算所获得的距离的诸如平均值等的统计量。
异常检测部305基于所获得的统计量来检测3D几何形状测量设备100的异常。更具体地，当所获得的统计量超过容许值时，异常检测部305自诊断为3D几何形状测量设备100的投影部1和摄像部2的对准状态是不适当的。在这种情况下，异常检测部305在显示单元(未示出)上显示表示需要进行投影部1和摄像部2的对准状态的校准的消息。考虑到期望的测量精度，容许值由本领域技术人员适当地指定。
另一方面，当获得的统计量等于或小于容许值时，异常检测部305自诊断为3D几何形状测量设备100的投影部1和摄像部2的对准状态是适当的。利用这样的配置，异常检测部305可以自诊断投影部1和摄像部2之间的位置关系是否偏离，因此可以提高3D几何形状测量设备100的可靠性。
[不良像素判断处理]
图13是示出由不良像素判断部303进行的不良像素判断处理的过程的流程图。例如，当用户通过使用3D几何形状测量设备100的操作键(未示出)给出测量待测量对象的3D几何形状的指示时，该过程开始。
首先，投影控制部301控制投影部1将投影图像投影到待测量对象上(S101)。接着，在投影图像被投影到待测量对象上的同时摄像部2拍摄待测量对象(S102)。关系识别部302识别与拍摄像素位置具有对应关系的投影像素位置(S103)。
不良像素判断部303识别通过摄像部2的拍摄像素位置Bk(ik,jk)(其中k＝1,2,...)的拍摄光束LBK，并且识别出与坐标值ipK相对应的投影光束面，其中坐标值ipK是由关系识别部302识别为与拍摄像素位置Bk具有对应关系的位置的投影像素位置Ak(ipk,jpk)的坐标值中的一个。不良像素判断部303将所识别的投影光束面与拍摄光束LBk相交的位置识别为第一3D位置ak(S104)。
不良像素判断部303识别通过同一投影像素位置Ak(ipk,jpk)的投影光束LAk，并且识别与作为拍摄像素位置Bk(ik,jk)的坐标值中的一个的坐标值ik相对应的拍摄光束面。不良像素判断部303将所识别的拍摄光束面与投影光束LAk相交的位置识别为第二3D位置bk(S105)。
不良像素判断部303判断(i)拍摄光束LBk上的第一3D位置ak和(ii)投影光束LAk上的第二3D位置bk之间的距离是否超过阈值(S106)。当第一3D位置ak和第二3D位置bk之间的距离超过阈值时(S106中为“是”)，不良像素判断部303判断为拍摄像素位置Bk处的像素是不良像素(S107)。不良像素判断部303判断是否还存在未进行像素是否不良的判断的拍摄像素位置Bk的任何像素(S108)。当不良像素判断部303已经针对拍摄像素位置Bk的所有像素判断了它们是否是不良像素时(S108中为“否”)，几何形状识别部304基于排除由不良像素判断部303判断为不良像素的像素的位置的拍摄像素位置Bk的像素值来识别待测量对象的3D几何形状(S109)，并结束处理。
当在步骤S106的判断中拍摄光束LBk上的第一3D位置ak和投影光束LAk上的第二3D位置bk之间的距离等于或小于阈值时(S106中为“否”)，不良像素判断部303判断为拍摄像素位置Bk处的像素不是不良像素(S110)，并进入步骤S108的判断。如果在步骤S108的判断中判断为在拍摄像素位置Bk处还存在尚未进行像素是否不良的判断的像素(S108中为“是”)，则不良像素判断部303针对另一拍摄像素位置Bk返回到步骤S104的处理。
根据本实施例，不良像素判断部303基于(i)从投影部1开始并通过投影像素位置处的像素的投影光束和(ii)从摄像部2开始并通过与投影像素位置具有对应关系的拍摄像素位置处的像素的拍摄光束之间的位置关系来判断拍摄像素位置处的像素是否是不良像素。利用这样的配置，不良像素判断部303可以防止在由于多重反射而导致关系识别部302错误地识别与拍摄像素位置具有对应关系的投影像素位置时发生测量精度的降低。此外，不良像素判断部303可以防止在由于除了多重反射之外还由于在待测量对象的边缘处或亮度改变大的位置处摄像部2的模糊而导致关系识别部302错误地识别对应关系时发生测量3D几何形状的测量精度的降低。如上所述，不良像素判断部303可以防止由各种测量缺陷而引起的测量误差。
[再测量处理]
由于不良像素通常由多重反射光引起，因此可以通过投影不包括被检测为不良像素的位置处的投影像素的投影图像来防止多重反射光的影响。因此，当不良像素判断部303判断为拍摄像素位置处的像素是不良像素时，投影控制部301可以将从投影图像中所包括的多个像素中排除与由不良像素判断部303判断为不良像素的拍摄像素位置具有对应关系的投影像素位置处的所有像素的投影图像(在下文中为第一选择投影图像)再次投影到待测量对象上。
关系识别部302识别与第一选择投影图像的投影像素位置具有对应关系的拍摄像素位置。由于不良像素可能受到多重反射光的影响，所以投影控制部301通过投影不包括不良像素的第一选择投影图像来防止多重反射光的影响。因此，关系识别部302可以更精确地识别投影像素位置与拍摄像素位置之间的对应关系。
可以认为，由于多重反射而导致的不良像素是通过将包括多个像素的投影图像同时投影到待测量对象上而发生的。因此，当不良像素判断部303判断为拍摄像素位置处的像素是不良像素时，投影控制部301可以将仅包括投影图像中所包括的多个像素中的、与由不良像素判断部303判断为不良像素的拍摄像素位置具有对应关系的投影像素位置处的像素的投影图像(下文中称为第二选择投影图像)再次投影到待测量对象上，并且再次进行测量以减少要同时投影的像素的数量。
关系识别部302识别与第二选择投影图像的投影像素位置具有对应关系的拍摄像素位置。投影控制部301通过投影第二选择投影图像，与投影全部投影图像的情况相比，减少同时投影的像素的数量。关系识别部302可以通过再次估计与由不良像素判断部303检测为不良像素的像素的拍摄像素位置具有对应关系的投影像素位置，来增加用于识别待测量对象的3D几何形状的像素的数量。
[变形例]
在上述实施例中，投影控制部301将空间编码法和相移法所用的投影图案作为第一方向和第二方向上的投影图案来投影。即，投影控制部301将具有在第一方向上延伸的光图案的投影图像和具有在第二方向上延伸的光图案的投影图像作为呈现正弦亮度分布的光图案投影到待测量对象上。此外，投影控制部301将具有在第一方向上延伸的光图案的投影图像和具有在第二方向上延伸的光图案的投影图像作为二值光图案投影到待测量对象上。
然而，本发明并不限于此。第一方向上的光图案和第二方向上的光图案不需要相同。例如，投影控制部301可以仅针对第二方向上的投影图案投影相移法所用的投影图案。在这种情况下，投影控制部301将具有呈现正弦亮度分布的光图案的投影图像作为在第二方向上延伸的光图案投影到待测量对象上，而不将具有二值光图案的投影图像投影到待测量对象上。
当投影控制部301投影第二方向上的投影图案时，关系识别部302获得相位值IRP,2(i,j)。在这种情况下，第二方向上的投影图案的绝对相位值IAP,2可以通过使用某个未知整数m和相位值IAP,2(i,j)的下面公式来表示，并且可以考虑多个候选。
[公式2]
IAP,2＝2πm+lRP,2(i，j)...(a)
如下面的公式所示，对于与拍摄像素位置具有对应关系的投影像素位置存在多个候选，其中ip和jp(m)分别示出从第二方向上的左边起第ip个像素和从第一方向上的上边起第jp(m)个像素。
[公式3]
Figure BDA0002200413320000211
这里，由于存在投影像素位置的多个候选，因此不良像素判断部303识别多个第二3D位置。另一方面，由于投影像素位置的第一方向上的坐标值ip在多个候选中相同，所以不良像素判断部303识别一个第一3D位置。不良像素判断部303计算m的值，该m的值表示在针对多个候选所获得的第二3D位置中的与对应于同一拍摄像素位置的第一3D位置最接近的第二3D位置。
不良像素判断部303可以通过判断第一3D位置和最接近第一3D位置的第二3D位置之间的距离是否超过阈值来判断拍摄像素位置处的像素是否是不良像素。利用这样的配置，投影控制部301可以进一步减少要投影到待测量对象上的光图案的数量。因此，投影控制部301可以缩短测量时间。
当投影第二方向上的光图案时，不良像素判断部303可以缩少与拍摄像素位置具有对应关系的投影像素位置的多个候选，以便减少计算量。不良像素判断部303针对多个候选中的各个候选识别第二3D位置。通过预先将可测量的3D位置的范围定义为第二3D位置可以采用的范围，限制了可以与多个候选相对应的m的范围，并且因此可以减少候选。
例如，当充分覆盖可测量的3D空间的范围的面位于3D几何形状测量设备100的最近侧和最远侧时，通过预先测量横向光图案被投影到的各个面的像素值，可以计算可以与多个候选相对应的m的范围。应当注意，由于横向光图案的像素值不会由于待测量对象的几何形状的差异而显著改变，因此存在针对摄像部2的各个拍摄像素位置处的像素定义的m的范围变得相对小的优点。
不良像素判断部303可以对除第二方向上的光图案之外的光图案(例如，第一方向上的光图案)进行相同的处理。特别地，在第二方向上的光图案的情况下，不良像素判断部303可以通过使用上述方法定义m的范围来显著减少候选，因此可以简化处理。
在上述说明中，投影控制部301将包括在第一方向上延伸的光图案的投影图像和包括在第二方向上延伸的光图案的投影图像投影到待测量对象上。然而，本发明不限于投影在第一方向和第二方向上延伸的光图案的示例，并且投影控制部301可以投影包括通过组合在任意方向上延伸的光图案而获得的光图案的投影图像。
此外，投影控制部301可以被配置为重复进行将包括在其它方向上延伸的光图案的投影图像投影到待测量对象上的处理。例如，投影控制部301依次投影包括在第一方向到第N方向上(N为自然数)延伸的光图案的投影图像。投影控制部301可以被配置为基于从通过投影包括在第N方向上延伸的光图案的投影图像而获得的拍摄图像新检测到的不良像素的范围，停止投影包括光图案的投影图像。即，投影控制部301可以被配置为当从投影了包括在第N方向上延伸的光图案的投影图像的拍摄图像中检测到的不良像素中、不是从投影了在第一方向到第(N-1)方向上延伸的光图案的拍摄图像中检测到的不良像素的范围等于或小于阈值时，停止投影包括光图案的投影图像。阈值是例如表示多重反射光的影响变得足够小的值。
投影控制部301可以依次投影包括条纹周期彼此不同的光图案的多个投影图像。例如，投影控制部301可以将包括在第一方向上延伸的光图案的投影图像投影到待测量对象上，然后可以将包括在第一方向上延伸的并且具有不同周期的光图案的投影图像附加地投影到待测量对象上。此外，投影控制部301可以将包括在第二方向上延伸的光图案的投影图像投影到待测量对象上，然后可以将包括在第二方向上延伸的并且具有不同周期的光图案的投影图像附加地投影到待测量对象上。当投影包括具有不同周期的光图案的投影图像时，与直射光重叠的多重反射光的相位改变。因此，不良像素判断部303可以更精确地检测受多重反射光影响的像素。
此外，在以上描述中，说明了投影控制部301使用具有相同波长的投影光来投影各个投影图像的情况的示例。然而，本发明不限于这种情况。例如，投影控制部301可以使用第一波长的光将包括在第一方向上延伸的光图案的多个投影图像投影到待测量对象上，并且使用第二波长的光将包括在第二方向上延伸的光图案的投影图像投影到待测量对象上。通过采用该配置，可以将包括在第一方向上延伸的光图案的投影图像和包括在第二方向上延伸的光图案的投影图像同时投影到待测量对象上，并且能够缩短测量时间量。阈值可以相对于各个波长而改变。
此外，在以上描述中，说明了投影控制部301投影包括条纹图案作为光图案的投影图像的情况的示例。然而，本发明不限于此，并且例如，投影控制部301可以投影包括方格图案作为光图案的投影图像。假如关系识别部302可以通过单个图案或多个图案识别与拍摄像素位置具有对应关系的投影像素位置，投影控制部301可以将包括任意光图案的投影图像投影到待测量对象上。
不良像素判断部303可以输出关于像素是否是不良像素的判断结果。例如，不良像素判断部303在显示器上显示判断结果，或者将判断结果发送到外部PC。当不良像素判断部303输出判断结果时，测量待测量对象的几何形状的用户可以检查判断结果，并且如果用户判断为测量精度没有达到期望的精度，则可以通过再测量或改变待测量对象的放置位置来提高测量精度。
尽管上述使用实施例描述了本发明，但本发明的技术范围不限定于以上实施例中描述的范围，并且可以在本发明主旨的范围内进行各种修改和改变。例如，装置的分布和集成的具体实施例不限于上述实施例，并且实施例的全部或部分可以被配置为以任意单元在功能上或物理上分布和集成。本发明的实施例还包括由多个实施例的任意组合产生的新实施例。通过组合所带来的新实施例的效果与原实施例的效果相同。

Claims (11)

1.一种三维几何形状测量设备，用于通过将包括亮度根据位置而改变的光图案的投影图像投影到待测量对象上来测量所述待测量对象的三维几何形状，所述三维几何形状测量设备包括：
投影部，用于将所述投影图像投影到所述待测量对象上；
摄像部，用于通过拍摄投影有所述投影图像的所述待测量对象来生成拍摄图像；
关系识别部，用于识别与拍摄像素位置具有对应关系的投影像素位置，其中所述拍摄像素位置为所述拍摄图像的像素的位置，所述投影像素位置为所述投影图像的像素的位置；
不良像素判断部，用于基于从所述投影部开始并且通过所述投影像素位置处的像素的投影光束与从所述摄像部开始并且通过与所述投影像素位置具有对应关系的所述拍摄像素位置处的像素的拍摄光束之间的位置关系，来判断所述拍摄像素位置处的像素是否是不良像素，将通过所述拍摄像素位置的所述拍摄光束与通过与所述拍摄像素位置具有对应关系的所述投影像素位置的预定方向上的投影光束面相交的位置识别为第一三维位置，将通过所述投影像素位置的所述投影光束与通过所述拍摄像素位置的预定方向上的拍摄光束面相交的位置指定为第二三维位置，以及在所述第一三维位置和所述第二三维位置之间的距离大于判断所述拍摄像素位置处的像素是否是不良像素时的阈值的情况下，判断为所述拍摄像素位置处的像素是不良像素；以及
几何形状识别部，用于基于排除被所述不良像素判断部判断为不良像素的像素的位置的拍摄像素位置的像素值，来识别所述待测量对象的三维几何形状。
2.根据权利要求1所述的三维几何形状测量设备，其中，所述不良像素判断部基于由与从所述拍摄像素位置起的预定范围内的三个或更多个所述拍摄像素位置相对应的三个或更多个所述第一三维位置所确定的第一面与由与所述三个或更多个所述拍摄像素位置相对应的三个或更多个所述第二三维位置所确定的第二面之间的对应关系，来判断所述拍摄像素位置是否是不良像素。
3.根据权利要求1所述的三维几何形状测量设备，其中，所述几何形状识别部基于所述第一三维位置的三维坐标的平均值和所述第二三维位置的三维坐标的平均值，来识别所述待测量对象的三维几何形状。
4.根据权利要求1所述的三维几何形状测量设备，还包括：
异常检测部，用于获得所述第一三维位置和所述第二三维位置之间的距离，以基于针对多个拍摄像素位置所获得的距离的统计量来检测所述三维几何形状测量设备的异常。
5.根据权利要求1所述的三维几何形状测量设备，其中，在所述不良像素判断部判断为拍摄像素位置处的像素是不良像素的情况下，所述投影部将从所述投影图像中所包括的多个像素中排除与被所述不良像素判断部判断为不良像素的所述拍摄像素位置具有对应关系的所述投影像素位置处的所有像素的投影图像再次投影到所述待测量对象上。
6.根据权利要求1所述的三维几何形状测量设备，其中，在所述不良像素判断部判断为拍摄像素位置处的像素是不良像素的情况下，所述投影部将仅包括所述投影图像中所包括的多个像素中的、与被所述不良像素判断部判断为不良像素的所述拍摄像素位置具有对应关系的所述投影像素位置处的像素的投影图像再次投影到所述待测量对象上。
7.根据权利要求1所述的三维几何形状测量设备，其中，所述投影部对如下的投影图像进行投影：包括沿与包括所述摄像部的光轴和所述投影部的光轴的面正交的第一方向延伸的所述光图案的投影图像、以及包括沿与包括所述摄像部的光轴和所述投影部的光轴的面平行的第二方向延伸的所述光图案的投影图像。
8.根据权利要求1所述的三维几何形状测量设备，其中，所述投影部将包括二值图像的所述光图案的投影图像和包括具有正弦亮度分布的所述光图案的投影图像投影到所述待测量对象上。
9.根据权利要求1所述的三维几何形状测量设备，其中，所述投影部依次投影包括条纹周期彼此不同的所述光图案的多个投影图像。
10.一种三维几何形状测量方法，用于通过将包括亮度根据位置而改变的光图案的投影图像投影到待测量对象上来测量所述待测量对象的三维几何形状，所述三维几何形状测量方法包括如下步骤：
通过投影部将所述投影图像投影到所述待测量对象上；
通过摄像部拍摄投影有所述投影图像的所述待测量对象来生成拍摄图像；
识别与拍摄像素位置具有对应关系的投影像素位置，其中所述拍摄像素位置为所述拍摄图像的像素的位置，所述投影像素位置为所述投影图像的像素的位置；
基于从所述投影部开始并且通过所述投影像素位置处的像素的投影光束与从所述摄像部开始并且通过与所述投影像素位置具有对应关系的所述拍摄像素位置处的像素的拍摄光束之间的位置关系，来判断所述拍摄像素位置处的像素是否是不良像素；
将通过所述拍摄像素位置的所述拍摄光束与通过与所述拍摄像素位置具有对应关系的所述投影像素位置的预定方向上的投影光束面相交的位置识别为第一三维位置，
将通过所述投影像素位置的所述投影光束与通过所述拍摄像素位置的预定方向上的拍摄光束面相交的位置指定为第二三维位置，
在所述第一三维位置和所述第二三维位置之间的距离大于判断所述拍摄像素位置处的像素是否是不良像素时的阈值的情况下，判断为所述拍摄像素位置处的像素是不良像素；以及
基于排除被判断为不良像素的像素的位置的拍摄像素位置的像素值，来识别所述待测量对象的三维几何形状。
11.一种三维几何形状测量设备，用于通过将包括亮度根据位置而改变的光图案的投影图像投影到待测量对象上来测量所述待测量对象的三维几何形状，所述三维几何形状测量设备包括：
投影部，用于将所述投影图像投影到所述待测量对象上；
摄像部，用于通过拍摄投影有所述投影图像的所述待测量对象来生成拍摄图像；
关系识别部，用于识别与拍摄像素位置具有对应关系的投影像素位置，其中所述拍摄像素位置为所述拍摄图像的像素的位置，所述投影像素位置为所述投影图像的像素的位置；
不良像素判断部，用于在从所述投影部开始并且通过所述投影像素位置处的像素的投影光束与从所述摄像部开始并且通过与所述投影像素位置具有对应关系的所述拍摄像素位置处的像素的拍摄光束之间的最小距离大于阈值的情况下，判断为所述拍摄像素位置处的像素是不良像素；以及
几何形状识别部，用于基于排除被所述不良像素判断部判断为不良像素的像素的位置的拍摄像素位置的像素值，来识别所述待测量对象的三维几何形状。
CN201910863067.0A 2018-09-14 2019-09-12 三维几何形状测量设备和三维几何形状测量方法 Active CN110906884B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-172951 2018-09-14
JP2018172951A JP7219034B2 (ja) 2018-09-14 2018-09-14 三次元形状測定装置及び三次元形状測定方法

Publications (2)

Publication Number Publication Date
CN110906884A CN110906884A (zh) 2020-03-24
CN110906884B true CN110906884B (zh) 2023-02-24

Family

ID=69646681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863067.0A Active CN110906884B (zh) 2018-09-14 2019-09-12 三维几何形状测量设备和三维几何形状测量方法

Country Status (4)

Country Link
US (1) US10891746B2 (zh)
JP (1) JP7219034B2 (zh)
CN (1) CN110906884B (zh)
DE (1) DE102019006314A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022030051A (ja) * 2020-08-06 2022-02-18 Ｔｏｗａ株式会社 切断装置、及び、切断品の製造方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275529A (ja) * 2005-03-28 2006-10-12 Citizen Watch Co Ltd ３次元形状測定方法及び測定装置
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
CN103673925A (zh) * 2012-09-19 2014-03-26 佳能株式会社 用于测量对象物体的信息处理装置及方法
JP2014115108A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置
CN107091617A (zh) * 2016-02-18 2017-08-25 株式会社三丰 形状测定系统、形状测定装置以及形状测定方法
CN107525479A (zh) * 2016-06-17 2017-12-29 赫克斯冈技术中心 针对特定光学测量来确定物体性质
CN108507494A (zh) * 2018-03-07 2018-09-07 北京航空航天大学 一种能够抑制间接光照的三维形貌测量方法
WO2018163529A1 (ja) * 2017-03-08 2018-09-13 オムロン株式会社 ３次元形状計測装置、３次元形状計測方法、およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3800842B2 (ja) * 1998-12-28 2006-07-26 スズキ株式会社 三次元形状を計測する方法および装置並びに三次元形状計測用プログラムを記憶した記憶媒体
US7382457B2 (en) * 2004-01-22 2008-06-03 Wintriss Engineering Corporation Illumination system for material inspection
JP2005293075A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd ３次元形状検出装置、３次元形状検出方法、３次元形状検出プログラム
JP4230525B2 (ja) * 2005-05-12 2009-02-25 有限会社テクノドリーム二十一 ３次元形状計測方法およびその装置
JP2008309551A (ja) * 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
JP5170622B2 (ja) * 2007-07-11 2013-03-27 株式会社ニコン 形状測定方法、プログラム、および形状測定装置
JP2009094295A (ja) 2007-10-09 2009-04-30 Juki Corp 電子部品の高さ測定装置
JP2011237296A (ja) * 2010-05-11 2011-11-24 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測方法、３次元形状計測装置、及びプログラム
US8938099B2 (en) * 2010-12-15 2015-01-20 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, distance measurement apparatus, and storage medium
JP6071363B2 (ja) * 2012-09-19 2017-02-01 キヤノン株式会社 距離計測装置及び方法
JP2014115109A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置及び方法
JP6193609B2 (ja) * 2013-04-19 2017-09-06 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
JP6338421B2 (ja) * 2014-03-31 2018-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
WO2015189985A1 (ja) * 2014-06-13 2015-12-17 株式会社ニコン 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム、及び記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275529A (ja) * 2005-03-28 2006-10-12 Citizen Watch Co Ltd ３次元形状測定方法及び測定装置
CN101765755A (zh) * 2007-07-27 2010-06-30 欧姆龙株式会社 三维形状计测装置、三维形状计测方法、三维形状计测程序及记录介质
CN103673925A (zh) * 2012-09-19 2014-03-26 佳能株式会社 用于测量对象物体的信息处理装置及方法
JP2014115108A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置
CN107091617A (zh) * 2016-02-18 2017-08-25 株式会社三丰 形状测定系统、形状测定装置以及形状测定方法
CN107525479A (zh) * 2016-06-17 2017-12-29 赫克斯冈技术中心 针对特定光学测量来确定物体性质
WO2018163529A1 (ja) * 2017-03-08 2018-09-13 オムロン株式会社 ３次元形状計測装置、３次元形状計測方法、およびプログラム
CN108507494A (zh) * 2018-03-07 2018-09-07 北京航空航天大学 一种能够抑制间接光照的三维形貌测量方法

Also Published As

Publication number Publication date
JP2020046229A (ja) 2020-03-26
CN110906884A (zh) 2020-03-24
DE102019006314A1 (de) 2020-03-19
US20200090356A1 (en) 2020-03-19
US10891746B2 (en) 2021-01-12
JP7219034B2 (ja) 2023-02-07

Similar Documents

Publication Publication Date Title
CN107091617B (zh) 形状测定系统、形状测定装置以及形状测定方法
CN109099860B (zh) 三维几何形状测量装置和三维几何形状测量方法
US9720087B2 (en) Method and device for determining an orientation of an object
US8472701B2 (en) Position measuring apparatus
CN104903680B (zh) 控制三维物体的线性尺寸的方法
JP2016200503A (ja) 被計測物の形状を計測する計測装置
US20230221102A1 (en) Dual-pattern optical 3d dimensioning
US20160356596A1 (en) Apparatus for measuring shape of object, and methods, system, and storage medium storing program related thereto
CN110906884B (zh) 三维几何形状测量设备和三维几何形状测量方法
EP3798569B1 (en) Dual-pattern optical 3d dimensioning
US20210156677A1 (en) Three-dimensional measurement apparatus and method
JP7390239B2 (ja) 三次元形状測定装置及び三次元形状測定方法
US11636614B2 (en) Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method
US11948321B2 (en) Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method
KR20200032442A (ko) 자기보정이 가능한 3차원 정보 생성 장치 및 방법
JP2018044863A (ja) 計測装置、計測方法、システム及び物品の製造方法
CN113029038A (zh) 三维几何形状测量装置和三维几何形状测量方法
JP2023511339A (ja) 補足的正確性データを含む距離計測
JP2003014583A (ja) ビームプロファイル検証方法
JP2017032449A (ja) 計測装置および計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant